CN110929368A - 用于执行计算机辅助仿真的系统 - Google Patents

用于执行计算机辅助仿真的系统 Download PDF

Info

Publication number
CN110929368A
CN110929368A CN201910798175.4A CN201910798175A CN110929368A CN 110929368 A CN110929368 A CN 110929368A CN 201910798175 A CN201910798175 A CN 201910798175A CN 110929368 A CN110929368 A CN 110929368A
Authority
CN
China
Prior art keywords
data
management module
module
xil
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910798175.4A
Other languages
English (en)
Inventor
图尔加伊·伊斯克·阿朗德
阿兰·玛丽·罗杰·谢瓦利埃
弗雷德里克·斯蒂芬
埃万盖洛斯·比特萨尼斯
迈克尔·玛拜沙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110929368A publication Critical patent/CN110929368A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于在虚拟环境中执行计算机辅助仿真的系统(2)，该系统包含场景管理模块(6)、VR和/或AR模块(10)、以及XiL组件(12)，其中场景管理模块(6)和XiL组件(12)配置用于执行由VR和/或AR模块(10)提供的与虚拟环境中的用户的动作相关的数据的数据交换。

Description

用于执行计算机辅助仿真的系统
技术领域
本发明涉及一种用于执行计算机辅助仿真的系统。
背景技术
计算机辅助仿真在执行例如交通工具的部件和装置的虚拟工程的背景下用于虚拟测试。在这里，术语虚拟工程指的是借助于数字三维模型的支持开发过程。
虚拟测试可以理解为意指一种测试，该测试在例如分布式网络的一个或多个计算机上执行，其中，例如机动车辆和其周围环境在3D(三维)虚拟世界中指定，并且机动车辆的控制软件在专用平台上运行，可能在真实的ECU(电子控制单元)上运行。虚拟测试可以在虚拟现实中进行。
在这里，虚拟测试环境是动态的。该环境包括移动的机动车辆、行人、交通信号灯、风、雨等。为了在测试场景中处理所有这些，使用虚拟现实(VR)技术和/或增强现实(AR)技术是必要的以便提供直观可理解的界面。然而，为了测试目的，两辆机动车辆可能碰撞或一个行人可能是可移动的也是必要的。在桌面环境中使用鼠标和/或键盘可以简单地做这些；然而，这由于VR和/或AR环境的人类感知和实时渲染需求而是复杂的。此外，要通过XiL环境管理XiL测试的虚拟对象。
XiL测试可以是MiL(模型在环)、SiL(软件在环)、HiL(硬件在环)和/或DiL(驾驶员在环)。MiL包含为受控系统创建模型以及用于行为仿真的ECU；SiL包含在软件开发期间用ECU的目标语言为自动化测试创建模型；HiL指的是一种方法，在该方法中嵌入式系统(例如，真实的电子ECU或真实的机械电子组件即硬件)通过其输入和输出连接至匹配的对应部分；以及DiL可以理解为意指在DiL仿真环境中HiL仿真和驾驶模拟器的组合。
在这里，例如如果在运行仿真中，机动车辆借助于用户的虚拟手(上帝之手)通过用户交互从一个位置移动至另一位置，则机动车辆轮胎的摩擦力改变。这将导致ECU推断出不同的地下摩擦系数，并且因此对不同的摩擦系数作出响应。
有必要说明可以处理这些复杂问题的方法。
发明内容
本发明的目的是通过一种用于在虚拟环境中执行计算机辅助仿真的系统来实现，该系统包含场景管理模块、VR和/或AR模块以及XiL组件，其中场景管理模块和XiL组件配置用于在VR和/或AR模块提供的虚拟环境中执行与用户的动作相关的数据的数据交换。
在运行期间，场景管理模块通过XiL组件管理虚拟环境中的所有类型的交互。因此，场景管理模块可以使用各种VR交互和导航方法，例如虚拟手。此外，场景管理模块通过XiL组件执行交互数据的数据交换以便例如提供关于XiL组件的状态的信息，该交互数据在VR和/或AR中表示用户动作。VR和/或AR模块除其他方面之外负责例如基于交互数据可视化交互。因此，使用XiL组件的数据以及使用基于机动车辆测量的真实数据，专门用于自动驾驶的实时场景仿真是可能的。因此，场景管理模块实现真实场景或通过数据记录和回放模块记录的场景的仿真。
根据一实施例，场景管理模块以及VR和/或AR模块配置用于执行表示虚拟环境中用户动作的可视化的数据的数据交换。交换的数据可以是可视化数据，该可视化数据用于在VR和/或AR中为用户提供基于数据的可视化。
根据另一实施例，场景管理模块以及VR和/或AR硬件配置用于执行表示虚拟环境中用户的检测到的动作的数据的数据交换。例如，VR和/或AR硬件可以包含例如用于手指跟踪、面部跟踪、身体跟踪、摄像机以及相关图像处理装置的跟踪传感器，或显示器(HMD(头戴式显示器)或基于投影的显示器)。在运行期间，VR和/或AR硬件提供跟踪数据，该跟踪数据例如表示用户的手指移动、身体位置或面部表情。
根据另一实施例，场景管理模块和控制单元配置用于执行表示用户输入的数据的数据交换。例如，控制单元可以是比如平板电脑或智能手机这样的手持设备，或者具有密钥或触摸屏的类似远程控制设备。借助于控制设备，远程控制场景管理模块是可能的。因此，借助于控制单元，用户可以通过传输输入数据来改变交通场景，例如，激活交通信号灯或者移动或移走机动车辆。
根据另一实施例，场景管理模块配置用于为测试记录和/或回放数据。为了这个目的，场景管理模块可以包含数据记录和回放模块以及与数据记录和回放模块相关的数据接口。在运行期间，数据记录和回放模块读入或也提供基于测量值的实际数据。实际数据可以是基于自动驾驶场景的数据、XiL数据、基于检测的机动车辆中的乘客和/或驾驶员行为的数据、检测的VR和/或AR传感器交互数据等。
根据另一实施例，场景管理模块和控制单元配置用于执行表示检测的用户动作的数据的数据交换。为了这个目的，场景管理模块可以包含交互管理模块以及与交互模块相关的通信接口。数据可以是输入数据，用户可以通过该输入数据来改变交通场景，例如激活交通信号灯或者移动或移走机动车辆。
此外，本发明包含用于这种系统的计算机编程产品。
附图说明
现在将借助附图描述本发明，附图显示如下：
图1描绘用于执行计算机支持仿真的系统的示意图；
图2描绘在图1中描绘的系统的其他细节的示意图。
具体实施方式
首先将参考图1。
系统2配置用于执行计算机辅助仿真以便实现交通工具的装置的组件的虚拟测试。
如果交通工具的装置是比如乘用车这样的机动车辆，则要测试的交通工具的装置的组件可以是例如驾驶员辅助系统的组件。这种驾驶员辅助系统在某些驾驶情况下用于辅助驾驶员。在这里，重点通常在安全方面，以及提高驾驶舒适性。这种驾驶员辅助系统包含单独或一起测试的硬件组件和软件组件。
可选地，机动车辆可以配置为自动驾驶机动车辆，该自动驾驶机动车辆可以在没有人类驾驶员干预的情况下驾驶、转向和停车。为了这个目的，实际的机动车辆包含各种传感器，该传感器用于检测环境并且可以根据获得的信息来确定机动车辆的位置和其他道路使用者的位置、通过与导航软件的通信而朝着目的地驾驶并且避免沿途发生碰撞。
测试组件可以包含执行XiL测试。XiL测试可以是MiL(模型在环)、SiL(软件在环)、PiL(处理器在环)和/或HiL(硬件在环)。MiL包含为受控系统创建模型以及用于行为仿真的ECU；SiL包含在软件开发期间用ECU的目标语言为自动化测试创建模型；PiL包含处理器测试；以及HiL指的是一种方法，在该方法中嵌入式系统(例如，真实的电子ECU或真实的机械电子组件即硬件)通过其输入和输出连接至匹配的对应部分。
换句话说，当测试组件时，使用所谓的数字化样机(DMU)。数字化样机(也被称为数字测试模型D-VM)可以理解为意指高度逼真的计算机生成测试模型，该模型主要用于用计算机辅助仿真代替非常昂贵的实际产品测试的一部分。
在示例性实施例中，在形成虚拟环境的虚拟现实中发生计算机辅助仿真。虚拟现实(VR)可以理解为意指在实时计算机生成的交互虚拟环境中的现实的描绘或具有其物理特性的测试场景的描绘。
可选地，计算机辅助仿真也可以使用增强现实(AR)，该增强现实接着形成虚拟环境。在这里，增强现实可以理解为意指计算机辅助增强对现实的感知。这个信息可以吸引所有的人类感官方式。然而，增强现实通常理解为仅意指信息的可视化表示，即具有计算机生成的附加信息的增强图像或视频或者借助于重叠/叠加的虚拟对象。
在示例性实施例中，系统2包含控制单元4、场景管理模块6、VR和/或AR硬件8、VR和/或AR模块10、XiL组件12以及网络14。
系统2、控制单元4、场景管理模块6、VR和/或AR硬件8、VR和/或AR模块10、XiL组件12、和/或网络14可以具有在下面描述的用于它们的任务和功能的硬件和/或软件组件。
控制单元4配置用于场景管理模块6的远程控制。例如，控制单元4可以是平板电脑、智能手机、或具有密钥或触摸屏的类似远程控制设备。例如，用户可以经由控制单元4通过传输输入数据ED来改变交通场景，例如，激活交通信号灯或移动或移走机动车辆。
场景管理模块6托管在另一计算机上，或实际上与VR和/或AR模块10一起作为程序和/或逻辑层存在。
场景管理模块6配置为通过XiL组件12管理虚拟环境中所有类型的交互。因此，该模块能够使用或提供各种VR交互和导航方法，例如虚拟手。场景管理模块6通过XiL组件12执行表示VR和/或AR中的用户动作的交互数据ID的数据交换，以便例如获取关于XiL组件12(例如，ECU)的状态的必要信息。例如，如果用户通过VR移走机动车辆，则XiL组件12应该接收表示机动车辆不接触地面的事实的数据，因此，应该停止牵引马达。此外，场景管理模块6配置为与VR和/或AR模块10交换可视化数据VD，以便为用户提供相应的可视化。此外，场景管理模块6配置为记录自主驾驶场景并且回放自主驾驶场景。
VR硬件和/或AR硬件8可以包含各种设备，例如跟踪传感器(手指跟踪、面部跟踪、身体跟踪、摄像机、以及相关图像处理装置)、以及显示器(HMD或基于投影的显示器)。VR和/或AR硬件8提供跟踪数据TD，其中跟踪数据TD例如表示用户的手指移动、身体位置或面部表情，并且将它们传输至场景管理模块6。
VR和/或AR硬件8也可以通过驾驶员以数据传输方式直接连接至VR和/或AR模块10。例如HMD或投影仪这样的与可视化相关的硬件也从VR和/或AR模块10接收数据。
在示例性实施例中，VR和/或AR模块10使用实时渲染引擎，该实时渲染引擎使用比如OpenGL(开放图形库)或DirectX这样的基于光栅投像成影(深度缓冲)的渲染方法。例如，该模块可以嵌入在比如Unity3d或Unreal这样的游戏引擎中。VR和/或AR模块10使用物理仿真的数据，其结果是在该组件中不计算机动车辆的行为或地面的物理性质。相反，VR和/或AR模块10负责可视化。在示例性实施例中，对象生成器与VR和/或AR模块10相关，以便处理例如两个碰撞机动车辆的碰撞数据。
例如，可以使用服务器客户端或对等网络这样的各种网络体系结构。
VR和/或AR模块10与场景管理模块6以及XiL组件12同步。在示例性实施例中借助于与XiL组件12的直接数据交换来确保该同步。
XiL组件12是各种汽车硬件和/或软件的抽象概念。XiL组件12可以包含XiL的商用产品(例如，dSpace(数字空间))、基于模型的软件(软ECU、Simulink模型)、以及机动车辆硬件ECU。在系统2中，XiL组件12将可视化数据VD传输至VR和/或AR模块10，可视化总是需要该可视化数据VD。相反，XiL组件12也从VR和/或AR模块10接收例如与仿真有关的XiL数据XiL-D。
XiL组件12可以实施为分离和概括各种硬件和软件模型的逻辑层或程序层，以便用户可以借助于系统2轻易地访问各种硬件和/或软件。XiL组件12也可以是配置其他硬件和/或软件的硬件元件，以便访问其他软件(模型)和硬件(ECU)。
XiL组件12的主要任务是模拟实际汽车硬件和/或软件的行为。
网络14是嵌入到其他组件中的软件库。网络14的任务是确保组件之间有效的数据交换。网络14可以以例如UDP(用户数据报协议)或TCP/IP这样的协议为基础。在示例性实施例中，网络14提供分布式网络。因此，多个用户可以在不同的位置同时进行仿真或测试。
同样将参考图2。
在示例性实施例中，场景管理模块6包含数据接口16、通信接口18、数据记录和回放模块20以及交互管理模块22。
数据接口16、通信接口18、数字记录和回放模块20、和/或交互管理模块22可以包含在下面描述的用于执行它们的任务和功能的硬件和/或软件组件。
数据记录和回放模块20配置为使用数据接口16读入和提供实际数据RD。实际数据RD以测量值为基础。该数据因此不是仿真的结果。实际数据RD可以是来自自动驾驶场景的数据、XiL数据、机动车辆内的乘客和/或驾驶员行为、VR和/或AR传感器交互数据等。数据接口16可以是HDD(硬盘驱动器)、RAM(随机存取存储器)、USB(通用串行总线)或IPC(网络摄像机)。在运行期间，实际数据RD以及其他数据与例如XiL组件12以及VR和/或AR模块8这样的系统2的其他组件交换。
交互管理模块22配置为借助于控制单元14处理通过VR和/或AR硬件检测到的用户的VR和/或AR交互、以及用户的桌面交互。
该模块通过通信接口18(其导致系统2的网络14)交换相应数据，即输入数据ED和/或交互数据ID。因此，交互管理模块22使用户能够通过VR技术修改场景。例如，用户可以借助于VR和/或AR交互和/或桌面交互改变街道的坡度。
通信接口18是可以包含例如Ethernet(以太网)/Wi-Fi(无线保真)这样的硬件的通用通信层。该接口提供用于与系统2的其他组件数据交换目的的连接。然而，通信接口18也用于读入例如实况摄像机的交通数据这样的外部数据。
因此，借助于XiL组件12的数据、以及借助于基于测量的机动车辆的实际数据RD，专用于自动驾驶的实时场景的仿真成为可能。场景管理模块6因此借助于数据记录和回放模块20实现实际场景或记录场景的仿真。
附图标记列表
2 系统
4 控制单元
6 场景管理模块
8 VR硬件
10 VR和/或AR模块
12 XiL组件
14 网络
16 数据接口
18 通信接口
20 数据记录和回放模块
22 交互管理模块
ED 输入数据
ID 交互数据
RD 实际数据
SD 仿真数据
TD 跟踪数据
VD 可视化数据
XiL-D XiL数据

Claims (7)

1.一种用于在虚拟环境中执行计算机辅助仿真的系统(2)，包含场景管理模块(6)、VR和/或AR模块(10)、以及XiL组件(12)，其中所述场景管理模块(6)和所述XiL组件(12)配置用于执行与由所述VR和/或AR模块(10)提供的虚拟环境中的用户的动作相关的数据的数据交换。
2.根据权利要求1所述的系统(2)，其中所述场景管理模块(6)和所述VR和/或AR模块(10)配置用于执行表示所述虚拟环境中的所述用户的所述动作的可视化的数据的数据交换。
3.根据权利要求1或2所述的系统(2)，其中所述场景管理模块(6)和所述VR硬件(8)配置用于执行表示所述虚拟环境中的所述用户的检测到的动作的数据的数据交换。
4.根据权利要求1、2或3所述的系统(2)，其中所述场景管理模块(6)和控制单元(4)配置用于执行表示用户输入的数据的数据交换。
5.根据权利要求1至4中任一项所述的系统(2)，其中所述场景管理模块(6)配置用于记录和/或回放用于测试的数据。
6.根据权利要求1至5中任一项所述的系统(2)，其中所述场景管理模块(6)和所述控制单元(4)配置用于执行表示所述用户的检测到的动作的数据的数据交换。
7.一种用于根据权利要求1至6中任一项所述的系统(2)的计算机程序产品。
CN201910798175.4A 2018-08-30 2019-08-27 用于执行计算机辅助仿真的系统 Pending CN110929368A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018214727.2 2018-08-30
DE102018214727.2A DE102018214727A1 (de) 2018-08-30 2018-08-30 System zum Durchführen von computerunterstützten Simulationen

Publications (1)

Publication Number Publication Date
CN110929368A true CN110929368A (zh) 2020-03-27

Family

ID=69527044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910798175.4A Pending CN110929368A (zh) 2018-08-30 2019-08-27 用于执行计算机辅助仿真的系统

Country Status (2)

Country Link
CN (1) CN110929368A (zh)
DE (1) DE102018214727A1 (zh)

Also Published As

Publication number Publication date
DE102018214727A1 (de) 2020-03-05

Similar Documents

Publication Publication Date Title
US11436484B2 (en) Training, testing, and verifying autonomous machines using simulated environments
US10817134B2 (en) Systems and methods for training robots using augmented reality and machine learning
KR101850038B1 (ko) 자동차 시뮬레이터 장치 및 그 방법
Galko et al. Vehicle-Hardware-In-The-Loop system for ADAS prototyping and validation
US11257390B2 (en) Evaluation of a simulated vehicle-related feature
US11938819B2 (en) Evaluation of a simulated vehicle-related feature
Swanson et al. Extending driving simulator capabilities toward hardware-in-the-loop testbeds and remote vehicle interfaces
Zofka et al. Traffic participants in the loop: A mixed reality-based interaction testbed for the verification and validation of autonomous vehicles
Tao et al. Manufacturing assembly simulations in virtual and augmented reality
Hong et al. System configuration of Human-in-the-loop Simulation for Level 3 Autonomous Vehicle using IPG CarMaker
Serrano et al. Insertion of real agents behaviors in CARLA autonomous driving simulator
Fouladinejad et al. Modeling virtual driving environment for a driving simulator
Schwab et al. Consistent test method for assistance systems
Serrano et al. Realistic pedestrian behaviour in the carla simulator using vr and mocap
Neumeier et al. Yet another driving simulator openrouts3d: The driving simulator for teleoperated driving
Pfeffer et al. Video injection methods in a real-world vehicle for increasing test efficiency
CN110929368A (zh) 用于执行计算机辅助仿真的系统
US11113435B2 (en) Evaluation of a simulated vehicle functionality feature
Sural et al. CoSim: A Co-Simulation Framework for Testing Autonomous Vehicles in Adverse Operating Conditions
Peng et al. A Vehicle Driving Simulator Based on Virtual Reality
US20210097769A1 (en) Virtual reality vehicle testing
Jain et al. Virtual Drive: Immersive VR-Controlled Car with Real-Time Interaction and Live Video Feed
JP2024539389A (ja) 都市におけるヒューマンマシンインタラクションの試験環境
EP2639771B1 (en) Augmented vision in image sequence generated from a moving vehicle
Αποστόλου Study of simulation and modelling tools for autonomous vehicle driving based on stereoscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination