CN111290571A - 评估模拟的车辆相关特征 - Google Patents
评估模拟的车辆相关特征 Download PDFInfo
- Publication number
- CN111290571A CN111290571A CN201911180422.0A CN201911180422A CN111290571A CN 111290571 A CN111290571 A CN 111290571A CN 201911180422 A CN201911180422 A CN 201911180422A CN 111290571 A CN111290571 A CN 111290571A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- simulated
- virtual
- road
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/042—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles providing simulation in a real vehicle
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0181—Adaptation to the pilot/driver
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- Optics & Photonics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开涉及一种由车辆特征评估系统(1)执行的、用于使得能够评估模拟的车辆相关特征的方法。车辆特征评估系统在跟踪系统(5)的支持下,确定(1001)适于由坐在道路行驶车辆上的乘员(3)佩戴的头戴式显示器HMD(4)相对于道路行驶车辆(2)的定向。车辆特征评估系统还确定(1002)要在道路行驶车辆中进行评估的模拟的车辆设计特征。此外,车辆特征评估系统在考虑到HMD定向的情况下,实时地向HMD的HMD显示屏(41)提供(1006)叠加在实时显示周围环境的视频流(6)上的模拟的车辆设计特征的虚拟表示(7),实时显示周围环境的视频流(6)是从现实世界图像数据(211)导出的,现实世界图像数据(211)是在适于捕获道路行驶车辆外部的周围环境的一个或多个车载摄像机(21)的支持下捕获的。本公开还涉及一种根据前述内容的车辆特征评估系统,以及包括这种车辆特征评估系统的车辆。
Description
技术领域
本公开涉及使得能够评估模拟的车辆相关特征。
背景技术
在汽车领域,当评估新的车辆功能、交互设计、交互模型和/或新的产品设计时,提供虚拟模型化的评估环境是已知的。通常利用静态或动态评估平台(rig),其中静态平台例如可以表现为不可移动的平台,其可以在车辆实体模型(mock-up)前方的大型屏幕上显示环境和交通状况,而其中动态平台例如可以表现为相似的平台,区别在于动态平台可以移动,以便模拟加速力和/或移动。静态和动态平台两者的缺点是测试对象可能会晕车。另一个缺点是环境和交通状况实际上是模拟的。后者导致与其的交互可能在某种程度上是人为的,并且可能难以验证结果实际对应于在现实车辆、现实交通状况中的经历。此外,为了评估整个车辆,例如其尺寸和/或设计,建立物理实体模型是本领域中公知的。但是,使用这种方法不可能在真实和/或现实的环境中进行驾驶和评估。因此,在涉及通过功能、交互模型和/或(多个)设计来评估整个车辆或其至少一部分以证实和/或验证概念的方面,存在提升空间和/或替代的解决方案。
发明内容
因此,本文实施方式的目的是提供一种改进的和/或替代的方法,以用于支持对虚拟车辆设计和/或概念的评估。
根据本文实施方式的第一方面,上述目的通过一种由车辆特征评估系统执行的、用于使得能够评估模拟的车辆相关特征的方法来实现。车辆特征评估系统在跟踪系统的支持下,确定适于由坐在道路行驶车辆(road-driven vehicle)上的乘员佩戴的头戴式显示器HMD相对于道路行驶车辆的定向。车辆特征评估系统还确定要在道路行驶车辆中进行评估的模拟的车辆设计特征。此外,车辆特征评估系统在考虑到HMD定向的情况下,实时地向HMD的HMD显示屏提供叠加在实时显示周围环境的视频流上的模拟的车辆设计特征的虚拟表示,实时显示周围环境的视频流是从现实世界图像数据导出的,现实世界图像数据是在适于捕获道路行驶车辆外部的周围环境的一个或多个车载摄像机的支持下捕获的。
由此,引入了一种方法,其使得能够评估与车辆有关和/或关联的特征的虚拟版本,而无需建立用于评估的物理实体模型。也就是说,由于在跟踪系统的支持下确定了适于由坐在道路行驶车辆上的乘员佩戴的头戴式显示器HMD相对于道路行驶车辆的定向,因此确定了乘员佩戴的HMD相对于现实车辆的方位和/或位置,现实车辆例如适于和/或用于在室外行驶,诸如在现实交通状况中和/或沿着实际道路行驶。因此,在佩戴HMD的乘员位于道路行驶车辆中而不是位于例如室内的静态或动态平台上的情况下,则可以在实际的现实车辆中进行评估。此外,也就是说,由于确定了要在道路行驶车辆中进行评估的模拟的车辆设计特征,因此限定了(例如,由计算机生成了)要在现实车辆中进行验证的关注的虚拟车辆设计特征。另外,也就是说,由于在考虑到HMD定向的情况下,实时地向HMD的HMD显示屏提供了叠加在实时显示周围环境的视频流上的模拟的车辆设计特征的虚拟表示,实时显示周围环境的视频流是从现实世界图像数据导出的,现实世界图像数据是在适于捕获道路行驶车辆外部的周围环境的一个或多个车载摄像机的支持下捕获的,因此向HMD显示屏提供了道路行驶车辆外部的周围环境的实时的物理世界视图,该物理世界视图基本上是由(多个)车载摄像机捕获的,并且与由计算机生成的、在时间和空间上与所述物理世界视图相称的虚拟设计特征表示电子混合,使得显示周围环境的视频流看起来是被叠盖有所述虚拟设计特征表示的背景。因此,通过提供(多个)车载摄像机以捕获道路行驶车辆外部的周围环境,实时显示周围环境的视频流示出车辆外部的周围环境和/或环境,因此排除了所述道路行驶车辆的内部和可能至少部分外部的视图。因此,在佩戴HMD的乘员坐在道路行驶车辆上并且考虑到HMD定向的情况下,向HMD显示屏提供显示周围环境的视频流的与佩戴HMD的乘员的视野相对应和/或在空间上相称的一部分。将在(多个)HMD显示屏上向佩戴HMD的乘员相应地示出与所述乘员的视野在空间上相称的物理世界视图,但是从该物理世界视图中排除了道路行驶车辆的内部和可能至少一部分外部,这是因为(多个)车载摄像机捕获道路行驶车辆外部而不是内部的周围环境。因此,实时显示周围环境的视频流可以展现所述道路行驶车辆的驾驶员或乘员即使不佩戴HMD也基本上能够看到的东西,但是除去了道路行驶车辆的内部部分和可能至少部分外部的部分。因此,通过从佩戴HMD的乘员的物理世界视图中基本上抹去道路行驶车辆的内部和可能至少一部分外部,一个或多个模拟的设计特征(例如,表现为模拟的更新的和/或新的内部或外部或一部分外部)可以在其位置进行评估。因此,在将模拟的车辆设计特征(诸如整个内部和部分外部,或至少模拟的仪表板)的虚拟表示实时地叠加在显示周围环境的视频流上之后,可以在道路行驶车辆中,例如在所述道路行驶车辆在现实交通状况中和/或沿着实际道路行驶时评估所述模拟的车辆设计特征(例如模拟的仪表板)。因此,除了虚拟设计特征表示之外,整个测试环境是真实和/或现实的。由此,可以在现实交通状况和/或现实道路驾驶场景中评估模拟的车辆设计特征,这使得与在例如公知的实体模型中进行的所述评估相比,能够在更像现实的条件下和/或更像现实的环境中评估所述模拟的车辆设计特征。
出于该原因,提供了一种改进的和/或替代的方法,以用于支持对虚拟的车辆设计和/或概念的评估。下面将更详细地讨论上述方法的技术特征和相应的优点。
通过引入一种由车辆特征评估系统执行的、用于使得能够评估模拟的车辆相关特征的方法,从而提供了一种使得能够评估与车辆有关和/或关联的特征的虚拟版本,而无需建立用于评估的物理实体模型的途径。“车辆特征评估系统”的表述可以指的是“车辆特征验证系统”、“车辆评估系统”、“评估系统”和/或“评估支持系统”,而“用于使得能够评估”可以指的是“用于评估”和/或“用于提供”。此外,“使得能够”评估可以指的是“支持”评估,而“评估”可以指的是“验证”、“测试”和/或“分析”。另一方面,“模拟的”车辆相关特征可以指的是“虚拟的”、“由计算机生成的”、“模型化的”和/或“假想的”车辆相关特征,而“模拟的与车辆有关的特征”可以指的是“模拟的车辆设计特征”、“模拟的车辆设计”、“模拟的车辆概念”、“模拟的车辆特征”和/或“模拟的车辆特性”。根据示例,“用于使得能够评估模拟的车辆相关特征”的表述可以指的是“用于使得能够在道路行驶车辆中评估模拟的车辆相关特征”。
由于车辆特征评估系统在跟踪系统的支持下确定了适于由坐在道路行驶车辆上的乘员佩戴的头戴式显示器HMD相对于道路行驶车辆的定向,因此确定了乘员佩戴的HMD相对于现实车辆的方位和/或位置,现实车辆例如适于和/或用于在室外行驶,诸如在现实交通状况中和/或沿着实际道路行驶。因此,根据引入的发明构思并且如将在下面进一步详细描述的,在佩戴HMD的乘员(也可以被称为测试对象)位于道路行驶车辆中而不是位于例如室内的静态或动态平台中的情况下,评估可以在实际的现实车辆中进行。在跟踪系统的支持下,可以通过本领域中公知的方法来确定HMD相对于道路行驶车辆的定向,例如通过来自跟踪传感器(诸如摄像机、加速度计、磁力计和/或陀螺仪)的输入和/或基于软件跟踪(例如使车辆中的标记与虚拟模型中的相应标记对准)来确定。另一方面,HMD可以包括和/或支持现有技术中已知的、来自现今通常使用的HMD的任何任意特征,以及将在下面进一步描述的其它特征。所提到的“车辆”可以表示任何任意车辆,例如发动机驱动的车辆,诸如轿车、卡车、货车、厢式货车、拖拉机和/或公共汽车。另一方面,“道路行驶车辆”的表述可以指的是“现实车辆”、“室外车辆”、“适于在现实交通状况中行驶的车辆”和/或“适于沿着室外路径和/或公共道路和/或公共道路网络行驶的车辆”。相对于道路行驶车辆“确定”可以指的是相对于道路行驶车辆“计算和/或分析”和/或相对于道路行驶车辆“光学地、磁性地和/或借助于激光地确定”。“相对于”可以指的是“关于”和/或“相比于”。“相对于道路行驶车辆”还可以指的是“相对于道路行驶车辆的参考点”,在被认为适合当前实施方式的情况下,该“参考点”可以被任意地选择。“在跟踪系统的支持下”的表述可以指的是“借助于跟踪系统”和/或“利用来自跟踪系统的输入”,而另一方面,“跟踪系统”可以指的是“一个或多个跟踪传感器”和/或“基于软件的跟踪系统”。头戴式显示器的“定向”可以指的是头戴式显示器的“方位和/或位置”,而“头戴式显示器”可以指的是“增强现实和/或虚拟现实头戴式显示器”、“目镜(goggle)”和/或“电子目镜”。“适于乘员佩戴”的表述可以指的是“适于被至少部分地佩戴在乘员的眼睛前方”和/或仅指的是“由乘员佩戴”,而“乘员”可以指的是“车辆乘员”、“驾驶员”和/或“测试对象”。“坐在道路行驶车辆上”可以指的是“位于道路行驶车辆中”、“坐在道路行驶车辆的前排中”和/或“坐在道路行驶车辆的驾驶员座位中”。
由于车辆特征评估系统确定要在道路行驶车辆中进行评估的模拟的车辆设计特征,因此限定了(例如,由计算机生成了)要在现实车辆中进行验证的关注的虚拟车辆设计特征。“确定”模拟的车辆设计特征可以指的是“由计算机生成”、“模拟”和/或“模型化”模拟的车辆设计特征,而车辆“设计特征”可以指的是车辆“特性”,并且还可以仅指的是车辆“特征”和/或车辆“概念”。根据一个示例,“确定模拟的车辆设计特征”可以指的是“确定模拟的车辆设计特征的逻辑、设计、图形、美学、几何形状和/或功能”。
由于车辆特征评估系统在考虑到HMD定向的情况下,实时地向HMD的HMD显示屏提供叠加在实时显示周围环境的视频流上的模拟的车辆设计特征的虚拟表示,实时显示周围环境的视频流是从现实世界图像数据导出的,现实世界图像数据是在适于捕获道路行驶车辆外部的周围环境的一个或多个车载摄像机的支持下捕获的,因此向HMD显示屏提供了道路行驶车辆外部的周围环境的实时的物理世界视图,该物理世界视图基本上是由(多个)车载摄像机捕获的,并且与由计算机生成的、在时间和空间上与所述物理世界视图相称的虚拟设计特征表示电子混合,使得显示周围环境的视频流看起来是叠盖有所述虚拟设计特征表示的背景。因此,来自物理世界的实况图像与计算机生成的图像电子融合,该概念通常被称为混合现实和/或增强现实。更具体地,模拟的车辆设计特征的虚拟表示叠盖在显示周围环境的视频流上,该概念通常被称为视频透视。也就是说,通过提供(多个)车载摄像机以捕获道路行驶车辆外部的周围环境,实时显示周围环境的视频流示出车辆外部的周围环境和/或环境,并因此排除了所述道路行驶车辆的内部和可能至少部分外部的视图。因此,在佩戴HMD的乘员坐在道路行驶车辆上,例如坐在道路行驶车辆的驾驶员座位或乘员座位中,并且考虑到HMD定向的情况下,向HMD显示屏提供显示周围环境的视频流的与佩戴HMD的乘员的视野相对应和/或在空间上相称的一部分,显示周围环境的视频流是从现实世界图像数据得到的,现实世界图像数据是在(多个)车载摄像机的支持下捕获的。因此,将在(多个)HMD显示屏上向佩戴HMD的乘员相应地示出与所述乘员的视野在空间上相称的物理世界视图,但是从该物理世界视图中排除了道路行驶车辆的内部和可能至少一部分外部,这是因为(多个)车载摄像机捕获道路行驶车辆外部而不是内部的周围环境。因此,实时显示周围环境的视频流可以展现所述道路行驶车辆的驾驶员或乘员即使不佩戴HMD也基本上能够看到的东西,但除去了道路行驶车辆的内部部分和可能至少部分外部的部分。因此,通过从佩戴HMD的乘员的物理世界视图中基本上抹去道路行驶车辆的内部和可能至少一部分外部,一个或多个模拟的设计特征(例如,表现为模拟的更新和/或新的内部或外部或一部分外部)可以在其位置进行评估。因此,在将模拟的车辆设计特征(例如,整个内部和部分外部,或者至少模拟的仪表板或其一部分)的虚拟表示实时地叠加在显示周围环境的视频流上之后,则可以在道路行驶车辆中,例如在所述道路行驶车辆在现实交通状况中和/或沿着实际道路行驶时,评估所述模拟的车辆设计特征,例如模拟的仪表板。因而,除了虚拟设计特征表示之外,整个测试环境都是真实和/或现实的。因此,可以在现实交通状况和/或现实道路驾驶场景中评估模拟的车辆设计特征,这使得与在例如公知的物理实体模型中进行的所述评估相比,能够在更像现实的条件下和/或在更像现实的环境中评估所述模拟的车辆设计特征。
向HMD显示屏“提供”可以指的是向HMD显示屏“无线地提供”、“呈现”和/或“传送”,和/或向HMD显示屏“生成、处理、呈现和/或产生、以及提供”,而“HMD显示屏”可以指的是“一个或多个HMD显示屏”。另一方面,“实时”地提供可以指的是“基本上实时地”和/或“实况地”提供,并且还可以指的是,将叠加在现实世界视频流上的虚拟表示以与实际捕获现实世界图像数据的时间基本上接近的时间提供给HMD显示屏。根据一个示例,“实时地提供”可以仅指的是“提供”。“考虑到”HMD定向的表述可以指的是“鉴于”HMD定向和/或“考虑到HMD定向的方位和/或在空间上的方位”,而“考虑到HMD定向”可以指的是“考虑到从HMD定向得出的乘员视野”和/或“考虑到HMD定向和/或根据HMD定向得出的乘员视野”。另一方面,“虚拟”表示可以指的是“增强的”和/或“叠盖的”表示,而“表示”可以指的是“增强(augmentation)”、“数据”和/或“几何形状和/或图形模型”。根据一个示例,“表示”还可以指的是“图形模型”、“计算机辅助设计CAD几何形状和/或设计表面模型DSM几何形状”和/或“来自计算机辅助工程CAE的结果”。另一方面,“叠加在实时显示周围环境的视频流上”可以指的是“叠盖在实时显示周围环境的视频流上”、“虚拟叠盖在实时显示周围环境的视频流上”、“放置和/或展示在实时显示周围环境的视频流的前方”,而“实时”显示周围环境的视频流可以指的是“基本上实时”、“实况或基本上实况”和/或“即时或基本上即时”显示周围环境的视频流。术语“实时”显示周围环境的视频流还可以指出,显示周围环境的视频流是在与实际捕获现实世界图像数据的时间基本上接近的时间帧中得到的。另一方面,“现实世界”可以指的是“物理世界”和/或“现实环境世界”,而“视频流”可以指的是“流媒体视频”和/或仅指的是“视频”。从现实世界图像数据“得到的”可以指的是“该视频流基于”现实世界图像数据,而“现实世界图像数据”可以指的是“视频数据”和/或“图像”。另一方面,在一个或多个车载摄像机的支持下“捕获的”可以指的是在一个或多个车载摄像机的支持下“录制的”和/或“拍摄的”,而在一个或多个车载摄像机的“支持下”捕获的可以指的是“通过”和/或“借助于”一个或多个车载摄像机捕获的。此外,根据一个示例,“一个或多个”车载摄像机可以指的是“至少两个”车载摄像机,而“车载摄像机”可以指的是“固定到道路行驶车辆中、安装在其上和/或包含在其中的摄像机”,并且还可以指的是“车载的捕获周围环境的摄像机”。“适于捕获”道路行驶车辆外部的周围环境的表述可以指的是“适于拍摄和/或记录”道路行驶车辆外部的周围环境和/或适于捕获道路行驶车辆外部的周围环境的“图像”,并且还可以指的是“捕获”道路行驶车辆外部的周围环境。另外,道路行驶车辆“外部的”可以指的是道路行驶车辆“外面的”,并且还可以指的是道路行驶车辆“之外的”和/或仅指的是道路行驶车辆“外的”。
根据一个示例,“适于捕获道路行驶车辆外部的周围环境”的表述可以指的是“适于至少在道路行驶车辆的向前方向上,优选另外在道路行驶车辆的侧面、向后、向上和/或向下方向上捕获道路行驶车辆外部的周围环境”。根据另一示例,“实时显示周围环境的视频流是从现实世界图像数据导出的,现实世界图像数据是在适于捕获道路行驶车辆外部的周围环境的一个或多个车载摄像机的支持下捕获的”的表述可以指的是“实时显示周围环境的视频流是从现实世界图像数据导出的,现实世界图像数据是在适于捕获道路行驶车辆外部的周围环境的一个或多个车载摄像机的支持下捕获的,其中实时显示周围环境的视频流包括来自第一车载摄像机的第一实时视频流,第一车载摄像机适于在第一方向上捕获道路行驶车辆外部的周围环境,并且第一实时视频流与至少来自第二车载摄像机的至少第二实时视频流结合(stitch),第二车载摄像机适于在不同于第一方向的第二方向上捕获道路行驶车辆外部的周围环境。
可选地,模拟的车辆设计特征可以包括模拟的车辆内部区部和/或模拟的车辆外部区部。由此,可以在道路行驶车辆中评估虚拟车辆内部区部(例如,模拟的仪表板)和/或虚拟车辆外部区部(例如,模拟的引擎盖),诸如其新的和/或更新的设计、颜色、材料和/或用户界面,和/或其几何形状,例如CAD和/或DSM几何形状。模拟的“车辆内部区部”的表述可以指的是模拟的“车辆内部区部的至少一部分”,并且还可以指的是模拟的“车辆内部部分”和/或模拟的“可视和/或未被覆盖的车辆内部区部”。类似地,模拟的“车辆外部区部”可以的表述指的是模拟的“车辆外部区部的至少一部分”,并且还可以指的是模拟的“车辆外部部分”和/或模拟的“可视和/或未被覆盖的车辆外部区部”。
可选地,车辆特征评估系统可以确定要在道路行驶车辆中进行评估的模拟的车辆功能特征。向HMD显示屏提供的步骤还可以包括:在考虑到HMD定向的情况下,另外实时地向HMD的HMD显示屏提供叠加在实时显示周围环境的视频流上的模拟的车辆功能特征的虚拟表示。模拟的车辆功能特征可以例如包括模拟的车辆人机界面HMI、模拟的车辆显示器、模拟的车辆平视显示器HUD、模拟的灯光特性和/或由模拟的车辆功能特征的模拟所产生的模拟效果。由此,限定了(例如,由计算机生成了)要在实际车辆中进行验证的关注的虚拟车辆功能特征。另外,于是,模拟的车辆功能特征的虚拟表示叠盖在现实世界视频流上,以在时间和空间上与该视频流相称,使得所述视频流看起来是除了被叠盖有虚拟设计特征表示之外还被叠盖有所述虚拟功能特征表示的背景。因此,在将模拟的车辆功能特征的虚拟表示(例如,具有新的和/或更新的设计和/或功能的虚拟显示)实时地叠加在显示周围环境的视频流上之后,可以在道路行驶车辆中,例如在所述道路行驶车辆在现实交通状况中和/或沿着实际道路行驶时,评估所述模拟的车辆功能特征。因此,可以在现实交通状况和/或现实道路驾驶场景中评估模拟的车辆功能特征,这使得与在例如公知的静态或动态平台(其中,车辆实体模型前方的大型屏幕上显示环境和交通状况)中所进行的所述评估相比,能够在更像现实的条件下和/或在更像现实的环境中评估所述模拟的车辆功能特征。如果模拟的车辆功能特征包括模拟的车辆人机界面HMI,则可以在道路行驶车辆中评估虚拟车辆HMI,例如其图形和/或其新的和/或更新的功能和/或设计。另一方面,如果模拟的车辆功能特征附加地或替代地包括模拟的车辆显示器,则可以在道路行驶车辆中评估虚拟车辆显示器,例如信息娱乐显示器,诸如其图形和/或其新的和/或更新的功能和/或设计。此外,如果模拟的车辆功能特征附加地或替代地包括模拟的车辆平视显示器HUD,则可以在道路行驶车辆中评估虚拟车辆HUD,例如其图形和/或其新的和/或更新的功能和/或设计。另一方面,如果模拟的车辆功能特征附加地或替代地包括模拟的灯光特性,则可以在道路行驶车辆中评估虚拟灯光特性,例如内部灯光特性,诸如内部灯光的新的和/或更新的外观和/或气氛。此外,如果模拟的车辆功能特征附加地或替代地包括由模拟的车辆功能特征的模拟所产生的模拟效果,则可以在道路行驶车辆中评估由模拟的车辆功能特征(例如,刮水器性能、客舱氛围、空气流、污染等)的模拟所产生的虚拟效果,例如其计算机辅助工程CAE模拟的效果。“确定”模拟的车辆功能特征可以指的是“由计算机生成”、“模拟”和/或“模型化”模拟的车辆功能特征,而车辆“功能特征”可以指的是车辆“特性”,并且还可以仅指的是车辆“特征”和/或车辆“功能”。根据一个示例,“确定模拟的车辆功能特征”可以指的是“确定模拟的车辆功能特征的逻辑、设计、图形、美学、几何形状和/或功能”。模拟的车辆功能特征“包括”的表述可以指的是模拟的车辆功能特征“表现为”,而灯光“特性”可以指的是灯光的“(多个)位置”、“定位”、“(多个)功能”、“气氛”和/或“外观”。
可选地,车辆特征评估系统可以确定要在道路行驶车辆中进行评估的模拟的对象特征。则向HMD显示屏提供的步骤可以还包括:在考虑到HMD定向的情况下,另外实时地向HMD的HMD显示屏提供叠盖在实时显示周围环境的视频流上的模拟的对象特征的虚拟表示。模拟的对象特征可以例如包括模拟的其它车辆、模拟的道路用户和/或模拟的移动或固定障碍物。由此,限定了(例如,由计算机生成了)要在现实车辆中进行验证的关注的虚拟对象。另外,于是,模拟的对象特征的虚拟表示叠盖在现实世界视频流上,以在时间和空间上与该视频流相称,使得所述视频流看起来是除了被叠盖有虚拟设计特征表示之外还被叠盖有所述虚拟对象特征表示的背景。因此,在将模拟的对象特征的虚拟表示(例如,看起来是在道路行驶车辆前方穿过道路的虚拟行人)实时地叠加在显示周围环境的视频流上之后,可以例如在所述道路行驶车辆在现实交通状况中和/或沿着实际道路行驶时评估所述模拟的对象特征和/或其对佩戴HMD的乘员(例如,可以是道路行驶车辆的驾驶员)的影响。因此,可以在现实交通状况和/或现实道路驾驶场景中评估模拟的对象特征和/或其对佩戴HMD的乘员的影响,这使得与在例如公知的静态或动态平台(其中,车辆实体模型前方的大型屏幕上显示环境和交通状况)中所进行的所述评估相比,能够在更像现实的条件下和/或在更像现实的环境中评估所述模拟的车辆对象特征和/或其对佩戴HMD的乘员的影响。如果模拟的对象特征包括模拟的其它车辆,例如看起来在道路行驶车辆前方行驶的其它车辆,则可以在道路行驶车辆中评估虚拟车辆,例如其图形和/或其新的和/或更新的设计,和/或其对佩戴HMD的乘员的影响。另一方面,如果模拟的对象特征附加地或替代地包括模拟的道路用户,例如看起来在道路行驶车辆前方穿过道路的道路用户,则可以在道路行驶车辆中评估虚拟道路用户和/或其对佩戴HMD的乘员的影响。此外,如果模拟的对象特征附加地或替代地包括模拟的移动或固定障碍物,例如看起来在道路行驶车辆前方站在道路上或穿过道路的麋鹿,则可以在道路行驶车辆中评估虚拟的移动或固定障碍物和/或其对佩戴HMD的乘员的影响。“确定”模拟的对象特征可以指的是“由计算机生成”、“模拟”和/或“模型化”模拟的对象特征,而“对象”可以指的是“实体对象”、“外部对象”和/或“道路行驶车辆外部的对象”。“对象特征”还可以仅指的是“对象”。根据一个示例,“确定模拟的对象特征”可以指的是“确定模拟的对象特征的逻辑、设计、图形、美学、几何形状和/或功能”,而模拟的对象特征“包括”的表述可以指的是模拟的对象特征“表现为”。“其它车辆”可以指的是“车辆”和/或“道路行驶车辆”,而“道路用户”可以指的是使用道路的任何人,例如行人、骑自行车者、骑摩托车者等。
可选地,车辆特征评估系统可以确定模拟的设计特征相对于道路行驶车辆的假想位置。则上面讨论的在考虑到HMD定向的情况下提供虚拟设计特征表示的步骤可以包括:提供叠加在实时显示周围环境的视频流上的虚拟设计特征表示,使得虚拟设计特征表示的定位对应于假想设计特征位置。从而提供了叠盖在现实世界视频流上的虚拟设计特征表示的定位在空间上与要模拟的车辆设计特征的预期假想车辆位置相称。在被认为与当前实施方式相关的情况下,假想设计特征位置可以被任意地选择,并且还可以具有范围从几毫米到数百毫米甚至数千毫米的任何任意形式、大小和/或尺寸。附加地或替代地、可选地,车辆特征评估系统可以确定模拟的车辆功能特征相对于道路行驶车辆的假想位置。则上面讨论的可选的在考虑到HMD定向的情况下提供虚拟功能特征表示的步骤可以包括:提供叠加在实时显示周围环境的视频流上的虚拟功能特征表示,使得虚拟功能特征表示的定位对应于假想功能特征位置。从而提供了叠盖在现实世界视频流上的虚拟功能特征表示的定位在空间上与要模拟的车辆功能特征的预期假想车辆位置相称。在被认为与当前实施方式相关的情况下,假想功能特征位置可以被任意地选择,并且还可以具有范围从几毫米到数百毫米甚至数千毫米的任何任意形式、大小和/或尺寸。附加地或替代地、可选地,车辆特征评价系统可以确定模拟的对象特征相对于道路行驶车辆的假想位置。则上面讨论的可选的在考虑到HMD定向的情况下提供虚拟对象特征表示的步骤可以包括:提供叠加在实时显示周围环境的视频流上的虚拟对象特征表示,使得虚拟对象特征表示的定位对应于假想对象特征位置。从而提供了叠盖在现实世界视频流上的虚拟对象特征表示的定位在空间上与要模拟的对象特征的预期假想位置相称。在被认为与当前实施方式相关的情况下,假想对象特征位置可以被任意地选择,并且还可以指的是,例如道路行驶车辆外面的位置,例如在道路行驶车辆前方,例如距离道路行驶车辆几毫米到几千毫米。“确定”假想位置可以指的是“绘制”假想位置,而“假想”位置可以指的是“预期”和/或“虚拟”位置。另一方面,假想“位置”可以指的是假想“方位”和/或“定位”,而“相对于”道路行驶车辆可以指的是“关于”道路行驶车辆和/或在道路行驶车辆“内”。“对应于”假想位置可以指的是与假想位置“相称”、“反映”假想位置和/或“代表”假想位置。
可选地,车辆特征评估系统还可以包括,基于与模拟的车辆功能特征的用户交互来更新虚拟功能特征表示。因此,用户与模拟的车辆功能特征的交互可以造成模拟的车辆功能特征的虚拟表示根据所述交互进行更新。也就是说,与模拟的车辆功能特征(例如,该特征表现为在模拟的车辆显示器上可用的可选选项)的用户交互可以导致根据该用户交互来执行和/或更新用户选择的选项,这随后通过相应的虚拟功能特征根据用户交互进行更新从而反映出来。用户交互可以取决于在假想功能特征位置中和/或该位置处借助于一个或多个用户交互传感器对用户的检测。由此,可以在车辆中代表模拟的车辆功能特征的定位的位置中或该位置处感测用户(例如佩戴HMD的乘员)的存在和/或所述用户/乘员的手指,以便随后可以根据所述存在和/或根据所述存在的地理位置和/或性质来更新模拟的车辆功能特征的虚拟表示。可以以本领域中已知的任何任意方式来检测用户交互,例如借助于一个或多个用户交互传感器和/或用户交互确定系统,例如包括(多个)触摸传感器、(多个)摄像机和/或由用户佩戴(例如,佩戴在他/她的手和/或手指上)的(多个)位置检测传感器。“更新虚拟功能特征表示”的表述可以指的是“更新虚拟功能特征表示的内容、图形数据和/或几何形状数据”,而“基于用户交互”可以指的是“作为用户交互的结果”和/或“根据从用户交互得到的输入数据和/或一个或多个信号”。另一方面,“用户交互”可以指的是“乘员交互”。“借助于一个或多个用户交互传感器”的检测的表述可以指的是“在一个或多个用户交互传感器的支持下”和/或“利用来自一个或多个用户交互传感器的输入”的检测。另一方面,“对用户”的检测可以指的是“对乘员”的检测,并且还可以指的是“对用户的手和/或一个或多个手指”的检测。“在假想功能特征位置中和/或该位置处”的表述可以指的是“在车辆内代表假想功能特征位置的位置中或该位置处”。
附加地或替代地、可选地,车辆特征评估系统可以进一步包括,根据从道路行驶车辆得到的、影响模拟的车辆功能特征的车辆信号来更新虚拟功能特征表示。由此,得到对模拟的车辆功能特征造成影响的车辆信号,例如从对道路行驶车辆的操纵和/或与道路行驶车辆的用户交互得到的车辆信号,会造成模拟的车辆功能特征的虚拟表示根据该车辆信号进行更新。也就是说,从道路行驶车辆得到影响模拟的车辆功能特征的车辆信号,其中车辆信号例如包括车辆数据(诸如燃料消耗量),并且其中模拟的车辆功能特征例如表现为示出所述车辆数据(例如,燃料消耗量)的模拟的车辆显示器,这可以造成在本示例中是虚拟车辆显示器的虚拟功能特征根据所述车辆信号进行更新,即虚拟显示器上示出的燃料消耗值随着接收到的包括更新的燃料消耗值的车辆信号进行更新。可以以任何已知的方式从道路行驶车辆得到车辆信号,例如通过与道路行驶车辆进行有线和/或无线通信,和/或在适于确定从道路行驶车辆得到的哪个输入会影响模拟的车辆功能特征的车辆信号确定系统和/或单元的支持下。“更新虚拟功能特征表示”的表述可以指的是“更新虚拟功能特征表示的内容、图形数据和/或几何形状数据”,而“基于车辆信号”可以指的是“基于来自车辆信号的输入和/或数据”。另一方面,从道路行驶车辆“得到的”可以指的是从道路行驶车辆“接收到的”。根据一个示例,“根据从道路行驶车辆得到的、影响模拟的车辆功能特征的车辆信号来更新虚拟功能特征表示”可以指的是“根据从道路行驶车辆得到的车辆信号来更新虚拟功能特征表示,该车辆信号基于对道路行驶车辆的操纵和/或与道路行驶车辆的用户交互,并且影响模拟的车辆功能特征”。
可选地,车辆特征评估系统可以基于更新的捕获的图像数据和/或基于更新的确定的HMD定向来更新实时视频流、叠加的虚拟设计特征表示、叠加的虚拟功能特征表示和/或叠加的虚拟对象特征表示。由此,提供了连续更新的实时视频流和/或(多个)虚拟表示,以反映更新的捕获的图像数据和/或更新HMD定向。“更新”可以指的是“连续和/或间歇地更新”。
根据本文实施方式的第二方面,上述目的通过一种车辆特征评估系统来实现,该车辆特征评估系统用于和/或适于使得能够评估模拟的车辆相关特征。车辆特征评估系统包括HMD定向确定单元,其用于和/或适于在跟踪系统的支持下确定适于坐在道路行驶车辆上的乘员佩戴的头戴式显示器HMD相对于道路行驶车辆的定向。车辆特征评估系统还包括设计特征确定单元,其用于和/或适于确定要在道路行驶车辆中进行评估的模拟的车辆设计特征。此外,车辆特征评估系统包括HMD提供单元,其用于和/或适于在考虑到HMD定向的情况下,实时地向HMD的HMD显示屏提供叠加在实时显示周围环境的视频流上的模拟的车辆设计特征的虚拟表示,实时显示周围环境的视频流是从现实世界图像数据导出的,现实世界图像数据是在适于捕获道路行驶车辆外部的周围环境的一个或多个车载摄像机的支持下捕获的。
可选地,模拟的车辆设计特征可以包括模拟的车辆内部区部和/或模拟的车辆外部区部。
可选地,车辆特征评估系统可以包括功能特征确定单元。则HMD提供单元可以适于在考虑到HMD定向的情况下,另外实时地向HMD的HMD显示屏提供叠加在实时显示周围环境的视频流上的模拟的车辆功能特征的虚拟表示。模拟的车辆功能特征可以例如包括模拟的车辆人机界面HMI、模拟的车辆显示器、模拟的车辆平视显示器HUD、灯光特性和/或由模拟的车辆功能特征的模拟所产生的模拟效果。
可选地,车辆特征评估系统可以包括对象特征确定单元。则HMD提供单元可以适于在考虑到HMD定向的情况下,另外实时地向HMD的HMD显示屏提供叠加在实时显示周围环境的视频流上的模拟的对象特征的虚拟表示。模拟的对象特征可以例如包括模拟的其它车辆、模拟的道路用户和/或模拟的移动或固定障碍物。
可选地,车辆特征评估系统还可以包括位置确定单元,其用于和/或适于确定模拟的车辆设计特征相对于道路行驶车辆的假想设计特征位置。则HMD提供单元还可以适于,提供叠加在实时显示周围环境的视频流上的虚拟设计特征表示,以使虚拟设计特征表示的定位对应于假想设计特征位置。附加地或替代地,可选的位置确定单元可以用于和/或适于确定模拟的车辆功能特征相对于道路行驶车辆的假想功能特征位置。则HMD提供单元还可以适于,提供叠加在实时显示周围环境的视频流上的虚拟功能特征表示,以使虚拟功能特征表示的定位对应于假想功能特征位置。附加地或替代地,可选的位置确定单元可以用于和/或适于确定模拟的对象特征相对于道路行驶车辆的假想对象特征位置。则HMD提供单元还可以适于,提供叠加在实时显示周围环境的视频流上的虚拟对象特征表示,以使虚拟对象特征表示的定位对应于假想对象特征位置。
可选地,车辆特征评估系统还可以包括用户交互更新单元,其用于和/或适于基于与模拟的车辆功能特征的用户交互来更新虚拟功能特征表示。用户交互可以取决于在假想功能特征位置中和/或该位置处借助于一个或多个用户交互传感器对用户的检测。附加地或替代地、可选地,车辆特征评估系统还可以包括车辆信号更新单元,其用于根据从道路行驶车辆得到的、影响模拟的车辆功能特征的车辆信号来更新虚拟功能特征表示。
可选地,车辆特征评估系统还可以包括连续更新单元,其用于和/或适于基于更新的捕获的图像数据和/或基于更新的确定的HMD定向来更新实时视频流、叠加的虚拟设计特征表示、叠加的虚拟功能特征表示和/或叠加的虚拟对象特征表示。
与前面关于第一方面所提到的优点类似的优点相应地适用于第二方面,并且不再进一步讨论。
根据本文实施方式的第三方面,上述目的是通过一种车辆实现的,例如包括上述车辆特征评估系统的道路行驶车辆。同样,与前面关于第一方面提到的优点类似的优点相应地适用于第三方面,并且不再进一步讨论。
根据本文实施方式的第四方面,上述目的通过一种包括计算机程序的计算机程序产品来实现,该计算机程序包含计算机程序代码模块,其被设置成使计算机或处理器执行上述车辆特征评估系统的步骤,并且存储在计算机可读介质或载波上。同样,与前面关于第一方面提到的优点类似的优点相应地适用于第四方面,并且不再进一步讨论。
附图说明
根据下面的详细描述和附图,将容易理解非限制性实施方式的各个方面,包括特定特征和优点,其中:
图1示出了根据本公开实施方式的示例性车辆特征评估系统的示意图;
图2更详细地示出了图1的车辆特征评估系统的示意图;
图3进一步详细地示出了图1的车辆特征评估系统的示意图;
图4示出了根据本公开实施方式的替代的车辆特征评估系统的示意图;
图5是示出根据本公开实施方式的示例性车辆特征评估系统的示意性框图;和
图6是描绘根据本公开实施方式的由车辆特征评估系统执行的示例性方法的流程图。
具体实施方式
现在将在下文中参考附图更全面地描述本公开的非限制性实施方式,附图中示出了本公开的当前优选实施方式。然而,本公开可以以许多不同的形式实施,并且不应被解释为限于这里阐述的实施方式。在全文中,相同的附图标记指的是相同的元件。附图中某些方框的虚线表示这些单元或动作是可选的而不是强制的。在下文中,根据本文中涉及使得能够评估模拟的车辆相关特征的实施方式,将公开一种方法,该方法使得能够评估与车辆有关和/或关联的特征的虚拟版本,而无需建立用于评估的实体模型。
现在参考附图并且具体参考图1至图3,其描绘了根据本公开实施方式的示例性车辆特征评估系统1的示意图。车辆特征评估系统1在此被包括在道路行驶车辆2(即,示例性的轿车)中。设置在道路行驶车辆2上的是一个或多个车载摄像机21,在此是三个基本朝前的摄像机21,其适于捕获道路行驶车辆2外部的周围环境。坐在所述车辆2上的是佩戴HMD 4的乘员3,HMD 4相对于车辆2的定向可以在跟踪系统5(在图2至图3中示出)的支持下确定。HMD 4包括至少一个HMD显示屏41,在此有两个显示屏,其上显示了从现实世界图像数据211(在图2至图3中示出)导出的实时显示周围环境的视频流6,现实世界图像数据211是在一个或多个车载摄像机21的支持下捕获的。叠加在所述视频流6上的是要在道路行驶车辆2中进行评估的模拟的车辆设计特征的虚拟表示7。模拟的车辆设计特征在此包括示例性模拟的车辆内部区部,其至少包括模拟的仪表板和方向盘,并且虚拟表示7在此相应地表现为虚拟内部区部,其包括示例性的虚拟仪表板和虚拟方向盘。模拟的车辆设计特征可以相对于车辆2具有假想设计特征位置70,并且对于图1至图3中的示例性模拟的车辆内部区部而言,假想设计特征位置70以示例性方式基本上位于佩戴HMD的乘员3不可见的、道路行驶车辆2的仪表板和方向盘所在的位置。根据其它实施方式,模拟的车辆设计特征可以附加地或替代、可选地包括模拟的车辆外部区部。另外叠加在显示周围环境的视频流6上的是要在道路行驶车辆2中进行评估的模拟的车辆功能特征的可选的虚拟表示8。模拟的车辆功能特征在此包括示例性模拟的车辆显示器,更具体地是模拟的信息娱乐显示器,并且虚拟功能特征表示8在此相应地表现为虚拟信息娱乐显示器。模拟的车辆功能特征可以相对于车辆2具有假想功能特征位置80,并且对于图1至图3中所示的示例性模拟的信息娱乐显示器而言,假想功能特征位置80以示例性方式基本上居中地定位在道路行驶车辆2的仪表板上和/或基本上居中地定位在虚拟仪表板7上。另外描绘了替代的模拟的车辆功能特征的示例性替代的虚拟功能特征表示8′。替代的模拟的车辆功能特征在此包括可选的示例性模拟的驾驶员信息显示器,并且替代的虚拟表示8′则相应地表现为示例性的虚拟驾驶员信息显示器。模拟的驾驶员信息显示器在此具有示例性的假想功能特征位置80′,假想功能特征位置80′在道路行驶车辆2的车辆仪表板上和/或在虚拟仪表板7上,在道路行驶车辆2的驾驶员座位前方。根据其它实施方式,模拟的车辆功能特征可以附加地或替代地、可选地包括例如模拟的车辆HMI、模拟的HUD、模拟的灯光特性和/或由模拟的车辆功能特征的模拟所产生的模拟效果。在图3中另外示出了可选的服务器10,将结合图5对其进行更详细地描述。
图4示出了根据本公开实施方式的替代的车辆特征评估系统1的示意图。在此,另外叠加在显示周围环境的视频流6上的是要在道路行驶车辆2中进行评估的模拟的对象特征的可选的虚拟表示9。模拟的对象特征在此包括示例性模拟的道路用户,即行人,并且虚拟对象特征表示9在此相应地表现为虚拟道路用户91,即虚拟行人,以示例性方式在道路行驶车辆2的前方穿过道路。模拟的对象特征可以相对于车辆2具有假想对象特征位置90,并且对于图4中的示例性模拟的行人而言,假想对象特征位置90以示例性方式基本上位于道路行驶车辆2前方几米处。根据其它实施方式,模拟的对象特征可以附加地或替代地、可选地包括例如模拟的其它车辆和/或模拟的移动或固定障碍物。
进一步如图5所示,图5是示出了根据本发明实施方式的示例性车辆特征评估系统1的示意性框图,车辆特征评估系统1包括HMD定向确定单元101、设计特征确定单元102、可选的功能特征确定单元103、可选的对象特征确定单元104、可选的位置确定单元105、HMD提供单元106、可选的用户交互更新单元107、可选的车辆信号更新单元108以及可选的连续更新单元109,将结合图6更详细地描述所有这些单元。此外,本文中用于使得能够评估模拟的车辆相关特征的实施方式可以通过一个或多个处理器(诸如,处理器110,在此表示为CPU/GPU)以及用于执行本文实施方式的功能和动作的计算机程序代码一起来实现。所述程序代码也可以被提供为计算机程序产品,例如以数据载体的形式,其携带在加载到车辆特征评估系统1中时执行本文实施方式的计算机程序代码。一种这样的载体可以是CD ROM光盘和/或硬盘驱动器形式的。但是,诸如记忆棒的其它数据载体也是可行的。此外,计算机程序代码可以作为纯程序代码提供在服务器上,并下载到车辆特征评估系统1。车辆特征评估系统1还可以包括存储器111,存储器111包括一个或多个存储单元。存储器111可以设置成用于例如存储信息,并且还用于存储数据、构型、时间表和应用,以在车辆特征评估系统1中运行时执行本文的方法。例如,计算机程序代码可以在固件中实现、存储在嵌入式处理器110的闪存111中和/或从线上下载。此外,上面描述的所述单元101、102、103、104、105、106、107、108和/或109、可选的处理器110和/或可选的存储器111可以至少部分地被包括在服务器10中,该服务器10可以被包括在道路行驶车辆2中和/或搭载在其上。本领域技术人员还将理解,上面描述的所述单元101、102、103、104、105、106、107、108和/或109以及稍后将在本描述中更详细描述的那些可以指的是模拟电路和数字电路的组合、和/或配置有软件和/或固件的一个或多个处理器,该软件和/或固件例如存储在诸如存储器111的存储器中,当由诸如处理器110的一个或多个处理器运行时,执行将结合图6更详细地描述的步骤。这些处理器中的一个或多个以及其它数字硬件可以被包括在单个ASIC(专用集成电路)中,或者若干个处理器和各种数字硬件可以分布在几个单独的部件中,无论是单独封装的还是组装到SoC(系统芯片)中的。
图5进一步示出了示例性可选的用户交互确定系统1070,其适于确定用户(例如,乘员3)与模拟的车辆功能特征(在此是示例性模拟的车辆信息娱乐显示器)的用户交互。用户交互确定系统1070可以例如包括(多个)触摸传感器、(多个)摄像机和/或由用户佩戴(例如,佩戴在他/她的手和/或手指上)的(多个)位置检测传感。还描绘了示例性可选的车辆信号确定单元1080,其适于确定,从道路行驶车辆2得到的哪个输入会在例如所述车辆2的操纵期间影响模拟的车辆功能特征(在此是示例性模拟的车辆信息娱乐显示器)。
图6是示出根据本公开实施方式的由车辆特征评估系统1执行的示例性方法的流程图。所述方法用于使得能够评估模拟的车辆相关特征。可以连续重复的示例性方法包括在图1至图5的支持下讨论的以下动作。
动作1001
在动作1001中,车辆特征评估系统1在跟踪系统5的支持下,借助于HMD定向确定单元101来确定适于由坐在道路行驶车辆2上的乘员3佩戴的HMD 4相对于道路行驶车辆2的定向。因此,如至少在图1、图2、图3和图5的支持下所示,确定了乘员佩戴的HMD 4的相对于现实车辆2的方位和/或位置,现实车辆2例如适于和/或用于在室外行驶,诸如在现实交通状况中和/或沿着实际道路行驶。
动作1002
在动作1002中,车辆特征评估系统1例如借助于设计特征确定单元102来确定要在道路行驶车辆2中进行评估的模拟的车辆设计特征。因此,如至少在图1、图2、图3和图5的支持下所示,限定了(例如,由计算机生成了)要在现实车辆2中进行验证的关注的虚拟车辆设计特征,其可选地是模拟的内部区部,例如至少包括模拟的仪表板和模拟的方向盘。由此,可以在道路行驶车辆2中评估虚拟内部区部7(在此是虚拟仪表板和/或虚拟方向盘),诸如其新的和/或更新的设计、颜色、材料和/或用户界面和/或其几何形状,例如CAD和/或DSM几何形状。可选地、附加地或替代地,模拟的车辆设计特征可以包括模拟的车辆外部区部。
动作1003
在可选的动作1003中,车辆特征评估系统1可以例如借助于功能特征确定单元103来确定要在道路行驶车辆2中进行评估的模拟的车辆功能特征。因此,如至少在图1、图2、图3和图5的支持下所示,限定了(例如,由计算机生成了)要在现实车辆2中进行验证的关注的虚拟车辆功能特征,其可选地是模拟的车辆信息娱乐显示器。于是,可以在道路驾驶车辆2中评估虚拟功能特征7,在此是虚拟信息娱乐显示器7,诸如其几何形状和/或其新的和/或更新的功能和/或设计。可选地、附加地或替代地,模拟的车辆功能特征可以包括模拟的车辆人机界面HMI、模拟的车辆平视显示器HUD、模拟的灯光特性和/或由模拟的车辆功能特征的模拟所产生的模拟效果。
动作1004
在可选的动作1004中,车辆特征评估系统1可以例如借助于对象特征确定单元104来确定要在道路行驶车辆2中进行评估的模拟的对象特征。因此,如在图4以及图1、图2、图3和图5的支持下所示,限定了(例如,由计算机生成了)要在现实车辆2中进行验证的关注的虚拟对象特征9,其可选地是模拟的道路用户91。由此,可以在道路行驶车辆2中评估虚拟道路用户9和/或其对佩戴HMD的乘员3的影响。可选地、附加地或替代地,模拟的对象特征可以包括模拟的其它车辆和/或模拟的移动或固定障碍物。
动作1005
在可选的动作1005中,车辆特征评估系统1可以例如借助于位置确定单元105来确定模拟的车辆设计特征相对于道路行驶车辆2的假想设计特征位置70。因此,如至少在图1、图2、图3和图5的支持下所示,可以确定模拟的车辆设计特征(可选地,模拟的内部区部)相对于车辆2的假想设计特征位置70,例如,模拟的仪表板和/或模拟的方向盘定位在例如佩戴HMD的乘员3不可见的、道路行驶车辆2的仪表板和方向盘所在的位置。
如果上述可选的动作1005在动作1003之后,以用于确定假想功能特征位置,则在可选的动作1005中,车辆特征评估系统1可以附加地或替代地例如借助于位置确定单元105来确定模拟的车辆功能特征相对于道路行驶车辆2的假想功能特征位置80。因此,如至少在图1、图2、图3和图5的支持下所示,可以确定模拟的车辆功能特征(可选地,模拟的车辆显示器)相对于车辆2的假想功能特征位置80,例如,模拟的信息娱乐显示器基本上居中地定位在道路行驶车辆2的仪表板上和/或基本上居中地定位在虚拟仪表板7上。
如果上述可选的动作1005在动作1004之后,以用于确定假想对象特征位置,则在可选的动作1005中,车辆特征评估系统1可以附加地或替代地例如借助于位置确定单元105来确定模拟的对象特征相对于道路行驶车辆2的假想对象特征位置90。因此,如在图4以及图1、图2、图3和图5的支持下所示,可以确定模拟的车辆对象特征(可选地,模拟的道路用户)相对于车辆2的假想对象特征位置90,例如,模拟的行人基本上位于道路行驶车辆2前方几米的位置处。
动作1006
在动作1006中,车辆特征评估系统1例如借助于HMD提供单元106,在考虑到HMD定向的情况下,实时地向HMD显示屏41提供叠加在实时显示周围环境的视频流6上的模拟的车辆设计特征的虚拟表示7,实时显示周围环境的视频流6是从现实世界图像数据211导出的,现实世界图像数据211是在适于捕获道路行驶车辆2外部的周围环境的一个或多个捕获周围环境的摄像机21的支持下捕获的。因此,如至少在图1、图2、图3和图5的支持下所示,向HMD显示屏41提供了道路行驶车辆2外部的周围环境的实时的物理世界视图6,该物理世界视图6基本上是由(多个)车载摄像机21捕获的,并且与由计算机生成的、在时间和空间上与所述物理世界视图6相称的虚拟设计特征表示7电子混合,使得显示周围环境的视频流6看起来是叠盖有所述虚拟设计特征表示7的背景。也就是说,通过提供(多个)车载摄像机21以捕获道路行驶车辆2外部的周围环境,实时显示周围环境的视频流6示出了车辆2外部的周围环境和/或环境,并因此排除了所述道路行驶车辆2的内部和可能至少部分外部的视图。因此,在佩戴HMD的乘员3坐在道路行驶车辆2上,例如坐在道路行驶车辆2的驾驶员座位或乘员座位中,并且考虑到HMD定向的情况下,向HMD显示屏41提供显示周围环境的视频流6的一部分,其是从现实世界图像数据211导出的并且与佩戴HMD的乘员3的视野相对应和/或在空间上相称,现实世界图像数据211是在(多个)车载摄像机21的支持下捕获的。将在(多个)HMD显示屏41上向佩戴HMD的乘员3相应地示出与所述乘员的视野在空间上相称的物理世界视图,但是将从该物理世界视图中排除道路行驶车辆2的内部和可能至少一部分外部,这是因为(多个)车载摄像机21捕获道路行驶车辆2外部的而不是内部的周围环境。因此,实时显示周围环境的视频流6可以展现所述道路行驶车辆2的驾驶员或乘员即使没有佩戴HMD 4也基本上可以看到的东西,但是除去了道路行驶车辆2的内部部分。因此,通过从佩戴HMD的乘员3的物理世界视图中基本上抹去道路行驶车辆2的内部和可能至少一部分外部,一个或多个模拟的设计特征(例如,表现为模拟的更新和/或新的内部或外部或一部分外部)可以在其位置进行评估。
可选地,如果在上面讨论的动作1006之前存在确定要评估的模拟的车辆功能特征的可选动作1003,则动作1006可以包括:在考虑到HMD定向的情况下,另外实时地向HMD显示屏41提供叠加在实时显示周围环境的视频流6上的模拟的车辆功能特征的虚拟表示8。模拟的车辆功能特征可以例如包括模拟的车辆人机界面HMI、模拟的车辆显示器、模拟的车辆平视显示器HUD、模拟的灯光特性和/或由模拟的车辆功能特征的模拟所产生的模拟效果。因此,如至少在图1、图2、图3和图5的支持下所示,模拟的车辆功能特征的虚拟表示8叠盖在现实世界视频流6上,以在时间和空间上与视频流6相称,使得所述视频流6看起来是除了被叠盖有虚拟设计特征表示7之外还被叠盖有所述虚拟功能特征表示8的背景。因此,在将模拟的车辆功能特征的虚拟表示8(例如,具有例如新的和/或更新的设计和/或功能的虚拟显示器)实时地叠加在显示周围环境的视频流6上之后,可以在道路行驶车辆2中,例如在所述道路行驶车辆2在现实交通状况中和/或沿着实际道路行驶时评估所述模拟的车辆功能特征。因此,可以在现实交通状况和/或现实道路驾驶场景中评估模拟的车辆功能特征,这使得与在例如公知的静态或动态平台(其中,车辆实体模型前方的大型屏幕上显示环境和交通状况)中所进行的所述评估相比,能够在更像现实的条件下和/或在更像现实的环境中评估所述模拟的车辆功能特征
可选地,如果在上面讨论的动作1006之前存在确定要评估的模拟的对象特征的可选动作1004,则动作1006可以包括:在考虑到HMD定向的情况下,另外实时地向HMD显示屏41提供叠加在实时显示周围环境的视频流6上的模拟的对象特征的虚拟表示9。模拟的对象特征可以例如包括模拟的其它车辆、模拟的道路用户和/或模拟的移动和/或固定障碍物。因此,如在图4以及图1、图2、图3和图5的支持下所示,模拟的对象特征的虚拟表示9叠盖在现实世界视频流6上,以在时间和空间上与视频流6相称,从而使所述视频流6看起来是除了被叠盖有虚拟设计特征表示7之外还被叠盖有所述虚拟功能特征表示9的背景。因此,在将模拟的对象特征的虚拟表示9(例如,看起来是在道路行驶车辆2的前方穿过道路的虚拟行人)实时地叠加在显示周围环境的视频流6上之后,可以例如在所述道路行驶车辆2在现实交通状况中和/或沿着实际道路行驶时评估所述模拟的对象特征和/或它对佩戴HMD的乘员3(例如,可以是道路行驶车辆2的驾驶员)的影响。因此,可以在现实交通状况和/或现实道路驾驶场景中评估模拟的对象特征和/或其对佩戴HMD的乘员3的影响,这使得与在例如公知的静态或动态平台(其中,车辆实体模型前方的大型屏幕上显示环境和交通状况)中所进行的所述评估相比,能够在更像现实的条件下和/或在更像现实的环境中评估所述模拟的对象特征和/或其对佩戴HMD的乘员3的影响。
动作1007
在可选的动作1007中,车辆特征评估系统1可以例如借助于用户交互更新单元107、基于与模拟的车辆功能特征的用户交互来更新虚拟功能特征表示8。由此,用户与模拟的车辆功能特征的交互可以致使模拟的车辆功能特征的虚拟表示8根据所述交互进行更新。因此,如至少在图1、图2、图3和图5的支持下所示,与模拟的车辆功能特征(例如,表现为示例性模拟的车辆显示器上可用的可选选项)的用户交互可以导致根据用户交互来执行和/或更新用户选择的选项,这随后通过相应的虚拟特征8,在此是虚拟信息娱乐显示器8根据用户交互进行更新从而反映出来。可选地,所述用户交互可以取决于在假想功能特征位置80中和/或该位置处借助于一个或多个用户交互传感器对用户的检测。因此,如至少在图1、图2、图3和图5的支持下所示,在车辆2内代表模拟的车辆功能特征的方位的位置中或该位置处,即在图1至图3中,在道路行驶车辆2的车辆仪表板和/或虚拟仪表板7的大致中心位置中或该位置处,可以感测用户(例如,佩戴HMD的乘员3)的存在,和/或所述用户/乘员3的手指的存在,于是,模拟的车辆功能特征的虚拟表示8(在此是模拟的信息娱乐显示器)随后可以根据所述存在和/或根据所述存在的地理位置和/或性质进行更新。可以以本领域中已知的任何任意方式来检测用户交互,例如借助于一个或多个用户交互传感器和/或图5所示的用户交互确定系统1070,例如包括(多个)触摸传感器、(多个)摄像机和/或由用户佩戴在他/她的手和/或手指上的(多个)位置检测传感器。
动作1008
在可选的动作1008中,车辆特征评估系统1可以例如借助于车辆信号更新单元1008、基于车辆信号来更新虚拟功能特征表示8′,该车辆信号影响模拟的车辆功能特征,是从道路行驶车辆2得到的。因此,如至少在图1、图2、图3和图5的支持下所示,得到影响模拟的车辆功能特征的车辆信号(例如,对道路行驶车辆2的操纵所产生的车辆信号)可以造成模拟的车辆功能特征的虚拟表示8′,即图1和图3中的虚拟信息显示器8′根据该车辆信号进行更新。也就是说,从道路行驶车辆2得到影响模拟的车辆功能特征的车辆信号,其中车辆信号例如包括车辆数据(诸如燃料消耗量),并且其中模拟的车辆显示器示出所述车辆数据(例如,燃料消耗量),这可以造成虚拟特征8′,即图1和图3中的示例性虚拟信息显示器8′根据所述车辆信号进行更新,即虚拟信息显示器8′上示出的燃料消耗值随着接收到的更新的燃料消耗值进行更新。车辆信号可以以任何任意已知的方式从道路行驶车辆2得到,例如经由与其连通的有线和/或无线通信,和/或在适于确定从道路行驶车辆2得到的哪个输入会影响模拟的车辆功能特征的车辆信号确定系统和/或单元1080的支持下。
动作1009
在可选的动作1009中,车辆特征评估系统1可以例如借助于连续更新单元109、基于更新的捕获的图像数据211和/或基于更新的确定的HMD定向来更新实时显示周围环境的视频流6、叠加的虚拟设计特征表示7、叠加的虚拟功能特征表示8和/或叠加的虚拟对象特征表示9。因此,如至少在图1至图5的支持下所示,提供了连续更新的实时视频流6和/或(多个)虚拟表示7、8、9,以反映更新的捕获的图像数据211和/或更新的HMD定向。
本领域技术人员应意识到,本公开绝不限于上述优选实施方式。相反,在所附权利要求的范围内可以进行许多修改和变型。此外应注意,附图不一定按比例绘制,并且为了清楚起见,某些特征的尺寸可能被放大。重点是说明本文实施方式的原理。另外,在权利要求中,单词“包括”不排除其它元件或步骤,并且不定冠词“一”或“一个”不排除多个。
Claims (15)
1.一种由车辆特征评估系统(1)执行的、用于使得能够评估模拟的车辆相关特征的方法,所述方法包括:
在跟踪系统(5)的支持下,确定(1001)适于由坐在道路行驶车辆(2)上的乘员(3)佩戴的头戴式显示器HMD(4)相对于所述道路行驶车辆(2)的定向;
确定(1002)要在所述道路行驶车辆(2)中进行评估的模拟的车辆设计特征;
在考虑到HMD定向的情况下,实时地向所述HMD(4)的HMD显示屏(41)提供(1006)叠加在实时显示周围环境的视频流(6)上的所述模拟的车辆设计特征的虚拟表示(7),所述实时显示周围环境的视频流(6)是从现实世界图像数据(211)导出的,所述现实世界图像数据(211)是在适于捕获所述道路行驶车辆(2)外部的周围环境的一个或多个车载摄像机(21)的支持下捕获的。
2.根据权利要求1所述的方法,其特征在于,所述模拟的车辆设计特征包括模拟的车辆内部区部和/或模拟的车辆外部区部。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
确定(1003)要在所述道路行驶车辆(2)中进行评估的模拟的车辆功能特征;
所述提供(1006)还包括:在考虑到所述HMD定向的情况下,另外实时地向所述HMD显示屏(41)提供叠加在所述实时显示周围环境的视频流(6)上的所述模拟的车辆功能特征的虚拟表示(8),所述模拟的车辆功能特征例如包括:
模拟的车辆人机界面HMI;
模拟的车辆显示器;
模拟的车辆平视显示器HUD;
模拟的灯光特性;和/或
由所述模拟的车辆功能特征的模拟所产生的模拟效果。
4.根据权利要求1至3中的任一项所述的方法,其特征在于,所述方法还包括:
确定(1004)要在所述道路行驶车辆(2)中进行评估的模拟的对象特征;
所述提供(1006)还包括:在考虑到所述HMD定向的情况下,另外实时地向所述HMD显示屏(41)提供叠加在所述实时显示周围环境的视频流(6)上的所述模拟的对象特征的虚拟表示(9),所述模拟的对象特征例如包括:
模拟的其它车辆;
模拟的道路用户;和/或
模拟的移动或固定障碍物。
5.根据权利要求1至5中的任一项所述的方法,其特征在于,所述方法还包括:
确定(1005)
所述模拟的车辆设计特征相对于所述道路行驶车辆(2)的假想设计特征位置(70);
所述模拟的车辆功能特征相对于所述道路行驶车辆(2)的假想功能特征位置(80);和/或
所述模拟的对象特征相对于所述道路行驶车辆(2)的假想对象特征位置(90);考虑到所述HMD定向的所述提供(1006)包括:
提供叠加在所述实时显示周围环境的视频流(6)上的虚拟设计特征表示(7),使得所述虚拟设计特征表示(7)的定位对应于所述假想设计特征位置(70);
提供叠加在所述实时显示周围环境的视频流(6)上的虚拟功能特征表示(8),使得所述虚拟功能特征表示(8)的定位对应于所述假想功能特征位置(80);和/或
提供叠加在所述实时显示周围环境的视频流(6)上的虚拟对象特征表示(9),使得所述虚拟对象特征表示(9)的定位对应于所述假想对象特征位置(90)。
6.根据权利要求4或5所述的方法,其特征在于,所述方法还包括:
基于与所述模拟的车辆功能特征的用户交互来更新(1007)所述虚拟功能特征表示(8),所述用户交互取决于在所述假想功能特征位置(80)中和/或处借助于一个或多个用户交互传感器对用户的检测;和/或
根据从所述道路行驶车辆(2)得到的、影响所述模拟的车辆功能特征的车辆信号来更新(1008)所述虚拟功能特征表示(8)。
7.根据权利要求1至6中的任一项所述的方法,其特征在于,所述方法还包括:
基于更新的捕获的图像数据(211)和/或基于更新的确定的HMD定向来更新(1009)
所述实时显示周围环境的视频流(6);
叠加的虚拟设计特征表示(7);
叠加的虚拟功能特征表示(8);和/或
叠加的虚拟对象特征表示(9)。
8.一种用于使得能够评估模拟的车辆相关特征的车辆特征评估系统(1),所述车辆特征评估系统(1)包括:
HMD定向确定单元(101),所述HMD定向确定单元(101)用于在跟踪系统(5)的支持下确定(1001)适于由坐在道路行驶车辆(2)上的乘员(3)佩戴的头戴式显示器HMD(4)相对于所述道路行驶车辆(2)的定向;
设计特征确定单元(102),所述设计特征确定单元(102)用于确定(1002)要在所述道路行驶车辆(2)中进行评估的模拟的车辆设计特征;
HMD提供单元(106),所述HMD提供单元(106)用于在考虑到HMD定向的情况下,实时地向所述HMD(4)的HMD显示屏(41)提供(1006)叠加在实时显示周围环境的视频流(6)上的所述模拟的车辆设计特征的虚拟表示(7),所述实时显示周围环境的视频流(6)是从现实世界图像数据(211)导出的,所述现实世界图像数据(211)是在适于捕获所述道路行驶车辆(2)外部的周围环境的一个或多个车载摄像机(21)的支持下捕获的。
9.根据权利要求8所述的车辆特征评估系统(1),其特征在于,所述模拟的车辆设计特征包括模拟的车辆内部区部和/或模拟的车辆外部区部。
10.根据权利要求8或9所述的车辆特征评估系统(1),其特征在于,所述车辆特征评估系统(1)包括:
功能特征确定单元(103),所述功能特征确定单元(103)用于确定(1003)要在所述道路行驶车辆(2)中进行评估的模拟的车辆功能特征;
所述HMD提供单元(106)适于,在考虑到所述HMD定向的情况下,另外实时地向所述HMD显示屏(41)提供叠加在所述实时显示周围环境的视频流(6)上的所述模拟的车辆功能特征的虚拟表示(8),所述模拟的车辆功能特征例如包括:
模拟的车辆人机界面HMI;
模拟的车辆显示器;
模拟的车辆平视显示器HUD;
模拟的灯光特性;和/或
由所述模拟的车辆功能特征的模拟所产生的模拟效果。
11.根据权利要求8至10中的任一项所述的车辆特征评估系统(1),其特征在于,所述车辆特征评估系统(1)还包括:
对象特征确定单元(104),所述对象特征确定单元(104)用于确定(1004)要在所述道路行驶车辆(2)中进行评估的模拟的对象特征;
所述HMD提供单元(106)适于,在考虑到所述HMD定向的情况下,另外实时地向所述HMD显示屏(41)提供叠加在所述实时显示周围环境的视频流(6)上的所述模拟的对象特征的虚拟表示(9),所述模拟的对象特征例如包括:
模拟的其它车辆;
模拟的道路用户;和/或
模拟的移动或固定障碍物。
12.根据权利要求8至11中的任一项所述的车辆特征评估系统(1),其特征在于,所述车辆特征评估系统(1)还包括:
位置确定单元(105),所述位置确定单元(105)用于确定(1005)
所述模拟的车辆设计特征相对于所述道路行驶车辆(2)的假想设计特征位置(70);
所述模拟的车辆功能特征相对于所述道路行驶车辆(2)的假想功能特征位置(80);和/或
所述模拟的对象特征相对于所述道路行驶车辆(2)的假想对象特征位置(90);
所述HMD提供单元(106)还适于:
提供叠加在所述实时显示周围环境的视频流(6)上的虚拟设计特征表示(7),使得所述虚拟设计特征表示(7)的定位对应于所述假想设计特征位置(70);
提供叠加在所述实时显示周围环境的视频流(6)上的虚拟功能特征表示(8),使得所述虚拟功能特征表示(8)的定位对应于所述假想功能特征位置(80);和/或
提供叠加在所述实时显示周围环境的视频流(6)上的虚拟对象特征表示(9),使得所述虚拟对象特征表示(9)的定位对应于所述假想对象特征位置(90)。
13.根据权利要求11或12所述的车辆特征评估系统,其特征在于,所述车辆特征评估系统还包括:
用户交互更新单元(107),所述用户交互更新单元(107)用于,基于与所述模拟的车辆功能特征的用户交互来更新(1007)所述虚拟功能特征表示(8),所述用户交互例如取决于在所述虚拟功能特征位置(80)中和/或处借助于一个或多个用户交互传感器对用户的检测;和/或
车辆信号更新单元(108),所述车辆信号更新单元(108)用于,根据从所述道路行驶车辆(2)得到的、影响所述模拟的车辆功能特征的车辆信号来更新(1008)所述虚拟功能特征表示(8)。
14.根据权利要求8至13中的任一项所述的车辆特征评估系统(1),其特征在于,所述车辆特征评估系统(1)还包括:
连续更新单元(109),所述连续更新单元(109)用于,基于更新的捕获的图像数据(211)和/或基于更新的确定的HMD定向来更新(1009)
所述实时显示周围环境的视频流(6);
叠加的虚拟设计特征表示(7);
叠加的虚拟功能特征表示(8);
和/或
叠加的虚拟对象特征表示(9)。
15.一种包括根据权利要求8至14中的任一项所述的车辆特征评估系统(1)的车辆(2)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18210988.4 | 2018-12-07 | ||
EP18210988.4A EP3663941B1 (en) | 2018-12-07 | 2018-12-07 | Evaluation of a simulated vehicle-related feature |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111290571A true CN111290571A (zh) | 2020-06-16 |
CN111290571B CN111290571B (zh) | 2023-07-21 |
Family
ID=64901821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911180422.0A Active CN111290571B (zh) | 2018-12-07 | 2019-11-27 | 评估模拟的车辆相关特征 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11257390B2 (zh) |
EP (1) | EP3663941B1 (zh) |
CN (1) | CN111290571B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210179086A1 (en) * | 2019-12-13 | 2021-06-17 | Honda Motor Co., Ltd. | Parking assisting device, parking assisting method and storage medium storing program for the parking assisting device |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11938819B2 (en) * | 2018-12-07 | 2024-03-26 | Volvo Car Corporation | Evaluation of a simulated vehicle-related feature |
US20220204009A1 (en) * | 2020-12-29 | 2022-06-30 | Waymo Llc | Simulations of sensor behavior in an autonomous vehicle |
CN113312776B (zh) * | 2021-06-02 | 2023-11-24 | 万物镜像(北京)计算机系统有限公司 | 行车轨迹的泛化方法、装置、存储介质及电子设备 |
US11562550B1 (en) * | 2021-10-06 | 2023-01-24 | Qualcomm Incorporated | Vehicle and mobile device interface for vehicle occupant assistance |
IT202200002903A1 (it) * | 2022-02-16 | 2023-08-16 | Granstudio S R L | Sistema per la progettazione, revisione e/o presentazione di soluzioni prototipali per veicoli, procedimento di funzionamento e prodotto informatico corrispondenti |
US20240310628A1 (en) * | 2023-03-16 | 2024-09-19 | Ford Global Technologies, Llc | Vehicle hud with external screen projection |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090213114A1 (en) * | 2008-01-18 | 2009-08-27 | Lockheed Martin Corporation | Portable Immersive Environment Using Motion Capture and Head Mounted Display |
WO2013056954A1 (de) * | 2011-10-17 | 2013-04-25 | Robert Bosch Gmbh | Verfahren zum assistieren eines fahrers in einer fremden umgebung |
US20140306866A1 (en) * | 2013-03-11 | 2014-10-16 | Magic Leap, Inc. | System and method for augmented and virtual reality |
WO2015155029A1 (de) * | 2014-04-07 | 2015-10-15 | Bayerische Motoren Werke Aktiengesellschaft | Lokalisierung eines head-mounted displays (hmd) im fahrzeug |
DE102014208310A1 (de) * | 2014-05-05 | 2015-11-05 | Bayerische Motoren Werke Aktiengesellschaft | Fahrerassistenzsystem zur Darstellung einer erweiterten Realität |
DE102014208352A1 (de) * | 2014-05-05 | 2015-11-05 | Bayerische Motoren Werke Aktiengesellschaft | System und Verfahren zum Instruieren eines Teilnehmers eines Fahrertrainings |
US20160321940A1 (en) * | 2015-04-29 | 2016-11-03 | Ivan Banga | Driver Education and Training System and Method for Training Drivers in Simulated Emergencies |
CN106274690A (zh) * | 2016-08-25 | 2017-01-04 | 乐视控股(北京)有限公司 | 一种车辆周围景象监测方法和系统 |
WO2018057980A1 (en) * | 2016-09-23 | 2018-03-29 | Apple Inc. | Immersive virtual display |
US20180096533A1 (en) * | 2016-09-30 | 2018-04-05 | Sony Interactive Entertainment Inc. | Facial feature views of user viewing into virtual reality scenes and integration of facial features into virtual reality views into scenes |
WO2018090060A1 (en) * | 2016-11-14 | 2018-05-17 | Logitech Europe S.A. | A system for importing user interface devices into virtual/augmented reality |
US20180182261A1 (en) * | 2014-07-02 | 2018-06-28 | Iotmotive Ltd. | Real Time Car Driving Simulator |
EP3407323A1 (en) * | 2016-01-22 | 2018-11-28 | Volvo Truck Corporation | Driving evaluation device, driving evaluation method, reference data provision method, reference data provision device, and reference data provision program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10546560B2 (en) * | 2017-10-31 | 2020-01-28 | Uatc, Llc | Systems and methods for presenting virtual content in a vehicle |
US10410426B2 (en) * | 2017-12-19 | 2019-09-10 | GM Global Technology Operations LLC | Augmented reality vehicle user interface |
-
2018
- 2018-12-07 EP EP18210988.4A patent/EP3663941B1/en active Active
-
2019
- 2019-11-04 US US16/672,756 patent/US11257390B2/en active Active
- 2019-11-27 CN CN201911180422.0A patent/CN111290571B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090213114A1 (en) * | 2008-01-18 | 2009-08-27 | Lockheed Martin Corporation | Portable Immersive Environment Using Motion Capture and Head Mounted Display |
WO2013056954A1 (de) * | 2011-10-17 | 2013-04-25 | Robert Bosch Gmbh | Verfahren zum assistieren eines fahrers in einer fremden umgebung |
US20140306866A1 (en) * | 2013-03-11 | 2014-10-16 | Magic Leap, Inc. | System and method for augmented and virtual reality |
WO2015155029A1 (de) * | 2014-04-07 | 2015-10-15 | Bayerische Motoren Werke Aktiengesellschaft | Lokalisierung eines head-mounted displays (hmd) im fahrzeug |
DE102014208310A1 (de) * | 2014-05-05 | 2015-11-05 | Bayerische Motoren Werke Aktiengesellschaft | Fahrerassistenzsystem zur Darstellung einer erweiterten Realität |
DE102014208352A1 (de) * | 2014-05-05 | 2015-11-05 | Bayerische Motoren Werke Aktiengesellschaft | System und Verfahren zum Instruieren eines Teilnehmers eines Fahrertrainings |
US20180182261A1 (en) * | 2014-07-02 | 2018-06-28 | Iotmotive Ltd. | Real Time Car Driving Simulator |
US20160321940A1 (en) * | 2015-04-29 | 2016-11-03 | Ivan Banga | Driver Education and Training System and Method for Training Drivers in Simulated Emergencies |
EP3407323A1 (en) * | 2016-01-22 | 2018-11-28 | Volvo Truck Corporation | Driving evaluation device, driving evaluation method, reference data provision method, reference data provision device, and reference data provision program |
CN106274690A (zh) * | 2016-08-25 | 2017-01-04 | 乐视控股(北京)有限公司 | 一种车辆周围景象监测方法和系统 |
WO2018057980A1 (en) * | 2016-09-23 | 2018-03-29 | Apple Inc. | Immersive virtual display |
US20180096533A1 (en) * | 2016-09-30 | 2018-04-05 | Sony Interactive Entertainment Inc. | Facial feature views of user viewing into virtual reality scenes and integration of facial features into virtual reality views into scenes |
WO2018090060A1 (en) * | 2016-11-14 | 2018-05-17 | Logitech Europe S.A. | A system for importing user interface devices into virtual/augmented reality |
Non-Patent Citations (2)
Title |
---|
BENEDICT HOBSON: "MINI\'s augmented-reality glasses can make cars transparent", pages 1 * |
J. FRUND等: "Cooperative design support within automobile advance development using augmented reality technology", pages 492 - 497 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210179086A1 (en) * | 2019-12-13 | 2021-06-17 | Honda Motor Co., Ltd. | Parking assisting device, parking assisting method and storage medium storing program for the parking assisting device |
US11697408B2 (en) * | 2019-12-13 | 2023-07-11 | Honda Motor Co., Ltd. | Parking assisting device, parking assisting method and storage medium storing program for the parking assisting device |
Also Published As
Publication number | Publication date |
---|---|
US20200184841A1 (en) | 2020-06-11 |
EP3663941B1 (en) | 2022-07-13 |
US11257390B2 (en) | 2022-02-22 |
EP3663941A1 (en) | 2020-06-10 |
CN111290571B (zh) | 2023-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111290571B (zh) | 评估模拟的车辆相关特征 | |
US11938819B2 (en) | Evaluation of a simulated vehicle-related feature | |
CN109484299B (zh) | 控制增强现实显示装置的显示的方法、装置、存储介质 | |
US10783715B2 (en) | Augmented reality display reflective of visibility affecting features in real-world environment | |
US20120224060A1 (en) | Reducing Driver Distraction Using a Heads-Up Display | |
Galko et al. | Vehicle-Hardware-In-The-Loop system for ADAS prototyping and validation | |
CN114385005B (zh) | 个性化虚拟试驾装置、方法和存储介质 | |
CN108039084A (zh) | 基于虚拟现实的汽车视野评价方法及系统 | |
CN112084719A (zh) | 基于计算机辅助设计和辅助仿真的道路交通智能设计平台 | |
Kim et al. | Effects on productivity and safety of map and augmented reality navigation paradigms | |
EP3869302A1 (en) | Vehicle, apparatus and method to reduce the occurence of motion sickness | |
CN111291447B (zh) | 评估模拟的车辆功能特征 | |
CN103782329B (zh) | 用于表示交通标志信息的方法和设备 | |
US10354547B1 (en) | Apparatus and method for virtual test drive for virtual reality applications in head mounted displays | |
Galazka et al. | CiThruS2: Open-source photorealistic 3D framework for driving and traffic simulation in real time | |
KR101020505B1 (ko) | 3차원 자차마크 표시 장치 및 그 방법 | |
US11182978B1 (en) | Rendering virtual content with coherent visual properties | |
JP2013130928A (ja) | 設計支援装置、設計支援方法及びプログラム | |
JP6481596B2 (ja) | 車両用ヘッドアップディスプレイの評価支援装置 | |
JP2020161002A (ja) | 映像表示システム、運転シミュレータシステム、映像表示方法、及びプログラム | |
EP3591624B1 (en) | Augmented vision in image sequence generated from a moving vehicle | |
Brogan et al. | Automatic generation and population of a graphics-based driving simulator: Use of mobile mapping data for behavioral testing of drivers | |
Jia et al. | Development and realization of a street driving simulator for virtual tour | |
WO2024095356A1 (ja) | グラフィックス生成装置、グラフィックス生成方法及びプログラム | |
WO2024093567A1 (zh) | 导航方法、导航装置、导航系统和车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |