CN104049927A - 用于左转安全提示的增强现实平视显示器(hud) - Google Patents

用于左转安全提示的增强现实平视显示器(hud) Download PDF

Info

Publication number
CN104049927A
CN104049927A CN201410092910.7A CN201410092910A CN104049927A CN 104049927 A CN104049927 A CN 104049927A CN 201410092910 A CN201410092910 A CN 201410092910A CN 104049927 A CN104049927 A CN 104049927A
Authority
CN
China
Prior art keywords
vehicle
hand rotation
augmented reality
driver
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410092910.7A
Other languages
English (en)
Other versions
CN104049927B (zh
Inventor
L·贝克韦斯
V·恩格-索-欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN104049927A publication Critical patent/CN104049927A/zh
Application granted granted Critical
Publication of CN104049927B publication Critical patent/CN104049927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)

Abstract

一种方法、增强现实驾驶系统和设备安全地引导车辆驾驶员执行左转。车辆导航仪基于车辆的接近度和速度检测左转。目标传感器确定接近左转的相向交通车道中的对面来车的当前位置和相对矢量。增强现实控制器三维绘图包括对面来车的正向视图,并且通过基于该矢量和相对矢量对对面来车的目标路径进行投影以及对左转路径进行投影而将增强现实显示重叠在用于车辆驾驶员的体积平视显示器上。

Description

用于左转安全提示的增强现实平视显示器(HUD)
背景技术
大多数驾驶员相信他们高于平均驾驶水平。实际上,许多人平时由于行为不正确而在方向盘后表现不佳,即使单一的错误也会导致伤亡的后果。为了帮助训练驾驶员,公知系统经由语音系统提供有关驾驶员表现的反馈。可替换地,其它公知系统提供文本显示,这会分散驾驶员的注意力而不是朝着安全驾驶行为对驾驶员进行有效促进。
发明内容
以下给出本公开的简单概述以便提供对本公开一些方面的基本理解。该概述并非是本公开的扩展性综述。其并非意在标识出本公开的关键/必要要素或者对本公开的范围加以鉴定。其目的仅在于以简化形式给出本公开的一些概念而作为随后给出的更详细描述的前序。
如这里所请求保护的本公开在其一个方面包括一种方法,其用于通过基于车辆的接近度和速度检测左转,确定接近左转的相向交通车道中对面来车的当前位置和相对矢量,三维绘图包括该对面来车的正向视图,并且通过基于该矢量和相对矢量对对面来车的目标路径进行投影以及对左转路径进行投影而将增强现实显示空间重叠在用于车辆驾驶员的体积的平视显示器上而安全引导车辆驾驶员执行左转。
在本公开的另一个方面,一种增强现实驾驶系统安全引导车辆驾驶员执行左转。车辆导航仪基于车辆的接近度和速度检测左转。目标传感器确定接近左转的相向交通车道中对面来车的当前位置和相对矢量。增强现实控制器对包括对面来车的正向视图进行三维绘图,并且指示体积平视显示器基于该矢量和相对矢量对对面来车的目标路径进行投影并且指示该体积平视显示器对车辆的左转路径进行投影。
在其又一个方面,一种设备安全引导车辆驾驶员执行左转。控制器与体积平视显示器进行通信。该控制器包括至少一个处理器,该处理器执行软件指令以执行包括以下的操作:基于车辆的接近度和速度检测左转,确定接近左转的相向交通车道中的对面来车的当前位置和相对矢量,对包括该对面来车的正向视图进行三维绘图,并且通过基于该矢量和相对矢量对对面来车的目标路径进行投影以及对左转路径进行投影而将增强现实显示空间重叠在用于车辆驾驶员的体积平视显示器上。
为了实现以上和相关目标,在这里结合以下描述和附图对公开的某些说明性方面进行描述。然而,这些方面仅是能够对本公开的原则加以采用的各种方式中的一些的指示,而本公开意在包括所有这样的方面及其等同形式。当结合附图考虑时,本公开的其它优势和新颖特征将从以下对本公开的详细描述而变得显而易见。
附图说明
图1图示了依据本公开一个方面的用于使用增强现实而安全引导驾驶员通过左转的设备的框图。
图2图示了依据本公开一个方面的针对安全左转促成增强现实的操作的示例流程图。
图3图示了根据本公开示例性方面的车辆前部横截面的侧视图以及增强现实驾驶系统的框图。
图4图示了具有用于安全引导左转的增强现实的两种说明性实例的道路顶部视图。
图5图示了从由增强现实显示器所辅助的驾驶员的有利位置的前方视图。
图6示出了依据本公开各方面的示例安全网格。
图7图示了用于驾驶员影响/干扰周期的表格。
图8图示了用于安全网格分析的表格。
图9图示了可操作以执行所公开架构的计算机的框图。
图10图示了依据本公开的示例性计算环境的示意性框图。
具体实施方式
本公开提供了用于应对不安全驾驶习惯的前摄性策略。驾驶员影响/干扰周期作为用于描述驾驶时的感知和行为的三个等级的模型。增强现实用于设计以最低、中间等级的感知的视觉刺激并且提供正面强化更高行为等级的视觉反馈。结果,解决了所有感知和行为等级的安全性问题以便使得短期和长期的驾驶有所改进。利用使用呈现左转引导的体积平视显示器(HUD)的原型利用的设计概念对这种使用三级模型来创建驾驶员吸引和学习的方法进行说明。
增强现实(AR)能够改变道路的“游戏规则”,从而通勤者的注意力得以改变为表现出安全/防护性的驾驶以及对驾驶员有所奖励的注意力极其集中的“流动”状态。实际上,驾驶经验是“游戏化的(game-ified)”而并非是针对激进性,而主要是掌握驾驶任务,特别是有关安全且周到的驾驶。这种观点建议AR能够以非常个性化的方式改变一个人的现实视野。例如,在具燃油效率的车辆中具有对其每英里汽油消耗量进行测量的显示器的驾驶员会被激发以实现更高的燃油效率。这是一种恒定反馈、目标和挑战能够如何产生对驾驶员部分产生积极吸引的小示例。AR的视觉反馈允许有关环境作出明确通知。该反馈允许更高等级的目标和强化机制在驾驶的同时活跃起来。
由于HUD是一种新兴技术,所以能够就该技术如何在汽车中使用形成许多不同的方法。在没有针对安全和注意力分散的原因给予适当关注的情况下,一些人可能有兴趣设计针对次要任务的HUD应用,诸如日历查看或视频呼叫。对于道路用户的安全而言非常关键的是首先在HUD中引入通过经由吸引而解决驾驶员分神来激发的系统。通过将驾驶员的注意力转移至驾驶的主要任务上而将HUD用于拯救生命的目的是一种优先于向HUD增加更多次要任务功能的方式。不仅车辆中的3D增强现实能够帮助驾驶员保持安全行为,而且还可能积极地并显著地变换驾驶员、车辆以及共享街道的每个人之间的关系。
在一个示例性方面,AR能够被用于(1)显示由投射在对面来车前方的彩色编码路径所构成的视觉警告;(2)计算进行左转是否安全;以及(3)当转向安全时显示彩色编码表示(例如,为车辆驾驶员显示进行左转时所要遵循的路径(驾驶员线路))。视觉警告出现在驾驶员前方的显示器上以在不使得驾驶员分神(诸如迫使驾驶员在与对面的交通情况不同的焦点位置读取文本)的情况下就对面的交通情况对驾驶员进行警告。虽然这里所描述的许多方面具体涉及左转,但是所要意识到的是,存在包括在本公开和所附权利要求范围之内的其它情形。
具体地,视觉警告可以是在对面来车前方投影的经彩色编码的路径。该彩色编码路径能够基本上附着至对面来车的前方并且通常在使用车辆的当前速度和方向的对面来车前方设置三(3)秒(等等)。该路径的宽度可以被固定为大约一辆车的宽度。可替换地,诸如危及多于一条车道的过大尺寸负载之类的特别大的车辆能够被检测并描绘为宽于路径宽度。可替换地或除此之外,小型车辆或骑车人则具有增加的路径宽度以确保检测。
在本公开中,当驾驶员进行左转时开启并呈现不同图像或表示形式。例如,当驾驶员进行左转时驾驶员线路(driver line)会变得更短。此外,系统能够计算转弯是否安全并且在转弯安全时向驾驶员显示所要遵循的彩色编码表示形式或路径(例如,驾驶员线路)。
现在参考附图对本公开进行描述,其中始终使用同样的附图标记来指代同样的要素。在以下描述中,出于解释的目的,给出了多个具体细节以便提供对本公开的全面理解。然而能够显而易见的是,本公开能够在没有这些具体细节的情况下进行实践。在其它情况下,以框图形式示出了公知结构和设备以便促进对本公开的描述。
如本申请中所使用的,术语“组件”和“系统”意在指代计算机相关实体,硬件、硬件和软件的组合、软件或者执行中的软件。例如,组件可以是在处理器上运行的过程、处理器、对象、可执行程序、执行线程、程序和/或计算机,但是并不局限于此。通过说明,在服务器上运行的应用以及服务器都可以作为组件。一个或多个组件能够驻留在过程和/或执行线程内,并且组件能够位于一台计算机上和/或在两台或更多计算机之间进行分布。
如这里所使用的,术语“推导”或“推论”一般是指来自经由事件和/或数据所捕捉的观察集合的有关系统、环境和/或用户的状态的推导或论证过程。例如推论可以被用来识别具体的背景或动作,或者能够生成有关状态生成概率分布。推论可以是概率性的—也就是说,有关感兴趣状态的概率分布的计算是基于对数据和事件的考虑。推论还能够指代用来从事件和/或数据集合组成更高等级事件的技术。这样的推论导致了从所观察事件和/或所存储事件数据构建新的事件或动作,而无论该事件是否在时间上紧密关联,也无论该事件和数据是来自一个还是若干个事件和数据来源。
最初参考附图,图1图示了用于安全引导车辆驾驶员执行左转的设备100。设备100与体积平视显示器(HUD)110进行通信,二者都属于增强现实驾驶员系统120。增强现实控制器(“控制器”)130具有至少一个处理器140,其执行软件指令150以实施以下操作:基于车辆的接近度和速度检测左转,确定接近左转的相向交通车道中对面来车的当前位置和相对矢量,三维绘图包括该对面来车的正向视图,并且通过基于该矢量和相对矢量对对面来车的目标路径进行投影以及对左转路径进行投影而将增强现实显示空间重叠在用于车辆驾驶员的体积平视显示器上。
在符合本公开至少一个版本的一个方面,控制器130在所计算的车辆将在左转期间通过对面左侧的时间内执行对目标路径进行投影的操作。
在符合本公开至少一个版本的另一个方面,控制器130利用响应于确定非相交路径的延长左转图形以及利用响应于确定相交路径的缩短左转而执行重叠增强现实显示器的操作。
在符合本公开至少一个版本的另外的方面,控制器130进一步通过访问数字地图、车辆位置以及车辆的当前轨迹并且接收指示计划左转的用户输入来执行检测左转的操作。例如,指示计划左转的用户输入可以是通过基于数字地图而接收路线地图。可替换地或除此之外,接收指示计划左转的用户输入可以是通过接收左转信号。
图2图示了依据本发明一个方面的用于安全引导车辆驾驶员执行左转的方法200。在框210,基于车辆的接近度和速度检测左转。在框220,确定接近左转的相向交通车道中对面来车的当前位置和相对矢量。在框230,三维绘图包括对面来车的正向视图。在框240,通过基于该矢量和相对矢量对对面来车的目标路径进行投影以及对左转路径进行投影而将增强现实显示空间重叠在用于车辆驾驶员的体积绘图平视显示器上。
根据符合本公开至少一个版本的一个方面,方法200可以包括在所计算的车辆将在左转期间通过对面左侧的时间内对目标路径进行投影。
根据符合本公开至少一个版本的另一个方面,方法200可以包括利用响应于确定非相交路径的延长左转图形以及利用响应于确定相交路径的缩短左转而重叠增强现实显示器。
根据符合本公开至少一个版本的一个方面,方法200可以包括检测左转,其进一步包括访问数字地图、车辆位置以及车辆的当前轨迹并且接收指示计划左转的用户输入。例如,接收指示计划左转的用户输入可以是接收基于数字地图的路线地图。可替换地或除此之外,接收指示计划左转的用户输入可以是通过接收左转信号。在支持确定转向车道的数据出现冲突的一些方面(例如,路线数据指示左转但是驾驶员已经激活了右转信号,等等),可以为每个可能的转向车道提供让步指示(yielding indication)。然而在其它这样的方面,可以基于第一信息集合比第二信息集合更为相关而进行更为可能的转向车道确定(例如,转向信号激活可以被认为比路线地图信息更为相关,或者反之亦然,车辆速度和接近度可以被认为比转向信号信息更为相关,或者反之亦然,等等),并且能够针对少于全部的可能转向车道提供让步指示(如以上所描述的,在“转向车道”可以包括继续直行的车道的情况下,等等)。在另外的方面,能够采用机器学习(例如,分类器等)来确定与冲突或不明确输入相对应的最为可能的行驶方向。
虽然这里出于便于解释的目的而例如以流程图的形式示出了被示出并描述为一系列动作的一种或多种方法,但是所要理解并意识到的是,本公开并不被动作的顺序所限制,因为依据本公开,一些动作能够以与这里所示出并描述的不同顺序进行和/或彼此同时进行。例如,本领域技术人员将会理解并意识到的是,方法能够可替换地诸如以状态图而被表示为一系列互相相关的状态或事件。此外,并非所有所图示的动作都被需要以实施依据本公开的方法。
现在参考图3-5,为了清楚而将用于安全引导车辆304的驾驶员302执行左转的示例性增强现实驾驶员系统描绘为由车辆304所承载的若干组件的分布式系统;然而,将要意识到的是,借鉴本公开,该功能能够被集成到一个或多个设备之中。此外,某些功能或组件可以针对车辆304是远程的。
特别参考图3,车辆导航仪306例如基于车辆304的接近度和速度检测左转。(多个)目标传感器308确定接近左转的相向交通车道中对面来车310的当前位置和相对矢量。目标传感器308还能够检测行人。能够例如通过访问车辆导航仪306所使用的数字街道地图314而确定当前位置和接近度。
增强现实(AR)驾驶设备320与车辆304中的一个或多个传感器或控制器进行通信,诸如(多个)目标传感器308、用于检测驾驶员头部/眼睛位置的相机321、车辆速度传感器322、转向传感器323和转向信号324。例如,AR驾驶设备320的转向监视器325能够由于一个或多个用户输入而确定要计划左转,该用户输入诸如车辆导航仪306中所接受的路线、针对转向传感器323的速度或转向输入以及转向信号324的激活。
体积平视显示器(HUD)332能够关于驾驶员302的有利位置330对包括地平面329的多个焦点平面326-328进行投影。
虽然没有描绘,但是体积HUD332能够在仿真驾驶设置中采用,其中同步视频被投影到体积HUD332上,其仅由增强计算机图形视觉所构成。同时看到,培训中的设计师或驾驶员能够对合并图像进行视觉化。与直接将计算机图形重叠在驾驶画面视频上相比,将AR直接显示在体积HUD332上能够实现更高水平的保真度。
增强现实控制器340可以具有目标3D绘图组件342以三维绘图包括迎面到来车辆的正向视图344,以指示体积平视显示器基于矢量和相对矢量对迎面到来车辆的目标路径进行投影,并且指示体积平视显示器332对车辆304的左转路径进行投影。
特别参考图4,针对行驶在当前道路402上的车辆304向下俯瞰地描绘出说明性情形400。为了提升情境感知,车辆304对车辆304周围的安全网格(safety grid)404内的车辆进行监视,该安全网格404被描绘为左前分区410、前中分区412、左前分区414、左侧分区416、右侧分区418、左后分区420、中后分区422和左后分区424。例如,处于左后分区424的盲点中的后方车辆426可以被通知给驾驶员302。
在道路430上确定计划左转。在第一种情况下,考虑处于相对距离S的对面来车具有速度V和宽度W。描绘出目标路径432,其可以具有相同宽度W以及基于预设时间和速度V所计算的长度L。可替换地,所使用的时间数值能够基于动态计算的车辆304能够完成左转的时间。对于该第一示例而言,能够描绘出示出与对面来车310没有相交的左转路径434。左转路径434由此表明转弯是安全的。
作为对比,考虑同样在图4上示出的第二情形,其中对面来车310’处于更近的相对距离S’并且以更高速度V’行驶。对面来车310’还具有不同宽度W’。对于该第二情形而言,可以描绘出示出与对面来车310没有相交的左转路径434。左转路径434’表明转弯是不安全的,其在说明性描绘中为并不通过目标路径432’的缩短的左转路径。
特别参考图5,描绘了驾驶员所看到的车辆304的内部部分500。体积平视显示器332形成无变化的前方视图504以及要出现在一个或多个焦平面的叠加视图506的增强现实显示502。安全网格510也可以在增强现实显示502中描绘。
利用与增强现实(AR)相结合的平视显示器(HUD)的可用性,存在着改变驾驶员对道路环境的感知以改善安全驾驶行为的可能。增强现实显示器能够将视觉信息投射到驾驶员的视场中,带来了完全沉浸式体验的可能性。与语音或二级显示器相反,驾驶员的眼睛能够保持在道路上,信息则出现在与驾驶情形相同的三维视觉世界中。在这样的AR环境中,建议动作和即刻动作反馈都能够出现在具有实际道路画面和画面中诸如车辆、车道或行人的相关对象的环境之中。本公开给出了描述了是什么导致了不安全状况的模型,诸如分神或激进驾驶,并且使用该相同的模型,本公开给出了使用视觉正面反馈以吸引并训练驾驶员采用更为安全的驾驶行为同时针对各种驾驶任务提供专门视觉引导的策略。
图6示出了依据本公开各方面的示例安全网格510。如在图6中看到的,与安全网格510相关联的车辆(例如,车辆304)能够由中心图标602所表示,其能够以一种或多种的不同颜色、图案、大小、形状等进行指示。车辆304周围的各个分区(例如,410-424)能由图标604或606所表示,其中一种类型的图标(例如,604)能够在没有在该分区中检测到潜在危害(例如,其它车辆等)的情况下使用,而另一种类型606则能够在检测到潜在危害的情况下使用,其中类型604和606能够以一些方式在视觉上有所不同(例如,大小、形状、颜色、图案等)。
图7示出了三层式层级的驾驶员感知和行为示图700。最低等级是与环境最为迅速的交互。驾驶员通过运动的形状和颜色而感应外界,并且能够使用汽车反射作出快速反应。在中间等级,驾驶员形成他们的情形的理解,获知他们关于其它车辆或行人处于何处并且发展出用于在环境周边进行导航的策略。在最高等级,驾驶员发展其针对驾驶以及其它道路用户的态度。在行为上,驾驶员选择与外界交互的方式能够被描述为其行事方式。例如,由于个人有孩子而始终优选更安全的路线是一种超出单个时间实例的观点和行事方式。
参考图8,在这三个等级中的每一个,会发生如800所描绘的感知和表现的失灵。在最低等级,当驾驶员由于注意力关注于其它地方而没有感知眼前的刺激时出现疏忽性眼盲。在中间等级,当主要驾驶任务与一个或多个二级任务形成竞争时(例如,在移动电话会话的同时错过转弯)会出现驾驶员的分神。在最高等级,观点和行事方式的失灵的示例将是激进驾驶。追尾、超速和激进对待行人是危险的行为,并且能够归因于缺乏对他人的同情心以及不健康的冒险。通常,安全解决方案仅专门关注于一个层面,诸如在行人接近车辆时发出警报。本公开提出了对于感知和行为的所有层面的考虑能够针对安全性带来更为有效的预防性解决方案。
较低水平的感知导致了较高水平的状态推断或感知。另一方面,较高水平的行为影响了较低水平行为的选择。例如,激进驾驶表明自身处于驾驶策略的失灵之中,诸如频繁变道,并且其结果可能是无法注意到与驾驶员处于碰撞航向上的车辆或对其作出反应。随时间在该值得注意的情形中出现推断能够形成个人的观点,或者反之亦然;个人的观点能够主导其感知情形的方式。在行为上,决定成为安全驾驶员,改变行驶模式,能够带来防御性的驾驶策略,这会使得驾驶员准备好正确应对突发危险。
所有这些水平都影响到一个人如何通过至关重要的吸引要素而使用AR选择表示信息。由于驾驶员的无意和分神可能在执行诸如日常通勤之类的常规和无挑战任务时出现,所以假设关注于在主要驾驶任务中吸引驾驶员的方法将消除将注意力转移到诸如文本之类的次要任务的需要或需求。
流畅是个人非常关注于当前所做的事情而处于表现和关注度提升状态时的吸引状态。情形必须满足某种先决条件以便使得流畅成为可能。必须存在使得他们的能力得到增长的轻微挑战、明确目标和即刻反馈。通勤中的驾驶员通常并没有体验到关联于流畅的状况。驾驶员没有感到目标或挑战,对于良好的驾驶行为没有回报,并且没有有关他们的行为超出避免碰撞的的刚好最低底线的反馈。在这种平常的情形中,驾驶员进入了不适状态,并且一旦有机会将转向某些更有吸引力的事情,诸如选取广播电台或者查看其文本消息。
依据本公开,一种用于吸引驾驶员的方法寻求在挡风玻璃显示器中使用AR以改变驾驶员的感知而形成流畅的状态。该目标是为了鼓励驾驶员熟练驾驶,了解最佳的实践行为并且发展对于共享道路的他人的考虑。
相信沿驾驶员感知和行为的所有三个等级吸引驾驶员改善其表现能够明显提高驾驶员的安全性。该创新说明了一种具有构思并原型化的产品选择的设计方法:安全网格、平滑并线辅助和行人让步指示。应当注意的是,AR视觉概念采用了意在出现在道路环境中的3D几何图形,这对于保持驾驶员沉浸在现实3D世界中是非常关键的。
本公开将最大需求中的群体作为第一优先级进行考虑。新手驾驶员以及老年人分别由于其缺乏经验以及减弱的感知的能力而尤其处于危险之中。因此,该创新设计了AR辅助以便作为所要采取的正确驾驶动作的建议并且在视觉上容易看到。就一个意义而言,所给出的AR概念意在针对平均水平的驾驶员并且为他们给予专家驾驶员的感知、技巧和观点。对年轻人和成年人群体进行了采访以理解我们的目标用户。为了设计出理想的驾驶行为情形,对专家驾驶员进行了跟踪研究以便更好地理解他们在方向盘后如何思考和行为。从这种理解所获得的东西被转化为对于非专家用户的视觉AR辅助。
防御性驾驶意味着始终获知你周围的车辆,并且前摄性地形成使得采取突然操作的需求最小化的情形。专家驾驶员发展了对其车辆周围的安全空间进行优化的习惯。继续回去参考图6,安全网格510表示了车辆紧邻的八个空间(其中车辆为中间一块),形成了对车辆周边的感知。图4使用公开的模型表现出该设计如何改善驾驶感知和行为。所要采取的理想动作是清空所有空间而使得他们变为蓝色,由此对驾驶员奖励以安全驾驶分数。在出现处于与驾驶员的碰撞航向上的车辆的紧急情况下,驾驶员能够通过移动到驾驶员车辆的侧方或后方的一个未占用框中而采取矫正动作,他或她将已经由于网格的持续反馈而获知了该未占用框。
例如,并入高速公路是一种导致许多驾驶员特别是年龄较大或没有经验的驾驶员紧张的情形。这里的错误行为是作为一种对于高速公路的高速度的胆怯反应而减速。然而,专家驾驶员将知道最佳的并入方式是沿入口匝道快速且平滑加速以匹配高速公路的速度,辨认出最近车道上在车辆之间具有开放空间的一个位置并且并入其中。绿色视觉辅助在地面上绘制出以高速公路上的驾驶员速度移动的点。该驾驶员意味着匹配速度并且并入到导引线上。同时,在车辆前方绘制出驾驶员应当采用的最佳路径的线路。
现在参考图9,图示了可操作以执行所公开架构的计算机的框图。为了为本公开的各个方面提供附加环境,图9和以下公开意在提供对能够在其中实施本公开各个方面的适当计算环境900的简明的一般性描述。虽然以上已经以能够在一个或多个计算机上运行的一般计算机可执行指令为背景对本公开进行了描述,但是本领域技术人员将会认识到,本公开也能够结合其它程序模块实施和/或作为硬件和软件的组合来实施。
通常,程序模块包括执行特定任务或者实施特定抽象数据类型的例程、程序、组件、数据结构等。此外,本领域技术人员将会意识到,该发明方法能够利用其它计算机系统配置进行实践,包括单处理器或多处理器系统、小型计算机、大型计算机、以及个人计算机、手持计算设备、基于微处理器的或可编程消费者电器等,其中的每一个都能够操作耦合至一个或多个相关联设备。
本公开所图示的各方面也可以在分布式计算环境中实施,其中某些任务由通过通信网络链接的远程处理设备来执行。在分布式计算环境中,程序模块能够被加载在本地和远程存储器存储设备中。
计算机通常包括各种计算机可读介质。计算机可读介质可以是能够由计算机访问并且包括易失性和非易失性介质、可移动和非可移动介质的任意可用介质。作为示例而非限制,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质可以包括易失性和非易失性、可移动和非可移动介质,其以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任意方法或技术实施。计算机存储介质包括但并不局限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁性卡盒、磁带、磁盘存储或其它磁性存储设备,或者能够被用来存储所期望信息并且能够被计算机访问的任意其它介质。
通信介质通常以诸如载波或其它传输介质之类的调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据,并且包括任意的信息传递介质。术语“调制数据信号”表示使得其一个或多个特性以在信号中对信息编码的方式进行设置或改变的信号。作为示例而非限制,通信介质包括诸如有线网络或直接线路连接之类的有线介质,以及诸如声音、RF、红外和其它无线介质的无线介质。任意以上的组合也应当包括在计算机可读介质的范围之内。
再次参考图9,用于实施本公开各方面的示例性环境900包括计算机902,计算机902包括处理单元904、系统存储器906和系统总线908。系统总线908将包括但并不局限于系统存储器906的系统组件耦合至处理单元904。处理单元904可以是任意的各种可商业获得的处理器。双重微处理器和其它多处理器架构也能够被用作处理单元904。
系统总线908可以是任意若干类型的总线结构,其能够进一步使用任意各种可商业获得的总线架构互连至存储器总线(在具有或没有存储器控制器的情况下)、外围总线和本地总线。系统存储器906包括只读存储器(ROM)910和随机访问存储器(RAM)912。基本输入/输出系统(BIOS)存储在诸如ROM、EPROM、EEPROM的非易失性存储器910中,该BIOS包含诸如在启动期间有助于在计算机902内的部件之间传输信息的基本程序。RAM912还可包括高速RAM,诸如用于对数据进行缓存的静态RAM。
计算机902进一步包括内部硬盘驱动器(HDD)914(例如,EIDE、SATA)、磁性软盘驱动器(FDD)916(例如,用于从可去除软盘918进行读取或写入)和光盘驱动器920(例如,读取CD-ROM盘922或者读取或写入诸如DVD的其它高容量光学介质),该内部硬盘驱动器914还能够被配置为在适当机架(未示出)中供外部使用。硬盘驱动器914、磁盘驱动器916和光盘驱动器920能够分别通过硬盘驱动接口924、磁盘驱动接口926和光学驱动接口928连接至系统总线908。用于外部驱动实施方式的接口924包括通用串行总线(USB)和IEEE1394接口技术中的至少一种或者其二者。其它外部驱动连接技术处于本公开的预期之内。
驱动器及其相关联的计算机可读介质提供数据、数据结构、计算机可执行指令等的非易失性存储。对于计算机902而言,驱动和介质以任意适当的数字格式容纳任意数据的存储。虽然以上对计算机可读介质的描述涉及到HDD、可去除磁盘以及诸如CD或DVD的可去除光学介质,但是本领域技术人员应当意识到的是,可由计算机所读取的诸如zip驱动器、磁盘、闪存卡、盒带等的其它类型的介质也能够在示例性操作环境中使用,并且进一步地,任意这样的介质都能够包含用于执行本公开的方法的计算机可读指令。
多个程序模块能够存储在驱动器和RAM912中,包括操作系统930、一个或多个应用程序932、其它程序模块934和程序数据936。操作系统、应用、模块和/或数据中的全部或部分还能够缓存在RAM912中。要意识到的是,本公开能够利用各种可商业获得的操作系统或操作系统的组合来实施。
用户能够通过一个或多个有线/无线输入设备向计算机902中输入命令和信息,该输入设备例如键盘938以及诸如鼠标940的指示设备。其它输入设备(未示出)可以包括麦克风、IR遥控器、操纵杆、游戏垫、输入笔、触摸屏等。这些和其它输入设备经常通过耦合至系统总线908的输入设备接口942连接至处理单元904,但是也能够通过诸如并行端口、IEEE1394串行端口、游戏端口、USB端口、IR接口等的其它接口进行连接。
监视器944或其它类型的显示设备也经由诸如视频适配器946的接口连接至系统总线908。除了监视器944之外,计算机通常包括其它外围输出设备(未示出),诸如扬声器、打印机等。
计算机902能够经由到诸如(多个)远程计算机948的一个或多个远程计算机的有线和/或无线连接而使用逻辑连接在联网环境中进行操作。(多个)远程计算机948可以是工作站、服务器计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐电器、对等设备或其它常见网络节点,并且通常包括许多或全部关于计算机902所描述的部件,虽然出于简明的目的而仅图示了存储器/存储设备950。所描绘的逻辑连接包括到局域网(LAN)952和/或例如广域网(WAN)954的较大网络的有线/无线连接。这样的LAN和WAN联网环境在办公室和公司中是常见的,并且促成了企业范围的计算机网络,诸如企业内部网,所有这些都连接至例如互联网的全球通信网络。
当在LAN联网环境中使用时,计算机902通过有线和/或无线通信网络接口或适配器956连接至(车辆304(图3)内的)本地网络952。适配器956能够促成到LAN952的有线或无线通信,其还可以包括部署于其上用于与无线适配器956进行通信的无线接入点。
当在WAN联网环境中使用时,计算机902可以包括调制解调器958,或者连接至WAN954上的通信服务器,或者具有诸如利用互联网之类的用于在WAN954上建立通信的其它手段。可以是内部或外部设备以及有线或无线设备的调制解调器958经由串行端口接口942连接至系统总线908。在联网环境中,关于计算机902或其一部分所描述的程序模块能够存储在远程存储器/存储设备950中。将要意识到的是,所示出的网络连接是示例性的并且能够使用在计算机之间建立通信链路的其它手段。
计算机902可操作以与操作部署在无线通信中的任意无线设备或实体进行通信,该无线设备或实体例如打印机、扫描仪、台式和/或便携式计算机、便携式数据助理、通信卫星、与无线可检测标签相关联的任意设备或位置(例如,售货亭、报摊、休息室)以及电话。这至少包括Wi-Fi和蓝牙TM无线技术。因此,通信可以是利用常规网络或者简单地利用至少两个设备之间的专用连接的预定义结构。
Wi-Fi或无线保真允许从家中的躺椅、酒店房间的床上或者工作中的会议室连接至互联网而不需要连线。Wi-Fi是类似于蜂窝电话中所使用的无线技术,其使得例如计算机的这种设备能够在基站范围内的任意地方在室内外发送和接收数据。Wi-Fi网络使用被称作IEEE802.11(a、b、g等)的无线电技术来提供安全、可靠、快速的无线连接。Wi-Fi网络能够被用来将计算机互相连接,连接至互联网以及连接至有线网络(其使用IEEE802.3或以太网)。Wi-Fi网络例如以11Mbps(802.11a)或54Mbps(802.11b)的数据速率在非许可的2.4和5GHz无线电带中进行操作,或者利用包含两个带(双带)的产品进行操作,从而网络能够提供类似于许多办公室中使用的基本10BaseT有线以太网的实际性能。
应用932例如可以包括执行如这里所描述的某些操作的AR驾驶控制130。
现在参考图10,图示了依据本公开的示例性计算环境900的示意性框图。系统1000包括一个或多个客户端1002。(多个)客户端1002可以是硬件和/或软件(例如,线程、过程、计算设备)。(多个)客户端1002例如可以通过采用本公开而保存(多个)cookie和/或相关联的上下文信息。
系统1000还包括一个或多个服务器1004。(多个)服务器1004可以是硬件和/或软件(例如,线程、过程、计算设备)。服务器1004例如可以通过采用本公开而保存用于执行变换的线程。客户端1002和服务器1004之间的一种可能通信可以为适于在两个或更多计算机处理之间传送的数据分组的形式。数据分组例如可以包括cookie和/或相关联上下文信息。系统1000包括能够被用来促成(多个)客户端1002和(多个)服务器1004之间的通信的通信架构1006(例如,诸如互联网的全球通信网络)。
能够经由有线(包括光纤)和/或无线技术来促成通信。(多个)客户端1002能够操作连接至一个或多个客户端数据存储1008,后者能够被用来存储(多个)客户端1002本地的信息(例如,(多个)cookie和/或相关联的上下文信息)。类似地,(多个)服务器1004操作连接至一个或多个服务器数据存储1010,其能够被用来存储服务器1004本地的信息。
例如,(多个)客户端1002能够本地保存AR驾驶控制器1020,其执行这里所描述的某些操作,所述操作与托管在执行这里所描述的某些其他操作的服务器1004上的车辆追踪实例1030进行协作。
以上所描述的包括本公开的示例。显然,并不可能出于描述本公开的目的而对每种可预期的组件或方法的组合进行描述,但是本领域技术人员能够认识到,本公开的许多另外的组合和置换是可能的。因此,本公开意在包含落入所附权利要求的精神和范围之内的所有这样的改变、修改和变化。此外,针对详细描述或权利要求中所使用的术语“包含”的范围而言,这样的术语意在以类似于术语“包括”的方式而像“包括”在被权利要求中作为过渡词进行采用时所解释的那样是包含性的。
利用上文,应当意识到的是,通常包括规则引擎组件和规则评估组件的查询组件能够被用于执行这里所描述的一个或多个操作。依据可替换方面,实施方式的方案(例如,规则)能够被用来定义和/或实施查询。将要意识到的是,基于规则的实施方式能够自动和/或动态地定义并实施数据存储的查询。响应于此,基于规则的实施方式能够通过基于任意所期望的标准(例如,文件类型、文件大小、硬件特性)通过采用(多个)预定义和/或编程规则来选择(多个)结果内所包括的(多个)数据分量。
作为示例,用户能够建立可实施优选文件类型(例如,路线)的查询的规则。由此,用户输入能够被推断、规划或者以其它方式进行预先确定。在该示例性方面,规则可以被构建为从目标数据存储或源位置选择所有路线文件。因此,数据分量的结果集合能够按照期望被获取、预览和/或操控。一旦完成,能够生成容器(例如,动态列表)并将其存储在所期望的位置和/或设备中。将要意识到的是,依据本公开所采用的任意规范能够被编程为基于规则的实施方案。
在该示例性方面,规则引擎组件可以依据用户定义的偏好进行编程或配置。而且,规则能够依据具体硬件配置或依据软件应用来建立。例如,规则能够依据具体存储器容量和/或设备显示器进行构建。换句话说,如之前所讨论的,规则能够被建立为考虑硬件设备的具体限制(例如,显示机制)。
规则评估组件促进了规则的应用。基于规则评估组件的输出,查询组件能够返回结果,因此影响到如之前所讨论的动态列表组件所进行的适当关联的建立。
执行这里所描述的操作的某些组件能够采用人工智能(AI)组件,其促成依据本公开的一个或多个特征的自动化。分类器是将输入属性矢量x=(x1,x2,x3,x4,xn)映射到输入属于一类的置信度,即f(x)=confidence(class)的函数。这样的分类能够采用概率和/或基于统计的分析(例如,考虑到分析工具和成本)以预知或推导用户期望自动执行的动作。
支持向量机(SVM)是能够采用的分类器的示例。SVM通过找出可能输入的空间中的超曲面而进行操作,该超曲面试图将触发标准与非触发事件进行区分。直观上,这使得对于接近而不同于训练数据的测试数据的分类是正确的。其它有向和非有向模型分类方法例如包括Bayes、Bayesian网络、决策树、神经网络、模糊逻辑模型,并且也能够采用提供不同独立性模式的概率分类模型。如这里所使用的分类包含了用来开发优先级模型的统计回归。
如将从本说明书轻易意识到的,本公开能够采用(例如,经由一般训练数据)明确训练以及(例如,经由观察用户行为、接收外在信息的)隐含训练的分类器。例如,SVM经由分类器构建器和特征选择模块内的学习或训练阶段进行配置。因此,(多个)分类器能够被用来自动学习并执行多种功能,包括但并不局限于根据预定义标准进行确定。

Claims (20)

1.一种用于安全引导车辆驾驶员执行左转的方法,包括:
基于车辆的接近度和速度检测左转;
确定接近左转的相向交通车道中的对面来车的当前位置和相对矢量;
三维绘图包括所述对面来车的正向视图;并且
通过基于所述矢量和相对矢量对所述对面来车的目标路径进行投影以及对左转路径进行投影而将增强现实显示在空间上重叠在用于所述车辆的驾驶员的体积平视显示器上。
2.根据权利要求1的方法,包括将所述目标路径投影经计算的时间,其中所述车辆在所述左转期间将在所述经计算的时间通过对面左侧。
3.根据权利要求1的方法,包括利用响应于确定非相交路径的延长左转图形以及利用响应于确定相交路径的缩短左转而重叠所述增强现实显示器。
4.根据权利要求1的方法,其中检测所述左转包括:
访问数字地图、所述车辆的位置和所述车辆的当前轨迹;并且
接收指示计划左转的用户输入。
5.根据权利要求4的方法,包括通过接收基于所述数字地图的路线地图而接收指示所述计划左转的所述用户输入。
6.根据权利要求4的方法,包括通过接收左转信号而接收指示所述计划左转的所述用户输入。
7.根据权利要求1的方法,包括:
检测对面来车的宽度;并且
对具有所述宽度的所述目标路径进行投影。
8.一种用于安全引导车辆驾驶员执行左转的增强现实驾驶员系统,包括:
车辆导航仪,其用于基于车辆的接近度和速度检测左转;传感器,其用于确定接近所述左转的相向交通车道中的对面来车的当前位置和相对矢量;
体积平视显示器;和
增强现实控制器,其用于三维绘图包括所述对面来车的正向视图,指示体积平视显示器基于所述矢量和相对矢量对所述对面来车的目标路径进行投影,并且指示所述体积平视显示器对所述车辆的左转路径进行投影。
9.根据权利要求8的增强现实驾驶员系统,其中所述增强现实控制器将所述目标路径投影经计算的时间,其中所述车辆在所述左转期间将在所述经计算的时间通过对面左侧。
10.根据权利要求8的增强现实驾驶员系统,其中所述增强现实控制器指示所述体积平视显示器响应于确定非相交路径而投影指示安全转向的延长左转图形并且响应于确定相交路径而利用指示不安全转向的缩短左转进行投影。
11.根据权利要求8的增强现实驾驶员系统,其中所述车辆导航仪通过以下检测所述左转:
访问数字地图、所述车辆的位置和所述车辆的当前轨迹;并且
接收指示计划左转的用户输入。
12.根据权利要求11的增强现实驾驶员系统,其中所述车辆导航仪通过接收基于所述数字地图的路线地图而接收指示所述计划左转的所述用户输入。
13.根据权利要求11的增强现实驾驶员系统,其中所述车辆导航仪通过接收左转信号而接收指示所述计划左转的所述用户输入。
14.根据权利要求11的增强现实驾驶员系统,其中所述目标传感器检测所述对面来车的宽度;并且
其中所述增强现实控制器指示所述体积平视显示器对具有所述宽度的所述目标路径进行投影。
15.一种用于安全引导车辆驾驶员执行左转的设备,包括:
体积平视显示器;
与所述体积平视显示器进行通信的控制器,其中所述控制器包括至少一个处理器,所述处理器执行软件指令以执行包括以下的操作:
基于车辆的接近度和速度检测左转;
确定接近所述左转的相向交通车道中的对面来车的当前位置和相对矢量;
三维绘图包括所述对面来车的正向视图;并且
通过基于所述矢量和相对矢量对所述对面来车的目标路径进行投影以及通过对所述左转路径进行投影而将增强现实显示在空间上重叠在用于所述车辆的驾驶员的所述体积平视显示器上。
16.根据权利要求15的设备,其中所述控制器执行包括将所述目标路径投影经计算的时间的操作,其中所述车辆在所述左转期间将在所述经计算的时间通过对面左侧。
17.根据权利要求15的设备,其中所述控制器执行包括利用响应于确定非相交路径的延长左转图形以及利用响应于确定相交路径的缩短左转而重叠所述增强现实显示器的操作。
18.根据权利要求15的设备,其中所述控制器执行包括进一步通过以下来检测所述左转的操作:
访问数字地图、所述车辆的位置和所述车辆的当前轨迹;并且
接收指示计划左转的用户输入。
19.根据权利要求18的设备,其中所述控制器通过获取基于所述数字地图的路线地图而接收指示所述计划左转的所述用户输入。
20.根据权利要求18的设备,其中所述控制器执行包括通过接收左转信号而接收指示所述计划左转的所述用户输入的操作。
CN201410092910.7A 2013-03-13 2014-03-13 用于左转安全提示的增强现实平视显示器(hud) Active CN104049927B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/800,822 US9047703B2 (en) 2013-03-13 2013-03-13 Augmented reality heads up display (HUD) for left turn safety cues
US13/800,822 2013-03-13

Publications (2)

Publication Number Publication Date
CN104049927A true CN104049927A (zh) 2014-09-17
CN104049927B CN104049927B (zh) 2018-05-29

Family

ID=51419301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410092910.7A Active CN104049927B (zh) 2013-03-13 2014-03-13 用于左转安全提示的增强现实平视显示器(hud)

Country Status (4)

Country Link
US (1) US9047703B2 (zh)
JP (1) JP6463893B2 (zh)
CN (1) CN104049927B (zh)
DE (1) DE102014204559A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654778A (zh) * 2014-12-01 2016-06-08 星克跃尔株式会社 电子装置、电子装置的控制方法
CN106503676A (zh) * 2016-11-04 2017-03-15 大连文森特软件科技有限公司 基于ar增强现实和驾驶细节采集的驾驶辅助系统
CN106541948A (zh) * 2016-12-08 2017-03-29 宇龙计算机通信科技(深圳)有限公司 一种行车安全辅助方法、系统及ar设备
CN106671984A (zh) * 2016-11-04 2017-05-17 大连文森特软件科技有限公司 基于ar增强现实的驾驶辅助系统
CN106853799A (zh) * 2015-12-08 2017-06-16 通用汽车环球科技运作有限责任公司 全息波导平视显示器侧景显示
CN107599966A (zh) * 2016-07-12 2018-01-19 本田技研工业株式会社 将车辆中平视显示器的驾驶员注意力分散最小化的系统和方法
CN107615227A (zh) * 2015-05-26 2018-01-19 索尼公司 显示装置、信息处理系统以及控制方法
CN107784151A (zh) * 2016-08-26 2018-03-09 福特全球技术公司 雷达和超声传感器的物理建模
CN109032544A (zh) * 2017-06-08 2018-12-18 株式会社电装天 显示控制装置、显示系统以及显示控制方法
CN110007106A (zh) * 2018-10-30 2019-07-12 永康市臣贸工贸有限公司 后方车辆逼近速率分析系统
CN110136254A (zh) * 2019-06-13 2019-08-16 吉林大学 基于动态概率驾驶地图的驾驶辅助信息显示方法
CN111886155A (zh) * 2018-03-15 2020-11-03 大众汽车股份公司 用于控制机动车的增强现实显示器设备的显示的方法、设备和具有指令的计算机可读存储介质
CN111937044A (zh) * 2018-03-02 2020-11-13 大众汽车股份公司 计算对用于在显示单元上显示的附加信息的ar淡入的方法、用于执行该方法的设备以及机动车和计算机程序
CN112904558A (zh) * 2019-11-19 2021-06-04 通用汽车环球科技运作有限责任公司 平视显示器校准
CN113841191A (zh) * 2019-05-20 2021-12-24 松下知识产权经营株式会社 行人装置和交通安全辅助方法
CN114120787A (zh) * 2021-11-23 2022-03-01 中国航空工业集团公司洛阳电光设备研究所 室内体验车载ar-hud模拟器的装置
US11993145B2 (en) 2018-03-15 2024-05-28 Volkswagen Aktiengesellschaft Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality display device for a motor vehicle

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10360636B1 (en) 2012-08-01 2019-07-23 Allstate Insurance Company System for capturing passenger and trip data for a taxi vehicle
US9164281B2 (en) 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US9393870B2 (en) 2013-03-15 2016-07-19 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US9251715B2 (en) * 2013-03-15 2016-02-02 Honda Motor Co., Ltd. Driver training system using heads-up display augmented reality graphics elements
US20140362195A1 (en) * 2013-03-15 2014-12-11 Honda Motor, Co., Ltd. Enhanced 3-dimensional (3-d) navigation
US9747898B2 (en) 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
US10215583B2 (en) 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
US9378644B2 (en) 2013-03-15 2016-06-28 Honda Motor Co., Ltd. System and method for warning a driver of a potential rear end collision
US10339711B2 (en) 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
KR101459908B1 (ko) * 2013-05-20 2014-11-07 현대자동차주식회사 안전운전유도 게임 장치 및 방법
EP3017989A4 (en) * 2013-07-05 2017-05-17 Clarion Co., Ltd. Drive assist device
US9630631B2 (en) * 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9536353B2 (en) 2013-10-03 2017-01-03 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9547173B2 (en) 2013-10-03 2017-01-17 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9501693B2 (en) 2013-10-09 2016-11-22 Honda Motor Co., Ltd. Real-time multiclass driver action recognition using random forests
JP6287237B2 (ja) * 2014-01-17 2018-03-07 株式会社リコー 情報処理装置、情報処理方法及びプログラム
WO2015152753A1 (ru) * 2014-03-31 2015-10-08 Общество с ограниченной ответственностью "ВэйРэй" Способ отображения информации через лобовое стекло автомобиля и устройство для его реализации
US10356303B1 (en) * 2014-10-07 2019-07-16 State Farm Mutual Automobile Insurance Company Systems and methods for controlling smart devices based upon image data from image sensors
JP6485732B2 (ja) * 2014-12-10 2019-03-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP6443122B2 (ja) 2015-02-24 2018-12-26 日本精機株式会社 車両用表示装置
US10515259B2 (en) * 2015-02-26 2019-12-24 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining 3D object poses and landmark points using surface patches
JP6512016B2 (ja) * 2015-07-27 2019-05-15 日本精機株式会社 車両用表示装置
DE102015214192A1 (de) * 2015-07-27 2017-02-02 Volkswagen Aktiengesellschaft Sicherheitssystem für ein Kraftfahrzeug
US10358143B2 (en) * 2015-09-01 2019-07-23 Ford Global Technologies, Llc Aberrant driver classification and reporting
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术(北京)有限公司 一种车道线数据的处理方法及装置
US11307042B2 (en) 2015-09-24 2022-04-19 Allstate Insurance Company Three-dimensional risk maps
US10218882B2 (en) 2015-12-31 2019-02-26 Microsoft Technology Licensing, Llc Feedback for object pose tracker
GB2561132B (en) * 2016-01-07 2022-02-23 Walmart Apollo Llc Systems and methods of assisting in the delivery of products
CN106997235B (zh) * 2016-01-25 2018-07-13 亮风台(上海)信息科技有限公司 用于实现增强现实交互和展示的方法、设备
US10699347B1 (en) * 2016-02-24 2020-06-30 Allstate Insurance Company Polynomial risk maps
US10696308B2 (en) 2016-06-30 2020-06-30 Intel Corporation Road condition heads up display
US20180017799A1 (en) * 2016-07-13 2018-01-18 Ford Global Technologies, Llc Heads Up Display For Observing Vehicle Perception Activity
US10264111B2 (en) 2016-10-04 2019-04-16 Allstate Solutions Private Limited Mobile device communication access and hands-free device activation
US9979813B2 (en) 2016-10-04 2018-05-22 Allstate Solutions Private Limited Mobile device communication access and hands-free device activation
US11295218B2 (en) 2016-10-17 2022-04-05 Allstate Solutions Private Limited Partitioning sensor based data to generate driving pattern map
EP3551826B1 (en) 2016-12-09 2021-06-30 Gentex Corporation Location based adjustable windows
WO2018128946A1 (en) 2017-01-06 2018-07-12 Pcms Holdings, Inc. Method for providing vulnerable road user warnings in a blind spot of a parked vehicle
DE112017006567T5 (de) * 2017-01-26 2019-10-02 Ford Global Technologies, Llc Autonomes fahrzeug mit fahrerausbildung
WO2018140555A1 (en) 2017-01-30 2018-08-02 Walmart Apollo, Llc Systems, methods and apparatus for distribution of products and supply chain management
WO2018183272A1 (en) 2017-03-29 2018-10-04 Walmart Apollo, Llc Smart apparatus and method for retail work flow management
US10134279B1 (en) 2017-05-05 2018-11-20 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for visualizing potential risks
US10429846B2 (en) * 2017-08-28 2019-10-01 Uber Technologies, Inc. Systems and methods for communicating intent of an autonomous vehicle
DE102017119834A1 (de) * 2017-08-29 2019-02-28 SMR Patents S.à.r.l. Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs bei einem Abbiegevorgang, Fahrerassistenzsystem und Kraftfahrzeug
US10423844B2 (en) 2017-09-27 2019-09-24 Toyota Jidosha Kabushiki Kaisha Personalized augmented reality vehicular assistance for color blindness condition
US10748426B2 (en) 2017-10-18 2020-08-18 Toyota Research Institute, Inc. Systems and methods for detection and presentation of occluded objects
KR20190078664A (ko) 2017-12-11 2019-07-05 삼성전자주식회사 컨텐츠를 표시하기 위한 장치 및 방법
US11094180B1 (en) 2018-04-09 2021-08-17 State Farm Mutual Automobile Insurance Company Sensing peripheral heuristic evidence, reinforcement, and engagement system
US11022458B2 (en) 2019-01-04 2021-06-01 Telenav, Inc. Navigation system with roadway lane guidance mechanism and method of operation thereof
JP7282310B2 (ja) * 2019-08-06 2023-05-29 直之 村上 コンピユーターの目(pceye)
CN110533368B (zh) * 2019-08-20 2022-04-29 合肥维天运通信息科技股份有限公司 一种基于ar的无车承运物流平台订单纠纷处理系统
US11676345B1 (en) * 2019-10-18 2023-06-13 Splunk Inc. Automated adaptive workflows in an extended reality environment
US10926638B1 (en) 2019-10-23 2021-02-23 GM Global Technology Operations LLC Method and apparatus that reformats content of eyebox
CN111152721B (zh) * 2019-12-31 2022-09-02 合肥疆程技术有限公司 一种绘制车道的引导线的方法、装置及抬头显示系统
US11605298B2 (en) 2020-01-29 2023-03-14 Toyota Motor Engineering & Manufacturing North America, Inc. Pedestrian navigation based on vehicular collaborative computing
US11485377B2 (en) 2020-02-06 2022-11-01 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicular cooperative perception for identifying a connected vehicle to aid a pedestrian
US11548434B2 (en) 2020-03-19 2023-01-10 Masoodul Hasan MAKHDOOM Automobile safety light system and methods of use
US20220363264A1 (en) * 2021-05-14 2022-11-17 International Business Machines Corporation Assessing driver cognitive state
EP4265463A1 (en) * 2022-04-19 2023-10-25 Volkswagen Ag Vehicle, head-up display, augmented reality device, apparatuses, methods and computer programs for controlling an augmented reality device and for controlling a visualization device
DE102022206236A1 (de) 2022-06-22 2023-12-28 Psa Automobiles Sa Manuelle Fahrzeugführung in einer Umgebung für vollautomatisierte Fahrzeuge

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080015772A1 (en) * 2006-07-13 2008-01-17 Denso Corporation Drive-assist information providing system for driver of vehicle
US20080133136A1 (en) * 1997-10-22 2008-06-05 Intelligent Technologies International, Inc. Intersection Collision Avoidance Techniques
CN101826251A (zh) * 2009-03-05 2010-09-08 冷中安 远端遥控方法及系统
JP2010531461A (ja) * 2007-06-25 2010-09-24 マイクロソフト コーポレーション 目印ベースの経路指定
CN101860702A (zh) * 2009-04-02 2010-10-13 通用汽车环球科技运作公司 全挡风玻璃平视显示器上的驾驶员瞌睡警报
US20120206483A1 (en) * 2010-12-28 2012-08-16 Denso Corporation Obstacle information notification apparatus for vehicle
CN102667408A (zh) * 2009-12-18 2012-09-12 英派尔科技开发有限公司 针对环境建模的3d路径分析
JP2013503079A (ja) * 2009-08-31 2013-01-31 トヨタ モーター ヨーロッパ ナームロゼ フェンノートシャップ/ソシエテ アノニム 乗物又は交通の制御方法及びシステム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4319904C2 (de) 1993-06-16 2002-11-28 Siemens Ag Warngerät zum Anzeigen einer Information in einem Vehikel
JPH07257228A (ja) * 1994-03-18 1995-10-09 Nissan Motor Co Ltd 車両用表示装置
US20050149251A1 (en) 2000-07-18 2005-07-07 University Of Minnesota Real time high accuracy geospatial database for onboard intelligent vehicle applications
US6919866B2 (en) 2001-02-06 2005-07-19 International Business Machines Corporation Vehicular navigation system
DE10131720B4 (de) 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
US6727807B2 (en) 2001-12-14 2004-04-27 Koninklijke Philips Electronics N.V. Driver's aid using image processing
DE10253510A1 (de) 2002-11-16 2004-05-27 Robert Bosch Gmbh Vorrichtung und Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug
JP4228894B2 (ja) * 2003-12-01 2009-02-25 日産自動車株式会社 危険個所表示システム
JP2005182306A (ja) 2003-12-17 2005-07-07 Denso Corp 車両用表示装置
US7561966B2 (en) 2003-12-17 2009-07-14 Denso Corporation Vehicle information display system
JP4380561B2 (ja) * 2004-04-16 2009-12-09 株式会社デンソー 運転支援装置
JP4899340B2 (ja) 2004-08-02 2012-03-21 日産自動車株式会社 運転感覚調整装置及び運転感覚調整方法
US20060103590A1 (en) 2004-10-21 2006-05-18 Avner Divon Augmented display system and methods
JP4353162B2 (ja) 2005-09-26 2009-10-28 トヨタ自動車株式会社 車輌周囲情報表示装置
JP2007249364A (ja) 2006-03-14 2007-09-27 Denso Corp 安全運転支援システム及び安全運転支援装置
TW200909779A (en) 2007-08-31 2009-03-01 Elitegroup Computer Sys Co Ltd Navigation system and portable head-up display thereof
JP4475308B2 (ja) 2007-09-18 2010-06-09 株式会社デンソー 表示装置
JP4480755B2 (ja) 2007-12-04 2010-06-16 カルソニックカンセイ株式会社 車両用ヘッドアップディスプレイ装置
DE102009004432B4 (de) 2008-01-25 2016-12-08 Denso Corporation Kraftfahrzeuganzeigevorrichtung zum Anzeigen eines ein vorderes Hindernis umkreisenden Bildflecks
JP2009217682A (ja) 2008-03-12 2009-09-24 Yazaki Corp 車両用表示装置
JP2010143520A (ja) 2008-12-22 2010-07-01 Toshiba Corp 車載用表示システム及び表示方法
JP2010188981A (ja) * 2009-02-20 2010-09-02 Fuji Heavy Ind Ltd 車両の運転支援装置
US8564502B2 (en) * 2009-04-02 2013-10-22 GM Global Technology Operations LLC Distortion and perspective correction of vector projection display
US20120224062A1 (en) 2009-08-07 2012-09-06 Light Blue Optics Ltd Head up displays
JP4868055B2 (ja) 2009-11-04 2012-02-01 株式会社デンソー 表示装置
JP5278292B2 (ja) 2009-11-27 2013-09-04 株式会社デンソー 情報提示装置
US8587418B2 (en) * 2010-07-28 2013-11-19 Honda Motor Co., Ltd. Method of controlling a collision warning system using right of way
KR101544524B1 (ko) 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
JP5338801B2 (ja) * 2010-12-23 2013-11-13 株式会社デンソー 車載障害物情報報知装置
JP2012163705A (ja) 2011-02-04 2012-08-30 Denso Corp ヘッドアップディスプレイ装置
DE102011006347B4 (de) 2011-03-29 2023-02-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausgabe von grafischen Fahrhinweisen
KR101957943B1 (ko) * 2012-08-31 2019-07-04 삼성전자주식회사 정보 제공 방법 및 이를 위한 정보 제공 차량
US20160054563A9 (en) * 2013-03-14 2016-02-25 Honda Motor Co., Ltd. 3-dimensional (3-d) navigation
US9064420B2 (en) * 2013-03-14 2015-06-23 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for yield to pedestrian safety cues
US20140362195A1 (en) * 2013-03-15 2014-12-11 Honda Motor, Co., Ltd. Enhanced 3-dimensional (3-d) navigation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080133136A1 (en) * 1997-10-22 2008-06-05 Intelligent Technologies International, Inc. Intersection Collision Avoidance Techniques
US20080015772A1 (en) * 2006-07-13 2008-01-17 Denso Corporation Drive-assist information providing system for driver of vehicle
JP2010531461A (ja) * 2007-06-25 2010-09-24 マイクロソフト コーポレーション 目印ベースの経路指定
CN101826251A (zh) * 2009-03-05 2010-09-08 冷中安 远端遥控方法及系统
CN101860702A (zh) * 2009-04-02 2010-10-13 通用汽车环球科技运作公司 全挡风玻璃平视显示器上的驾驶员瞌睡警报
JP2013503079A (ja) * 2009-08-31 2013-01-31 トヨタ モーター ヨーロッパ ナームロゼ フェンノートシャップ/ソシエテ アノニム 乗物又は交通の制御方法及びシステム
CN102667408A (zh) * 2009-12-18 2012-09-12 英派尔科技开发有限公司 针对环境建模的3d路径分析
US20120206483A1 (en) * 2010-12-28 2012-08-16 Denso Corporation Obstacle information notification apparatus for vehicle

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654778A (zh) * 2014-12-01 2016-06-08 星克跃尔株式会社 电子装置、电子装置的控制方法
CN107615227B (zh) * 2015-05-26 2021-08-27 索尼公司 显示装置、信息处理系统以及控制方法
CN107615227A (zh) * 2015-05-26 2018-01-19 索尼公司 显示装置、信息处理系统以及控制方法
CN106853799A (zh) * 2015-12-08 2017-06-16 通用汽车环球科技运作有限责任公司 全息波导平视显示器侧景显示
CN107599966B (zh) * 2016-07-12 2022-10-25 本田技研工业株式会社 将车辆中平视显示器的驾驶员注意力分散最小化的系统和方法
CN107599966A (zh) * 2016-07-12 2018-01-19 本田技研工业株式会社 将车辆中平视显示器的驾驶员注意力分散最小化的系统和方法
CN107784151A (zh) * 2016-08-26 2018-03-09 福特全球技术公司 雷达和超声传感器的物理建模
CN106671984A (zh) * 2016-11-04 2017-05-17 大连文森特软件科技有限公司 基于ar增强现实的驾驶辅助系统
CN106503676A (zh) * 2016-11-04 2017-03-15 大连文森特软件科技有限公司 基于ar增强现实和驾驶细节采集的驾驶辅助系统
CN106541948B (zh) * 2016-12-08 2018-12-28 宇龙计算机通信科技(深圳)有限公司 一种行车安全辅助方法、系统及ar设备
CN106541948A (zh) * 2016-12-08 2017-03-29 宇龙计算机通信科技(深圳)有限公司 一种行车安全辅助方法、系统及ar设备
CN109032544A (zh) * 2017-06-08 2018-12-18 株式会社电装天 显示控制装置、显示系统以及显示控制方法
CN111937044A (zh) * 2018-03-02 2020-11-13 大众汽车股份公司 计算对用于在显示单元上显示的附加信息的ar淡入的方法、用于执行该方法的设备以及机动车和计算机程序
US11993145B2 (en) 2018-03-15 2024-05-28 Volkswagen Aktiengesellschaft Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality display device for a motor vehicle
CN111886155A (zh) * 2018-03-15 2020-11-03 大众汽车股份公司 用于控制机动车的增强现实显示器设备的显示的方法、设备和具有指令的计算机可读存储介质
CN110007106A (zh) * 2018-10-30 2019-07-12 永康市臣贸工贸有限公司 后方车辆逼近速率分析系统
CN110007106B (zh) * 2018-10-30 2021-03-23 深圳昌恩智能股份有限公司 后方车辆逼近速率分析系统
CN113841191A (zh) * 2019-05-20 2021-12-24 松下知识产权经营株式会社 行人装置和交通安全辅助方法
CN113841191B (zh) * 2019-05-20 2024-01-16 松下知识产权经营株式会社 行人装置和交通安全辅助方法
CN110136254A (zh) * 2019-06-13 2019-08-16 吉林大学 基于动态概率驾驶地图的驾驶辅助信息显示方法
CN112904558A (zh) * 2019-11-19 2021-06-04 通用汽车环球科技运作有限责任公司 平视显示器校准
CN112904558B (zh) * 2019-11-19 2023-04-07 通用汽车环球科技运作有限责任公司 平视显示器校准
CN114120787A (zh) * 2021-11-23 2022-03-01 中国航空工业集团公司洛阳电光设备研究所 室内体验车载ar-hud模拟器的装置

Also Published As

Publication number Publication date
CN104049927B (zh) 2018-05-29
JP2014210568A (ja) 2014-11-13
DE102014204559A1 (de) 2014-09-18
US20140267263A1 (en) 2014-09-18
US9047703B2 (en) 2015-06-02
JP6463893B2 (ja) 2019-02-06

Similar Documents

Publication Publication Date Title
CN104049927A (zh) 用于左转安全提示的增强现实平视显示器(hud)
US10816993B1 (en) Smart vehicle
US11314249B2 (en) Teleoperation system and method for trajectory modification of autonomous vehicles
US10992755B1 (en) Smart vehicle
JP7381539B2 (ja) 自律車両の軌道修正のための遠隔操作システムおよび方法
US11283877B2 (en) Software application and logic to modify configuration of an autonomous vehicle
RU2726238C2 (ru) Автономное транспортное средство с поддержкой направления
US11067983B2 (en) Coordination of dispatching and maintaining fleet of autonomous vehicles
EP3371668B1 (en) Teleoperation system and method for trajectory modification of autonomous vehicles
US20210108926A1 (en) Smart vehicle
US10248119B2 (en) Interactive autonomous vehicle command controller
US10334050B2 (en) Software application and logic to modify configuration of an autonomous vehicle
US9910441B2 (en) Adaptive autonomous vehicle planner logic
Ghorai et al. State estimation and motion prediction of vehicles and vulnerable road users for cooperative autonomous driving: A survey
US9754490B2 (en) Software application to request and control an autonomous vehicle service
US20190227553A1 (en) Interactive autonomous vehicle command controller
EP3900995A2 (en) Testing predictions for autonomous vehicles
US20210191394A1 (en) Systems and methods for presenting curated autonomy-system information of a vehicle
US20220048503A1 (en) Path-conditioned motion forecasting for vehicle motion planning
US20200101974A1 (en) Device and method for selecting optimal travel route based on driving situation
KR20190100085A (ko) 인공 지능을 이용하여, 위험 상황을 감지할 수 있는 로봇 및 그의 동작 방법
CN112823372A (zh) 排队进入上车和下车位置
KR20190096871A (ko) 복수의 로봇들을 관제하는 인공 지능 서버 및 그 방법
KR20190096854A (ko) 인공 지능을 이용하여, 복수의 로봇들을 제어하는 인공 지능 서버
KR20190094312A (ko) 인공 지능을 이용하여, 복수의 로봇들을 제어하는 관제 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant