CN110803169A - 用于在车辆中显示信息的系统和方法 - Google Patents

用于在车辆中显示信息的系统和方法 Download PDF

Info

Publication number
CN110803169A
CN110803169A CN201910506356.5A CN201910506356A CN110803169A CN 110803169 A CN110803169 A CN 110803169A CN 201910506356 A CN201910506356 A CN 201910506356A CN 110803169 A CN110803169 A CN 110803169A
Authority
CN
China
Prior art keywords
asset
vehicle
controller
sensor
hmi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910506356.5A
Other languages
English (en)
Other versions
CN110803169B (zh
Inventor
A·W·阿维尔哈特
I·哈米耶
邹光宇
D·A·克雷格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110803169A publication Critical patent/CN110803169A/zh
Application granted granted Critical
Publication of CN110803169B publication Critical patent/CN110803169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及用于在车辆中显示信息的系统和方法。一种机动车辆包括：传感器，其配置为检测车辆外部的特征；HMI，其配置为向车辆的操作者发出警报信号；以及控制器。控制器与传感器和HMI通信，并且与具有道路设施数据库的非瞬态计算机可读存储介质通信。道路设施数据库包括具有相关联的道路设施地理位置和道路设施分类的多个道路设施项目。控制器配置为响应于车辆接近相应道路设施项目的相应道路设施地理位置以及传感器未检测到相应道路设施项目，而控制HMI以发出警报信号。

Description

用于在车辆中显示信息的系统和方法
技术领域
本公开涉及具有配置为感测车辆外部和附近区域的传感器的车辆，尤其涉及具有增强现实相机系统的车辆。
引言
机动车辆通常在设有各种道路设施的道路上操作。道路设施是指用于交通控制和驾驶员辅助的路边对象。道路设施包括但不限于停车标志、停车灯、让行标志、方向标志、管理标志和路面标线。因此，非常期望确保机动车辆的操作者随时知道靠近他们的车辆的道路设施。
发明内容
根据本公开的机动车辆包括：传感器，其配置为检测车辆外部的特征；HMI，其配置为向车辆的操作者发出警报信号；以及控制器。控制器与传感器和HMI通信，并且与具有道路设施数据库的非瞬态计算机可读存储介质通信。道路设施数据库包括具有相关联的道路设施地理位置和道路设施分类的多个道路设施项目。控制器配置为响应于车辆接近相应道路设施项目的相应道路设施地理位置以及传感器未检测到相应道路设施项目，而控制HMI以发出警报信号。
在示例性实施例中，HMI包括增强现实界面，并且控制器配置为控制增强现实界面以通过显示包括与相应道路设施项目相关联的标记的增强现实叠加来发出警报信号。标记可以包括与相应道路设施项目的相应道路设施分类相关联的图像。可以基于当前车辆位置和相应道路设施项目的相应地理位置之间的距离来缩放图像。道路设施数据库可进一步包括与多个道路设施项目相关联的道路设施定向，且图像可基于相应道路设施项目的相应道路设施定向相对于车辆的当前方向偏斜。
在示例性实施例中，在高清晰度地图数据库中提供道路设施数据库。
在示例性实施例中，传感器包括光学相机。
根据本公开的控制车辆的方法包括：向主车辆提供配置为检测车辆外部的特征的传感器，配置为向车辆的操作者发出警报信号的HMI，以及与传感器和HMI通信的控制器。方法还包括经由控制器检测主车辆的当前地理位置。方法还包括经由控制器访问道路设施数据库，道路设施数据库包括具有相关联的道路设施地理位置和道路设施分类的多个道路设施项目。方法还包括经由控制器识别具有接近主车辆的当前地理位置的相应道路设施地理位置的相应道路设施项目。方法还包括经由控制器确定传感器是否在相应道路设施地理位置处指示相应道路设施项目的存在。方法还包括，响应于传感器没有指示相应道路设施项目的存在，经由控制器自动控制HMI以发出警报信号。
在示例性实施例中，HMI包括增强现实界面。在这样的实施例中，控制HMI以发出警报信号包括控制增强现实界面以显示包括与相应道路设施项目相关联的标记的增强现实叠加。这样的实施例可以包括经由控制器识别与相应道路设施项目相关联的相应道路设施分类，其中标记包括与相应道路设施分类相关联的图像。可以基于当前车辆位置和相应道路设施项目的相应地理位置之间的距离来缩放这些图像。和/或基于相应道路设施项目的相应道路设施定向相对于车辆的当前方向偏斜。
在示例性实施例中，传感器包括光学相机。
根据本公开的用于显示图像的系统包括光学相机、增强现实显示器、以及与光学相机和增强现实显示器通信的控制器。控制器配置为与具有物理对象数据库的非瞬态计算机可读存储介质通信。物理对象数据库包括具有相关联的对象地理位置和对象分类的多个物理对象。控制器配置为响应于光学相机处于相应物理对象的相应对象地理位置的视线中且光学相机未检测到相应物理对象，控制增强现实显示器显示合成图像，合成图像包括由光学相机捕获的图像和与相应物理对象的相应对象分类相关联的标记。
在示例性实施例中，系统还包括具有乘员舱的机动车辆，增强现实显示器限定布置在乘员舱中的HMI。
在示例性实施例中，标记包括与相应对象分类相关联的图像。可以基于增强现实显示器的当前位置与相应对象地理位置之间的距离来缩放图像，和/或基于相应物理对象的相应对象定向来偏斜图像。
根据本公开的实施例提供了多个优点。例如，本公开提供了一种系统和方法，用于当道路设施项目可能被阻碍或以其他方式不清楚可见时通知车辆的操作者，并且此外以直观的方式这样做。
通过以下结合附图对优选实施例的详细描述，本公开的上述和其它优点和特征将变得清楚明白。
附图说明
图1是根据本公开的实施例的车辆的示意图；
图2是表示根据本公开的实施例的用于车辆的控制系统的框图；
图3是根据本公开的实施例的用于控制车辆的方法的流程图表示；以及
图4是根据本公开的实施例的提供通知的方法的图示。
具体实施方式
本文描述了本公开的实施例。然而，应当理解，所公开的实施例仅仅是示例，且其它实施例可以采用各种以及可选的形式。附图无需按比例绘制；可以放大或最小化一些特征以显示特定部件的细节。因此，本文所公开的具体结构和功能细节不应被解释为限制性的，而仅仅是代表性的。参考任一附图示出和描述的各种特征可以与在一个或更多个其它附图中示出的特征组合以产生未明确示出或描述的实施例。所示特征的组合为典型应用提供了代表性的实施例。然而，对于特定应用或实施方式，可能需要对与本公开教导一致的特征进行各种组合和修改。
现在参见图1，以示意性形式示出了根据本公开的用于控制车辆的系统10。系统10包括机动车辆12。机动车辆12包括推进系统14，在各种实施例中，推进系统14可以包括内燃发动机、诸如牵引马达的电机和/或燃料电池推进系统。机动车辆12还包括转向系统16。虽然为了说明的目的描述为包括方向盘，但是在本公开范围内的一些实施例中，转向系统16可以省略方向盘。机动车辆12另外包括多个车轮18和配置为向车轮18提供制动扭矩的相关联的车轮制动器20。在各种实施例中，车轮制动件20可以包括摩擦制动器、诸如电机的再生制动系统和/或其他适当的制动系统。
推进系统14、转向系统16和车轮制动器20与至少一个控制器22通信或在至少一个控制器22的控制下。虽然为了说明的目的描述为单个单元，但是控制器22还可以包括一个或多个其它控制器，统称为“控制器”。控制器22可以包括与各种类型的计算机可读存储设备或介质通信的微处理器或中央处理单元(CPU)。计算机可读存储装置或介质可以包括例如只读存储器(ROM)、随机存取存储器(RAM)和不失效存储器(KAM)中的易失性和非易失性存储器。KAM是永久或非易失性存储器，其可用于在CPU断电时存储各种操作变量。计算机可读存储装置或介质可以使用诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存之类的多种已知存储装置中的任何一种来实现，或者使用能够存储数据的任何其他电、磁、光或组合存储装置来实现，其中一些表示可执行指令，由控制器22用于控制车辆。
控制器22与多个传感器24通信。在示例性实施例中，传感器24包括配置为捕获关于车辆12附近的车道信息的一个或多个传感器，例如雷达(RADAR)、激光雷达(LiDAR)、光学相机、热感相机和超声传感器。此外，传感器24包括配置为检测车辆12的速度、加速度和横摆率的一个或多个传感器。这种传感器可以包括一个或多个惯性测量单元。此外，传感器24包括配置为检测车辆的当前地理位置的一个或多个传感器，例如GPS系统。传感器24还可以适当地包括附加传感器或上述的任意组合。
控制器22与非瞬态数据存储器26通信。非瞬态数据存储器26具有数据，例如以一个或多个数据库的形式，包括具有已知道路设施和相关交叉点位置的列表的道路设施数据库。道路设施是指用于交通控制和驾驶员辅助的路边对象。道路设施包括但不限于停车标志、停车灯、让行标志、方向标志、管理标志和路面标线。道路设施数据库可以使用任何已知的方法生成，该方法用于生成道路的高清晰度地图及其附属物。数据存储器26可以是物理上位于车辆中的本地存储器，物理上位于车辆外部的远程存储器，并且经由诸如蜂窝通信或其他无线接口或其组合的无线通信系统来访问。
控制器22另外与人机界面(HMI)28通信。根据各种实施例，HMI 28可以包括平视显示器(HUD)、多功能视频显示器(MFD)、音频通知系统、触觉通知系统、或向车辆12的乘员传达信息的任何其他合适的装置。
现参见图2，示出了用于向车辆12的乘员呈现信息的系统30。系统30可以在车辆12的一个或多个部件中实现，这将在下面进一步详细讨论。
系统30包括中央处理模块32。中央处理模块32可以例如经由控制器22来实现。中央处理模块32也可以称为中央堆叠模块。
中央处理模块32与远程信息处理模块34通信。远程信息处理模块34配置为监测车辆12的操作参数并且与车辆12外部的系统通信，例如，经由车辆到车辆(V2V)或车辆到基础设施(V2I)通信，诸如蜂窝通信系统、802.11(“WiFiTM”)通信系统、DSRC通信系统或其它系统。远程信息处理模块34可以经由控制器22结合一个或多个无线通信系统来实现。
此外，中央处理模块32与定位模块36通信。定位模块36配置为估计车辆12相对于车辆周围环境的位置和定向。定位模块36具有高清晰度(HD)地图数据库38。HD地图数据库38包括关于多个地理位置处的道路和交通控制特征的信息。HD地图数据库38包括道路设施数据库。HD地图数据库38可以本地存储，例如，在数据存储器26中，远程存储并经由诸如远程信息处理模块34或其组合的无线通信系统访问。
此外，中央处理模块32与传感器模块40通信。传感器模块40可以经由控制器22实现以控制传感器24中的一个，例如，前置摄像头。传感器模块40包括传感器定位算法42。传感器定位算法42配置为将传感器检测到的特征映射到HD地图数据库38中的特征。传感器模块40还包括道路设施识别算法44。道路设施识别算法44配置为处理由传感器接收的信号，例如，由相机拍摄的图像，用于识别存在于车辆12附近的一个或多个道路设施项目。
中央处理模块32另外与增强现实(AR)相机模块46通信。AR相机模块46可以经由控制器22实现以控制传感器24中的一个，例如，专用AR相机。AR相机模块46配置为提供用于在舱内AR系统中处理和显示的实时视频馈送。尽管描绘为与传感器模块40分离的模块，但在替代实施例中，传感器模块40和AR相机模块46可集成到单个模块中。
中央处理模块32另外与外部对象计算模块48通信。外部对象计算模块48可以经由控制器22来实现。外部对象计算模块48配置为计算车辆12外部的对象相对于车辆12的位置和速度。外部对象计算模块48包括地图融合算法50。地图融合算法50配置为接收由传感器定位算法42映射的特征、由道路设施识别算法44识别的道路设施项目、以及与中央处理模块32相关联的道路设施存储器数据库52。虽然描绘为与HD地图数据库38分离的数据库，但在替代实施例中，道路设施存储器数据库52可作为HD地图数据库38的部件提供。道路设施存储器数据库52包括多个已知的道路设施数据，包括已知的道路设施的地理位置、已知的道路设施的分类，例如，路标类型和道路设施相对于车道的定向。地图融合算法50配置为输出在主车辆的当前地理位置和定向处检测和识别的道路设施项目与期望的道路设施项目的比较。
中央处理模块32具有缺失/阻碍道路设施检测算法54。缺失/阻碍道路设施检测算法54配置为响应于在当前位置和定向期望道路设施项目时，地图融合算法50指示当没有检测到这样的道路设施，发出缺失/阻碍道路设施标志的信号。缺失/阻碍道路设施标志指示没有检测到预期的道路设施项目。缺失/阻碍道路设施检测算法54还可以包括预期的道路设施项目的分类、地理位置和定向。
中央处理模块32另外包括AR显示算法56。AR显示算法56与缺失/阻碍道路设施检测算法54、道路设施图像数据库58以及一个或多个增强现实显示器60通信。响应于缺失/阻碍道路设施检测算法54发出缺失/阻碍道路设施标志信号，AR显示算法56产生适当的图像叠加以显示在增强现实显示器60上。AR显示算法可以例如基于缺失/阻碍道路设施的分类从道路设施图像数据库58中选择图像，基于主车辆和缺失/阻碍道路设施的地理位置之间的相对位置缩放图像，基于预期道路设施项目相对于主车辆的定向偏斜图像，以及将所得到的图像叠加在由AR相机46捕获的图像上，以显示在增强现实显示器60上。
当然，上述的变化是可能的。作为示例，其他实施例可以利用其他HMI，诸如音频提示、触觉提示、或者通过HUD投影AR图像。作为附加示例，其他实施例可以省略图2所示的一个或多个模块，诸如外部对象分类模块和/或定位模块。
现参见图3，以流程图的形式示出了根据本公开的控制车辆的方法。方法开始于框100。
主车辆具有至少一个传感器、HMI和至少一个控制器，如框102所示。在示例性实施例中，主车辆配置为大致如图1所示。
对于接近主车辆的区域，通过传感器获得传感器读数，如框104所示。在示例性实施例中，感测包括经由光学相机捕获一个或多个图像。然而，在其他实施例中，可以使用其他传感器类型。
识别传感器数据中的特征，如框106所示。这可以通过用于基于传感器数据识别和分类物理特征的任何已知图像处理装置来执行。
访问道路设施数据库，如框108所示。如上所述，道路设施数据库包括道路设施地理位置和分类。在示例性实施例中，道路设施数据库是地理区域的HD地图的一部分。
如操作110所示，确定在主车辆附近预期是否有一项或多项道路设施。在示例性实施例中，这包括对主车辆的当前地理位置与道路设施数据库中的数据进行比较。主车辆的当前地理位置可以由与传感器通信的控制器自动确定，传感器配置为检测车辆的地理位置，例如，GPS系统。如果在主车辆的传感器范围之内，道路设施项目可以被认为是最近的，例如，在视线内。
如果操作110的确定是否定的，例如，预期没有道路设施接近主车辆，然后控制返回到框104。算法由此不继续进行，除非并且直到道路设施预期接近主车辆。
如果操作110的确定是肯定的，则确定是否检测到与预期的道路设施相对应的道路设施项目，如操作112所示。在示例性实施例中，这包括基于道路设施数据库，确定在框106中识别的特征是否指示该类型和预期位置的道路设施项目。
如果操作112的确定是肯定的，例如，检测相应的道路设施，然后控制返回到框104。算法由此不继续进行，除非并且直到道路设施预期接近主车辆。
如果操作112的确定是否定的，则经由HMI向车辆操作者发出信号，如框114所示。在示例性实施例中，这包括经由AR显示器将预期道路设施的图像叠加在当前环境上，例如，如上关于图2和如下关于图4所讨论的那样。然而，在其他实施例中，可以提供其他通知。作为非限制性示例，通知可以包括听觉通知，诸如口头通知、触觉通知、经由HUD的通知、其他合适的通知、或其任意组合。
现参见图4，示出了根据本公开的系统的操作。访问HD图120以确定接近当前主车辆地理位置122的特征。在所示配置中，HD地图120指示存在接近当前车辆位置122的道路设施124的项目。为了说明的目的，道路设施124的项目显示为停止标志；然而，道路设施的项目可以是如上所述的其它项目。
捕获接近主车辆区域的传感器数据126。出于说明性目的，传感器数据126描绘为由光学相机捕获的图像；然而，可以使用如上所述的其它传感器类型。在所示的构造中，道路设施124的项目(以虚线示出)是不可见的。这里描述为已经被叶子阻挡；然而，当道路设施项目在其它方面不可见时，例如由于天气情况、照明情况或道路设施的损坏，系统可类似地起作用。
响应于未检测到预期的道路设施，例如，如以上参见图3所讨论的，系统经由HMI生成通知128。在所示实施例中，HMI包括一件道路设施124'的AR叠加。在这样的实施例中，选择道路设施124的适当图像，例如，根据如上参见图2讨论的道路设施图像数据库，基于主车辆相对于道路设施124的项目的预期位置的距离和定向来缩放和偏斜图像。然后将经缩放和偏斜的图像插入到传感器数据126中的适当位置作为一件道路设施124'的AR叠加。在利用其他类型的HMI的其他实施例中，通知128可以采取如上讨论的其他形式。
尽管已经结合机动车辆描述了上述内容，但是应当理解，本发明的各方面也可以在非汽车情况下实施。在这样的非汽车实施例中，可以提供包括多个物理对象、物理对象的地理位置和物理对象的分类的数据库。控制器和HMI可以以与上述通常类似的方式访问数据库并响应于预期但未检测到的用户附近的物理对象而呈现通知。
如可以看到的，本公开提供了一种系统和方法，用于当道路设施项目可能被阻碍或以其他方式不清楚可见时通知车辆的操作者，并且此外以直观的方式这样做。
尽管上面描述了示例性实施例，但并不意味着这些实施例描述了权利要求所包含的所有可能的形式。说明书中使用的词语为描述性词语而非限制性词语，并且应理解的是，在不脱离本公开的精神和范围的情况下可做出各种改变。如前所述，可将各种实施例的特征组合以形成本公开可能没有明确描述或示出的进一步的示例方面。尽管各种实施例可能被描述为在一个或多个期望特性方面具有优点或者优于其它实施例或现有技术实施方式，但是本领域的普通技术人员应认识到，可根据特定应用和实施方式对一个或多个特征或特性进行折中，以实现期望的整体系统属性。这些属性可包括但不限于成本、强度、耐用性、生命周期成本、可销售性、外观、封装、尺寸、可维护性、重量、可制造性、易组装性等。因此，被描述为在一个或更多个特性方面不如其它实施例或现有技术实施方式令人满意的实施例并不在本公开的范围之外，并可被期望用于特定应用。

Claims (7)

1.一种机动车辆，包括：
传感器，其配置为检测所述车辆外部的特征；
HMI，其配置为向所述车辆的操作者发出警报；以及
控制器，其与所述传感器和所述HMI通信，所述控制器与具有道路设施数据库的非瞬态计算机可读存储介质通信，所述道路设施数据库包括多个道路设施项目，所述道路设施项目具有相关联的道路设施地理位置和道路设施分类，所述控制器配置为，响应于所述车辆接近相应道路设施项目的相应道路设施地理位置以及所述传感器未检测到所述相应的道路设施项目，而控制所述HMI发出警报信号。
2.根据权利要求1所述的机动车辆，其中，所述HMI包括增强现实界面，并且其中所述控制器配置为控制所述增强现实界面以通过显示增强现实叠加来发出警报信号，所述增强现实叠加包括与所述相应道路设施项目相关联的标记。
3.根据权利要求2所述的机动车辆，其中，所述标记包括与所述相应道路设施项目的相应道路设施分类相关联的图像。
4.根据权利要求3所述的机动车辆，其中，所述图像基于当前车辆位置与所述相应道路设施项目的所述相应地理位置之间的距离而缩放。
5.根据权利要求3所述的机动车辆，其中，所述道路设施数据库还包括与所述多个道路设施项目相关联的道路设施定向，并且其中所述图像基于所述相应道路设施项目的相应道路设施定向相对于所述车辆的当前方向偏斜。
6.根据权利要求1所述的机动车辆，其中，所述道路设施数据库设置在高清晰度地图数据库中。
7.根据权利要求1所述的机动车辆，其中，所述传感器包括光学相机。
CN201910506356.5A 2018-08-02 2019-06-12 用于在车辆中显示信息的系统和方法 Active CN110803169B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/052725 2018-08-02
US16/052,725 US10893228B2 (en) 2018-08-02 2018-08-02 System and method for displaying information in a vehicle

Publications (2)

Publication Number Publication Date
CN110803169A true CN110803169A (zh) 2020-02-18
CN110803169B CN110803169B (zh) 2023-04-18

Family

ID=69168319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910506356.5A Active CN110803169B (zh) 2018-08-02 2019-06-12 用于在车辆中显示信息的系统和方法

Country Status (3)

Country Link
US (1) US10893228B2 (zh)
CN (1) CN110803169B (zh)
DE (1) DE102019115673A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3620978A1 (de) * 2018-09-07 2020-03-11 Ibeo Automotive Systems GmbH Verfahren und vorrichtung zur klassifizierung von objekten
US11961294B2 (en) 2019-09-09 2024-04-16 Techinvest Company Limited Augmented, virtual and mixed-reality content selection and display
US10997418B2 (en) * 2019-09-09 2021-05-04 Ar, Llc Augmented, virtual and mixed-reality content selection and display
US11125575B2 (en) 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
US20220138994A1 (en) * 2020-11-04 2022-05-05 Micron Technology, Inc. Displaying augmented reality responsive to an augmented reality image

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573733A (zh) * 2014-12-26 2015-04-29 上海交通大学 一种基于高清正射影像图的高精细地图生成系统及方法
US20150145995A1 (en) * 2013-11-22 2015-05-28 At&T Intellectual Property I, L.P. Enhanced view for connected cars
US9569963B1 (en) * 2015-12-03 2017-02-14 Denso International America, Inc. Systems and methods for informing driver of traffic regulations
CN107067774A (zh) * 2015-11-26 2017-08-18 马自达汽车株式会社 标识识别系统
JP2017154613A (ja) * 2016-03-02 2017-09-07 トヨタ自動車株式会社 車両用表示装置
DE102016208621A1 (de) * 2016-05-19 2017-11-23 Continental Automotive Gmbh Verfahren zur Verifizierung von Inhalt und Aufstellort von Verkehrszeichen

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9760383B2 (en) * 2014-01-23 2017-09-12 Apple Inc. Device configuration with multiple profiles for a single user using remote user biometrics
JP6154839B2 (ja) * 2015-03-18 2017-06-28 本田技研工業株式会社 道路標識判断装置及び道路標識判断方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150145995A1 (en) * 2013-11-22 2015-05-28 At&T Intellectual Property I, L.P. Enhanced view for connected cars
CN104573733A (zh) * 2014-12-26 2015-04-29 上海交通大学 一种基于高清正射影像图的高精细地图生成系统及方法
CN107067774A (zh) * 2015-11-26 2017-08-18 马自达汽车株式会社 标识识别系统
US9569963B1 (en) * 2015-12-03 2017-02-14 Denso International America, Inc. Systems and methods for informing driver of traffic regulations
JP2017154613A (ja) * 2016-03-02 2017-09-07 トヨタ自動車株式会社 車両用表示装置
DE102016208621A1 (de) * 2016-05-19 2017-11-23 Continental Automotive Gmbh Verfahren zur Verifizierung von Inhalt und Aufstellort von Verkehrszeichen

Also Published As

Publication number Publication date
DE102019115673A1 (de) 2020-02-06
US10893228B2 (en) 2021-01-12
US20200045260A1 (en) 2020-02-06
CN110803169B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110803169B (zh) 用于在车辆中显示信息的系统和方法
US10296796B2 (en) Video capturing device for predicting special driving situations
CN111524346B (zh) 服务器以及信息提供装置
US10497264B2 (en) Methods and systems for providing warnings of obstacle objects
US9507345B2 (en) Vehicle control system and method
WO2018225178A1 (ja) 危険車両予測装置、危険車両警報システムおよび危険車両予測方法
CN110869867B (zh) 用于对车辆的数字地图进行验证的方法、设备和存储介质
US10732420B2 (en) Head up display with symbols positioned to augment reality
US11837093B2 (en) Lane change notification
TW201333896A (zh) 使用視訊雷達的遠距交通管理系統
JP7362733B2 (ja) 道路環境情報の自動化クラウドソーシング
US20170243483A1 (en) Systems and methods for traffic sign validation
US20200318989A1 (en) Route guidance apparatus and method
JP6922425B2 (ja) 車両用表示制御装置及び表示制御プログラム
TW202031538A (zh) 輔助駕駛方法和系統
EP3909036A1 (en) Control system for a vehicle
US20200294432A1 (en) Advertisement display device, vehicle, and advertisement display method
US11335136B2 (en) Method for ascertaining illegal driving behavior by a vehicle
CN110870332B (zh) 用于对自动化程度较高的车辆(haf)、尤其高度自动化车辆的数字地图进行验证的方法
US20190095728A1 (en) Infrastructure detection device for a vehicle, method for generating a signal, and method for providing repair information
JP2017126213A (ja) 交差点状況確認システム、撮像装置、車載装置、交差点状況確認プログラムおよび交差点状況確認方法
US20220324387A1 (en) Display control system, display control method, and non-transitory storage medium
US20220237926A1 (en) Travel management device, travel management method, and recording medium
CN113160581B (zh) 用于识别路况变化的方法和设备
JP6989418B2 (ja) 車載システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant