CN106796755A - 在抬头显示器上增强路面对象的安全系统 - Google Patents

在抬头显示器上增强路面对象的安全系统 Download PDF

Info

Publication number
CN106796755A
CN106796755A CN201580054182.3A CN201580054182A CN106796755A CN 106796755 A CN106796755 A CN 106796755A CN 201580054182 A CN201580054182 A CN 201580054182A CN 106796755 A CN106796755 A CN 106796755A
Authority
CN
China
Prior art keywords
road surface
surface object
user
hud
important
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580054182.3A
Other languages
English (en)
Other versions
CN106796755B (zh
Inventor
E·A·西斯波特
V·G·雅拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN106796755A publication Critical patent/CN106796755A/zh
Application granted granted Critical
Publication of CN106796755B publication Critical patent/CN106796755B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)

Abstract

本公开包括用于提供用于提醒用户注意路面对象的车内抬头显示器的系统和方法。所述方法包括监视路面对象；检测路面对象；生成被配置成在抬头显示器上强调路面对象的图形数据；确定用户是否看到路面对象；响应于用户未能看到路面对象，确定所述路面对象是否重要；和响应于所述路面对象重要，增强抬头显示器上的图形输出以引起用户的注意。

Description

在抬头显示器上增强路面对象的安全系统
技术领域
本说明书涉及提供用于提醒用户注意路面对象的车内抬头显示器。特别地，本说明书涉及确定哪些路面对象用户未看到，并提供包括未看到的路面对象的抬头显示器。
背景技术
驾驶员常常未能注意到交通标志。这产生安全隐患，并可能导致驾驶员得到交通罚单或引起事故。现有技术试图通过在显示器(比如全球定位系统(GPS)设备上的液晶显示器(LCD))中显示交通标志，来解决该问题。然而，为了判读LCD上的信息，用户不得不停止关注道路，将注意力转向LCD，这会导致额外的安全风险。另外，关于交通标志的信息可能过于有限。其他现有技术试图通过生成针对所有路面交通标志的抬头显示(HUD)来解决该问题。不过，这会导致由于无关的信息而使用户分心。
引文列表
专利文献：【PTL 1】日本专利申请公开No.2012-121527
发明内容
按照记载在本公开中的主题的一个创新方面，一种用于提供用于提醒用户注意路面对象的车内抬头显示器的系统包括处理器和保存指令的存储器，当被执行时，所述指令使系统：利用一个或多个处理器，监视路面对象；利用所述一个或多个处理器，检测路面对象；生成被配置成在抬头显示器上强调路面对象的图形数据；确定用户是否看到路面对象；响应于用户未能看到路面对象，确定所述路面对象是否重要；和响应于所述路面对象重要，增强抬头显示器上的图形输出以引起用户的注意。
一般地，记载在本公开中的主题的另一个创新方面可用方法具体体现，所述方法包括：响应于增强抬头显示器上的图形输出以引起用户的注意，确定用户是否看到路面对象；响应于用户未能看到所述路面对象，确定增强抬头显示器上的图形输出的方式；接收驾驶时的用户的第一记录和道路的第二记录；识别第一记录中的用户的眼睛移动；和使第一记录中的眼睛移动与第二记录中的路面对象关联，以确定用户是否看到路面对象。
这些和其他实施例都可视情况包括下述操作和特征中的一个或多个。例如，所述特征包括：抬头显示器上的图形数据包括在球坐标系中表示用户的视野，用θ角、角和半径的距离表示路面对象；和路面对象是指示适用于路面上驾驶的规定的路面交通标志。
在一些实施例中，所述操作可包括：通过确定客户端设备和由路面对象参照的位置之间的距离，当所述距离降到阈值以下时把所述路面对象识别为重要，来确定路面对象是否重要；分析描述被驾驶员忽视的路面对象的数据；确定被驾驶员忽视的一个或多个路面对象；确定被驾驶员忽视的路面对象的聚类；生成描述被驾驶员忽视的路面对象的地图；和利用描述被忽视的路面对象的地图来确定提高路面安全性的方式。在一些情况下，利用地图提高路面安全性的方式包括在用户的抬头显示器上突出忽视的路面对象。在一些实施例中，确定路面对象是否重要还以来自社交网络应用的更新为基础。
其他方面包括这些和其他创新方面的对应方法、系统、装置和计算机程序产品。
本公开在许多方面尤其有利。例如，系统可提醒用户注意他们未能看到的路面对象，系统可强调用户通常错过的路面对象，并且系统能够强调重要的路面对象。这避免用户受到潜在伤害，帮助用户准时到达目的地，并且可以帮助避免罚单。
附图说明
图1是图解说明用于提供用于提醒用户注意路面对象的车内抬头显示器的例证系统的方框图。
图2A是图解说明用于生成方向的例证地图应用的方框图。
图2B是图解说明用于生成抬头显示的例证安全应用的方框图。
图3是抬头显示器的图形表示。
图4是路面对象的重要性的例证分级结构。
图5A是用于向用户提供路面对象标志的例证方法的流程图。
图5B是用于向用户提供路面对象标志的例证方法的流程图。
图6是根据聚类向用户强调路面对象的另一种例证方法的流程图。
图7是图解说明例证的抬头显示器的例子的示图。
具体实施方式
通过附图中举例而非限制地图解说明了本公开，附图中，相似的附图标记用于指示相似的元件。
<系统概况>
图1图解说明用于提供用于提醒用户注意路面对象的车内抬头显示器的系统100的一个实施例的方框图。系统100包括第一客户端设备103、移动客户端设备188、社交网络服务器101、第二服务器198和地图服务器190。第一客户端设备103和移动客户端设备188可由用户125a和125b(这里，也单独和集体地称为用户125)分别通过信号线122和124访问。在例示的实施例中，系统100的这些实体可通过网络105通信耦接。系统100可包括未在图1中图示的其他服务器或设备，例如包括提供交通数据的交通服务器、提供天气数据的天气服务器、提供用电服务(例如，计费服务)的电力业务服务器和提供地图数据的地图服务器，等等。
例如，可以使用图1中的第一客户端设备103和移动客户端设备188。尽管图1图解说明两个客户端设备103和188，不过，本公开适用于具有一个或多个客户端设备103、188的系统体系结构。此外，尽管图1图解说明耦接到第一客户端设备103、移动客户端设备188、社交网络服务器101、第二服务器198和地图服务器190的一个网络105，不过实际上，一个或多个网络105可连接到这些实体。尽管图1包括一个社交网络服务器101、一个第二服务器198和一个地图服务器190，不过系统100可包括一个或多个社交网络服务器101、一个或多个第二服务器198和一个或多个地图服务器190。
网络105可以是常规种类的有线或无线网络，并可以具有众多的不同结构，包括星形结构、令牌环结构或其他结构。此外，网络105可包括局域网(LAN)、广域网(WAN)(例如因特网)、或者多个设备可通过其通信的其他互连数据路径。在一些实施例中，网络105可以是对等网络。网络105也可耦接到或包括用于以多种不同的通信协议发送数据的电信网络的各个部分。在一些实施例中，网络105包括蓝牙(TM)通信网络或蜂窝通信网络，用于包括经短消息接发服务(SMS)、多媒体消息接发服务(MMS)、超文本传输协议(HTTP)、直接数据连接、WAP、电子邮件等发送和接收数据。在一些实施例中，网络105可包括GPS卫星，用于向第一客户端设备103或移动客户端设备188提供GPS导航。在一些实施例中，网络105可包括GPS卫星，用于向第一客户端设备103或移动客户端设备188提供GPS导航。网络105可以是移动数据网络，比如3G、4G、LTE、LTE语音(“VoLTE”)或任何其他移动数据网络或者移动数据网络的组合。
在一些实施例中，安全应用199a可在第一客户端设备103上运行。第一客户端设备103可以是具有电池系统的移动客户端设备。例如，第一客户端设备103可以是车辆(例如，汽车、公共汽车)、仿生植入物，或者包括非临时性计算机电子设备和电池系统的任何其他移动系统中的一个。在一些实施例中，第一客户端设备103可包括计算设备，所述计算设备包括存储器和处理器。在例示的实施例中，第一客户端设备103通过信号线108通信耦接到网络105。
在其他实施例中，安全应用199b可在移动客户端设备188上运行。移动客户端设备188可以是包括存储器和处理器的便携式计算设备，例如，膝上型计算机、平板计算机、移动电话机、个人数字助手(“PDA”)、移动电子邮件设备、便携式游戏机、便携式音乐播放器、或者另外的能够接入网络105的便携式电子设备。在一些实施例中，安全应用199b可部分充当可被保存在第一客户端设备103上的精简型客户端应用，并部分充当可被保存在移动客户端设备188上的各个组件。在例示的实施例中，移动客户端设备188通过信号线118通信耦接到网络105。
在一些实施例中，第一客户端设备103可包括一个或多个传感器(未图示)，比如导航传感器(例如，全球定位系统(GPS)传感器)、红外检测器、运动检测器、自动调温器、声音检测器和任何其他种类的传感器。例如，第一客户端设备103可包括用于测量当前时间、位置(例如，位置的纬度、经度和高度)、车辆的加速度、车辆的速度、油箱油量、和车辆的电池水平等中的一个或多个的传感器。传感器可用于创建车辆数据181。车辆数据181还可包括在行驶期间获得的或者从社交网络服务器101、第二服务器198、地图服务器190或移动客户端设备188接收的任意信息。
在一些实施例中，第一用户125a和第二用户125b可以是与第一客户端设备103和移动客户端设备188两者互动的相同用户125。例如，用户125可以是坐在第一客户端设备103(例如，车辆)中并操作移动客户端设备188(例如，智能电话机)的乘客或驾驶员。在一些其他实施例中，第一用户125a和第二用户125b可以是分别与第一客户端设备103和移动客户端设备188交互的不同用户125。
安全应用199可以是用于监视路面对象并生成图形数据的软件，所述图形数据被配置成在与第一客户端设备103相关联的抬头显示器上强调路面对象。在一些实施例中，可利用包括现场可编程门阵列(“FPGA”)或专用集成电路(“ASIC”)的硬件来实现安全应用199。在一些其他实施例中，可利用硬件和软件的组合来实现安全应用199。安全应用199可被保存在设备和服务器的组合中，或者被保存在设备或服务器之一中。
社交网络服务器101可以是包括处理器、存储器和网络通信能力的硬件服务器。在例示的实施例中，社交网络服务器101经信号线104耦接到网络105。社交网络服务器101经网络105向系统100的其他实体发送数据和从系统100的其他实体接收数据。社交网络服务器101包括社交网络应用111。社交网络可以是其中通过共同特征联系用户125的一种社交结构。所述共同特征包括关系/联系，例如，朋友、亲属、工作、兴趣等。所述共同特征可由一个或多个社交联网系统提供，包括明确定义的关系和由与其他在线用户的社交联系暗示的关系，其中所述关系形成社交图。在一些例子中，社交图可反映这些用户的映射以及可如何关联这些用户。
在一些实施例中，社交网络应用111生成社交网络，所述社交网络可用于确定交通更新。例如，社交网络应用111可以是人们发布关于主要公路上的事故的微博、人们讨论汽车超速监视区的论坛、用户具有谈论拥堵的地面道路的朋友的社交网络，等等。在一些实施例中，安全应用199接收来自社交网络应用111的更新，并部分根据所述更新来确定强调哪些路面对象。
应明白社交网络服务器101和社交网络应用111可表示一个社交网络，可存在耦接到网络105的多个社交网络，每个社交网络具有它自己的服务器、应用和社交图。例如，第一社交网络可能更加针对商业社交网络，第二社交网络可能更加针对学术或者以学术为中心，第三社交网络可能更加针对本地商业，第四社交网络可针对约会，而其他的社交网络可能是大众兴趣或特定关注的社交网络。
地图服务器190可以是包括处理器、存储器和网络通信能力的硬件服务器。在例示的实施例中，地图服务器190通过信号线114耦接到网络105。地图服务器190经网络105向系统100的其他实体发送数据和从系统100的其他实体接收数据。地图服务器190包括地图应用191。地图应用191可为用户生成地图和方向。在一个实施例中，安全应用199从用户125接收从点A行进到点B的对方向的请求，并把该请求传送给地图服务器190。地图应用191生成方向和地图，并把方向和地图传送给安全应用199，以便向用户显示。
在一些实施例中，系统100包括经信号线197耦接到网络的第二服务器198。第二服务器198可保存由安全应用199使用的额外信息，比如娱乐信息、音乐等。在一些实施例中，第二服务器198接收来自安全应用199的对数据(例如，流式传输电影、音乐等的数据)的请求，生成数据，并把数据传送给安全应用199。
<例证的地图应用>
现在参见图2A，图中更详细地表示了地图应用191的例子。图2A是按照一些例子，包括地图应用191、处理器225、存储器227和通信单元245的计算设备200的方框图。计算设备200的各个组件通过总线220通信耦接。在一些实施例中，计算设备200可以是地图服务器190、第一客户端设备103或移动客户端设备188之一。
处理器225包括进行计算和向显示设备提供电子显示信号的算术逻辑单元、微处理器、通用控制器或者某种其他处理器阵列。处理器225通过信号线236耦接到总线220，以便与其他组件通信。处理器225处理数据信号，并可包括各种计算体系结构，包括复杂指令集计算机(CISC)体系结构、精简指令集计算机(RISC)体系结构、或者实现指令集的组合的体系结构。尽管图2A包括单个处理器225，不过可以包括多个处理器225。其他处理器、操作系统、传感器、显示器和物理构成也是可能的。
存储器227保存可由处理器225执行的指令或数据。存储器227通过信号线238耦接到总线220，以便与其他组件通信。指令或数据可包括用于执行这里说明的技术的代码。存储器227可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪存或某种其他存储设备。在一些实施例中，存储器227还包括非易失性存储器或类似的永久存储设备和介质，包括硬盘驱动器、软盘驱动器、CD-ROM设备、DVD-ROM设备、DVD-RAM设备、DVDRW设备、闪存设备、或者用于更永久地保存信息的某种其他大容量存储设备。
如图2A中图解所示，存储器227保存地图数据293。地图数据293可以是描述特定位置的数据。例如，地图数据293可包括地区的道路地图、地区的卫星视图、地区的街道视图等。地图数据293可限于特定地理位置(美国，科罗拉多，圣何塞)，或者可包括整个世界。在一些实施例中，地图数据293包括从点A到点B的方向。
取决于安全应用199保存在何处，通信单元245向第一客户端设备103和移动客户端设备188中的至少一个传送数据和从第一客户端设备103和移动客户端设备188中的至少一个接收数据。通信单元245通过信号线246耦接到总线220。在一些实施例中，通信单元245包括用于直接物理连接到网络105或者另一个通信通道的端口。例如，通信单元245包括用于与第一客户端设备103的有线通信的USB、SD、CAT-5或类似端口。在一些实施例中，通信单元245包括利用一种或多种无线通信方法(包括IEEE 802.11、IEEE 802.16、蓝牙(TM)或者另一种适当的无线通信方法)与第一客户端设备103或其他通信通道交换数据的无线收发器。
在一些实施例中，通信单元245包括用于通过蜂窝通信网络(包括借助短消息接发服务(SMS)、多媒体消息接发服务(MMS)、超文本传输协议(HTTP)、直接数据连接、WAP、电子邮件或另一种适当种类的电子通信)发送和接收数据的蜂窝通信收发器。在一些实施例中，通信单元245包括有线端口和无线收发器。通信单元245还利用包括TCP/IP、HTTP、HTTPS和SMTP等的标准网络协议，提供与网络105的其他常规连接，以便分发文件或媒体对象。
地图应用191包括通信模块202和地图模块204。通信模块202可以是包括用于处理地图应用191和计算设备200的其他组件之间的通信的例程的软件。在一些实施例中，通信模块202可以是可由处理器225执行，以提供下面说明的用于处理地图应用191和计算设备200的其他组件之间的通信的功能的一组指令。在一些实施例中，通信模块202可被保存在第一客户端设备103的存储器227中，并可由处理器225访问和执行。
通信模块202接收数据并把数据传送给地图模块204。例如，安全应用199的用户125可请求用户125的位置的地图。通信单元245接收所述请求，并把该请求传送给通信模块202，通信模块202把该请求传送给地图模块204。一旦地图模块204生成地图，地图模块204就把地图传送给通信模块202，通信模块202把地图传送给通信单元245，以通过网络105把地图传送给安全应用199。
通信模块202可与第一客户端设备103或移动客户端设备188通信。在上面的例子中，如果来自安全应用199的请求不包括用户的位置，那么通信模块202可向安全应用199请求位置数据。
地图模块204包括用于在计算设备200上生成地图的代码和例程。例如，地图应用191(经通信模块202)从安全应用199接收对于方向的请求。地图应用191确定方向的起点和终点，从存储器227取回地图数据293，并根据地图数据293生成方向。
<例证的安全应用>
现在参见图2B，图中更详细地表示了安全应用199的例子。图2B是包括安全应用、抬头显示器231、相机233、处理器235、存储器237和通信单元239的第一客户端设备103的方框图。第一客户端设备103的各个组件由总线240通信耦接。尽管图2B图解说明安全应用199保存在第一客户端设备103上，不过，本领域的技术人员会认识到安全应用199可被保存在其中某些硬件不适用的移动客户端设备188上。例如，移动客户端设备188不包括抬头显示器231或相机233。在其他实施例中，安全应用199可被部分保存在第一客户端设备103上并部分保存在移动客户端设备188上。例如，移动客户端设备188上的安全应用199可接收用户输入，但用户输入的处理可由在第一客户端设备103上的安全应用199进行。
抬头显示器231包括在用户面前显示图形数据，以致用户不必使目光离开道路以查看图形数据的硬件。例如，抬头显示器231可包括物理屏幕，或者它可把图形数据投影到作为第一客户端设备103的挡风玻璃的一部分，或者反射镜头的一部分的透明薄膜上。在一些实施例中，抬头显示器231在制造过程中被包含为第一客户端设备103的一部分，或者是在稍后安装的。在其他实施例中，抬头显示器231是可拆卸设备。在一些实施例中，图形数据调整亮度水平，以考虑到环境状况，比如夜晚、白天、多云、晴朗，等等。抬头显示器通过信号线232耦接到总线240。
现在参见图7，图中详细表示了抬头显示器231的构成例子。抬头显示器231包括投影仪1001、可移动屏幕1002、屏幕驱动单元1003、光学系统(包括镜头1004、1006，反射器1005，等等)。投影仪1001可以是任意种类的投影仪，比如数字微镜器件(DMD)投影仪、液晶投影仪。投影仪1001把图像(图形)1008投影在可移动屏幕1002上。可移动屏幕包含透明板，从而，投影的图像光传输透过屏幕1002，被投影在车辆(第一客户端设备103)的挡风玻璃1007上。投影在挡风玻璃1007上的图像仿佛是真实空间中存在的真实对象(表示成1011a、1011b)似的被驾驶员1010察觉。
通过调整屏幕1002上的投影位置，抬头显示器231能够控制图像相对于驾驶员1010的方向(换句话说，挡风玻璃中的图像位置)。此外，屏幕1002可由屏幕驱动单元1003在位置1003a和1003b之间的范围中移动。调整屏幕1002的位置可改变在真实空间中，投影图像距驾驶员1010的深度(距离)。在一个例子中，屏幕1002的可移动范围(位置1003a和1003b之间的距离)可为5mm，对应于真实空间中从5m远到无穷远。抬头显示器231的使用使驾驶员1010可以感到投影图像存在于真实空间(三维空间)中。例如，当图像被投影在和真实对象(比如行人、汽车等)相同的三维位置(或者至少大体相同的深度)时，驾驶员不需要调整眼睛聚焦以查看投影的图像，结果在注视真实对象时易于把握投影图像。
抬头显示器231从安全应用199接收供显示的图形数据。例如，抬头显示器231接收图形数据，以便强调路面对象，比如限速标志或搭便车者。路面对象还包括适用于路面上驾驶的规定的路面交通标志。路面对象可以是路面之上或附近的任意对象，比如人为物体、自然物体或人类。相机233通过信号线240耦接到总线。
相机233包括用于记录用户的至少一个内部相机233，和用于记录道路的至少一个外部相机233。内部相机233记录用户的面部，尤其是用户的眼睛。所述记录包括用于与来自外部相机233的记录同步的时间戳。内部相机233把记录传送给安全应用199。在其中使用多个内部相机233的一些实施例中，内部相机233可被布置成捕捉用户面部的不同角度。在一些实施例中，另外的内部相机233用于从用户的视角记录道路。例如，内部相机233可以位于用户的头部上方并面向道路。
外部相机233被布置在汽车的前部中，并记录路面对象。例如，外部相机233被布置成记录用户能够看到的一切。记录还包括用于与来自内部相机233的记录同步的时间戳。外部相机233把记录传送给安全应用199。在其中使用多个外部相机233的一些实施例中，外部相机233可被布置成使道路的视图最大化。例如，外部相机可被布置在格栅的两侧。
处理器235和通信单元239类似于参考图2A讨论的处理器225和通信单元245，从而不再讨论。
存储器237保存可由处理器235执行的指令或数据。存储器237经信号线338耦接到总线240，以便与其他组件通信。指令或数据可包括用于执行记载在这里的技术的代码。存储器237可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪存或某种其他存储设备。在一些实施例中，存储器237还包括非易失性存储器或类似的永久存储设备和介质，包括硬盘驱动器、软盘驱动器、CD ROM设备、DVD ROM设备、DVD RAM设备、DVDRW设备、闪存设备、或者用于更永久地保存信息的某种其他大容量存储设备。存储器通过信号线242耦接到总线240。
如图2B中图解所示，存储器237可保存地图数据293、记录295、对象数据297、旅程数据298和聚类数据299中的任意数据。在一些实施例中，以前的信息被分类成与第一客户端设备103关联的车辆数据181，如图1中图解所示。在一些实施例中，地图数据293包括从地图应用191接收的任意地图数据293。在其他实施例中，地图数据293包括来自地图应用191的最新地图。
记录295接收自相机233。例如，记录295包括来自内部相机233的视频和来自外部相机的视频。对象数据297包括关于路面对象的信息。例如，对象数据297可包括由对象检测器222在来自外部相机233的记录295、路面对象的增强图形图像等中识别的路面对象。
旅程数据298包括关于用户的旅程(比如起点、目的地、持续时间、与历史旅程相关的路线等)的信息。例如，旅程数据298可包括第一客户端设备103去过的所有地点、用户125去过的所有地点(例如，与第一客户端设备103和移动客户端设备108两者相关联的地点)、用户125请求的地点等的日志。聚类数据299包括关于用户125对路面对象的反应的信息。例如，聚类数据299包括关于用户每隔多久就错过在特定位置的某个路面对象的统计信息。
在一些实施例中，安全应用199包括通信模块221、对象检测器222、用户视线检测器224、重要模块226、图形用户界面(GUI)引擎228和分析引擎230。
通信模块221可以是包括用于处理安全应用199和第一客户端设备103的其他组件之间的通信的例程的软件。在一些实施例中，通信模块221可以是可由处理器235执行，以提供下面说明的用于处理安全应用199和第一客户端设备103的其他组件之间的通信的功能的一组指令。在一些实施例中，通信模块221可被保存在第一客户端设备103的存储器237中，并可由处理器235访问和执行。
取决于安全应用199保存在何处，通信模块221经通信单元239，向第一客户端设备103、移动客户端设备188、地图服务器190、社交网络服务器101和第二服务器198中的一个或多个发送数据和从其接收数据。例如，通信模块221通过通信单元239接收来自社交网络服务器101的关于最近的交通事故的更新，并把所述更新发送给GUI引擎228，以便并入抬头显示器231中。在另一个例子中，通信模块221从GUI引擎228接收用于向用户提供用户界面的图形数据，并把图形数据发送给抬头显示器231，使抬头显示器231向用户呈现用户界面。
在一些实施例中，通信模块221从安全应用199的各个组件接收数据，并把数据保存在存储器237中。例如，通信模块221接收由对象检测器222确定的对象数据297，并把该数据保存在存储器237中。
在一些实施例中，通信模块221可处理安全应用199的各个组件之间的通信。例如，通信模块221从对象检测器222接收描述对象的数据，并把该数据传送给分析引擎230。
对象检测器222可以是包括用于识别路面对象的例程的软件。在一些实施例中，对象检测器222可以是可由处理器235执行，以提供下面说明的用于识别路面对象的功能的一组指令。在一些实施例中，对象检测器222可被保存在第一客户端设备103的存储器237中，并可由处理器235访问和执行。
在一些实施例中，对象检测器222从相机233接收道路的记录295，或者从存储器237取回记录295，并识别记录295中的路面对象，所述路面对象作为对象数据297保存在存储器237中。例如，对象检测器222可具有在道路上可能遇到的对象的尺寸的模板，比如表示停车标志的八边形，表示限速标志的正方形，等等。也可利用颜色和位置信息补充所述模板。例如，在八边形可用于路面对象的情况下，对象检测器222可进一步确认八边形是停车标志，因为该标志是红色的。在另一个例子中，在正方形对象可指示每小时英里数或者公路上的后续出口的距离的情况下，对象检测器222可确定路面对象是限速标志，如果路面对象在路旁的话，或者是里程数指示，如果该标志位于天桥上的话。
在一些实施例中，对象检测器222对路面对象进行光学字符识别(OCR)，以识别标志上的文本。例如，通过进行OCR以确定文本是“停”，对象检测器222进一步确认八边形是停车标志。对象检测器222可比较文本和常见路面对象文本的词典，以帮助确认OCR结果。在另一个例子中，对象检测器222进行OCR，以生成帮助用户的元数据。例如，对象检测器222对里程数指示进行OCR以识别第一客户端设备103和下一个出口之间的距离。重要模块226可利用该信息来确定路面对象是否重要，因为如果下一个出口仅仅相隔0.25英里，用户需要选择该出口，并且用户在左车道(假定右行交通)，那么在抬头显示器上该路面对象应被增强。在一些实施例中，对象检测器222指令GUI引擎228生成被配置成在抬头显示器上强调所有路面对象的图形数据。
用户视线检测器224可以是包括用于确定用户是否看到路面对象的例程的软件。在一些实施例中，用户视线检测器224可以是可由处理器235执行，以提供下面说明的用于确定用户是否看到路面对象的功能的一组指令。在一些实施例中，用户视线检测器224可被保存在第一客户端设备103的存储器237中，并可由处理器235访问和执行。
用户视线检测器224从相机223接收驾驶时的用户的记录295，或者从存储器237取回记录295。用户视线检测器224从对象检测器222接收对象数据297，或者从存储器237取回对象数据297。用户视线检测器224通过确定用户是否注视路面对象的方向，来确定用户是否看到该路面对象。例如，用户视线检测器224识别帧中的用户眼睛的位置，以确定用户是否注视道路。用户视线检测器224随后比较用户的视线和在相同时间戳来自外部相机233的记录295的帧中的路面对象的位置。
用户视线检测器224可用另外的数据补充用户正在注视的方向的确定。例如，在用户视线检测器224确定用户看到对象之前，用户视线检测器224应用用户注视特定方向有多久的阈值时间(例如，1秒、5秒，等等)。在另一个例子中，当用户的瞳孔扩大(瞳孔扩大是感兴趣的指示)时，用户视线检测器224确认用户看到对象。在另一个实施例中，用户视线检测器224利用另外的用户动作。例如，如果路面对象是警车，并且用户在注视警车的方向之后减速，那么用户视线检测器224确定用户看到该路面对象。在一些实施例中，一旦用户视线检测器224确定用户看到路面对象，用户视线检测器224就指令GUI引擎228不再强调或消除图形输出。
在一些实施例中，用户视线检测器224利用训练来确定用户响应的基线，以便确定用户是否看到路面对象。所述训练可以是一般地针对各个用户的训练，或者可以是特别地针对第一客户端设备103的第一用户125a的训练。训练可包括在外部相机233和内部相机233进行记录295时，用户在第一客户端设备103中驾驶。用户视线检测器224确定用户是否看到路面对象。在用户视线检测器224进行所述确定之后(或者在练习结束之时)，询问用户以确认该用户是否看到用户视线检测器224确定该用户看到的对象。如果用户视线检测器224具有高伪正率(即，用户未看到用户视线检测器224确定用户看到的事物)，那么用户视线检测器224变更设定。例如，在注视对象的阈值时间为2秒的情况下，用户视线检测器224把阈值时间提升到3秒。
重要模块226可以是包括用于确定路面对象是否重要的例程的软件。在一些实施例中，重要模块226可以是可由处理器235执行，以提供下面说明的用于确定路面对象是否重要的功能的一组指令。在一些实施例中，重要模块226可被保存在第一客户端设备103的存储器237中，并可由处理器235访问和执行。
在一些实施例中，在强调路面对象、但用户仍然未能看到该路面对象之后，重要模块226接收来自用户视线检测器224的通知。作为响应，重要模块226在指令GUI引擎228进一步增强图形输出之前，确定路面对象是否重要。在一些实施例中，对象数据297可包括针对每个路面对象的关于该路面对象是否重要的指示。例如，交通事故和限速的所有指示被标记为重要。
在一些实施例中，路面对象是否重要的确定是以用户的个人偏好为基础的。例如，GUI引擎228可生成用户界面，在所述用户界面，用户指定包括把某些种类的路面对象标记为重要的偏好。在另一个例子中，重要模块226根据历史用户行为确定路面对象是否重要。例如，在用户看到某种路面对象的失败率为70％的情况下，重要模块226可把该类路面对象标记为重要。在一些实施例中，重要模块226利用与用户相关的附加信息，比如用户的驾驶历史和罚单的列表。例如，当用户的超速违章超过阈值数(例如，3张超速罚单)时，重要模块226把限速标志标示为重要。在另一个例子中，当用户收到阈值数目的泊车罚单时，重要模块226确定泊车标志重要。在一些实施例中，重要模块226可根据包括来自社交网络应用111上的与第一用户关联的其他用户的更新的信息，来补充重要性的确定。例如，如果第一用户的朋友发送关于在第一用户附近的汽车超速监视区的发布，重要模块226确定该汽车超速监视区重要。
在一些实施例中，重要模块226根据不断变化的境况，把路面对象标示为重要。例如，在用户离出口小于1英里之前，向用户告知出口的路面交通标志可能不重要。一旦第一客户端设备103和路面交通对象参照的位置之间的距离降到阈值距离以下，重要模块226就确定该路面对象重要，从而指令GUI引擎228增强图形输出。
在一些实施例中，重要模块226根据各种路面对象有多重要的排序，来确定路面对象是否重要。例如，重要模块226可把泊车标志标示为不如里程数标志重要，里程数标志不如限速标志重要，限速标志不如事故通知重要，事故通知和汽车超速监视区通知同等重要。在一些实施例中，GUI引擎228生成用户界面，在所述用户界面中用户可推翻哪些路面对象重要的任意确定。
图形用户界面(GUI)引擎228可以是包括用于生成用于提供用户界面的图形数据的例程的软件。在一些实施例中，GUI引擎228可以是可由处理器235执行，以提供下面说明的用于生成用于提供用户界面的图形数据的功能的一组指令。在一些实施例中，GUI引擎228可被保存在第一客户端设备103的存储器237中，并可由处理器235访问和执行。
在一些实施例中，GUI引擎228生成给抬头显示器231的图形数据。例如，GUI引擎228接收来自对象检测器222的关于路面对象的信息和/或对象数据297，并生成用于显示路面对象的图形数据。GUI引擎228把图形数据传送给抬头显示器231，抬头显示器231把数据显示在第一客户端设备103中的抬头显示器上。
在另一个实施例中，GUI引擎228从用户视线检测器224接收用户未看到作为抬头显示器的一部分的路面对象的确定。GUI引擎228生成图形数据以强调那些路面对象。例如，GUI引擎228提供更大的图标、突出的图标、着色的图标、闪烁的图标，等等。在一些实施例中，GUI引擎228从用户视线检测器224接收用户最终看到所述对象的通知，因而不再强调所述图标或者消除所述图标。
在一些实施例中，GUI引擎228从分析引擎230接收关于应被强调的路面对象的指令。例如，如果80％的用户未能看到路面对象，那么分析引擎230确定应对所有用户强调路面对象。GUI引擎228利用上面说明的例子或者本领域的技术人员已知的其他例子，强调该路面对象。
GUI引擎228生成用于在使用户可以看到抬头显示器中的路面对象而不必重新聚焦以看到所述对象的球坐标系中显示路面对象的图形数据。GUI引擎228在球坐标系中表示驾驶员的视野，在所述球坐标系中，诸如道路标志之类的对象的位置可用距离半径(r)及用角度θ和表示。距离半径表示从驾驶员的视点到路面对象的距离。θ是从固定天顶方向测量的极角(即，z向和半径的方向之间的角度)。是从通过原点并与天顶正交的参照平面上的固定参照方向测量的、正交投影在该平面上的方位角。
在一些实施例中，GUI引擎228作为第一客户端设备103和路面对象之间的距离的函数来显示路面对象的大小。例如，随着第一客户端设备103逼近，GUI引擎228增大路面对象的大小。
分析引擎230可以是包括用于分析描述被驾驶员忽视的路面对象的数据并确定提高路面安全性的方式的例程的软件。在一些实施例中，分析引擎230可以是可由处理器235执行，以提供下面说明的用于分析描述被驾驶员们忽视的路面对象的数据和确定提高路面安全性的方式的功能的一组指令。在一些实施例中，分析引擎230可被保存在第一客户端设备103的存储器237中，并可由处理器235访问和执行。
在一个实施例中，分析引擎230接收描述被驾驶员忽视的路面对象的数据。例如，分析引擎230从所有安全应用199或者记录关于被驾驶员们忽视的路面对象的数据的中央服务器(未图示)接收对象数据297。在一些实施例中，数据被匿名化，对象数据297包括路面对象、识别对象(例如，人物、路面交通标志，等等)的信息、与路面对象关联的文本、路面对象的位置和忽视路面对象的驾驶员的百分率。
在一些实施例中，分析引擎230确定驾驶员们忽视的路面对象的聚类。例如，分析引擎230利用聚类分析聚集一组路面对象。所述组可包括位于例如由于照明条件差或者因为附近存在过多的活动而导致驾驶员错过该聚类、从而难以看到路面对象的区域中的几个路面对象。所述组也可只包括一个路面对象。
分析引擎230生成地图或者向地图应用191请求地图。分析引擎230用驾驶员们忽视的路面对象填充地图。地图包括路面对象、路面对象的位置和关于路面对象的信息，比如它们是否是路面交通标志、人等。分析引擎230把地图保存在例如存储器237中。分析引擎230利用描述被忽视的路面对象的地图来确定提高路面安全性的方式。例如，分析引擎230指令GUI引擎228增强抬头显示器上的图形输出，以强调在驾驶期间用户查看的通常被忽视的路面对象。在一些实施例中，分析引擎230指令GUI引擎228利用不同的图形来区分其他驾驶员忽视的路面对象和该用户已忽视的路面对象。例如，可以用不同的颜色、不同的图标等，突出抬头显示器中的路面对象。
<例证的抬头显示器>
图3是从在方向盘301前方俯视道路302的用户的视角看的抬头显示器的图形表示300。在这个实施例中，GUI引擎228指令抬头显示器231显示用于强调路面对象的图形数据。路面对象可以是由用户视线检测器224确定的用户未看到的对象，或者由分析引擎230确定的其他用户通常未能看到的对象。路面对象可以是路面交通标志，比如限速标志303，或者其他感兴趣的对象，比如搭便车者304和事故305。在一些实施例中，GUI引擎228作为距对象的距离的函数来确定对象在抬头显示器中的大小。在这个例子中，搭便车者304和限速标志303在附近，而事故305则遥远得多。在一些实施例中，基于球坐标系表示路面对象。
<路面对象的重要性的例证分级结构>
图4是路面对象的重要性的例证分级结构400。在一个实施例中，重要模块226根据用户偏好或活动，确定路面对象的所述分级结构。在另一个实施例中，重要模块226根据预定的排序，确定路面对象的分级结构。在这个例子中，重要模块226确定校区402排名最高，随后是行人人行横道标志404，之后是停车标志406，然后是路面状况(例如，湿滑)408，最后是限速标志410。
<方法>
图5A-5B是用于向用户提供路面对象的例证方法500的流程图。在一个实施例中，各个步骤由包含对象检测器222、用户视线检测器224、重要模块226和GUI引擎228的安全应用199进行。
对象检测器222监视路面对象(502)。例如，对象检测器222从外部相机233接收道路的记录295。对象检测器222在记录295中检测路面对象(504)。对象检测器222指令GUI引擎228生成图形数据(506)，所述图形数据被配置成在抬头显示器上强调路面对象。例如，GUI引擎228生成路面对象的图标，并根据大小、颜色等强调该图标。GUI引擎228把图形数据传送给抬头显示器231以便显示。
用户视线检测器224监视用户的眼睛以便确认用户在抬头显示器上看到路面对象(508)。例如，用户视线检测器224从捕捉用户的眼睛的至少一个内部相机233接收记录295。用户视线检测器224确定用户的眼睛注视的方向，并确定用户是否看到路面对象(510)。例如，用户视线检测器224比较用户注视的方向和来自外部相机233的记录295中的路面对象，以确定用户在注视路面对象中的哪个路面对象，如果道路上存在多个路面对象的话。在一些实施例中，用户视线检测器224利用另外的信号来确认用户看到路面对象。例如，用户视线检测器224根据持续阈值时间量注视特定方向、响应于眼睛睁大等等，来确定用户看到路面对象。如果用户看到路面对象，那么处理结束。
如果用户未看到路面对象，那么重要模块226确定路面对象是否重要(512)。例如，重要模块226确定保存在存储器237中的对象数据297是否把该路面对象标示为重要。如果该路面对象不重要，那么处理结束。如果该路面对象重要，那么重要模块226指令GUI引擎228增强抬头显示器上的图形输出(514)，以引起用户的注意。例如，GUI引擎228可生成增大路面对象的大小、使路面对象的图标闪烁、使路面对象的图标更明亮等等的图形数据。重要模块226确定用户是否看到路面对象(516)。如果否，那么重要模块226指令GUI引擎228确定增强抬头显示器上的图形输出的方式(518)。在一些实施例中，存储器237保存增强抬头显示器上的图形输出的不同方式的列表，并在每次用户未能看到重要的路面对象时，GUI引擎228就使用所述列表上的不同技术。例如，如果产生路面对象的图标未起作用，那么GUI引擎228下次尝试使该图标闪烁。继续这些步骤，直到用户看到路面对象为止。
图6是根据聚类向用户提供路面交通标志的另一种例证方法600的流程图。在一个实施例中，各个步骤由包括GUI引擎228和分析引擎230的安全应用199进行。
分析引擎230分析描述被驾驶员忽视的路面对象的数据(602)，并确定被驾驶员忽视的一个或多个路面对象(604)。例如，分析引擎230接收来自所有安全应用199的记录295和对象数据297，从而能够进行归纳概括。分析引擎230确定被驾驶员们忽视的路面对象的聚类(606)。例如，由于照明条件差，用户可能错过整组的路面对象。聚类还可被判读为只包括一个路面对象。在一些实施例中，分析引擎230利用保存在存储器237中的聚类数据299来确定被驾驶员忽视的路面对象的聚类。
分析引擎230生成描述被驾驶员们忽视的路面对象的地图(608)，并把该地图例如保存在存储器237中(610)。在一些实施例中，分析引擎230从地图服务器190上的地图应用191取回地图。分析引擎230利用描述被忽视的路面对象的地图来确定提高路面安全性的方式(612)。例如，分析引擎230指令GUI引擎228生成用于抬头显示器的强调其他驾驶员经常忽视的路面对象的图形数据。在一些实施例中，分析引擎230利用阈值来确定哪些路面对象应被强调。例如，分析引擎230指令GUI引擎228生成图形数据，以便显示75％的时间被其他驾驶员错过的路面对象。
说明书的实施例还可涉及用于进行这里的操作的装置。所述装置可以是为了所需目的而专门构成的，或者它可包括通用计算机，所述通用计算机由保存在该计算机中的计算机程序有选择地激活或重新配置。这样的计算机程序可被保存在计算机可读存储介质中，包括(但不限于)都耦接到计算机系统总线的包括软盘、光盘、CD ROM和磁盘的任意种类的盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、包括具有非易失性存储器的USB Key在内的闪存、或者适合于保存电子指令的任意种类的介质。
说明书可采取某些纯硬件实施例，某些纯软件实施例，或者某些包含硬件元件和软件元件两者的实施例的形式。在一些优选实施例中，说明书是用软件实现的，所述软件包括(但不限于)固件、驻留软件、微代码等。
此外，说明可以采取可从计算机可用或计算机可读介质访问的计算机程序产品的形式，所述计算机可用或计算机可读介质提供供计算机或任何指令执行系统使用，或者与计算机或任何指令执行系统结合使用的程序代码。对本说明来说，计算机可用或计算机可读介质可以是能够包含、保存、传递、传播或传送供指令执行系统、设备或装置使用，或者与指令执行系统、设备或装置结合使用的程序的任意装置。
适合于保存或执行程序代码的数据处理系统将包括通过系统总线直接或间接耦接到存储元件的至少一个处理器。存储元件可包括在程序代码的实际执行期间采用的本地存储器、大容量存储器和高速缓冲存储器，所述高速缓冲存储器提供至少一些程序代码的临时存储，以减少在执行期间必须从大容量存储器取回代码的次数。
输入/输出或I/O设备(包括(但不限于)键盘、显示器、指示设备等)可直接或者通过居间的I/O控制器耦接到系统。
网络适配器也可耦接到系统，以使数据处理系统能够通过居间的专用或公共网络变得耦接到其他数据处理系统或远程打印机或存储设备。调制解调器、线缆调制解调器和以太网卡仅仅是目前可用的各种网络适配器中的几个。
最后，这里介绍的算法和显示并不固有地与任何特殊的计算机或其他装置关联。各种通用系统可依照这里的教导与程序一起使用，或者可证明便利的是构成更专用的装置来进行所需的方法步骤。用于各种这些系统的所需结构将从以下的说明中显现出来。另外，本说明书未参照任何特定编程语言来描述。应意识到可以使用各种编程语言来实现如这里所述的说明书的教导。
为了举例说明，提供了说明书的实施例的以上说明。所述说明不意图是详尽的，也不意图把说明书局限于公开的具体形式。鉴于上述教导，许多修改和变化都是可能的。本公开的范围不由所述详细说明限定，而是由本申请的权利要求书限定。本领域的技术人员会明白，可用其他具体形式体现本说明书，而不脱离其精神或本质特性。同样地，模块、例程、特征、属性、方法和其他各个方面的特殊命名和划分不是强制或重要的，并且实现本说明书或其特征的机构可具有不同的名称、划分或格式。此外，对本领域的普通技术人员来说，本公开的模块、例程、特征、属性、方法和其他各个方面显然可被实现成软件、硬件、固件或者这三者的任意组合。另外，说明书的组件(其例子是模块)无论在什么地方被实现成软件，所述组件都可被实现成独立的程序，实现成更大程序的一部分，实现成多个单独的程序，实现成静态或动态链接库，实现成内核可加载模块，实现成设备驱动程序，或用计算机编程领域的普通技术人员现在或未来已知的所有及任何其他方式实现。另外，本公开决不局限于采用任何具体编程语言的实施例，或者用于任何具体操作系统或环境的实施例。因而，本公开是记载在以下权利要求中的说明书的范围的举例说明，而不是对其的限制。

Claims (13)

1.一种计算机实现的方法，包括：
利用一个或多个处理器，监视路面对象；
利用所述一个或多个处理器，检测路面对象；
生成被配置成在抬头显示器上强调路面对象的图形数据；
确定用户是否看到路面对象；
响应于用户未能看到路面对象，确定所述路面对象是否重要；和
响应于所述路面对象重要，增强抬头显示器上的图形输出以引起用户的注意。
2.按照权利要求1所述的方法，还包括：
响应于增强抬头显示器上的图形输出以引起用户的注意，确定用户是否看到路面对象；和
响应于用户未能看到所述路面对象，确定增强抬头显示器上的图形输出的方式。
3.按照权利要求1或2所述的方法，其中确定用户是否看到路面对象还包括：
接收驾驶时的用户的第一记录和道路的第二记录；
识别第一记录中的用户的眼睛移动；和
使第一记录中的眼睛移动与第二记录中的路面对象关联，以确定用户是否看到路面对象。
4.按照权利要求1-3任意之一所述的方法，其中确定路面对象是否重要还包括：
确定客户端设备和由路面对象参照的位置之间的距离；和
当所述距离降到阈值以下时，把所述路面对象识别为重要。
5.按照权利要求1-4任意之一所述的方法，其中抬头显示器上的图形数据包括在球坐标系中表示用户的视野，用θ角、角和半径的距离表示路面对象。
6.按照权利要求1-5任意之一所述的方法，其中路面对象是指示适用于路面上驾驶的规定的路面交通标志。
7.按照权利要求1-6任意之一所述的方法，还包括：
分析描述被驾驶员忽视的路面对象的数据；
确定被驾驶员忽视的一个或多个路面对象；
确定被驾驶员忽视的路面对象的聚类；
生成描述被驾驶员忽视的路面对象的地图；和
利用描述被忽视的路面对象的地图，确定提高路面安全性的方式。
8.按照权利要求7所述的方法，其中利用地图提高路面安全性的方式包括在用户的抬头显示器上突出被忽视的路面对象。
9.按照权利要求8所述的方法，其中强调被用户忽视的路面对象的方式和强调被其他驾驶员忽视的路面对象的方式被设定成不同。
10.按照权利要求1-9任意之一所述的方法，其中确定路面对象是否重要还以来自社交网络应用的更新为基础。
11.按照权利要求1-10任意之一所述的方法，其中确定路面对象是否重要还以包括看到路面对象的失败率、驾驶历史或罚单列表中的至少一个的用户历史行为为基础。
12.一种计算机程序，当在计算机上执行时，使计算机进行按照权利要求1-11任意之一所述的方法。
13.一种系统，包括：
处理器；和
保存指令的存储器，当被执行时，所述指令使所述系统进行按照权利要求1-11任意之一所述的方法。
CN201580054182.3A 2014-10-06 2015-08-13 在抬头显示器上增强路面对象的安全系统 Expired - Fee Related CN106796755B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/507,047 2014-10-06
US14/507,047 US9472023B2 (en) 2014-10-06 2014-10-06 Safety system for augmenting roadway objects on a heads-up display
PCT/JP2015/004047 WO2016056162A1 (en) 2014-10-06 2015-08-13 Safety system for augmenting roadway objects on a heads-up display

Publications (2)

Publication Number Publication Date
CN106796755A true CN106796755A (zh) 2017-05-31
CN106796755B CN106796755B (zh) 2019-07-05

Family

ID=54105943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580054182.3A Expired - Fee Related CN106796755B (zh) 2014-10-06 2015-08-13 在抬头显示器上增强路面对象的安全系统

Country Status (5)

Country Link
US (1) US9472023B2 (zh)
JP (1) JP6358390B2 (zh)
CN (1) CN106796755B (zh)
DE (1) DE112015004579T5 (zh)
WO (1) WO2016056162A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109076201A (zh) * 2017-12-28 2018-12-21 深圳市大疆创新科技有限公司 调焦方法、装置及抬头显示设备
CN110647860A (zh) * 2019-09-29 2020-01-03 百度在线网络技术（北京）有限公司 信息渲染方法、装置、设备和介质
CN111355925A (zh) * 2018-12-21 2020-06-30 丰田自动车株式会社 控制装置、车辆、图像显示系统和图像显示方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014200559A1 (de) * 2014-01-15 2015-07-16 Bayerische Motoren Werke Aktiengesellschaft Visualisieren einer vorgegebenen sicherheitskritischen Information in einem Fahrzeug
DE102015006612B4 (de) * 2015-05-21 2020-01-23 Audi Ag Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug und System mit einer Datenbrille
IL298851B2 (en) * 2016-07-25 2023-12-01 Magic Leap Inc Change, display and visualization of imaging using augmented and virtual reality glasses
WO2018181233A1 (ja) * 2017-03-30 2018-10-04 三菱電機株式会社 虚像を表示する表示装置
US10545230B2 (en) * 2017-06-01 2020-01-28 Lenovo (Singapore) Pte Ltd Augmented reality view activation
JP7007055B2 (ja) * 2017-11-20 2022-01-24 アルパイン株式会社 自動運転システム
DE102017221619A1 (de) * 2017-11-30 2019-06-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Anzeigen einer Durchführbarkeit eines zumindest teilweise automatisch durchführbaren Fahrmanövers in einem Fahrzeug
JP7077616B2 (ja) * 2017-12-28 2022-05-31 トヨタ自動車株式会社 表示制御装置および表示制御方法
JP2020123013A (ja) * 2019-01-29 2020-08-13 ヤンマーパワーテクノロジー株式会社 自律走行制御システム
KR102260004B1 (ko) * 2019-09-23 2021-06-03 이쎌 주식회사 보행자 인식 능동 표시 방법 및 이러한 방법을 수행하는 장치
US11783705B2 (en) * 2020-07-24 2023-10-10 Autobrains Technologies Ltd Highway exit alert
US11527081B2 (en) 2020-10-20 2022-12-13 Toyota Research Institute, Inc. Multiple in-cabin cameras and lighting sources for driver monitoring
US20220242433A1 (en) * 2021-02-02 2022-08-04 GM Global Technology Operations LLC Saliency-based presentation of objects in an image
JP7558850B2 (ja) 2021-03-12 2024-10-01 本田技研工業株式会社 注意喚起システム、及び注意喚起方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583495A (en) * 1992-09-02 1996-12-10 Ben Lulu; Dani Vehicle alarm system
JP2000142170A (ja) * 1998-11-13 2000-05-23 Kokubobu Zhongshan Kagaku Kenkyuin 車両用ヘッドアップディスプレイ装置
US7605773B2 (en) * 2001-06-30 2009-10-20 Robert Bosch Gmbh Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver
CN102910130A (zh) * 2012-10-24 2013-02-06 浙江工业大学 一种现实增强型的驾驶辅助预警系统
CN103969831A (zh) * 2013-02-01 2014-08-06 沃尔沃汽车公司 车辆抬头显示装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4316962B2 (ja) * 2003-08-26 2009-08-19 富士重工業株式会社 運転者の覚醒度推定装置及び覚醒度推定方法
JP2007087337A (ja) * 2005-09-26 2007-04-05 Toyota Motor Corp 車輌周囲情報表示装置
JP4480755B2 (ja) * 2007-12-04 2010-06-16 カルソニックカンセイ株式会社 車両用ヘッドアップディスプレイ装置
JP4992733B2 (ja) * 2008-01-17 2012-08-08 日産自動車株式会社 駐車支援装置及び駐車支援方法
DE102009032444A1 (de) * 2009-07-09 2010-03-04 Daimler Ag Verfahren und Vorrichtung zur Vermeidung einer Kollision beim Öffnen zumindest einer Fahrzeugtür
DE102009048954A1 (de) * 2009-10-10 2011-04-14 Daimler Ag Verfahren und Vorrichtung zum automatischen Betreiben eines Fahrzeugs in einem keine Nutzeraktion erfordernden autonomen Fahrbetrieb
JP5715793B2 (ja) * 2010-10-08 2015-05-13 東芝アルパイン・オートモティブテクノロジー株式会社 画像処理装置及び画像処理方法
JP2012121527A (ja) 2010-12-10 2012-06-28 Toyota Motor Corp 画像表示装置
JP2012148710A (ja) * 2011-01-20 2012-08-09 Toyota Motor Corp 画像表示装置
US9443429B2 (en) * 2012-01-24 2016-09-13 GM Global Technology Operations LLC Optimum gaze location on full windscreen display
WO2013128615A1 (ja) 2012-03-01 2013-09-06 パイオニア株式会社 ヘッドアップディスプレイ
DE102012214852B4 (de) 2012-08-21 2024-01-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs
KR101957943B1 (ko) * 2012-08-31 2019-07-04 삼성전자주식회사 정보 제공 방법 및 이를 위한 정보 제공 차량
US9202123B2 (en) * 2012-11-06 2015-12-01 Novatel Inc. Spherical pin-hole model for use with camera lens image data
US9057624B2 (en) * 2012-12-29 2015-06-16 Cloudcar, Inc. System and method for vehicle navigation with multiple abstraction layers
US8847771B2 (en) * 2013-01-25 2014-09-30 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583495A (en) * 1992-09-02 1996-12-10 Ben Lulu; Dani Vehicle alarm system
JP2000142170A (ja) * 1998-11-13 2000-05-23 Kokubobu Zhongshan Kagaku Kenkyuin 車両用ヘッドアップディスプレイ装置
US7605773B2 (en) * 2001-06-30 2009-10-20 Robert Bosch Gmbh Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver
CN102910130A (zh) * 2012-10-24 2013-02-06 浙江工业大学 一种现实增强型的驾驶辅助预警系统
CN103969831A (zh) * 2013-02-01 2014-08-06 沃尔沃汽车公司 车辆抬头显示装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109076201A (zh) * 2017-12-28 2018-12-21 深圳市大疆创新科技有限公司 调焦方法、装置及抬头显示设备
CN111355925A (zh) * 2018-12-21 2020-06-30 丰田自动车株式会社 控制装置、车辆、图像显示系统和图像显示方法
CN111355925B (zh) * 2018-12-21 2021-09-14 丰田自动车株式会社 控制装置、车辆、图像显示系统和图像显示方法
US11468692B2 (en) 2018-12-21 2022-10-11 Toyota Jidosha Kabushiki Kaisha Control device, vehicle, image display system, and image display method
CN110647860A (zh) * 2019-09-29 2020-01-03 百度在线网络技术（北京）有限公司 信息渲染方法、装置、设备和介质
CN110647860B (zh) * 2019-09-29 2022-11-08 阿波罗智联(北京)科技有限公司 信息渲染方法、装置、设备和介质

Also Published As

Publication number Publication date
US9472023B2 (en) 2016-10-18
DE112015004579T5 (de) 2017-08-24
US20160098861A1 (en) 2016-04-07
JP2017532644A (ja) 2017-11-02
WO2016056162A1 (en) 2016-04-14
JP6358390B2 (ja) 2018-07-18
CN106796755B (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN106796755B (zh) 在抬头显示器上增强路面对象的安全系统
US10410427B2 (en) Three dimensional graphical overlays for a three dimensional heads-up display unit of a vehicle
JP6418266B2 (ja) 音声コマンドに対応した視覚コンテキストを表示する三次元ヘッドアップディスプレイ装置
CA3046340C (en) Autonomous vehicle notification system
US20200223454A1 (en) Enhanced social media experience for autonomous vehicle users
US12038298B2 (en) Generating navigation instructions
US11068788B2 (en) Automatic generation of human-understandable geospatial descriptors
US10049389B2 (en) System and method for interacting with digital signage
CN106662458B (zh) 用于改进地图和导航数据的可穿戴传感器数据
JP7450287B2 (ja) 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等
US11030655B2 (en) Presenting targeted content to vehicle occupants on electronic billboards
US20220070619A1 (en) Method, apparatus, and system for detecting events or points of interest based on mobile device orientation changes
US20240157872A1 (en) External facing communications for autonomous vehicles
US10232710B2 (en) Wireless data sharing between a mobile client device and a three-dimensional heads-up display unit
US12097856B2 (en) System and method for adjusting a yielding space of a platoon
US11455886B2 (en) Dynamic vehicular passageway information using ad-hoc network and templatized connection
US11180090B2 (en) Apparatus and method for camera view selection/suggestion
CN112543949A (zh) 使用图像内容分析来发现和评估会面位置
US12026805B2 (en) Augmented reality based geolocalization of images
US20240219583A1 (en) Location determination using a plurality of geo-location techniques
KR20240035363A (ko) 디지털 트윈 기반 실감형 컨텐츠 제작 방법 및 시스템
JP2022184329A (ja) 管理装置、管理システムおよび管理方法
CN115437586A (zh) 电子地图上的消息显示方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190705