CN107628033B - 基于乘员警觉性的导航 - Google Patents

基于乘员警觉性的导航 Download PDF

Info

Publication number
CN107628033B
CN107628033B CN201710548955.4A CN201710548955A CN107628033B CN 107628033 B CN107628033 B CN 107628033B CN 201710548955 A CN201710548955 A CN 201710548955A CN 107628033 B CN107628033 B CN 107628033B
Authority
CN
China
Prior art keywords
vehicle
accommodation
drowsiness
driver
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710548955.4A
Other languages
English (en)
Other versions
CN107628033A (zh
Inventor
艾德里安·纳尼亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107628033A publication Critical patent/CN107628033A/zh
Application granted granted Critical
Publication of CN107628033B publication Critical patent/CN107628033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/362—Destination input or retrieval received from an external device or application, e.g. PDA, mobile phone or calendar application
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Emergency Management (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

公开了用于一种用于基于乘员警觉性的导航的系统和方法。示例车辆包括摄像机和乘员监视器。示例的摄像机附到车辆的后视镜，以探测与驾驶员相关联的困倦事件。示例的乘员监视器响应于用摄像机探测到第一次困倦事件，向驾驶员提供反馈。此外，示例的乘员监视器响应于探测到第一次困倦事件之后的第二次困倦事件，在车辆的地理位置附近选择住宿处，并且设置导航系统以导航到所选择的住宿处。

Description

基于乘员警觉性的导航
技术领域
本公开内容总体涉及车辆乘员警觉性探测，并且更具体地，涉及基于乘员警觉性的导航。
背景技术
驾驶车辆需要驾驶员警惕车辆周围的环境。当驾驶员困倦时，驾驶员的反应时间变慢，并且驾驶员可能会失去道路上的焦点。因此，困倦的驾驶员可能对自己、车辆的乘员以及如其他驾驶员和行人的附近其他人带来危险。
发明内容
所附权利要求限定了本申请。本公开内容总结了实施例的各方面，并且不应用来限制该权利要求。根据本文所描述的技术，本领域普通技术人员通过审查以下附图和详细描述想到其他实施方式是显而易见的，并且这些实施方式旨在本申请的范围内。
公开了一种用于带有基于乘员警觉性的导航的车辆的示例性实施例。示例车辆包括摄像机和乘员监视器。示例性摄像机附到车辆的后视镜以探测与驾驶员相关联的困倦事件。示例性乘员监视器响应于摄像机探测到第一次困倦事件而向驾驶员提供反馈。此外，示例性乘员监视器响应于探测到第一次困倦事件之后的第二次困倦事件，而在车辆的地理位置附近选择住宿处，并且设置导航系统导航到所选择的住宿处。
一种缓解车辆驾驶员的困倦的示例性方法，包括使用附到后视镜的摄像机来监视驾驶员以探测困倦事件。示例性方法还包括响应于探测到第一困倦事件而向驾驶员提供反馈。此外，示例方法包括响应于探测到第一次困倦事件之后的第二次困倦事件，而选择车辆的地理位置附近的住宿处；并且设置导航系统导航到所选择的住宿处。
一种示例性的有形计算机可读介质包括指令，当执行指令时，使车辆使用附到后视镜的摄像机来监视驾驶员以探测困倦事件。示例性指令还使车辆响应于探测到第一次困倦事件而向驾驶员提供反馈。此外，示例性的指令使车辆响应于探测到第一困倦事件之后的第二困倦事件，而选择车辆的地理位置附近的住宿，并且设置导航系统导航到所选择的住宿。
根据本发明，提供一种车辆，包含：
摄像机，摄像机附到后视镜上以探测困倦事件；和
乘员监视器，其用于：
响应于用摄像机探测到第一次困倦事件，向驾驶员提供反馈；和
响应于探测到第一次困倦事件之后的第二次困倦事件，进行：
选择车辆的地理位置附近的住宿处；和
自动地设置导航系统以导航到所选择的住宿处。
根据本发明的一个实施例，其中乘员监视器响应于探测到第一次困倦事件之后的第二次困倦事件，经由信息娱乐主机单元提示驾驶员在选择的住宿处预定房间。
根据本发明的一个实施例，其中乘员监视器根据车辆的位置与住宿处的位置之间的距离、驾驶员在注册过程期间指定的偏好、住宿处的房间的可用性或住宿处的房间的价格中的至少一个来选择住宿处。
根据本发明的一个实施例，其中，乘员监视器响应于探测到第二次困倦事件之后的第三次困倦事件，在选择的住宿处自动预定房间。
根据本发明的一个实施例，其中反馈是音频、视觉或触觉警报中的至少一个。
根据本发明的一个实施例，其中摄像机包括带有红外热成像的综合面部特征识别。
根据本发明，提供一种缓解车辆的驾驶员的困倦的方法，包含：
用附到后视镜上摄像机监视驾驶员以探测困倦事件；和
响应于用探测到第一次困倦事件，通过处理器向驾驶员提供反馈；和
响应于探测到第一次困倦事件之后的第二次困倦事件，进行：
选择车辆的地理位置附近的住宿处；和
自动地设置导航系统以导航到所选择的住宿处。
根据本发明的一个实施例，包括响应于探测到第一次困倦事件之后的第二次困倦事件，经由信息娱乐主机单元提示驾驶员在选择的住宿处预定房间。
根据本发明的一个实施例，其中根据车辆的位置与住宿处的位置之间的距离、驾驶员在注册过程期间指定的偏好、住宿处的房间的可用性或住宿处的房间的价格中的至少一个来选择住宿处。
根据本发明的一个实施例，包括响应于探测到第二次困倦事件之后的第三次困倦事件，通过处理器在选择的住宿处自动预定房间。
根据本发明的一个实施例，其中反馈是音频、视觉或触觉警报中的至少一个。
根据本发明的一个实施例，其中摄像机包括具有红外热成像的综合面部特征识别。
根据本发明，提供一种有形计算机可读介质，包含指令，当执行指令时使车辆：
用附到后视镜上摄像机监视驾驶员以探测困倦事件；和
响应于用探测到第一次困倦事件，向驾驶员提供反馈；和
响应于探测到第一次困倦事件之后的第二次困倦事件，进行：
选择车辆的地理位置附近的住宿处；和
自动地设置导航系统以导航到所选择的住宿处。
根据本发明的一个实施例，其中指令当被执行时使车辆，响应于探测到第一次困倦事件之后的第二次困倦事件，经由信息娱乐主机单元提示驾驶员在选择的住宿处预定房间。
根据本发明的一个实施例，其中根据车辆的位置与住宿处的位置之间的距离、驾驶员在注册过程期间指定的偏好、住宿处的房间的可用性或住宿处的房间的价格中的至少一个来选择住宿。
根据本发明的一个实施例，其中指令当被执行时使车辆，响应于探测到第二次困倦事件之后的第三次困倦事件，在选择的住宿处自动预定房间。
根据本发明的一个实施例，其中反馈是音频、视觉或触觉警报中的至少一个。
根据本发明的一个实施例，其中摄像机包括具有红外热成像的综合面部特征识别。
根据本发明的一个实施例，包括在所选择的住宿处自动预定房间之后，将反馈提供给驾驶员，直到车辆到达所选择的住宿处，反馈是音频、视觉或触觉警报中的至少一个。
附图说明
为了更好地理解本发明，可以参考以下附图中所示的实施例。附图中的部件不一定按比例绘制，并且可以省略相关的元件，或者在某些情况下可能会夸大其比例，以便强调并清楚地说明本文所描述的新颖性特征。此外，可以如本领域已知地不同地设置系统部件。此外，在附图中，几个视图中相同的附图标记表示相应的部分。
图1示出了根据本公开内容的教导操作的车辆；
图2示出了图1的车辆的内部视图；
图3是图1的车辆的电子部件的框图；
图4是可以由图3的电子部件实施的提供针对乘员警觉性的警报的方法的流程图。
具体实施方式
尽管可以以各种形式实施本发明，但在附图中示出并且将在下文描述一些示例性和非限制性实施例，同时应理解的是，本公开内容将被视为本发明的示例，并不意图将本发明限制到所示的具体实施例。
驾驶员疲劳是一个严重的问题，这会减慢驾驶员的反应时间，降低驾驶员的环境认知。可以采用各种技术来缓解驾驶员的困倦。例如，缓解技术可以包括增加音响系统的音量、增加空调鼓风机的输出和降低车厢温度等。然而，缓解技术在相当长的一段时间上可能不会有效。如下文所述，车辆包括用于监视驾驶员的摄像机。当车辆通过摄像机探测到驾驶员困倦的迹象(例如，驾驶员姿势、驾驶员眼睛运动、注视位置等)时，车辆采取逐渐升级的一系列动作。最初，车辆激活音频、视觉和/或触觉警告，和/或激活缓解技术(例如，激活/增加音响系统的音量、增强空调鼓风机等)。在随后探测到驾驶员的困倦迹象时，车辆(a)激活音频、视觉和/或触觉警告，和/或激活缓解技术，(b)与外部服务器通信以定位附近住宿处(例如，酒店、汽车旅馆、休息区等)，以及(c)指示导航系统将选定的住宿处设置为车辆的目的地。在另外随后探测到驾驶员的困倦迹象时，车辆(a)与外部服务器通信来在所选择的住宿处预定房间，以及(b)激活音频、视觉和/或触觉警告直到车辆到达所选择的住宿。
图1示出了根据本公开内容的教导操作的车辆100。车辆100可以是标准汽油动力车辆、混合动力车辆、电动车辆、燃料电池车辆和/或任何其他机动性实施类型的车辆。车辆100包括与机动性相关的部件，例如带有发动机、变速器、悬架、驱动轴和/或车轮等的动力传动系统。车辆100可以是非自主的或半自主的。在所示的示例中，车辆100包括车载通信平台102、信息娱乐主机单元104、驾驶员摄像机106和乘员监视器108。
车载通信平台102包括能够与外部网络110进行通信的有线或无线网络接口。车载通信平台102还包括用于控制有线或无线网络接口的硬件(例如，处理器、存储器、存贮器、天线等)和软件。在一些示例中，车载通信平台102包括蜂窝调制解调器、专用短距离通信模块和/或无线局域网(WLAN)控制器。或者或另外，在一些示例中，车载通信平台102有线或无线通信地连接到已连接(如经由蜂窝连接等)外部网络110的移动装置(如智能电话、功能电话、智能手表、平板电脑、笔记本电脑等)。蜂窝调制解调器包括由通信公司运作的用于控制基于广域区域标准的网络(例如，全球移动通信系统(GSM)、通用移动通信系统(UMTS)、长期演进(LTE)、码分多址(CDMA)等)的硬件和软件。WLAN控制器包括用于与基于无线局域网标准的网络(WiMAX(Worldwide Interoperabilityfor Microwave Access,全球微波互联接入)(IEEE 802.16m)、局域无线网络(包括IEEE 802.11a/b/g/n/ac/p或其他)和无线千兆(IEEE 802.11ad)等)通信的硬件和软件。在一些示例中，车载通信平台包括用于个人区域网络(如近场通信(NFC)、蓝牙等)的控制器。车载通信平台102还可以包括用于接收车辆100的坐标的全球定位系统(GPS)接收器。或者，在一些示例中，当车辆100连接到移动装置时，车载通信平台102从移动装置(如从移动装置的GPS接收器)接收坐标。此外，外部网络110可以是如因特网的公共网络、如内联网的私有网络或其组合，并且可以利用现在可用的或稍后开发的包括但不限于基于TCP/IP网络协议的各种网络协议。
信息娱乐主机单元104提供车辆100与用户(如驾驶员、乘客等)之间的交互。信息娱乐主机单元104包括用于接收来自用户的输入和显示信息的数字和/或模拟接口(如输入装置和输出装置)。输入装置可以包括例如控制旋钮、仪表板、用于图像捕获和/或视觉命令识别的数字摄像机、触摸屏、音频输入装置(如车厢麦克风)，按钮或触摸板。输出装置可以包括仪表组输出(如刻度盘、照明装置)、致动器、抬头显示器、中控台显示器(如液晶显示器(“LCD”)、有机发光二极管(“OLED”)显示器、平板显示器、固态显示器等)和/或扬声器。在所示示例中，信息娱乐主机单元104包括用于信息娱乐系统112的硬件(如处理器或控制器、存储器、存储装置等)和软件(如操作系统等)。此外，信息娱乐主机单元104在如中央控制台显示器上显示信息娱乐系统112。在所示示例中，信息娱乐系统112包括导航应用程序，当设置了目的地时，导航应用程序提供音频和视觉引导以将车辆100的驾驶员引导到目的地。
驾驶员摄像机106监视驾驶员114以探测驾驶员114何时困倦。驾驶员摄像机106安装在后视镜116的前面。在所示示例中，驾驶员摄像机106包括带有红外热成像的综合面部特征识别。驾驶员摄像机106探测(a)驾驶员114的头部的位置，(b)驾驶员114的眼睛的状态(如睁开、部分睁开或闭上)，和/或(c)驾驶员114的目光的方向。
乘员监视器108监视驾驶员114的困倦的迹象。为探测出困倦的迹象，乘员监视器108通过驾驶员摄像机106探测驾驶员114的头部的位置，(b)驾驶员114的眼睛的状态(如睁开、部分睁开或闭上)，和/或(c)驾驶员114的视线的方向。当(i)驾驶员114的头部点头达到阈值时间段(如三秒等)时，(ii)驾驶员114的头部114点头并且随后有急剧突然的动作，(iii)驾驶员114的眼睛闭上一段阈值时间段，(iv)驾驶员114的眼睛从睁开状态转换到闭上状态的时间大于阈值时间段(如两秒等)，或者(v)驾驶员114的视线处于阈值角度(如地平线以下45度等)达到阈值时间段(如五秒等)，乘员监视器108确定驾驶员114是困倦的。
当探测到一个或多个困倦迹象时，乘员监视器108反应以缓解驾驶员114的困倦。为了缓解驾驶员114的困倦，乘员监视器108(a)激活音频、视觉和/或触觉警报，(b)激活缓解技术和/或(c)从导航应用程序选择目的地来引导驾驶员114。当在最初反应之后，探测到一个或多个困倦迹象时，乘员监视器108增加反应以缓解驾驶员114的困倦。例如，响应于第一次探测到困倦迹象，乘员监视器108可以激活音频、视觉和/或触觉警报并且激活缓解技术。在这样的示例中，响应于第二次探测到困倦迹象，乘员监视器108可以增加音频、视觉和/或触觉警报的强度和/或持续时间，并且连接到外部网络110以确定引导驾驶员114的目的地。在这样的示例中，响应于第三次探测到困倦迹象，乘员监视器108可以进一步增加音频、视觉和/或触觉警报的强度和/或持续时间，并且在目的地的住宿处(如酒店、汽车旅馆等)预订房间。
音频、视觉和/或触觉警报包括蜂鸣器或铃声、语音消息、信息娱乐主机单元104上显示的警告，和/或方向盘和/或驾驶员座椅的振动。缓解技术包括调整车辆100的暖通空调(HVAC)系统的设置。例如，乘员监视器108可以降低HVAC系统的温度设置，使得车辆100的车厢变冷，和/或可以增加鼓风机设置以增加车厢内的空气循环。在一些示例中，缓解技术包括激活车辆100的驾驶员座椅中的冷却系统。另外，在一些示例中，乘员监视器108可以激活和/或增加车辆100的音响系统的音量。在一些这样的示例中，在配备有定向音频(如配置为将声音引导到车辆100中的特定座椅的车辆100的扬声器)的车辆100中，乘员监视器108增加到达驾驶员座椅的声音音量。
为了选择目的地，乘员监视器108经由车载通信平台102将目的地请求118发送到外部网络110中的目的地服务器120。目的地请求118包括车辆100的当前位置。在一些示例中，目的地请求118还包括在所定位的住宿处预定房间的请求。在所示示例中，目的地服务器120包括目的地数据库122，目的地数据库122包括将住宿处与地理坐标相关联的记录。另外，在一些示例中，目的地服务器120还包括可用性数据。目的地服务器120可以包括用于促进与车辆100的乘员监视器108交换消息的应用程序接口(API)。目的地服务器120和目的地数据库122由任何合适的实体来维护，以提供住宿处的位置(如搜索引擎提供商、旅行服务提供商、车辆制造商等)。目的地服务器120响应于接收目的地请求118，选择目的地数据库122中的一个住宿处。目的地服务器120根据(a)车辆100的位置与住宿处的位置之间的距离(如较小距离具有较高优先级等)，(b)驾驶员在注册过程中指定的偏好，(c)可用性和/或(d)价格，来选择其中一个住宿处。在一些示例中，当目的地请求118请求时，目的地服务器120根据在注册过程期间提供的信息(如信用卡、标识符、奖励计划帐号等)在所选择的住宿处进行预定。目的地服务器120将目的地响应124随着所选择的住宿处的坐标、关于所选择的住宿处的信息(如名称、价格、顾客评级等)以及是否预定所选择的住宿处一起发送到乘员监视器108。
乘员监视器108将信息娱乐系统112的导航应用程序的目的地设置为目的地响应124中提供的坐标。另外，信息娱乐系统112显示来自目的地响应124关于所选择的住宿处的信息。当目的地服务器120没有在所选择的住宿处预定房间，信息娱乐系统112提示驾驶员114是否预定房间。如果驾驶员114选择该提示，那么乘员监视器108将目的地请求118发送到目的地服务器120，以请求预定所选择的住宿处的房间。
图2示出了图1的车辆100的内部视图。在所示示例中，车辆100包括乘客摄像机202。乘客摄像机202附接到后视镜116。乘员监视器108经由乘客摄像机202监视乘客204的困倦。当乘员监视器108探测到乘客204是困倦的，乘员监视器108将定向音频系统调整到用于乘客座椅的较低设置。在一些示例中，当车辆100的HVAC系统支持独立气候区域时，乘员监视器108升高乘客的气候区域的温度以升高身体温度。在一些示例中，乘客座位也自动倾斜。
图3是图1的车辆的电子部件300的框图。在所示示例中，电子部件300包括车载通信平台102、信息娱乐主机单元104、车载计算平台302、传感器304、电子控制单元(ECU)306、第一车辆数据总线308和第二车辆数据总线310。
车载计算平台302包括处理器或控制器312和存储器314。在一些示例中，车载计算平台302构造为包括乘员监视器108。或者，在一些示例中，乘员监视器108可以结合到具有其自己的处理器和存储器的ECU306中。处理器或控制器312可以是任何合适的处理装置或一组处理装置，例如但不限于：微处理器、基于微控制器的平台、合适的集成电路、一个或多个现场可编程门阵列(FPGA)和/或一个或多个专用集成电路(ASIC)。存储器314可以是易失性存储器(如可以包括非易失性RAM、磁性RAM、铁电RAM及任何其它合适的形式的RAM(Random Access Memory，随机存储器))、非易失性存储器(如盘存储器、闪存(FLASHmemory)，EPROM(可擦可编程只读存储器，erasable programmable read-only memory)、EEPROM(电可擦可编程只读存储器，electrically erasable programmable read-onlymemory)、基于忆阻器的非易失性固态存储器等)、不可变存储器(如EPROM)、只读存储器和/或大容量存储装置(如硬盘驱动器、固态驱动器等)。在一些示例中，存储器314包括多种存储器，特别是易失性存储器和非易失性存储器。
存储器314是其上可以嵌有一组或多组指令的计算机可读介质，该指令例如用于操作本公开内容的方法的软件。指令可以体现本文所述的一种或多种方法或逻辑。在特定实施例中，指令可以在执行指令期间完全地或至少部分地驻留在存储器314、计算机可读介质和/或处理器312中的任何一个或多个内。
术语“非易失性计算机可读介质”和“计算机可读介质”应理解为包括单个介质或多个介质，例如集中式或分布式数据库，和/或存储一组或多组指令的相关联的高速缓存和服务器。术语“非易失性计算机可读介质”和“计算机可读介质”还包括能够存储、编码或承载用于由处理器执行的指令集或使系统执行任何一种或更多种本文公开的方法或操作的任何有形介质。如本文所使用的，术语“计算机可读介质”被明确地限定为包括任何类型的计算机可读存储装置和/或存储盘，并且排除传播信号。
传感器304可以以任何合适的方式设置在车辆100内部和周围。传感器304可以测量车辆100的外部周围的属性。另外，一些传感器304可以安装在车辆100的车厢内或车辆100的车身中(如发动机舱，车轮舱等)，来测量车辆100的内部的属性。例如，这样的传感器304可以包括加速计、里程表、转速计、俯仰和偏航传感器、轮速传感器、麦克风、轮胎压力传感器和生物识别传感器等。在所示示例中，传感器304包括驾驶员摄像机106和车厢温度传感器。在一些示例中，传感器304还包括图2的乘客摄像机202。
ECU 306监视并且控制车辆100的子系统。ECU 306经由第一车辆数据总线308进行通信和交换信息。另外，ECU 306可以将属性(如ECU 306的状态、传感器读数、控制状态、错误和诊断代码等)传送到其他ECU 306和/或接收来自其他ECU 306的请求。一些车辆100可以具有位于车辆100周围的各个位置的通过第一车辆数据总线308通信连接的七十个或更多个ECU 306。ECU 306是包括其特有电路(如集成电路、微处理器、存储器、存储装置等)和固件、传感器、致动器和/或安装硬件的离散电子装置组。在所示示例中，ECU 306包括车身控制单元和转向控制单元。转向控制单元包括振动反馈装置，以用于当乘员监视器108探测到驾驶员114困倦时使方向盘振动。
第一车辆数据总线308通信连接到传感器304、ECU 306、车载计算平台302和连接到第一车辆数据总线308的其它装置。在一些示例中，第一车辆数据总线308是根据由国际标准组织(ISO)11898-1限定的控制器局域网(CAN)总线协议实现。或者，在一些示例中，第一车辆数据总线308可以是媒体导向系统传输(MOST)总线或CAN灵活数据(CAN-FD)总线(ISO 11898-7)。第二车辆数据总线310通信连接到车载通信平台102、信息娱乐主机单元104和车载计算平台302。第二车辆数据总线310可以是MOST总线、CAN-FD总线或以太网总线。在一些示例中，车载计算平台302通信地隔离第一车辆数据总线308和第二车辆数据总线310(例如，经由防火墙、消息代理等)。或者，在一些示例中，第一车辆数据总线308和第二车辆数据总线310是相同的数据总线。
图4是可以由图3的电子部件300实施的提供针对乘员警觉性的警报的方法的流程图。最初，在框402处，乘员监视器108经由驾驶员摄像机106监视驾驶员114。在框404，乘员监视器108确定是否存在驾驶员114困倦的指示。例如，当(i)驾驶员114的头部点头达到阈值时间段(如三秒等)时，(ii)驾驶员114的头部114点头并且随后有急剧突然的动作，(iii)驾驶员114的眼睛闭上一段阈值时间段，(iv)驾驶员114的眼睛从睁开状态转换到闭上状态的时间大于阈值时间段(如两秒等)，或者(v)驾驶员114的视线处于阈值角度(如地平线以下45度等)达到阈值时间段(如五秒等)，乘员监视器108确定驾驶员114是困倦的。如果乘员监视器108确定驾驶员114困倦，那么该方法继续到框406。否则，如果乘员监视器108没有确定驾驶员114是困倦的，那么该方法返回到框402。
在框406，乘员监视器108确定这是否是驾驶员114困倦的第一指示。如果是第一指示，则该方法继续到框408。否则，如果不是第一指示，那么方法继续到框410。在框408，乘员监视器108提供音频、视觉和/或触觉警报。此外，在一些示例中，乘员监视器108激活缓解技术。在框410，乘员监视器108确定这是否是驾驶员114困倦的第二指示。如果是第二指示，那么方法继续到框412。否则，如果不是第二指示，那么方法继续到框416。
在框412，乘员监视器108将目的地请求118发送到目的地服务器120以选择一个住宿处。在框414，乘员监视器108响应于接收带有所选择的住宿处的坐标的目的地响应122，将信息娱乐系统112上的导航应用程序设置为导航到目的地响应122中接收到的坐标。
在框416，乘员监视器108将目的地请求118发送到目的地服务器120，以预定在框412处选择的住宿处的房间。在框418，乘员监视器108提供音频、视频和/或触觉警报。此外，在一些示例中，乘员监视器108可以实现附加缓解技术。在框420，乘员监视器108确定车辆100是否处于在框412处接收到的住宿处的坐标。如果车辆100在所选择的住宿处的坐标处，那么该方法结束。否则，如果车辆100不在所选择的住宿处的坐标处，那么该方法返回到框418。
图4的流程图是可以由包含一个或多个程序的机器可读指令来实现的方法，当该程序由处理器(例如图3的处理器312)执行时，使得车辆100实现图1的乘员监视器108。此外，尽管参考图4所示的流程图描述了示例程序，替代地可以使用实现示例乘员监视器108的许多其他方法。例如，可以改变框的执行顺序，和/或可以改变、消除或组合所描述的框中的一些。
在本申请中，使用转折连词旨在包括连接词。使用定冠词或不定冠词并非旨在表示基数。具体地，提到“该”物体或“一个”物体和“一”物体也旨在表示可能的多个这样物体中的一个。此外，连接词“或”可以用于传达同时存在的特征而不是相互排他的替代物。换言之，连结词“或”应该被理解为包括“和/或”。术语“包括”、“包括有”和“包括了”是包容性的，分别与“包含”、“包括有”和“包含了”相同的范围。
上述实施例，特别是任何“优选”实施例是实施方式的可能示例，并且仅仅是为了清楚地理解本发明的原理而提出。在不脱离本文所描述的技术的精神和原理的情况下，可以对上述实施例进行许多变化和修改。所有修改旨在被包括在本公开内容的范围内并且由所附权利要求保护。

Claims (15)

1.一种车辆，包含：
摄像机，所述摄像机附到后视镜上以探测困倦事件；和
乘员监视器，所述乘员监视器用于：
响应于用所述摄像机探测到第一次困倦事件，向驾驶员提供反馈；和
响应于探测到所述第一次困倦事件之后的第二次困倦事件，进行：
选择所述车辆的地理位置附近的住宿处；和
设置导航系统以导航到所选择的住宿处；
响应于探测到所述第二次困倦事件之后的第三次困倦事件，在所述选择的住宿处预定房间。
2.根据权利要求1所述的车辆，其中所述乘员监视器响应于探测到所述第一次困倦事件之后的所述第二次困倦事件，经由信息娱乐主机单元提示所述驾驶员在所述选择的住宿处预定房间。
3.根据权利要求1所述的车辆，其中所述乘员监视器根据所述车辆的位置与所述住宿处的位置之间的距离、所述驾驶员在注册过程期间指定的偏好、所述住宿处的房间的可用性或所述住宿处的房间的价格中的至少一个来选择所述住宿处。
4.根据权利要求1所述的车辆，其中所述反馈是音频、视觉或触觉警报中的至少一个。
5.根据权利要求1所述的车辆，其中所述摄像机包括带有红外热成像的综合面部特征识别。
6.一种缓解车辆的驾驶员的困倦的方法，包含：
通过附到后视镜上的摄像机监视所述驾驶员以探测困倦事件；和
响应于探测到第一次困倦事件，通过处理器向所述驾驶员提供反馈；和
响应于探测到所述第一次困倦事件之后的第二次困倦事件，进行：
选择所述车辆的地理位置附近的住宿处；和
设置导航系统以导航到所选择的住宿处；
响应于探测到所述第二次困倦事件之后的第三次困倦事件，通过所述处理器在所述选择的住宿处预定房间。
7.根据权利要求6所述的方法，包括响应于探测到所述第一次困倦事件之后的所述第二次困倦事件，经由信息娱乐主机单元提示所述驾驶员在所述选择的住宿处预定房间。
8.根据权利要求6所述的方法，其中根据所述车辆的位置与所述住宿处的位置之间的距离、所述驾驶员在注册过程期间指定的偏好、所述住宿处的房间的可用性或所述住宿处的房间的价格中的至少一个来选择所述住宿处。
9.根据权利要求6所述的方法，其中所述反馈是音频、视觉或触觉警报中的至少一个。
10.根据权利要求6所述的方法，其中所述摄像机包括具有红外热成像的综合面部特征识别。
11.一种有形计算机可读介质，包含指令，所述指令当被执行时使车辆进行：
通过附到后视镜上的摄像机监视驾驶员以探测困倦事件；和
响应于探测到第一次困倦事件，向所述驾驶员提供反馈；和
响应于探测到所述第一次困倦事件之后的第二次困倦事件，进行：
选择所述车辆的地理位置附近的住宿处；和
设置导航系统以导航到所选择的住宿处；
响应于探测到所述第二次困倦事件之后的第三次困倦事件，在所述选择的住宿处预定房间。
12.根据权利要求11所述的计算机可读介质，其中所述指令当被执行时使所述车辆，响应于探测到所述第一次困倦事件之后的所述第二次困倦事件，经由信息娱乐主机单元提示所述驾驶员在所述选择的住宿处预定房间。
13.根据权利要求11所述的计算机可读介质，其中根据所述车辆的位置与所述住宿处的位置之间的距离、所述驾驶员在注册过程期间指定的偏好、所述住宿处的房间的可用性或所述住宿处的房间的价格中的至少一个来选择所述住宿处。
14.根据权利要求11所述的计算机可读介质，其中所述反馈是音频、视觉或触觉警报中的至少一个。
15.根据权利要求11所述的计算机可读介质，其中所述摄像机包括具有红外热成像的综合面部特征识别。
CN201710548955.4A 2016-07-13 2017-07-07 基于乘员警觉性的导航 Active CN107628033B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/209,344 US9937792B2 (en) 2016-07-13 2016-07-13 Occupant alertness-based navigation
US15/209,344 2016-07-13

Publications (2)

Publication Number Publication Date
CN107628033A CN107628033A (zh) 2018-01-26
CN107628033B true CN107628033B (zh) 2022-04-19

Family

ID=59676793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710548955.4A Active CN107628033B (zh) 2016-07-13 2017-07-07 基于乘员警觉性的导航

Country Status (6)

Country Link
US (1) US9937792B2 (zh)
CN (1) CN107628033B (zh)
DE (1) DE102017115317A1 (zh)
GB (1) GB2553649A (zh)
MX (1) MX2017009140A (zh)
RU (1) RU2682956C2 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014219408A1 (de) * 2014-09-25 2016-04-14 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Einstellung eines thermischen Komfortzustandes
US10262219B2 (en) * 2016-04-21 2019-04-16 Hyundai Motor Company Apparatus and method to determine drowsiness of a driver
US10549759B1 (en) * 2017-01-19 2020-02-04 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for improving operation of autonomous vehicles
EP3560746B1 (de) * 2018-04-24 2022-10-26 Skoda Auto a.s. Überwachungsvorrichtung für ein kraftfahrzeug, kraftfahrzeug sowie ein zugehöriges verfahren
US10800433B2 (en) * 2018-09-14 2020-10-13 Honda Motor Co., Ltd. Seat haptic system and method of equalizing haptic output
JP7119984B2 (ja) * 2018-12-21 2022-08-17 トヨタ自動車株式会社 運転支援装置、車両、情報提供装置、運転支援システム、及び運転支援方法
US10810966B1 (en) * 2019-01-15 2020-10-20 Ambarella International Lp Fusion of electronic mirror systems and driver monitoring for increased convenience and added safety
US11657694B2 (en) * 2019-04-12 2023-05-23 Stoneridge Electronics Ab Mobile device usage monitoring for commercial vehicle fleet management
US20200398700A1 (en) * 2019-06-21 2020-12-24 Lear Corporation Seat system and method of control
JP7331781B2 (ja) * 2020-05-28 2023-08-23 トヨタ自動車株式会社 情報処理装置、情報処理システム、プログラム、及び車両
JP7251524B2 (ja) * 2020-07-01 2023-04-04 トヨタ自動車株式会社 眠気兆候通知システム、眠気兆候通知方法、及び眠気兆候通知プログラム
DE102021103806A1 (de) * 2021-02-18 2022-08-18 4.screen GmbH System sowie Verfahren zum Priorisieren von Navigationszielen von Fahrzeugen
US20230022436A1 (en) * 2021-07-21 2023-01-26 Indiev, Inc Forward facing rear vehicle video system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201209764A (en) * 2010-08-23 2012-03-01 Univ Ishou Vehicle anti-doze system and method thereof
CN105313898A (zh) * 2014-07-23 2016-02-10 现代摩比斯株式会社 驾驶员状态感应装置及其方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027621B1 (en) 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
DE102004006910A1 (de) * 2004-02-12 2005-08-25 Bayerische Motoren Werke Ag Betriebsverfahren für Fahrzeuge
US7301464B2 (en) * 2005-05-24 2007-11-27 Electronic Data Systems Corporation Process and method for safer vehicle navigation through facial gesture recognition and operator condition monitoring
SE535029C2 (sv) * 2010-02-08 2012-03-20 Scania Cv Ab System och metod för förarspecifik fordonskonfiguration
US20120078509A1 (en) * 2010-09-27 2012-03-29 Honda Motor Co., Ltd Intelligent Navigation For A Motor Vehicle
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
US9493130B2 (en) * 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
DE102011109564B4 (de) * 2011-08-05 2024-05-02 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
WO2014001928A2 (en) * 2012-06-27 2014-01-03 Koninklijke Philips N.V. System and method for enhancing alertness.
JP5895798B2 (ja) * 2012-10-04 2016-03-30 株式会社デンソー 運転支援装置、および運転支援方法
CN105144199B (zh) * 2013-02-21 2019-05-28 Iee国际电子工程股份公司 支持多种功能的基于成像装置的乘坐者监控系统
US20140240132A1 (en) * 2013-02-28 2014-08-28 Exmovere Wireless LLC Method and apparatus for determining vehicle operator performance
DE102013021928A1 (de) 2013-12-20 2015-06-25 Audi Ag Komfortgerätesteuerung für ein Kraftfahrzeug

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201209764A (en) * 2010-08-23 2012-03-01 Univ Ishou Vehicle anti-doze system and method thereof
CN105313898A (zh) * 2014-07-23 2016-02-10 现代摩比斯株式会社 驾驶员状态感应装置及其方法

Also Published As

Publication number Publication date
GB2553649A (en) 2018-03-14
MX2017009140A (es) 2018-01-12
US20180015825A1 (en) 2018-01-18
RU2017124232A3 (zh) 2019-01-10
GB201711082D0 (en) 2017-08-23
US9937792B2 (en) 2018-04-10
RU2017124232A (ru) 2019-01-10
CN107628033A (zh) 2018-01-26
DE102017115317A1 (de) 2018-01-18
RU2682956C2 (ru) 2019-03-22

Similar Documents

Publication Publication Date Title
CN107628033B (zh) 基于乘员警觉性的导航
US10317900B2 (en) Controlling autonomous-vehicle functions and output based on occupant position and attention
US9977593B2 (en) Gesture recognition for on-board display
CN108281069B (zh) 用于车辆半自主模式的驾驶员交互系统
US10528132B1 (en) Gaze detection of occupants for vehicle displays
US10298722B2 (en) Apparatus and method for adjusting driving position of driver
US20170286785A1 (en) Interactive display based on interpreting driver actions
US10358130B2 (en) System and methods for adaptive cruise control based on user defined parameters
US9154923B2 (en) Systems and methods for vehicle-based mobile device screen projection
US20180018179A1 (en) Intelligent pre-boot and setup of vehicle systems
US20200339133A1 (en) Driver distraction determination
US20130154298A1 (en) Configurable hardware unit for car systems
US20200018976A1 (en) Passenger heads-up displays for vehicles
US20180070388A1 (en) System and method for vehicular and mobile communication device connectivity
US10666901B1 (en) System for soothing an occupant in a vehicle
US10369943B2 (en) In-vehicle infotainment control systems and methods
CN109562740B (zh) 用于远程访问车辆的个人功能简档的指纹装置和方法
CN106945671B (zh) 具有多个设定点的车辆巡航控制
CN112513708B (zh) 用于与车辆一起使用的设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant