CN113173167A - 驾驶员注意力分散检测 - Google Patents

驾驶员注意力分散检测 Download PDF

Info

Publication number
CN113173167A
CN113173167A CN202110075700.7A CN202110075700A CN113173167A CN 113173167 A CN113173167 A CN 113173167A CN 202110075700 A CN202110075700 A CN 202110075700A CN 113173167 A CN113173167 A CN 113173167A
Authority
CN
China
Prior art keywords
vehicle
light source
computer
polarization
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110075700.7A
Other languages
English (en)
Inventor
大卫·迈克尔·赫尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN113173167A publication Critical patent/CN113173167A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了“驾驶员注意力分散检测”。可确定在车辆内部的偏振图像的视野之外的光源的位置。然后，在(a)基于所述偏振图像确定所述光源不是车辆照明或外部源以及(b)检测到车辆乘员时，可基于所述光源的确定位置来致动车辆致动器。

Description

驾驶员注意力分散检测
技术领域
本公开总体上涉及车辆操作，并且更具体地涉及驾驶员注意力分散检测。
背景技术
当车辆操作者使用诸如智能手机的用户装置时，可能会出现挑战。车辆计算机可以用于例如利用来自车辆内部相机传感器的数据来检测车辆中的用户装置。然而，当用户装置位于车辆内部相机传感器的视野之外时，识别用户装置是一个问题。
发明内容
本文公开了一种包括处理器和存储器的系统。所述存储器存储指令，所述指令可由所述处理器执行以：确定在车辆内部的偏振图像的视野之外的光源的位置，以及在(a)基于所述偏振图像确定所述光源不是车辆照明或外部源以及(b)检测到车辆乘员时，则基于所述光源的确定位置来致动车辆致动器。
所述指令还可以包括用于进行以下操作的指令：除了第一光源的所述确定位置之外，还基于以下各项来致动所述车辆致动器：(i)所述车辆乘员注视所述光源的频率超过频率阈值，(ii)所述光源是否为用户装置，(iii)所述车辆乘员注视所述光源的持续时间超过时间阈值，和(iv)所述车辆乘员控制车辆推进、转向和制动中的至少一者。
所述指令还可以包括用于进行以下操作的指令：基于根据多个接收的偏振图像确定所述用户装置的媒体输出的类型来致动所述车辆致动器，其中媒体的所述类型为视频播放、交互式消息传递和显示的导航指令中的一者。
所述指令还可以包括用于进行以下操作的指令：基于检测到的车辆乘员头部方向、检测到的车辆乘员眼睛注视和所述光源的估计位置来确定所述车辆乘员正在注视所述光源。
所述系统还可以包括具有偏振成像装置的相机传感器，其中该偏振成像装置基于包括偏振轴、亮度和色彩空间的图像属性生成针对每个图像像素的偏振图像数据。
所述指令还可以包括用于进行以下操作的指令：基于所接收的图像生成去镶嵌图像并基于所述去镶嵌图像生成偏振图。
所述外部源可为天空穹顶、太阳、月亮、路灯、第二车辆的灯、发光的显示装置和安装到第二车辆的显示器中的一者。
所述指令还可以包括用于进行以下操作的指令：基于偏振图和深度图来对所述光源进行分类，其中基于所接收的偏振图像生成所述深度图，并且基于所述深度图和在所接收的图像内的包括车辆乘员的对象上检测到的所述光源的阴影模式来确定所述光源的三维位置。
所述指令还可以包括用于基于所接收的图像的偏振图和用户装置的偏振特性来确定光源是否是用户装置的指令。
所述指令还可以包括用于基于发送到车辆显示器的包括致动所述车辆照明的定时的致动指令来确定包括在所接收的图像中的偏振光来自用户装置而不是所述车辆照明的指令。
所述指令还可以包括用于基于天空穹顶模型和从第二计算机接收的包括第二车辆的位置坐标的数据来确定环境源的位置的指令。
本文还公开了一种方法，其包括：确定在车辆内部的偏振图像的视野之外的光源的位置，并且在(a)基于所述偏振图像确定所述光源不是车辆照明或外部源以及(b)检测到车辆乘员时，则基于所述光源的确定位置来致动车辆致动器。
所述方法还可以包括：除了第一光源的所述确定位置之外，还基于以下各项来致动所述车辆致动器：(i)所述车辆乘员注视所述光源的频率超过频率阈值，(ii)所述光源是否为用户装置，(iii)所述车辆乘员注视所述光源的持续时间超过时间阈值，和(iv)所述车辆乘员控制车辆推进、转向和制动中的至少一者。
所述方法还可以包括：基于根据多个接收的偏振图像确定所述用户装置的媒体输出的类型来致动所述车辆致动器，其中媒体的所述类型为视频播放、交互式消息传递和显示的导航指令中的一者。
所述方法还可以包括：基于检测到的车辆乘员头部方向、检测到的车辆乘员眼睛注视和所述光源的估计位置来确定所述车辆乘员正在注视所述光源。
所述外部源为天空穹顶、太阳、月亮、路灯、第二车辆的灯、发光的显示装置和安装到第二车辆的显示器中的一者。
所述方法还可以包括：基于偏振图和深度图来对所述光源进行分类，其中基于所接收的偏振图像生成所述深度图；并且基于所述深度图和在所接收的图像内的包括车辆乘员的对象上检测到的所述光源的阴影模式来确定所述光源的三维位置。
所述方法还可以包括基于所接收的图像的偏振图和用户装置的偏振特性来确定光源是否是用户装置。
所述方法还可以包括基于发送到车辆显示器的包括致动所述车辆照明的定时的致动指令来确定包括在所接收的图像中的偏振光来自用户装置而不是所述车辆照明。
所述方法还可以包括基于天空穹顶模型和从第二计算机接收的包括第二车辆的位置坐标的数据来确定环境源的位置。
本文还公开了一种系统，其包括：用于确定在车辆内部的偏振图像的视野之外的光源的位置的装置，和用于在(a)基于所述偏振图像确定所述光源不是车辆照明或外部源以及(b)检测到车辆乘员时基于所述光源的确定位置来致动车辆致动器的装置。
还公开了一种计算装置，所述计算装置被编程为执行上述方法步骤中的任一者。还公开了一种包括计算装置的车辆。
还公开了一种计算机程序产品，所述计算机程序产品包括计算机可读介质，所述计算机可读介质存储指令，所述指令可由计算机处理器执行以执行上述方法步骤中的任一者。
附图说明
图1是示出了示例性车辆、乘员和车辆中的用户装置的图示。
图2是示出了用于检测接收的光偏振的示例性成像传感器的图示。
图3A至图3B是用于操作车辆的示例性过程的流程图。
具体实施方式
本文解决了传感器诸如图像传感器的技术限制，包括限于限定的直接视野。在示例性实现方式中，车辆计算机可以基于从内部相机传感器接收的偏振图像数据来检测在车辆内部相机传感器的视野之外的用户装置。计算机还可以检测车辆操作者(即，操作车辆的车辆用户)是否被在相机传感器的视野之外检测到的用户装置分心。因此，本公开有利地克服了感测到的图像数据和此类图像数据的解释中的当前缺点，以检测内部相机传感器的视野之外的用户装置，并且此外，可以确定车辆操作者是否正在与检测到的用户装置进行交互而不是将注意力集中到车辆外部的对象或场景，例如，向窗外注视以实现车道变换。此外，本公开通过检测用户装置的可能会阻挡驾驶员的视野的位置(例如在车辆仪表板上)而有利地克服了仅检测驾驶员头部姿态和/或眼睛注视的当前缺点，尽管驾驶员的头部姿态和/或眼睛注视可以指示驾驶员正在看车辆外部的场景。
这些技术优势由一种车辆计算机提供，该车辆计算机被编程为确定车辆内部的偏振图像的视野之外的光源(例如，智能手机)的位置，并且在(a)基于所述偏振图像确定所述光源不是车辆照明或外部源，以及(b)检测到车辆乘员时，则基于所述光源的确定位置来致动车辆致动器。例如，车辆计算机可以确定用户正在注视操作者的膝部上、车辆的仪表板上或放置在车辆中央控制台上的用户装置诸如智能手机等，并且然后可以致动车辆致动器，例如，停用半自主或非自主操作模式、生成声音等。
图1示出了车辆100、乘员160和用户装置170。车辆100可以多种方式(例如，利用电动马达和/或内燃发动机)来提供动力。车辆100可以是陆地车辆，诸如小汽车、卡车等。车辆100可以包括计算机110、一个或多个致动器120、一个或多个传感器130和人机界面(HMI140)。车辆100可以具有参考点175，例如，几何中心(即，车辆100车身的纵向轴线和横向轴线相交的点)或某个其他指定点。车辆100可以包括内部舱室或内部190，例如乘客舱。车辆100内部190是车辆100内部的空间。一个或多个乘员160可以在车辆100中。一个或多个用户装置170可以包括一个或多个智能手机、一个或多个平板电脑、媒体播放器等。
计算机110包括诸如已知的处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并且存储可由计算机110执行以用于执行各种操作(包括如本文所公开的操纵)的指令。
计算机110可以自主模式、半自主模式或非自主模式操作车辆100。出于本公开的目的，自主模式被限定为车辆100的推进、制动和转向中的每一者都由计算机110控制的一种模式；在半自主模式下，计算机110控制车辆100的推进、制动和转向中的一者或两者；在非自主模式下，操作者乘员160，即一个或多个乘员160中的一者，控制车辆100的推进、制动和转向。
因此，在非自主模式或半自主模式中，操作者乘员160从车辆100外部接收信息，例如来自道路的视觉和音频信息，并基于所接收的信息来控制一个或多个车辆100操作。换句话说，操作者乘员160观察道路、对象诸如道路上的其他车辆和行人等，以便控制一个或多个车辆100操作(即，推进、转向和/或制动)。可以基于操作者乘员160的存储的座椅位置(例如，左前座椅)和/或基于传感器130数据(例如，基于面部识别和在计算机110存储器中存储的操作者乘员160的面部信息来检测操作者乘员160)来识别操作者乘员160。另外地或替代地，计算机110可以被编程为在确定乘员160控制车辆100的推进、制动和转向中的至少一者(例如，保持车辆方向盘)时，例如基于相机传感器130数据识别操作者乘员160。
在一些示例中，在自主模式中，车辆100乘员160可以从车辆100HMI 140接收信息，所述信息指示乘员160在检测到指定状况时(例如，当检测到一个或多个车辆100传感器130发生故障时)重新获得对车辆100推进、制动和/或转向的控制。
计算机110可以包括编程以操作以下中的一者或多者：车辆100的制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆100的速度和/或加速度)、转向、气候控制、内部灯和/或外部灯等，以及确定计算机110(而非人类操作者)是否以及何时控制此类操作。另外，计算机110可被编程为确定人类操作者是否以及何时控制此类操作。例如，计算机110可以确定在非自主模式下，人类操作者将控制推进、转向和制动操作。
计算机110可包括多于一个处理器或者例如经由如下面进一步描述的车辆100通信总线通信地耦合到多于一个处理器，例如，包括在车辆中用于监测和/或控制各种车辆控制器的控制器等，所述各种车辆控制器例如动力传动系统控制器、制动控制器、转向控制器等。计算机110通常被布置用于在车辆通信网络上进行通信，所述车辆通信网络可包括车辆中的总线(诸如控制器局域网(CAN)等)、和/或其他有线和/或无线机构。
经由车辆100网络，计算机110可以向车辆中的各种装置传输消息和/或从各种装置接收消息，所述各种装置例如致动器120、HMI 140等。替代地或另外地，在计算机110实际上包括多个装置的情况下，车辆100通信网络可被用于在本公开中表示为计算机110的装置之间的通信。如下进一步所讨论，各种电子控制器和/或传感器130可以经由车辆通信网络向计算机110提供数据。
车辆100的致动器120经由电路、芯片或已知的可根据如适当控制信号致动各种车辆子系统的其他电子和/或机械部件来实施。可使用致动器120来控制车辆100的系统，诸如车辆100的制动、加速度和/或转向。
车辆100的传感器130可包括已知用于经由车辆通信总线提供数据的多种装置。例如，传感器130可包括设置在车辆100中和/或车辆100上提供涵盖车辆100内部和外部的至少一些的数据的一个或多个相机、雷达、红外和/或激光雷达传感器130。所述数据可以由计算机110通过合适的接口来接收。设置在例如车辆100的顶部上的激光雷达传感器130可以提供包括对象(诸如车辆100周围的其他车辆)的相对位置、尺寸和形状的对象数据。车辆100计算机110可以接收对象数据并且至少部分地基于所接收的对象数据在自主和/或半自主模式下操作车辆。具有视野150的车辆100内部相机传感器130可以提供来自内部190(例如，包括一个或多个乘员160)的图像数据。
HMI 140可以被配置为例如在车辆100的操作期间接收乘员160输入和/或向车辆100乘员160输出(以视觉和/或文本形式呈现的)数据。乘员160可以通过经由HMI 140输入所请求的操作模式来选择操作模式，例如自主模式。此外，HMI 140可以被配置为向乘员160呈现信息。因此，HMI 140可以位于车辆100的内部190中。在一个示例中，计算机110可以输出指示在选定的车辆100操作模式(例如，非自主和/或半自主模式)中，操作者乘员160可以不与用户装置170交互的信息。
HMI 140通常包括LCD(液晶显示器)以输出图像、文本等。LCD基于杆状液晶分子与电场和偏振光波的相互作用来操作。因此，当操作时，LCD生成偏振光。LCD基于脉宽调制(PWM)控制信号进行操作，所述脉宽调制(PWM)控制信号使LCD光输出闪烁。控制LCD的PWM信号的频率(例如，在362赫兹(Hz)的频率)大于对于乘员160的眼睛可检测到的频率。换句话说，尽管LCD光被周期性地打开和关闭，但是操作者160的眼睛可以看到来自LCD的永久光。类似地，诸如智能手机、平板电脑等的用户装置170通常包括LCD，即，用户装置170通常也生成偏振光。例如，在362Hz的PWM频率和50％的占空比下，LCD灯打开大约1.4毫秒(ms)并且关闭1.4ms。另外，计算机诸如车辆计算机110可以致动HMI 140LCD以修改背光照度水平和/或偏振度以控制各个LCD像素的光输出强度。计算机110可以被编程为在特定时间(例如，关闭时间，如上所述)期间从内部相机传感器130接收图像数据，所述特定时间被优化以消除或减少HMI 140偏振光输出的相互参照。例如，计算机110可以在HMI 140输出具有例如无光输出(关闭时间)、全强度光输出(打开时间)和/或半强度光输出的时间接收多个图像。在另一个示例中，计算机110可以被编程为致动车辆HMI 140在空间上变化，以利用光度立体方法来检测在视野150内发射光的用户装置170。
光(或光束)的偏振可以指定偏振度和偏振方向。另外地或替代地，光的偏振可以由斯托克斯参数指定，所述斯托克斯参数包括强度、偏振度和偏振椭圆的形状参数。在一个以上方向上振动的光波被称为非偏振光。偏振光波是其中振动全部或部分地在单个平面中发生的光波。将非偏振光转换成偏振光的过程称为偏振。偏振方向被定义为平行于光波的电磁场的方向。偏振方向(即，振动方向)可以以0度与360度之间的角度指定。非偏振光包括具有随机偏振方向的许多光波(或光线)，例如日光、月光、荧光、车辆前照灯的光束等。
光可以通过穿过偏振滤光器或其他偏振材料来偏振。偏振度是用于描述电磁波的被偏振部分的量。完全偏振的波的偏振程度(或偏振度)为100％(即，将光波限制在一个方向上)，而非偏振波的偏振度为0％(即，相对于光波的振动方向没有限制)。部分偏振的波可以由偏振分量和非偏振分量的组合表示，因此具有0％与100％之间的偏振度。偏振度被计算为光波的偏振分量所携带的总功率的一部分。
车辆100计算机110可被编程为确定车辆100内部190的偏振图像的视野150之外的光源(例如，用户装置170(图1))的位置，并且在(a)基于所述偏振图像确定所述光源不是车辆100照明(例如，HMI 140)或外部源，以及(b)检测到车辆100乘员160时，则基于所述光源的确定位置来致动车辆100致动器120。外部光源是位于车辆100内部190外的光源，例如，太阳、月亮、路灯、第二车辆的灯、发光的显示装置和/或安装到第二车辆的显示器，例如公共汽车、火车等上的广告显示器。
在本上下文中，偏振图像是从偏振相机传感器130接收的图像。偏振相机传感器130是包括光学和/或电子部件(例如，成像装置200(图2))的数字相机，所述数字相机被配置为过滤偏振光并检测所接收的光的偏振。偏振相机传感器130可以确定所接收的光在各种偏振方向上的偏振度。光具有诸如亮度(或振幅)、颜色(或波长)、偏振方向和偏振度的物理性质。例如，非偏振光可以具有在导致“低”偏振度(即，低于指定阈值)的各个方向上(即，具有不同方向)均匀分布的光波群，并且完全偏振光可以包括具有导致“高”偏振度(即，高于指定阈值)的一个方向的光波。在本上下文中，“低”偏振度可以是0％至10％，并且“高”偏振度可以被定义为90％至100％。这些物理性质中的每一个可以由偏振相机传感器130确定。
参考图2，偏振相机传感器130通常包括偏振成像装置200。偏振成像装置200是将光转换成电信号的光电部件。从成像装置200输出的图像数据通常包括多个像素，例如1兆像素。成像装置200可以包括多个单独的光电部件210，每个光电部件为每个图像像素生成电信号。由成像装置200针对每个图像像素生成的图像数据可以基于图像属性，所述图像属性包括偏振方向(或轴)、偏振度、亮度和/或色彩空间。
为了过滤检测到的偏振光，可以将例如呈膜形式的偏振材料放置在成像装置200上和/或可以将其包括在成像装置200中。例如，为了产生偏光膜，可以将在相同方向上取向的微小的硫酸碘奎宁微晶嵌入在透明聚合物膜中以防止晶体的迁移和重新取向。如图2所示，每个光电部件210上的偏振材料可以被配置为使得具有特定偏振方向(例如，0(零)度、45度、90度、270度)的光穿过偏光膜。在一个示例中，每个光电部件210生成对应于一个或多个图像像素的图像数据。在一个示例中，成像装置200的光电部件200可以被布置成使得每组2×2光电部件210包括0(零)度、45度、90度和270度偏光膜中的一者。然后使用已知的去镶嵌技术来产生偏振图像，如下所述。另外地或替代地，可以使用其他技术，诸如旋转滤波器、电光滤波器等。
亮度(或光强度)是基于亮度函数(人眼灵敏度的标准化模型)在每单位立体角上由光源在特定方向上发射的波长加权功率的量度。发光强度的SI单位是坎德拉(cd)。
如上面所讨论的，成像装置200的光电部件210中的每一个可以检测具有特定偏振方向的光。计算机110可以被编程为基于光电部件210的输出来生成图像。该过程通常被称为“去镶嵌”。在“去镶嵌”过程中，计算机110可以组合从2x2相邻光电传感器210中的每一个接收的图像数据，并且针对一组4个(四个)光电部件210计算所接收的光的偏振度、亮度和偏振方向，例如，假设从具有90度偏光膜的光电部件210接收的图像部分的偏振度为45度。换句话说，考虑到像素的小尺寸，假设在90度像素处接收的光具有与在相邻像素处(即，在同一组四个光电部件210内)接收的相同的45度偏振分量。在去镶嵌之后产生的图像可以被称为去镶嵌图像。
计算机110可以被编程为基于从相机传感器130接收的数据来例如针对每个图像像素确定亮度、偏振方向和偏振度。计算机110可以被编程为基于所接收的图像数据生成偏振图。偏振图是指定从相机传感器130接收的图像的每个部分的偏振度、偏振方向和/或亮度的一组数据。计算机110可以确定针对图像的每个像素的一组亮度(例如，以坎德拉为单位指定)、偏振方向(例如，0度至360度)和偏振度(例如，0至100％)。
例如，计算机110可以被编程为生成偏振图，所述偏振图包括图像的每个像素的一组偏振数据，诸如表1中所示。因此，偏振图可以指定偏振光是否具有检测到的四个偏振方向中的每一个，并且指定所述偏振方向中的每一个的偏振度。
Figure BDA0002907400750000111
表1
计算机110可以被编程为基于从相机传感器130的成像装置200接收的图像数据生成偏振图。另外地或替代地，相机传感器130可以包括电子部件，所述电子部件生成偏振图并且将偏振图数据输出到计算机110。因此，计算机110可以从偏振相机传感器130接收每个像素或一组像素的偏振数据，例如，如表1所示。
车辆100的HMI 140通常包括LCD显示器，如上所述，所述LCD显示器通常在车辆100的操作期间输出偏振光。因此，车辆100的操作者乘员160可以查看在HMI 140上显示的信息，并且在操作车辆100时使用所接收的信息。因此，计算机110可以被编程为确定不是车辆100照明(HMI 140)的光源是否在车辆100中，从而忽略由车辆100HMI 140生成的偏振光。
如上面所讨论的，LCD使用PWM来致动，并且不会永久地开启或激活。在一个示例中，计算机110可以被编程为基于发送到车辆100的HMI 140的致动指令来确定在所接收的图像中检测到的偏振光是否来自用户装置170而不是车辆照明例如HMI 140。例如，计算机110可以被编程为基于发送到HMI 140的PWM控制信号来识别车辆100HMI 140不活动或关闭的时间段，并且基于在HMI 140关闭的时间期间接收的图像数据来生成偏振图，因此确保在所接收的图像中检测到的偏振光来自不是车辆100照明(例如HMI 140)的光源。因此，计算机110可以被编程为在HMI 140显示器的关闭时间段期间基于包括HMI 140显示器的致动时间(即，打开和关闭时间)的接收的数据从偏振相机传感器130接收图像数据。
另外或替代地，计算机110可以存储HMI 140的3D位置坐标。因此，计算机110可以在确定光源的估计的3D位置在HMI 140位置的距离阈值内时(例如，在HMI 140的参考点与所述光源的所述估计位置之间的距离小于阈值诸如10cm)确定光源为HMI 140。3D位置是根据三维坐标(例如，车辆100坐标系180的X、Y和Z坐标)指定的位置。
如上面所讨论的，诸如平板电脑、智能手机等的用户装置170产生偏振光。计算机110可以被编程为将诸如平板电脑、智能手机等的用户装置170的偏振特性存储在计算机110存储器中。在本上下文中，偏振特性是指定由用户装置170的显示器生成的光的偏振度的范围(例如，100％)、偏振方向(例如，45度)、亮度等的一组数据。例如，偏振特性可以指定用户装置170的偏振度的范围和/或一组偏振方向，例如，对于45度的偏振方向，偏振度为30％至50％，而对于其他偏振方向，偏振度为0％。计算机110可以被编程为基于偏振图和存储的偏振特性来确定偏振光生成用户装置170。例如，计算机110可以基于偏振图(例如，表1)确定在接收的光中以45度偏振的光的偏振度为40％，其在偏振特性中指定的30％至50％的范围内，并且因此断定图像中的检测到的光来自用户装置170。注意，在存在外部光源(诸如日光、月光、路灯等)的情况下，由用户装置170生成的光可能可相较地忽略不计，然而，因为相机传感器130滤除该光以检测偏振光，因此仍然可以检测到由用户装置170生成的光。例如，计算机110可以基于偏振图来检测操作者乘员160的面部或衣服上的偏振光。计算机110可以使用常规的计算机视觉技术来检测乘员160的面部，然后基于偏振图和存储的偏振特性来确定操作者乘员160的面部被由用户装置170生成的偏振光照亮。
在本上下文中，深度图是指定图像中的点的3D(三维)位置的一组数据。例如，深度图可以包括所接收的相机图像的每个像素的一组3D坐标，例如，相对于坐标系180，原点在车辆100参考点175处。换句话说，深度图提供在图像的相应像素中表示的真实世界表面点的3D位置坐标。例如，深度图可以包括在图像中例如在车辆100的内部190中的乘员160、座椅等上可见的点的3D位置坐标。因此，深度图可以包括对应于图像的每个像素的3D坐标。计算机110可以被编程为使用常规的计算机视觉技术来生成用于在相机传感器130的视野150内接收的深度图。计算机110可以被编程为通过处理从两个或更多个相机传感器130接收的图像数据来生成深度图，所述两个或更多个相机传感器从不同位置观察车辆100的内部190，同时具有重叠的视野150。替代地，生成深度图的其他方法可以包括使用能够检测光场的相机、使用光度立体方法或通常利用基于神经网络的2D图像数据的变换的单目深度估计技术。
计算机110可以被编程为基于深度图和在所接收的图像内的对象(例如，乘员160)上检测到的光源的阴影模式来确定光源(例如，用户装置170)的3D位置。可以相对于笛卡尔坐标系180提供深度图中的3D位置坐标，其中原点位于车辆100参考点175处。计算机110可以基于检测图像中的阴影区域的形状和图像中的对象的检测到的形状来检测对象的阴影。例如，计算机110可以将乘员160的面部上的基本上三角形的阴影识别为乘员160的鼻部的阴影。
作为示例，计算机110可以被编程为基于在乘员160的面部上检测到的用户装置170的偏振光的阴影来估计用户装置170在视野150之外的3D位置，例如，取决于用户装置170的3D位置，乘员160的鼻部在乘员160的面部上的阴影可变化。因此，计算机110可以基于在乘员160的面部上检测到的偏振光的阴影来估计用户装置170的3D位置。例如，计算机110可以在乘员160的左眼上检测到乘员160的鼻尖的阴影。然后，计算机110基于深度图来确定鼻尖的3D位置和乘员160的眼睛的3D位置，然后基于乘员160的鼻尖及其阴影的所确定的位置(例如通过确定穿过阴影和导致阴影的对象的线)来估计用户装置170的3D位置。在该示例中，计算机110可以将用户装置170在视野150之外的位置估计为沿着所确定的线，如上面所讨论的，但是计算机110可能能够或可能无法确定用户装置170沿所确定的线的确切位置。
计算机110可以被编程为基于以下各项来识别外部光源及其3D位置：(i)车辆100传感器130(例如，检测第二车辆、路灯、路边显示器等的前置相机传感器130)数据，(ii)地图数据(例如，包括路边显示器、路灯等的位置)，(iii)指定天空的云量的天气数据，从而指定到达车辆100的日光或月光的量(例如，使用包括检测到的光的偏振度和方向的光线跟踪模拟技术、用于学习光与车辆100内的材料相互作用的物理现象的物候模型，然后使用这种模型进行输出以从检测到的光移除环境光)和/或(iv)基于日期和当日时间指定太阳位置、月亮位置等的天空穹顶模型数据(或对大气现象建模的任何其他技术)。另外地或替代地，计算机110可以被编程为基于从第二计算机(例如，第二车辆计算机)接收的数据来确定外部光源(例如，第二车辆前照灯)的位置。例如，计算机110可以被编程为接收移动灯(例如，第二车辆的灯)的GPS(全球定位系统)位置，并且进一步基于例如从车辆100的GPS传感器130接收的车辆100的GPS位置来确定第二车辆灯相对于坐标系180的位置。
计算机110可以被编程为基于偏振图和深度图对一个或多个光源进行分类。计算机110可以被编程为估计一个或多个检测到的光源(例如，用户装置170)的3D位置，然后将检测到的光源分类为(i)车辆装置，例如，HMI 140，(ii)用户装置170，(iii)外部自然光源，即太阳和月亮，(iv)基础设施灯，诸如路灯、发光的显示装置例如广告板等，以及(v)例如第二车辆、摩托车等的外部车灯。计算机110可以被编程为将光源分类的结果存储在计算机110存储器中，例如表2。示例性表2示出了N个检测到的光源、每个检测到的光源相对于坐标系180的3D位置坐标以及所确定的光源类别的列表。
光源标识符 数据
光源1 3D位置、光源类别
…… ……
光源N 3D位置、光源类别
表2
计算机110可以被编程为基于偏振图、深度图、从其他车辆接收的数据(例如，GPS位置)、包括基础设施光源的地图数据(例如，路灯位置)、车辆100的GPS传感器130等来对光源进行分类。例如，计算机110可以基于包括车辆100外部的光源的位置的地图数据将外部灯分类为基础设施灯类别。计算机110可以被编程为基于经由无线通信网络接收的第二车辆的GPS位置和/或从具有视野150的车辆100相机传感器130接收的图像数据将外部光源分类为第二车辆的灯，该视野包括车辆100的外部并在相机传感器130的所接收的图像中检测第二车辆。
如上面所讨论的，计算机110可以基于深度图和车辆100内部190中的对象上的光源的阴影(例如，乘员160的鼻部的阴影)来估计光源的3D位置。例如，计算机110可以被编程为如上面所讨论的基于深度图和光源的阴影例如在确定连接阴影和对象(例如，乘员160的鼻部)的线穿过车辆100的侧窗(指示光来自外部光源)时，来确定该光源为外部光源。
基于估计的位置并基于计算机110中识别内部190(例如内部190的边界的3D位置)的存储信息，计算机110可以确定产生偏振光的光源是否在车辆100的内部190中。在确定偏振光源在内部190中(基于诸如上面所讨论的一个或多个偏振特性)时，计算机110确定光源是用户装置170或车辆100HMI 140。
计算机110可被编程为基于所接收的图像的偏振图和用户装置170的偏振特性来确定光源是否是用户装置170。计算机110可以被编程为基于偏振图、深度图和光源的位置将光源分类为内部190中的用户装置170。例如，如上所讨论的，计算机110可以基于偏振图来检测例如乘员160的面部上的偏振光。
计算机110可被编程为基于检测到的车辆100乘员160头部方向或姿态A1、检测到的车辆100乘员160眼睛注视A2和所述光源的估计位置来确定所述车辆乘员正在注视所述光源。在本上下文中，头部方向或姿态A1由基本上垂直于乘员160前额的线限定。本文中的“眼睛注视”意指可以根据由眼睛的晶状体的轴线的方向(即，人的眼睛正在注视的方向)限定的线来描述的方向。
计算机110可以被编程为使用常规的计算机视觉技术基于包括乘员160的面部的所接收的图像数据来确定乘员160的头部姿态A1和眼睛注视A2。计算机110可以被编程为在使用常规几何技术确定用户装置170距头部姿态A1的距离d小于阈值(例如，20厘米(cm))时确定乘员160正在注视检测到的用户装置170。点到3D空间中的线的距离d是从所述点到所述线的最短线的长度，即，穿过所述点并且垂直于所述线的线。
另外地或替代地，计算机110可以被编程为基于乘员160的眼睛注视A2(例如在确定从用户装置170到指定眼睛注视A2的线的距离d小于阈值时)确定乘员160正在注视用户装置170。因此，计算机110可以被编程为基于操作者乘员160的右眼或左眼中的任一者的眼睛注视A2来确定乘员160的眼睛是否正在注视用户装置170。
计算机110可以被编程为在以下情况下确定操作者乘员160被分散注意力：(i)操作者160注视用户装置170持续超过时间阈值(例如2秒(s))的时间，(ii)操作者160注视用户装置170的频率超过频率阈值(例如，每分钟一次)和/或(iii)操作者乘员160观看媒体类型，诸如交互式消息传递或视频播放。在本上下文中，注视用户装置170的频率是操作者乘员160每单位时间注视(如上定义的)用户装置170的次数(或计数)，例如，每分钟2次。乘员160从不注视用户装置170的第一位置到注视用户装置170的第二位置的变化被定义为一个计数。第一位置和第二位置由头部姿态A1和/或眼睛注视A2限定。另外，可以基于车辆100的操作模式和/或当前在车辆100中激活的一组驾驶员辅助特征来确定诸如时间阈值、频率阈值等阈值。例如，当计算机110仅控制车辆100推进时，第一时间阈值可以是4秒，而当计算机110控制推进、转向和制动时，第二时间阈值可以是2秒。
用户装置170可以输出各种类型的媒体内容。例如，用户装置170可以输出视频播放、交互式消息传递和/或导航指令。计算机110可以被编程为基于偏振图的变化来确定用户装置170的媒体内容的类型。在一个示例中，计算机110可以将媒体类型配置文件数据存储在计算机110存储器中，并且基于偏振图的变化和所存储的类型配置文件来确定媒体的类型。媒体类型配置文件是包括每种类型的媒体的光亮度变化率、偏振度变化率等的模式。媒体类型配置文件可以包括颜色变化模式、照明变化模式和/或基于车辆100中的相机传感器130位置、视野150和/或用户装置170的屏幕尺寸的颜色和照明的空间特性。媒体类型配置文件可以基于相机传感器130位置，因为例如传感器130可以根据位置、方向和视野150从外部光源接收不同的光量，例如，仪表板上的传感器可接收更多的外部光，而安装到车辆100A柱的传感器130可接收较少的外部光。在一个示例中，多个媒体类型配置文件各自包括指定娱乐(例如，电视节目、与加载和滚动内容、消息传递等相关联的网上冲浪)的显示中的至少一者的信息。因此，在一个示例中，计算机110可以基于所确定的偏振度的变化率、所确定的光亮度变化率等并将所确定的比率与所存储的媒体类型配置文件进行比较来确定用户装置170产生哪种媒体类型。
计算机110可以被编程为在确定操作者乘员160被分散注意力时致动车辆100致动器120。在一个示例中，计算机110可以向车辆100的HMI 140输出消息，例如，包括给乘员160的注意道路的指令。另外地或替代地，计算机110可激活车辆100的自主操作模式。另外地或替代地，计算机110可以致动车辆100致动器120以输出声音。另外地或替代地，计算机110可以致动车辆100致动器120以在车辆100座椅和/或车辆100方向盘中产生触觉反馈。
处理
图3A至图3B示出了用于操作车辆100的示例性过程300的流程图。例如，车辆100的计算机110可以被编程为执行过程300的框。
参考图3A，过程300在框310中开始，其中计算机110从偏振相机传感器130接收图像数据，所述偏振相机传感器具有包括车辆100的内部190的视野150。
接下来，在框315中，计算机110生成所接收的图像的偏振图。计算机110可以基于所接收的图像数据的偏振度、偏振方向、亮度和/或颜色来生成偏振图。
接下来，在框320中，计算机110识别任何外部光源，例如，第二车灯、月亮、太阳、路灯、外部发光的显示装置诸如路边广告显示器。计算机110可以被编程为基于以下各项来识别外部光源：(i)车辆100传感器130(例如，检测第二车辆、路灯、路边显示器等的前置相机传感器130)数据，(ii)地图数据，例如，包括路边显示器、路灯等的位置，(iii)天气数据，和/或(iv)天空穹顶模型数据，例如，包括太阳位置、月亮位置等。
接下来，在框325中，计算机110生成所接收的图像的偏振图。计算机110可以使用常规的计算机视觉技术来生成包括在视野150中的内部190的区域的深度图。
接下来，在框330中，计算机110对任何一个或多个检测到的光源进行分类。计算机110可以被编程为基于偏振图、深度图、从其他车辆接收的数据、地图数据等对包括视野150外部的光源的一个或多个光源进行分类。在框330之后，过程300前进到如图3B所示的框335。
转到图3B，在框335中，计算机110识别并跟踪操作者乘员160。计算机110可以被编程为例如基于所接收的图像数据、计算机110存储器中存储的指定操作者乘员160的位置的数据等来检测操作者乘员160。计算机110可以被编程为通过确定乘员160的头部姿态A1和操作者乘员160的眼睛注视A2来跟踪操作者乘员160。
接下来，在决策框340中，计算机110确定操作者乘员160是否注视用户装置170。计算机110可以被编程为基于分类的光源和光源的3D位置来确定内部190中是否存在用户装置170。另外，在车辆100的内部190中检测到用户装置170时，计算机110可以被编程为基于用户装置170的估计的3D位置、操作者乘员160的头部姿态A1和/或操作者乘员160的眼睛注视A2来确定操作者乘员160是否注视用户装置170。如果计算机110确定操作者乘员160注视着用户装置170，则过程300前进到框345；否则(即，如果在内部190中没有检测到用户装置170或者操作者乘员160没有注视检测到的用户装置170)，则过程300结束，或者替代地返回到框310，尽管图3A至图3B中未示出。
在框345中，计算机110确定用户装置170的媒体输出的类型。例如，计算机110可以被编程为基于偏振图和存储的媒体类型配置文件数据来确定用户装置170播放视频、输出交互式消息、显示导航指令等。
接下来，在框350中，计算机110确定注视用户装置170的频率和/或注视用户装置170的持续时间。计算机110可以被编程为存储多个图像数据，并且基于所接收的图像数据来确定操作者乘员160注视用户装置170的频率和持续时间。
接下来，在决策框355中，计算机110确定操作者乘员160是否被分散注意力。例如，计算机110可以被编程为在以下情况下确定操作者乘员160被分散注意力：(i)操作者160注视用户装置170持续超过时间阈值的持续时间，(ii)操作者160注视用户装置170的频率超过频率阈值，和/或(iii)操作者160观看媒体类型，该媒体类型为指定媒体类型诸如消息传递或视频播放中的一者。如果计算机110确定操作者160被分散注意力，则过程300前进到框360；否则，过程300结束，或者替代地返回到框310。
在框360中，计算机110执行动作。在一个示例中，计算机110可以向车辆100的HMI140输出消息，例如，包括给乘员160的注意道路的指令。另外地或替代地，计算机110可激活车辆100的自主操作模式。另外地或替代地，计算机110可以致动车辆100致动器120以输出声音。另外地或替代地，计算机110可以致动车辆100致动器120以在车辆100座椅和/或车辆100方向盘中产生触觉反馈。在框360之后，过程300结束，或替代地返回到框310，尽管图3A至图3B中未示出。
如本文所讨论的计算装置通常各自包括可由一个或多个计算装置(诸如上文所识别出的那些计算装置)执行并且用于执行上述过程的框或步骤的指令。可根据使用各种编程语言和/或技术创建的计算机程序来编译或解译计算机可执行指令，所述各种编程语言和/或技术单独地或组合地包括但不限于JavaTM、C、C++、Visual Basic、Java Script、Perl、Python、Intercal、HTML等。通常，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令，并且执行这些指令，从而执行包括本文所述的过程中的一个或多个的一个或多个过程。可以使用多种计算机可读介质来存储和传输此类指令和其他数据。计算装置中的文件通常是存储在计算机可读介质(诸如存储介质、随机存取存储器等)上的数据的集合。
计算机可读介质包括参与提供可由计算机读取的数据(例如，指令)的任何介质。此类介质可采用许多形式，其包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他持久性存储器。易失性介质包括动态随机存取存储器(DRAM)，所述动态随机存取存储器通常构成主存储器。计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带、任何其他磁介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、任何其他具有孔图案的物理介质、RAM、PROM、EPROM、闪存、EEPROM、任何其他存储器芯片或盒式磁带、或计算机可以读取的任何其他介质。
关于本文所描述的介质、过程、系统、方法等，应理解，尽管已经将此类过程等的步骤描述为按照某个有序序列发生，但是此类过程可以通过以不同于本文描述的顺序的顺序执行所描述的步骤来实践。还应理解，可同时执行某些步骤，可添加其他步骤，或者可省略本文所述的某些步骤。换句话说，本文对系统和/或过程的描述是为了示出某些实施例的目的而提供，而决不应当被解释为限制所公开的主题。
因此，应理解，包括以上描述和附图以及所附权利要求的本公开意图为说明性的而非限制性的。在阅读了以上描述之后，除了所提供的示例之外的许多实施例和应用对于本领域技术人员而言将是明显的。本发明的范围不应参考以上描述来确定，而应参考所附的和/或基于此包括在非临时专利申请中的权利要求连同此类权利要求所赋予权利的等效物的全部范围来确定。设想并预期未来的发展将在本文讨论的技术中发生，并且所公开的系统和方法将结合到此类未来实施例中。总而言之，应理解，所公开的主题能够进行修改和变化。
根据本发明，提供了一种系统，其具有处理器和存储器，所述存储器存储可由处理器执行以进行以下操作的指令：确定在车辆内部的偏振图像的视野之外的光源的位置；并且在(a)基于所述偏振图像确定所述光源不是车辆照明或外部源以及(b)检测到车辆乘员时，则基于所述光源的确定位置来致动车辆致动器。
根据一个实施例，所述指令还包括用于进行以下操作的指令：除了第一光源的所述确定位置之外，还基于以下各项来致动所述车辆致动器：(i)所述车辆乘员注视所述光源的频率超过频率阈值，(ii)所述光源是否为用户装置，(iii)所述车辆乘员注视所述光源的持续时间超过时间阈值，和(iv)所述车辆乘员控制车辆推进、转向和制动中的至少一者。
根据一个实施例，所述指令还包括用于进行以下操作的指令：基于根据多个接收的偏振图像确定所述用户装置的媒体输出的类型来致动所述车辆致动器，其中媒体的所述类型为视频播放、交互式消息传递和显示的导航指令中的一者。
根据一个实施例，所述指令还包括用于进行以下操作的指令：基于检测到的车辆乘员头部方向、检测到的车辆乘员眼睛注视和所述光源的估计位置来确定所述车辆乘员正在注视所述光源。
根据一个实施例，本发明的特征还在于具有偏振成像装置的相机传感器，其中所述偏振成像装置基于包括偏振轴、亮度和色彩空间的图像属性生成针对每个图像像素的偏振图像数据。
根据一个实施例，本发明的特征还在于用于基于所接收的图像生成去镶嵌图像并基于所述去镶嵌图像生成偏振图的指令。
根据一个实施例，所述外部源为天空穹顶、太阳、月亮、路灯、第二车辆的灯、发光的显示装置和安装到第二车辆的显示器中的一者。
根据一个实施例，所述指令还包括用于进行以下操作的指令：基于偏振图和深度图来对所述光源进行分类，其中基于所接收的偏振图像生成所述深度图；并且基于所述深度图和在所接收的图像内的包括车辆乘员的对象上检测到的所述光源的阴影模式来确定所述光源的三维位置。
根据一个实施例，所述指令还包括用于进行以下操作的指令：基于所接收的图像的偏振图和用户装置的偏振特性来确定所述光源是否为所述用户装置。
根据一个实施例，所述指令还包括用于进行以下操作的指令：基于发送到车辆显示器的包括致动所述车辆照明的定时的致动指令来确定包括在所接收的图像中的偏振光来自用户装置而不是所述车辆照明。
根据一个实施例，所述指令还包括用于进行以下操作的指令：基于天空穹顶模型和从第二计算机接收的包括第二车辆的位置坐标的数据来确定环境源的位置。
根据本发明，一种方法包括：确定在车辆内部的偏振图像的视野之外的光源的位置；并且在(a)基于所述偏振图像确定所述光源不是车辆照明或外部源以及(b)检测到车辆乘员时，则基于所述光源的确定位置来致动车辆致动器。
在本发明的一个方面，所述方法包括：除了第一光源的所述确定位置之外，还基于以下各项来致动所述车辆致动器：(i)所述车辆乘员注视所述光源的频率超过频率阈值，(ii)所述光源是否为用户装置，(iii)所述车辆乘员注视所述光源的持续时间超过时间阈值，和(iv)所述车辆乘员控制车辆推进、转向和制动中的至少一者。
在本发明的一个方面，所述方法包括：基于根据多个接收的偏振图像确定所述用户装置的媒体输出的类型来致动所述车辆致动器，其中媒体的所述类型为视频播放、交互式消息传递和显示的导航指令中的一者。
在本发明的一个方面，所述方法包括：基于检测到的车辆乘员头部方向、检测到的车辆乘员眼睛注视和所述光源的估计位置来确定所述车辆乘员正在注视所述光源。
在本发明的一个方面，所述外部源为天空穹顶、太阳、月亮、路灯、第二车辆的灯、发光的显示装置和安装到第二车辆的显示器中的一者。
在本发明的一个方面，所述方法包括：基于所接收的图像的偏振图和用户装置的偏振特性来确定所述光源是否为所述用户装置，以及基于偏振图和深度图来对所述光源进行分类，其中基于所接收的偏振图像生成所述深度图；并且基于所述深度图和在所接收的图像内的包括车辆乘员的对象上检测到的所述光源的阴影模式来确定所述光源的三维位置。
在本发明的一个方面，所述方法包括：基于发送到车辆显示器的包括致动所述车辆照明的定时的致动指令来确定包括在所接收的图像中的偏振光来自用户装置而不是所述车辆照明。
在本发明的一个方面，所述方法包括：基于天空穹顶模型和从第二计算机接收的包括第二车辆的位置坐标的数据来确定环境源的位置。
根据本发明，提供了一种系统，所述系统具有：用于确定在车辆内部的偏振图像的视野之外的光源的位置的装置；和用于在(a)基于所述偏振图像确定所述光源不是车辆照明或外部源以及(b)检测到车辆乘员时基于所述光源的确定位置来致动车辆致动器的装置。

Claims (14)

1.一种方法，其包括：
确定在车辆内部的偏振图像的视野之外的光源的位置；并且
在(a)基于所述偏振图像确定所述光源不是车辆照明或外部源以及(b)检测到车辆乘员时，则
基于所述光源的确定位置来致动车辆致动器。
2.如权利要求1所述的方法，其还包括除了第一光源的所述确定位置之外，还基于以下各项来致动所述车辆致动器：(i)所述车辆乘员注视所述光源的频率超过频率阈值，(ii)所述光源是否为用户装置，(iii)所述车辆乘员注视所述光源的持续时间超过时间阈值，和(iv)所述车辆乘员控制车辆推进、转向和制动中的至少一者。
3.如权利要求1所述的方法，其还包括基于根据多个接收的偏振图像确定所述用户装置的媒体输出的类型来致动所述车辆致动器，其中媒体的所述类型为视频播放、交互式消息传递和显示的导航指令中的一者。
4.如权利要求1所述的方法，其还包括基于检测到的车辆乘员头部方向、检测到的车辆乘员眼睛注视和所述光源的估计位置来确定所述车辆乘员正在注视所述光源。
5.如权利要求1所述的方法，其中所述外部源为天空穹顶、太阳、月亮、路灯、第二车辆的灯、发光的显示装置和安装到第二车辆的显示器中的一者。
6.如权利要求1所述的方法，其还包括基于偏振图和深度图来对所述光源进行分类，其中基于所接收的偏振图像生成所述深度图；并且基于所述深度图和在所接收的图像内的包括车辆乘员的对象上检测到的所述光源的阴影模式来确定所述光源的三维位置。
7.如权利要求1所述的方法，其还包括基于所接收的图像的偏振图和用户装置的偏振特性来确定所述光源是否为所述用户装置。
8.如权利要求1所述的方法，其还包括基于发送到车辆显示器的包括致动所述车辆照明的定时的致动指令来确定包括在所接收的图像中的偏振光来自用户装置而不是所述车辆照明。
9.如权利要求1所述的方法，其还包括基于天空穹顶模型和从第二计算机接收的包括第二车辆的位置坐标的数据来确定环境源的位置。
10.如权利要求1所述的方法，其还包括基于包括偏振轴、亮度和色彩空间的图像属性在具有偏振成像装置的相机传感器中生成针对每个图像像素的偏振图像数据。
11.如权利要求10所述的方法，其还包括基于所接收的图像生成去镶嵌图像并基于所述去镶嵌图像生成偏振图。
12.一种计算装置，其被编程为执行如权利要求1至11中任一项所述的方法。
13.一种计算机程序产品，其包括计算机可读介质，所述计算机可读介质存储能够由计算机处理器执行的指令，以执行如权利要求1至11中任一项所述的方法。
14.一种系统，其包括：
用于确定在车辆内部的偏振图像的视野之外的光源的位置的装置；和
用于在(a)基于所述偏振图像确定所述光源不是车辆照明或外部源以及(b)检测到车辆乘员时基于所述光源的确定位置来致动车辆致动器的装置。
CN202110075700.7A 2020-01-24 2021-01-20 驾驶员注意力分散检测 Pending CN113173167A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/751,438 US11254316B2 (en) 2020-01-24 2020-01-24 Driver distraction detection
US16/751,438 2020-01-24

Publications (1)

Publication Number Publication Date
CN113173167A true CN113173167A (zh) 2021-07-27

Family

ID=76753736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110075700.7A Pending CN113173167A (zh) 2020-01-24 2021-01-20 驾驶员注意力分散检测

Country Status (3)

Country Link
US (1) US11254316B2 (zh)
CN (1) CN113173167A (zh)
DE (1) DE102021101278A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022061873A (ja) * 2020-10-07 2022-04-19 トヨタ自動車株式会社 車両用エージェント装置、車両用エージェントシステム、及び車両用エージェントプログラム
US11654921B2 (en) * 2020-11-10 2023-05-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for limiting driver distraction
US12014532B2 (en) * 2020-12-03 2024-06-18 Ford Global Technologies, Llc Systems and methods for detecting distracted driving by a driver of a vehicle

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269308B1 (en) * 1998-08-20 2001-07-31 Honda Giken Kogyo Kabushiki Kaisha Safety running system for vehicle
JP4349350B2 (ja) * 2005-09-05 2009-10-21 トヨタ自動車株式会社 顔画像撮影カメラの搭載構造
DE102006008981A1 (de) * 2006-02-23 2007-08-30 Siemens Ag Assistenzsystem zur Unterstützung eines Fahrers
US7675296B2 (en) * 2006-09-11 2010-03-09 Delphi Technologies, Inc. Method and apparatus for detecting the head pose of a vehicle occupant
JP2008195338A (ja) * 2007-02-15 2008-08-28 Mazda Motor Corp 車両用運転支援装置
US8301343B2 (en) * 2007-05-02 2012-10-30 Toyota Jidosha Kabushiki Kaisha Vehicle behavior control device
DE102008011228A1 (de) * 2008-02-26 2009-08-27 Robert Bosch Gmbh Verfahren zur Unterstützung eines Nutzers eines Fahrzeugs, Steuereinrichtung für ein Fahrerassistenzsystem eines Fahrzeugs und Fahrzeug mit einer derartigen Steuereinrichtung
JP4888838B2 (ja) * 2008-05-12 2012-02-29 トヨタ自動車株式会社 運転者撮像装置および運転者撮像方法
CA2761794C (en) * 2009-04-03 2016-06-28 Certusview Technologies, Llc Methods, apparatus, and systems for acquiring and analyzing vehicle data and generating an electronic representation of vehicle operations
JP5436086B2 (ja) * 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法
US20120214463A1 (en) * 2010-11-05 2012-08-23 Smith Michael J Detecting use of a mobile device by a driver of a vehicle, such as an automobile
US20130006674A1 (en) * 2011-06-29 2013-01-03 State Farm Insurance Systems and Methods Using a Mobile Device to Collect Data for Insurance Premiums
WO2013036621A1 (en) * 2011-09-09 2013-03-14 Thales Avionics, Inc. Controlling vehicle entertainment systems responsive to sensed passenger gestures
US8688365B2 (en) * 2012-01-18 2014-04-01 International Business Machines Corporation Method and system for detection of motor vehicle movement to avoid collisions
US10387960B2 (en) * 2012-05-24 2019-08-20 State Farm Mutual Automobile Insurance Company System and method for real-time accident documentation and claim submission
US9493116B2 (en) * 2012-06-22 2016-11-15 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US20140002651A1 (en) * 2012-06-30 2014-01-02 James Plante Vehicle Event Recorder Systems
US9558667B2 (en) * 2012-07-09 2017-01-31 Elwha Llc Systems and methods for cooperative collision detection
US20140047371A1 (en) * 2012-08-10 2014-02-13 Smartdrive Systems Inc. Vehicle Event Playback Apparatus and Methods
US20170279957A1 (en) * 2013-08-23 2017-09-28 Cellepathy Inc. Transportation-related mobile device context inferences
US9361650B2 (en) * 2013-10-18 2016-06-07 State Farm Mutual Automobile Insurance Company Synchronization of vehicle sensor information
US9852355B2 (en) * 2015-04-21 2017-12-26 Thales Avionics, Inc. Facial analysis for vehicle entertainment system metrics
US9834224B2 (en) * 2015-10-15 2017-12-05 International Business Machines Corporation Controlling driving modes of self-driving vehicles
EP3193318B1 (en) 2016-01-18 2019-05-01 Veoneer Sweden AB Driver monitoring system and driver monitoring method for a motor vehicle
JP2018029280A (ja) 2016-08-18 2018-02-22 ソニー株式会社 撮像装置と撮像方法
FR3056154B1 (fr) * 2016-09-20 2019-07-05 Office National D'etudes Et De Recherches Aerospatiales (Onera) Element de vision filtrant formant pare-brise ou retroviseur pour vehicule routier
LU93324B1 (en) 2016-11-25 2018-05-25 Iee Sa Polarimetric Radar System and Method for Detecting and Classifying Vehicle Occupants and Other Objects in a Vehicle Interior
CN107089182B (zh) * 2017-03-23 2019-09-03 京东方科技集团股份有限公司 光线控制系统和交通工具
US20210261050A1 (en) * 2020-02-21 2021-08-26 Cobalt Industries Inc. Real-time contextual vehicle lighting systems and methods
JP7042450B2 (ja) * 2020-03-31 2022-03-28 パナソニックＩｐマネジメント株式会社 車両および車両制御装置

Also Published As

Publication number Publication date
US11254316B2 (en) 2022-02-22
DE102021101278A1 (de) 2021-07-29
US20210229672A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
US11341667B2 (en) Camera systems using filters and exposure times to detect flickering illuminated objects
US12093455B2 (en) Vehicular vision system
CN109484299B (zh) 控制增强现实显示装置的显示的方法、装置、存储介质
CN110168581B (zh) 保持车内乘员的意识
CN113173167A (zh) 驾驶员注意力分散检测
US10279741B2 (en) Display control apparatus, method, recording medium, and vehicle
CN108688554A (zh) 车辆用灯泡
CN110450703A (zh) 图像投影装置和图像投影方法
CN110869901A (zh) 车辆用的用户界面装置和车辆
CN111095078A (zh) 用于控制用于机动车的增强现实平视显示器装置的显示的方法、装置和带有指令的计算机可读的存储介质
US10699457B2 (en) Vehicle display with augmented realty
JPWO2020031915A1 (ja) 車両用表示システム及び車両
US20170001522A1 (en) Display control device, projection device, and non-transitory storage medium
KR102531313B1 (ko) 디스플레이 장치, 그를 가지는 차량 및 그 제어 방법
JP6589774B2 (ja) 車両用表示制御装置及び車両用表示システム
US9495871B2 (en) Display control device, display control method, non-transitory recording medium, and projection device
JP6589775B2 (ja) 車両用表示制御装置及び車両用表示システム
US11908208B2 (en) Interface sharpness distraction mitigation method and system
CN115723571A (zh) 车辆及其控制方法
JP6884639B2 (ja) 視線誘導装置
Husár et al. Comparison of the Principles of Head-Up Display Technologies for the Implementation of Augmented Reality in the Automotive Industry: A Study
JP2021091334A (ja) 表示制御装置
CN118753171A (zh) 车辆控制方法、装置、计算机设备和可读存储介质
CN118849942A (zh) 后视镜系统及后视镜控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination