CN117593813A - 使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的车队中的车辆车队管理的系统和方法 - Google Patents

Abstract

本申请中的系统和方法使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的车队中的车辆车队管理。本文的系统和方法总体上涉及用于增强车队的安全性和提高车队驾驶员的表现的车辆车队管理，并且还涉及使用设置于车辆中的一个或多个面向驾驶员的成像装置来监视车队车辆的操作，用于记录车队驾驶员及其乘客的活动、存储与受监视活动有关的信息、选择性地生成与受监视活动有关的警告、并将受监视活动报告至中央车队管理系统以提高车辆的安全性并有助于提高车队驾驶员的表现。

Description

使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的 车队中的车辆车队管理的系统和方法

本申请是申请号为2018800730458，发明名称为“使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的车队中的车辆车队管理的系统和方法”的发明专利申请的分案申请。

技术领域

本文的实施例通常涉及用于增强车队的安全性并提高车队驾驶员的表现的车辆车队管理。更具体地，特定实施例涉及使用布置在车队车辆中的一个或多个面向驾驶员的成像装置来监视车队车辆的操作，以记录车队驾驶员及其乘客的活动，并将所监视的活动报告给中央车队管理系统，以用于增强车队的车辆的安全性并帮助提高车队驾驶员的表现。

相关申请的交叉引用

本申请与2012年7月12日提交的、申请序列号为14/233,319的、标题为“监视和提高车辆的车队中的驾驶员表现的车辆车队管理系统和方法”的美国申请(代理机构案号：013097-000010)相关，该申请的内容通过引用整体并入本文。

本申请还与xx年xx月xx日提交的、申请序列号为xxx的、标题为“使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的车队中的车辆车队管理的系统和方法”的美国申请(代理机构案号：PXE-BCVS-2017-11-US-01和013097-000034)相关，该申请的内容通过引用整体并入本文。

背景技术

车辆车队管理领域中的现有系统和方法着重于图像捕获系统的特定特征以及图像捕获系统内文件的数据传输。例如，授权至Breslau的专利号为7,671,762的美国专利教导了一种收发车辆数据的系统和方法，该系统和方法涉及将数据从一个车辆传输至另一车辆。具体而言，Breslau涉及车辆识别数据和车辆位置数据的发送和接收，并且包括使用全球定位传感器(GPS)信号和卫星传输。

另一项现有技术公开于授予至Rayner的专利号为6,389,340的美国专利，其中教导了一种电路，该电路在触发事件发生时终止图像捕获，并且其中，系统部件容纳在诸如汽车或卡车的车辆的后视镜内。

授权至Etcheson的专利号为7,804,426的美国专利教导了一种用于事件数据的选择性检查的系统和方法，该系统和方法包括计算机辅助提示的驾驶数据以进行选择性检查，以节省时间。事件数据被连续捕获并发送至数据缓冲文件。当车队管理者等发出请求时，事件数据被发送至事件检测器。

在相关的2012年7月12日提交的、申请序列号为14/233,319的、标题为“监视和提高车辆的车队中的驾驶员表现的车辆车队管理系统和方法”的美国专利申请描述了一种系统和方法，其中，车辆被配置为收集驾驶员和车辆事件数据，选择性地对所收集的驾驶员和车辆事件数据进行压缩和编码，并将所压缩和编码的数据无线传达至一个或多个远程信息处理服务提供商。一台或多台服务器可以定期地轮询该驾驶员事件数据，对其进行处理，然后向终端使用者提供多种方法，使他们可以查看和分析该数据。所描述的系统允许车队管理者来使用通过报告或通知而被接收的、或者直接从基于Web的门户中获取的该驾驶员事件数据，以监视、纠正和/或奖励驾驶员行为，并实施驾驶员教育和培训计划等。

除了上述之外，还已知同时具有前置摄像头和面向驾驶员摄像机的系统。这些系统通常连续地捕获道路的图像和车辆内部的驾驶员的图像，并将图像存储在较大的缓冲器文件中，例如先进先出(FOFO)缓冲器。当车队管理者等发出请求时，将道路和驾驶员图像数据发送至事件检测器。以此方式，可以通过将所录制的车辆操作的视频“倒回”到所选事件发生的适当时间来确定驾驶员在任何所选事件期间的活动。

然而，期望通过监视一种或多种特定行为而不是通过使用总体成像和/或通过使用总体车辆数据收集来更智能地监视驾驶员行为。

还期望的是，优选在发生任何重大事件之前分析一种或多种特定的驾驶员行为，以便在可能的情况下，可以适当地提前警告驾驶员或其他人，例如车队管理人员等。还期望的是，驾驶员可以相对于安全性和其他考虑因子而被进一步分级，以及相对于车辆的车队中的其他驾驶员而被排名，以激励驾驶员表现得更好，从而增强车队的整体安全性并提高整体车队性能。

发明内容

本文的实施例提供了一种新的和改进的系统和方法，其使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的车队中的车辆车队管理。

在本文的实施例中，提供了一种系统和方法，使用面向驾驶员的摄像机以直接根据所检测的由驾驶员正在操作的车辆内的驾驶员头部位置来监视驾驶员行为。提供了一种系统和方法，使用面向驾驶员的摄像机，以用于监视驾驶员对商用车辆镜的使用、用于监视驾驶员对道路的注意力、用于监视驾驶员的头部相对于正确的头部位置、用于监视驾驶员的头部姿势度量、用于监视对面向驾驶员的摄像头收集的图像的任何障碍、以及用于监视驾驶员眼睛关注于道路上并对相关联的车辆的自适应车道偏离警告系统进行调整。根据本文的实施例，可以直接监视这些驾驶员行为以及其他必要和/或期望的行为。

在本文的另外的实施例中，提供了使用面向驾驶员的摄像机的系统和方法，用于间接地根据所检测的由驾驶员正在操作的车辆的内部部件的各方面来监视驾驶员行为。提供了使用面向驾驶员的摄像机的系统和方法，用于监视驾驶员对安全带的正确使用、用于监视驾驶员在方向盘上的正确手部位置、以及用于监视驾驶员关于车辆中未经授权乘客的车队政策的遵守情况。根据本文的实施例，可以直接监视这些驾驶员行为以及其他必要和/或期望的行为。

根据本文的实施例，提供了系统、方法和逻辑，包括各种车辆传感器和面向驾驶员的摄像机，用于确定何时达到或以其他方式满足车辆的一组的一个或多个预定条件，确定驾驶员头部姿势，当达到或以其他方式满足车辆的一组的一个或多个预定条件时，根据驾驶员头部姿势(俯仰、偏转、侧倾等)的平均值来学习或以其他方式训练系统，并确定任意的驾驶员头部姿势从平均值的偏差的产生。

根据本文的实施例，提供了系统、方法和逻辑，包括各种车辆传感器和面向驾驶员的摄像机，用于确定驾驶员头部姿势，基于头部姿势分布和/或头部姿势热量图来学习或以其他方式训练系统，并确定任意的驾驶员头部姿势从头部姿势分布和/或头部姿势热量图平均值的偏差的产生。

根据本文中的实施例，提供了系统、方法和逻辑，包括各种车辆传感器，用于确定何时达到或满足一组有利于确定违规或驾驶员行为不当的一个或多个预定条件，例如车门状态、速度变化、异常的停车位置、可见未授权的乘客等，以及用于响应于车辆的一组的一个或多个预定条件而获得车辆的车厢的图像的面向驾驶员的摄像机。

根据本文的实施例，提供了系统、方法和逻辑，包括各种车辆传感器和面向驾驶员的摄像机，用于基于车辆车厢物品(例如安全带卡扣、空座椅、方向盘、门边缘、镜位置等)的外观的平均值来学习或以其他方式训练系统，并确定任意的从所学习的模板图像或描述的平均的或所学习的操作设置值的变化或偏差的产生。

根据本文的实施例，提供了系统、方法和逻辑，包括各种车辆传感器和面向驾驶员的摄像机，用于确定驾驶员头部姿势矢量，基于驾驶员头部姿势矢量的平均值来学习或以其他方式训练系统，并且在发生从驾驶员注视道路或驾驶员注视镜的持续偏差时根据驾驶员头部姿势矢量选择性地调整适应其他系统值。

根据本文的实施例，系统、方法和逻辑使用多个传感器和面向驾驶员的摄像机来提供多因子认证，以使用驾驶员图像数据与驾驶员的声音打印数据结合在一起来进行驾驶员身份验证，例如通过使用面向驾驶员的摄像机对驾驶员进行成像，根据驾驶员数据库信息和驾驶员图像数据来验证驾驶员的视觉识别，在面向驾驶员的摄像机的领域中，获取发出标准密码短语的驾驶员的声纹数据，以验证驾驶员的声纹身份，要求驾驶员说出自己的名字，生成标准化的比较模板，并将协议记录到车辆中的系统的本地的存储器中。

本文所使用的术语“处理器装置”是指任何微处理器、离散逻辑(例如，ASIC)、模拟电路、数字电路、编程逻辑装置、包含指令的存储器装置等。术语“处理器装置”还指代“逻辑”，它可以包括一个或多个门、门的组合、其他电路组件、硬件、固件、在机器上实施的软件和/或每一个的组合，以执行功能或动作、和/或从另一逻辑、方法和/或系统引发功能或动作，软件控制的微处理器、离散逻辑(例如ASIC)、模拟电路、数字电路、编程逻辑装置、包含指令的存储器装置等。本文所使用的术语“存储器装置”是指参与存储数据和/或向处理器装置提供指令以供实施的任何非瞬态介质。这样的非瞬态介质可以采取多种形式，包括但不限于易失性和非易失性介质。非易失性介质包括例如光盘或磁盘。易失性介质包括例如动态存储器，并且不包括瞬时信号，载波等。计算机可读介质的常见形式包括，例如，软磁盘、软盘、硬盘、磁带或任何其他磁性介质、CD-ROM、任何其他光学介质、打孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他存储芯片或盒式磁带，或者计算机可以从中读取的任何其他有形非瞬态介质。

通过对实施例的以下描述，连同以示例方式示出示例实施例的原理的附图，其他实施例、示例实施例的特征和优点将变得显而易见。

附图说明

在被纳入说明书并构成说明书的一部分的附图中，示出了本发明的实施例，该附图与上面给出的本发明的总体描述以及下面给出的详细描述一起用于示例说明本发明的实施例。

图1是根据示例实施例的车队管理系统和使用者布局的概图。

图2示出了根据一实施例的示例性车队车辆的操作，该车队车辆在队列中操作并且具有驾驶员行为监视系统，该驾驶员行为监视系统具有面向驾驶员的摄像机。

图3是根据示例实施例的具有面向驾驶员的摄像机的驾驶员行为监视系统的数据收集模块部分的示例性实施例的示意图；

图4是示出了根据示例实施例的计算机系统的框图，该计算机系统适合于直接根据所检测的由驾驶员正在操作的车辆内的驾驶员头部位置来监视驾驶员行为、并且间接根据所检测的由驾驶员正在操作的车辆内部部件的各方面来监视驾驶员行为。

图4a是示出了根据示例实施例的具有面向驾驶员的摄像机的驾驶员行为监视系统的可实施逻辑部件的框图。

图5a是示出了根据示例实施例的面向驾驶员的成像器的示意图，其布置在相关联的车辆的挡风玻璃的上部顶部处的固定位置中的相关联的车辆的驾驶室中。

图5b是根据示例实施例形成为面向驾驶员的摄像机的图5a的面向驾驶员的成像器的实施例的示意图。

图6a是由图5b的面向驾驶员的摄像机生成的并在驾驶员行为监视系统的第一校准操作期间获得的校准图像的第一示例。

图6b是由图5b的面向驾驶员的摄像机生成的并在驾驶员行为监视系统的第二校准操作期间获得的第二校准图像的示例。

图7是由图5b的面向驾驶员的摄像机生成的并在相关联的车辆的操作期间由驾驶员行为监视系统获得的图像的示例。

图8是根据示例实施例的流程图，其示出了操作驾驶员行为监视系统的方法，该系统具有面向驾驶员的摄像机，用于实施驾驶员行为监视和报告策略。

图9是根据示例实施例的流程图，其示出了操作驾驶员行为监视系统的方法，该系统具有面向驾驶员的摄像机，用于实施乘客检测、计数、监视和报告策略。

图9a是根据示例实施例的流程图，其示出了操作驾驶员行为监视系统的另一方法，该驾驶员行为监视系统具有面向驾驶员的摄像机，用于实施乘客检测、计数、监视和报告策略。

图10是根据示例实施例的流程图，其示出了操作驾驶员行为监视系统的方法，该驾驶员行为监视系统具有面向驾驶员的摄像机，用于实施安全带使用检测、监视和报告策略。

图10a是根据示例实施例的流程图，其示出了操作驾驶员行为监视系统的方法的一部分的细节，该驾驶员行为监视系统具有面向驾驶员的摄像机，用于实施图10的安全带使用检测、监视和报告策略。

图10b是根据示例实施例的流程图，其示出了操作驾驶员行为监视系统的方法的一部分的另一细节，该驾驶员行为监视系统具有面向驾驶员的摄像机，用于实施图10的安全带使用检测、监视和报告策略。

图11是根据示例实施例的流程图，其示出了操作驾驶员行为监视系统的方法，该驾驶员行为监视系统具有面向驾驶员的摄像机，用于实施方向盘上手的检测、监视和报告策略。

图12是在相关联的车辆的操作期间由图5b的面向驾驶员的摄像机生成的并由驾驶员行为监视系统获得的图像的示例，并且示出了典型的驾驶员将他的手放在方向盘上。

图13是根据示例实施例的流程图，其示出了操作驾驶员行为监视系统的方法，该驾驶员行为监视系统具有面向驾驶员的摄像机，用于实施驾驶员道路注意力检测、监视和报告策略。

图14是根据示例实施例的流程图，其示出了操作驾驶员行为监视系统的方法，该驾驶员行为监视系统具有面向驾驶员的摄像机，用于实施受阻视线检测、监视和报告策略。

图15是根据示例实施例的流程图，其示出了操作驾驶员行为监视系统的方法，该驾驶员行为监视系统具有面向驾驶员的摄像机，用于实施驾驶员头部位置偏离检测、监视和报告策略。

图15a是根据示例实施例的流程图，其示出了操作驾驶员行为监视系统的另一种方法，该驾驶员行为监视系统具有面向驾驶员的摄像机，用于实施驾驶员头部位置偏离检测、监视和报告策略。

图16是根据示例实施例的示意图，其示出了用于确定驾驶员头部姿势矢量的驾驶员头部的特征。

图17是根据示例实施例的流程图，其示出了操作驾驶员行为监视系统的方法，该驾驶员行为监视系统具有面向驾驶员的摄像机，用于检测、监视和报告驾驶员头部姿势分布是否正在显著变化或不可接受，以实施驾驶员道路注意力策略。

图18是根据示例实施例的头部姿势分布图的示例。

图19是示出了一种用于比较驾驶员头部姿势直方图、并且确定和报告驾驶员头部姿势直方图之间的偏差和/或变化的方法的流程图。

图19a是根据示例实施例的一种方法的流程图，该方法用于比较头部姿势统计信息、并且确定和报告驾驶员头部姿势与期望的、情形适当的统计信息之间的偏差。

图20是是根据示例实施例的一种方法的流程图，该方法用于比较头部姿势直方图，并且确定和报告驾驶员头部姿势与期望的、情形适当的直方图之间的偏差。

图21是根据示例实施例的应用于镜使用的界限的示意图。

具体实施方式

在本发明的以下描述中，参考了构成其一部分的附图，并且在示出的附图中，通过示例的方式示出了阐明本发明的原理及其如何实施的示例性实施例。可以利用其他实施例来实施本发明，并且可以在不脱离本发明的范围的情况下可以对其进行结构和功能上的改变。

现在参考附图，其中，这些附图的目的在于说明用于直接地根据所检测的由驾驶员正在操作的车辆内的驾驶员头部位置使用面向驾驶员的摄像机来监视驾驶员行为、间接地根据所检测的由驾驶员正在操作的车辆内部部件的各方面使用面向驾驶员的摄像机来监视驾驶员行为的示例实施例，而不是出于对其进行限制的目的，图1示出了根据示例实施例的车队管理和报告系统100的概图。在本发明的示例实施例中，诸如卡车和汽车的车辆110，尤其是车队车辆112，配置有一个或多个数据收集和报告装置200(图2)，该装置200生成事件数据，例如卡车车队、卡车起步、卡车停止和安全事件数据等示例，其中一个这样的系统包括例如车道偏离警告(LDW)系统322(图3)，该系统322生成指示一个或多个事件和驾驶员的信号以及有关卡车车队、卡车车道徘徊或穿越等示例的车辆事件数据。另外，下面将参照图3更详细地描述由车辆携带或安装在车辆系统中的辅助系统，例如一个或多个摄影机、雷达、变速器、引擎、轮胎压力监视和制动系统，例如可生成其他安全事件数据。也可能涉及生成专有安全事件或代表所检测的安全事件的数据的第三方系统。例如，本发明的实施例可以包括软件代码，该软件代码实施可从Bendix Commercial Vehicle Systems LLC获得的ACB系统，其捕获专有安全事件和与专有安全事件和/或与由一个或多个车辆操作者或驾驶员有关的其他数据。

继续参考图1，在示例实施例中，这些事件和事件数据120通过一个或多个无线网络或无线链路122而选择性地发送至一个或多个服务提供商130的网络服务器132。无线服务提供商130利用收集由卡车112提供的无线数据120的服务器132(为便于说明仅示出了一个)。每个还提供网络服务，使用者可通过该网络服务报告或下载数据。

车队管理和报告系统100的一个或多个服务器140配置为选择性地从收集服务器132下载或检索数据，收集服务器132可以是例如可从例如PeopleNet CommunicationsCorp.或Qualcomm Inc获得的一个或多个各种远程信息处理供应商的第三方服务器。车队管理和报告系统100的一个或多个服务器140被配置为以下面将更详细描述的方式来启动车辆事件和车辆事件数据的处理。可在车队管理和报告系统100的一个或多个服务器140上实施的网络应用142包括动态图形使用者界面，供车队管理者160和管理员162在对其进行处理时查看所有信息。示例实施例的车队管理和报告系统100还包括一个或多个数据库150，其被配置为在一个或多个指定时间间隔内选择性地存储从车队110中的车辆112提供的所有事件信息，包括原始和后处理的行程数据。

根据示例实施例，系统管理员162是被提供以界面的使用者，以配置和管理车队、监视平台性能、查看由平台发布的警报，以及查看原始事件数据和后续处理日志和/或视图。车队管理者160可以查看他们各自的车队的事件信息以进行内部处理。这些事件可以通过可在一个或多个服务器140上实施的网络应用142中的使用者启动报告170或通过电子邮件或其他通知172而到达。车队管理者160可以根据内部策略和过程或出于其他原因而与单独的驾驶员164就性能目标、纠正、报告或指导而相互交互。

因此，示例实施例的车队管理和报告系统100向终端使用者提供了一长串功能和特征。所有设计都以驾驶员为中心，从而车队管理者160可以将注意力集中在驾驶员的教育、培训和性能提高上。系统100的主要有益和新颖的用途之一是易于访问驾驶员特定表现数据，并且能够归一化每个驾驶员的表现以与整个车队的驾驶员进行比较以查明值得赞扬的示例性驾驶员以及需要指导或需要进行其他纠正措施的驾驶员。

图2描绘了根据本公开的在基本队列A中操作的示例性车队车辆的操作，该基本队列A包括与第二车辆或跟随车辆20一起行驶的主车辆或引导车辆10。如所示的，跟随车辆20沿着道路1在有序队列A中靠近引导车辆10行驶。跟随车辆20设有电子控制系统12'，该电子控制系统12'包括数据收集和通信模块部分300'以及监视控制部分400'，其将在下面进行更详细地描述。类似地，引导车辆10还设有等效电子控制系统12，该等效电子控制系统12包括等效数据收集和通信模块部分300以及等效监视控制部分400。在本文所描述的示例实施例中，尽管包括将要描述的各队列的两个或更多个车辆中的每一个都包括相同或等效的电子控制系统12,12'，相同或等效的数据收集和通信模块部分300,300'以及相同或等效的监视控制部分400,400'，但是具有此处将要描述的功能的其他不同的控制系统可以根据需要或期望而等效地使用。

在所示的示例实施例中，各车辆20,10的电子控制系统12,12'被配置为相互之间互相通信传送信号并交换数据，并且还与各种其他通信系统通信传送信号并交换数据，这些其他通信系统包括例如远程无线通信系统250和远程卫星系统260。这些远程系统250,260可以根据需要向车辆10,20提供例如全球定位系统(GPS)数据。可以在车辆和远程系统之间提供或交换其他信息，例如来自远程车队管理设施等的车队管理和控制数据等(未示出)。尽管提供了该功能，但是本文的实施例发现：这种远程通信，尽管有用，但不一定是必不可少的，其中，本文的实施例旨在直接根据所检测的由驾驶员正在操作的车辆内的驾驶员的头部位置来监视驾驶员行为并间接根据所检测的由驾驶员正在操作的车辆内部部件的各方面来监视驾驶员行为，而无需与远程无线通信系统250、远程卫星系统260、远程车队管理设、中央指挥中心(CCC)、网络操作中心(NOC)等进行协商或在其指导下或与之协同工作。

除上述之外，每个车辆10,20的电子控制系统12,12'进行操作以执行各种车辆到(单个)车辆(V2V单播)通信(广播车辆和单个响应车辆之间的通信)，以及各种车辆到(多)车辆(V2V广播)通信(广播车辆与两个或更多个响应车辆之间的通信)，以及各种车辆到基础设施(V2I)通信。优选地，本地V2V单播和V2V广播通信遵循J2945 DSRC通信规范。就这一点而言，根据本文实施例，形成基本队列A的车辆可以在本地彼此通信以用于自动排序和排入队列而无需来自CCC的输入。根据本文实施例，形成基本队列A的车辆还可以在本地与一个或多个其他车辆通信而无需来自CCC的输入以使一个或多个其他车辆进入队列中。形成基本队列A的车辆可以进一步根据必要和/或期望与车队管理设施进行远程通信，根据本文进一步的示例实施例，直接根据所检测的由驾驶员正在操作的车辆内的驾驶员头部位置来监视驾驶员行为、和间接根据所检测的由驾驶员正在操作的车辆内部部件的各方面来监视驾驶员行为。

如上所述，优选地，如本文中将描述的车辆之间的本地V2V单播和V2V广播通信遵循J2945 DSRC通信规范。目前，该规范并未定义一对一的车辆通信。而是，在操作上，每个具有通信能力的车辆通过广播向范围内的每个其他具有通信能力的车辆发送所需的信息，并且接收车辆决定它们是否想要处理接收到的消息。例如，仅需要具有队列能力并且驾驶员已通过开关或使用者界面指示希望加入队列的车辆，该车辆将开始广播并收听队列协议消息。该地区的所有其他车辆可忽略该队列信息。因此，如将在本文中使用的并且为了描述示例实施例的目的，“V2V单播”通信将指广播车辆与单个响应车辆之间的通信，而“V2V广播通信”将指广播车辆和两个或更多个响应车辆之间的通信。应当理解，随着J2945 DSRC通信规范的进一步发展或通过使用现在或以后已知的任何一种或多种其他标准、规范或技术，“V2V单播”通信还指的是一对一的直接车辆通信。

图3是示意性框图，其示出了根据示例实施例的图2的牵引车辆数据收集和通信模块部分300的细节。根据所示的示例实施例的原理，牵引车辆数据收集和通信模块部分300可以适于检测、监视和报告商用车辆的各种操作参数和状况以及驾驶员与之的交互，以及选择性地干预并采取可能需要或期望的纠正措施，例如，以保持车辆稳定性或保持车辆相对于队列内其他车辆的跟随距离。在图3的示例性实施例中，数据收集和通信模块部分300可以包括一个或多个装置或系统314，用于提供指示商用车辆的一个或多个操作参数或一个或多个状况的输入数据。例如，装置314可以是一个或多个传感器，例如但不限于一个或多个车轮速度传感器316，一个或多个加速度传感器、例如多轴加速度传感器317，转向角传感器318，制动压力传感器319，一个或多个车辆负载传感器320，偏转率传感器321，车道偏离警告(LDW)传感器或系统322，一个或多个引擎速度或状况传感器323，和轮胎压力(TPMS)监视系统324。牵引车辆数据收集和通信模块部分300还可以利用示例性实施例中的其他装置或传感器，包括例如前向距离传感器360和后向距离传感器362。其他传感器和/或致动器或动力生成装置或它们的组合也可以被另外使用，并且根据必要性和/或期望，一个或多个装置或传感器可以被组合成单个单元。

牵引车辆数据收集和通信模块部分300还可以包括与一个或多个装置或系统314通信的逻辑运用装置，诸如控制器或处理器330和控制逻辑331。处理器330可以包括一个或多个输入，用于从装置或系统314接收输入数据。处理器330可适于处理输入数据并将原始的或所处理的输入数据与一个或多个存储的阈值进行比较，或处理输入数据并将原始的或所处理的输入数据与一个或多个取决于周围环境的期望值进行比较。处理器330还可包括一个或多个输出，用于基于该比较将控制信号传递至一个或多个车辆系统323。控制信号可以指示系统323干预车辆的操作以启动纠正措施，然后将该纠正措施报告给无线服务(未示出)，或者简单地本地存储用于确定驾驶员素质的数据。例如，处理器330可以生成控制信号并将其发送至引擎电子控制单元或致动装置，以减小引擎节气门334并减慢车辆的速度。此外，处理器330可以将控制信号发送至一个或多个车辆制动系统335,336以选择性地接合制动器。在示例实施例的牵引车-拖车布置中，处理器330可以通过拖车压力控制装置(未示出)而接合于在车辆的拖车部分的一个或多个车轮上的制动器336，以及在车辆12的牵引车部分的一个或多个上车轮上的制动器335，然后将该纠正措施报告给无线服务，或简单地在本地存储用于确定驾驶员素质的数据。各种纠正措施都是可能的，并且可以同时启动多个纠正措施。

控制器300还可以包括用于存储和访问系统信息，例如系统控制逻辑331和控制谐调的存储器部分340。然而，存储器部分340可以与处理器330是分开的。传感器314和处理器330可以是预先存在的系统的一部分或使用预先存在的系统的部件。例如，可以从车辆上安装可从Bendix Commercial Vehicle Systems LLC获得的具有稳定性系统的ABS-6^TM高级防抱死制动控制器。/>系统可以使用图3中描述的一些或全部传感器。/>系统的逻辑部件位于车辆的防抱死制动系统电子控制单元上，该电子控制单元可用于本发明的处理器330。因此，用于支撑本发明的牵引车辆控制器330的许多部件可以存在于配备有/>系统的车辆中，因此，不需要安装其他部件。然而，如果需要，牵引车辆控制器330可以利用独立安装的部件。此外，与ESP系统分开的IMX,6处理器可以实施本文所述的功能。

牵引车辆控制器12的数据收集和通信模块部分300还可包括指示商用车辆的配置/状况的输入数据342的源。处理器330可以基于输入数据来感测或估计车辆的配置/状况，并且可以基于车辆配置/状况来选择控制谐调模式或灵敏度。处理器330可以将从传感器或系统314接收的操作数据与由谐调提供的信息进行比较。系统的谐调可以包括但不限于：车辆的标称重心高度、用于侧翻干预的横向加速度水平的查找图和/或表格、用于偏转控制干预的偏转率与预期偏转率之差的查找图和/或表格、方向盘角度余量、轮胎变化余量以及制动压力率、大小和在纠正措施中要使用的最大值。

车辆配置/状况可以指可能影响车辆稳定性(侧倾和/或偏转)的一组车辆特征。例如，在具有拖曳部分的车辆中，输入数据342的源可以传达拖曳部分的类型。在牵引车-拖车布置中，由牵引车拖曳的拖车的类型可能会影响车辆的稳定性。例如，当拖曳多个(双和三)拖车组合时，这是显而易见的。具有多个拖车组合的车辆在操纵时(即向后放大)可能会表现出向后单元的放大响应。为了补偿向后放大，牵引车辆控制器330可以选择使系统更灵敏的谐调(即，比在单个拖车状况下发生的干预更早地进行干预)。例如，可以特别地定义控制谐调，以针对由特定类型的牵引车拖拉的特定类型的拖车优化数据收集和通信模块的性能。因此，对于同一牵引车拖拉单个拖车，双拖车车组合或三拖车组合的控制谐调可能会有所不同。

商用车辆正在承载的负载的类型以及负载的重心的位置也可能影响车辆的稳定性。例如，移动的负载(例如部分装填隔间的液体槽车和牲畜)可能会影响车辆的转向和侧翻性能。因此，可以选择更灵敏的控制调谐模式来考虑移动负载。此外，当车辆转移重心特别低或特别高的负载时，例如对于某些类型的大型机械或低扁钢条，可以选择分开的控制谐调模式。

另外，控制器300与示例示施例中所示的一个或多个面向驾驶员的成像装置可操作地耦合，以简化和易于说明，作为表示设置在车辆上的一个或多个物理摄影机的单个面向驾驶员的摄像机345，例如设置在车辆的每个角上的摄影机，远程地安装并与控制器330操作性通信的一个或多个摄像机，例如设置在车辆上的前向摄相机(FFC)，使得记录车辆前方的道路的图像，或者如在示例实施例中那样，在驾驶员上训练的和/或在商用车辆的驾驶室内部上训练的商用车辆的驾驶室中。在示例实施例中，根据所检测的由驾驶员正在操作的车辆内的驾驶员头部位置，直接使用面向驾驶员的摄像机345来监视驾驶员行为，其细节将在下面详细说明。在另外的示例实施例中，根据所检测的驾驶员头部姿势，使用面向驾驶员的摄像机345直接监视驾驶员行为。为了便于描述示例实施例，并且为了便于参考，“头部姿势”是描述驾驶员头部方向的一组角度，即，俯仰(驾驶员向下或向上看)，偏转(驾驶员向左或向右看)，然后侧倾(驾驶员将头向左或向右倾斜)。在另外的实施例中，根据所检测的由车辆正在操作的车辆内部的部件的各方面，使用面向驾驶员的摄像机345来间接地监视驾驶员行为，其细节将在下面详述。面向驾驶员的摄像机345可以包括可从Ominivision^TM获得的部件/型号为10635的成像器，但是根据需要或期望可以使用任何其他合适的等效成像器。

更进一步，控制器300还可以包括发射器/接收器(收发器)模块350，例如射频(RF)发射器，其包括一个或多个天线352，用于自动减速请求、GPS数据、各种车辆配置和/或状况数据、或车辆与一个或多个目的地之间的一个或多个等的无线通信，例如，到具有相应接收器和天线的一个或多个无线服务(未显示)。发射器/接收器(收发器)模块350可以包括与队列控制单元可操作地耦合的子部分的各种功能部件，其包括例如通信接收器部分、全球定位传感器(GPS)接收器部分和通信发射器。为了对特定信息和/或数据进行通信，通信接收器和发射器部分也可以包括一个或多个功能和/或操作通信接口部分。

处理器330进行操作为以原始数据形式将获取的数据传达至一个或多个接收器，即无需处理数据，以诸如压缩形式、以加密形式或视需要或期望而两者皆实施的处理形式。就这一点而言，处理器330可以将车辆参数数据值中的所选择的组合成表示较高级别车辆状况数据的处理后的数据，例如，来自多轴加速度传感器317的数据可以与来自转向角传感器318的数据进行组合，以确定过度的弯道速度事件数据。可与车辆和车辆驾驶员相关以及从传感器组合一个或多个所选择的原始数据项而获得的其他混合事件数据包括，例如但不限于，过度的制动事件数据、过度的弯道速度事件数据、车道偏离警告事件数据、过度的车道偏离事件数据、没有转向信号的车道变化事件数据、视频跟踪丢失事件数据、LDW系统禁用事件数据、距离警报事件数据、前向碰撞警告事件数据、触觉警告事件数据、碰撞缓解制动事件数据、ATC事件数据、ESC事件数据、RSC事件数据、ABS事件数据、TPMS事件数据、引擎系统事件数据、平均跟随距离事件数据、平均油耗事件数据和平均ACC使用事件数据。然而，重要的是，并且根据本文描述的示例实施例，控制器300进行操作以将所获取的驾驶员和/或车辆内部的图像数据存储在存储器340中，并选择性地将所获取的驾驶员和车辆内部图像数据通过收发器350而传达至一个或多个接收器。

在所示的示例实施例中，队列的各车辆的牵引车辆控制器12,12'(图2)被配置为相互之间以及在其各自的一个或多个牵引车辆之间相互通信传送信号并交换数据，并且还用于与各种其他通信系统通信传送信号并交换数据，这些其他通信系统包括例如远程无线通信系统和远程卫星系统。这些远程系统可以根据需要向车辆提供例如全球定位系统(GPS)数据。可以在车辆和远程系统之间提供或交换其他信息，例如，可以从远程车队管理设施等(未示出)接收车队管理和控制数据，并且，可以将驾驶员行为数据传输至远程车队管理设施、远程卫星系统、网络操作中心(NOC)、中央指挥中心(CCC)等。

图3的牵引车辆控制器300适合于实施一个或多个软件系统或模块的实施例，所述软件系统或模块根据本申请执行拖车制动策略和拖车制动控制方法。示例牵引车辆控制器22可以包括用于通信传送信息的总线或其他通信机制，以及与总线耦合以用于处理信息的处理器330。该计算机系统包括主存储器340，例如用于存储将由处理器330实施的信息和指令的随机存取存储器(RAM)或其他动态存储装置，以及用于存储处理器330的静态信息和指令的只读存储器(ROM)或其他静态存储装置。还可以适当地提供其他存储装置，以用于根据需要或期望存储信息和指令。

指令可以经由收发器350从另一计算机可读介质(例如，另一存储装置)读取到主存储器340中。对包含在主存储器340中的指令序列进行实施使得处理器330执行本文所述的处理步骤。在替代实施方式中，可以使用硬连线电路代替软件指令或与软件指令结合来实施本发明。因此，示例实施例的实施方式不限于硬件电路和软件的任何特定组合。

根据本文所述，本文所使用的术语“计算机可读介质”是指参与向处理器330提供指令以供实施的任何非瞬态介质。这样的非瞬态介质可以采取许多形式，包括但不限于易失性和非易失性介质。非易失性介质包括例如光盘或磁盘。易失性介质包括例如动态存储器，并且不包括瞬时信号、载波等。计算机可读介质的常见形式包括，例如，软磁盘、软盘、硬盘、磁带或任何其他磁性介质、CD-ROM、任何其他光学介质、打孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他存储芯片或盒式磁带，或者计算机可以从中读取的任何其他有形非瞬态介质。

另外且进一步根据本文所述，如本文相对于附图所使用的，术语“逻辑”包括硬件、固件、在机器上实施的软件和/或每一个的组合，以执行功能或动作、和/或从另一逻辑、方法和/或系统引发功能或动作。逻辑可以包括软件控制的微处理器、离散逻辑(例如ASIC)、模拟电路、数字电路、编程逻辑装置、包含指令的存储器装置等。逻辑可以包括一个或多个门、门的组合、或其他电路组件。

图4是说明驾驶员行为监视计算机系统400的框图，该行为监视计算机系统400适用于根据本申请实施执行驾驶员行为监视和报告分析的一个或多个软件系统或模块的实施例。该示例系统包括总线402或用于通信传送信息的其他通信机制，以及与总线耦合以用于处理信息的处理器404。计算机系统400包括主存储器，例如用于存储将由处理器404实施的信息和指令的随机存取存储器(RAM)406或其他动态存储装置，以及用于存储处理器404的静态信息和指令的只读存储器(ROM)408或其他静态存储装置。逻辑存储装置410还适当地用于存储由处理器实施的指令，以及其他信息，例如包括直接监视的驾驶员的参数的一个或多个校准值，例如正确的驾驶员头部位置，和/或间接监视的驾驶员的参数的一个或多个校准值，例如正确的安全带使用。另外，操作者界面以输入装置414的形式提供，例如键盘或语音识别输入，其包括麦克风和将人类语音转换成计算机命令的逻辑，用于向驾驶员呈现可见信息的人类可读显示器412，以及诸如操纵杆或鼠标之类的光标控件416。

本文所述的示例实施例与计算机系统400的使用有关，该计算机系统400用于访问、汇总、操纵和显示来自一个或多个资源(例如，面向驾驶员的摄像机345)的信息。

根据一种实施方式，响应于处理器404实施主存储器406中包含的一个或多个指令的一个或多个序列，计算机系统400提供来自面向驾驶员的摄像机345的信息。这样的指令可以从另一计算机可读介质(例如逻辑存储装置410)而被读取到主存储器406中。逻辑存储装置410可以存储一个或多个子系统或模块以执行此处所述的直接驾驶员行为监视，和/或一个或多个子系统或模块执行此处所述的间接驾驶员行为监视。对包含在主存储器406中的指令序列的实施使得处理器404执行本文所述的处理步骤。在替代实施方式中，可以使用硬连线电路代替软件指令或与软件指令结合来实施本发明。因此，示例实施例的实施方式不限于硬件电路和软件的任何特定组合。

根据本文所述，本文所使用的术语“计算机可读介质”是指参与向处理器404提供指令以供实施的任何非瞬态介质。这样的非瞬态介质可以采取许多形式，包括但不限于易失性和非易失性介质。非易失性介质包括例如光盘或磁盘。易失性介质包括例如动态存储器，并且不包括瞬时信号、载波等。计算机可读介质的常见形式包括，例如，软磁盘、软盘、硬盘、磁带或任何其他磁性介质、CD-ROM、任何其他光学介质、打孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他存储芯片或盒式磁带，或者计算机可以从中读取的任何其他有形非瞬态介质。

另外且进一步根据本文所述，如本文相对于附图所使用的，术语“逻辑”包括硬件、固件、在机器上实施的软件和/或每一个的组合，以执行功能或动作、和/或从另一逻辑、方法和/或系统引发功能或动作。逻辑可以包括软件控制的微处理器、离散逻辑(例如ASIC)、模拟电路、数字电路、编程逻辑装置、包含指令的存储器装置等。逻辑可以包括一个或多个门、门的组合、或其他电路组件。

驾驶员行为监视计算机系统400包括耦合到总线402的通信接口418，该通信接口418提供耦合到连接到本地网络422的网络链路420的双向数据通信。例如，通信接口418可以是集成服务数字网络(ISDN)卡或调制解调器，以提供到对应类型的电话线的数据通信连接。作为另一示例，通信接口418可以是局域网(LAN)卡，以提供到兼容LAN的数据通信连接。也可以实施无线链路。在任何这样的实施方式中，通信接口418发送和接收电、电磁或光信号，其携带表示各种类型的信息的数字数据流。

网络链路420通常通过一个或多个网络向其他数据装置提供数据通信。例如，网络链路420可以通过本地网络422提供到支持存储内部专有数据的数据库425的主计算机424的连接和/或到由互联网服务提供商(ISP)426操作的数据设备的连接。ISP 426进而通过因特网428提供数据通信服务。本地网络422和因特网428都使用携带数字数据流的电、电磁或光信号。携带往返于驾驶员行为监视计算机系统400的数字数据的通过各种网络的信号以及在网络链路420上并且通过通信接口418的信号，是传输信息的载波的示例性形式。

驾驶员行为监视计算机系统400可以通过网络、网络链接420和通信接口418发送消息并接收数据(包括程序代码)。在互联网连接的示例实施例中，驾驶员行为监视计算机系统400被配置为与多个外部公共、私有、政府或商业服务器(未示出)连接，作为一个或多个无线服务(未示出)，被配置为根据下面将更详细描述的示例实施例来实施网络应用。在所示的示例实施例中，第一服务器430与存储由第一无线服务接收的所选择的数据(例如来自第一远程信息处理供应商的数据)的数据库450耦合，第二第一服务器432与存储由第二无线服务接收的所选择的数据(例如，来自第二远程信息处理供应商的数据)的数据库452耦合，并且第三服务器434与存储所选择的专有数据和用于执行网络应用的可实施代码的数据库454耦合。驾驶员行为监视计算机系统400进行操作，以根据示例实施例通过因特网428、ISP 426、本地网络422和通信接口418选择性地将数据发送到相应的数据库450,452,454，和/或接收从数据库450,452,454推送的所选择的数据，或两者皆实施。所接收的数据在被接收时由处理器404进行处理，和/或存储在存储器装置410或其他非易失性存储器中，以用于以后的处理或数据操纵。

尽管在图4中将驾驶员行为监视计算机系统400连接到一组三(3)个服务器430,432和434，但是本领域技术人员将认识到，驾驶员行为监视计算机系统400可以连接到因特网428上的多个另外的服务器。示例实施例中的每个这样的服务器包括基于HTTP的互联网应用，其可以根据请求以与本实施例一致的方式向驾驶员行为监视计算机系统400提供信息。

出于多种原因，选择性地在防火墙440内的数据库425中定位专有商业数据是有利的，包括在没有大量网络开销的情况下实现快速全面的本地查询。但是，重要的是通过基于所需数据的特征或特定查询的数据要求按计划执行更新或刷新操作来保持数据的准确性。

驾驶员行为监视计算机系统400适当地包括几个子系统或模块，以执行本文所述的直接和/或间接驾驶员行为监视。本申请的主要目的是提供对驾驶员行为的改进的监视，其允许车队管理者等更好地管理其驾驶员操作。就这一点而言，图4a是示出了根据示例实施例的具有面向驾驶员的摄像机的驾驶员行为监视系统的可实施逻辑部件的框图。现在参考该图，根据本文的实施例，处理器可以实施存储在存储装置410(图4)中的逻辑，以执行驾驶员行为监视和报告。存储在存储装置410中的逻辑包括存储在非瞬态存储器装置中的控制逻辑460。该控制逻辑可由处理器实施以处理图像数据，从而确定相关联的车辆的受监视状况的参数的操作值，在相关联的车辆的受监视状况的参数的推荐值范围与相关联的车辆的受监视状况的参数的操作值之间进行比较，并根据相关联的车辆的受监视状态的参数的推荐值范围与操作值之间的比较结果，来确定车辆操作顺应性的状态。系统的处理器可以根据结果选择性地生成结果数据。

存储在存储装置410中的逻辑还包括存储在非瞬态存储器装置中的脸部检测逻辑462。脸部检测逻辑可由处理器实施以处理图像数据，从而定位由成像装置345捕获的图像的一个或多个脸部候选区域，其可能高于存储在系统的非瞬态存储器装置中的预定阈值，以表示相关联的车辆中相应的一个或多个人类脸部，并为一个或多个人类脸部候选区域中的每一个区域生成一组脸部描述符。脸部检测逻辑可进一步操作以处理图像数据，从而确定与针对一个或多个脸部候选区域中的每一个区域的一组脸部描述符相关联的人类脸部的标识。

存储在存储装置410中的逻辑还包括语音检测逻辑464。语音检测逻辑464可由处理器实施，以根据接收到的表示对应于一个或多个脸部候选区域的一个或多个人类乘客的已记录语音的语音数据来识别针对一个或多个脸部候选区域中的每一个区域的一组脸部描述符相关联的人类脸部。

存储在存储装置410中的逻辑还包括嘴部运动逻辑466。嘴部运动逻辑466可由处理器实施，以根据接收到的表示对应于一个或多个脸部候选区域的一个或多个人类乘客的已记录嘴部运动的嘴部运动数据来识别针对一个或多个脸部候选区域中的每一个区域的一组脸部描述符相关联的人类脸部。

存储在存储装置410中的逻辑还包括驾驶员头部检测逻辑468。驾驶员头部检测逻辑468可由处理器实施，以处理图像数据，从而定位/确定由成像装置345捕获的图像的头部候选区域，其可能高于存储在非瞬态存储器装置中的预定阈值，以表示布置在相关联的车辆中的相关联的驾驶员的头部，并且将与由驾驶员头部检测逻辑定位/确定的头部候选区域相对应的图像数据的一部分标记为驾驶员头部图像数据。

存储在存储器装置410中的逻辑还包括驾驶员头部方向逻辑470。驾驶员头部方向逻辑可由处理器实施，以处理驾驶员头部图像数据，从而确定相关联的驾驶员头部的朝向，并生成驾驶员头部朝向数据，驾驶员头部朝向数据表示所确定的相关联的驾驶员的头部的朝向。

存储在存储装置410中的逻辑还包括驾驶员头部位置逻辑472。驾驶员头部位置逻辑可由处理器实施，以处理驾驶员头部图像数据以及车辆几何数据和成像装置位置数据，从而确定驾驶员的头部相对于相关联的车辆的一个或多个控制结构的位置，并生成驾驶员的头部位置数据，驾驶员的头部位置数据表示所确定的相关联的驾驶员的头部相对于相关联的车辆的一个或多个控制结构的位置。

存储在存储装置410中的逻辑进一步包括驾驶员脸部检测逻辑474。驾驶员脸部检测逻辑可由处理器实施，以处理图像数据以及车辆几何数据和成像装置位置数据，从而确定图像数据中的一个或多个前景对象或图像数据中的一个或多个后景对象。所确定的图像数据中的一个或多个前景对象设置在成像装置与图像数据中的一个或多个后景对象之间的相关联的车辆中。驾驶员脸部检测逻辑可由处理器实施，以处理与所确定的图像数据中的一个或多个前景对象相对应的图像数据的一部分，以从图像数据中选择性地确定相关联的车辆的驾驶员的脸部，并生成以下之一：表示选择性确定的相关联的驾驶员的脸部的驾驶员脸部特征数据，或表示驾驶员脸部检测位置逻辑无法从图像数据选择性地确定相关联的车辆的驾驶员的脸部的受阻图像数据。驾驶员脸部检测逻辑还可由处理器实施，以处理驾驶员的头部位置数据和脸部法线矢量，从而从图像数据选择性地确定相关联的车辆的驾驶员的脸部，并生成以下之一：表示选择性确定的相关联的驾驶员的脸部的驾驶员脸部特征数据，或表示驾驶员脸部检测位置逻辑无法从图像数据选择性地确定相关联的车辆的驾驶员的脸部的受阻图像数据。

示例实施例的面向驾驶员的摄像机345优选地是如图5a所示布置在相关联的车辆的挡风玻璃512的上部顶部处的面向驾驶员的摄影机510。在该位置处，面向驾驶员的摄影机(DFC)510最好能够对驾驶员的头部520和驾驶员周围的区域530成像，同时还可以为前向摄相机提供前方道路的有利视野。具有分开的面向驾驶员的摄像机345和前向摄相机346的替代实施例是可行的，在这种情况下，如图所示，最好将前向摄相机(FFC)346放置在所示的挡风玻璃上的高处，而面向驾驶员的摄像机345可以放置在单独的壳体中，并放置在仪表板上的前方或驾驶员侧面，如所示的，在仪表板上较低处或在挡风玻璃上较高处。这些位置通常满足车辆的适用无障碍视野要求。中心视点最适合获得完整的车厢图像。根据本文的实施例，驾驶员头部的一个或多个静止和/或视频图像用于以下面将更详细描述的方式直接监视驾驶员行为，并且相应地，根据本文的实施例，驾驶员周围区域530的一个或多个静止和/或视频图像用于以下面将更详细描述的方式直接监视驾驶员行为。

图5b是示出根据本文的示例实施例的面向驾驶员的摄影机510的视图。如所示的，面向驾驶员的摄影机510包括壳体构件512，该壳体构件512支撑一对第一灯540和第二灯542，该一对第一灯540和第二灯542设置在位于中央的摄相机装置550的相对的侧上。该一对第一灯540和第二灯542优选地是红外(IR)灯，例如IR LED，从而可以照亮驾驶员和车辆中驾驶员周围的区域，以通过摄相机装置550记录驾驶员和驾驶员周围区域的图像，而不会例如通过分散驾驶员注意力或使驾驶员眩目等而在驾驶员的操作期间妨碍到驾驶员。摄像机550优选地朝向驾驶员稍微倾斜，以便有利于靠近透镜中心轴线的有利光学特性，例如更高的分辨率。在该实施例中，透镜水平视场足够宽所以能同时看到驾驶员和乘客。透镜水平视场还足够宽，以在很大程度上看到驾驶员、任何乘客以及车辆的驾驶室内部，包括例如下面将详细描述的车辆镜。

图6a是从面向驾驶员的摄像机345获得的校准图像600，其示出驾驶员610的图像、驾驶员置于其上的驾驶员座椅620的图像、正确佩戴的安全带630的图像、乘客侧视镜640的图像和驾驶员侧视镜650的图像。可以通过对正确置于座椅上、其安全带正确佩戴并且驾驶员头部置于看向正前方道路的方向上的人类驾驶员进行成像来获得校准图像600。在本文的实施例中，校准图像600的一个或多个部分可以用于根据所检测的由车辆正在操作的车辆内的驾驶员头部位置，从而直接使用面向驾驶员的摄像机345监视驾驶员行为，并且用于根据所检测的由车辆正在操作的车辆内部部件的各方面(例如所检测的驾驶员座椅620、安全带630、左侧视镜和右侧视镜640,650以及包括在校准图像600中不存在任何乘客的其他事物等方面)来间接地使用面向驾驶员的摄像机345监视驾驶员行为。根据实施例，可以通过对正确置于座椅上的驾驶员进行成像来获得校准图像600，而车辆以更高的速度行驶，例如超过40mph，在此期间可以收集驾驶员头部姿势数据，从而确定驾驶员的头部设置为“一直向前”。在该实施例中，可以假设驾驶员的头部角度的平均或最常见(模式)对应于该驾驶员的“在道路上直视前方”的值。要注意的是，偏转角度为零时，可以为直视摄像机从而为驾驶员的前视，也可以为直视前方，即(通常)与驾驶员座椅的纵轴一致，因此面向前方和道路。

图6b是从面向驾驶员的摄像机345获得的校准图像602，示出了驾驶员610的图像、驾驶员置于其上的驾驶员座椅620的图像、未正确佩戴的安全带图像630'的图像、乘客侧视镜640的图像和驾驶员侧视镜650的图像。可以通过将人类驾驶员置于座椅上、其安全带未正确佩戴(未系安全带)并且驾驶员头部置于看向正前方道路的方向上来获得校准图像602。在本文的实施例中，校准图像602的一个或多个部分可以用于根据所检测的由车辆正在操作的车辆内的驾驶员头部位置，来直接使用面向驾驶员的摄像机345监视驾驶员行为，并且用于根据所检测的由车辆正在操作的车辆内部部件的各方面(例如所检测的驾驶员座椅620、未正确佩戴的安全带、安全带卡扣632、左侧视镜和右侧视镜640,650以及包括在校准图像602中不存在任何乘客的其他事物等方面)来间接地使用面向驾驶员的摄像机345监视驾驶员行为。

图7是在车辆的操作期间(例如，当车辆正在行驶时)从面向驾驶员的摄像机345获得的图像700的示例，其示出了驾驶员710的图像、驾驶员置于其上的驾驶员座椅720的图像、安全带730的图像，乘客侧视镜740的图像以及驾驶员侧视镜750的图像。根据本文的实施例，在驾驶员驾驶相关联的车辆的同时，图像700被连续地被获得作为视频，并将其作为视频数据存储在存储器中。图像700也可以被连续地获得作为随时间推移拍摄的照片图像序列，并且以预定的间隔(例如，基于车辆在驾驶员驾驶时的速度或其他操作特性来选择)，并作为顺序的照片图像数据存储在存储器装置340中。在本文的实施例中，图像700的一个或多个部分可以用于根据所检测的由车辆正在操作的车辆内的驾驶员头部位置，来直接使用面向驾驶员的摄像机345监视驾驶员行为，并且用于根据所检测的由车辆正在操作的车辆内部部件的各方面(例如所检测的驾驶员座椅720、未正确佩戴的安全带、安全带卡扣732、左侧视镜和右侧视镜740,750以及包括在校准图像700中不存在任何乘客760,762,764的其他事物等方面)来间接地使用面向驾驶员的摄像机345监视驾驶员行为。

如上所述，在本文的实施例中，使用面向驾驶员的摄像机345来提供系统和方法，以直接根据所检测的由驾驶员正在操作的车辆内的驾驶员头部位置来监视驾驶员行为。在各实施例中，受监视的驾驶员行为包括以下一项或多项：

1)驾驶员对驾驶员侧视镜750和/或乘客侧视镜740的正确使用的验证；

2)驾驶员对前方道路的正确注意力的验证；

3)驾驶员没有过分触及超出他的被认为是安全抓握空间的物品，最好是驾驶员能够在不过度移动身体的情况下进行触及操纵的验证；和

4)驾驶员的头部姿势分布度量的验证。

驾驶员对驾驶员侧视镜750和/或乘客侧视镜740的正确使用的验证，驾驶员对前方道路的正确注意力的验证，驾驶员没有过度触及超出他的被认为是安全翼展的物品的验证，和驾驶员的头部姿势分布度量的验证，可以被单独和/或集体报告至相关联的车队管理网络、存储在本地、或远程单独/集体报告和/或本地存储的任何组合。在实施例中，使用驾驶员对前方道路给予的正确注意力的验证，以使车道偏离警告(LDW)系统适应于所确定的驾驶员道路注意力值。

在本文中以及如上所述的进一步的实施例中，使用面向驾驶员的摄像机345来提供系统和方法，以根据所检测的由驾驶员正在操作的车辆内部部件的各方面来间接监视驾驶员行为。在各实施例中，受监视的驾驶员行为包括以下一项或多项：

1)驾驶员对安全带正确使用的验证；

2)驾驶员在方向盘上是否正确放置了手的验证；和

3)驾驶员没有乘客，乘客的正确限制的验证，和/或所检测的乘客是授权乘客的验证。

使用前向摄相机(DFC)来监视和报告驾驶员行为

如上所述，本文提供的示例实施例用于根据所检测的由驾驶员正在操作的车辆内的驾驶员头部来直接使用面向驾驶员的摄像机监视和报告驾驶员行为，以及用于根据所检测的由驾驶员正在操作的车辆内部部件的各方面来间接使用面向驾驶员的摄像机监视和报告驾驶员行为。在直接驾驶员行为监视中，驾驶员和/或驾驶员的头部位于所获得的车辆内部图像中，并且根据图像中驾驶员头部的位置来确定各种驾驶员行为度量的参数。在间接驾驶员行为监视中，车辆的一个或多个部件(例如安全带或方向盘)位于所获得的车辆内部图像中，并且参考根据图像中车辆的一个或多个部件的位置来确定各种驾驶员行为度量的参数。

图8是示出了根据示例实施例来实施驾驶员行为监视和报告策略的方法800的流程图，该方法包括第一组步骤820和第二组步骤830，第一组步骤820用于根据所检测的由车辆正在操作的车辆内部部件的各方面来间接使用面向驾驶员的摄像机监视驾驶员行为，第二组步骤830用于根据所检测的由车辆正在操作的车辆内的驾驶员的头部位置来直接使用面向驾驶员的摄像机监视驾驶员行为。在间接监视驾驶员行为的第一组步骤820中，收集车辆车厢图像数据，然后在步骤822中对其进行分析。在该实施例中，车辆车厢图像数据表示在车辆的操作期间从面向驾驶员的摄像机345获得的图像700(图7)。此后，在步骤824中基于所收集和分析的车厢图像数据来采取一个或多个动作。在所描述的实施例中，间接驾驶员行为监视不依赖于在图像中找到驾驶员头部的定位、位置或姿势，而是从与驾驶员所使用的车辆的部件有关的图像部分中推断驾驶员行为，其中最好按照良好的驾驶员行为使用，例如正确佩戴安全带。

有些类似地，在直接监视驾驶员行为的第二组步骤830中，在步骤832中，与车辆驾驶员图像有关的车辆车厢图像数据的一部分与在步骤822中所收集的车辆车厢图像数据分离。分离的部分可能与驾驶员的头部、驾驶员的座椅、安全带、安全带卡扣、一个或多个乘客或为必要和/或期望而选择进行监视的任何其他项目有关。此后，在步骤834中基于车厢图像数据的车辆驾驶员图像部分采取一个或多个动作。

I.使用DFC来间接监视和报告驾驶员行为

根据本文描述的实施例，可以通过使用面向驾驶员的摄像机来检测和监视由车辆正在操作的车辆内部部件的各方面，然后根据所监视的车辆内部部件的各方面来推断驾驶员行为。间接监视的驾驶员行为被收集并本地存储在车辆中，并且在实施例中，可以被报告至中央车队管理系统。

乘客检测和计数

商用车辆驾驶员在车辆中可能具有一个或多个陪同驾驶员的未授权乘客。商用车辆车队政策通常禁止或限制允许在其车辆中出现的乘客。因此，期望检测车辆中是否存在未授权乘客。还希望检测车辆中有多少乘客。进一步希望识别存在于车辆中的所检测的乘客。

例如，图9所示的示例实施例提供了一种用于检测、计数和识别此类乘客的系统和方法。示例实施例的一个优点是能够通过确保驾驶员遵守车队政策，并正确记录和报告任何违反车队政策的行为来执行车队政策。

在图9所示的方法900的实施例中，车厢图像数据收集部分822'包括步骤902和步骤904，步骤902用于确定车厢图像的时间，步骤904用于收集例如车辆速度数据等的车辆操作数据。在步骤906中，系统的逻辑在车厢图像数据中找到一个或多个脸部，并且进一步对找到的脸部进行计数。在车厢图像数据收集部分822'的步骤908中，执行系统的逻辑以尝试识别在车厢图像数据中找到的一个或多个脸部。

然后，在图9所示的方法900中，动作采取部分824'包括步骤910，用于确定是否可以识别或已经识别出位于车厢图像数据中的任何脸部。如果识别出一个或多个脸部，则方法900在步骤920中存储脸部的识别以及在步骤904中所收集的车辆状态数据。另一方面，如果未识别出任何脸部，则方法900在步骤930中存储所确定的脸部计数以及在步骤904中所收集的车辆状态数据。

进一步地，在实施例的方法900中，脸部的识别、所确定的脸部计数和/或车辆状态数据中的一个或多个被本地存储在车辆处的系统的存储器中或在步骤940中被传输至中央车队管理系统。

根据示例实施例，面向驾驶员的摄像机345使用广角摄像机视野来获得商用车辆的车厢的图像700。然后优选地使该广角图像不失真以去除广角镜头效果。逻辑330检查未失真的车厢图像数据，以首先在图像中定位脸部，然后对所定位的脸部进行计数。诸如Viola-Jones之类的脸部检测算法可用于定位可能是脸部的候选摄像机图像区域。为这些定位的脸部候选摄像机图像区域生成脸部描述符。生成所重叠的和不重叠的所检测的脸部区域的数量，以及相应的脸部描述符。设定脸部相似性的阈值，低于该阈值则认为脸部相同(通过相似的脸部描述符矢量)。类似地，可以将所检测的脸部与先前存储的允许在车辆中的驾驶员和乘客的脸部描述符矢量数据进行比较。被授权的驾驶员和被许可的乘客的脸部描述符矢量数据可以本地存储在驾驶员行为监视系统中，也可以远程存储在与中央车队管理系统的服务器142(图1)相关联的一个或多个数据库中。

由处理器实施的跟踪逻辑可以用于将脸部测量与先前位置相关联，从而允许处理器实施的人员识别逻辑着重于多个区域。所识别的(或未识别的)人员与优选地与人识别同时采样的车辆状态数据一起被传输至一个或多个车队管理服务器142(图1)。这可能在车辆行驶、静止或静态时发生。

将识所别的面脸部与车载数据库进行比较，或者与相似的数据库150(图1)一起传输至中央管理系统142。如果识别出未在车辆中允许注册的人，则首先通过识别该人。如果所识别的一个或多个人是数据库已知的，则由驾驶员行为监视计算机系统执行第一类型的事件处理。但是，如果所识别的一个或多个人是数据库未知的，则由驾驶员行为监视计算机系统执行第二种类型的事件处理。

信息被选择性地传输至车队管理系统，以由车队管理者160(图1)等进行分析。所收集的、分析的和传输的信息可以包括以下一项或多项：车辆中有多少名乘客(即未驾驶)、这些乘客是已知的还是未知的、如果所识别的乘客是未知的可以将脸部描述符发送至相关联的车队管理系统、乘客的性别、一天中的图像采集时间、在收集车厢图像时车辆的位置、乘客快照，和车辆内部/车厢快照可能被认为是必要和/或期望的。还可以通过输入装置414的麦克风(图4)来记录未知的乘客，当确定该乘客正在讲话时，该输入装置可以存在于系统中。

图9a示出了另一种方法950，用于检测车辆中是否存在任何未授权的乘客，车辆中存在多少乘客以及车辆中存在的任何所检测到的乘客的身份。在该实施例中，方法950包括确定何时执行乘客检测以及检测和发送什么的一系列步骤。乘客可见通常可以与乘客门打开和关闭的使用相关联。在该示例中，仅响应于可选触发事件来执行乘客检测，否则不执行。在该实施例中，处于打开的、关闭的、正在打开、正在关闭和半开状态的乘客门的模板图像被用于检测乘客门状态为打开的、关闭的、不确定等。例如，图6a,6b和7示出了超出驾驶员的驾驶员门(与乘客门相似的外观)，处于固定位置处的其边缘由系统根据方法950使用确定它是打开的还是关闭的。

方法950由示例实施例的系统在步骤952开始，其中在步骤954中确定周边情况或触发事件的数量，以推进用于确定是否有乘客在车辆中的方法950。如果在步骤954未检测到任何触发事件，则不执行乘客检测模块。然而，在步骤754检测到任何或多个触发事件的发生将导致乘客检测模块执行。在示例实施例中，触发事件可以包括以下中的一个或多个：车门刚刚(最近)打开，并且车辆最近已经停止；车门刚刚(最近)关闭(此时存储图像)，并且此后车辆开始移动；车辆刚刚开始前进时；当预定的执行时间到达时，例如监视间隔；当在异常位置，例如在高速公路上发生停车并且乘客门打开时。在实施例中，可以使用并且考虑其他触发事件。黑匣子类型的数据存储方案可以用于在门打开之前或在门关闭之后恢复合适的乘客图像。合适性可以通过在将要出现乘客的位置中找到正面朝向挡风玻璃的脸部来确定。

当发生这种情况时，在步骤956中使用上述实施例的面向驾驶员的摄像机345制作车厢的图像。该图像中的所有脸部在步骤958中通过系统的逻辑定位。在步骤960中为这些脸部生成脸部描述符。在步骤962中，将描述符与车载数据库340(图3)和/或车外数据库450,452,454(图4)中的一个或多个进行比较，并根据比较结果标记每个人类脸部表示为“已知”或“未知”，或者标记为“允许”或“不允许”。根据需要或期望，可以使用任何其他合适的标记。

在步骤964中收集并存储车辆状态信息，然后在步骤966中将乘客检测状态报告存储和/或发送至中央数据库。该报告包含一个或多个以下信息：车辆中有多少人、其身份(也可能具有未知的John或Jane Doe状态)、车厢图像、车辆位置、车辆速度、车门状态(可能为多个)、前向视图、音频记录(如果从麦克风或嘴唇运动信号中检测到语音)。

提供了一种用于在相关联的车辆由相关联的驾驶员的操作期间监视相关联的车辆的许可的乘员状况的系统。该系统包括设置在相关联的车辆中的成像装置、控制装置、脸部检测逻辑和控制逻辑。成像装置捕获设置在相关联的车辆中的相关联的驾驶员的图像。成像装置还捕获相关联的车辆的内部的图像，并生成表示所捕获的设置在相关联的车辆中的相关联的驾驶员的图像和相关联的车辆内部的图像的图像数据。控制装置包括处理器、可操作地与处理器耦合的图像数据输入，以及可操作地与处理器耦合的非瞬态存储器装置。图像数据输入被配置为从成像装置接收图像数据。脸部检测逻辑存储在非瞬态存储器装置中，并且可由处理器实施以处理图像数据，从而定位由成像装置捕获的图像的一个或多个脸部候选区域，其可能高于存储在非瞬态存储器装置中的预定阈值以表示相关联的车辆中相应的一个或多个人类脸部。脸部检测逻辑还可以由处理器实施以为一个或多个脸部候选区域中的每一个区域生成一组脸部描述符。所存储的控制逻辑也存储在非瞬态存储器装置中，并且可由处理器实施以基于针对一个或多个脸部候选区域中的每一个区域的一组脸部描述符来确定车辆乘员数作为相关联的车辆的所监视的许可乘员状况的乘员数量参数的操作值。车辆乘员计数可以本地存储在车辆的存储器中和/或传输至中央车队管理系统。

校准安全带使用情况检测系统

太多的驾驶员未能常规佩戴安全带，从而损害了自身的人身安全。但是，对于商用车辆驾驶员，不佩戴安全带还可能违反车队政策。

因此，期望在车辆操作期间检测驾驶员是否正确地佩戴了她/他的安全带。就这一点而言，如下所述来提供安全带使用检测系统、方法和设备。

摄像机在商用车辆中变得越来越普遍，用于在数字“回路”中记录车辆行驶时前方道路的视频。该视频可用于事故重现目的，以及在出现任何机械或其他问题时用于纪念车辆和驾驶员的最新活动。面向驾驶员的摄像机也已用于根据需要不时对驾驶员进行成像，例如，每当车辆启动时对驾驶员进行成像，以便随后可以确定控制车辆的人的身份。

在本文的其他实施例中，提供了基于摄相机的系统、方法和设备以检测安全带是否被佩戴。图10,10a和10b示出了用于检测安全带是否被佩戴的方法的示例实施例。在面向驾驶员的摄像机345拍摄的图像700(图7)中寻找安全带的预期特征。这些特征可以包括从图像700的预定部分内的起点或区域发出的线。替代地或另外地，这些特征可以包括在一定角度范围内的图像中的线。替代地或另外地，这些特征可以包括图像中的线，在这些线之间具有一定范围的颜色，而没有间断，或者如果存在间断，则线在不连续点附近接近且彼此平行地终止。

图10是示出了操作驾驶员行为监视系统的方法的流程图，该驾驶员行为监视系统具有用于实施根据示例实施例的安全带使用检测、监视和报告策略的面向驾驶员的摄像机。现在参考该图，在实施例的方法1000中，车厢图像数据收集部分822'包括步骤1012和步骤1014，在步骤1012中确定车厢图像的时间，并且在步骤1014中收集车辆操作数据，例如车辆速度数据等。在步骤1016中，系统的逻辑在车厢图像数据中找到安全带原点，并且在步骤1018中确定安全带的位置。

然后，在图10所示的方法1000中，动作采取部分824'包括步骤1010，步骤1010用于确定驾驶员的安全带是否正确佩戴。如果驾驶员的安全带已正确佩戴，则方法1000在步骤1020中存储“ON”标识或“ON”安全带状态数据。根据必要性和/或期望，“ON”标识或“ON”安全带状态数据可以与在步骤1014中所收集的车厢图像一起存储。另一方面，如果驾驶员的安全带未正确佩戴，则方法1000在步骤1030中存储“OFF”标识或“OFF”安全带状态数据。与上面的“ON”标识相似，根据必要性和/或期望，“OFF”标识或“OFF”安全带状态数据可以与在步骤1014中所收集的车厢图像一起存储。

此外，在实施例的方法1000中，“ON”标识或“ON”安全带状态数据，“OFF”标识或“OFF”安全带状态数据和/或在步骤1014中所收集的车厢图像中的一个或多个被本地存储在车辆系统的存储器中，或者在步骤1040中被传输至中央车队管理系统。

图10a是示出了根据示例实施例来操作驾驶员行为监视系统的方法的一部分的细节的流程图，该驾驶员行为监视系统具有用于实施图10的安全带使用检测、监视和报告策略的面向驾驶员的摄像机。现在参考该图，在步骤1050中，从系统的本地存储器中检索正确佩戴安全带的驾驶员610的校准图像600(图6a)。可以在要求驾驶员首先不系安全带，然后在第二步骤中系安全带的初始步骤中获得校准图像。可替代地，在步骤1050中从本地存储器中检索正确佩戴安全带630的通用模型。在步骤1052中，将在步骤1014(图10)中获得的车厢图像与校准图像600和/或与正确佩戴安全带630的通用模型进行比较。

在步骤1054中，系统确定在步骤1014中获得的车厢图像中是否“看见”了安全带或以其他方式检测到了安全带。如果在步骤1054中看到了安全带，则系统在步骤1056中得出结论，驾驶员确实正确佩戴了安全带。此后，该方法流程返回到根据实施例的操作驾驶员行为监视系统的方法的动作采取部分824'(图10)。但是，如果在步骤1054中没有看到安全带，则在步骤1058中进行第二次检查，以检查驾驶员身体覆盖物(头部下方)的明暗。如果该区域较暗，则驾驶员可能穿着深色衣服，可能看不到安全带。如果驾驶员穿着深色衣服，则不能做出关于他是否正确使用安全带的判断，并且系统在步骤1060中得出结论：驾驶员正确地佩戴了安全带。如果检测到明亮的衣服，并且没有看到安全带，则系统在步骤1060中得出结论：驾驶员没有正确地佩戴安全带。此后，该方法流程返回到根据该实施例的操作驾驶员行为监视系统的方法的动作采取部分824'(图10)。

图10b是根据示例实施例的流程图，其示出了操作驾驶员行为监视系统的方法的一部分的更多细节，该驾驶员行为监视系统具有用于实施图10的安全带使用检测、监视和报告策略的面向驾驶员的摄像机。现在参考该图，在步骤1070中，从系统的本地存储器中检索驾驶员610未正确佩戴安全带的校准图像602(图6b)。可替代地，在步骤1070中从本地存储器中检索未正确佩戴安全带的通用模型630'。在步骤1072中，将在步骤1014(图10)中获得的车厢图像与校准图像602和/或与正确佩戴安全带630’的通用模型进行比较。

在步骤1074中，系统确定在步骤1014中获得的车厢图像中是否“看到”了未扣合安全带的卡扣631'或以其他方式检测到了未扣合安全带的卡扣631'。如果在步骤1074中未看到未扣合安全带的卡扣631'，则系统在步骤1076中得出结论：驾驶员正穿着夹克等。此后，该方法流程返回到根据实施例的操作驾驶员行为监视系统的方法的动作采取部分824'(图10)。然而，如果在步骤1014中获得的车厢图像中在步骤1074中“看到”了或以其他方式检测到了未扣合安全带的卡扣631'，则系统在步骤1078中得出结论：驾驶员没有穿着夹克。此后，该方法流程返回到根据实施例的操作驾驶员行为监视系统的方法的动作采取部分824'(图10)。

在一实施例中，获取或建立安全带外观的校准图像或模型。匹配的安全带卡扣型号可以应用于可能看到安全带卡扣的地方。也就是说，在驾驶员肩部上方安全带的起点附近不应该看得到卡扣632(图6b)。在检测到驾驶员未佩戴安全带时，可能会发出或以其它方式开始警告或其他动作或功能。

面向驾驶员的摄像机345在车辆的操作期间获取图像700(图7)，这样摄像机可以看到或知道安全带的原点/区域，这可用于检测是否佩戴了安全带。图7示出了使用者佩戴了她的安全带。这些摄像机可以看见安全带的原点以及是否佩戴了安全带。该示例实施例有利地利用了安全带的原点的知识以及佩戴安全带630的驾驶员610的校准图像600(图6a)或安全带外观(角度、宽度、原始位置、端部位置)的通用模型，以检测适当宽度范围内的平行线，并在预期的位置起始和终止。如果没有看到安全带，则示例实施例的方法被配置为确定驾驶员的夹克是否是较暗的，从而例如使较暗的安全带不可见。在这种情况下，该方法首先尝试提高线检测灵敏度，但由于怀疑分析的好处，该方法没有声明驾驶员正佩戴安全带。如果穿着较亮的上装并且没有检测到较暗的(相对于较亮的上装而言是较暗的)安全带，则该实施例的方法生成信号：穿着较亮的上装，未检测到安全带，以存储在本地存储器中，和/或传输至中央车队管理系统。

应当理解的是，与旁边或后面的对象形成对比，安全带可以看到为不同颜色(形成鲜明对比的)的带状区域。如果安全带被人的围巾或脸部遮挡，则前边缘线可能仍然可见，并继续向上以重新连接到“双侧的”部分。即使当安全带被驾驶员的衣服或类似物品的全部范围遮挡时，端部仍将是可见的，并且将继续并大致“指向”彼此。还应注意，如果安全带已扣合，则在(图中)左侧/无人的当前位置的前面。因此，系统期望安全带正确佩戴后的图像看起来像：(平行/单/也许部分地或完全地被遮盖的)线，以近似的方向延伸，在两个已知点(区域)之间以及图像的特定部分内。该系统进一步期望看到安全带佩戴于使用者身后时的可见部分的外观。就这一点而言，根据本文的实施例，可以使用例如Kirsch或其他等效的边缘过滤器等来有利地检测安全带的对角边缘。

根据本文的实施例，该系统不会被穿着“安全带T恤衫”(带有对角深色条纹图形的衬衫，似乎为佩戴着安全带)的驾驶员欺骗或以其他方式诱骗而确定为良好的安全带使用行为。在该实施例中，系统检查车厢图像中从安全带上锚点发出的一组几乎平行的边缘。在另一实施例中，系统检查车厢图像中是否有超出驾驶员似乎正在佩戴的“安全带”(错误打印的安全带)的线。即使使用者将安全带扣合在自己身后，系统也会观察到或以其他方式检测到实际的物理安全带和印在T恤衫上的假安全带图案之间的间断。通过查找此简断，系统能够检测到使用者驾驶员未正确使用安全带。

使用原点(或范围)的知识，以及佩戴安全带630的驾驶员610的校准图像600(图6a)，或图像中的安全带外观(角度、宽度、原点、端部)的通用模型，也没有使用者在场的情况下，系统被配置为检测适当宽度范围内的平行线，并在期望的地方起始和终止。如果没有看到安全带，系统会检查驾驶员的夹克是否较暗(例如，使较暗的安全带不可见)，在这种情况下，它首先尝试提高线检测灵敏度，但由于怀疑分析的好处，该系统没有声明驾驶员正佩戴安全带。如果穿着较亮的上装并且没有检测到安全带，则该系统发出信号。

替代地，如果安全带未佩戴且未扣合，则系统可检测到(通常是发亮的，因此可能是较亮的和形成鲜明对比的)安全带的可能可见的卡扣。摄像机可以从已知的几何安装值中获得，也可以在校准步骤中(仅发出信号指示皮带原点所在的位置)，知道/得知在哪里可以看到卡扣。如果安全带可能没有被佩戴，则系统可以切换到该第二模式并且检测在例如图6b中所示的原点处的(未扣合的)卡扣632的存在。此外，原点通常是固定的或符合图像中线性位置集合。在一实施例中，在图像的校准图像602(图6b)中定义了固定的补丁(patch)，其中未佩戴的安全带卡扣631'必须出现，并且系统可以在那里搜索卡扣。如果在此固定的补丁区域中找到安全带卡扣，则系统得出结论：驾驶员未佩戴安全带。等效地，对于每个驾驶员，对应于正确佩戴卡扣631(图6a)出现的位置存在图像的固定的补丁。此种正确扣合和未扣合的图像出现的匹配模板集可以被存储并且由系统与实际图像进行比较。存储的集中的图像与对应于卡扣可能在何处的DFC图像补丁之间的充分对应导致该实施例的系统得出驾驶员是否佩戴她的安全带的结论。

提供了一种用于在有驾驶员操作相关联的车辆期间监视驾驶员对安全带的使用的系统。该系统包括成像装置、非瞬态存储器装置，该非瞬态存储器装置存储安全模型数据，该安全模型数据包括：由相关联的车辆的相关联的驾驶员状况所佩戴的受监视安全带的安全带使用参数的推荐值范围，存储在非瞬态存储器装置中的控制逻辑，以及输出。成像装置捕获相关联的车辆内部的图像以及置于相关联的车辆中的相关联的驾驶员的图像，并且生成表示所捕获的相关联的驾驶员和相关联的车辆内部的图像的图像数据。处理器可实施控制逻辑，以处理图像数据，从而确定相关联的车辆的受监视安全带佩戴状况的安全带使用参数的操作值，在相关联的车辆的受监视安全带佩戴状况的安全带使用参数的推荐值范围和相关联的车辆的受监视安全带佩戴状况的安全带使用参数的操作值之间进行比较，并且根据比较结果而将车辆操作符合性的状态确定为安全带不符合状态或安全带符合状态。

在一实施例中，非瞬态存储器装置将佩戴安全带的驾驶员的校准图像存储为安全模型数据，其具有相对于相关联的车辆内部的图像的原点，安全模型数据包括相关联的车辆的受监视安全带佩戴状况的安全带使用参数的推荐值范围。同样在该实施例中，存储在非瞬态存储器装置中的控制逻辑可由处理器实施以处理图像数据，从而基于具有原点的校准图像来确定安全带在图像数据中的处置(disposition)，作为相关联的车辆的受监视安全带佩戴状况的安全带使用参数的操作值。

在另一实施例中，非瞬态存储器装置存储已扣合安全带的物理外观的通用模型作为安全模型数据，该安全模型数据包括相关联的车辆的受监视安全带佩戴状况的安全带使用参数的推荐值范围。同样在实施例中，存储在非瞬态存储器装置中的控制逻辑可由处理器实施以处理图像数据，从而基于已扣合安全带的物理外观的通用模型来确定安全带在图像数据中的处置，作为相关联的车辆的受监视安全带佩戴状况的安全带使用参数的操作值。

示例实施例的系统区分未使用安全带的类型。这些类型可能包括，例如，扣合在驾驶员(或乘客)的背后，穿着“我正在佩戴安全带”上层外衣，或根本未佩戴安全带。与未佩戴的类型有关的数据与在车辆中的未佩戴人员的照片一起被本地存储和/或传输至中央车队管理服务器。

检测驾驶员的手在方向盘上

太多的车辆操作者在驾驶时未能常规正确地将手放在方向盘上，从而损害了他们自身的人身安全并有损坏车辆的危险。但是，对于商用车辆驾驶员而言，不正确、不一致或松懈的方向盘手部放置还可能违反车队政策。

因此，期望在车辆操作期间检测驾驶员是否正确地将手放在方向盘上。就这一点而言，如下描述了驾驶员手部在方向盘上检测系统、方法和设备。

图11是示出了根据示例实施例的操作驾驶员行为监视系统的方法的流程图，该驾驶员行为监视系统具有用于实施手部在方向盘上检测、监视和报告策略的面向驾驶员的摄像机。

现在参考该图，在实施例的方法1100中，车厢图像数据收集部分822'包括步骤1102和步骤1104，步骤1102用于确定车厢图像的时间，步骤1104用于收集例如车辆速度数据等车辆操作数据。在步骤1106中，系统的逻辑在车厢图像数据中找到方向盘形状，并且进一步地搜索针对在步骤1108中不可见的方向盘的较短部分(大约手宽尺寸)的车厢图像数据。

然后，在图11所示的方法1100中，动作获取部分824'包括步骤1110，步骤1110用于确定驾驶员的手是否正确地放置在方向盘上指定的正确位置处。如果驾驶员的手正确地放置在方向盘上指定的正确位置处，则方法1100在步骤1120中存储“Hands ON”标识或“HandsON”方向盘状态数据。“ON”标识或“ON”方向盘状态数据可以根据必要和/或期望而与在步骤1104中所收集的车厢图像一起存储。另一方面，如果驾驶员的手没有正确地放置在方向盘上或者虽然放置在方向盘上但没有放置在方向盘上指定的正确位置处，则方法1100在步骤1130中存储“Hands OFF”标识或“OFF”方向盘状态数据。类似于上面的“Hands ON”标识，“Hands OFF”标识或“Hands OFF”方向盘状态数据可以根据必要和/或期望而与在步骤1104中所收集的车厢图像一起存储。

另外，在实施例的方法1100中，“Hands ON”标识或“Hands ON”方向盘状态数据，“Hands OFF”标识或“Hands OFF”方向盘状态数据，和/或者在步骤1104中所收集的车厢图像中的一个或多个被本地存储在车辆处的系统的存储器中，或者在步骤1140中被传输志中央车队管理系统。

图12是在相关联的车辆的操作期间由图5b的面向驾驶员的摄像机生成并由驾驶员行为监视系统获得的图像的示例，并且示出了典型的驾驶员将他的手放在方向盘上。官方建议是将驾驶员1210的左手1222放在方向盘的9点和10点之间，将右手1220放在方向盘的2点和3点之间，其在图12的图像1202中可见。考虑到如果发生碰撞时膨胀的安全气囊的形状，建议采用较宽的间距。在该实施例中，系统试图在由面向驾驶员的摄像机345获得的图像中找到驾驶员的方向盘手部位置。系统将未将人的手部放在建议的位置，或者根本没有将两只手放在方向盘上或没有按要求的频次出现标记为车队策略违规行为，其存储在本地存储器中和/或传输至中央车队管理系统。

该实施例利用了商用车辆中方向盘的物理性质，该方向盘几乎总是圆形的。即使在倾斜的视图中查看，圆形图像也很容易在图像中检测到。面向驾驶员的摄像机345通常会看到驾驶员和方向盘(如果不是整个方向盘，也是很大一部分)，它们呈椭圆形。霍夫变换(Hough Transform)用于对来自面向驾驶员的摄像机345的边缘图像进行椭圆检测(考虑了镜头畸变之后)。仅仅原始图像中的边缘点需要不失真，从而节省了计算时间。霍夫变换返回图像中(椭圆形，未失真的图像)方向盘所在的位置。这些边缘像素在图像中标记为与方向盘相对应。如果未遮挡方向盘的图像，则图像中与方向盘看不见的部分有关的像素也可能标记有标记，该标记表示与方向盘在图像中的位置有关的信息。即使在图像中仅方向盘的一部分可见，图像中也提供了整个方向盘的外观模型。如图12所示，驾驶员的手和手臂可以遮挡该图像的一部分。

在一实施例中，可以限制或减小由面向驾驶员的摄像机345搜索的这些边缘点所获得的图像的区域，从而节省处理时间并提高准确性。图像搜索区域的缩小可以在很大程度上基于对摄像机的光学和机械方面以及其物理安装几何形状的了解，或者在确定卡车驾驶室重要特征时的初始校准步骤中进行。为了帮助加快对图像中项目的搜索，在该实施例中，针对要检查的图像的部分以及在要检查的图像的缩小部分中必须存在或预期存在何种或哪些边缘方向(例如，系统不希望方向盘1230顶部有竖直边缘，这是从驾驶员的视角看的；在图像中，方向盘边缘实际上近似竖直)两方面，面向驾驶员的摄像机345图像边缘搜索受到限制。

优选地，霍夫变换在从面向驾驶员的摄像机345所获得的未失真边缘图像上运行以检测椭圆。由于已知方向盘的大致位置/外观，因此可以根据必要性或期望而使用较高边缘灵敏度，因为只有一个椭圆，并且椭圆在有限的尺寸范围内。霍夫变换的一种替代方法是存储方向盘的模板图像，并将其与DFC看到的图像进行比较。这些图像的方向盘部分可以在初始校准步骤中由霍夫变换识别，然后存储，之后执行模板匹配以在图像中定位方向盘，无需再次执行霍夫变换。

]因此，该实施例使用可能的方向盘位置(如果可调节的话，多个位置)的了解以及霍夫变换椭圆检测，将方向盘1230定位在车辆驾驶室的面向驾驶员的摄像机图像1202中。对所检测的椭圆1232的轮廓进行检查以寻找缺失部分1240,1242，其指示驾驶员的手部1220,1222分别在方向盘上的位置。即，不能直接检测到手部，而是将方向盘的看不见的部分作为手部的位置。

例如，在图12中可以看到，右驾驶员的手部1220在1240处阻断方向盘的视线，但是在其两侧都可以看到方向盘1230。方向盘1230的看不见的边缘像素被标记，尤其是在右侧和顶侧，因此系统确定驾驶员的右手1220在哪里。左手1222是顶部方向盘部分在所示视图中向左看时在1242处不再可见的。根据该实施例，也可以使用方向盘的颜色知识来帮助在图像1202中定位方向盘1230。

另外，该实施例的系统可以实施逻辑，以追踪驾驶员相对于方向盘的手部运动。例如，系统可以寻找相对于方向盘的主动手部运动(即，手部在方向盘上的位置改变)，其可以用作细心驾驶员的代表，并由系统记录为与安全相关的正面事件。方向盘上手部的位置不变的情况可用于警告驾驶员，或由系统记录为与安全性相关的负面事件。

在一实施例中，如果方向盘是可调节的，一个或多个存储的模板图像用于确定方向盘在图像中的位置。当由面向驾驶员的摄像机获得时，将一个或多个存储的模板图像与方向盘1230的图像进行比较。最佳匹配的模板图像可有效定位图像中的方向盘。此后，执行上述“可见间隙”方向盘确定，以将驾驶员的手部1220,1222在方向盘1230上的位置定位在方向盘图像1232中所确定的间隙的位置1240,1242处。

除上述之外，实施例的系统可以选择性地将图像中的椭圆形出现的方向盘重新映射为圆形。该重新映射对应于将方向盘重新投影为完全圆形的外观。驾驶员的手部1220,1222遮挡的方向盘的部分1240,1242也通过相同的重新映射被选择性地变换，并且从这些重新映射的手部的位置可以确定驾驶员的角度手部间距。良好的驾驶员行为建议驾驶员的角度驾驶员手部间距在大约180度到大约120度之间。驾驶员在方向盘上的手部位置间距可用于警示驾驶员，或由系统记录为与安全相关的正面或负面事件。

可以检测、标记、警告、提醒和/或测量车队管理或其他政策违反行为，例如：方向盘上手部的数量、手部的位置、驾驶员握住方向盘的时间百分比等。手部位置的变化可以用作驾驶员疲劳的代表。

II.使用面向驾驶员的摄像机来间接监视和报告驾驶员行为

根据本文描述的实施例，可以通过使用在车辆正在被操作时在驾驶员上训练的成像装置来直接监视驾驶员行为。在实施例中，所监视的驾驶员行为被收集并本地存储在车辆中，并且可以被报告至中央车队管理系统。

驾驶员的道路注意力检测

太多的驾驶员未能正确注意前方的道路。由于在驾驶过程中要执行各种任务，例如，检查仪表板上的仪表，使用车辆的侧视镜来检查其他交通状况，操作收音机或车辆驾驶室上或内的其他小工具等，驾驶员的眼睛经常会从道路朝向上偏离。这意味着驾驶员的眼睛因此其注意力不一定总是其应该有的注意力；尤其是当驾驶员长时间或长时段将眼睛从道路上移开时，或随着时间的流逝经常将注意力从道路上移开时，即在道路上具有不利地影响车辆安全操作的趋势。

因此，期望在驾驶车辆时检测驾驶员是否正在正确注意前方的道路。就这一点而言，如下描述了驾驶员道路注意力检测系统、方法和设备。

根据一实施例，总体上，驾驶员行为监视系统的面向驾驶员的摄像机345用于检测驾驶员的头部朝向的方向，并且该系统将所检测到的方向与面向驾驶员的摄像机相对于车辆车厢结构的位置相关联，以确定驾驶员的朝向是否可以正确看到道路。面向驾驶员的摄像机和车辆车厢结构之间的相对位置可以根据必要和/或期望而基于一个或多个校准图像。该实施例的系统、方法和设备可操作以用于当驾驶员的朝向无法正确看到道路时便将信号传输至相关联的中央车队管理系统。替代地和/或另外，该实施例的系统、方法和设备可操作以用于当驾驶员的朝向可以正确看到道路时便将表示驾驶员注意力不集中的数据存储到本地存储装置中。当车辆从道路上脱线、车辆正在被维修、驾驶员请求下载等时，可以下载本地存储的驾驶员注意力不集中数据。

实施例的系统、方法和设备根据驾驶员头部的位置和驾驶员头部的脸部法线矢量的组合来监视驾驶员的道路注意力。驾驶员头部相对于包括例如前挡风玻璃的车厢结构的位置以及驾驶员头部的脸部法线矢量由实施例的系统、方法和设备确定。例如，当考虑不同身高的驾驶员在不同时间操作同一车辆时，这是有益的。例如，较矮的司机需要比较高的司机更加抬头仰望，才能正确看到前方道路。

在示例实施例中，安装在车辆的挡风玻璃上的面向驾驶员的摄像机345注视着乘客车厢530中的驾驶员520(图5a)。摄像机345拍摄的图像经过分析以找到驾驶员头部以及她在示例实施例中表示为脸部法线矢量522所面对的方向。定位脸部的标准方法可用于驾驶员头部的初始定位，然后驾驶员行为监视系统执行形状回归以确定脸部标志(例如鼻子、嘴角，耳屏点)的位置。使用这些标志，拟合通用头部模型，从其导出脸部法线矢量522，其细节将在下面进行说明。

然而，没有进一步的信息，单目摄像机无法确定对象的距离。在这种情况下，驾驶员行为监视系统可以通过几种方式确定驾驶员的头部位置，下面将介绍其中三种。

根据第一种方法，驾驶员座椅上的已知标志用于测量到驾驶员座椅的距离和/或高度，并且从这些距离和/或高度测量中，可以推算出大概得驾驶员头部位置。驾驶员座椅620(图6a)上的已知标志优选地包含在校准图像600(图6a)中。

根据第二种方法，一张或多张校准照片用于确定驾驶员头部位置。例如，可能会要求驾驶员直接靠在完全靠背的座椅上，从而在参考快照图像600(图6a)中产生已知位置。

根据第三种方法，假设驾驶员610位于参考快照图像600(图6a)中的座椅620的中心，他的鼻子611将位于竖直的半座平面621中，从而驾驶员头部520易于在图像中定位。典型的卡车座椅可前后移动，其靠背可倾斜。因此，座椅的侧部在固定平面内移动到一定程度。在图6a中示出了典型的卡车校准图像600，并且在图7中示出了典型的卡车操作图像700。

面向驾驶员的摄像机345可以在图像中定位(通常可见的)座椅侧部的点622，例如位于驾驶员的右肩上方的座椅靠背的左上角或其他位置，诸如恰好位于驾驶员右臀部上的ID证章的可能位置(未显示)下方的下坐垫的背部，从而实施例的驾驶员行为监视系统在3-D空间中建立从摄像机发出并经过该座位点622的射线。在单目情况下，该因子将仅建立座位点所沿的射线，而不确切地确定该点622距摄像机345的距离。

然而，根据本文实施例，射线与已知平面相交，从而在车厢530的3-D空间中限定了单个点622。在安装和校准摄像机之后，如果座位位置已知，则示例实施例的驾驶员行为监视系统使用校准座位点的完整3D坐标。这样，实施例的驾驶员行为监视系统可以更好地建立用于确定驾驶员头部位于乘客车厢530的3D空间中的位置的数据。

根据另一实施例的驾驶员行为监视系统，可以应用类似的原理以找到驾驶员的鼻尖611。在该实施例中，驾驶员行为监视系统假定驾驶员的鼻子在图像中的位置可能接近竖直平面621，从而将驾驶员的座椅切成两半。该假设再次导致与平面相交的线，因此可以在三个维度上确定3-D脸部法向矢量原点。

对于面向驾驶员的摄像机，系统使头部模型适合于驾驶员的外观，从而获得脸部法线矢量522。一般的头部模型在3-D空间中旋转并缩放直到它尽可能地适合于驾驶员头部的不失真图像。因此，该系统具有表征头部姿势的三个角度，至通用头部模型限制之内，和比例因子。驾驶员头部姿势角度包括例如驾驶员头部俯仰角度(驾驶员向下或向上看)，驾驶员头部偏转角度(驾驶员向左或向右看)和驾驶员头部侧倾角度(驾驶员将他/她的头向左或右倾斜)。

然而，系统不具有或不知道驾驶员与摄像机的绝对距离1640(图16)，即，系统不具有或不知道3-D驾驶员头部位置信息(仅仅角度)。为此，典型的瞳孔距离限制可以给系统一个界限，其中女性的平均瞳孔距离为61.7mm，男性的平均瞳孔距离为64.0mm，两者的标准差均为～3.5mm。通常，～95％的人类的头部距离在～+/-10％以内。即，在该实施例中，系统首先优先寻找驾驶员性别，然后取对应的瞳孔间距离1630眼睛中心1620至眼睛中心1622(图16)，并将图像头部眼睛间距与距摄像机的距离相关联。由于系统具有头部姿势角度，因此系统可以像驾驶员直接面对摄像机那样获得瞳孔之间的距离(以像素为单位)。然后，使用像素大小，系统确定以米为单位的瞳距，应用镜头焦距。通过类似的三角形，系统计算头部至摄相机的距离：

头部至摄相机的距离＝(镜头焦距*性别瞳孔间距离)/(在图像瞳孔间距离中面向摄像机)

例如，如果有20个像素分隔瞳孔(或眼睛中心1620,1622，作为瞳孔的代表)，并且像素大小为4微米，则瞳孔之间的距离为80微米。此外，如果镜头焦距为2毫米，并且驾驶员性别确定为男性，则摄相机至驾驶员头部的距离为(2mm*64mm/80μm)或1.6m。考虑到眼睛间距的变化性，可能会允许最终头部位置的不确定性，并“弱化”位置偏离警告的标准。

通过该距离，该系统能够在3-D空间中定位驾驶员头部，然后使用脸部法线矢量方向与车厢、镜、量规(gauge)、道路等相关。脸部法线矢量522通常起始于鼻尖611，已知摄相机至头部距离，并且还已知图像中经由鼻尖位置至头部的角度，示例实施例的系统计算空间中脸部法线矢量位置，并验证脸部法线矢量“指向”或以其他方式指向或指于驾驶员周围的所需区域，例如镜、道路、经过时的下一车道等。

总体上，该实施例的驾驶员行为监视系统随时间监视脸部法线矢量，并将所监视的脸部法线矢量与预定的统计正确定向的脸部法线矢量进行比较。脸部法线矢量信息与比较结果随时间一起本地存储在系统的存储器中。这些数据和结果可以根据必要性或期望被传输至中央车队管理系统。

图13是示出根据驾驶员头部的位置和驾驶员头部的脸部法线矢量的组合来监视驾驶员的道路注意力的方法1300的流程图。在步骤1310中获得车辆的车厢区域的图像。在步骤1320中，在图像中检测人类头部。在步骤1330中，确定人类头部相对于朝向驾驶员摄像机345的位置，和/或相对于车辆车厢的各部件的位置。在步骤1340中确定所检测的人类头部的脸部法线矢量。在步骤1350中确定摄像机和驾驶员头部之间的估算距离。然后，在步骤1360中，结合所确定的头部位置，随时间一起监视驾驶员的道路注意力，其中所确定的头部位置用作用于监视的脸部法线矢量的基点。

在进一步的实施例中，可以通过收集关于在高速公路上的速度随时间推移时驾驶员在看哪里的统计信息来实现自动校准功能。可以假设当车辆以一定速度行驶时，驾驶员主要面向前方，也就是说，驾驶员在快速行驶时很可能会注意，并且，最频繁或平均的法向矢量方向将对应于笔直的道路。因此，该实施例的系统通过直方图方法，递归平均姿势角度方法或直方图与递归平均姿势角度方法的组合来收集法线矢量统计信息。在直方图方法中，针对用于描述驾驶员头部方向的驾驶员“头部姿势”法向矢量角度集中的每一个而创建并填充直方图，即，俯仰直方图(驾驶员向下或向上看)，偏转直方图(驾驶员向左或向右看)和侧倾直方图(驾驶员向左或向右倾斜头)。在预定时间(例如1分钟)内收集正常矢量统计信息，之后系统将获取最完整的直方图文件，以对应于直行驾驶员头部姿势方向。或者，系统递归计算头部姿势角度的平均值，并确定平均值，以表示直行驾驶员头部姿势方向，再次让平均值运行足够长的时间，并且仅在车辆行驶速度足够快时使用。

受阻式面向驾驶员的摄像机的检测

已知根据本文实施例的面向驾驶员的摄像机345在车辆操作期间始终警惕地注视驾驶员，一些驾驶员可能出于各种原因而选择阻止摄像机，例如包括隐藏车队政策违反行为或错误等。但是，面向驾驶员的摄像机功能在很大程度上取决于驾驶员清晰的视野。因此，对于驾驶员的清晰的视野，对于本文的检测和报告实施例的正确操作是非常需要的。

因此，期望检测驾驶员是否试图阻止面向驾驶员的摄像机。如下所述，就这一点而言，受阻式面向驾驶员的摄像机检测系统、方法和设备。这些实施例的一个好处是确保了正确的面向驾驶员的摄像机操作，从而完全支持了本文所述的几种示例实施例的许多功能。

根据一实施例，总体上，驾驶员行为监视系统的面向驾驶员的摄像机345用于检测车辆的车厢中的驾驶员头部。在该实施例中，面向驾驶员的摄像机补充有用于确定车辆操作者脸部的脸部检测逻辑。实施示例实施例的逻辑以监视车辆行驶时外观大致不变的可见脸部的持续有效性。如果当车辆行驶时没有脸部可见和/或可确定，则示例实施例的逻辑被实施以生成检测到操作者验证丢失的信号。

在另一实施例中，示例实施例的逻辑包括驾驶员脸部查找功能，该功能实施以使用对象识别的前景-后景方法。面向驾驶员的摄像机345的相对静态性质被固定地安装到车辆顶篷支撑构件512(图5a)，使得当车辆行驶时对象识别的前景-后景方法能够监视外观大致不变的可见驾驶员脸部的持续有效性。最初是后景像素；也就是，这些像素由于其值微小变化因此认为不发生变化，这些像素会持续覆盖该区域的足够高的百分比，甚至覆盖无法看到驾驶员脸部的图像。但是，当后景像素开始持续覆盖该区域的足够高的百分比或甚至覆盖无法看到驾驶员脸部的图像时，则系统的逻辑将确定：该图像没有驾驶员的实时图像，因此可以视作摄像机被阻碍或以其他方式被阻挡。如果在车辆行驶时看不到脸部，则会生成操作者验证丢失信号，并且该信号选择性地传输至中央车队管理系统或本地存储在系统存储器中。

根据一实施例，存储在当前驾驶员行为监视和报告系统的非瞬态存储器装置中的驾驶员脸部检测逻辑可由系统的处理器实施以处理驾驶员头部位置数据和如上所述所确定的脸部法线矢量，以从图像数据中选择性地确定相关联的车辆的驾驶员的脸部，并生成以下之一：表示相关联的驾驶员的选择性确定的脸部的驾驶员脸部特征数据，表示驾驶员脸部检测位置逻辑的无效的受阻图像数据，以从图像数据中选择性地确定相关联的车辆的驾驶员的脸部。

该实施例的驾驶员行为监视和报告系统包括与处理器可操作地耦合的输入，该输入从相关联的车辆选择性地接收表示相关联的车辆的运动的车辆运动信号和/或人为控制活动信号。

控制逻辑可由处理器实施，以响应于输入接收到车辆运动信号以及生成受阻图像数据而选择性地生成表示成像装置与位于相关联的车辆中的相关联的驾驶员之间的障碍的受阻视线数据。

实施例的该驾驶员行为监视和报告系统还包括存储在非瞬态存储器装置中的驾驶员脸部检测逻辑。驾驶员脸部检测逻辑可由处理器实施，以处理图像数据以及车辆几何形状数据和成像装置位置数据，从而确定图像数据中的一个或多个前景对象以及图像数据中的一个或多个后景对象，所确定的图像数据中的一个或多个前景对象被布置在成像装置与图像数据中的一个或多个后景对象之间的相关联的车辆中。

驾驶员脸部检测逻辑还可以由处理器实施，以处理与所确定的图像数据中的一个或多个前景对象相对应的图像数据的一部分，从而从图像数据中选择性地确定相关联的车辆的驾驶员的脸部，并生成以下之一：表示相关联的驾驶员的选择性确定的脸部的驾驶员脸部特征数据，表示驾驶员脸部检测位置逻辑的无效的受阻图像数据，以从图像数据中选择性地确定相关联的车辆的驾驶员的脸部。

该实施例的该驾驶员行为监视和报告系统还包括与处理器可操作地耦合的输入，该输入从相关联的车辆选择性地接收表示相关联的车辆的运动的车辆运动信号。在该实施例中，控制逻辑可由处理器实施，以响应于输入接收到车辆运动信号和生成受阻图像数据而选择性地生成表示成像装置和位于相关联的车辆中的相关联的驾驶员之间的障碍的受阻视线数据。

图14是示出根据示例实施例的监视驾驶员脸部的存在的方法1400的流程图。在步骤1402中确定时间，并且在步骤1404中获得车厢的图像。根据必要性或期望，时间可以与车厢图像数据相关联。在步骤1406中搜索车厢图像数据以在驾驶员的脸部可能被期望的大致位置中找到人类脸部。

在步骤1410中确定在车厢图像中是否找到了驾驶员的脸部。如果没有找到脸部，则在步骤1412中进一步确定车辆是否在行驶。如果没有发现人类脸部并且车辆在行驶，则在步骤1414中生成警告信号，并且在步骤1416中将警告信号选择性地发送至中央车队管理系统。可替代地，警告信号可以本地存储在实施例的驾驶员行为监视系统的存储器中。

驾驶员头部位置偏离

许多车辆驾驶员在驾驶时去触及各种物品，例如仪表板上的控制旋钮、存放在附近杯架中的杯子、地图或其他存放在驾驶员座椅旁边的中控台或门袋中的物品等。这当然是正常行为。然而，已经发现，在驾驶时去触及接近遥远的物品会使事故几率增加大约八(8)倍。

因此，期望测量并警告头部偏离正常位置，因为这与过度触及相关。在示例实施例中将驾驶员的头部位置用作驾驶员触及的代表，尤其是在示例实施例中将驾驶员的头部位置用作驾驶员的过度触及的代表，从而生成表示该受监视的驾驶员行为的信号。

这里描述的示例实施例提供了驾驶员没有过度触及超出他的被认为是安全抓握空间的物品的验证，优选地，驾驶员能够在没有过度身体移动的情况下执行触及操纵。理解根据示例实施例的典型驾驶员头部位置和驾驶员过度触及时的警告，有助于防止驾驶员注意力不集中引起的事故。

示例实施例的驾驶员行为监视系统使用面向驾驶员的摄像机345定位和测量驾驶员头部位置。驾驶员行为监视系统中实施的逻辑使用递归测量方程式来确定一组所确定的驾驶员头部位置的均值和方差。当驾驶员头部位置在任一轴(x-，y-或z-)上偏离于头部平均位置的偏差超出预定数量的标准偏差时，并且当该偏差发生了预定的最小时间段时，该逻辑实施将生成警告或通知信号。预定数量的标准偏差和位置偏离的预定最小时间段是可由操作者或车队系统管理员设置或以其他方式选择的参数。这些可设置参数的典型值可能是两(2)个标准偏差，大约占正态分布变量的95％，并且持续约1-2秒。确定驾驶员头部位置偏离事件，并将其记录到示例实施例的驾驶员行为监视系统的本地存储器装置中。摄像机345记录了驾驶员的位置偏离行为，并且该位置偏离行为与其他有关驾驶员头部位置偏离时车辆操作的数据一起存储，这些数据例如为：车辆速度数据等。相比于诸如头部位置偏离指示与来自车辆速度传感器的较低车辆速度指示的相结合，系统可以使用头部位置偏离指示与来自车辆速度传感器的较高车辆速度指示的相结合来更负面地对头部偏离发生进行定级或以其他方式评分。示例实施例的驾驶员行为监视系统将停止车辆去触及超出驾驶员的被认为是安全的抓握空间的物品的这一行为定级为或以其他方式评分为良好驾驶员行为。相反，示例实施例的驾驶员行为监视系统将例如当超出驾驶员的被认为是安全的抓握空间时车辆仍然继续操作的这一行为定级为或以其他方式评分为不良驾驶员行为。可以监视其他一种或多种车辆状况，并与示例实施例中使用的驾驶员头部位置相结合，以作为驾驶员触及的代表用于确定驾驶员行为水平的好坏程度。

图15是示出根据示例实施例的方法1500的流程图，该方法用于监视用作驾驶员触及的代表的、并且特别地用作驾驶员过度触及的代表的驾驶员头部位置。在步骤1502中确定时间，并且在步骤1504中获得车厢图像。根据必要性或期望，时间可以与车厢图像数据相关联。在步骤1506中搜索车厢图像数据，以找到人类头部，最好是驾驶员头部。将驾驶员头部的位置存储到本地存储器中，以便在步骤1508中可以在预定时间间隔内确定驾驶员头部位置的均值和方差。

在步骤1510中确定驾驶员头部位置是否处于步骤1508中所确定的平均值和/或方差值之外。在一实施例中，步骤1510中的确定驾驶员头部位置是否处于步骤1508中所确定的平均值和/或方差值之外包括：确定驾驶员头部位置在预定时间段内是否处于平均值和/或方差值之外，该预定时间段可由操作者或车队管理者选择。在步骤1530中生成头部位置警告信号，该信号指示驾驶员头部位置在预定时间段内处于平均值和/或方差值之外。在步骤1532中记录驾驶员的视频图像，并且在步骤1534中将头部位置警告信号和驾驶员的视频图像选择性地发送至中央车队管理者。

替代地，头部位置警告信号和驾驶员的视频图像可以本地存储在实施例的驾驶员行为监视系统的存储器中。

图15a是示出根据示例实施例确定是否驾驶员头部位置偏离的方法1550的流程图，其特别着重于收集“正常”驾驶员的头部位置的统计信息，例如，在根据所收集的统计信息评估驾驶员头部偏离位置之前，车辆要足够快地行驶足够长的时间段。在步骤1560中初始化计时器，并在步骤1562中收集驾驶员的头部姿势统计信息。优选地，当车辆足够快且足够长的行驶时间时，收集驾驶员的头部姿势统计信息。在示例实施例中，驾驶员的头部姿势均值和方差值需要一定的时间才能开发出来，以使其具有实际价值，例如，在速度上约为一(1)分钟。只有在步骤1562中收集并开发了驾驶员的头部姿势平均值和方差值之后，实施例的系统才能知道该驾驶员的“常规”驾驶情况，然后系统才能执行驾驶员头部偏离位置测试。该测试首先包括对驾驶员进行成像以在步骤1564中获得当前驾驶员的图像。在步骤1570中在当前测量的头部姿势值(偏转、俯仰、侧倾、位置)与这些驾驶员头部姿势角度的平均值之间进行比较，其中这些头部姿势角度包括例如在步骤1562中开发的驾驶员头部俯仰(驾驶员向下或向上看)、驾驶员头部偏转(驾驶员向左或向右看)、以及驾驶员头部侧倾(驾驶员向左或向右倾斜)。如果这些中任何一个偏离于对应均值的量超过了可选择的量的标准偏差，优选大约两(2)个标准偏差，则系统认为驾驶员的头部位置偏离。当头部位置偏离时，在步骤1572中启动计时器。如果计时器的值超出了在步骤1574中所确定的阈值，则在步骤1580中发出警告。当头部没有位置偏离时，在步骤1582中将计时器重置为零。

根据示例实施例，驾驶员行为监视和报告系统的控制逻辑可由系统的处理器实施，以在预定的检测时间上确定车辆驾驶员的脸部法线矢量的中心值，并在预定的检测时间上确定脸部法线矢量的中心值的偏差。可以确定脸部法线矢量的头部位置值的平均值，并且可以确定脸部法线矢量的方差，以将驾驶员头部的标准偏差呈现为方差的平方根。

存储的存储器装置，作为安全注意力模型数据的驾驶员道路注意力参数，所监视的驾驶员注意力状况的驾驶员头部位置偏离参数的推荐范围作为所确定的脸部法线矢量的标准偏差的可选倍数。

存储在非瞬态存储器装置中的控制逻辑可由驾驶员行为监视和报告系统的处理器实施，以处理脸部法线矢量，从而确定所监视的相关脸的车辆的驾驶员注意力的状况驾驶员道路注意力参数的操作值，并在所监视的相关联的车辆的驾驶员注意力状况的驾驶员头部位置偏离参数的推荐值范围和所监视的相关联的车辆的驾驶员注意力状况的驾驶员头部位置偏离参数的所确定的操作值之间进行比较。

存储在非瞬态存储器装置中的控制逻辑可由驾驶员行为监视和报告系统的处理器进一步实施，以确定驾驶员注意力不集中值作为驾驶员注意力不集中值。

根据在所监视的相关联的车辆的驾驶员注意力状况的驾驶员头部位置偏离参数的推荐值范围和所确定的操作值之间比较的第一结果，控制逻辑还可以将二进制意义上的车辆操作顺应性的状态确定为驾驶员注意力不集中状态之一。其中，处理器根据第一结果生成驾驶员注意力不集中数据，或者根据在所监视的相关联的车辆的驾驶员注意力状况的驾驶员头部位置偏离参数的推荐值范围和所确定的操作值之间比较的第二结果而生成驾驶员注意力状态。

驾驶员头部姿势分布度量

良好驾驶行为的一个方面的特征可以在于，驾驶员处于其正确的个人驾驶位置，即能够握住方向盘、能够向前看到车道、能够看到镜、位于可触及踏板等范围内。本质上，车辆内良好的身体位置通常会得到优化的驾驶员表现。如上所述，偏离于这些操作位置的偏离会带来更大的事故风险，最大比例约为八(8)倍。良好驾驶行为的另一方面可以表现为驾驶员实际上在开车时会看到他们应该看到的地方。例如，在倒车时应使用镜，因此在这种情况下允许将眼睛从前行道路上移开，并且期望的是眼睛位于车镜之一上。向前行驶时的交通流量小，可能需要驾驶员经常使用定期的镜扫描来扫描向前的道路，但要特别注意向前的道路。但是，在交通繁忙的情况下，可能需要比较少交通时进行更多次侧视镜扫描。通过查看正在行驶的车道可以更有益地对车道进行变换。

因此，期望检测尤其是在当前驾驶操作的背景下不正确或偏离的头部方向行为，并将其用作受监视行为事件。当发生不正确或偏离的行为时，系统可能会警告驾驶员。当发生不正确或偏离的行为时，可以生成信号，并且表示该信号的数据可以本地存储在车载监视系统中或传输至中央车队管理系统。当发生不正确或偏离的行为时，可以记录车辆车厢的静止图像或视频图像，并且可以将表示在不正确或偏离的行为期间所拍摄的车厢图像的数据本地存储在车载监视系统中或传输至中央车队管理系统。在一实施例中，可以在不正确或偏离的行为期间调整由面向驾驶员的摄像机记录的驾驶员行为的分辨率/压缩质量，以提高或以其他方式增强视频质量，以反映这是头部姿势驾驶员行为事件。

该实施例的驾驶员行为监视系统使用面向驾驶员的摄像机、逻辑和实施该逻辑的处理器来确定驾驶员头部姿势，确定头部姿势随时间的分布，并监视头部姿势的分布，以当其偏离于期望或正常分布时用于警告驾驶员。可以生成警告信号和/或可以触发警告事件以存储与警告信号有关的数据，该数据指示头部姿势偏离于期望或正常分布。警告信号和/或与警告信号有关的数据可以被发传输至中央车队管理系统。

总体上，系统使用面向驾驶员的摄像机345来观察驾驶员头部姿势(朝向)。随时间来收集驾驶员头部姿势的空间分布，并生成头部侧倾、俯仰的和偏转的3-D直方图。然后，驾驶员行为监视系统能够验证：当驾驶员进行车辆后退活动、进行转弯(例如向左转时向左看)活动、和用车辆执行其他活动时，直方图是否发生了(期望的和正确的)变化。通过变化检测方法，可以从所收集的头部姿势数据中检测出与驾驶员正常姿势分布的明显偏差，并且可以例如通过生成驾驶员头部姿势偏差信号来标记检测到的偏差。

在一实施例中，直方图可在两个时间范围上操作。也就是说，直方图可在较长时间范围上操作，以学习或以其他方式开发驾驶员的“平均”行为，并且，直方图可在短时间范围上操作，以学习或以其他方式开发驾驶员的“现在正在发生什么”驾驶员行为。在实施例中对两个直方图进行比较。

图16是示出相关联的车辆的车厢1610的图像1600(不是由实施例的面向驾驶员的照相机拍摄)的示意图，其示出了根据实施例的面向驾驶员的摄像机345，该摄像机345对适当注视着车辆镜1650的正确坐着的驾驶员1612进行成像。驾驶员行为监视系统，并拟合了如图所示的头部姿势模型作为驾驶员头部姿势矢量1660，其起始于驾驶员鼻子1624。此矢量1660可以可视化为连接到通用3-D脸部模型的刚性固定手柄。将脸部模型倾斜、旋转并按角度和比例进行调整，直到它尽可能紧密地适合于所观察到的脸部为止。对应于手柄的3D角度是头部姿势。应当理解的是，头部姿势模型包含和包括：驾驶员头部位置信息、驾驶员头部侧倾信息、以及驾驶员头部俯仰和偏转信息。

如上所述，对于面向驾驶员的摄像机345，系统使头部模型适合于驾驶员的外观，从而获得脸部法线矢量1660。在3-D空间中旋转并缩放头部模型(通用的头部模型)，直到其尽可能适合于驾驶员头部的不失真图像为止。该系统因此具有表征头部姿势的三个角度，至通用头部模型限制之内，和比例因子。驾驶员头部姿势角度包括例如驾驶员头部俯仰角度(驾驶员向下或向上看)、驾驶员头部偏转角度(驾驶员向左或向右看)以及驾驶员头部侧倾角度(驾驶员将他/她的头向左或右倾斜)。

然而，系统不具有或不知道摄像机345与驾驶员1612的绝对距离1640(图16)，即，系统不具有或不知道3-D驾驶员头部位置信息(仅仅角度)。典型的瞳孔距离1630限制可以给系统一个界限，其中女性的平均瞳孔距离为61.7mm，男性的平均瞳孔距离为64.0mm，两者的标准差均为～3.5mm。通常，～95％的人类的头部距离在～+/-10％以内。即，在该实施例中，系统首先优先寻找驾驶员性别，然后取对应的瞳孔间距离1630眼睛中心1620至眼睛中心1622(图16)，并将图像头部眼睛间距与距摄像机的距离相关联。由于系统具有头部姿势角度，因此系统可以像驾驶员1612直接面对摄像机345那样确定或以其他方式计算瞳孔之间的距离1630(以像素为单位)。然后，使用像素大小，系统确定以米为单位的瞳距，应用镜头焦距。通过类似的三角形，系统计算摄像机345和驾驶员1612头部的距离：

头部至摄相机的距离＝(镜头焦距*性别瞳孔间距离)/(在图像瞳孔间距离中面向摄像机)

例如，如果有20个像素分隔瞳孔(或眼睛中心1620,1622，作为瞳孔的代表)，并且像素大小为4微米，则瞳孔之间的距离为80微米。此外，如果镜头焦距为2毫米，并且驾驶员性别确定为男性，则摄相机至驾驶员头部的距离为(2mm*64mm/80μm)或1.6m。

通过该距离，系统能够在3-D空间中定位驾驶员头部，然后使用脸部法线矢量1660方向与车厢、镜、量规、道路等相关。脸部法线矢量1660通常起始于鼻尖1624，已知摄相机至头部距离，并且还已知图像中经由鼻尖位置至头部的角度，示例实施例的系统计算空间中脸部法线矢量位置，并验证脸部法线矢量“指向”或以其他方式指向或指于驾驶员周围的所需区域，例如镜、道路、经过时的下一车道等。

系统可以在可选择的时间段内收集数据，例如在驾驶员的头部姿势的最后120秒内，将收集的数据输入存储在系统本地存储器中的多维直方图中。优选地，补充有指向最早输入计算结构的指针的循环列表可以形成提供该直方图的数据存储主干。

然后可以将直方图与所观察的安全状况进行比较。所观察的安全状况可能来自一个或多个无事故时间历史的统计信息，或者来自一组或多组无事故时间历史模型的预定统计信息。更进一步，可以将直方图与关联于车辆的车队的期望直方图进行比较。比较直方图的示例例如在Serratosa F.,SanromàG.,Sanfeliu A.(2007)“一种计算多维直方图之间距离的新算法(A New Algorithm to Compute the Distance Between Multi-dimensionalHistograms)”中披露：Rueda L.,Mery D.,Kittler J.(eds)“模式识别、图像分析和应用方面的进展(Progress in Pattern Recognition,Image Analysis and Applications)”，CIARP 2007，计算机科学中的讲座，第4756卷，Springer,Berlin,Heidelberg，其教导引用于此作为参考。

图17是根据示例实施例示出操作驾驶员行为监视系统的方法的流程图，该驾驶员行为监视系统具有面向驾驶员的摄像机，用于检测、监视和报告驾驶员头部姿势分布是否正在显著变化或不可接受，以实施驾驶员道路注意力策略。现在参考该图，在实施例的方法1700中，驾驶员图像数据收集部分832'包括步骤1702和步骤1704，步骤1702用于确定驾驶员的图像的时间，步骤1704用于收集驾驶员的图像。在步骤1106中，系统的逻辑确定与车辆的操作有关的信息，例如车辆速度数据等，并且，逻辑还确定驾驶员的头部姿势。在步骤1708中，使用新获取的驾驶员头部姿势来更新历史的驾驶员头部姿势数据。

在步骤1710中，确定所收集的历史数据是否与给定车辆状态的预定期望分布不同。如果对于给定的车辆状态所收集的历史数据与预定的期望分布没有不同，则不采取措施。然而，如果所收集的历史数据确实与给定车辆状态的预定期望分布不同，则方法1700在步骤1730中生成头部姿势警告信号和/或生成头部姿势警告数据。在步骤1732中记录或以其他方式收集驾驶员的视频图像，并且在步骤1734中将头部姿势警告信号和/或头部姿势警告数据与驾驶员的视频图像一起选择性地发送至中央车队管理系统等。可替代地，可以将驾驶员的视频图像和头部姿势警告信号和/或头部姿势警告数据选择性地存储在车辆本地的驾驶员监视系统的存储器装置中。

图18是根据示例实施例的头部姿势分布图1800的示例。如图所示，头部姿势分布的可视化和分析框架可以在球形坐标中执行，映射到命名位置。所映射的位置可以包括例如车辆收音机1822的位置、车辆1824和1826的左右脚部空间的位置、驾驶员膝部1825的位置、车辆1828中的乘客的位置、车辆1830和1832的左右镜的位置、车辆1850的遮阳板的位置、或直行车道1850的位置。带有颜色的“热量”图(即直方图)可以指示在该图中示出了每个位置所面对的频率，其中，具有最高驾驶员聚焦强度的热量图用“x”标记勾勒出用于大概在车辆前方的向前道路。图的某些部分可能与标签相关联-例如，当更换广播电台并且驾驶员未以正常姿势正对前方，以及稍微偏右时，正对的图区域可能被标记为广播(或成为广播的可能性增加)。类似的标记方案可以用于镜，这一次由设置的转向灯转向信号触发，并且驾驶员在转向信号的意义上向左或向右转向。

应该观察到，安全驾驶位置可能会暂时地或长期地变化。例如，使用者可能需要调整更远的控件(例如，可能是风扇)，或者使用者可能会改变座椅位置(例如，减轻后背疼痛)。因此，当这些可能暂时或可能持久的变化发生时，我们可能需要执行直方图重新启动或屏蔽测量值。

图19是示出根据实施例的比较驾驶员头部姿势直方图，以及确定和报告驾驶员头部姿势直方图之间的偏差和/或变化的方法1900的基本流程图。现在参考该图，方法1900基于驾驶员头部姿势分布度量来确定不正确或偏离的驾驶员头部方向行为。方法1900包括开始步骤1910，其后，开始系统对相关联的车辆的驾驶员和驾驶室进行成像并获得驾驶员图像数据的步骤1912。在步骤1914中测量驾驶员头部姿势，并在步骤1916中创建驾驶员头部图像捕获的最后n秒的驾驶员头部姿势直方图。

接下来，在步骤1920中，系统确定直方图是否显示了期望的驾驶员行为和实际的驾驶员行为之间的差异。如果期望的驾驶员行为与实际的驾驶员行为之间没有差异，或者该差异在预定范围内，则系统重复步骤1912，随后系统再次对相关联的车辆的驾驶员和驾驶室进行成像并获得新的驾驶员图像数据。另一方面，如果期望的驾驶员行为与实际的驾驶员行为之间存在差异，或者如果该差异在预定范围之外，则系统启动步骤1922，随后系统根据驾驶员头部姿势分布度量来生成驾驶员注意力不集中信号。

图19a是示出根据示例实施例确定是否驾驶员头部位置偏离的方法1550的流程图，其特别着重于收集“正常”驾驶员的头部姿势的统计信息，例如，在根据所收集的统计信息评估驾驶员头部姿势之前，车辆要足够快地行驶足够长的时间段。在步骤1960中初始化计时器，并在步骤1962中收集驾驶员的头部姿势统计信息。优选地，当车辆足够快且足够长的行驶时间时，收集驾驶员的头部姿势统计信息。在示例实施例中，驾驶员的头部姿势均值和方差值需要一定的时间才能开发出来，以使其具有实际价值，例如，在速度上约为一(1)分钟。只有在步骤1962中收集并开发了驾驶员的头部姿势平均值和方差值之后，实施例的系统才能知道该驾驶员的“常规”驾驶情况，然后系统才能执行驾驶员头部姿势测试。该测试包括对驾驶员进行成像以在步骤1964中获得当前驾驶员的图像。在步骤1970中在当前测量的头部姿势值(偏转、俯仰、侧倾、位置)与这些驾驶员头部姿势角度的平均值之间进行比较，其中这些头部姿势角度包括例如在步骤1962中开发的驾驶员头部俯仰(驾驶员向下或向上看)、驾驶员头部偏转(驾驶员向左或向右看)、以及驾驶员头部侧倾(驾驶员向左或向右倾斜)。如果这些中任何一个偏离于对应均值的量超过了可选择的量的标准偏差，优选大约两(2)个标准偏差，则系统认为驾驶员的头部位置偏离。当头部位置偏离时，在步骤1972中启动计时器。如果计时器的值超出了在步骤1974中所确定的阈值，则在步骤1980中发出警告。当头部没有位置偏离时，在步骤1982中将计时器重置为零。

图20是示出根据示例实施例的方法2000的流程图，该方法比较头部姿势分布图，并确定和报告实际图与期望的、适当情况下的图之间的偏差。该实施例特别着重于收集“正常”驾驶员的头部位置的统计信息，例如，在根据所收集的统计信息评估驾驶员头部位置偏离之前，车辆要足够快地行驶足够长的时间段。在步骤2060中初始化计时器，并在步骤2062中收集驾驶员的头部姿势统计信息。优选地，当车辆足够快且足够长的行驶时间时，收集驾驶员的头部姿势统计信息。在示例实施例中，驾驶员的头部姿势均值和方差值需要一定的时间才能开发出来，以使其具有实际价值，例如，在速度上约为一(1)分钟。只有在步骤2062中收集并开发了驾驶员的头部姿势平均值和方差值之后，实施例的系统才能知道该驾驶员的“常规”驾驶情况，然后系统才能执行驾驶员头部位置偏离测试。该测试包括对驾驶员进行成像以在步骤2064中获得当前驾驶员的图像。在步骤2070中在当前测量的头部姿势值(偏转、俯仰、侧倾、位置)与这些驾驶员头部姿势角度的直方图之间进行比较，其中这些头部姿势角度包括例如在步骤2062中开发的驾驶员头部俯仰(驾驶员向下或向上看)、驾驶员头部偏转(驾驶员向左或向右看)、以及驾驶员头部侧倾(驾驶员向左或向右倾斜)。如果这些中任何一个偏离于对应均值的量超过了可选择的量的标准偏差，优选大约两(2)个标准偏差，则系统认为驾驶员的头部位置偏离。当头部位置偏离时，在步骤2072中启动计时器。如果计时器的值超出了在步骤2074中所确定的阈值，则在步骤2080中发出警告。当头部没有位置偏离时，在步骤2082中将计时器重置为零。

驾驶员的眼睛位于道路上并带有自适应LDW警告余量

驾驶员在向前行驶时没有正确看路，可能需要更长的时间来对危险情况做出反应。因此，期望针对诸如车道偏离警告装置或基于雷达的距离保持辅助装置之类的危险检测系统来调整警告参数，从而以更及时的方式警告驾驶员。

因此，示例实施例的系统将驾驶员不注视前方道路的时间与增加的警告余量参数结合在一起。可以使用线性关系，例如：

警告参数＝基本警告参数值+(因子*(从驾驶员上次看路以来经过的时间))。

在示例实施例中，然后将得到的警告参数值限制为某个最大值和/或数字，该最大值和/或数字可以由驾驶员、车队管理者等选择。根据另一实施例，自驾驶员最后看路以来经过的时间可以具有在其被用在以上方程式中之前减去的“宽限”值。这有利地允许驾驶员短暂地移开视线，在此期间，车辆警告系统不改变其参数设置。可以理解的是，如使用该参数的应用所要求的，也可以应用上述方程式的等效负值形式或减小幅度的调整。

上述方程式中的因子可以在限制内调整，以便维持期望的驾驶员行为，例如，使得间隔时间至少在95％的时间内保持大于最小值。可以由驾驶员或车队指挥中心进行此调整，其能够观察与驾驶员安全相关的行为统计信息。

驾驶员镜使用验证

商用车辆驾驶员在车辆操作期间有许多任务需要协调。这些任务之一是扫描车辆镜。如果未正确执行车辆镜扫描或未足够频繁地执行车辆镜扫描，则会增加碰撞风险。

因此，期望提供一种系统、方法和设备，以验证驾驶员镜使用的足够和充分。根据一实施例，面向驾驶员的摄像机345用于验证驾驶员对车辆镜的正确使用。

实施例有利地通过帮助增加商用车辆和其他车辆以及具有本文的实施例的驾驶员行为监视系统、方法和设备的车辆周围的其他车辆的驾驶安全性来提供车辆操作上的改进，包括尤其是提供镜使用验证的实施例。该实施例还提供驾驶员的特征，例如生物特征ID信息，并且在发生或检测到任何不安全行为的情况下警告驾驶员和远程车队管理。

用于在图像中查找脸部的算法使用人类脸部的模型。该模型通常寻找脸部“标志”，即对比鲜明的区域，例如嘴角、眼睛等。当发现这样的标志的配置在人类脸部外观的几何期望之内时，就定位脸部。

标志的配置与脸部相对于摄像机指向的方向(“姿势”)有关。该姿势可以通过起始于人鼻子的3-D矢量来概括，如图5a和17所示，作为3D头部姿势矢量522。

还可以看到，脸部已经被定位(下巴、嘴巴、眼睛等)，并将其放置在乘客车厢中的一定容积内。鼻尖位于从摄像机发出的光线上，平均上大约位于座椅中心并且笔直指向前。

图21是根据示例实施例的应用于镜使用的界限的示意图。该实施例的系统将脸部姿势矢量522与头部位置相关联，以查看驾驶员面向哪个方向(不一定与所看或所凝视的方向相同)。尽管仅通过眼睛在镜处扫视是可能的，但是系统随时间检查脸部姿势矢量522，以确定驾驶员是否正在移动头部以按照他们所应该的去注视镜。当驾驶员没有足够频繁地注视镜2120或太长的时间2110(例如，毕竟向前行驶时大多数人应该向前看)，会发出警告，并可能触发安全事件记录，可能会收集有关驾驶员行为的统计信息。

该实施例的系统因此可以使用面向驾驶员的摄像机345(已知其位置和几何形状以及驾驶员头部位置和姿势，以增加安全性、执行政策、寻找疲劳的提示并收集安全和驾驶员行为统计信息。

镜使用验证的特定情况是变换车道。良好的驾驶习惯规定，在变换车道之前，应先使用与要变换的车道相关的镜。因此，例如，当设置转向信号时，示例实施例的系统在变道之前执行使用镜的测试。该测试可以是例如确定驾驶员在变换车道之前是否在适当的镜上观察了足够长的时间(在上部2110和下部2120之间)。同样，如果未设置转向信号，但变换了车道(可通过车道偏离警告系统检测到的事件)，并且未注视镜，则该“在变换车道之前没有使用镜”事件也被触发。

当驾驶员静止不动并向右闪烁时，可以对镜进行类似的测试。对于位于商用车辆右侧的任何骑自行车者而言，这都是典型的危险情况，他们可能会被转弯的卡车压伤。因此，可以通过在车辆再次移动之前验证驾驶员是否向右看来强制实施正确的镜使用，即在车辆移动上建立视觉连锁。应该理解的是，其左侧也可以类似地在以左侧交通为标准的区域中实施。

根据一实施例，提供了一种在相关联的车辆由相关联的驾驶员操作期间监视相关联的车辆的驾驶员注意例状况的系统。该系统包括设置在相关联的车辆中的成像装置、包括处理器的控制装置、以及与处理器可操作地耦合的输出。成像装置捕获设置在相关联的车辆中的相关驾驶员的图像以及相关联的车辆的内部的图像，并且生成表示所设置在相关联的车辆中的相关联的驾驶员的图像以及相关联的车辆内部的图像的图像数据。

控制装置包括与处理器可操作地耦合的图像数据输入、与处理器可操作地耦合的非瞬态存储器装置、存储在非瞬态存储器装置中的驾驶员头部检测逻辑、存储在非瞬态存储器装置中的驾驶员头部方向逻辑、以及存储在非瞬态存储器装置中的控制逻辑。

图像数据输入从成像装置接收图像数据。非瞬态缓存器装置存储表示相关联的车辆的一个或多个结构之间的相对位置的车辆几何数据、表示成像相对于相关联的车辆的一个或多个结构的位置的成像装置位置数据、以及包括所监视的相关联的车辆的驾驶员注意力状况的驾驶员道路注意参数的推荐值范围的安全注意力模型数据。

驾驶员头部检测逻辑可由处理器实施以处理图像数据，从而定位/确定由成像装置捕获的图像的头部候选区域，其可能高于存储在非瞬态存储器装置中的预定阈值，以表示位于相关联的车辆中的相关联的驾驶员的头部，并将与驾驶员头部检测逻辑所定位/确定的头部候选区域相对应的图像数据的一部分标记为驾驶员头部图像数据。

处理器可实施驾驶员头部方向逻辑，以处理驾驶员头部图像数据，从而确定相关联的驾驶员的头部的朝向，并生成驾驶员头部朝向方向数据，驾驶员头部朝向方向数据表示所确定的相关联的驾驶员的头部的朝向。

处理器可实施控制逻辑，以处理面向驾驶员头部方向数据以及车辆几何数据和成像装置位置数据，从而确定所监视的相关联的车辆的驾驶员注意力状况的驾驶员道路注意力参数的操作值，并且在所监视的相关联的车辆的驾驶员注意力状况的驾驶员道路注意力参数的推荐值范围和所监视的相关联的车辆的驾驶员注意力状况的驾驶员道路注意力参数的操作值之间进行比较。

控制逻辑还可以由处理器实施，以根据在所监视的相关联的车辆的驾驶员注意力状况的驾驶员道路注意力参数的推荐值范围和所确定的操作值之间比较的结果来确定车辆操作顺应性的状态。

根据一示例，根据在所监视的相关联的车辆的驾驶员注意力状况的驾驶员道路注意力参数的推荐值范围和所确定的操作值之间比较的第一结果，控制逻辑可以将车辆操作顺应性的状态确定为驾驶员注意力不集中状态之一。其中，处理器根据第一结果生成驾驶员注意力不集中数据，或者根据在所监视的相关联的车辆的驾驶员注意力状况的驾驶员道路注意力参数的推荐值范围和所确定的操作值之间比较的第二结果而生成驾驶员注意力状态。

输出选择性地从处理器接收驾驶员注意力不集中数据，并生成驾驶员注意力不集中信号，该信号表示所监视的驾驶员注意力状况的驾驶员道路注意力参数的所确定的操作值超出安全模型数据的推荐值范围。

根据另一示例实施例，控制逻辑可由处理器实施以处理驾驶员头部朝向方向数据以及车辆几何数据和成像装置位置数据，以确定所监视的相关联的车辆的驾驶员注意力状况的驾驶员道路注意力参数的操作值，将相关联的车辆的驾驶员注意力状况的驾驶员道路注意力参数与相关联的车辆的车道偏离警告(LDW)监视的状况的参数的操作值相关联，并且根据与该车辆的LDW监视的状况的参数的操作值相关联的所监视的相关联的车辆的驾驶员注意力状况的驾驶员道路注意力参数来确定用于修改该相关联的车辆的设置LDW系统的调整值。输出与相关联的车辆的LDW系统的输入可操作地耦合，并且选择性地接收用于修改LDW设置的调整值，并将调整值传送至相关联的车辆。

Claims (10)

1.一种安全系统，包括：

成像装置，所述成像装置位于相关联的车辆中，并且所述成像装置捕获位于所述相关联的车辆中的相关联的驾驶员和所述相关联的车辆的内部的图像，并生成表示所捕获的位于所述相关联的车辆中的所述相关联的驾驶员和所述相关联的车辆的内部的所述图像的驾驶员头部图像数据；和

控制装置，所述控制装置包括：

处理器；

与所述处理器能够操作地耦合的图像数据输入，所述图像数据输入从所述成像装置接收所述驾驶员头部图像数据；

与所述处理器能够操作地耦合的非瞬态存储器装置，

所述非瞬态存储器装置存储安全注意力模型数据，所述安全注意力模型数据包括：所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员道路注意力参数的推荐值以及以下二者之一：i)根据所述相关联的车辆在足够速度获得的足够数量的测量结果的递归测量的统计值；和ii)从所述相关联的车辆在足够速度获得的关于直行驾驶员头部姿势方向的直方图获得的统计值；

存储在所述非瞬态存储器装置中的驾驶员头部方向逻辑，所述驾驶员头部方向逻辑能够由所述处理器执行以：

处理所述驾驶员头部图像数据，以确定所述相关联的驾驶员的头部的朝向；并且

生成驾驶员头部朝向数据，所述驾驶员头部朝向数据表示所确定的所述驾驶员的头部的朝向；

存储在所述非瞬态存储器装置中的控制逻辑，所述控制逻辑能够由所述处理器执行以：

处理所述驾驶员头部朝向数据，以确定所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员道路注意力参数的操作值；

将所述驾驶员道路注意力参数的推荐值与所述相关联的车辆所监视的驾驶员注意力状况的驾驶员道路注意力参数的推荐值进行比较；

根据所述推荐值和所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员道路注意力参数的操作值的比较结果来确定驾驶员道路注意力顺应性；

将所确定的驾驶员道路注意力顺应性与安全事件系统的所监视的状况的参数的操作值相关联；

确定用于修改所述参数的调整值，其中，所述调整值根据基于上述操作值和因子的函数关系来确定，期望的驾驶员行为通过所述函数关系维持；以及

为修改所述安全事件系统的设置传输所述调整值。

2.根据权利要求1所述的安全系统，其中：

所述控制逻辑能够由所述处理器执行，以将所述车辆操作顺应性的状态确定为以下之一：

根据在所述相关联的驾驶员的所监视的状况的参数的所述推荐值范围与所述操作值之间比较的第一结果的非顺应状态，其中，所述处理器根据所述第一结果生成非顺应数据，或

根据在所述相关联的驾驶员的所监视的状况的参数的所述推荐值范围与所述操作值之间比较的第二结果的顺应状态；并且

所述输出选择性地从所述处理器接收所述非顺应数据，并生成非顺应信号，所述非顺应信号表示所监视的状况的参数的所述操作值超出所述安全模型数据的推荐范围。

3.根据权利要求1所述的安全系统，其中：

所述推荐值范围包括多个推荐值范围，所述多个推荐值范围中的每一个对应于所述相关联的车辆的操作状况。

4.根据权利要求3所述的安全系统，其中：

所述多个推荐值范围包括：

第一推荐值范围，其对应于所述相关联的车辆向前运动的操作状况；和

第二推荐值范围，其对应于所述相关联的车辆向后运动的操作状况。

5.一种系统，其在由相关联的车辆驾驶员操作相关联的车辆期间监视所述相关联的车辆的驾驶员注意力状况，所述系统包括：

设置在所述相关联的车辆中的成像装置，所述成像装置捕获位于所述相关联的车辆中的所述相关联的驾驶员和所述相关联的车辆的内部的图像，并生成表示所捕获的位于所述相关联的车辆中的所述相关联的驾驶员和所述相关联的车辆的内部的所述图像的图像数据；和

控制装置，所述控制装置包括：

处理器；

与所述处理器能够操作地耦合的图像数据输入，所述图像数据输入从所述成像装置接收所述图像数据；

与所述处理器能够操作地耦合的非瞬态存储器装置，

所述非瞬态存储器装置存储表示所述相关联的车辆的一个或多个结构之间的相对位置的车辆几何数据、表示成像相对于所述相关联的车辆的所述一个或多个结构的位置的成像装置位置数据、以及安全注意力模型数据，所述安全注意力模型数据包括所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员道路注意力参数的推荐值范围；

存储在所述非瞬态存储器装置中的驾驶员头部检测逻辑，所述驾驶员头部检测逻辑能够由所述处理器执行以：

处理所述图像数据，以定位/确定由所述成像装置捕获的图像的头部候选区域，其可能高于存储在所述非瞬态存储器装置中的预定阈值，以表示位于所述相关联的车辆中的所述相关联的驾驶员的头部；并且

将与所述驾驶员头部检测逻辑所定位/确定的所述头部候选区域相对应的所述图像数据的一部分标志为驾驶员头部图像数据；

存储在所述非瞬态存储器装置中的驾驶员头部方向逻辑，所述驾驶员头部方向逻辑能够由所述处理器执行以：

处理所述驾驶员头部图像数据，以确定所述相关联的驾驶员的头部的朝向；并且

生成驾驶员头部朝向数据，所述驾驶员头部朝向数据表示所确定的所述相关联的驾驶员的头部的朝向；

存储在所述非瞬态存储器装置中的控制逻辑，所述控制逻辑能够由所述处理器执行以：

处理所述驾驶员头部朝向数据以及所述车辆几何数据和所述成像装置位置数据，以确定所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员道路注意力参数的操作值；

在所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员道路注意力参数的所述推荐值范围与所确定的所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员道路注意力参数的所述操作值之间进行比较；并且

将车辆操作顺应性的状态确定为以下之一：

根据在所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员道路注意力参数的所述推荐值范围与所确定的操作值之间比较的第一结果的驾驶员注意力不集中状态，其中，所述处理器根据所述第一结果生成驾驶员注意力不集中数据：或

根据在所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员道路注意力参数的所述推荐值范围与所确定的操作值之间比较的第二结果的驾驶员注意力集中状态；和

与所述处理器能够操作地耦合的输出，所述输出选择性地从所述处理器接收所述驾驶员注意力不集中数据，并生成驾驶员注意力不集中信号，所述驾驶员注意力不集中信号表示所确定的所监视的驾驶员注意力状况的驾驶员道路注意力参数的操作值超出所述安全模型数据的推荐值范围。

6.根据权利要求5所述的系统，还包括：

存储在所述非瞬态存储器装置中的驾驶员头部位置逻辑，所述驾驶员头部位置逻辑能够由所述处理器执行以：

处理所述驾驶员头部图像数据以及所述车辆几何数据和所述成像装置位置数据，以确定驾驶员头部相对于所述相关联的车辆的一个或多个控制结构的位置；并且

生成驾驶员头部位置数据，所述驾驶员头部位置数据表示所确定的所述相关联的驾驶员的头部相对于所述相关联的车辆的所述一个或多个控制结构的位置，

其中，所述控制逻辑能够由所述处理器执行，以处理所生成的驾驶员头部位置数据以及驾驶员头部朝向数据、所述车辆几何数据和所述成像装置位置数据，以确定所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员注意力参数的所述操作值。

7.根据权利要求6所述的系统，其中：

所述驾驶员头部方向逻辑能够由所述处理器执行以：

处理所述驾驶员头部位置数据，以将脸部法线矢量确定为所述相关联的驾驶员的头部的朝向，所述脸部法线矢量的起点位于所确定的所述相关联的驾驶员的头部相对于所述相关联的车辆的所述一个或多个控制结构的位置；并

且

生成包括所述脸部法线矢量的所述驾驶员头部朝向数据。

8.根据权利要求7所述的系统，其中：

存储在所述非瞬态存储器装置中的车辆几何数据包括表示所述相关联的车辆的挡风玻璃与所述相关联的车辆的所述一个或多个结构之间的相对位置的车辆挡风玻璃数据；

所述非瞬态存储器装置中的所述安全注意力模型数据包括：作为驾驶员道路注意力参数的代表的所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员看向挡风玻璃参数的推荐值范围；

所述控制逻辑能够由所述处理器执行以：

处理所述驾驶员头部位置数据和所述脸部法线矢量，

以确定所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员看向挡风玻璃参数的操作值；

在所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员看向挡风玻璃参数的所述推荐值范围和所确定的所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员看向挡风玻璃参数的操作值之间进行比较；并且

将所述车辆操作顺应性的状态确定为以下之一：

根据在所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员看向挡风玻璃参数的所述推荐值范围和所确定的操作值之间比较的第一结果的驾驶员注意力不集中状态，其中，所述处理器根据所述第一结果生成驾驶员注意力不集中数据，或

根据在所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员看向挡风玻璃参数的所述推荐值范围和所确定的操作值之间比较的第二结果的驾驶员注意力集中状态。

9.根据权利要求6所述的系统，其中：

所述驾驶员头部位置逻辑能够由所述处理器执行，以通过以下一种或多种方式确定所述驾驶员头部相对于所述相关联的车辆的所述一个或多个控制结构的位置：

通过在图像数据中定位所述相关联的车辆的驾驶员座椅上的地标，测量到地标的距离和/或高度中的一个或多个，来推断所述驾驶员头部相对于所述一个或多个控制结构的大致位置，并且根据位于所述图像数据中的所述地标来推断所述驾驶员头部相对于所述一个或多个控制结构的大致位置；

使用表示所述驾驶员头部相对于所述相关联的车辆的所述一个或多个控制结构的校准位置的驾驶员头部位置校准数据作为所确定的驾驶员头部相对于所述相关联的车辆的所述一个或多个控制结构的位置；或

通过在图像数据中定位所述相关联的车辆的所述驾驶员座椅的竖直半座椅平面来推断所述驾驶员头部相对于所述一个或多个控制结构的大致位置，并且根据位于所述图像数据中的所述驾驶员座椅的竖直半座椅平面来推断所述驾驶员头部相对于所述一个或多个控制结构的大致位置。

10.根据权利要求5所述的系统，其中：

所述控制逻辑能够由所述处理器执行以：

在预定时间段中对所述驾驶员头部朝向数据进行采样，并将所采样的驾驶员头部朝向数据作为驾驶员头部朝向数据的序列存储于所述非瞬态存储器装置中；

处理所存储的所述驾驶员头部朝向的序列，以确定所采样的驾驶员头部朝向数据的典型驾驶员头部朝向范围；并且

将所采样的驾驶员头部朝向数据的所确定的典型驾驶员头部朝向范围存储在非瞬态存储器装置中，作为所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员道路注意力参数的推荐值范围。