CN108930784A - 用于基于注视信息检测不合适的挡位选择的设备和方法 - Google Patents

Abstract

本发明提供了一种用于基于操作者的注视来确定换挡是否合适的方法和设备。该方法包括：检测从第一挡位换挡至接合第二挡位；基于该注视信息接收与用户的注视相关联的注视信息；确定第二挡位是否不合适；以及响应于确定第二挡位不合适而执行对应于该不合适的第二挡位的校正动作。

Description

用于基于注视信息检测不合适的挡位选择的设备和方法

引言

符合示例性实施例的设备和方法涉及注视跟踪和检测。更具体地，符合示例性实施例的设备涉及基于注视信息来确定用户的意图。

发明内容

一个或多个示例性实施例提供了一种能够确定车辆的操作者是否意图改变车辆的挡位或者改变是否不合适的设备。更具体地，一个或多个示例性实施例提供一种设备，通过跟踪操作者的注视和确定操作者的意图，该设备能够确定车辆的操作者是否意图改变车辆的挡位或者所述改变是否不合适。

根据示例性实施例的一方面，提供了一种用于基于用户的注视来检测不合适的挡位选择的方法。该方法包括以下：检测从第一挡位换挡至接合第二挡位；接收与用户的注视相关联的注视信息；基于注视信息确定第二挡位是否为不合适；以及响应于确定第二挡位为不合适而执行对应于该不合适的第二挡位的校正动作。

注视信息可以包括指示用户正在朝向车辆的后方、后置摄像头显示器、后视镜或侧视镜观看的信息，并且如果第二挡位是车辆的车轮向前移动的挡位，则可以确定第二挡位为不合适。

该方法可以进一步包括响应于确定第二挡位为不合适而施加制动。

注视信息可以包括指示用户正在向下观看或者观看用户装置的信息，并且如果第二挡位是使车辆移动的挡位，则该确定可以确定第二挡位为不合适。

该方法可以进一步包括响应于确定第二挡位为不合适而忽视从第一挡位到第二挡位的换挡。

注视信息可以包括指示用户正在朝向前挡风玻璃观看的信息，并且如果第二挡位是使车辆向后移动的挡位，则确定可以确定第二挡位为不合适。

响应于确定到第二挡位的换挡不合适，该方法可以进一步施加制动。

该方法可以进一步包括基于注视信息确定是否换挡至与第二挡位不同的第三挡位，并且基于注视信息响应于确定换挡至第三挡位而将车辆换挡至第三挡位。

执行对应于不合适的第二挡位的校正动作可以包括通过向用户输出听觉反馈、显示的反馈和触觉反馈中的至少一个来向该用户通知第二挡位可能不合适。

根据另一示例性实施例的一方面，提供了一种用于基于用户的注视检测不合适的挡位选择的设备。该设备包括至少一个存储器，该存储器包括计算机可执行指令以及配置为读取并执行计算机可执行指令的至少一个处理器。计算机可执行指令使得至少一个处理器：检测从第一挡位换挡至接合第二挡位；接收与用户的注视相关联的注视信息；基于注视信息确定第二挡位是否为不合适；以及响应于确定第二挡位为不合适而执行对应于不合适的第二挡位的校正动作。

注视信息可以包括指示用户正在朝向车辆的后方、后置摄像头显示器、后视镜或侧视镜观看的信息，并且计算机可执行指令还可以使得如果第二挡位是车辆的车轮向前移动的挡位，则至少一个处理器确定第二挡位为不合适。

计算机可执行指令还可以进一步使得至少一个处理器响应于确定第二挡位为不合适而进行控制以施加制动。

注视信息可以包括指示用户正在向下观看或者正在朝向用户设备观看的信息，并且计算机可执行指令可以进一步使得如果第二挡位是导致车辆移动的挡位，则至少一个处理器确定第二挡位为不合适。

计算机可执行指令还可以进一步使得至少一个处理器响应于确定第二挡位为不合适而控制忽略从第一挡位到第二挡位的换挡。

注视信息可以包括指示用户正在朝向前挡风玻璃观看的信息，并且计算机可执行指令还可以使得如果第二挡是使得车辆向后移动的挡位，则至少一个处理器确定第二挡为不合适。

计算机可执行指令还可以进一步使得至少一个处理器响应于确定第二挡位为不合适而控制以施加制动。

计算机可执行指令还可以使得至少一个处理器基于注视信息确定是否换挡至与第二挡位不同的第三挡位，并且基于注视信息响应于确定到第三挡位的换挡而将车辆换挡至第三挡位。

计算机可执行指令可进一步使至少一个处理器通过向用户输出听觉反馈、显示的反馈和触觉反馈中的至少一个来向用户通知第二挡位可能不合适，从而执行对应于不合适的第二挡位的校正动作。

历史注视信息可以包括用户的动作、视觉信息位置、目标名称，注视位置、目标上的停留时间、不同扫视的数量和总停留时间中的至少一个。

从示例性实施例的以下详细描述和附图，示例性实施例的其它目的、优点和新颖特征将变得更加明显。

附图说明

图1示出根据示例性实施例的用于基于用户的注视来确定换挡是否合适的设备的框图；

图2示出了根据示例性实施例的基于用户的注视来确定换挡是否合适的方法的流程图；以及

图3示出了根据示例性实施例的一方面的换挡器的示例图示。

具体实施方式

现在将参照附图中的图1至图3详细描述用于基于用户的注视来确定换挡是否为意图的、无意的、合适的或不合适的方法和设备，附图中相同的附图标记始终表示相同的元件。

以下公开将使本领域技术人员能够实践本发明构思。然而，在本文中公开的示例性实施例仅仅是示例性的，并不将本发明构思限制于在本文中所描述的示例性实施例。此外，典型地应当将每个示例性实施例的特征或方面的描述视为可用于其他示例性实施例的方面。

还应该理解的是，在本文中陈述的是，第一元件“连接到”、“形成在…上”或“设置在”第二元件上时，第一元件可以直接连接到、直接形成或直接设置在第二元件上或第一元件和第二元件之间可以存在插入元件，除非声明第一元件“直接”连接到、形成在第二元件上或设置在第二元件上。另外，如果第一元件配置为“接收”来自第二元件的信息，则第一元件可以直接从第二元件接收信息、经由总线接收信息、经由网络接收信息，或者经由中间元件接收信息，除非第一元件被指示为从第二元件“直接”接收信息。

贯穿本公开，可以将所公开的一个或多个元件组合成单个装置或组合成一个或多个装置。另外，可以在单独的装置上提供单独的元件。

诸如卡车的车辆可以包括操作者可以移动或控制以改变车辆的挡位的换挡装置。换挡装置或换挡器的示例可以包括旋转拨盘、手动杆、换挡把手等。换挡装置可以具有各种设置，例如驻车挡位、倒车挡位、空挡位、驱动挡位、低挡位传动、高挡位传动等。由于在车辆中实施新的换挡装置，存在这样的问题：即，不熟悉特定换挡装置及其相应设置的车辆的操作者可能疏忽地或无意识地选择了错误的挡位或设置。

解决疏忽的或不正确的挡位选择问题的一种方法是根据情境信息确定操作者的意图。情境信息可以包括在使用换挡装置改变车辆的设置或挡位之前、期间和之后的操作者的注视。通过分析操作者的注视，可执行功能以确定不正确的挡位选择、通知操作者不正确的挡位选择，并且以这样的方式控制车辆以防止由车辆的操作者来以不合适的方式或方向移动车辆。

图1示出了根据示例性实施例的基于操作者100(即，检测不合适的挡位选择100的设备)的注视来确定换挡是否合适的设备的框图。如图1所示，根据示例性实施例，检测不合适的挡位选择100的设备包括控制器101、电源102、存储器103、输出端104、注视检测传感器105、用户输入端106、换挡器107和通信装置108。然而，检测不合适的挡位选择100的设备不限于上述配置并且可以配置为包括附加的元件和/或省略上述元件中的一个或多个。

控制器101控制检测不合适的挡位选择100的设备的整体操作和功能。控制器101可以控制检测不合适的挡位选择100的设备的存储器103、输出端104、注视检测传感器105、用户输入端106、换挡器107和通信装置108中的一个或多个。控制器101可以包括处理器、微处理器、中央处理单元(CPU)、图形处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机以及硬件、软件和固件组件的组合中的一个或多个。

电源102向检测到不合适的挡位选择100的设备的存储器103、输出端104、注视检测传感器105、用户输入端106、换挡器107和通信装置108中的一个或多个提供电力。电源102可以包括电池、插座、电容器、太阳能电池、发电机、风能装置、交流发电机等中的一个或多个。

存储器103配置为存储信息并且用于检索由检测不合适的挡位选择100的设备所使用的信息。存储器103可以由控制器101控制以存储和检索车辆情境信息、注视信息、换挡器信息等存储器103可以包括软盘、光盘、CD-ROM(光盘只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、高速缓冲存储器以及适用于存储机器可执行指令的其他类型的介质/机器可读介质中的一个或多个。

注视信息可以包括用户的动作、视觉信息位置、目标名称、注视位置、目标上的停留时间、不同扫视的数量和总停留时间中的一个或多个。注视信息可以指示是否用户正在朝向前挡风玻璃观看、是否用户正在向下观看或者正在观看用户装置，或者是否用户正在朝向车辆的后方、后置摄像头显示器、后视镜或者侧视镜观看。

车辆情境信息可以包括关于车辆控制的状态、车辆组件、车辆动力状态等的信息车辆情境信息可由诸如全球定位系统(GPS)装置、速度计、里程表、发动机传感器、排放传感器、变速箱传感器、轮胎压力传感器、门传感器、后备箱传感器、窗户传感器、内部/外部温度传感器、大气压力传感器、加速度传感器、陀螺仪传感器、触摸力或压力传感器、座椅传感器、乘客传感器、碰撞传感器、外部物体检测器、超声波传感器、雷达传感器、温度计、高度计、电子控制单元(例如电子控制器等)、车灯激活传感器、环境光传感器、汽车钥匙传感器、汽车信息和娱乐装置(即信息娱乐装置)、通信装置等中的一个或多个传感器或装置提供。

车辆情境信息可以包括关于与车辆相关联的事件之中的一个或多个的信息：车辆转向、转向指示器状态、车辆的速度、车辆的位置、发动机事件或状态、排放状态、发动机的每分钟转数、变速器状态、轮胎压力、车门打开/关闭状态、后备箱打开/关闭状态、窗口打开/关闭状态、内部/外部温度、大气压力、车辆的高度、车辆的加速度、用户输入、用户对车辆中的物体或按钮施加的压力、乘客是否在座位上、车辆周围的外部物体的位置和速度、车辆的哪些灯被激活、车钥匙是否存在于车辆中、车辆中的显示器上当前显示的屏幕、白天或夜晚状态、环境光的量、车辆的状态、车辆的设置的状态以及可由用户执行的功能的位置。

换挡器信息可以包括指示包括当前挡位、前一挡位等的换挡器107的状态的信息。换挡器的状态的示例可包括驻车挡位、倒车挡位、空挡位、驱动挡位、低驱动挡位、高驱动挡位和/或其他挡位状态。

用户的动作可以是用户与其中执行用于确定用户的意图的方法的系统的任何可识别的物理交互。例如，用户的动作可以是按钮按压或操作者手的位置，例如，手是否放置在方向盘上或从方向盘上移开。

目标名称可以是用户可能看到的车辆内部中的接口名称或位置名称。例如，挡风玻璃、中控台或门可以是目标名称，因为它们可以被用于分类车辆内部的区域。同一位置可能会被赋予多个目标名称，所有这些名称都可能可以被存储在存储器中。例如，包括燃油表的区域可以同时被描述为“燃油表”、“仪表组”、“仪表板”和“远离挡风玻璃”。目标名称可以根据车辆或系统而变化，在所述车辆或系统中执行用于确定用户的意图的方法。因此，目标名称还可以包括识别包括目标的车辆的类型的信息。

注视位置可以是用户正在观看的位置。在目标上的停留时间可以是用户在观看别的东西之前用来观看给定的位置/目标所耗费的时间量。不同扫视的数量可以是用户在观看另一个区域之后观看某个区域的次数。总的停留时间可以是用于在给定区域处的不同扫视的数量的停留时间的总和。

视觉信息位置可以是呈现视觉信息的用户周围的三维(3D)空间中的物理位置。例如，仪表组可位于用户的眼睛的前方和下方，并且其位置可被指定为距用户的眼睛或其他固定参考点的给定距离(x，y和z)。

输出端104以视觉、听觉或触觉形式输出信息，或者输出信号以使得另一装置以前述形式输出信息。输出端104可以由控制器101控制以向检测到不合适的挡位选择100的设备的用户提供输出。输出端104可以包括扬声器、显示器、平视显示器、触觉反馈装置、振动装置、抽头反馈装置、全息显示器等中的一个或多个。

响应于确定第二挡位为不合适，输出部104可以向用户通知不合适换挡至第二挡位或不合适的第二挡位。响应于确定第二挡位为不合适，输出端104还可输出信号以施加制动，从而响应于确定第二挡位为不合适而忽略从第一挡位换挡至第二挡位，或者基于注视信息响应于确定第三挡位是预期的或者第三挡位为合适而将车辆换挡成第三挡位。

根据一个示例，输出端104可以输出命令以换挡至比已经被选择的更合适的另一个挡位或施加制动。另一个挡位可以由控制器101基于来自车辆传感器的信息来确定。例如，假设车辆处于(D)驱动挡位，并且操作者使用换挡器选择(R)倒车挡位。在该示例中，如果控制器101确定驾驶员正在向前观看(而不是朝后方、朝镜子或朝后置摄像头显示器观看)，则控制器101可以控制输出端104以输出信号以将车辆换挡至(N)空挡位。在这种情况下，换挡器指示向后移动的命令，但注视信息指示操作者希望向前移动。因此，不要通过将车辆设置为(N)空挡位或(P)驻车挡位来进行移动，或者施加制动为更合适的。

注视检测传感器105配置为检测用户的注视的位置和用户的注视的移动的方向，并且向检测到不合适的挡位选择100的设备和控制器101提供关于位置和方向的信息。注视检测传感器105可以包括红外摄像机、摄像机、近红外摄像机、主动光摄像机、超声波传感器、雷达装置等中的一个或多个。注视检测传感器105可以将信息提供给控制器101以对该信息进行处理，使得控制器101可以基于用户的注视的位置、用户的位置以及用户的注视的移动的方向中的一个或多个执行功能。

用户输入端106配置为向检测到不合适的挡位选择100的设备提供输入信息和命令。用户输入端106可以被用于向控制器101提供用户输入等。用户输入端106可以包括触摸屏、键盘、软键盘、按钮、运动检测器、语音输入检测器、麦克风、摄像机、触控板、鼠标、触摸板等中的一个或多个。

换挡器107配置成接收操作者输入以改变车辆的挡位。换挡器107可以接收信号以忽略来自控制器101的挡位的变化。另外，换挡器107可以接收来自控制器101的信号以从当前的挡位变换到由车辆操作者所期望的挡位或在基于诸如注视信息和其它车辆传感器信息等环境的情况下合适的挡位。

通信装置108可以由检测不合适的挡位选择100以根据各种通信方法与各种类型的外部设备进行通信的设备使用。通信装置108可以被用于向控制器101和检测不合适的挡位选择100的设备提供注视信息、车辆情境信息、换挡器信息等。

通信装置108可以包括各种通信模块，诸如广播接收模块、近场通信(NFC)模块、GPS模块和无线通信模块。广播接收模块可以包括包括用于接收地面广播信号的天线、解调器以及均衡器的地面广播接收模块和数字多媒体广播(DMB)模块以接收和处理DMB广播信号。NFC模块是根据NFC方法与位于附近距离处的外部设备进行通信的模块。GPS模块是从GPS卫星接收GPS信号并检测当前位置的模块。无线通信模块是通过使用诸如Wi-Fi或IEEE通信协议的无线通信协议连接到外部网络并与外部网络通信的模块。无线通信模块还可以包括移动通信模块，该移动通信模块访问移动通信网络并根据诸如第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、蓝牙或ZigBee等各种移动通信标准执行通信。

根据示例性实施例，检测不合适的挡位选择100的设备的控制器101配置为：检测从第一挡位换挡至接合第二挡位；接收与用户的注视相关联的注视信息；基于注视信息确定第二挡位是否为不合适，以及响应于确定第二挡位为不合适，从而进行控制以执行对应于不合适的第二挡位的校正动作。

控制器101可以配置为如果第二挡位是车辆的车轮向前移动的挡位，则确定第二挡位为不合适并且注视信息包括指示用户正在朝向车辆的后方、后置摄像头显示器、后视镜或侧视镜观看的信息，并响应于确定第二挡位为不合适而控制以施加制动。

控制器101可以配置为如果第二挡位是使车辆移动的挡位，则确定第二挡位为不合适并且注视信息包括指示用户正在向下观看或正在观看用户装置的信息并且响应于确定第二挡位为不合适而控制忽视从第一挡位到第二挡位的换挡。

控制器101可以配置成如果第二挡位是使车辆向后移动的挡位，则确定第二挡位为不合适，并且注视信息包括指示用户正在朝向前挡风玻璃观看的信息并且响应于确定第二挡位为不合适而控制以施加制动。

控制器101可以配置为基于注视信息确定与第二挡位不同的第三挡位是否有意的或合适的，并且基于注视信息响应于确定换挡至第三挡位而将车辆换挡至第三挡位。

控制器101可以配置为通过向用户通知第二挡位可能不合适而执行对应于不合适的第二挡位的校正动作。控制器101可以通过控制向用户输出听觉反馈、显示的反馈和触觉反馈中的至少一个来通知用户。

图2示出根据示例性实施例的基于用户的注视来确定换挡是否合适的方法的流程图。图2的方法可以由检测不合适的挡位选择100的设备执行，或者可以被编码到计算机可读介质中作为可由计算机执行以执行该方法的指令。

参考图2，在操作S210中接收与用户或操作者的注视相关联的注视信息。注视信息可以被分析以确定操作者正在看向何处或操作者的意图。在操作S220中，检测从第一挡位换挡至接合第二挡位的换挡。该换挡在换挡器处检测到并且可以是从驻车挡位到倒车挡位的、从倒车挡位到驱动挡位的、从驱动挡位或倒车挡位到驻车挡位的换挡等。

在检测到换挡之后，在操作S230中基于注视信息确定第二挡位是否为不合适。例如，注视信息可以指示操作者或用户正在向前看，并且第二挡位可以是倒车挡位，并且反之亦然。在操作S240中，响应于确定挡位不合适，可以执行对应于不合适的第二挡位的校正动作和/或可以向操作者或用户通知不合适地换挡至第二挡位。

图3示出了根据示例性实施例的一个方面的换挡器的示例图示。参考图3，换挡器301示出了分离用于不同挡位设置302的物理位置的机械换挡器的示例。换挡器301上的挡位设置302可以包括(P)驻车挡位、(R)倒车挡位、(N)空挡位和(D)驱动挡位。然而，将换挡器301移动到P设定的位置的操作者可能意外地将其置于R设定。因此，基于用户101的注视来检测不合适的挡位选择的设备可以通过向操作者或用户通知换挡器处于R并且用户意图将车辆设置为P来执行对应于不合适的第二挡位的校正动作。

换挡器303显示了电子换挡器的一个示例。换挡器303上的挡位设置304可以包括(P)驻车挡位、(R)倒车挡位、(N)空挡位和(D)驱动挡位。换挡器303响应于换挡器暂时被移位而通过电子地改变车辆的挡位而进行操作。然而，换挡器被移位后，它会回到其初始位置。因此，操作者可能已经意图将换挡器303移动到驱动装置的挡位设置304，但是可能不会将其移位到正确方向，或者可能不会将其移位所需的次数以改变电子挡位设置。因此，基于用户101的注视来检测不合适的挡位选择的设备可以通过通知操作者或用户换挡器处于R并且用户意图讲车辆设置为P来执行对应于不合适的第二挡位的校正动作。

在本文中所公开的过程、方法或算法可以交付给处理装置、控制器或计算机/由处理装置、控制器或计算机执行，其可以包括任何现有的可编程电子控制装置或专用电子控制装置。类似地，所述过程、方法或算法可以作为可由控制器或计算机以多种形式执行的数据和指令进行存储，所述形式包括但不限于永久存储在不可写存储介质(诸如ROM装置)上的信息以及可更改地存储在可写存储介质，如软盘、磁带、CD、RAM装置以及其他磁和光介质的信息。所述过程、方法或算法也可以在软件可执行对象中实现。替代性地，可以使用诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或其他硬件组件或者装置或硬件、软件和固件组件的组合等合适的硬件组件来全部或部分地实现所述过程、方法或算法。

以上参照附图描述了一个或多个示例性实施例。上面描述的示例性实施例应该仅被认为是描述性的而不是为了限制的目的。此外，示例性实施例可以在不脱离由所附权利要求所限定的发明构思的精神和范围的情况下进行修改。

Claims (10)

1.一种用于基于用户的注视来检测不合适的挡位选择的设备，所述设备包括：

包括计算机可执行指令的至少一个存储器；以及

至少一个处理器，其配置为读取并执行所述计算机可执行指令，所述计算机可执行指令使得所述至少一个处理器：

检测从第一挡位换挡至接合第二挡位；

接收与所述用户的所述注视相关联的注视信息；

基于所述注视信息确定所述第二挡位是否不合适；以及

响应于确定所述第二挡位不合而执行对应于所述不合适的第二挡位的校正动作。

2.根据权利要求1所述的设备，其中所述注视信息包括指示所述用户正朝向车辆的后方、后置摄像头显示器，后视镜或侧视镜观看的信息，并且

其中，如果所述第二挡位是车辆的车轮向前移动的挡位，则所述计算机可执行指令还使所述至少一个处理器确定所述第二挡位不合适。

3.根据权利要求2所述的设备，其中，所述计算机可执行指令还响应于确定所述第二挡位不合适而使得所述至少一个处理器控制以施加制动。

4.根据权利要求1所述的设备，其中所述注视信息包括指示所述用户正在向下观看或正在观看用户装置的信息，

其中，如果所述第二挡位是使车辆移动的挡位，则所述计算机可执行指令还使得所述至少一个处理器确定所述第二挡位不合适。

5.根据权利要求4所述的设备，其中，所述计算机可执行指令还响应于确定所述第二挡位不合适而使所述至少一个处理器控制以忽视从所述第一挡位到所述第二挡位的换挡。

6.根据权利要求1所述的设备，其中所述注视信息包括指示所述用户正朝向前挡风玻璃观看的信息，并且

其中，如果所述第二挡位是使车辆向后移动的挡位，则所述计算机可执行指令还使得所述至少一个处理器确定所述第二挡位不合适。

7.根据权利要求6所述的设备，其中，所述计算机可执行指令还响应于确定所述第二挡位不合适而使所述至少一个处理器控制以施加制动。

8.根据权利要求1所述的设备，其中，所述计算机可执行指令还基于所述注视信息使得所述至少一个处理器确定是否换挡至与所述第二挡位不同的第三挡位，并且基于所述注视信息响应于确定换挡至所述第三挡位而将所述车辆换挡至所述第三挡位。

9.根据权利要求1所述的设备，其中所述计算机可执行指令还使得所述至少一个处理器通过将听觉反馈、显示的反馈和触觉反馈中的至少一个输出给所述用户来通知所述用户所述第二挡位可能不合适来执行对应于所述不合适的第二挡位的所述校正动作。

10.根据权利要求1所述的设备，其中所述历史注视信息包括所述用户的动作、视觉信息位置、目标名称、注视位置、在目标上的停留时间、不同扫视的数量和总停留时间中的至少一个。