CN107526431A - 用于预测视觉注意力的目标的设备及方法 - Google Patents

用于预测视觉注意力的目标的设备及方法 Download PDF

Info

Publication number
CN107526431A
CN107526431A CN201710412824.3A CN201710412824A CN107526431A CN 107526431 A CN107526431 A CN 107526431A CN 201710412824 A CN201710412824 A CN 201710412824A CN 107526431 A CN107526431 A CN 107526431A
Authority
CN
China
Prior art keywords
user
information
vehicle
stared
staring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710412824.3A
Other languages
English (en)
Other versions
CN107526431B (zh
Inventor
D·A·卡内拉
J·乔
S·A·沃登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN107526431A publication Critical patent/CN107526431A/zh
Application granted granted Critical
Publication of CN107526431B publication Critical patent/CN107526431B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

提供了一种用于跟踪用户的凝视的设备。该设备包括:存储器,其包括计算机可执行指令;以及处理器,其读取并执行计算机可执行指令。这些指令使处理器:接收与用户的凝视相关联的凝视信息;基于凝视信息,确定与用户的凝视相关联的改变信息是否大于阈值;以及响应于确定改变信息大于阈值,基于运动学模型来预测用户的凝视的凝视向量以及用户的凝视的凝视目标的位置中的至少一者。凝视跟踪设备可在车辆中用于基于车辆的用户的凝视来运行车辆功能或更新凝视建模数据库。

Description

用于预测视觉注意力的目标的设备及方法
介绍
符合示例性实施例的设备及方法涉及凝视跟踪及检测。更具体而言,符合示例性实施例的设备及方法涉及预测用户的凝视或用户的视觉注意力的目标。
发明内容
一个或多个示例性实施例通过提供一种凝视跟踪设备来解决上面的问题。更具体而言,一个或多个示例性实施例提供一种凝视跟踪设备,甚至当用户的凝视指向其中传感器无法检测用户的凝视或其检测用户凝视的能力有限的区域时,该凝视跟踪设备也能够跟踪用户的凝视并更精确地预测用户的凝视的目标。
根据示例性实施例的一方面,提供了一种用于跟踪车辆中的用户的凝视的方法。该方法包括接收与用户的凝视相关联的凝视信息;基于该凝视信息,确定与用户的凝视相关联的改变信息是否大于阈值;以及响应于确定该改变信息大于阈值,基于运动学模型来预测用户的凝视的凝视向量以及用户的凝视的凝视目标的位置中的至少一者。
响应于接收凝视信息的多个样本来运行确定与用户的凝视相关联的改变信息是否大于阈值。
预测凝视向量可包括确定所预测凝视向量是否对应于与功能相关联的位置;响应于确定所预测凝视向量对应于与功能相关联的位置,基于历史使用信息以及车辆环境信息中的至少一者来确定所预测凝视向量对应于与功能相关联的位置的可能性;以及基于所确定的可能性来执行该功能。
历史使用信息可包括以下中的至少一者:用户先前所启动的功能、从该凝视向量开始在预定阈值内用户的先前所存储的凝视向量、用户对功能进行启动的次数、用户先前所定向的位置以及用户先前已对位置进行定向的次数。
车辆环境信息可包括与以下中的至少一者有关的信息:与车辆相关联的事件、车辆的转向、转向指示器状态、车辆的速度、车辆的位置、发动机事件或状态、排放状态、发动机的每分钟转数、变速器状态、轮胎压力、门打开/关闭状态、行李箱打开/关闭状态、窗口打开/关闭状态、内部/外部温度、大气压、车辆的加速、用户输入、用户对车辆中的物体或按钮所施加的压力、乘客是否处于座椅中、车辆周围的外部物体的位置及速度、与车辆的哪些灯被激活有关的信息、汽车钥匙是否存在于车辆中、以及在车辆中的显示器上当前所显示的屏幕、车辆的状态、车辆的设置的状态、用户将要察觉的可识别视觉刺激以及可由用户执行的功能的位置。
预测凝视目标的位置可包括确定所预测位置的坐标是否处于可检测区域内;响应于确定坐标处于可检测区域内,计算所预测位置与凝视目标的位置之间的差别并基于所计算差别来更新运动学模型;以及响应于确定坐标处于可检测区域之外,基于所预测位置来执行功能。
凝视信息可包括用户的凝视的坐标信息以及用户的凝视的定时信息。
可基于坐标信息以及定时信息来计算运动学模型。
阈值可以是用户的凝视是否处于其中用户的凝视可在特定精确度内跟踪的区域之外的指示符。
根据另一示例性实施例的一方面,提供了一种包括指令的非暂时性计算机可读介质,这些指令可由计算机执行以运行用于跟踪车辆中的用户的凝视的方法。
根据另一示例性实施例的一方面,提供了一种用于跟踪用户的凝视的设备。该设备包括至少一个存储器,其包括计算机可执行指令;以及至少一个处理器,其被配置成读取并执行计算机可执行指令。计算机可执行指令使该至少一个处理器:接收与用户的凝视相关联的凝视信息;基于该凝视信息,确定与用户的凝视相关联的改变信息是否大于阈值;以及响应于确定该改变信息大于阈值,基于运动学模型来预测用户的凝视的凝视向量以及用户的凝视的凝视目标的位置中的至少一者。
该至少一个处理器可被配置成响应于接收凝视信息的多个样本来确定与用户的凝视相关联的改变信息是否大于阈值。
预测凝视向量可包括确定所预测凝视向量是否对应于与功能相关联的位置;响应于确定所预测凝视向量对应于与功能相关联的位置,基于历史使用信息以及车辆环境信息中的至少一者来确定所预测凝视向量对应于与功能相关联的位置的可能性;以及基于所确定的可能性来执行该功能。
历史使用信息可包括以下中的至少一者:用户先前所启动的功能、从该凝视向量开始在预定阈值内用户的先前所存储的凝视向量、用户对功能进行启动的次数、用户先前所定向的位置以及用户先前已对位置进行定向的次数。
车辆环境信息可包括与以下中的至少一者有关的信息:与车辆相关联的事件、车辆的转向、转向指示器状态、车辆的速度、车辆的位置、发动机事件或状态、排放状态、发动机的每分钟转数、变速器状态、轮胎压力、门打开/关闭状态、行李箱打开/关闭状态、窗口打开/关闭状态、内部/外部温度、大气压、车辆的加速、用户输入、用户对车辆中的物体或按钮所施加的压力、乘客是否处于座椅中、车辆周围的外部物体的位置及速度、与车辆的哪些灯被激活有关的信息、汽车钥匙是否存在于车辆中、以及在车辆中的显示器上当前所显示的屏幕、车辆的状态、车辆的设置的状态、用户将要察觉的可识别视觉刺激以及可由用户执行的功能的位置。
预测凝视目标的位置可包括:确定所预测位置的坐标是否处于可检测区域内;响应于确定坐标处于可检测区域内,计算所预测位置与凝视目标的位置之间的差别并基于所计算差别来更新运动学模型;以及响应于确定坐标处于可检测区域之外,基于所预测位置来执行功能。
凝视信息可包括用户的凝视的坐标信息以及用户的凝视的定时信息。
可基于坐标信息以及定时信息来计算运动学模型。
阈值可以是用户的凝视是否处于其中用户的凝视可在特定精确度内跟踪的区域之外的指示符。
特定精确度可以是三度或更少。
通过以下对示例性实施例以及附图的详细描述,示例性实施例的其他目的、优点及新颖特征将变得更加显而易见。
附图说明
图1显示了根据示例性实施例的凝视跟踪设备的方框图;
图2显示了根据示例性实施例的用于预测视觉注意力的目标的方法的流程图;
图3显示了根据示例性实施例的一方面的用于预测凝视向量的流程图;以及
图4显示了根据示例性实施例的一方面的用于预测凝视目标的流程图。
具体实施方式
用于跟踪用户的凝视或用户的视觉注意力的设备使用传感器,这些传感器检测用户所完成的动作并输出对应于用户的动作的信息。来自传感器的信息接着用于确定与用户的凝视相关联的信息。例如,当使用眼睛所注视的二维或三维空间中的点来观察时,用户的凝视可指向视觉注意力的目标。然而,凝视跟踪设备在关于跟踪凝视及确定用户的凝视目标的精确度方面仍然受到限制。因此,需要一种能够更加精确地跟踪用户的凝视并确定用户的凝视的目标的凝视跟踪设备。
现在将参照附图中的图1至图4来详细描述一种凝视跟踪设备及其方法,在整个附图中相同的参考编号指代相同的元件。以下公开内容将会使得本领域的技术人员能够实施本发明构思。然而,本文所公开的示例性实施例仅仅是示例性的,而并非将本发明构思限于本文所述的示例性实施例。此外,对每一示例性实施例的特征或方面的描述通常应被视为可用于其他示例性实施例的方面。
还应理解,在本文指定第一元件“连接至”第二元件、“形成于第二元件上”或“设置于第二元件上”的情况下,第一元件可直接连接至第二元件、直接形成于第二元件上或直接设置于第二元件上或者在第一元件与第二元件之间可存在中间元件,除非指定第一元件“直接”连接至第二元件、形成于第二元件上或设置于第二元件上。另外,如果第一元件被配置成从第二元件“接收”信息,第一元件可直接从第二元件接收信息、经由总线接收信息、经由网络接收信息或经由中间元件接收信息,除非指出第一元件“直接”从第二元件接收信息。
在整个公开内容中,所公开的元件中的一个或多个可以组合到单个装置中或组合到一个或多个装置中。另外,个别元件可设置在各自的装置上。
图1显示了根据示例性实施例的凝视跟踪设备100的方框图。如图1所示,根据示例性实施例的凝视跟踪设备100包括控制器101、电源102、存储器103、输出104、凝视检测传感器105、用户输入106、车辆状态输入107以及通信装置108。然而,凝视跟踪设备100并不限于上述配置并且可被配置成包括附加的元件及/或省去上述元件中的一个或多个。
控制器101控制凝视跟踪设备100的整体操作及功能。控制器101可控制凝视跟踪设备100的存储器103、输出104、凝视检测传感器105、用户输入106、车辆状态输入107以及通信装置108中的一个或多个。控制器101可包括以下中的一个或多个:处理器、微处理器、中央处理单元(CPU)、图形处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机以及硬件、软件及固件组件的组合。
电源102向凝视跟踪设备100的存储器103、输出104、凝视检测传感器105、用户输入106、车辆状态输入107以及通信装置108中的一个或多个提供电力。电源102可包括以下中的一个或多个:电池、输出口、电容器、太阳能电池、发电机、风能装置、交流发电机等。
存储器103被配置成存储信息并检索凝视跟踪设备100所使用的信息。存储器103可由控制器101控制以存储并检索车辆环境信息、历史使用信息等。该存储器还可存储预测模型或预测模型数据库,其包含与用户的凝视模式有关的信息以及与用户的凝视模式相关联的功能。存储器103可包括以下中的一个或多个:软盘、光盘、CD-ROM(光盘只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦可编程只读存储器)、EEPROM(电可擦可编程只读存储器)、磁卡或光卡、闪存、高速缓冲存储器以及适于存储机器可执行指令的其他类型的介质/机器可读介质。
输出104以视觉、听觉或触觉形式输出信息。输出104可由控制器101控制以向凝视跟踪设备100的用户提供输出。输出104可包括以下中的一个或多个:扬声器、显示器、头戴显示器、触觉反馈装置、振动装置、抽头反馈装置、全息影像显示器等。
凝视检测传感器105被配置成检测用户的凝视的位置以及用户的凝视的移动方向并向凝视跟踪设备100及控制器101提供与位置及方向有关的信息。凝视检测传感器105可包括以下中的一个或多个:红外摄象机、摄象机、近红外摄象机、有源光摄象机、超声波传感器、雷达装置等。凝视检测传感器105可向控制器101提供信息以进行处理,使得控制器可基于用户的凝视的位置、用户的位置、用户的凝视的移动方向以及用户的凝视的所预测目标中的一个或多个来运行功能。
用户输入106被配置成向凝视跟踪设备100提供输入信息及命令。用户输入106可用于向控制器101提供用户输入等。用户输入106可包括以下中的一个或多个:触摸屏、键盘、软质小键盘、按钮、运动检测器、语音输入检测器、麦克风、摄象机、跟踪板、鼠标、触摸板等。
车辆状态输入107被配置成接收车辆信息并向凝视跟踪设备100提供车辆信息。车辆状态输入107可用于向控制器101提供车辆环境信息等。车辆环境信息可从捕获关于车辆的信息的传感器或装置接收,可从存储器103读取,其中车辆环境信息经由通信装置108存储或接收。车辆环境信息可由诸如以下中的一个或多个之类的传感器或装置提供:全球定位系统(GPS)装置、速度计、里程表、发动机传感器、排放传感器、变速器传感器、轮胎压力传感器、门传感器、行李箱传感器、窗口传感器、内部/外部温度传感器、大气压传感器、加速传感器、回转传感器、触摸力或压力传感器、座椅传感器、乘客传感器、碰撞传感器、外部物体检测器、超声波传感器、雷达传感器、温度计、环境光线传感器、雨传感器、高度计、电子控制单元(例如电子控制器等)、车灯激活传感器、汽车钥匙传感器、汽车信息及娱乐装置(即信息娱乐装置)、通信装置等。
车辆环境信息可包括与以下中的一个或多个有关的信息:与车辆相关联的事件、车辆的转向、转向指示器状态、车辆的速度、车辆的位置、发动机事件或状态、排放状态、发动机的每分钟转数、变速器状态、轮胎压力、门打开/关闭状态、行李箱打开/关闭状态、窗口打开/关闭状态、内部/外部温度、天气、雨、大气压、车辆的高度、车辆的加速、用户输入、用户对车辆中的物体或按钮所施加的压力、乘客是否处于座椅中、车辆周围的外部物体的位置及速度、车辆的哪些灯被激活、汽车钥匙是否存在于车辆中、在车辆中的显示器上当前所显示的屏幕、日间或夜间状态、光量、车辆的状态、车辆的设置的状态、用户将要察觉的可识别视觉刺激以及可由用户执行的功能的位置。
通信装置108可由凝视跟踪设备100使用以根据各种通信方法而与各种类型的外部装置通信。通信装置108可用于向控制器101及凝视跟踪设备100提供凝视信息、车辆环境信息、历史使用信息等。通信装置108可由控制器101使用以发送命令来运行功能。
通信装置108可包括各种通信模块,诸如广播接收模块、近场通信(NFC)模块、GPS模块以及无线通信模块。广播接收模块可包括:地面广播接收模块,其包括用以接收地面广播信号的天线、解调器以及均衡器;以及数字多媒体广播(DMB)模块,其用以接收并处理DMB广播信号。NFC模块是根据NFC方法而与位于附近距离处的外部设备通信的模块。GPS模块是从GPS卫星接收GPS信号并检测当前位置的模块。无线通信模块是通过使用无线通信协议(诸如Wi-Fi或IEEE通信协议)而连接至外部网络并与外部网络通信的模块。无线通信模块可进一步包括移动通信模块,其访问移动通信网络并根据各种移动通信标准(诸如第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、蓝牙或ZigBee)来完成通信。
根据示例性实施例,凝视跟踪设备100的控制器101被配置成从凝视检测传感器105接收与用户的凝视相关联的凝视信息。基于该凝视信息,控制器101确定与用户的凝视相关联的改变信息是否大于阈值。在这种情况下,改变信息可包括向量信息,其指示用户正在注视的方向。响应于确定该改变信息大于阈值,控制器101被配置成基于运动学模型来预测用户的凝视的凝视向量以及用户的凝视的凝视目标的位置中的至少一者。此外,控制器101可被配置成响应于接收凝视信息的多个样本来确定与用户的凝视相关联的改变信息是否大于阈值。
凝视信息可包括用户的凝视的坐标信息以及用户的凝视的定时信息。可基于坐标信息以及定时信息来计算运动学模型。坐标信息以及定时信息可用于确定眼睛移动的速率(例如方向及速度)的大小。使用适当的固定抽样率,如果用户凝视位置的改变大于预定阈值,则可确定正在发生用户的凝视的转变。例如,可基于凝视坐标信息之间的距离来跟踪用户的凝视从一个目标至另一目标位置的转变。换句话说,当凝视坐标之间的距离增大时,可预测从一个凝视目标至另一凝视目标的转变状态并且可基于方向来预测目标,该方向是基于转变状态中的凝视坐标而确定。在另一示例中,可通过使用一段时间内的坐标信息之间的距离的分量来计算运动学模型。尤其,可基于最近取样坐标之间的距离与预定数量的先前坐标样本之间的距离的移动平均值之间的比较来计算运动学模型。
阈值是用户的凝视是否处于从一个固定目标改变至另一固定目标的过程中的指示符。阈值可以是预定恒定值,或可以是使用紧接的之前的样本数据或最近速率值或距离值的滚动平均值而计算的可变值。另外,可基于历史凝视数据来调整阈值。特定精确度可以是一度或更少、三度或更少,或可根据应用或装备而改变。
控制器101可被配置成通过确定所预测凝视向量是否对应于与功能相关联的位置或感兴趣的区域来预测凝视向量,并且响应于确定所预测凝视向量对应于与功能相关联的位置,控制器101被配置成基于历史使用信息以及车辆环境信息中的至少一者来确定所预测凝视向量对应于与功能相关联的位置的可能性。控制器101可接着基于所确定的可能性来进行控制以运行功能或以其他方式执行附加功能。
历史使用信息可以是包括以下中的一个或多个的信息:用户先前所启动的功能、从所检测的凝视向量开始在预定阈值内用户的先前所存储的凝视向量、用户对功能进行启动的次数、用户先前所定向的位置以及用户先前已对位置进行定向的次数。历史使用信息可带有时间标志,并且可依赖时间标志来使历史使用信息与用户的当前动作或凝视信息相互关联。
控制器101可被配置成通过确定所预测位置的坐标是否处于可检测区域内来预测凝视目标的位置,响应于确定坐标处于可检测区域内,控制器101被配置成计算所预测位置与凝视目标的位置之间的差别并基于所计算差别来更新运动学模型。在这种情况下,控制器101还可被配置成基于凝视目标的位置来执行或运行功能。控制器101还可被配置成响应于确定坐标处于可检测区域之外基于所预测位置来执行或运行功能。例如,该功能可以是基于用户的凝视模式来更新预测模型或预测模型数据库。
控制器101所运行的功能可以是控制输出104以提供视觉、听觉或触觉反馈中的一个或多个的输出。此外,控制器101所运行的功能可以是经由通信装置108将信息输出至车辆或服务器的另一组件,该另一组件将存储或处理该信息。
根据示例性实施例,控制器101可基于预测用户的凝视位置而运行或执行一个或多个功能以进行控制来运行主动安全措施(诸如制动、维持车辆的车道,前向碰撞避免)、安全通知(诸如指示灯或声音信号)等。例如,功能可以是提供指令以训练驾驶员。用以训练驾驶员的指令可以是关于车辆速度、使用车辆的刹车、对车辆进行转向或控制车辆的组件的指令。在另一示例中,如果车辆速度及转向信息指示发生了车道变更,用户的凝视信息指示完成了肩部(盲点)检查,但未激活转向指示器,则可提供关于转向信号的驾驶员训练。可选地,如果未完成盲点检查,则可提供关于盲点检查的驾驶员训练。另外,可运行的另一功能可以是当遇到特定情况时适应主动安全措施,及/或随着时间的过去使界面适应于用户的凝视。
根据示例性实施例,控制器101所运行的功能可以是进行控制以例如通过为车辆的用户提供用户界面来将信息输出至显示器。例如,控制器101可被配置成识别何时驾驶员注视指向中央组套屏幕并基于用户的凝视位置而在设定的限制内使显示器略微变亮或在中央组套处显示信息。根据另一示例,控制器101可被配置成识别何时驾驶员注视指向中央组套屏幕并基于车辆环境信息而显示特定或定向信息。根据又一示例,控制器101可被配置成识别何时驾驶员注视指向特定按钮或元件并使特定用户界面元件(例如软按钮)变亮。在又一示例中,控制器101可被配置成如果驾驶员的凝视未指向适当位置(诸如在驾驶时前面的道路、在倒退时后面的道路,在转向或变更车道之前的盲点),则警告驾驶员。此外,可基于用户的凝视位置来免除通知。
图2显示了根据示例性实施例的用于预测视觉注意力的目标的方法的流程图。图2的方法可通过凝视跟踪设备100来完成或可作为指令被编码到计算机可读介质中,这些指令可由计算机执行以完成该方法。参照图2,在操作S210中接收与用户的凝视相关联的凝视信息。基于该凝视信息,在操作S220中确定与用户的凝视相关联的改变信息是否大于阈值。如果在操作S220-是中确定该改变信息大于阈值,则在操作S230中预测用户的凝视的凝视向量以及用户的凝视的凝视目标的位置中的至少一者。如果在操作S220-否中确定该改变信息不大于阈值,则该方法返回以在操作S210中接收与用户的凝视相关联的凝视信息。
图3显示了根据示例性实施例的一方面的用于预测凝视向量的方法的流程图。参照图3,在操作S310中确定凝视向量是否对应于与功能相关联的位置。如果确定凝视向量对应于与功能相关联的位置,则方法继续至S320,否则该方法结束。在操作S320中,响应于确定凝视向量对应于与功能相关联的位置,基于历史使用信息以及车辆环境信息中的至少一者来计算凝视向量对应于与功能相关联的位置的可能性。然后在操作S330中基于所确定的可能性来运行功能。例如,如果一个或多个功能的可能性值满足或超过阈值,可运行该一个或多个功能。在另一示例中,如果多个功能对应于所预测凝视向量,可运行具有最大可能性值的一个或多个功能。
图4显示了根据示例性实施例的一方面的用于预测凝视目标的方法的流程图。参照图4,在操作S410中确定所预测位置的坐标是否处于可检测区域内。如果确定所预测位置的坐标处于可检测区域内,在操作S420中计算所预测位置与凝视目标的位置之间的差别并基于所计算差别来更新运动学模型。在这种情况下,还可基于凝视目标的位置来执行功能。如果确定所预测位置的坐标处于可检测区域之外,在操作S430中基于所预测位置来运行功能。例如,所预测位置的坐标可以是距可检测区域预定距离或阈值的位置或构成可检测区域的一个或多个坐标。可选地,可在操作S430中基于所预测位置及所确定的可能性来运行功能。在这种情况下,基于历史使用信息以及车辆环境信息中的至少一者来计算所确定的可能性。
本文所公开的过程、方法或算法可交付给处理装置、控制器或计算机/可通过处理装置、控制器或计算机来实施,该处理装置、控制器或计算机可包括任何现有的可编程电子控制装置或专用电子控制装置。类似地,过程、方法或算法可以多种形式作为数据及可由控制器或计算机执行的指令进行存储,这些形式包括但不限于永久存储于不可写存储介质(诸如ROM装置)上的信息以及可变存储于可写存储介质(诸如软盘、磁带、CD、RAM装置以及其他磁性及光学介质)上的信息。这些过程、方法或算法还可在软件可执行对象中实施。可选地,这些过程、方法或算法可以使用适当的硬件组件(诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或其他硬件组件或装置,或硬件、软件及固件组件的组合)整体地或部分地实施。
上文参照附图描述了一个或多个示例性实施例。上述示例性实施例应仅被认为是描述性的,而不是为了限制的目的。此外,可在不背离由以下权利要求书限定的本发明构思的精神及范围的条件下修改示例性实施例。

Claims (10)

1.一种用于跟踪用户的凝视的设备,所述设备包括:
至少一个存储器,其包括计算机可执行指令;以及
至少一个处理器,其被构造成读取并执行所述计算机可执行指令,所述计算机可执行指令使所述至少一个处理器:
接收与所述用户的所述凝视相关联的凝视信息;
基于所述凝视信息,确定与所述用户的所述凝视相关联的改变信息是否大于阈值;以及
响应于确定所述改变信息大于所述阈值,基于运动学模型来预测所述用户的所述凝视的凝视向量以及所述用户的所述凝视的凝视目标的位置中的至少一者。
2.根据权利要求1所述的设备,其中所述至少一个处理器被构造成响应于接收所述凝视信息的多个样本来确定与所述用户的所述凝视相关联的所述改变信息是否大于所述阈值。
3.根据权利要求2所述的设备,其中预测所述凝视向量包括:
确定所预测凝视向量是否对应于与功能相关联的位置;
响应于确定所述所预测凝视向量对应于与所述功能相关联的所述位置,基于历史使用信息以及车辆环境信息中的至少一者来确定所述所预测凝视向量对应于与所述功能相关联的所述位置的可能性;以及
基于所确定的可能性来执行所述功能。
4.根据权利要求3所述的设备,其中所述历史使用信息包括以下中的至少一者:所述用户先前所启动的功能、从所述凝视向量开始在预定阈值内所述用户的先前所存储的凝视向量、所述用户对功能进行启动的次数、所述用户先前所定向的位置以及所述用户先前已对位置进行定向的次数。
5.根据权利要求3所述的设备,其中所述车辆环境信息包括与以下中的至少一者有关的信息:与车辆相关联的事件、车辆的转向、转向指示器状态、车辆的速度、车辆的位置、发动机事件或状态、排放状态、发动机的每分钟转数、变速器状态、轮胎压力、门打开/关闭状态、行李箱打开/关闭状态、窗口打开/关闭状态、内部/外部温度、大气压、车辆的加速、用户输入、用户对车辆中的物体或按钮所施加的压力、乘客是否处于座椅中、所述车辆周围的外部物体的位置及速度、与车辆的哪些灯被激活有关的信息、汽车钥匙是否存在于车辆中、以及在车辆中的显示器上当前所显示的屏幕、车辆的状态、车辆的设置的状态、用户将要察觉的可识别视觉刺激以及可由所述用户执行的功能的位置。
6.根据权利要求2所述的设备,其中所述预测所述凝视目标的所述位置包括:
确定所预测位置的坐标是否处于可检测区域内;
响应于确定所述坐标处于所述可检测区域内,计算所述所预测位置与所述凝视目标的所述位置之间的差别并基于所述所计算差别来更新所述运动学模型;以及
响应于确定所述坐标处于所述可检测区域之外,基于所述所预测位置来执行功能。
7.根据权利要求1所述的设备,其中所述凝视信息包括所述用户的所述凝视的坐标信息以及所述用户的所述凝视的定时信息。
8.根据权利要求7所述的设备,其中所述运动学模型是基于所述坐标信息以及所述定时信息来计算。
9.根据权利要求1所述的设备,其中所述阈值是所述用户的所述凝视是否处于其中所述用户的所述凝视可在特定精确度内跟踪的区域之外的指示符。
10.根据权利要求9所述的设备,其中所述特定精确度是三度或更少。
CN201710412824.3A 2016-06-21 2017-06-05 用于预测视觉注意力的目标的设备及方法 Expired - Fee Related CN107526431B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/188,039 US10095937B2 (en) 2016-06-21 2016-06-21 Apparatus and method for predicting targets of visual attention
US15/188039 2016-06-21

Publications (2)

Publication Number Publication Date
CN107526431A true CN107526431A (zh) 2017-12-29
CN107526431B CN107526431B (zh) 2020-09-29

Family

ID=60481191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710412824.3A Expired - Fee Related CN107526431B (zh) 2016-06-21 2017-06-05 用于预测视觉注意力的目标的设备及方法

Country Status (3)

Country Link
US (1) US10095937B2 (zh)
CN (1) CN107526431B (zh)
DE (1) DE102017113324A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111565978A (zh) * 2018-01-29 2020-08-21 华为技术有限公司 主预览区域和基于视线的驾驶员分心检测

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US20180007422A1 (en) * 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Apparatus and method for providing and displaying content
DE102017207960A1 (de) * 2017-05-11 2018-11-15 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
US11542731B2 (en) * 2018-07-03 2023-01-03 Magna Closures Inc. Smart handle assembly with force-based sensor and backup energy source
US11749032B2 (en) * 2021-05-17 2023-09-05 Toyota Research Institute, Inc. Systems and methods for adapting notifications according to component monitoring
CN116682071B (zh) * 2023-08-04 2023-11-10 浙江大华技术股份有限公司 商品关注信息分析方法、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102887121A (zh) * 2011-07-19 2013-01-23 通用汽车环球科技运作有限责任公司 将注视位置映射到车辆中的信息显示器的方法
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CN104200192A (zh) * 2013-01-18 2014-12-10 通用汽车环球科技运作有限责任公司 驾驶员注视检测系统
CN104216508A (zh) * 2013-05-31 2014-12-17 中国电信股份有限公司 通过眼动跟踪技术进行功能键操作的方法和装置
CN105373218A (zh) * 2014-08-13 2016-03-02 英派尔科技开发有限公司 用于改进眼睛跟踪的场景分析
CN105539146A (zh) * 2014-10-24 2016-05-04 通用汽车环球科技运作有限责任公司 用在车辆上的包含眼睛跟踪装置的系统和方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2504492A (en) * 2012-07-30 2014-02-05 John Haddon Gaze detection and physical input for cursor symbol
US9619021B2 (en) * 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
GB201305726D0 (en) * 2013-03-28 2013-05-15 Eye Tracking Analysts Ltd A method for calibration free eye tracking
KR102404559B1 (ko) * 2014-03-19 2022-06-02 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 눈 시선 추적을 사용하는 의료 디바이스, 시스템, 및 방법
US20160084661A1 (en) * 2014-09-23 2016-03-24 GM Global Technology Operations LLC Performance driving system and method
US9653001B2 (en) * 2015-04-10 2017-05-16 GM Global Technology Operations LLC Vehicle driving aids

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CN102887121A (zh) * 2011-07-19 2013-01-23 通用汽车环球科技运作有限责任公司 将注视位置映射到车辆中的信息显示器的方法
CN104200192A (zh) * 2013-01-18 2014-12-10 通用汽车环球科技运作有限责任公司 驾驶员注视检测系统
CN104216508A (zh) * 2013-05-31 2014-12-17 中国电信股份有限公司 通过眼动跟踪技术进行功能键操作的方法和装置
CN105373218A (zh) * 2014-08-13 2016-03-02 英派尔科技开发有限公司 用于改进眼睛跟踪的场景分析
CN105539146A (zh) * 2014-10-24 2016-05-04 通用汽车环球科技运作有限责任公司 用在车辆上的包含眼睛跟踪装置的系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANUP DOSHI: "Head and eye gaze dynamics during visual attention shifts in complex environments", 《JOUNAL OF VISION》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111565978A (zh) * 2018-01-29 2020-08-21 华为技术有限公司 主预览区域和基于视线的驾驶员分心检测

Also Published As

Publication number Publication date
CN107526431B (zh) 2020-09-29
US10095937B2 (en) 2018-10-09
US20170364760A1 (en) 2017-12-21
DE102017113324A1 (de) 2017-12-21

Similar Documents

Publication Publication Date Title
CN107526431A (zh) 用于预测视觉注意力的目标的设备及方法
US11511598B2 (en) Apparatus and method for controlling air conditioning of vehicle
US20230415645A1 (en) Methods and systems for providing alerts to drivers
US10089871B2 (en) Methods and systems for providing alerts to a driver of a vehicle via condition detection and wireless communications
US20210269045A1 (en) Contextual driver monitoring system
CN110612554B (zh) 用于车辆的智能访问系统和方法
US9501693B2 (en) Real-time multiclass driver action recognition using random forests
US10424176B2 (en) AMBER alert monitoring and support
CN107826069A (zh) 地理编码信息辅助车辆警告
CN111332309B (zh) 驾驶员监视系统及其操作方法
US10525873B2 (en) Turn by turn activation of turn signals
CN109383523B (zh) 用于车辆的辅助驾驶方法和系统
CN110892451A (zh) 检测车辆的驾驶事件的电子装置和方法
US10216269B2 (en) Apparatus and method for determining intent of user based on gaze information
CN108140319A (zh) 停车辅助方法及停车辅助装置
US20220041168A1 (en) Apparatuses, Systems and Methods for Determining Distracted Drivers Associated With Vehicle Driving Routes
CN111415347B (zh) 遗留对象检测方法和装置及交通工具
CN110612236A (zh) 用于车辆的智能事件系统和方法
CN110371018A (zh) 使用其他车辆车灯的信息改善车辆行为
US11577688B2 (en) Smart window apparatus, systems, and related methods for use with vehicles
CN111152792A (zh) 用于确定车辆驾驶者的注意力需求水平的装置和方法
WO2020194584A1 (ja) 物体追跡装置、制御方法、及びプログラム
CN107139724A (zh) 用于车辆的车载屏幕动态显示方法及其车载中控系统
CN112319505B (zh) 自动驾驶换道判断方法、装置、设备及存储介质
US11254270B1 (en) Technologies for using image analysis to facilitate adjustments of vehicle components

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200929

CF01 Termination of patent right due to non-payment of annual fee