CN115703471A - 驾驶员注意力以及手放置系统和方法 - Google Patents

驾驶员注意力以及手放置系统和方法 Download PDF

Info

Publication number
CN115703471A
CN115703471A CN202210878946.2A CN202210878946A CN115703471A CN 115703471 A CN115703471 A CN 115703471A CN 202210878946 A CN202210878946 A CN 202210878946A CN 115703471 A CN115703471 A CN 115703471A
Authority
CN
China
Prior art keywords
hand
steering wheel
driver
vehicle
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210878946.2A
Other languages
English (en)
Inventor
基思·韦斯顿
M·A·麦克尼斯
安德鲁·丹尼斯·莱万多夫斯基
布兰登·戴蒙德
J·巴雷特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN115703471A publication Critical patent/CN115703471A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/20—Steering systems
    • B60W2510/202—Steering torque
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Abstract

本文公开了驾驶员注意力以及手放置系统和方法。一种示例性方法包括基于所述驾驶员的方向盘输入或手‑方向盘接触向车辆的驾驶员提供警告消息。当所述方向盘输入高于阈值时，根据第一方案提供所述警告消息，并且当所述方向盘输入低于阈值并且所述车辆中的相机获得的图像指示驾驶员的至少一只手在所述方向盘上时，根据第二方案提供所述警告消息。

Description

驾驶员注意力以及手放置系统和方法
技术领域
本公开涉及利用图像识别和机器学习来监视驾驶员手在方向盘上的位置的系统和方法。
背景技术
一些车辆可能配备有可监视方向盘接触或输入的驾驶员辅助和/或注意力系统。当驾驶员在某一时间段内未能提供足够的方向盘接触或输入时，系统可警告驾驶员。在一些情况下，检测方向盘接触或输入的传感器可能具有产生误报的操作参数。这些误报可能导致无意中和/或过于频繁地向驾驶员显示警告消息，这可能会因不必要的和过多的弹出消息或警告而降低用户体验。
发明内容
这些系统和方法可用于减少呈现给驾驶员的警告消息的数量或周期性(例如，频率)。这些警告消息可指示驾驶员将他们的手放在方向盘上。虽然这些类型的警告在适当提供时很有价值，但过度提供这些消息可能会给驾驶员带来烦恼。
所述系统和方法可与确保用户的手在方向盘上和/或在正确位置的车辆系统结合使用。一种示例性方法可涉及从车载成像装置捕获图像。可应用图像处理技术来隔离特征和性质(方向盘位置和手位置)。特征可包括手指、指关节、手腕以及当手握持或以其他方式与方向盘接触时它们在方向盘上的取向。
可应用基于边界的算法来识别不同的像素。可使用自适应阈值化技术来处理子集图像，以考虑光照条件变化。然后可应用噪声滤波和图像锐化。可重新应用边缘检测算法以进一步去除不想要的和不必要的图像信息。然后可重新应用噪声滤波和图像锐化。然后可将图像与控制表面上手位置和手角度的已知登记图像的阵列进行比较。然后可计算归一化相关性值矩阵。所得值将表示手-方向盘接触的准确度相关性。然后可针对手方向盘扭矩的阈值重新调谐所述算法，以最大限度地减少误动作和警告。
本公开的示例性手位置监视系统可与电子地平线数据和GPS定位相结合，以确定道路有多笔直以及驾驶员的航向在过去几百米中有多恒定。如果道路笔直，驾驶员一直保持恒定航向，并且驾驶员的手在方向盘上并且正在注视前方的道路，则可降低向驾驶员提供警告的频率。可针对不利的操作/天气条件实现附加逻辑，使得车辆可了解用户何时可能佩戴手套(寒冷天气/刮风/等)或可能影响图像识别准确度/性能的其他手覆盖物。如果用户不喜欢内部相机监视他们的手，则他们可切换到替代方法(使用手-方向盘扭矩来确定驾驶员的手是否在方向盘上)。在一些情况下，手-扭矩方法和图像识别系统可结合使用，其中当手-扭矩值高于阈值时使用手-扭矩，并且当手-扭矩值低于阈值时使用图像识别。
附图说明
关于附图阐述具体实施方式。使用相同的附图标记可指示类似或相同的项。各种实施例可利用除了附图中示出的那些之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。在整个本公开中，根据上下文，单数和复数术语可以可互换地使用。
图1示出了其中可实践本公开的系统和方法的示例性架构。
图2是可根据本公开使用的用于图像处理的示例性方法的流程图。
图3是用于确保驾驶员注意力和手放置分析以减少呈现给驾驶员的警告消息的示例性方法的流程图。
图4是用于确保驾驶员注意力和手放置分析以减少呈现给驾驶员的警告消息的另一示例性方法的流程图。
具体实施方式
现在转到附图，图1描绘了可实现本公开的技术和结构的说明性架构100。架构100包括车辆102。车辆102包括方向盘104、相机106、高级驾驶员辅助系统(ADAS 110)和人机界面(HMI 112)。
驾驶员114可通过将一只或多只手(诸如手116)放在方向盘104上来驾驶车辆102。驾驶员114以可由方向盘输入传感器118确定的手接触和/或压力的形式向方向盘104提供输入。方向盘输入传感器118可包括确定驾驶员何时向方向盘104施加扭矩的扭矩传感器。虽然已设想了扭矩传感器，但可使用用于检测手/方向盘交互的其他方向盘输入传感器，诸如电容传感器、压力传感器等。
通常，车辆102可在方向盘输入不足时向驾驶员提供通知驾驶员的消息。例如，当来自方向盘输入传感器118的信号指示驾驶员注意力不集中(例如，手不在方向盘上)时，可通过HMI 112向用户呈现警告消息以将他们的手放在方向盘上。这些消息可被称为手在方向盘上“HOOD”消息。HMI 112可包括信息娱乐系统、投影到挡风玻璃上的抬头显示器和/或定位在方向盘104后面的驾驶员仪表组。
通常，当手-方向盘扭矩值高于确定的阈值时，不触发警告消息。当手-方向盘扭矩值低于确定的阈值时，可触发警告消息。应当理解，方向盘输入传感器118的灵敏度或操作参数可能导致向驾驶员呈现错误的、无意的和/或过多数量的警告消息。换句话说，手-方向盘扭矩值可能下降到以牛顿每米(或其他可接受单位)为单位测量的阈值以下，从而导致ADAS 110触发警告。
然而，某些情况或驾驶条件不需要驾驶员施加手-方向盘扭矩来维持车辆控制并确保驾驶员注意力，手-方向盘扭矩值可能下降到此阈值以下，从而产生消息。举例来说，当使用手-扭矩值来确定用户的手是否在方向盘上并且驾驶员在没有向方向盘施加足够的扭矩的情况下以平稳的方式操作车辆时，尽管驾驶员注意力集中且处于控制状态，但仍可能会呈现警告消息。
如果车辆行驶的道路相对笔直，则驾驶员可能不需要向方向盘施加扭矩，并且可能会错误地呈现警告消息。当驾驶员允许ADAS 110半自主地控制车辆时，手-方向盘扭矩也可能较低。这些仅是示例，并且不意图进行限制。
在这些情况下或其他类似情况下，尽管方向盘输入传感器118指示驾驶员的手不在方向盘上，但ADAS 110仍可适于确定驾驶员的至少一只手在方向盘上。用于确定驾驶员的手在方向盘上的附加过程可用于确认驾驶员控制车辆并且注意力集中。
在一些情况下，ADAS 110包括处理器120和用于存储指令的存储器122。处理器120执行存储在存储器122中的指令以执行本文公开的方法中的任一种。通常，存储器122可存储方向盘输入传感器处理逻辑126和图像处理逻辑128。当提及由ADAS 110或车辆102执行的动作时，这隐式地涉及由处理器120执行指令。概括地说，ADAS 110可被配置为使用图像识别和机器学习来监视驾驶员的手位置。在一些情况下，ADAS 110可被配置为使用来自方向盘输入传感器118的输入和来自相机106的图像。ADAS 110可使用来自方向盘输入传感器118的信号作为主要或初始输入。然而，当驾驶员对方向盘的输入不足时(例如，手-方向盘扭矩低)时，ADAS 110可处理图像以确定驾驶员的至少一只手是否在方向盘上。这种类型的图像处理可用作确保驾驶员注意力和手/方向盘交互的辅助或附加方法。
相机106可适于获得车辆102的方向盘104周围的区域124的图像。这可包括不仅获得方向盘的图像，而且还获得方向盘104周围的区域的图像，以便识别驾驶员的手何时接触或大致接触方向盘104。虽然已公开一个相机，但ADAS 110可利用来自定位在车辆102的车厢内的各种相机的图像。这些相机中的每一个都可获得方向盘周围区域的图像。
当驾驶员将一只手或两只手放在方向盘上并且正视前方时，ADAS 110可适于使用图像来识别手位置，并结合反馈以最大限度地减少警告消息侵入。因此，可由ADAS 110处理图像，以确保驾驶员正视前方(例如，眼睛注视着道路)并且他们的至少一只手放在方向盘上。
通常，相对于ADAS 110被配置为在无图像处理的情况下执行的方式，测量警告消息的量或周期性的减少。例如，在无图像处理来确定手/方向盘交互的情况下，ADAS 110可能会在数百英里长的典型行程中无意中呈现数十条消息。当根据本公开配置ADAS时，这些消息可减少一半或更少，这取决于驾驶员的实际注意力和/或手/方向盘交互。
在一些情况下，ADAS 110被配置为使用各种算法来执行图像处理。例如，由ADAS110实现的图像识别过程可涉及使用手势公式：
Figure BDA0003763391200000051
该手势公式可用于建立归一化相关性值矩阵，所述归一化相关性值矩阵可用于确定控制表面输入上已知的或登记的手图像与当前经由相机106捕获的手图像之间的相似度。应当理解，fij表示登记/已知手图像的像素地址的亮度值，gij表示来自成像装置的捕获图像的像素地址的亮度值，fm表示登记/已知手图像的平均亮度值，并且gm表示来自成像装置的捕获图像的平均亮度值。
ADAS 110所使用的公式和逻辑可减小被确定为控制表面上的物理手与控制表面上错误地检测到的对象之间的误差程度。在一些情况下，ADAS 110可处理图像以计数并检查紧邻方向盘的手指的数量。
可生成并评估控制表面上不同位置处的图像手位置的阵列以确定方向盘104的单手和双手操作。这将提供围绕控制表面的360°手位置。当相关性值在上述等式的0.85至0.90范围内时，ADAS 110可合理地预测与控制表面的接触。可利用附加滤波器以及上面建立的相关性矩阵来删除噪声。
在一些情况下，ADAS 110可实现称为分割(边缘与区域耦合)的图像处理技术，作为从成像捕获装置接收的图像中提取手图像的主要手段。
图2示出了可由ADAS 110利用的用于图像处理的示例性方法。通常，图像处理逻辑可利用分割技术以及相关性检查和噪声滤波来改善错误指示。
所述方法包括使用车载成像装置(诸如相机)捕获图像的步骤202。所述方法可包括应用图像处理技术来隔离特征和性质的步骤204。例如，图像处理技术可用于确定方向盘位置和手位置。
所述方法可包括应用基于边界的算法来识别图像中的不同像素的步骤206。在一个示例中，基于边界的算法可包括边缘/区域检测，以区分指示方向盘的像素和指示手的像素。在一些情况下，可进一步处理被识别为方向盘或手的像素。可忽略图像的其余部分。因此，在步骤208中，可使用自适应阈值化技术来处理图像(a)的子集以考虑光照条件变化。
所述方法还可包括应用噪声滤波和图像锐化的步骤210。在一些情况下，所述方法可包括重新应用边缘检测算法以进一步去除不想要的和不必要的图像信息的步骤212。任选步骤214包括第二次应用噪声滤波和图像锐化。
接下来，所述方法包括将经处理的图像与控制表面上手位置和手角度的已知登记图像的阵列进行比较的步骤216。因此，将经处理的图像与先前已相对于控制表面(诸如方向盘)上的手位置进行处理和分类的训练图像集进行比较。
所述方法还可包括相对于训练集计算图像的归一化相关性值矩阵的步骤218。所述归一化相关性值矩阵指示经处理的图像与训练集中的一个或多个图像相比的接近程度。应当理解，所得值可表示手-方向盘接触的准确度相关性。使用这些计算值，所述方法可包括基于准确度相关性减少警告消息的数量或周期性的步骤220。也就是说，当图像处理指示驾驶员的手可能在方向盘上时，可减少或消除警告消息。在替代过程中，当驾驶员的手可能在方向盘上时，ADAS可选择性地调整与手-方向盘扭矩相关的阈值以最大限度地减少误动作和警告。
除了使用图像处理来识别驾驶员控制之外，这些特征还可与附加方法相结合。例如，ADAS 110的手位置监视可与电子地平线数据和GPS位置数据相结合，以确定道路何时笔直以及驾驶员的航向在某一时间段或距离内有多恒定。例如，ADAS 110可确定车辆的航向在过去几百米内的一致性。当ADAS 110使用电子地平线数据确定道路笔直并且驾驶员一直基于GPS位置数据保持恒定航向时，ADAS 110可减少警告消息的数量或消除警告消息。当电子地平线数据指示车辆102在车辆102前方的预定距离内不太可能遇到弯道时，可以认为道路笔直。举例来说，ADAS 110可处理获得的车辆前方道路的图像，以确定车辆在数百米内不会遇到弯道。电子地平线数据可由定位在车辆外部的相机收集。可从车辆的导航系统中使用的地图收集类似的数据。
在一些情况下，这种减少或消除仅在ADAS 110首先确定驾驶员已将他们的手放在方向盘上之后发生。在另一些情况下，ADAS 110还可在ADAS 110已确定驾驶员正直视前方(例如，眼睛注视前方的道路)之后，允许减少或消除警告消息。在一些情况下，当ADAS 110已确定以下各项时，减少或消除警告消息：(1)驾驶员的手在方向盘上；(2)驾驶员正直视前方；(3)道路笔直或可能笔直；以及(4)车辆已在恒定航向上持续某一时间段或距离。在一些情况下，ADAS 110可被配置为基于这些确定中的任一者或多者来减少警告消息。警告消息的减少可基于已做出的这些确定的数量而增加。例如，当仅做出一次确定时，警告消息可减少第一量，当做出两次确定时，可减少第二量，等等。
手势图像识别逻辑可进一步调整以补偿不利的操作和/或天气条件，从而允许ADAS 110确定驾驶员何时可能佩戴手套或其他可能影响图像识别准确度和/或性能的手覆盖物。例如，ADAS 110可从车载天气数据模块(诸如车载温度计)获得天气信息。当车辆是可使用无线连接协议访问网络的联网车辆时，也可从在线资源获得天气数据。天气信息(诸如低温或风)可能指示驾驶员的手可能被覆盖物(诸如手套)遮挡。ADAS 110可利用此信息来调整图像识别逻辑处理像素的方式。通常，图像识别逻辑可能不仅寻找肉色像素，而且可能寻找更广泛的颜色，以及识别一般的手形。概括地说，ADAS 110可通过基于上下文信息预测覆盖物来确定驾驶员的手何时被覆盖物遮挡。上下文信息可包括天气数据，但可使用其他因素，诸如工作时间表。例如，如果驾驶员是在上午8点至下午5点之间工作的送货驾驶员，则驾驶员可能会出于保护目的而佩戴手套。ADAS 110可被配置为在这些时间期间进行补偿并假设驾驶员戴着手套。
ADAS 110可被配置为允许驾驶员选择性地调整警告的传达和校准方式。例如，可允许驾驶员完全关闭警告消息。无论实际驾驶条件或测量的方向盘/手交互如何，驾驶员还可改变呈现消息的频率。当这些类型的警告系统是强制性的但用户不喜欢内部相机监视他们的手时，则他们可切换到默认(现有的)且可能令人讨厌的手检测方法。
图3是本公开的示例性方法。所述方法可包括确定驾驶员的手相对于车辆的方向盘的输入不足的步骤302。这可包括使用确定驾驶员的手何时不与方向盘物理接触的任何方法或机制，诸如扭矩传感器或电容式触摸。在一些情况下，确定输入不足包括确定手-扭矩值低于手-扭矩阈值。
如上所述，通常，当在某一时间段内或在特定距离内输入不足时，可能会向驾驶员呈现警告消息。然而，为了减少误报和过度警告，所述方法可包括使用针对方向盘周围的区域获得的图像来确定驾驶员的手相对于车辆的方向盘的手位置的步骤304。如上所述，手位置指示驾驶员的手是否接触方向盘。因此，尽管主手/方向盘传感器感测到输入不足，但仍可确定驾驶员的手接触或靠近方向盘。
当基于图像处理确定手存在时，所述方法可包括与仅基于输入不足而呈现的警告消息的数量或周期性相比，当确定驾驶员的手在方向盘上时，选择性地减少警告消息的数量或周期性的步骤306。因此，存在将仅基于在步骤302中确定的输入不足而呈现的消息的数量或周期性(例如，频率)。当在步骤304中检测到驾驶员的手时，所述方法减少消息的数量或周期性(例如，频率)。
所述方法还可包括评估车辆的电子地平线数据和位置数据，以确定车辆何时保持恒定航向持续某一时间段的步骤308。此确定可与在步骤304中做出的确定结合使用以减少警告消息的呈现。
图4是本公开的示例性方法的流程图。所述方法包括基于驾驶员的方向盘输入或手-方向盘接触向车辆的驾驶员提供警告消息的步骤402。当所述方向盘输入高于阈值时，根据第一方案提供所述警告消息，并且当所述方向盘输入低于阈值并且所述车辆中的相机获得的图像指示驾驶员的至少一只手在所述方向盘上时，根据第二方案提供所述警告消息。所述第一方案可包括以第一频率提供警告消息。所述第二方案可包括以第二频率提供警告消息，其中第二频率小于第一频率。
接下来，所述方法可包括评估车辆的电子地平线数据和位置数据以确定车辆何时保持恒定航向持续某一时间段的步骤404。当车辆已保持恒定航向持续所述时间段时，使用第二方案。
如上所述，可基于驾驶背景来使用各种补偿过程。因此，所述方法可包括基于上下文信息确定驾驶员的手何时被覆盖物遮挡的步骤406以及当确定覆盖物时，补偿用于处理图像的图像识别中的误差的步骤408。在一些情况下，所述方法可包括根据图像确定驾驶员正直视前方的步骤410。步骤406至410中的任一者或多者可用于增强或调谐图像处理逻辑。
本文公开的系统、设备、装置和方法的实现方式可以包括或利用专用或通用计算机，所述专用或通用计算机包括计算机硬件，例如诸如一个或多个处理器和系统存储器，如本文所讨论。计算机可执行指令包括例如指令和数据，所述指令和数据当在处理器处执行时致使通用计算机、专用计算机或专用处理装置执行特定功能或功能组。本文公开的装置、系统和方法的实现方式可以通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。
尽管已经用特定于结构特征和/或方法动作的语言描述了本主题，但是应理解，在所附权利要求中限定的主题可以不必限于上面描述的所述特征或动作。而是，所描述的特征和动作被公开作为实现权利要求的示例性形式。
虽然上文已经描述了本公开的各种实施例，但是应理解，这些实施例仅通过示例而非限制的方式呈现。相关领域的技术人员将明白，在不脱离本公开的精神和范围的情况下可进行形式和细节上的各种改变。因此，本公开的广度和范围不应受上述示例性实施例中的任一者的限制，而是应仅根据所附权利要求及其等效物来限定。已经出于说明和描述目的而呈现了前述描述。前述描述并不意图是详尽的或将本公开限制于所公开的精确形式。鉴于以上教导，许多修改和变化形式是可能的。此外，应注意，前述可选实现方式中的任一者或全部可按任何所期望的组合使用，以形成本公开的附加混合实现方式。例如，相对于特定装置或部件描述的任何功能可以通过另一个装置或部件来执行。除非另有特别说明或在使用时在上下文内以其他方式理解，否则诸如尤其是“能够”、“可能”、“可以”或“可”的条件语言通常意图表达某些实施例可能包括某些特征、元件和/或步骤，而其他实施例可不包括某些特征、元件和/或步骤。因此，此类条件语言一般并不意图暗示一个或多个实施例无论如何都需要各特征、元件和/或步骤。
根据实施例，所述处理器被配置为通过选择性地减少所述警告消息的数量或周期性来更改所述警告消息的所述呈现。
根据实施例，所述处理器被配置为评估所述车辆的电子地平线数据和位置数据，以确定所述车辆何时保持恒定航向持续某一时间段。
根据实施例，所述处理器被配置为：确定所述驾驶员的所述手何时被覆盖物遮挡；并且当存在所述覆盖物时，补偿用于处理所述图像的图像识别中的误差。
根据实施例，所述处理器被配置为基于上下文信息来预测所述覆盖物。
根据实施例，所述处理器被配置为使所述相机获得所述方向盘周围的区域的图像。

Claims (15)

1.一种方法，其包括：
确定驾驶员的手相对于车辆的方向盘的输入不足；
使用针对所述方向盘周围的区域获得的图像来确定所述驾驶员的所述手相对于所述车辆的所述方向盘的手位置，所述手位置指示所述驾驶员的所述手是否正在接触所述方向盘；以及
与仅基于所述输入不足而呈现的警告消息的数量或周期性相比，当确定所述驾驶员的所述手在所述方向盘上时，选择性地减少所述警告消息的数量或周期性。
2.根据权利要求1所述的方法，其中确定所述输入不足包括确定手-扭矩值低于手-扭矩阈值。
3.根据权利要求1所述的方法，其还包括评估所述车辆的电子地平线数据和位置数据，以确定所述车辆何时保持恒定航向持续某一时间段。
4.根据权利要求1所述的方法，其还包括：
确定所述驾驶员的所述手何时被覆盖物遮挡；以及
当确定所述覆盖物时，补偿用于处理所述图像的图像识别中的误差。
5.根据权利要求4所述的方法，其中确定所述驾驶员的所述手何时被所述覆盖物遮挡包括基于上下文信息预测所述覆盖物。
6.一种方法，其包括：
基于所述驾驶员在方向盘上的方向盘输入或手-方向盘接触来确定给车辆驾驶员的警告消息，
其中(i)当所述方向盘输入高于阈值时，根据第一方案确定所述警告消息，并且(ii)当所述方向盘输入低于所述阈值并且所述车辆中的相机获得的图像指示所述驾驶员的手在所述方向盘上时，根据第二方案确定所述警告消息。
7.根据权利要求6所述的方法，其中所述方向盘输入包括手-扭矩值。
8.根据权利要求6所述的方法，其还包括评估所述车辆的电子地平线数据和位置数据以确定所述车辆何时保持恒定航向持续某一时间段，其中当所述车辆已保持所述恒定航向持续所述时间段时，使用所述第二方案。
9.根据权利要求6所述的方法，其还包括：
基于上下文信息确定所述驾驶员的所述手何时被覆盖物遮挡；以及
当确定所述覆盖物时，补偿用于处理所述图像的图像识别中的误差。
10.根据权利要求6所述的方法，其还包括根据所述图像确定所述驾驶员正直视前方。
11.根据权利要求10所述的方法，其还包括根据所述图像以及所述方向盘和所述手的相对位置隔离所述方向盘和所述手的特征和性质。
12.根据权利要求11所述的方法，其还包括：
使用边缘检测来确定所述图像中的不同像素；以及
使用自适应阈值化来处理所述不同像素，以考虑各种光照条件。
13.根据权利要求12所述的方法，其还包括重新应用所述边缘检测以进一步去除不想要的和不必要的图像信息。
14.根据权利要求13所述的方法，其还包括将所述图像与控制表面上手位置和手角度的已知登记图像的阵列进行比较，以确定所述手何时在所述方向盘上。
15.一种车辆，其包括：
方向盘输入传感器；
相机；
高级驾驶员辅助系统，所述高级驾驶员辅助系统包括处理器和存储器，所述处理器执行指令以：
基于从所述方向盘输入传感器接收的信号来确定驾驶员的手相对于所述车辆的方向盘的输入不足，其中当在某一时间段内发生所述输入不足时，向所述驾驶员呈现警告信息；
使用从所述相机获得的图像来确定所述驾驶员的所述手相对于所述车辆的所述方向盘的手位置，所述手位置指示所述驾驶员的所述手是否正在接触所述方向盘；并且
当确定所述驾驶员的所述手在所述方向盘上并且存在所述输入不足时，更改所述警告消息的呈现。
CN202210878946.2A 2021-08-09 2022-07-25 驾驶员注意力以及手放置系统和方法 Pending CN115703471A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/397,737 2021-08-09
US17/397,737 US11654922B2 (en) 2021-08-09 2021-08-09 Driver attention and hand placement systems and methods

Publications (1)

Publication Number Publication Date
CN115703471A true CN115703471A (zh) 2023-02-17

Family

ID=84975197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210878946.2A Pending CN115703471A (zh) 2021-08-09 2022-07-25 驾驶员注意力以及手放置系统和方法

Country Status (3)

Country Link
US (1) US11654922B2 (zh)
CN (1) CN115703471A (zh)
DE (1) DE102022119038A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116061952A (zh) * 2023-03-07 2023-05-05 德力新能源汽车有限公司 驾驶状态检测方法、系统、电子设备及可读取存储介质

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5874892A (en) * 1998-01-23 1999-02-23 Antonellis; Domenico Vehicle warning system
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
WO2006121512A2 (en) * 2005-05-06 2006-11-16 Jerome Arnold Power Sleep alert device
DE102010013243A1 (de) 2010-03-29 2011-09-29 Audi Ag Verfahren zur Ermittlung von auf die Blickrichtung eines Fahrers und die Position der Hände des Fahrers bezüglich des Lenkrads bezogenen Informationen in einem Kraftfahrzeug und Kraftfahrzeug
US9292093B2 (en) * 2010-11-18 2016-03-22 Alpine Electronics, Inc. Interface method and apparatus for inputting information with air finger gesture
WO2012135018A2 (en) * 2011-03-25 2012-10-04 Tk Holdings Inc. System and method for determining driver alertness
JP5905691B2 (ja) * 2011-09-26 2016-04-20 トヨタ自動車株式会社 車両用操作入力装置
JP5593339B2 (ja) 2012-02-07 2014-09-24 日本システムウエア株式会社 自動車のステアリングハンドルを用いるジェスチャー認識装置と手の認識方法及びそのプログラム
EP2835793B1 (en) * 2012-04-02 2018-10-10 Toyota Jidosha Kabushiki Kaisha Driving assistance device
EP2682318B1 (en) * 2012-07-03 2015-01-28 Volvo Car Corporation Motor vehicle collision warning system
TWI511092B (zh) * 2013-03-27 2015-12-01 原相科技股份有限公司 用於載人行動載具的安全監控裝置及安全監控方法
US11334066B2 (en) * 2013-03-27 2022-05-17 Pixart Imaging Inc. Safety monitoring apparatus and method thereof for human-driven vehicle
US9616898B2 (en) * 2013-12-12 2017-04-11 Ford Global Technologies, Llc System and method for determining effective road grade characteristic
GB2525840B (en) * 2014-02-18 2016-09-07 Jaguar Land Rover Ltd Autonomous driving system and method for same
US9620018B2 (en) * 2014-10-17 2017-04-11 Hyundai Motor Company Apparatus and method for controlling lane keeping of vehicle
DE102015202433A1 (de) * 2015-02-11 2016-08-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überwachen einer Lenkaktion eines Fahrers eines Fahrzeugs
JP2017024520A (ja) * 2015-07-21 2017-02-02 株式会社デンソー ステアリング制御装置
US20170291544A1 (en) * 2016-04-12 2017-10-12 Toyota Motor Engineering & Manufacturing North America, Inc. Adaptive alert system for autonomous vehicle
JP7005933B2 (ja) * 2017-05-09 2022-01-24 オムロン株式会社 運転者監視装置、及び運転者監視方法
KR102395288B1 (ko) * 2017-05-18 2022-05-09 현대자동차주식회사 홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템
US20200398868A1 (en) * 2018-02-21 2020-12-24 Honda Motor Co., Ltd. Vehicle control system, vehicle control method, and program
ES2726001A1 (es) * 2018-03-28 2019-10-01 Nieva Ignacio Javier Ochoa Sistema de detección de "Actividades de riesgo durante la conducción" basado en el control de la posición de ambas manos agarrando el volante
WO2020002972A1 (en) 2018-06-29 2020-01-02 Tibopo D.O.O. Method and system for assessing position of hands on a steering wheel of a vehicle
JP7155682B2 (ja) * 2018-07-10 2022-10-19 株式会社ジェイテクト 接触状態検出装置、接触状態検出方法及びプログラム
FR3089328B1 (fr) * 2018-12-03 2021-07-23 Valeo Comfort & Driving Assistance Dispositif et procédé de détection de la distraction d’un conducteur d’un véhicule
CN110341713A (zh) 2019-07-12 2019-10-18 东南（福建）汽车工业有限公司 一种基于摄像头的驾驶员手握方向盘监测系统和方法
EP3795441A1 (en) * 2019-09-17 2021-03-24 Aptiv Technologies Limited Method and device for determining an estimate of the capability of a vehicle driver to take over control of a vehicle
JP7255438B2 (ja) * 2019-10-01 2023-04-11 トヨタ自動車株式会社 車載インターフェース装置および自動車
TWI718700B (zh) * 2019-10-08 2021-02-11 和碩聯合科技股份有限公司 用於車輛的盲點偵測裝置、其方法、及方向盤裝置
EP3845431A3 (en) * 2020-01-06 2021-07-28 Aptiv Technologies Limited Driver-monitoring system
JP7409239B2 (ja) * 2020-07-01 2024-01-09 トヨタ自動車株式会社 ドライバ監視システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116061952A (zh) * 2023-03-07 2023-05-05 德力新能源汽车有限公司 驾驶状态检测方法、系统、电子设备及可读取存储介质
CN116061952B (zh) * 2023-03-07 2023-10-13 德力新能源汽车有限公司 驾驶状态检测方法、系统、电子设备及可读取存储介质

Also Published As

Publication number Publication date
DE102022119038A1 (de) 2023-02-09
US20230041371A1 (en) 2023-02-09
US11654922B2 (en) 2023-05-23

Similar Documents

Publication Publication Date Title
EP3033999B1 (en) Apparatus and method for determining the state of a driver
CN109977776B (zh) 一种车道线检测方法、装置及车载设备
US10127460B2 (en) Lane boundary line information acquiring device
US9576489B2 (en) Apparatus and method for providing safe driving information
KR100816377B1 (ko) 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템
CN107209998B (zh) 车道线识别装置以及车道线识别方法
CN105966398A (zh) 一种对车辆偏离车道进行预警的方法和装置
US10477155B2 (en) Driving assistance method, driving assistance device, and recording medium recording program using same
US20180039377A1 (en) Input device
CN109684944B (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN110610137A (zh) 检测车辆行驶状态的方法、装置以及电子设备、存储介质
CN111108503B (zh) 驻车辅助装置
KR102485350B1 (ko) 저크 기반 부주의 운전 상태 판단 장치 및 방법, 그리고 차량 시스템
CN115703471A (zh) 驾驶员注意力以及手放置系统和方法
KR20120086892A (ko) 차량용 내비게이션의 차선 이탈 알림 시스템 및 방법
EP1897751A2 (en) Driving assist system for a vehicle
US11295429B2 (en) Imaging abnormality diagnosis device
KR102348123B1 (ko) 카메라 렌즈 오염 경고 장치 및 방법
JP6424775B2 (ja) 情報表示装置
US20200265807A1 (en) Vehicle, display method, and program
KR20130031713A (ko) 차량용 안전 거리를 안내하는 장치 및 그 방법
KR20160072659A (ko) 차량의 주행차선인지 장치 및 방법
JP2004038760A (ja) 車両用走行路認識装置
EP4202865A1 (en) Parking assisting device and parking assisting method
JP2020053083A (ja) 撮影装置、制御方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication