CN103373300A - 自适应人机系统和方法 - Google Patents

Abstract

本发明涉及自适应人机系统和方法。一种自适应、人机互动系统和方法，其用于根据过去的用户动作的履行时间不时地执行系统动作，以要么适应用户习惯要么修正用户行为。

Description

自适应人机系统和方法

背景技术

本发明总体涉及通过根据用户动作的履行时间来调整机器动作的执行时间来改善人机互动品质的系统。在本发明的实施例中，机器动作由自适应系统执行以通过减少用户烦恼来改善系统有效性并且也改变用户行为从而用户遵守各种安全和系统要求。

这种用户自适应系统尤其在下面的活动中具有应用：紧固安全带，从点火装置移除点火钥匙、以及去激活前大灯灯光、座舱灯光、收音机、和调暗前大灯。

应该意识到，本发明的实施例可用于广泛应用中，尤其包括像轿车、卡车、飞机、船和娱乐骑乘设施的交通工具设备。

本发明提供了如下方案：

方案1. 一种用于调整人机互动的方法，该方法包括：

              提供处理器实现的、自适应系统，该系统构造成在执行时间执行系统动作，该执行时间至少部分地由至少一个在先用户动作的履行时间确定；以及    

              根据至少一个在先用户动作的履行时间调节系统动作的执行时间。

方案2. 如方案1所述的方法，其中调节系统动作的执行时间包括将系统动作延迟到在由用户进行的用户动作的履行时间之后的时间。

方案3. 如方案1所述的方法，其中调节系统动作的执行时间包括提前系统动作的执行时间。

方案4. 如方案1所述的方法，其中系统动作包括发出通知，所述通知选自由音频信号、视频信号和触觉信号组成的组。

方案5. 如方案1所述的方法，其中系统动作选自由修正交通工具内娱乐信息系统的设置、激活麦克风、修正前大灯设置、修正气候控制系统的设置、修正雨刮器系统、提供由导航系统确定的路线引导、发出维修动作提醒、以及修正自主驾驶模式中的自动化水平组成的组。

方案6. 如方案1所述的方法，其中用户动作选自由紧固安全带、起动交通工具、从点火装置移除钥匙、修正前大灯设置、修正交通工具内娱乐信息系统的设置、发出可由对话系统辨别的用户表达、改变驾驶模式、修正气候控制系统的设置、修正风挡雨刮器设置和激活转向信号组成的组。

方案7. 如方案1所述的方法，其中根据选自由位置、日历事件、天气特点、交通工具所有权、乘客数量和面部表情组成的组的因素实施调节系统动作的执行时间。

方案8. 一种自适应、人机交互系统，该系统包括：

              处理器，其构造成在执行时间执行系统动作，执行时间至少部分地由至少一个在先用户动作的履行时间确定。

方案9. 如方案8所述的自适应、人机交互系统，其中执行时间至少部分地由至少一个在先用户动作的履行时间确定包括将执行时间延迟到用户动作的履行时间之后的时间。

方案10. 如方案8所述的自适应、人机交互系统，其中反映至少一个在先用户动作的履行时间的执行时间包括提前执行时间。

方案11. 如方案8所述的自适应、人机交互系统，其中系统动作包括发出通知，所述通知选自由音频信号、视频信号和触觉信号组成的组。

方案12. 如方案8所述的自适应、人机交互系统，其中系统动作选自由激活收音机、去激活收音机、调暗前大灯、和激活远光灯、激活座舱灯、去激活座舱灯组成的组。

方案13. 如方案8所述的自适应、人机交互系统，其中系统动作的执行时间或用户动作的履行时间是从触发事件测量的，触发事件选自由坐在座椅内、紧固安全带、将钥匙插入到点火装置、起动交通工具、从点火装置移除钥匙组成的组。

方案14. 如方案8所述的自适应、人机交互系统，其中处理器还被构造成在执行时间执行系统动作，该执行时间反映选自由位置、日历事件、天气、交通工具的所有权、乘客数量和面部表情组成的组的因素。

方案15. 一种非瞬态计算机可读介质，其上存储有用于执行系统动作的指令，该系统动作的执行时间至少部分地由至少一个在先用户动作的履行时间确定，所述指令在由处理器执行时使得该处理器执行一种方法，该方法包括根据至少一个在先用户动作的履行时间调节系统动作的执行时间。

方案16. 如方案15所述的非瞬态计算机可读介质，其中调节系统动作的执行时间包括将系统动作的执行延迟到用户动作的履行时间之后的时间。

方案17. 如方案15所述的非瞬态计算机可读介质，其中调节系统动作的执行时间包括提前系统动作的执行时间。

方案18. 如方案15所述的非瞬态计算机可读介质，其中系统动作包括发出通知，所述通知选自由音频信号、视频信号和触觉信号组成的组。

方案19. 如方案15所述的非瞬态计算机可读介质，其中系统动作的执行时间是从触发事件测量的，所述触发事件选自由紧固安全带、起动交通工具、从点火装置移除钥匙、调暗前大灯、去激活前大灯、去激活座舱灯、和去激活收音机组成的组。

方案20. 如方案15所述的非瞬态计算机可读介质，其中系统被实施在交通工具上。

附图说明

在说明书的结论部分具体指出并清楚地要求保护了本发明的主题。不过，本发明在其部件、特征、操作方法和优点方面可通过参照下面的详细描述和附图来最佳地理解，附图中：

图1是根据本发明的实施例的在用户响应通知系统中采用的硬件的示意框图；

图2描述了根据本发明实施例的在图1的系统操作过程中的钥匙事件的比较时间轴；

图3是根据本发明实施例的描述用于计算用来修正系统动作的执行时间的增量时间差的过程的主要步骤的流程图；

图4是根据本发明实施例的描述用来修正系统动作的执行时间以适应用户行为或修正用户行为的过程的主要步骤的流程图；

图5描述了根据本发明实施例的其上存储有用于用户自适应系统的指令的非瞬态计算机可读介质。

应该意识到为了说明的简洁和清楚目的，附图中示出的元件不一定是按比例绘制的并且在不同的附图中参考标记可被重复以指示对应的或相似的元件。

具体实施方式

在下面的具体描述中，公开了数个细节以提供对本发明的透彻理解。不过本领域技术人员应该理解的是，本发明可在没有这些具体细节的情况下被实施。而且，非常公知的方法、程序、和部件没有被具体描述以不阻碍对本发明的理解。

应该意识到在整个该文件中，通知的发出将被用作为自适应系统动作的执行时间的非限定性示例。

通常，在预定时间事件内未履行期望动作导致警报或通知的发出。该时间长度通常从触发事件起测量并基于所认为的典型用户行为、安全要求和工程标准被预先设定。

不过，这种定时方案有时是无效的，因为它们忽视了变化的用户习惯、偏好、和预先设定的参数完全不适应的独特情形。在一些情况下，重复的、不合适的提醒不仅惹人烦，而且使用户习惯于忽视通知。

本发明的实施例学习用户习惯并不时地传递通知或执行其它类型的系统动作来反映这些习惯并且以鼓励用户遵守安全和操作要求的方式这样做。通常，这通过延迟通知以适应用户延迟或提前通知时间到提早时间来在更早的时间劝说用户执行预期用户动作来实现。

这种功能具有增强用户体验、减少烦恼、增加安全的潜力。

下面的术语将在本文件的全文中被使用：

·        “触发事件”指的是可从其测量定时活动的动作。

·        “系统动作”指的是响应于用户交互由自适应人机系统执行的动作。这些动作包括发出警报、致动、去激活、或改变辅助系统或设备的构造。为了简洁目的，“自适应人机系统”在本文件全文中被称为“自适应系统”或“系统”。系统动作的非限定性示例尤其包括修正交通工具内娱乐信息系统的设置、激活麦克风、修正前大灯设置、修正气候控制系统的设置、修正雨刮器系统、提供由导航系统确定的路线引导、发出维修动作提醒、以及修正自主驾驶模式中的自动化水平。

·        “通知时间”指的是通知开始发出时的时间。这种时间通常从上述的触发事件起测量，不过，应该意识到在通知动作之前的任何时间点都可被用作定时系统执行和用户履行时间的参考时间。

·        “履行时间”指的是相对于触发事件或任何其它参考时间的期望动作由用户履行时的时间。

·        “偏离时间”是系统动作的执行时间和用户动作的履行时间之间的差。应该意识到偏离时间可以是正的或负的。

·        “定制通知时间”指的是反映用户习惯的调节后的通知时间。

·        “日历事件”指的是一天中的时间，一周中的一天、日期、或在日历方面测量的任何其它时间长度。这些事件可被用作修正系统动作的执行时间的因素。

·        “娱乐信息系统”指的是传递信息和娱乐内容两者给交通工具内的驾驶员或乘客的信息系统。非限制性示例尤其包括收音机和构造成传递新闻、音乐、视频、天气预报、交通报告的其它交通工具内的信息系统。

现在参照附图，图1是根据本发明实施例的用户响应通知系统的系统示意图。用户响应通知系统100可包括一个或多个计算机视觉传感器10（例如，照相机、摄像机、数字照相机、或其它图像采集设备）。计算机视觉传感器10可捕获可能包括一个或多个物体和/或特征的图像。图像也可被输入到系统100，例如，作为从其它计算机、数据库或系统的下载内容。通知系统100可包括一个或多个处理器或控制器20、内存30、长期非瞬态存储器40、输入设备50和输出设备60。

输入设备50的非限定性示例尤其包括簧片开关传感器、安全带张力传感器、霍尔效应传感器、触摸屏、电容或电阻输入设备、麦克风、按钮、开关、电流传感器、或压力传感器。

输出设备的非限制性示例包括显示屏、音频设备例如扬声器或耳机。输入设备50和输出设备60可被组合成单个设备。

处理器或控制器20可以是例如中央处理单元（CPU）、芯片或任何合适的计算设备。处理器或控制器20可包括多个处理器、并且可包括通用处理器和/或专用处理器例如图形处理芯片。处理器20可执行例如存储在内存30或长期存储器40内的代码或指令以实现本发明的实施例。

内存30可以是随机存取存储器（RAM）、只读存储器（ROM）、动态RAM（DRAM）、同步DRAM（SD-RAM）、双数据速率（DDR）存储芯片、闪存、易失性存储器、非易失性存储器、高速缓冲存储器、缓冲器、短期存储单元、长期存储单元、或其它合适的存储单元或储存单元。内存30可以是或可包括多个存储单元。

长期非瞬态存储器40可以是或可包括例如硬盘驱动器、软盘驱动器、光盘（CD）驱动器、CD-可记录（CD-R）驱动器、闪存设备。应当意识到上述存储设备的各种组合也包括在本发明的范围内并且图像数据、代码和其它相关的数据结构被存储在上述内存和/或存储设备中。

图2描述了和本发明的实施例相关的三个钥匙事件的四个时间轴；触发动作205、系统动作206和用户动作208，在用户动作中如在时间轴200中的默认布置中所示预期动作被履行。

下面是非限制性示例，尤其是触发动作205和对应的用户动作动作208的示例。

·        坐在座位中或者开门可以是紧固安全带的用户动作的触发动作。

·        将钥匙插入到点火装置中可以是起动交通工具或使警报系统不能工作的用户动作的触发动作。

·        坐在里面同时开门可以是关闭前大灯或座舱灯、从点火装置移除钥匙、关闭收音机或设置手刹的用户动作的触发动作。

·        给交通工具添加燃料可以是为交通工具再添加燃料的下一用户动作的触发动作。

·        维护操作可以是下一次相同维护操作的触发动作。

·        将明亮的灯调暗可以是重新激活该明亮的灯的触发动作。

其它的用户动作尤其包括从点火装置移除钥匙、修正前大灯设置、修正交通工具内娱乐信息系统的设置、发出可由对话系统辨别的用户表达、改变驾驶模式、修正气候控制系统的设置、修正风挡雨刮器设置和激活转向信号。应该意识到修正设置包括激活和去激活设备。

驾驶模式的非限制性示例尤其包括目的在于最大化汽油英里数的效率模式或者目的在于最大化交通工具响应性的运动模式和目的在于最小化驾驶员的驾驶辅助的自主模式。

通知形态的非限制性示例包括音频、视频或触觉反馈或者它们中的任意数量的组合。

本发明的实施例可被构造成以适应模式操作或者以劝说模式操作，在适应模式中系统动作执行时间被延迟直到用户的用户动作的履行时间之后，如时间轴200和210中所示；在劝说模式中系统动作执行时间被提前到更早的时间，如时间轴215和220中所示。本文将继续讨论作为上述的系统动作的执行的非限制性示例的通知发出。

现在转向时间轴的具体事件，时间轴200描述了默认设置，其中根据本发明的实施例通知206在用户动作208的履行时间之前发出。如上所述，在非限制性实施例中执行时间和履行时间都是从触发动作205起测量。

在时间轴210中，通知时间206A被延迟到在用户动作208的履行时间之后的时间。如前所述，这种功能减少了可能惹人烦的且不需要的通知。

在非限制性实施例中，例如，通知发出时的时间的改变可基于十个最近的特定动作类型的用户动作的平均履行时间。不过，应该意识到，获得平均履行时间的各种方案都包括在本发明的范围内。

还应该意识到本发明的非限制性实施例包括定义被认为是不同的履行时间的相应用户动作的履行时间之间的变化的规定。

时间轴215是时间轴200中描述的默认情况，其中通知206在用户动作208之前发出。

在时间轴220中，通知时间206B被提前以劝说用户通过更早地履行用户动作208A来修正其行为。

除了使用系统动作的执行时间和用户动作的履行时间的时间差，本发明的实施例还可使用各种其它的因素来确认需要改变执行时间或需要计算系统动作的新的执行时间，这在下面被进一步讨论。

图3是根据本发明实施例的描述用于确定要被加到用户动作的履行时间的时间增量或从系统动作的执行时间减除的时间增量的过程的流程图。

一般而言，根据本发明实施例，增量大小主要是通知的发出时间和预期用户动作的履行时间之间的时间差的函数。当以适应模式操作时，这些时间增量被加到用户动作的履行时间，而当以劝说模式操作时，这些增量被从通知发出时的执行时间减除，如上所述。

现在转向流程图，其总体由300表示，在步骤310中在本发明的实施例中定时从所检测的触发事件开始。在步骤320，计算系统通知的发出和预期用户动作的履行时间之间的时间偏离。在步骤330，根据本发明的实施例基于当前偏离时间和来自过去使用的其它偏离时间确定时间增量并且根据多个实施例计算平均偏离时间。一些非限制性实施例使用来自最近十个用户动作的偏离时间；不过，应该意识到如上所述，可使用任意数量的偏离时间。

除了以上描述的系统动作的执行时间和用户动作的履行时间之间的偏离时间，其它形式的用户输入尤其包括明确的口头指示或像叹气、或咒骂的不满表达。所捕获的面部表情或手势的图像数据也可在被辨别时由物体辨别算法使用，这些算法被应用到所捕获的图像数据。而且，根据本发明的实施例，从嵌入在交通工具附件中与用户物理接触的电流或压力传感器获得的压力或电流数据也可用作输入数据。

根据本发明的实施例，上述类型的用户输入可被用于触发系统动作的执行时间的修正或者被作为参数处理以确定时间增量的长度。

在步骤350，上下文中的参数被集成到方法300中使得通知是根据由位置传感器检测的特定情况用户自适应的。作为非限制性示例，在被确认为“家”的位置，在发出通知之前用户可被允许有六十秒来紧固安全带，而在被确认为“工作地点”的位置，在发出通知之前用户可被给予三十秒来紧固安全带。应该意识到，根据本发明的实施例，其它的上下文或情况设置尤其包括一天中的时间、日期、一周中的一天、湿度和温度、交通工具所有权、和在交通工具中旅行的乘客数量，其可被建模到方法300中。

这种位置传感器可通过图像或音频辨别系统或全球定位系统（GPS）或任意位置识别系统的方式实施。

在步骤340中，根据本发明的实施例，新的增量要么被加到用户动作的履行时间要么从所发出的一个或多个先前通知的执行时间减除。

图4是总体由400指示的方法的非限定性示例，根据本发明的实施例，该方法用来调节通知时间，或其它系统动作的执行时间，从而要么适应用户习惯，要么劝说改变用户习惯，要么既适应又劝说。如所示，流程图400被分为两个分支，每一个都执行这些功能中的其中之一；适应分支470延迟通知时间，而劝说分支480提前通知时间。

现在转向流程图400，在步骤405中，系统监测用户活动以获得触发动作。在检测到触发动作时，在步骤410中系统确定是否基于先前的通知和用户动作的相对定时来改变通知时间。在用户动作在通知前面的情况中，在步骤405中系统回复到监测模式。

在通知在用户动作前面的情况中，过程要么前进到适应序列470要么前进到劝说序列480，这取决于模式指数（未示出），其指示在实施例中以适应模式工作的趋势。当模式指数落在预定阈值之下时，过程以适应模式470继续，否则，过程以劝说模式480继续。

在适应序列470中的过程在步骤445继续，其中通过将时间增量加到先前的用户动作履行时间来延迟通知时间；根据图3中描述的过程来计算时间增量。

在步骤450中，将当前用户动作的履行时间与目前调节后的通知时间的定时进行比较。如果当前用户动作在目前调节后的通知时间的前面，那么期望的适应被认为已经被实现并且系统回复到步骤405的监测模式。

如果系统通知的目前执行时间仍然在用户动作前面，那么系统的实施例评估是否还存在鉴于安全和操作限制进一步延迟通知的选择。如果通知已经被延迟到最大量，那么系统的实施例回复到步骤405中描述的监测模式。

不过，如果还存在进一步延迟通知时间的选择同时仍然符合最大延迟限制，那么系统在步骤460评估是否已经履行了最大数量的迭代。如果预定的最大数量的迭代还没有被履行，那么系统的实施例通过将过程转移到步骤445来继续进一步延迟通知时间。另一方面，如果系统确定该系统已经实现了最大数量的迭代并且用户动作仍然在通知时间之后履行，那么就认为用户需要进行行为修正并且该系统以劝说分支480继续该过程。

现在转向劝说模式480，在步骤425中，系统的实施例可通过减除在图3中描述的过程中计算的时间增量来调节通知发出时的时间。应该注意到在劝说期间从通知时间减除的时间增量可不同于在适应期间加到用户动作的履行时间的时间增量。

在步骤430中，再一次做出关于通知和用户动作的定时的决定。当用户动作在通知动作前面时，期望的劝说被认为是已经被完成并且系统回复到步骤405处的监测模式。不过，在通知时间在履行时间前面时，系统前进到评估通知时间是否符合基于操作或安全限制的最小通知时间，如步骤435中示出。如果通知时间已经被提前到最早的允许时间，那么系统回复到如步骤405中所示的监测模式。

在通知时间还没有被提前到最早的允许时间的情况中，系统前进到步骤440并且评估是否已经实现了最大数量的迭代。如果还有可用的额外迭代，那么系统的实施例回复到步骤425以通过前面所述的从通知时间减除时间增量来进一步调节通知时间到更早的时间。

在预先确定的允许的迭代次数已经还用尽并且用户通知仍然在用户动作的履行之前发出时，过程在适应分支470中继续。

以这种方式，本发明过程的实施例可在适应模式和劝说模式之间摇摆。

图5描述了非限制性的计算机可读媒体，其含有用来构造计算机系统以执行上述的根据本发明实施例的自适应系统的可执行代码。

本发明的实施例可显示与时间通知的定制相关联的参数以为了训练目的或提供过程透明性。这种功能可在现有的仪表板显示器、专用显示器、音频或触觉反馈系统上实施。

而且，本发明的实施例可包括车载驾驶员识别模块，以识别每个用户并载入其特定的用户简介到该系统。其中用户简介被远程存储并且在识别该用户时被载入的实施例也被包含在本发明的范围内。

虽然在本文中已经图示并描述了本发明的某些特征，但是现在本领域技术人员能想到许多改变、替换、变化、和等同方式。因此，应该理解所附的权利要求应该覆盖所有这些落入本发明的真实精神内的改变和变化。

Claims (10)

1.一种用于调整人机互动的方法，该方法包括：

              提供处理器实现的、自适应系统，该系统构造成在执行时间执行系统动作，该执行时间至少部分地由至少一个在先用户动作的履行时间确定；以及    

              根据至少一个在先用户动作的履行时间调节系统动作的执行时间。

2.如权利要求1所述的方法，其中调节系统动作的执行时间包括将系统动作延迟到在由用户进行的用户动作的履行时间之后的时间。

3.如权利要求1所述的方法，其中调节系统动作的执行时间包括提前系统动作的执行时间。

4.如权利要求1所述的方法，其中系统动作包括发出通知，所述通知选自由音频信号、视频信号和触觉信号组成的组。

5.如权利要求1所述的方法，其中系统动作选自由修正交通工具内娱乐信息系统的设置、激活麦克风、修正前大灯设置、修正气候控制系统的设置、修正雨刮器系统、提供由导航系统确定的路线引导、发出维修动作提醒、以及修正自主驾驶模式中的自动化水平组成的组。

6.如权利要求1所述的方法，其中用户动作选自由紧固安全带、起动交通工具、从点火装置移除钥匙、修正前大灯设置、修正交通工具内娱乐信息系统的设置、发出可由对话系统辨别的用户表达、改变驾驶模式、修正气候控制系统的设置、修正风挡雨刮器设置和激活转向信号组成的组。

7.如权利要求1所述的方法，其中根据选自由位置、日历事件、天气特点、交通工具所有权、乘客数量和面部表情组成的组的因素实施调节系统动作的执行时间。

8.一种自适应、人机交互系统，该系统包括：

              处理器，其构造成在执行时间执行系统动作，执行时间至少部分地由至少一个在先用户动作的履行时间确定。

9.如权利要求8所述的自适应、人机交互系统，其中执行时间至少部分地由至少一个在先用户动作的履行时间确定包括将执行时间延迟到用户动作的履行时间之后的时间。

10.一种非瞬态计算机可读介质，其上存储有用于执行系统动作的指令，该系统动作的执行时间至少部分地由至少一个在先用户动作的履行时间确定，所述指令在由处理器执行时使得该处理器执行一种方法，该方法包括根据至少一个在先用户动作的履行时间调节系统动作的执行时间。

Images