CN113227982A

CN113227982A - 用于收集用户信息的数字助理

Info

Publication number: CN113227982A
Application number: CN201980087386.5A
Authority: CN
Inventors: R·D·佐托
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2019-04-29
Filing date: 2019-04-29
Publication date: 2021-08-06
Also published as: US20220058106A1; US11841784B2; WO2020222734A1

Abstract

在示例实现方式中，提供了一种装置。所述装置包括处理器和存储指令的非暂时性计算机可读介质。所述指令由所述处理器执行，以便监测与所述装置的用户交互，检测与所述装置的异常用户交互，并且响应于检测到的异常用户交互而激活数字助理。所述数字助理可以收集与异常用户交互相关的用户信息。

Description

用于收集用户信息的数字助理

背景技术

一些服务提供商可以提供计算机服务，诸如计算机管理的系统。客户可以针对服务进行支付，并且服务提供商可以向客户提供硬件。服务提供商可以管理硬件。换句话说，客户可以不针对该硬件进行支付，而是针对用于维护和管理硬件的服务进行支付。

服务提供商可以监测硬件的性能，并且提供预测性和规定性的动作。例如，服务提供商可以对硬件执行预测性维护以防止故障，在硬件发生故障时维修硬件，在客户的计算需求改变时周期性地升级硬件等等。

附图说明

图1是本公开的被管理的计算机系统的框图；

图2是本公开的被管理的计算机系统内的示例计算设备的框图；

图3是本公开的用户界面中的示例数字助理的框图；

图4是本公开的用于响应于检测到异常用户交互而触发用于收集反馈的数字助理的示例方法的流程图；以及

图5是存储指令的示例非暂时性计算机可读存储介质的框图，该指令由处理器执行以响应于检测到异常用户交互而触发用于收集反馈的数字助理。

具体实施方式

本文中描述的示例提供了数字助理，该数字助理用于响应于检测到异常用户交互而收集反馈。如上所指出，一些服务提供商可以提供计算机管理的系统，诸如设备即服务（DaaS）。客户可能会预期这些被管理的计算系统中的硬件或计算设备的一定性能水平。即使计算设备正在如所预期的那样执行，客户也可能会觉得该计算设备“慢”或“快”。

在一些示例中，服务提供商可以监测该系统中的每个计算设备或硬件，并且提供性能得分。例如，处理器使用率、存储器使用率、使用时间、应用性能、电池、热参数、系统状态、磁盘使用率等全部可以被远程地监测。基于这些参数，可以向每个硬件段以及整个软件指派得分。低于阈值的得分可能导致硬件被修复、更换等。

然而，在一些实例中，监测每个硬件设备的组件和应用的性能可能无法提供对在利用该硬件设备时的用户经历的完整或准确的评价。例如，用户可能尝试运行超出硬件设备能力的应用或视频游戏，并且在该设备不执行时变得沮丧。在另一示例中，隐藏的软件错误（bug）或网络流量可能导致计算设备表现不佳，即使硬件中的组件正在正常地运行。

因此，用户可能会变得沮丧，并且执行不寻常的键击（keystroke）或与计算设备的不寻常交互。例如，用户可能会开始重复地按击（hit）“回车（enter）”按键、“ESC”按键、空格按键等。用户可能会连续按下某个按键组合（例如，control+alt+delete），从而尝试终止用户认为正在引起问题的一组应用。用户可能会连续地插拔（plug and unplug）通用串行总线（USB）端口中的外围设备。用户可能会简单地用拳头对着键盘猛击（slam），并且同时按击彼此靠近的多个按键等等。

本公开提供了一种装置和方法，该装置和方法可以检测这些不寻常的行为，这些不寻常的行为可能无法基于单独地监测硬件设备或计算设备的性能来检测到。响应于检测到不寻常的用户交互，计算系统可以启动数字助理来收集与用户正在经历的情况相关的用户反馈。该信息可以被认为是主观得分，可以将主观得分与硬件性能的客观得分进行组合，以提供每个硬件设备的总体得分。

数字助理可以向用户提供信息，以帮助解决用户可能正在经历的任何问题，并且向用户保证计算设备正在正常地运行。所收集的用户反馈也可以帮助服务提供商对用户可能正在经历的情况进行故障诊断。例如，用户可能已经升级了需要更多计算能力的应用并且服务提供商可以提出更换用户的计算设备，或者该应用可能与所安装的另一个软件组件发生冲突并且可以被移除或修改。

图1图示了本公开的示例被管理的计算机系统100。在一个示例中，该系统可以包括服务提供商网络102以及客户站点110和120。服务提供商网络102以及客户站点110和120可以通过通信网络（例如，互联网协议（IP）网络）通信地耦合。服务提供商网络102以及客户站点110和120可以彼此远离地定位（例如，在物理上位于不同的地理位置中）。尽管在图1中图示了两个客户站点110和120，但是应当注意的是，可以存在更多的客户站点或更少的客户站点。

在一个示例中，每个客户站点110和120可以包括由服务提供商网络102的服务提供商所提供的硬件设备或计算设备。服务提供商可以监测和管理每个客户站点110和120的硬件设备。例如，客户站点110可以包括计算设备112₁至112_n（下文中也被单独称为计算设备112或统称为计算设备112）。每个计算设备112可以包括数字助理114₁至114_n（下文中也被单独称为数字助理114或统称为数字助理114）。

类似地，客户站点120可以包括计算设备122₁至122_m（下文中也被单独称为计算设备122或统称为计算设备122）。每个计算设备122可以包括数字助理124₁至124_m（下文中也被单独称为数字助理124或统称为数字助理124）。计算设备112和122可以是任何类型的计算设备，诸如膝上型计算机、台式计算机、平板计算机、打印设备、服务器、存储设备等。

服务提供商网络102可以包括应用服务器（AS）104和数据库（DB）106。DB 106可以存储客户端站点110和120处的每个计算设备112和122的清单。DB 106还可以存储计算设备112和122中的每一个的客观得分，如下面进一步详细讨论的。DB 106可以存储其他信息，该其他信息可以被传输到计算设备112和122以及从计算设备112和122传输，这将在下面讨论。

AS 104可以通信地耦合到计算设备112和122，并且可以监测计算设备112和122的操作。例如，AS 104可以监测计算设备112和122内的组件的性能参数。性能参数可以包括处理器利用率、存储器使用率、所执行的应用的数量、哪些应用被执行、操作的小时数、错误日志、电池性能、热参数、磁盘使用率、系统状态等。

在一个示例中，AS 104可以计算每个计算设备112和122的客观得分。可以基于性能参数来计算客观得分，该性能参数可以被客观地评价和评分。客观得分可以向服务提供商指示哪些计算设备112和122正在正确地执行、哪些设备112和122可能失灵、哪些计算设备112和122可以被更换等等。

然而，如上所指出，单独的客观得分可能无法提供关于计算设备112和122可能正在如何执行的准确评估。在一个示例中，计算设备112和122可以包括数字助理114和124。数字助理114和124响应于检测到与计算设备112和122的异常用户交互而从用户收集用户反馈和主观得分。计算设备112和122还可以包括传感器，或者可以监测用户交互以检测异常用户交互，该异常用户交互可能使得数字助理114和124在计算设备112和122上被执行或启动。

在一个示例中，由数字助理114和124收集的用户反馈和主观得分可以被传输到服务提供商网络102中的AS 104。可以将主观得分与客观得分进行组合，以计算计算设备112和122中的每一个的总体得分。在一个示例中，可以对主观得分和客观得分进行加权以获得总体得分。例如，主观得分和客观得分可以被相等地加权或不相等地加权（例如，主观得分可以占总体得分的25%，并且客观得分可以占总体得分的75%）。

在一个示例中，用户反馈可以被提供给AS 104。用户反馈可以帮助提供用于对计算设备112和122的潜在错误或问题进行故障诊断的信息。用户反馈可以提供可能无法通过计算设备112和122的性能参数检测到的信息。

图2图示了本公开的示例装置或计算设备112的框图。计算设备122可以类似于图2中图示的计算设备112。

在一个示例中，计算设备112可以包括显示器202、处理器204、数字助理114、存储器206、传感器212和通信接口214。处理器204可以通信地耦合到显示器202、数字助理114、存储器206、传感器212和通信接口214。处理器204可以执行数字助理114和/或可以存储在存储器206中的指令。处理器204还可以控制显示器202的操作，接收由传感器212收集的信号，并且经由通信接口214来传输或接收数据。

计算设备112还可以包括未示出的附加组件。例如，计算设备112可以包括诸如键盘、鼠标、触控板等之类的输入设备、图形处理器、用于外部设备的接口（例如，通用串行总线（USB）接口）等。

在一个示例中，显示器202可以是外部连接的监视器、或计算设备112的组成部分。显示器202可以是触摸屏显示器，并且还用作输入设备。

在一个示例中，传感器212可以是能够监测与计算设备112的用户交互的任何类型的传感器。例如，传感器212可以是键盘、显示器202等中的力传感器。传感器212可以测量所施加的力的量。例如，传感器212可以当用户正在键盘或显示器202上猛击时进行检测。

在一个示例中，通信接口214可以是有线或无线通信接口。例如，通信接口214可以是以太网端口、无线无线电等。通信接口214可以允许计算设备112建立至AS 104的通信路径，如上所讨论的那样。计算设备112可以经由通信接口214向AS 104传输信息以及从AS104接收信息。

在一个示例中，存储器206可以是非暂时性计算机可读介质，诸如硬盘驱动器、随机存取存储器（RAM）等。存储器206可以包括预定义异常用户交互208、以及性能参数的快照（snapshot）210。

在一个示例中，预定义异常用户交互208可以存储已经被标识为异常的用户交互。例如，用户交互可以包括特定交互、或预定义时间段内的多个交互。用户交互可以包括键击、按键组合、对触摸屏显示器的触摸、鼠标移动、触控板上的移动、外部设备从接口的插入或移除等。

在一个示例中，可以动态地更新预定义异常用户交互208。例如，计算设备112可以周期性地与AS 104进行通信，以在更新了列表或定义了新的异常用户交互时更新预定义异常用户交互。例如，当添加了新的传感器、外围设备、组件等时，可以定义新的异常用户交互。

在一些示例中，数字助理114可以与用户进行交互，以学习可以被添加到预定义异常用户交互208的新的异常用户交互。例如，用户可以提供用户反馈，该用户反馈描述了可以被添加到预定义异常用户交互208的某个交互。

某些用户交互当在预定义时间段内被重复地执行或以特定方向执行时可以被认为是异常用户交互。例如，当用户在短时间量内重复地从一边到另一边（side-to-side）移动鼠标时，该用户交互可以被认为是异常用户交互。当用户在5秒的时间段内按下回车按键多于5次时，该用户交互可以被认为是异常用户交互。当用户在10秒的时段内重复地按下按键组合（例如，control+alt+delete）多于3次时，该用户交互可以被认为是异常用户交互。当彼此相邻的多个按键被同时按下时（例如，用户正在猛击键盘或拍打键盘），该用户交互可以被认为是异常用户交互。当用户在5秒的时间段内在相同接口中插入和移除外部设备多于3次时，该用户交互可以被认为是异常用户交互。

在另一示例中，传感器212可以用于检测异常用户交互。例如，当传感器212检测到大于阈值的所施加的力时，处理器204可以从传感器212接收信号，并且确定已经检测到异常用户交互。例如，传感器212可以处于键盘中，并且用户可能会猛击键盘，这可以由传感器212检测到。传感器212可以位于显示器202中，并且用户可能会出于沮丧而用额外的力轻敲显示器202，这可以由传感器212检测到。用户可能会摇动显示器，这可以由传感器212检测到。

因此，异常用户交互可以通过与计算设备112的输入设备的某些交互或通过传感器212而检测到。应当注意的是，上面描述的异常用户交互是作为示例而提供的。可以检测到本公开中未通过示例提及的附加异常用户交互。另外，上面提供的值是作为示例而提供的，但是可以被修改以适合异常用户交互的定义，如服务提供商所期望的那样。

在一个示例中，处理器204可以监测与计算设备112的用户交互和/或从传感器212接收到的信号。可以将所监测的用户交互或来自传感器212的信号与预定义异常用户交互208进行比较。如果找到匹配，则处理器204可以确定检测到异常用户交互。

作为响应，处理器204可以使得数字助理114被执行。在一个示例中，数字助理114可以与用户进行交互。数字助理114可以指示检测到异常用户交互，并且询问用户是否一切正常。如果用户指示一切正常（例如，用户意外地触发了异常用户交互），则数字助理114可以终止。然而，如果用户指示可能存在问题，则数字助理114可以尝试纠正该问题。

在一个示例中，数字助理114可以自动取得性能参数的快照210、以及可能与标识异常用户交互的原因相关的任何其他数据。数字助理114可以尝试确定是什么引起了异常用户交互。数字助理114可以包括机器学习技术或使用由AS 104提供的分析服务。例如，基于性能参数，数字助理114可以确定特定应用已经停止响应、特定应用与计算设备112不兼容、存储器206的一部分已经发生故障、处理器204被过度利用、网络连接缓慢或不可用等等。

在一个示例中，数字助理114可以尝试在被启动以便与用户进行交互之前纠正异常用户交互的错误或原因。在另一示例中，数字助理114可以被启动以向用户提供关于什么可能引起不良用户经历的信息，并且通知用户数字助理114正在尝试修复该错误。因此，用户可以在该错误正在被修复时知道计算系统112为什么不进行响应。

图3图示了数字助理114的示例。数字助理114可以作为图形用户界面而呈现在显示器202中。数字助理114可以与用户进行交互以提供信息并且收集用户反馈、主观得分等。如上所指出，用户反馈可以被传输到服务提供商的AS 104，以基于计算设备112的客观得分以及由数字助理114收集的主观得分来计算总体得分。

响应于检测到异常用户交互，可以执行、启动或显示数字助理114。数字助理114可以提供关于什么可能引起异常用户交互的诊断，可以对检测到的错误进行故障诊断或修复，并且可以向用户提供信息以使得用户不会变得沮丧。

例如，计算设备112可能由于过多的存储器或处理器使用率而暂时停止响应。用户可能会开始重复地按下“返回”按键或者快速地从一边到另一边移动鼠标。计算设备112可以监测用户交互，并且检测到用户交互与预定义异常用户交互208之一相匹配。作为响应，可以启动数字助理114。数字助理114可以与用户进行交互，以询问用户计算设备112是否存在问题。

在一个示例中，数字助理114可以优先于所有其他非必要应用（例如，与操作系统无关的任何应用）。因此，如果计算设备112被冻结，则可以自动终止非必要应用以允许执行数字助理114。数字助理114可以允许用户知道计算设备112正在正确地运行。

另外，数字助理114可以包括信息窗口302。信息窗口302可以向用户提供与最近的用户经历相关的信息、或与数字助理114被启动之前的预定义时间窗口（例如，5分钟、10分钟等）相关的信息。信息窗口302可以向用户指示检测到了什么问题、修复了什么、计算系统112将要被修复等等。

在一个示例中，如果用户指示计算设备112存在问题，则数字助理114可以取得计算设备112的性能参数的快照310，或者进行任何其他遥测收集过程，以获得可以帮助确定该问题的原因的信息。在另一示例中，当检测到异常用户交互时，数字助理114可以自动取得性能参数的快照310。性能参数可以包括处理器利用率、存储器利用率、正在执行的应用的列表、针对每个应用的处理器和存储器利用率的量、连接了什么外部设备、当前网络速度等等。

在一个示例中，数字助理114可以分析快照310以确定可能引起异常用户交互的可能错误，并且可以尝试修复该错误。例如，用户可能正在尝试玩计算设备112不支持的视频游戏。因此，计算设备可能会冻结。数字助理114可以在快照310中看到：针对该视频游戏，处理器和存储器利用率接近100%。因此，数字助理114可以终止该视频游戏。

另外，数字助理114可以在信息窗口302中提供信息。例如，数字助理114可以向用户指示计算设备112并不足够有能力来运行该视频游戏。数字助理114可以指示该视频游戏被终止，并且向用户提供解决方案（例如，请求升级的计算设备112、建议不同的应用、请求升级的组件等）。

在一个示例中，数字助理114可以在修复检测到的错误之前在信息窗口302中提供指示该错误的信息。数字助理114可以让用户知道什么将被纠正或者计算设备112将被重启。因此，用户可以知道该问题正在被自动修复或纠正。

在一个示例中，快照310也可以作为性能参数的快照210被存储在存储器206中。快照310可以被传输到AS 104，使得服务提供商可以计算计算设备112的客观得分。

在一个示例中，数字助理114可以包括用户反馈窗口304。用户反馈窗口304可以收集主观得分306和详细反馈308。主观得分306可以是用户提供的与引起了异常用户交互的最近经历相关的得分。例如，主观得分306可以是0到10之间的数字得分或任何其他评分度量。

在一个示例中，详细反馈308可以允许用户键入关于用户经历了什么的细节。详细反馈308可以允许服务提供商进行进一步的故障诊断，否则该故障诊断可能不会单独出现在快照310中。例如，快照310可能会使计算设备112看起来是失灵的。然而，详细反馈308可以指示用户正在尝试运行与计算设备112不兼容的应用。

在一个示例中，如果未提供主观得分306，则AS 104可以基于详细反馈308来指派用户得分。例如，可以对详细反馈308执行情感分析以指派主观得分，该主观得分可以用于调整客观得分以及更新或计算上面描述的总体得分。

应当注意的是，图3图示了数字助理114的一个示例。数字助理114可以包括动画图形，以提供更丰富的用户交互。数字助理114可以作为化身（avatar）而出现，该化身可以向用户讲话。代替于使用窗口，数字助理114可以经由计算设备的扬声器向用户讲话，并且允许用户使用作为计算设备112的一部分的麦克风向该化身讲话。

图4图示了用于响应于检测到异常用户交互而触发用于收集反馈的数字助理的示例方法400的流程图。在一示例中，方法400可以由计算设备112或122中的任一个、或在图5中图示并且在下面描述的装置500来执行。

在框402处，方法400开始。在框404处，方法400在预定义时间段内监测与计算设备的用户交互。如上所指出，可以经由计算设备本身或传感器来监测与计算设备的用户交互。例如，计算设备可以跟踪鼠标的移动、跟踪对按下按键的重复、跟踪多个相邻的按键被同时按下（例如，用户拍打或猛击键盘）、跟踪对触摸屏显示器的区域的连续触摸、跟踪外部设备从USB端口的重复插入和移除等。计算设备还可以使用传感器来检测过大的力，该过大的力来自猛击键盘、击打监视器、摇动监视器或计算设备等。

在框406处，当用户交互与预定义异常用户交互相匹配时，方法400检测到异常用户交互。在一个示例中，可以连续地在预定义时间段内（例如，每30秒、每分钟、每5分钟、每10分钟等）监测用户交互。可以将用户交互与存储在存储器中的预定义异常用户交互进行比较。当检测到匹配时，计算设备可以确定已经标识出异常用户交互。

在框408处，方法400捕获计算设备在异常用户交互期间的性能参数的快照。该快照可以包括单个快照、或预定义时间段内的快照序列。在一个示例中，性能参数可以包括如下参数：诸如，处理器利用率、存储器利用率、正在执行的应用的列表、针对每个应用的处理器和存储器利用率的量、连接了什么外部设备、当前网络速度等。除了性能参数的快照之外，还可以收集附加遥测数据。

在框410处，方法400响应于检测到的异常用户交互而激活数字助理，其中数字助理用于基于所捕获的快照来提供关于计算设备的性能的信息。在一个示例中，数字助理可以分析性能参数的快照，以尝试并且确定关于是什么引起了异常用户交互的可能错误或根本原因。例如，数字助理可以确定网络连接已经丢失、正在执行不兼容的应用、硬件组件已经出现故障（例如，存储器插槽、图形卡、USB插槽等）或者任何其他可能的错误。

在一个示例中，数字助理可以在向用户提供信息之前尝试纠正错误。在另一示例中，数字助理可以向用户提供信息，并且在纠正可能错误之前通知用户正在采取什么步骤来纠正该可能错误。

在一个示例中，数字助理可以收集主观得分和用户反馈信息。在一个示例中，数字助理可以基于主观得分以及从性能参数的快照所计算的客观得分来计算总体性能得分。在另一示例中，信息可以被提供给服务提供商的应用服务器，并且服务提供商可以计算总体得分。在一个示例中，主观得分和客观得分可以被相同或不同地加权以计算总体得分。

在一个示例中，如果总体得分低于阈值，则计算设备可能没有正确地运行或者可能没有很好地适合用户的计算需求。计算设备可以向服务提供商传输更换计算设备的通知，或者对用户的计算需求和当前被指派给用户的计算设备的能力进行审查。当与用户的交互完成时，数字助理可以终止。在框412处，方法400结束。

图5图示了装置500的示例。在一示例中，装置500可以是设备100。在一示例中，装置500可以包括处理器502和非暂时性计算机可读存储介质504。非暂时性计算机可读存储介质504可以包括指令506、508、510和512，这些指令在由处理器502执行时使得处理器502执行各种功能。

在一示例中，指令506可以包括用于在预定义时间段内监测与计算设备的用户交互的指令。指令508可以包括用于将预定义时间段内的用户交互与多个预定义异常用户交互进行比较的指令。指令510可以包括用于当用户交互在预定义时间段内与该多个预定义异常用户交互之一相匹配时检测到异常用户交互的指令。指令512可以包括用于响应于检测到的异常用户交互而激活用户界面中的数字助理的指令。

将领会的是，上面公开的和其他的特征和功能的变体或其替代物可以被组合到许多其他不同的系统或应用中。所属领域的技术人员随后可以做出各种目前未预见或未预料到的替代物、修改、变型或改进，这些替代物、修改、变型或改进也旨在由所附权利要求涵盖。

Claims

1.一种装置，包括：

处理器；以及

存储指令的非暂时性计算机可读介质，所述指令由所述处理器执行以便：

监测与所述装置的用户交互；

检测与所述装置的异常用户交互；以及

响应于检测到的异常用户交互而激活数字助理，其中所述数字助理用于收集与异常用户交互相关的用户信息。

2.根据权利要求1所述的装置，进一步包括：

通信接口，用于将所述数字助理收集的用户反馈传输到远程服务器。

3.根据权利要求1所述的装置，其中异常用户交互包括：在预定义时间段内检测到大于阈值的按键按压次数。

4.根据权利要求1所述的装置，进一步包括：

通信地耦合到所述处理器的输入设备中的传感器，其中当所述传感器检测到大于阈值的力的量时，检测到异常用户交互。

5.根据权利要求1所述的装置，其中异常用户交互包括：在预定义时间段内高于阈值的鼠标移动次数。

6.根据权利要求1所述的装置，进一步包括：

外部设备接口，其中异常用户交互包括：在预定义时间段内检测到所述外部设备接口中大于阈值的插入次数。

7.根据权利要求1所述的装置，其中所述非暂时性计算机可读介质用于存储多个预定义异常用户交互。

8.一种方法，包括：

由计算设备的处理器在预定义时间段内监测与所述计算设备的用户交互；

当用户交互与预定义异常用户交互相匹配时，所述处理器检测到异常用户交互；

由所述处理器捕获所述计算设备在所述异常用户交互期间的性能参数的快照；以及

由所述处理器响应于检测到的所述异常用户交互而激活数字助理，其中所述数字助理用于基于所捕获的快照来提供关于所述计算设备的性能的信息。

9.根据权利要求8所述的方法，其中所述数字助理用于收集用户反馈信息。

10.根据权利要求9所述的方法，进一步包括：

由所述处理器计算所述计算设备的总体性能得分，其中所述总体性能得分包括所述计算设备的基于性能参数的客观得分和基于用户反馈信息的主观得分。

11.根据权利要求10所述的方法，进一步包括：

当所述总体性能得分低于阈值时，由所述处理器向服务提供商传输更换所述计算设备的通知。

12.根据权利要求8所述的方法，其中性能参数的快照指示所述计算设备的错误，并且所述数字助理在所述错误被纠正之后被激活，其中所述数字助理用于提供与所述错误以及与所述错误如何被纠正相关的信息。

13.根据权利要求8所述的方法，其中性能参数的快照指示所述计算设备的错误，并且所述数字助理在所述错误被纠正之前被激活，以向用户指示所述错误正在被纠正。

14.一种利用可由计算设备的处理器执行的指令来编码的非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包括：

用于在预定义时间段内监测与所述计算设备的用户交互的指令；

用于将所述预定义时间段内的用户交互与多个预定义异常用户交互进行比较的指令；

用于当用户交互在所述预定义时间段内与所述多个预定义异常用户交互之一相匹配时检测到异常用户交互的指令；以及

用于响应于检测到的所述异常用户交互而激活用户界面中的数字助理的指令。

15.根据权利要求14所述的非暂时性计算机可读存储介质，其中所述用于监测的指令包括：从输入设备中的传感器接收信号。