CN101536005A

CN101536005A - 在线虚拟机器人安全代理

Info

Publication number: CN101536005A
Application number: CNA2007800419047A
Authority: CN
Inventors: T·S·比吉斯; C·D·冈恩; M·D·史密斯
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2006-11-10
Filing date: 2007-10-19
Publication date: 2009-09-16
Also published as: JP2010509679A; WO2008091421A2; WO2008091421A3; AU2007345184A1; US8145708B2; AU2007345184B2; MX2009004055A; US20080114837A1; EP2080141A2; RU2445694C2; KR20090085057A; RU2009117673A; JP5075917B2

Abstract

各实施例可以提供虚拟在线机器人或安全代理。该代理或监护者可以监控在线会话，并可以在会话的内容满足指示该内容可能是不正当的或可能是有害的或危险的特定的可定义准则的情况下进行干预。在至少一些实施例中，代理或监护者被配置成利用自然语言处理技术来评估一个会话跨其跨度的上下文，和/或多个会话跨各个用户的上下文。使用自然语言处理技术，在认为特定会话或其部分有问题时，代理或监护者随后可以向各个用户(或其他人)呈现通知或警告。

Description

在线虚拟机器人安全代理

背景

当今，随着人们越来越广泛和频繁地与诸如可通过因特网获得的那些资源等联网的计算机资源进行交互，隐私和安全越来越重要。例如，一个人通过因特网进入与另一个人(或某一其它实体，如机器人)的实时对话并非不常见。该对话可通过该个人接收诸如通常在即时消息通信上下文中接收到的那些会话邀请等会话邀请来产生，或在某一其它上下文中如通过访问网站或使用网站上的小配件来产生。

常常，任何隐私或安全问题的缓解以接受会话邀请或进入会话或对话而结束。即，用户自由进入或不进入会话。一旦进入会话，用户时常未被保护免于诸如网络钓鱼企图或甚至更坏地，将其个人安全置于危险之中的活动等恶意活动。作为示例，考虑以下对话，其中用户A—需要保护的用户—在与未知用户B进行在线会话：

A 嗨

B 嗨，你的社会保险号是多少？

或考虑以下会话：

A 嗨，你是谁？

B 我叫Bill——你住在哪？

A Redmond(雷蒙德)

B 哪条街？

A 第111大街东北

B 酷—我可能住在你附近—你的门牌号是多少？

如这些对话所示，用户可能很容易地进入可能变为恶意的会话。使其更复杂的是以下事实：诸如儿童和未成年人等一些用户可能更易于信任他们在线遇到的人或实体——因此，增加了他们不经意地暴露给恶意活动的危险。

概述

以下描述的各实施例可以提供虚拟在线机器人或安全代理。该代理(也被称为“监护者(guardian)”)可以监视在线会话，并可以在会话的内容满足指示该内容可能是不正当的或可能是有害的或危险的特定的可定义准则的情况下进行干预。在至少一个所示和所述实施例中，代理或监护者被配置成利用自然语言处理技术来评估一个会话跨其跨度的上下文，和/或多个会话跨各个用户的上下文。使用自然语言处理技术，在认为特定会话或其部分有问题时，代理或监护者随后可以向各个用户(或其他人)呈现通知或警告。

在至少某些实施例中，代理或监护者可以随时间学习并开发允许其动态地适应新的和不同的场景的知识库。

附图简述

图1示出根据一实施例的包括基于在场的网络的系统。

图2示出根据一实施例的、即时消息通信应用程序形式的、展示会话窗口的示例性应用程序。

图3示出根据本发明的一实施例的、在基于在场的网络中包括一个或多个监护者的系统。

图4示出了根据一实施例的示例性用户界面。

图5示出了根据一个实施例的示例性监护者。

图6示出了根据一实施例的示例性用户界面。

图7是示出根据一个实施例的方法中的各步骤的流程图。

详细描述

概览

以下描述的各实施例可以提供虚拟在线机器人或安全代理。该代理(也被称为“监护者”)可以监控在线会话，并可以在会话的内容满足指示该内容可能是不正当的或可能是有害的或危险的特定的可定义准则的情况下进行干预。在以下描述的各实施例中，代理或监护者可以在其中能发生在线通信的系统中的不同位置处实现。例如，在一些实施例中，代理或监护者可以作为在最终用户的计算设备上执行的软件的一部分本地地实现。在该上下文中，代理或监护者可以构成诸如即时消息通信应用程序、移动短文本消息交换等方便双向通信的应用程序的一部分，或可以构成可由其它应用程序利用的软件组件。另选地或另外地，代理或监护者可以构成驻留在网络上的代理组件，以代理各实体之间的通信。另选地或另外地，代理或监护者可以构成代表各个用户执行监控和评估的服务器的一部分。

在至少一个所示和所述实施例中，代理或监护者被配置成利用自然语言处理技术来评估一个会话跨其跨度的上下文，和/或多个会话跨各个用户的上下文。使用自然语言处理技术，在认为特定会话或其部分有问题时，代理或监护者随后可以向各个用户(或其他人)呈现通知或警告。这样的警告可以在发送消息之前出现，或在适当时与通信内联地出现。另选地或另外地，代理或监护者可以阻塞或以其它方式阻止其认为有问题的会话的各部分。

在至少一些实施例中，代理或监护者可以随时间学习并开发允许其动态地适应新的和不同的场景的知识库。例如，代理或监护者可以跨单个用户的交互、一组用户或跨网络上的所有用户来学习。

可以明白和理解，此处描述的方法和技术可以在其中用户进入与另一方(另一人或机器人)的会话的任何上下文中利用。这样的会话可以是文本或语音会话，如使用即时消息通信应用程序、web浏览器、文本消息通信、VoIP应用程序等所能够发生的那些会话。

然而，为向用户提供某种有形上下文，以下所述的实施例在所谓的基于在场的应用程序或网络的上下文中描述，在该上下文中用户可以与他方(人类或机器人形式的应用程序)进行交互。所描述的基于在场的应用程序是即时消息通信应用程序。

在以下讨论中，首先描述基于在场的网络的概念，以向不熟悉这种网络和相关联的基于在场的应用程序的读者提供用于理解所描述的各实施例的一些上下文。此后，在基于在场的网络的上下文中提供了本发明实施例的讨论。

在场概述

在场的概念通常意味着使用运行并保持在线用户用彼此的联系人的在线状态进行更新的服务器或服务。即，在基于在场的网络中，用户可以标识所谓的联系人——与出现在该用户的电子邮件地址列表中的那些相同或类似。只要联系人在线，基于在场的网络就通知用户，以使该用户可以利用该网络所提供的服务——如即时消息通信、对等文件交换等。即，该基于在场的网络可以使一起在线的联系人能够以实时的方式通信。

一种市场上可买到的提供在场能力的软件产品是微软的Windows

Messenger或Microsoft Windows

Live Messenger，虽然其它产品也可获得并当然可以结合本文中所描述的概念来使用。微软的Windows

Messenger是Windows

XP中的丰富的、综合的实时通信体验，其使人们能够不费力地看到朋友、家人和同事并与他们交谈、工作和游戏，而无论他们在何时以及如何使用其个人计算机。Windows

Messenger还包括在用户的联系人在线时保持用户被更新并使用户知道他们的当前状态的在场和通知特征。

以下所描述的各实施例可以利用基于在场的网络所提供的功能。可以明白和理解，微软的Windows

Messenger只构成可以在该上下文中利用的一个示例性应用程序。如此，可以利用其它应用程序而不背离所要求保护的主题的精神和范围。这样的其它应用程序可以是或可以不是基于在场的。示例性基于在场的网络

作为根据一实施例的基于在场的网络的示例，考虑图1，其概括地在100处示出这样的网络或系统。系统100包括一个或多个计算设备102，而计算设备102的每一个都包括一个或多个处理器104、一个或多个计算机可读介质106和驻留在计算机可读介质上并由处理器执行的一个或多个应用程序108。在至少一个实施例中，应用程序中的一个以即时消息通信应用程序的形式驻留，如微软的Windows

Messenger。在至少一些实施例中，计算机可读介质106可以包括除基于在场的应用程序之外的、可以实现此处所描述的各实施例的应用程序。这样的其它应用程序可以包括，作为示例而非限制，web浏览器、小程序、基于web或桌面的小配件、移动应用程序、计算机游戏等。

虽然计算设备102以台式计算机的形式示出，但应该认识和理解，也可利用其它计算设备而不背离所要求保护的主题的精神和范围。例如，其它计算设备可以包括，作为示例而非限制，便携式计算机、诸如个人数字助理(PDA)等手持式计算机、蜂窝电话等。

系统100还可以包括诸如因特网110等由计算设备102用来与基于在场的网络112进行通信的网络。可以利用任何合适的协议来启用计算设备102和基于在场的网络112之间的通信。

如图所示，技术人员将理解，基于在场的网络112包括实现在场环境的一个或多个服务器114。基于在场的网络可以是包括或支持对即时消息通信、VoIP、语音剪辑等的使用的那些网络，所有这些功能都能准许计算设备102的用户与该网络和该网络的诸如人类或机器人等其他用户进行通信。即时消息通信、VoIP和语音剪辑协议将被技术人员所理解且为简明起见在此将不进一步描述。

在至少一些实施例中，基于在场的网络包括一个或多个应用程序或机器人106，它们通常由服务器114主存或主存在服务器114上，并可以与计算设备102的用户通信(通过任何合适的手段，如即时消息通信、电子邮件、VoIP、语音剪辑等)。该网络还包括可以使用所示的各种计算设备的任一种来与计算设备102的用户通信的其他人类用户。

在实践中，在基于在场的网络中的用户进入与另一方的会话中时，某一类型的用户界面被呈现给该用户，该会话可以通过该用户界面发生。

仅作为一个示例，考虑图2，其示出来自图1的即时消息通信应用程序形式的应用程序108、一个应用程序/机器人106和一个人类用户。在此，即时消息通信应用程序108在用户的计算设备上呈现包括所谓的会话窗口200的用户界面，该窗口准许该用户与在线的各联系人或其他人进行会话。另外，应用程序108提供列出用户的在呈现时间正好在线的各联系人的联系人列表202。如此，在该示例中，Bill、Sue、Fred和Frank当前在线，且用户可以选择发起与他们中的任一个或全部的会话。

注意，在该示例中，用户的全部联系人看来都是人类。然而，可能存在这样的情况：用户的联系人，或更一般地用户与其交互或通信的实体，实际上不是人类而是机器人。

例如，假定用户浏览到旅游相关的站点，并通过点击特定链接来访问信息以使他们能够计划旅行。通过点击链接，用户的即时消息通信应用程序被启动(或与基于在场的网络通信地链接的准许会话的某一其它应用程序)，且该用户突然发现他们处于与旅行代理“Joe Johnson”的“会话”中。尽管就具有在线角色并能够上场和以智能的方式响应问题而言，Joe可能在许多方面表现为人类，但用户可能不知道“Joe Johnson”实际上是机器人。此外，用户可能不知道该机器人是否是合法的机器人——如合法地与该旅行站点相关联的机器人，或心中具有其它恶意目的的机器人。

在以下所描述的各实施例中，提供了监控并评估用户的会话——无论那些会话是与其他人类的和/或机器人的——并在认为会话或其内容的各部分有问题或可能有害的情况下采取补救措施的代理或监护者。

示例性实施例

图3示出根据一实施例的包括与结合图1所述的各组件相同或类似的组件的示例性系统。因此，为简明起见，在此不重复那些组件的描述。

然而，注意，在该实施例中，提供了监护者组件300。如上所述，监护者组件可以驻留在系统100的不同位置处。例如，监护者组件300可以本地地驻留在最终用户的计算设备上。在该上下文中，监护者组件可以构成诸如即时消息通信应用程序等应用程序的一部分，或可以作为可由其它组件使用或利用的独立组件来驻留。另选地或另外地，监护者组件300可以驻留在诸如因特网等网络上或以其它方式可经由该网络来访问。在此，监护者组件将用作会话参与者之间的代理。另选地或另外地，监护者组件300可以通过基于在场的网络来提供或以其它方式来访问。

在其中监护者组件结合即时消息通信应用程序来实现的各实施例中，监护者组件可以作为用户界面中的联系人来出现。例如，图4示出其中监护者出现在用户的联系人列表中的示例性用户界面。这使用户知道他们的会话在被监护者监控和保护。

在以下讨论中，描述了示例性监护者组件的特征和属性。可以明白和理解，本描述只构成一个示例性监护者组件。如此，可以利用其它监护者组件而不背离所要求保护的主题的精神和范围。

示例性监护者组件

图5示出概括地在500处示出根据一实施例的、包括监护者组件502的示例性系统。在所示和所述实施例中，监护者组件以驻留在诸如ROM、RAM、硬盘、闪存等某一类型的计算机可读介质上的计算机可读指令的形式以软件来实现。此外，尽管监护者组件被示为包括以下所述的特定组件，但可以明白和理解，这些组件(或与所描绘的这些类似或不同的组件)可以驻留在监护者组件之外且可被使用来或被调用来实现以上和以下所描述的功能。此外，应当注意，监护者组件可由驻留在系统中的不同的位置处，如上所述，该监护者组件可以构成该系统的一部分。

在所示和所述实施例中，代理或监护者被配置成利用自然语言处理技术来评估一个会话跨其跨度的上下文，和/或多个会话跨各个用户的上下文。使用自然语言处理技术，在认为特定会话或其部分有问题时，代理或监护者随后可以向各个用户(或其他人)呈现通知或警告。另选地或另外地，代理或监护者可以阻塞或以其它方式阻止显示其认为有问题的会话的各部分。作为这两种方式之间的折中，监护者可以提示警告，请求用户验证特定通信应进行并在发送该用户的响应之前等待肯定。技术人员知道并将很容易地理解自然语言处理技术。因此，为简明起见，在此不描述这种技术。

在所示和所述实施例中，监护者组件502包括或以其它方式利用查询处理器504、会话模型506和规则/准则组件508。

查询处理器504是自然语言处理系统的一部分，并通常操作诸如文本串等输入来解析该输入，并从所解析的输入中构建会话模型，如会话模型506。可利用任何合适的查询处理器。

随后鉴于规则/准则组件508来评估会话模型506以查明会话或其部分是否需要被进一步处理。规则/准则组件构成描述按其评估会话的规则和准则的信息的知识库。这些规则和准则可以用任何合适的方式和使用任何合适的语言来表达。仅作为一个示例，这些规则和准则可以用XML来表达，而XML又提供监护者可被扩展的灵活的和方便程度的扩展性和适应性。具体地，这种扩展性可以支持诸如随时间的累积学习和新的和/或不同的规则和准则的合并等。

在所示和所述实施例中，监护者502被配置成接收不同类型的输入。在所示和所述示例中，监护者502可以接收会话元素510、用户简档512和/或互联网数据源514作为输入。

会话元素510可以包括任何合适类型的会话元素。在该示例中，会话元素可以包括文本以及其它会话元素。具体地，在该示例中，会话元素可以包括可由合适地配置的、可以构成或可以不构成监护者程序的一部分的语音到文本处理器处理的VoIP(IP语音)输入。会话元素是用户或参与者在在线对话期间所生成的那些元素。

用户简档512包括各种用户简档，而其又包括规则/准则组件508可用来设置要结合特定用户使用的规则和准则的参数和约束。例如，通过使用用户简档，家长可以设置随后被用来评估会话的家长控制。还可以使用其它用户简档。

互联网数据源514可以包括来自各种互联网数据源的输入。在此，这些数据源可以包括任何合适的输入。

在接收到输入并如上所述处理了该输入后，监护者502可以操作该输入以在适当时产生一个或多个补救动作516。监护者502所产生的补救动作可以包括任何合适的补救动作。作为示例而非限制，这种补救动作可以包括生成警告(如可听和/或可视的)，通知其它第三方或第三方服务，和/或禁止或阻塞该会话、各会话部分或受保护方与其会话的实体。

图6示出其中受保护用户(用户A)在与另一用户(用户B)进行会话的示例性用户界面。在此，用户B询问了一些个人信息——用户A的地址。注意，在该示例中，为用户A生成了两个不同的警告。第一，监护者图标开始闪烁，从而警告用户A潜在的威胁。第二，邻近会话文本呈现对话框，警告用户公开个人信息的潜在危险。当然，这两个警告仅构成可以生成的警告的示例。可以生成其它警告而不背离所要求保护的主题的精神和范围。

在上述实施例中，代理或监护者是在基于在场的网络的上下文中，或更具体地是在即时消息通信应用程序中使用的。可以明白和理解，代理或监护者可以结合其它网络和/或应用程序来使用，如web浏览器等。另外，代理或监护者可以用任何合适的方式来表示。例如，在即时消息通信上下文中，代理或监护者被表示为出现在联系人列表中的图标。在即时消息通信上下文以外的其它上下文中，代理或监护者可以通过某种其它可视和/或可听方式来表示。例如，通知可以作为应用程序的用户界面的一部分来显现(即，在监护者遭遇有问题的会话时，红灯闪烁和/或可听警告声发声)。

此外，在至少一些实施例中，可能根本不向用户显示有问题的会话元素。相反，在向用户显示会话元素之前，可以对其进行处理，并且如果发现是有问题的，则可以将其移除并将该移除通知用户。

另外，在至少一些实施例中，监护者或代理可以是可扩展的。例如，学校所采用的监护者或代理可由政府机构来扩展，以扩展来覆盖未被标准代理或监护者覆盖的情形。扩展可以通过任何合适的网络来下载和安装。

此外，在至少一些实施例中，在例如用户未满一定年龄时，可以自动地添加代理或监护者来监控该特定用户。例如，在未满16岁的孩子在其即时消息通信客户端上创建联系人列表时，不可删除代理或监护者可被自动地添加到其联系人列表，以确保无论会话发生在什么论坛，他们在其会话全程都受到保护。

示例性方法

图7是描述根据一个实施例的方法中的各步骤的流程图。该方法可以结合任何合适的硬件、软件、固件或其组合来实现。仅在一实施例中，该方法可以用软件实现。

步骤700安装代理或监护者。该步骤可以用任何合适的方式来执行。例如，代理或监护者可以安装在本地用户的机器上、作为代理安装在一网络位置处、和/或作为诸如被用来实现即时消息通信环境的网络等基于在场的网络的一部分来安装。步骤702接收会话元素。该步骤由代理或监护者执行，且可以用任何合适的方式并用任何合适的会话元素来执行。例如，如上所述，这种会话元素可以包括文本元素和诸如VoIP元素等其它元素。

步骤704将自然语言处理应用于会话元素。如何这样做的仅一个示例在上文中提供。可以明白和理解，可以应用各种各样的自然语言处理，这将被本领域技术人员所理解。步骤706响应于应用自然语言处理，查明会话看来是否是可能有问题的。会话可能出于多种原因而看来是可能有问题的。例如，在会话过程期间，一个人可能被请求透露个人信息，如其地址、社会保险号等。另外，可能存在所使用的语言不适合其他用户的年龄群体的情况。此外，可能存在一个人被要求接受文件或发起不适当的某种活动的情况。在合法的情况下—如提供地址以进行在线购物，会话是没有问题的。在恶意网站自身冒称合法的在线购物站点的情况下，该会话是可能有问题的。

另选地或另外地，会话可能是有问题的，因为在其过程期间，其向对特定用户不适当的方向发展。例如，与未成年人的或未成年人之间的会话可能变得有问题，因为其主题变得下流或淫秽。

如果会话看起来不是可能有问题的，则步骤708允许该会话继续。另一方面，如果会话看起来是可能有问题的，则步骤710采取一个或多个补救动作。补救动作的示例在上文中提供。

结论

虽然已经用对结构特征和/或方法步骤专用的语言描述了本发明，但是应当理解，所附权利要求书中定义的本发明不必限于所描述的具体特征或步骤。相反，各具体特征和步骤是作为实现所要求保护的本发明的较佳形式来公开的。

Claims

1.一种或多种包括计算机可读指令的计算机可读介质(106)，所述计算机可读指令在由一个或多个处理器执行时使得所述一个或多个处理器实现一种方法，所述方法包括：

提供被配置成使用自然语言处理技术来至少在基于在场的网络(112)中监控和评估在线会话的监护者组件(300)；以及

用所述监护者组件(300)来监控一个或多个在线会话。

2.如权利要求1所述的一种或多种计算机可读介质，其特征在于，所述提供动作是在最终用户的计算设备上执行的。

3.如权利要求2所述的一种或多种计算机可读介质，其特征在于，所述监护者组件构成即时消息通信应用程序的一部分。

4.如权利要求3所述的一种或多种计算机可读介质，其特征在于，所述监护者组件作为联系人出现在所述即时消息通信应用程序的用户界面中。

5.如权利要求1所述的一种或多种计算机可读介质，其特征在于，所述提供动作是经由其中所述监护者组件用作会话参与者之间的代理的网络来执行的。

6.如权利要求1所述的一种或多种计算机可读介质，其特征在于，所述提供动作是通过经由所述基于在场的网络提供所述监护者组件来执行的。

7.如权利要求1所述的一种或多种计算机可读介质，其特征在于，还包括响应于所述监控动作，在所监控的会话看来有问题时实现一个或多个补救动作。

8.如权利要求7所述的一种或多种计算机可读介质，其特征在于，一个补救动作包括向其会话正被监控的用户呈现警告。

9.如权利要求7所述的一种或多种计算机可读介质，其特征在于，一个补救动作包括阻塞所监控的会话的至少一部分。

10.如权利要求7所述的一种或多种计算机可读介质，其特征在于，一个补救动作包括生成关于所述会话的通知。

11.如权利要求7所述的一种或多种计算机可读介质，其特征在于，所述监控动作包括跨其跨度来监控和评估会话。

12.一种计算机实现的方法，包括：

呈现可使用户能够与一个或多个实体会话的用户界面(200)；

接收关于所述用户正经由所述用户界面进行的会话的会话元素(702)；

将自然语言处理应用于所述会话元素来标识看来有问题的会话部分(704)；以及

在一会话部分看来有问题时，采取一个或多个补救动作(710)。

13.如权利要求12所述的方法，其特征在于，所述用户界面包括即时消息通信用户界面。

14.如权利要求12所述的方法，其特征在于，所述用户界面不包括即时消息通信用户界面。

15.如权利要求12所述的方法，其特征在于，所述采取一个或多个补救动作的动作包括向所述用户呈现警告。

16.如权利要求12所述的方法，其特征在于，所述采取一个或多个补救动作的动作包括向所述用户呈现警告，其中所述警告是可视警告。

17.如权利要求12所述的方法，其特征在于，所述采取一个或多个补救动作的动作包括向所述用户呈现警告，其中所述警告是可听警告。

18.如权利要求12所述的方法，其特征在于，所述采取一个或多个补救动作的动作包括阻塞所述会话的至少一部分。

19.一种或多种其上具有的计算机可读指令的计算机可读介质(106)，所述计算机可读指令在被执行时实现使用自然语言处理技术来监控即时消息通信(IM)会话并在会话看来有问题时生成警告的IM应用程序(108)。

20.如权利要求19所述的一种或多种计算机可读介质，其特征在于，所述自然语言处理技术由表示为联系人列表中的图标的组件来实现。