CN105745672A - 为分类预测和建议提供原因 - Google Patents

为分类预测和建议提供原因 Download PDF

Info

Publication number
CN105745672A
CN105745672A CN201480063200.XA CN201480063200A CN105745672A CN 105745672 A CN105745672 A CN 105745672A CN 201480063200 A CN201480063200 A CN 201480063200A CN 105745672 A CN105745672 A CN 105745672A
Authority
CN
China
Prior art keywords
reason
classification
user
feature
contribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480063200.XA
Other languages
English (en)
Inventor
J·盖弗
J·文恩
J·埃德莱恩
T·松德林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105745672A publication Critical patent/CN105745672A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3337—Translation of the query language, e.g. Chinese to English
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/107—Computer-aided management of electronic mailing [e-mailing]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Medical Informatics (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

通常提供了技术用于提供对应于建议的分类的原因的预测系统。该预测系统可以预测分类(例如对传入消息的用户行动)以帮助用户分流电子邮件，以及可以向用户提供分类的一个或多个原因。该预测系统可以识别消息的特征以便关于用户交互做出预测并且向用户建议行动，其中特征可以包括电子邮件消息的特性(例如发件人身份)。为建议的行动呈现的原因可以传达对预测决定做出显著贡献的消息的观察的特征，并且该原因相比特定用户的典型项目来说是相对意外的。

Description

为分类预测和建议提供原因
背景技术
在协作环境中，用户可以从多个数据源(例如内容发生器、数据库、搜索引擎、其他用户等)接收大量的数据。例如，用户可以接收电话呼叫、电子邮件、日历请求、文本消息、以及其他类型的数据和提醒。手动读取、响应、并组织这些大量的数据对个人用户来说可能是难以应对的、费时和效率低下的。
一些应用试图通过预测用户在接收到传入通信后可能采取的行动来简化响应于该数据的用户行动。这样的应用可以基于观察到的用户响应的趋势，通过对用户的行为进行分类来试图理解用户的行为。所述应用还可以基于观察到的行为向用户提供建议的分类(例如，采取的行动)。然而，一些建议的分类对用户来说可能看起来是通用的、广泛的、或模糊的，并且用户可能无法确信该系统已经准确地预测用户可能如何响应传入的通信。
发明内容
提供本“发明内容”是为了以简化的形式介绍将在以下“具体实施方式”中进一步描述的一些概念。本“发明内容”并不旨在排他地标识出所要求保护的主题的关键特征或本质特征，也不旨在辅助确定所要求保护的主题的范围。
实施例涉及提供对应于所建议分类的原因的预测系统。该预测系统可以预测传入消息的分类(例如，采取的行动、消息类型、消息紧急性等)以帮助用户分流电子邮件，以及可以向用户提供所建议分类的一个或多个原因，以帮助用户理解系统为什么做出该预测。该预测系统可以标识消息的特征以便对分类和/或用户交互做出预测并且向用户建议分类，以及可以将该特征映射到原因。消息的每个特征的相对贡献分数可以被计算，并且对应于这些特征的原因列表可以以相对贡献的降序顺序向用户呈现。
通过阅读下面的详细描述并参考相关联的附图，这些及其他特征和优点将变得显而易见。可以理解，前述一般描述和以下的详细描述都是说明性的，并且不限制所要求保护的各方面。
附图说明
图1示出了用于预测分类和为所预测的分类提供原因的基于云的示例环境；
图2示出了提供对应于建议的分类的原因的系统的顶层示意图；
图3示出了提供对应于所预测的分类的原因列表的系统的示意图；
图4是网络化环境，其中根据实施例的系统可以被实现；
图5是示例计算操作环境的框图，其中实施例可以被实现；以及
图6示出了根据实施例的用于提供对应于预测应用的建议的分类的原因的过程的逻辑流程图。
具体实施方式
如上面所简要描述的，系统被提供给预测系统以提供对应于所建议分类的原因。该预测系统可以预测分类(例如对传入消息的用户行动)以帮助用户分流电子邮件，以及可以向用户提供所建议分类的一个或多个原因以帮助用户了解该系统为什么做出该预测。该预测系统可以识别消息的特征以便关于分类做出预测，并且向用户建议分类，以及可以将特征映射到原因。为所建议的分类呈现的原因可以传达对预测决定做出显著贡献的消息的观察的特征，并且该原因相比特定用户的典型项目来说是相对意外的。消息的每个特征的相对贡献分数可以被计算，并且对应于每个特征的原因列表可以以相对贡献的降序向用户呈现。
在以下详细描述中，参考了构成详细描述的一部分并作为说明示出了各具体实施例或示例的附图。可组合这些方面，可利用其他方面，并且可以做出结构上的改变而不背离本公开的精神或范围。因此，以下的详细描述并不应被视为具有限制意义，并且本发明的范围由所附权利要求及其等效方案来限定。
尽管在结合在个人计算机上的操作系统上运行的应用程序执行的程序模块的一般上下文中描述了各实施例，但是本领域的技术人员将会认识到各方面也可以结合其他程序模块实现。
一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、部件、数据结构和其他类型的结构。此外，本领域的技术人员将理解的是，各实施例可以用其他计算机系统配置来实施，包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机以及类似计算设备。各实施例还可以在任务由通过通信网络链接的远程处理设备来执行的分布式计算环境中实现。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备两者中。
各实施例可被实现为计算机实现的过程(方法)、计算系统、或者诸如计算机程序产品或计算机可读介质等的制品。计算机程序产品可以是计算机系统可读并且编码包括用于使计算机或计算系统执行(多个)示例过程的指令的计算机程序的计算机存储介质。计算机可读存储介质是计算机可读存储器设备。计算机可读存储介质可例如经由易失性计算机存储器、非易失性存储器、硬盘驱动器、闪存驱动器、软盘、或压缩盘以及类似介质中的一个或多个来实现。
贯穿本说明书，术语“平台”可以是用于提供对应于预测系统的建议的分类的原因的软件和硬件部件的组合。平台的示例包括但不限于，在多个服务器上执行的被托管的服务、在单个计算设备上执行的应用、以及类似系统。术语“服务器”一般指通常在联网环境中执行一个或多个软件程序的计算设备。然而，服务器还可以被实现为在被视作网络上的服务器的一个或多个计算设备上执行的虚拟服务器(软件程序)。以下提供关于这些技术和示例操作的更多细节。
图1示出了根据实施例的用于预测分类和为所预测的分类提供原因的基于云的示例环境。
如在图100中所表明的，用户(102、104和106)可以通过基于云的网络110访问提供多种通信能力的应用，例如通信应用116。通信应用116可以在远程服务器112处托管，并且可以经过用户的客户端设备通过基于云的网络110访问。通信应用116还可以在用户的客户端设备处本地地托管，并且可以通过基于云的网络110从远程服务器112取回与通信应用相关联的数据。通信应用116可以是提供多种通信能力(例如电子邮件、文本消息、VOIP、会议、即时消息、电话呼叫、联系人、管理、日历管理、和其他类似的能力)的应用。与通信应用116相关联的不同类型的数据(例如电子邮件消息、文本消息、即时消息、语音邮件消息、电话呼叫、会议要求、多媒体和/或视听消息、文件、RSS订阅、社交网络更新、以及其他类似的警示和数据)可以被接收并且在用户的客户端设备处进行互动。示例客户端设备可以包括膝上型计算机136、台式计算机132、智能电话134、汽车电话、移动电话、平板电脑、和/或家庭自动化设备。
在示例实施例中，在用户的个人计算设备处通过基于云的网络110接收到传入通信时，用户102可以对该传入通信通过执行特定的行动而做出响应。例如，响应于接收到电子邮件消息，用户102可以阅读和回复电子邮件、忽略邮件、对邮件设置优先级、删除邮件、标记邮件、将电子邮件移动到特定的分类文件夹、和/或保存电子邮件供后续操作，作为一些示例用户行动。其他分类示例可以包括但不限于，消息类型(例如，新闻通讯、社交网络更新、发票等)，消息紧急性、消息重要性、消息存放的文件夹、等等。作为另一示例，如果用户102接收到日历提醒和/或事件请求，用户可以将事件添加到用户的个人日历，并且还可以将事件归类为工作或个人事件，并且可以将事件标记为重要。作为另一示例，当用户接收到文本消息时，用户可以采取的一些可用的响应行动可以包括阅读、回复、删除或保存消息以供后续操作。上面的示例响应行动表示用户响应于传入通信可以采取的一些可用的行动，然而应当认识到，响应于接收到各种传入通信，用户还可以采取多个其他行动。类似地，通过基于云的网络110与通信应用116相关联的另一用户104可以在用户的客户端设备处接收个人数据，并且可以响应于所接收到的数据执行其他行动。
在根据实施例的系统中，与通信应用116相关联的预测系统114可以促进个性化的分类和用户交互和/或分类的预测。个性化可以意指学习用户的习惯和特性，并且基于该学习适应用户的体验。预测系统114可以观察用户与数据的多个交互，并且可以预测分类，例如基于所观察到的用户交互、响应于传入通信的将来的用户行动。基于所预测的分类，例如，预测系统114可以被配置为实时地向用户102提供建议的分类，并且等待用户对所预测行动的批准。在另一示例中，预测系统114可以代表用户102自动地执行所预测的行动。例如，系统可以自动地将电子邮件的附件保存在预测文件夹或将传入的消息标记为响应的高优先级。所建议的分类可以同时基于对多个用户的观察，而在其他实施例中，所建议的分类可以是基于对特定用户所观察到的交互而高度个性化的。
如本文所描述的，示例预测系统114可以是电子邮件预测系统，其中该系统可以预测对接收到的消息进行例如答复、读取、删除、转发、标记为跟进、忽略、和其他类似行动的分类，以通过基于模型预测提出个性化建议或指示来帮助用户分流电子邮件。用户可能希望了解预测系统为什么会向该用户建议特定的分类，以便对所建议的分类与在特定场景中用户采取的最适当的行动相关联感到信任。在根据实施例的系统中，预测系统可以在该系统建议分类时向用户提供一个或多个原因，其中所述原因可以描述该系统为什么提出特定的建议或预测。
图2示出了根据一些实施例的提供对应于建议的分类的原因的系统的顶层示意图。
如在图200中所示出的，用户可以在该用户的客户端设备上运行的通信应用210处接收传入通信，例如电子邮件消息202、会议请求、事件请求、日历提醒、或其他类似的数据。如先前所描述的预测系统212可以基于所观察到的传入通信的特征，预测分类和向用户建议分类。
在示例实施例中，当接收到诸如电子邮件消息202的传入通信时，预测系统212可以标识电子邮件消息202的特征，以便关于分类做出预测和向用户建议消息的行动或上下文。特征可以包括电子邮件消息202的多个特性，例如发件人身份、在主题行或正文中的被识别的关键词、附件、红色标记、会议请求、和其他类似的特性。预测系统212可以基于所观察到的电子邮件消息的特征而建议分类，可以确定所建议的分类的原因204，以及可以向用户提供系统为什么建议该分类的原因206。用于提出建议的原因204可以与所观察到的电子邮件消息的特征有关。
在根据实施例的系统中，向用户提供的预测或建议的分类的原因204可以传达项目(例如，电子邮件消息202)的对所建议的分类具有显著贡献的方面，以及电子邮件消息202的与特定于接收用户的典型项目相比可能相对意外的特征或特性。例如，与会议要求相比，传入消息作为普通的电子邮件消息，可以对预测该用户将会回复该项目的决定做出显著贡献。由于用户接收的大多数消息可以是该用户可能经常回复的普通电子邮件消息，将此作为原因向用户强调可能不是有用的。然而，如果传入消息来自于用户经常回复的特定发送者，则系统可以随预测提供原因，因为所观察到的发件人身份对做出了显著贡献并且其可能是意外的(即，因为大多数电子邮件并不是来自于任何一个特定的发送者)。
对一般用户来说特征的意外性可以是确定的，对特定用户来说特征的意外性也可以是个性化的，以使得可以基于用户身份对与特征有关的原因进行加权。因为电子邮件消息的一些特征对一些用户相比其他用户来说可能更加常见，意外性的个性化决定可以为特定用户提供增强的体验。例如，从CEO或高级经理发送的电子邮件消息可以引发来自于普通员工的快速响应，并且系统基于接收来自于CEO或经理的电子邮件的意外性，可以权衡发件人为CEO这个特征作为建议回复行动的首要原因。然而，对于CEO(或经理)的助理来说接收来自于CEO的多封电子邮件可能是常见的，而发件人为CEO这个特征可能并不意外。对于助理来说，所建议的快速回复分类可以取决于电子邮件消息的其他特征，因为对该用户来说发件人身份并不是意外的特征。
在示例实施例中，可以在预测系统212中预定义多种特征相关的原因。特征相关的原因可以基于每个观察到的特征和与所观察到的特征相关联的分类而变化。特征相关的原因可以由管理员以及由系统的个人用户进行定制，以创建更加个性化的预测系统212。一些非限制性的示例原因可以包括：接收用户发起了这个对话、接收用户是“收件人”行中唯一的人、接收用户先前贡献于这个对话、发件人将消息标记为高重要性、发件人将消息标记为低重要性、发件人在你的管理链中、发件人是接收用户的经理、发件人直接向接收用户报告、接收用户通常响应/忽略/删除来自于此发件人的消息、接收用户的名字在“抄送”行、接收用户的名称在“收件人”行、消息包括相关联的日历日期、接收用户作为分发列表的一部分而接收到该消息、接收用户的经理也收到了这封邮件、这是接收用户发送的消息的回复、在这个对话中有标记的消息、在正文中识别出一个或多个定义的关键词、在主题行中识别出一个或多个定义的关键词、以及其他类似的原因。上面列出的原因是可以对建议的分类做出贡献的示例性的一些特征相关的原因。上面列出的原因并不意味着是限制性的，并且可以由系统、管理员、其他用户定义许多额外原因，并且所述额外原因可以对预测系统212所建议的分类做出贡献。
建议分类的原因可以基于两个或多个观察到的特征而包括多个部分。例如，系统可以基于电子邮件消息的发件人身份和在“抄送”行中的用户的身份来预测用户将要回复该电子邮件消息。此外，消息的多种底层特征可以共同对相同的原因做出贡献。例如，发件人身份、发件人是否是用户的经理、以及用户上次何时回复该发件人都可以对所建议的答复行动的相同的原因做出贡献。
在根据实施例的系统中，可以在用户的客户端设备的用户界面上将用于建议的分类的原因与所建议的分类一起提供206给用户。系统可以提供206对建议的分类贡献最大的首要原因，或者在其他实施例中，系统可以提供206对建议的分类有贡献的两个或更多个原因的列表。原因列表可以与所建议的原因一起在弹出窗格中自动地显示，或者在另一实施例中，原因列表可以是分开显示的项目。用户可以选择在建议分类时自动显示原因。此外，所建议的分类可以显示可选择的选项，以使得用户能够在用户期望时选择显示原因。此外，原因可以是可选择的，以提供有关该原因、以及什么功能和逻辑贡献于建议的分类的附加细节。
图3示出了根据一些实施例的提供对应于所预测的分类的原因的列表的系统的示意图。
如在图300中所示出的，预测系统312可以基于观察到的传入通信的特征来预测和向用户建议分类。为了使得用户能够对建议的分类是适当的分类感觉信任，预测系统312可以向用户提供一个或多个原因来描述为什么该系统做出特定的建议或预测。
通常，预测系统312可以在预测模型处根据所定义的预测公式(例如P(预测|项))预测用户对特定的传入消息302执行特定行动的个性化的概率。预测系统可以提取304一个或多个与传入消息相关联的特征，例如发件人身份、或接收用户是否发起该通信，并且可以对所提取的304特征应用预测公式。预测公式可以使用加权的特征和值来表示“绝对贡献”，其中该绝对贡献可以是特征值的加权和，以确定特征对于预测的绝对贡献。为了提供贡献的原因，预测系统312可能需要将绝对贡献转换成考虑到对特定的观察的特征的背景贡献的相对贡献。此外，该预测系统312可以将来自几个特征的贡献合并为一个原因，以便提供用于预测的分类的具体原因。
在根据实施例的系统中，如上面所描述的，当特征对所预测的分类具有显著贡献时，特征可以被暴露作为所预测分类的原因，并且其中所述特征被确定为相对于特定的接收用户来说是相对意外的。为了确定所观察到的特征何时对所预测的分类具有显著贡献，预测系统312可以计算接收到的消息(或其他传入通信)的观察的特征的相对贡献306。相对贡献可以通过比较绝对贡献与预期贡献来确定。预期贡献可以从与特定特征相关联的桶(bucket)的观察到的相对频率计算，其中桶可以表示该特征的一组离散值。在示例计算中，f1,…fn可以是对于跨数据集的给定的特征的每个桶的平均值，而x1,…xn可以是对于给定消息的桶值(大部分将为0)。则：
绝对贡献
预期贡献以及
相对贡献306＝AC-EC。
特征可以根据所计算的相对贡献306值进行排名308，并且更高数字的相对贡献306可以指示更强的特征贡献。此外，如果两个或更多个特征对共同的原因做出贡献，这些特征可以通过求和合并或以其他优先于排名的方式组合，并且每个特征的相对贡献306可以被一起平均以确定总体的相对贡献值。在对特征进行排名(308)以及将特征映射到原因之后，如下面进一步描述的，一组原因连同所建议的分类可以被呈现给用户。所呈现的一组原因可以包括首要原因、或可以包括其中贡献值超过定义的阈值的多个原因。
预期的贡献可以表示特征贡献的预期，即当n趋于无穷大时跨n个随机消息的特征的预期的贡献的平均值。没有必要精确地计算这个量，因为可以替代使用维持特征顺序的预期的贡献的变化式。在一些实施例中，预期的贡献可以以多种不同的方式来计算。
特征的相对贡献306的示例计算可以如下：
可以计算消息的所有特征的相对贡献306，具体地包括“先前标志”和“在收件人行中的接收者”。系统可以计算所有特征的相对贡献306，但对于说明性的实施例，该系统可以考虑“先前标志”和“在收件人行中的接收者”。
首先可以计算“先前标志”特征的每个特征桶的贡献分数，如在下面的表格中所示出的：
“先前标志”特征桶 加权平均 平均值
0 1.01411879062653 .55
1 1.59830498695374 .10
2 1.76304030418396 .08
3 1.15598356723785 .07
4 1.88279759883881 .06
5 1.80184161663055 .06
6 2.57335090637207 .04
8 1.85421621799469 .04
加权平均是与每个特征桶相关联的用以权衡特征桶对该特征的贡献预定值。“加权平均”是指“平均值”上的比例因子。在本示例中，比例因子是该特征存在于所有项目的概率。也可以采用其他类型的比例因子。“先前标志”特征可以是特征的特定类型，其中这种类型的特征的平均值可以是该特征出现的项目与总项目的比例，这样平均值和为1。
由于活动特征桶是5，系统可以拿1.80184161663055的加权值用于执行计算。基于所提供的EC公式该预期贡献是1.337739，以及该绝对贡献是1.80184161663055*1＝1.80184161663055。因此“先前标志”特征的相对贡献306是1.80184161663055-1.337739＝0.464103。
可以为“在收件人行中的接收者”特征执行类似的计算。
在此情况下，EC可以是1.023782，约翰·多伊的AC可以是1.963431*.5＝0.981716，以及简·史密斯的AC可以是1.8196697*.5＝0.909835。可以使用0.5这个值，因为对于“在收件人行中的接收者”特征有两个值(两个收件人：约翰·多伊和简·史密斯)，因此每个的值被这个特征的所有活动桶均匀分配，或1/2。(或更一般地：1/N)。每个桶的总AC可以是＝0.981716+0.909835＝1.891551，以及对于“在收件人行中的接收者”特征的相对贡献306可以是＝1.891551-1.023782＝0.867769。
在根据实施例的系统中，在为电子邮件消息的每个观察到的特征计算相对贡献306之后，预测系统312可以将一个或多个特征以及相关联的桶映射到原因。例如，系统可以提供对应于所建议的分类的多个潜在原因，以及可以将每个特征关联或映射到该特征对其做出贡献的原因上。下面的表格展示了特征到原因的示例映射：
在“特征/桶”列中的特征桶可以映射到“原因”列中的原因。如果在“特征/桶”列中有多个特征，“贡献聚合”列可以指定将被用于计算该原因的总体贡献分数的函数(例如平均)。
在根据实施例的系统中，在将特征映射到原因之后，所映射的原因可以被排序和过滤以确定什么原因324可以在用户的客户端应用320处被呈献给用户。为所预测的分类提供了显著贡献的原因324可以被呈现给用户，而其余的原因可以被从列表中过滤出。在特征贡献分数上可以有定义好的贡献的阈值来设置哪些项目被过滤，以使得只有在阈值之上的项目可以被认为是对原因做出了显著贡献，以便限制向用户呈现的原因的数量。阈值可以是运行时可配置的。系统可以具有可以向用户报告的最大数量的原因324，其中所报告原因的最大数量不得超过所支持的原因324的数量。当为所预测的分类确定原因时，预测系统312可以支持和考虑任何数量的原因。原因324可以在向用户呈现的原因列表中与所建议的分类322一起显示，并且原因324可以基于它们的贡献分数按照降序进行排序。在其他实施例中，只有具有最高贡献分数的主要原因可以被呈现给用户。用户也可以基于用户偏好定制原因的呈现。
在进一步的实施例中，与接收到的消息(或其他传入通信)相关联的提供的原因324可以被存储在与所接收到的消息相关联的元数据中，或者可以作为接收到的消息的消息对象的一部分被存储。例如，可以为特定的原因分配标识符，并且该标识符可以被存储在接收到的消息的消息对象中，以使得当该消息被移动、转发、保存、或以其他方式与之交互时，特定的分类和相关联的原因可以被保存。此外，标识符可以被映射到字符串，以使得任何客户端或许能够以该客户端支持的任何语言来本地化该值。
提供在图1-3中所描绘的示例应用、设备和模块仅用于说明的目的。实施例不限定于在示例图中显示的配置和内容，并且可以使用其他采用本文所描述原理的引擎、客户端应用、服务提供商、以及模块来实现。
图4是可以实现实施例的示例联网环境。除了本地安装的应用外，还可以结合可以经由运行在一个或多个服务器406或个人服务器414上的软件实现的托管应用和服务，使用提供与建议的分类相关联的原因的预测应用。托管服务或应用可以通过(多个)网络410与个人计算设备(例如手持式计算机、台式计算机401、膝上型计算机402、智能电话403、平板计算机(或平板)、(‘客户端设备’))上的客户端应用进行通信，以及控制呈现给用户的用户界面。
客户端设备401-403可以被用于访问由托管服务或应用提供的功能。一个或多个服务器406或服务器414可以被用于提供如上面所讨论的各种服务。相关的数据可以被存储在一个或多个数据储存器(例如数据储存器409)中，所述数据储存器可以由服务器406中的任一个或数据库服务器408进行管理。
(多个)网络410可以包括服务器、客户端、因特网服务提供商、以及通信介质的任何拓扑。根据实施例的系统可以具有静态或动态拓扑。(多个)网络410可以包括诸如企业网络的安全网络、诸如无线开放网络的非安全网络、或因特网。(多个)网络410还可以协调其他网络上的通信，例如PSTN或蜂窝网络。(多个)网络410提供本文所描述的节点之间的通信。以示例而非限制的方式，(多个)网络410可以包括无线介质，例如声学、RF、红外和其他无线介质。
可以使用计算设备、应用、数据源、和数据分布系统的多种其他配置来实现带有用户对预测的原因的反馈的行为预测和分类系统。此外，在图4中讨论的联网环境仅用于说明目的。实施例不限于示例应用、模块或流程。
图5和相关联的讨论旨在提供对可以实现实施例的合适的计算环境的简要、概括的描述。参考图5，示出了根据实施例的应用的示例计算操作环境的框图，例如计算设备500。在基本的配置中，计算设备500可以是本文所讨论的任何示例设备，并且可以包括至少一个处理单元502和系统存储器504。计算设备500还可以包括多个合作运行程序的处理单元。根据计算设备的确切配置和类型，系统存储器504可以是易失性的(例如RAM)、非易失性的(例如ROM、闪存等)或是两者的某种组合。系统存储器504通常包括适于控制平台操作的操作系统506，例如来自华盛顿州雷蒙德市的微软公司的WINDOWS或WINDOWS操作系统。系统存储器504还可以包括一个或多个软件应用，例如预测应用522和原因模块524。
原因模块524可以与操作系统506或预测应用522联合操作以在与用户相关联的通信应用处观察传入通信，以及标识与该传入通信相关联的多个特征。原因模块524与预测应用522联合可以基于传入通信的已标识的特征而实时地预测和建议分类，并且可以向用户提供所建议的分类的一组原因连同所建议分类。该基本配置在图5中由那些虚线508内的部件示出。
计算设备500可以具有额外的特征或功能。例如，计算设备500还可以包括额外的数据存储设备(可移动和/或非可移动)，像是例如磁盘、光盘、或磁带。这种额外的存储装置由可移动存储装置509和非可移动存储装置510在图5中示出。计算机可读存储介质可以包括以任何方法或技术实现的用于存储信息的易失性的和非易失性的、可移动的和非可移动的介质，例如计算机可读指令、数据结构、程序模块、或其他数据。系统存储器504、可移动存储装置509和非可移动存储装置510都是计算机可读存储介质的示例。计算机可读存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备、或可用于存储所需信息且可以由计算设备500访问的任何其他介质。任何这样的计算机可读存储介质可以是计算设备500的一部分。计算设备500还可以具有(多个)输入设备512，例如键盘、鼠标、笔、语音输入设备、触摸输入设备、用于检测手势的光学捕捉设备、以及类似的输入设备。还可以包括(多个)输出设备514，例如显示器、扬声器、打印机、以及其他类型的输出设备。这些设备是本领域公知的并且不必在此详细讨论。
计算设备500还可以包含通信连接516，其允许该设备与其他设备518通过例如在分布式计算环境中的无线网络、卫星链路、蜂窝链路、以及类似的机制进行通信。其他设备518可以包括运行通信应用的(多个)计算机设备、其他的目录或策略服务器、以及类似的设备。(多个)通信连接516是通信介质的一个示例。通信介质在其中可以包括计算机可读指令、数据结构、程序模块、或在调制数据信号(例如载波或其他传输机制)中的其他数据、以及包括任何信息传递介质。术语“调制数据信号”指的是以对于在信号中编码信息的这种方式设置或改变其特性中的一个或多个特性的信号。以示例而非限制的方式，通信介质包括有线介质(例如，有线网络或直接有线连接)和无线介质(例如，声学、RF、红外和其他无线介质)。
示例实施例还包括方法。这些方法可以以任何数量的方式(包括本文中所描述的结构)来实现。一种这样的方式是通过本文中所描述的类型的设备的机器操作。
另一可选方式是结合一个或多个人类操作者执行该方法的各个操作中的某一些来执行该方法的一个或多个操作。这些人类操作者无需彼此配搭，而是其每一个可以仅与执行程序的一部分的机器配搭。
图6示出了根据实施例的提供对应于预测应用的建议的分类的原因的流程的逻辑流程图。流程600可以实现为应用或操作系统的一部分。
流程600开始于操作610，“在通信应用处检测传入消息”，其中预测系统可以在通信应用处检测传入消息。预测系统也可以在通信应用处检测其他传入通信，例如即时消息、会议邀请、音频通信、视频通信、数据共享邀请、以及应用共享邀请。
操作610之后是操作620，“提取与传入消息相关联的一个或多个特征”，其中预测系统可以提取传入消息一个或多个的特征，其中特征可以是传入消息的特性，包括但不限于：发件人身份、在主题行或正文中的已标识的关键词、附件、红色标志、会议请求、以及其他类似的特性。预测系统可以被配置为基于消息的所观察到的特征来建议分类，以及提供为什么系统建议该分类的原因。
操作620之后是操作630，“将特征映射到原因”，其中预测系统可以识别与传入消息的每个特征相关联的一组分类、或桶，以及可以权衡每个分类的可能性来预测分类。为了提供原因，系统可以确定每个特征和桶对于所建议分类的相对贡献并且可以将原因映射到每个观察到的特征。
操作630之后是操作640，“对映射的原因进行排名”，其中映射的原因可以基于计算得到的相对贡献分数而被排名。相对贡献分数可以基于绝对贡献和包括预定义的特征权重的预期贡献而被计算。映射的原因可以基于相对贡献分数按照降序排名。
操作640之后是操作650，“向用户呈现超过阈值的原因”，其中所建议的分类的一个或多个原因的列表可以连同所建议的分类一起被呈现给用户。可以为特征的相对贡献分数定义阈值，并且只有在该阈值之上的特征可以被认为对原因做出了显著贡献。所呈现的原因列表可以包括首要原因、或可以包括其中贡献分数超过所定义阈值的多个原因。
流程600中包括的操作是用于说明的目的。根据实施例的提供对应于所建议分类的原因来增加用户对所建议分类的信任可以通过使用本文所描述原理的具有更少或额外步骤、以及不同的操作顺序的类似流程来实现。
以上说明书、示例和数据提供了对各实施例组成的制造和使用的全面描述。尽管用特定于结构特征和/或方法动作的语言描述了本主题，但是应当理解的是，在所附的权利要求书中定义的主题不必限于上面所描述的具体特征或动作。相反，上面所描述的具体特征和动作作为实现权利要求和实施例的示例形式而被公开。

Claims (15)

1.一种至少部分地在计算设备中执行的用于提供对应于预测系统的建议的分类的原因的方法，所述方法包括：
在通信应用处接收传入通信；
预测与所述传入通信相关联的一个或多个分类；
为所述预测的分类确定一个或多个原因；
向用户建议所述预测的分类；以及
向所述用户呈现所述一个或多个原因连同所述建议的分类。
2.如权利要求1所述的方法，还包括：
提取与所述传入通信相关联的一个或多个特征。
3.如权利要求2所述的方法，其中所述一个或多个特征包括所述传入通信的包括来自以下集合中的至少一项的特性：通信类型、发件人身份、收件人身份、在主题行或正文中的已标识的关键词或话题、附件类型、附件内容、对所述通信线的一个或多个先前贡献、文档、或所述用户的附件、以及消息标志。
4.如权利要求3所述的方法，其中预测所述一个或多个分类包括：
确定所述一个或多个特征中的每一个的绝对贡献，其中所述绝对贡献是特征值的加权和。
5.如权利要求4所述的方法，其中确定所述一个或多个原因包括：
确定何时特征本质上对原因做出贡献以及同与所述用户相关联的普通的传入通信相比是相对意外的。
6.如权利要求5所述的方法，还包括：
确定所述一个或多个提取的特征中的每一个的相对贡献。
7.如权利要求1所述的方法，还包括：
生成对所述建议的分类做出贡献的原因的列表；以及
将每一个观察的特征映射到所述特征对其做出贡献的所述原因中的一个。
8.如权利要求7所述的方法，还包括：
基于计算出的相对贡献值对每一个原因进行排名；以及
以相对贡献值的降序对所述原因的列表进行排序。
9.一种用于提供对应于预测系统的建议的分类的原因的计算设备，所述计算设备包括：
存储器；
耦合到所述存储器的处理器，所述处理器运行预测应用，其中所述处理器被配置为：
在通信应用处接收传入通信；
从所述传入通信提取一个或多个特征；
预测与所述传入通信相关联的一个或多个分类；
为所述预测的分类确定一个或多个原因；
向用户建议所述预测的分类；以及
向所述用户呈现所述一个或多个原因连同所述建议的分类。
10.如权利要求9所述的计算设备，其中所述通信应用促进以下各项中的一个或多个：电子邮件交换、即时消息交换、文本消息交换、社交或游戏网络邀请、社交或游戏网络更新、博客帖子、论坛帖子、推特、音频通信、视频通信、在线会议、数据共享、文档共享、以及应用共享。
11.如权利要求9所述的计算设备，其中所述传入通信是以下各项中的一个或多个：电子邮件、即时消息、文本消息、社交或游戏网络邀请、社交或游戏网络更新、博客帖子、论坛帖子、推特、音频通信、视频通信、在线会议通信、数据共享数据、文档共享数据、以及应用共享数据。
12.如权利要求9所述的计算设备，其中所述处理器被配置为：
基于预期贡献和所述绝对贡献的比较，确定相对贡献，其中所述预期贡献是基于与所述一个或多个特征相关联的桶的观察的频率来计算的。
13.一种其上存储有用于提供对应于预测系统的建议的分类的原因的指令的计算机可读存储器设备，所述指令包括：
在通信应用处接收传入通信；
从所述传入通信提取一个或多个特征；
预测与所述传入通信相关联的一个或多个分类；
为所述预测的分类确定一个或多个原因；
向用户建议所述预测的分类；以及
向所述用户呈现所述一个或多个原因连同所述建议的分类，其中所述一个或多个原因包括何时特征本质上对原因做出贡献以及同与所述用户相关联的普通的传入通信相比是相对意外的。
14.如权利要求13所述的计算机可读存储器设备，其中所述指令还包括：
确定所述一个或多个特征中的每一个的绝对贡献，其中所述绝对贡献是特征值的加权和；以及
基于预期贡献和所述绝对贡献的比较，确定相对贡献。
15.如权利要求14所述的计算机可读存储器设备，其中所述指令包括：
将每一个观察的特征映射到所述特征对其做出贡献的原因；
基于所述相对贡献值对每一个原因进行排名；
以相对贡献值的降序对所述原因进行排序；以及
向所述用户呈现具有最高相对贡献值的首要原因。
CN201480063200.XA 2013-11-19 2014-11-17 为分类预测和建议提供原因 Pending CN105745672A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/084,554 US20150142717A1 (en) 2013-11-19 2013-11-19 Providing reasons for classification predictions and suggestions
US14/084,554 2013-11-19
PCT/US2014/065854 WO2015077158A2 (en) 2013-11-19 2014-11-17 Providing reasons for classification predictions and suggestions

Publications (1)

Publication Number Publication Date
CN105745672A true CN105745672A (zh) 2016-07-06

Family

ID=52450555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480063200.XA Pending CN105745672A (zh) 2013-11-19 2014-11-17 为分类预测和建议提供原因

Country Status (5)

Country Link
US (1) US20150142717A1 (zh)
EP (1) EP3072088A4 (zh)
KR (1) KR20160086339A (zh)
CN (1) CN105745672A (zh)
WO (1) WO2015077158A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109690583A (zh) * 2016-09-08 2019-04-26 微软技术许可有限责任公司 基于消息内容来确定消息参与者之间的共识
CN113421054A (zh) * 2021-06-11 2021-09-21 荣耀终端有限公司 信息管理方法、电子设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080259918A1 (en) 2007-04-19 2008-10-23 Craig Elliott Walker Method and apparatus for managing telephone calls
FR3034230A1 (fr) * 2015-03-26 2016-09-30 Thales Sa Procede d'explication d'un score
US10504029B2 (en) 2015-06-30 2019-12-10 Microsoft Technology Licensing, Llc Personalized predictive models
US9954877B2 (en) 2015-12-21 2018-04-24 Ebay Inc. Automatic detection of hidden link mismatches with spoofed metadata
US10911382B2 (en) * 2017-01-30 2021-02-02 Futurewei Technologies, Inc. Personalized message priority classification
US11222061B2 (en) * 2019-03-28 2022-01-11 Facebook, Inc. Generating digital media clusters corresponding to predicted distribution classes from a repository of digital media based on network distribution history
US11184306B1 (en) * 2020-12-29 2021-11-23 Square, Inc. Contextual communication routing methods and systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7725414B2 (en) * 2004-03-16 2010-05-25 Buzzmetrics, Ltd An Israel Corporation Method for developing a classifier for classifying communications
US20120054642A1 (en) * 2010-08-27 2012-03-01 Peter Wernes Balsiger Sorted Inbox User Interface for Messaging Application
CN102567091A (zh) * 2010-12-06 2012-07-11 微软公司 电子通信优先分配
CN102782685A (zh) * 2010-03-11 2012-11-14 微软公司 用于社交活动流的适应性强的相关性技术

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087649A1 (en) * 2000-03-16 2002-07-04 Horvitz Eric J. Bounded-deferral policies for reducing the disruptiveness of notifications
US20030204569A1 (en) * 2002-04-29 2003-10-30 Michael R. Andrews Method and apparatus for filtering e-mail infected with a previously unidentified computer virus
US7490071B2 (en) * 2003-08-29 2009-02-10 Oracle Corporation Support vector machines processing system
US8019051B1 (en) * 2006-08-16 2011-09-13 Avaya Inc. Method and apparatus for ordering communications
JP5043735B2 (ja) * 2008-03-28 2012-10-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報分類システム、情報処理装置、情報分類方法およびプログラム
EP2434723A1 (en) * 2010-09-24 2012-03-28 Thomson Licensing Classifying content
US20120143806A1 (en) * 2010-12-06 2012-06-07 Microsoft Corporation Electronic Communications Triage
US9122995B2 (en) * 2011-03-15 2015-09-01 Microsoft Technology Licensing, Llc Classification of stream-based data using machine learning
US8849730B2 (en) * 2011-12-15 2014-09-30 Microsoft Corporation Prediction of user response actions to received data
US9152953B2 (en) * 2012-02-10 2015-10-06 International Business Machines Corporation Multi-tiered approach to E-mail prioritization
US9183597B2 (en) * 2012-02-16 2015-11-10 Location Labs, Inc. Mobile user classification system and method
US9087303B2 (en) * 2012-02-19 2015-07-21 International Business Machines Corporation Classification reliability prediction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7725414B2 (en) * 2004-03-16 2010-05-25 Buzzmetrics, Ltd An Israel Corporation Method for developing a classifier for classifying communications
CN102782685A (zh) * 2010-03-11 2012-11-14 微软公司 用于社交活动流的适应性强的相关性技术
US20120054642A1 (en) * 2010-08-27 2012-03-01 Peter Wernes Balsiger Sorted Inbox User Interface for Messaging Application
CN102567091A (zh) * 2010-12-06 2012-07-11 微软公司 电子通信优先分配

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109690583A (zh) * 2016-09-08 2019-04-26 微软技术许可有限责任公司 基于消息内容来确定消息参与者之间的共识
CN109690583B (zh) * 2016-09-08 2023-10-03 微软技术许可有限责任公司 基于消息内容来确定消息参与者之间的共识
CN113421054A (zh) * 2021-06-11 2021-09-21 荣耀终端有限公司 信息管理方法、电子设备及存储介质

Also Published As

Publication number Publication date
WO2015077158A2 (en) 2015-05-28
WO2015077158A3 (en) 2015-10-29
KR20160086339A (ko) 2016-07-19
EP3072088A4 (en) 2017-07-05
EP3072088A2 (en) 2016-09-28
US20150142717A1 (en) 2015-05-21

Similar Documents

Publication Publication Date Title
CN105745672A (zh) 为分类预测和建议提供原因
US10541952B2 (en) Recommendation generator responsive to messaging content
CN103793809B (zh) 识别和使用社交网络关系
Fang et al. Privacy wizards for social networking sites
US7962426B2 (en) Role/persona based applications
CN102710537B (zh) 用于消息的信任类别的视觉样式
US9923855B2 (en) Systems and methods for electronic message prioritization
US9262752B2 (en) Attendee suggestion for events based on profile information on a social networking site
TWI390420B (zh) 在簡訊系統中決定簡訊之用戶特定關連分數之方法、系統及電腦程式產品
US10152549B1 (en) Providing suggestions to a user based on social activity patterns
US8949358B2 (en) Method and system for building an entity profile from email address and name information
WO2013056172A1 (en) Automatically aggregating contact information
US10169716B2 (en) Interactive learning
US9608987B2 (en) Systems and methods for the secure sharing of data
JP7490710B2 (ja) グループベースコミュニケーションシステム内において外部電子メールリソースエンティティによる限定エンゲージメントを管理する方法及び装置
CN105765479A (zh) 用于行为预测和分类的分层统计模型
CN101221638A (zh) 管理回复电子邮件的收件人信息的方法和系统
US11842417B2 (en) System and method for searching and monitoring assets available for acquisition
CN106170810A (zh) 利用客户关系管理信息来增强通信会话
CN105279597A (zh) 确定全异实体之间的关系类型
Ulu et al. An interactive approach to multicriteria sorting for quasiconcave value functions
US20140188992A1 (en) Facilitating social networking interaction across a time axis
FR3069076A1 (fr) Systeme et procede pour delivrer dynamiquement du contenu
CN110647676A (zh) 基于大数据的兴趣属性挖掘方法、装置和计算机设备
US10313291B2 (en) Method for determining predictive response time across enterprise communication systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160706

WD01 Invention patent application deemed withdrawn after publication