CN118312580A - 汇编和评估对隐私问题的自动助理响应 - Google Patents
汇编和评估对隐私问题的自动助理响应 Download PDFInfo
- Publication number
- CN118312580A CN118312580A CN202410386333.6A CN202410386333A CN118312580A CN 118312580 A CN118312580 A CN 118312580A CN 202410386333 A CN202410386333 A CN 202410386333A CN 118312580 A CN118312580 A CN 118312580A
- Authority
- CN
- China
- Prior art keywords
- user
- request
- privacy
- data
- natural language
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004044 response Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000004891 communication Methods 0.000 claims description 18
- 238000010801 machine learning Methods 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 9
- 238000010438 heat treatment Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 9
- 235000013550 pizza Nutrition 0.000 description 6
- 235000014102 seafood Nutrition 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 241001414890 Delia Species 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 241001142635 Lema Species 0.000 description 2
- 241000736199 Paeonia Species 0.000 description 2
- 235000006484 Paeonia officinalis Nutrition 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 240000008790 Musa x paradisiaca Species 0.000 description 1
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 1
- 241000143950 Vanessa Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 235000013580 sausages Nutrition 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/21—Monitoring or handling of messages
- H04L51/216—Handling conversation history, e.g. grouping of messages in sessions or threads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
- H04L63/101—Access control lists [ACL]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
- H04L63/102—Entity profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
- H04L67/306—User profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2113—Multi-level security, e.g. mandatory access control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/268—Morphological analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Databases & Information Systems (AREA)
- Bioethics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本公开涉及汇编和评估对隐私问题的自动助理响应。本文描述了用于汇编/评估对隐私问题的自动助理响应的技术。在各种实施方式中,自由形式的自然语言输入可以从第一用户接收并且可以包括对与第二用户有关的信息的请求。可以识别出可以由自动助理访问以检索与第二用户相关联的数据的多个数据源。多个数据源可以共同地包括足够的数据以制定对请求的自然语言响应。与多个数据源相关联的相应隐私分数可以被用来确定与对该请求的响应相关联的合计隐私分数。然后,可以响应于确定与自然语言响应相关联的合计隐私分数满足相对于第一用户为第二用户建立的隐私标准,在由第一用户操作的客户端设备上输出自然语言响应。
Description
分案说明
本申请是2020年12月11日提交进入中国专利局的国际申请日为2018年8月7日的申请号为201880094452.7(PCT/US2018/045539)的,发明名称为“汇编和评估对隐私问题的自动助理响应”的专利申请的分案申请。
技术领域
本公开涉及汇编和评估对隐私问题的自动助理响应。
背景技术
人类可以利用本文被称为“自动助理”(也称为“聊天机器人”、“虚拟助理”、“交互式个人助理”、“智能个人助理”、“个人语音助理”、“谈话代理”等)的交互式软件应用参与人机对话。例如,人类(当他们与自动助理交互时可以被称为“用户”)可以使用自由形式的自然语言输入来提供命令、查询和/或请求,该自由形式的自然语言输入可以包括被转换为文本然后被处理的口头话语和/或键入的自由形式的自然语言输入。
存在多种情况,其中,一个人可能期望与服务另一用户的自动助理进行通信,或者至少提供与服务另一用户的自动助理进行通信的表象。假设第一用户希望参与通过服务另一用户的自动助理可用的动作。例如,第一用户可能希望控制在另一用户的自动助理的控制下的一个或多个智能设备。这些动作可能需要来自多个数据源的信息,以确保符合由第二用户建立的设置。在另一个示例中,第一用户可能希望跨多天时间间隔安排与第二用户的晚餐。为了确定第二用户的可能性,第一用户可以致电、发送电子邮件或发短信给第二用户。但是,第二用户可能无法应答第一用户的问题,或者可能希望不被打扰。在这种情况下,自动助理可以介入并向第一用户提供有关第二用户的可能性的信息。但是,为了响应第一用户的请求(尤其是开放性和非特定性请求),自动助理可能需要访问存储与第二用户相关联的数据的多个数据源。此外,至少一些数据源可能存储第二用户可能认为是隐私或高度敏感的数据。例如,大多数用户通常会认为诸如个人在线日历、电子邮件、文本消息等的数据相对隐私和/或敏感。此外,响应第一用户的请求所需的一些数据可能仅可用在由第二用户操作的客户端设备上。
发明内容
本文描述了用于当请求源自其他用户(例如房主的访客,或操作特定设备的“访客”用户,在本文中也被称为“请求用户”)时,安全地响应对自动助理的请求,以根据与给定用户(例如,房主或更通常地,控制/拥有提供自动助理访问的设备的用户,本文也被称为“主体用户”)相关联的信息而动作的技术。在各种实施方式中,由第一用户提交的、有关与第二用户相关联的信息的请求可以是相对广泛和/或开放式的。满足这样的请求可能需要访问存储与第二用户相关联的数据的多个数据源。本文描述的技术可用于合计与这些数据源和/或从这些数据源获得的数据相关联的单个隐私分数,并且基于合计隐私分数来确定是否(或有多具体地)对请求做出响应。
在一些实施方式中,自动助理可以基于来自多个数据源的多个数据来制定自然语言响应,并且该自然语言响应可以与合计隐私分数相关联。替代地,自动助理可以执行动作(诸如控制一个或多个设备)。可以确定合计数据分数是否满足某些标准,诸如不超过隐私阈值。如果满足标准(例如,合计隐私分数不超过隐私阈值),则所制定的自然语言响应可以由自动助理输出给请求用户和/或可以执行由请求用户所请求的动作。
作为示例,假设Dave向自动助理提交下述请求:“When is Alice free fordinner?(Alice什么时候有空吃晚饭?)”Alice不一定必须维护完整日历,尤其是对于在工作时间以外发生的社交活动。因此,为了回答这个问题,自动助理可能需要访问Alice日历之外的数据源,诸如Alice的电子邮件或短消息(可能包含有关即将到来的晚餐计划的交流)或Alice的当前位置(如果Alice很远的话,就排除了在不久的将来吃晚餐的可能性)。
假设Alice先前为Dave提供了至少一些访问她的日历的权限(或者通常至少用信号告知Dave有资格获得更高信任)。这意味着代表Dave从Alice的日历中获得的任何数据都可能被指配相对较低的隐私分数。但是,Alice可能会认为她的电子信件和/或当前位置更为隐私/敏感。因此,从那些来源获得的数据可能具有相对较高的隐私分数。假设自动助理能够使用来自所有三个来源的数据确定从周二起一周,Alice有空吃晚餐。自动助理可以制定自然语言响应,诸如“Alice is available for dinner a week from Tuesday.(从周二起一周,Alice有空吃晚餐。)”。但是,自动助理可能尚未向Dave提供该响应。相反,自动助理可能确定和/或评估由三个基本数据源确定的合计隐私分数,并且确定相对于Dave(或至少相对于该特定请求)的Alice的隐私标准不允许自动助理提供该响应。因此,自动助理可能会告知Dave:“Sorry,I can’t provide that information.(抱歉,我无法提供该信息。)”在一些实施方式中,自动助理(或者,从技术上讲,自动助理的另一个实例)可以同时寻求Alice的许可,以向Dave提供对其请求的答复。
在另一个示例中,Dave正在Alice家拜访。Dave可以请求自动助理“Turn up theheating(调高供暖)”。与该请求有关的数据源可以提供与自动助理链接的加热系统被设置的当前温度。Alice可能愿意与Dave分享该数据。但是,Alice可以另外根据设定时间表和她的当前位置来控制她的供暖。由于如上所述,Alice可能认为位置信息敏感,因此执行请求所需的数据源的合计隐私分数可能会是Dave不满足隐私标准。如果是这样,自动助理可能会回复“Sorry,I can’t help with that(对不起,我不能帮忙)”或类似内容。如果Dave确实满足隐私标准,则自动助理可以执行相关操作(例如,通过指示供暖系统做出相应响应)。
在一些实施方式中,自动助理可以继续并汇编足够的数据以制定答复(在下文中称为“履行信息”),然后将该答复呈现给Alice,作为向Alice征求将其呈现给Dave的许可的一部分。在一些这类实施方式中,甚至可以向Alice提供可听或可视的输出,以识别用于生成答复的数据源,每个数据源中的数据点都被用于汇编答复。这样,Alice就能准确地明白如何汇编答复,并且决定是否允许将答复呈现给Dave。
在一些实施方式中,主体用户对这些请求的响应可以被用来确定应当履行还是拒绝将来的请求。例如,在一些实施方式中,答复、所使用的数据源、Dave的属性、Dave和Alice之间的关系的属性等的各个方面可以被用来生成特征向量,然后将其标记为正或负训练示例(取决于Alice允许还是拒绝该请求),并且被用来训练机器学习模型。可替代地,如果Alice拒绝许可,则可以被用作负训练示例(即,拒绝访问)。在任一情况下,可以训练机器学习模型(例如,神经网络、支持向量机等)以生成输出,该输出指示是否应当向请求用户提供响应于其请求的信息。对于将来的请求,可以基于请求的属性(例如,单词数、语义/句法属性、广度等)、请求用户、主体用户、请求和主体用户之间的关系等来生成未标记的特征向量,并且将其用作跨经训练的机器学习模型的输入,以生成指示是否应当履行该请求的输出。
在各种实施方式中,不同的数据源可以具有不同的隐私分数。例如,线上(例如,形成通常称为“云”计算系统的一个或多个服务器上)可用的数据源可以比(例如)仅在由用户操作的一个或多个客户端设备上本地可用的数据源具有更低的隐私分数。作为另一个示例,用户可以将隐私分数显示地指配给不同的数据源。例如,用户可以选择使她的日历不像(例如)电子信件那么私密。在一些实施方式中,例如,可以基于隐私和/或敏感性的一般概念,为一些数据源任意地或默认地指配不同的隐私分数。例如,大多数用户可能会同意他们的个人电子信件(例如,电子邮件、短消息)比(例如)至少部分地可供他人使用的数据源(诸如社交网络简档)更具私密性。作为另一示例,大多数用户认为用户的浏览和/或搜索历史要比(例如)用户推荐给他人的歌曲播放列表或餐馆更具私密性。
附加地或可替代地,在一些实施方式中,可以使用数据本身而不是从中提取数据的源来确定其隐私分数。假设履行第一用户的要求需要第二用户的信用卡信息。例如,儿子可能会说:“Hey assistant,can you order me a supreme pizza to be delivered from<store_x>.We can use mom’s VISA(嘿,助理,你能帮我订一份来自<x店>的至尊比萨吗?我们可以使用妈妈的VISA)。”这样的高度敏感的信息可以被指配相对较高的隐私分数,不管其是从何处提取的。在该示例中,如果合计隐私分数不满足隐私标准,则可以拒绝儿子的请求。
使用本文所述的技术,自动助理可以使用各种标准来确定是否向请求用户提供关于另一用户的信息。如上所述,在一些实施方式中,合计隐私分数低于某个隐私阈值则足够了。在各种实施方式中,可以以各种方式确定这类隐私阈值。在一些实施方式中,可以基于与用户请求相关联的特定性或粒度的度量(例如,作为滑尺)来确定隐私阈值。换句话说,用户请求的广度可以被用来确定对隐私问题应当进行严格审查的程度。这可以降低请求者能够从一般答复中推断出关于其他用户的特定信息的可能性。
例如,寻求非常具体的信息的请求(例如,“Where will Axel be at 11PMtomorrow night?”(“明天晚上11点Axel会在哪里?”))可能会受到相对严格的审查。可以将隐私阈值设置为相对较低,因此可以更容易地匹配和/或超过该隐私阈值(在这种情况下,该请求将被拒绝)。相比之下,寻求更粗略、不太具体的信息的请求(例如,“Is Cynthiaavailable for Dinner tomorrow or Wednesday?”(“Cynthia明天或星期三有空晚餐吗?”))可能不太会受到严格审查。例如,可以将隐私阈值设置为相对较高,因此可能更难以违反。
可以基于信号而不是时隙或与用户相关联的位置来确定请求的广度。例如,诸如“Does George like historical fiction?(George喜欢历史小说吗?)”的一般性或广泛请求与(例如)诸如“Does George already own an electronic copy of‘Gone with theWind’?(George已经拥有了《飘》的电子版吗?)”的非常具体的请求相比,可能受到更少审查(例如,与响应相关联的合计隐私分数可以与相对较高的隐私阈值进行比较)。作为另一示例,诸如“Does Antoine like seafood?(Antoine喜欢海鲜吗?)”的请求可能比(例如)诸如“When has Antoine most recently eaten at<seafood_restaurant>?(Antoine最近什么时候去过<seafood_restaurant>?)”的非常具体的请求受到更少审查。
用户经常例如通过选择不同的语音合成器来定制其自动助理体验的各个方面。本文所述的技术可以利用这些自定义项,以便增强正与另一个用户的自动助理进行交谈的表象。例如,Dave可以将他的自动助理客户端设置为男性语音,而Alice可以将她的自动助理客户端设置为女性语音。因此,当Dave调用自动助理的实例(并假设他的身份已查明)时,他会听到男性语音。同样地,当Alice调用自动助理的实例时,她听到女性语音。在各种实施方式中,可以采用本文描述的技术,使得当Dave调用寻求与Alice的自动助理进行通信时,可以为Dave调用的自动实例激活Alice所采用的女性语音合成器。因此,即使Dave可能仍在与在他自己的计算设备上执行的他自己的自动助理客户端交互,他仍然能听到Alice助理的声音,为Dave有效地提供了正与Alice助理交谈的体验。
在一些实施方式中,可以有选择地从特定用户(有时在本文中被称为“主体用户”)遮掩向请求用户泄露关于该特定用户的相对无害的信息。在向主体用户告知关于请求用户的请求和/或所泄露的信息之前,可能要求主体用户首先提供某种输入。这(例如)对于用户能够为其他用户购买礼物可以是有利的。假设名叫Jack的用户询问自动助理“Does Marylike peonies?(Mary喜欢牡丹吗?)”如果立即告知MaryJack曾经问过这个问题,那将是不幸的,因为当Jack送给她牡丹时,她就不会感到惊讶。因此,利用本文所述的技术,可能仅向Mary推送告知她有人询问了她的品味、可能给她购买了一份礼物等的输出(例如,她的主屏幕上的卡片)。该输出可能未指定请求或响应信息,除非Mary采取某些肯定动作,诸如点击输出。
在一些实施方式中,该特征可能仅对被认为非常可信赖的用户可用。例如,如果丈夫向妻子的助理询问结婚周年纪念的餐厅推荐,则妻子的自动助理(或在某些情况下,呈现为服务妻子的自动助理的实例)可以搜索一个或多个数据源(例如妻子的收据历史、妻子的过去电子信件、妻子的日历条目等),并且如本文所述制定答复。由于妻子可能高度信任丈夫,因此该请求的隐私阈值可以被确定为相对较高。因此,即使从与妻子相关联的多个高度敏感的数据源中提取所制定的答复,也可能无法达到隐私阈值,并且可能会为丈夫提供一个或多个餐厅推荐。同时,可以仅向妻子呈现指示丈夫的请求的模糊的输出。输出可能无法识别丈夫或请求的性质,目的是允许妻子保留惊喜。相比之下,如果不同的用户(诸如妻子的同事)请求类似的信息(对妻子的餐厅推荐),则可能会或可能不会向他们提供响应信息,并且可能已经向妻子推送了有关该请求的更详细的信息。
本文描述的技术带来了多种技术优势。制定对相对开放性和/或广泛请求的响应使得自动助理能够“隐藏”相对广泛的答复中的各个数据点,保护了特定数据点中的用户的隐私。例如,在上文的示例中,Alice的电子信件可以透露相对具体的数据点,例如,她周日晚上7:30在餐厅A吃晚餐以及星期一晚上7:00在餐厅B吃晚餐。但是,最终制定的响应“Alice星期二有空吃晚餐”为Dave提供了令人满意的答复,而不会泄露比所需更多的关于Alice个人生活的信息。作为另一个示例,用户能够确定关于其他用户的信息,而无需与其他用户实际建立通信(例如,电话、电子信件),或者不必反复尝试与其他用户建立通信。这样可以节省网络资源和/或时间,否则用户可能会花时间来反复尝试彼此连接。
在一些实施方式中,提供了一种由一个或多个处理器执行的方法,该方法包括:经由第一用户操作的客户端设备,从第一用户接收自由形式的自然语言文本片段,其中,自由形式的自然语言文本片段包括与第二用户有关的请求;识别可由自动助理访问以检索与第二用户相关联的数据的至少第一和第二数据源,其中,第一和第二数据源包括足以响应请求的数据;确定与第一数据源相关联的第一隐私分数和与第二数据源相关联的第二隐私分数;基于第一隐私分数和第二隐私分数,确定与响应请求相关联的合计隐私分数;以及响应于确定与响应请求相关联的合计隐私分数满足相对于第一用户为第二用户建立的隐私标准,使得由第一用户操作的客户端设备响应请求。
本文公开的技术的这些和其他实施方式可以可选地包括下述特征中的一个或多个。
请求可以是对信息的请求,并且使得客户端设备响应对信息的请求可以包括使得客户端设备输出对对信息的请求的自然语言响应。可替代地,该请求可以是控制一个或多个设备的请求,并且使得该设备响应该请求可以包括向一个或多个设备发送指令。
在各种实施方式中,该方法可以进一步包括:从第一数据源获得第一数据点以及从第二数据源获得第二数据点;以及基于第一数据点和第二数据点来制定自然语言响应。在各种实施方式中,第一数据源可以包括日历数据库或位置服务。在各种实施方式中,第一数据源可以包括由第二用户发送或接收的通信的语料库。在各种实施方式中,通信的语料库被本地存储在由第二用户操作的第二客户端设备上。
在各种实施方式中,确定与第一数据源相关联的第一隐私分数可以包括:确定第一数据源对于由第二用户所操作的第二客户端计算设备是本地的。在各种实施方式中,确定与第二数据源相关联的第二隐私分数可以包括:确定第二数据源在远离由第二用户操作的任何客户端计算设备的一个或多个服务器上可用。在各种实施方式中,第一隐私分数可能对合计隐私分数的影响大于第二隐私分数。
在各种实施方式中,确定与自然语言响应相关联的合计隐私分数满足相对于第一用户、为第二用户建立的隐私标准可以包括:将指示第一和第二数据源的数据应用为跨经训练的机器学习模型的输入以生成输出,其中,输出被用来确定是否满足隐私标准。
在各种实施方式中,隐私标准可以包括隐私阈值。在各种实施方式中,可以基于对与第二用户有关的信息的请求的广度来选择隐私阈值。
另外,一些实施方式包括一个或多个计算设备的一个或多个处理器,其中,一个或多个处理器可操作以执行存储在相关联的存储器中的指令,并且其中,指令被配置成使得执行前述方法中的任何一个。一些实施方式还包括一个或多个非暂时性计算机可读存储介质,其存储可由一个或多个处理器执行以执行前述方法中的任何一个的计算机指令。
应当意识到,本文更详细描述的前述概念和附加概念的所有组合被设想为是本文公开的主题的一部分。例如,出现在本公开的结尾处的所要求保护的主题的所有组合被设想为是本文公开的主题的一部分。
附图说明
图1是可以实现本文公开的实施方式的示例性环境的框图。
图2A和2B描绘了根据各种实施方式,其中采用所公开的技术的用户和自动助理之间的对话的示例性场景。
图3、4和5描绘了其中可以采用所公开的技术的附加的示例性场景。
图6描绘示出根据本文公开的实施方式的示例性方法的流程图。
图7示出了计算设备的示例性架构。
具体实施方式
现在转到图1,示出了可以实现本文公开的技术的示例性环境。示例性环境包括多个客户端计算设备1061-N。每个客户端设备106可以执行自动助理客户端118的相应实例。可以在一个或多个计算系统(统称为“云”计算系统)上实现一个或多个基于云的自动助理组件119,所述一个或多个计算系统经由通常在1101处指示的一个或多个局域网和/或广域网(例如,因特网)通信地耦合到客户端设备1061-N。
在各种实施方式中,自动助理客户端118的实例通过其与一个或多个基于云的自动助理组件119的交互,可以形成从用户的角度看似乎是自动助理120的逻辑实例,用户可以利用该自动助理120参与人机对话。在图1中描绘这种自动助理120的两个实例。虚线环绕的第一自动助理120A为操作第一客户端设备1061的第一用户140A服务,并且包括自动助理客户端1181和一个或多个基于云的自动助理组件119。双点划线环绕的第二自动助理120B为操作另一个客户端设备106N的第二用户140B服务,并且包括自动助理客户端118N和一个或多个基于云的自动助理组件119。因此,应当理解到,参与在客户端设备106上执行的自动助理客户端118的每个用户实际上可以参与他或她自己的自动助理120的逻辑实例。为了简短和简单起见,本文中用作“服务”特定用户的术语“自动助理”将指代在由用户操作的客户端设备106上执行的自动助理客户端118和一个或多个基于云的自动助理组件119(可以在多个自动助理客户端118之间共享)的组合。
客户端设备1061-N可以包括例如下述中的一个或多个:台式计算设备、膝上型计算设备、平板计算设备、移动电话计算设备、用户的车辆的计算设备(例如,车载通信系统、车载娱乐系统、车载导航系统)、独立的交互式扬声器(可以配备或可以不配备输入/输出设备,诸如麦克风、相机、扬声器),和/或包括计算设备的用户的可穿戴装置(例如,具有计算设备的用户的手表、具有计算设备的用户的眼镜、虚拟或增强现实计算设备)。可以提供附加的和/或替代的客户端计算设备。
在一些实施方式中,给定的用户可以利用总体上来自计算设备的协调“生态系统”的多个客户端计算设备106与自动助理120进行通信。在一些这样的实施方式中,自动助理120可以被认为“服务”该给定的用户,例如,赋予自动助理120对由“所服务的”用户控制其访问的用户控制的内容(例如,资源、文档等)的增强的访问。
例如,在图1中,用户控制的资源引擎134可以在一个或多个计算设备(又可以被统称为“云”)上实现,以控制对资源(例如,由每一用户控制的数据)的访问。在一些实施方式中,用户控制的资源引擎134可以可操作地与一个或多个计算系统耦合,该计算系统经由通常以1102指示的一个或多个局域网和/或广域网(例如,因特网)来实现自动助理120。附加或可替代地,用户控制的资源引擎134可以全部或部分地在实现自动助理120的同一计算系统上实现。
在一些实施方式中,用户控制的资源引擎134可以包括一个或多个访问控制列表(图1中的“ACL”)136,其管控对用户用户控制数据的各种源的访问。在一些实施方式中,访问控制列表136可以指示关于存储由各个用户控制的数据的一个或多个数据源的访问权限。访问控制列表136可以采用各种形式,诸如数据库条目或访问控制条目的列表,其包括(对于每个用户)其他人可访问由该用户控制的哪些内容(包括其他人的自动助理)、可如何访问(例如,读取、写入等)的指示,依此类推。
在一些实施方式中,访问控制列表136可以(对于每个用户)包括与其他用户相关联的隐私阈值的列表。这些隐私阈值可以是特定于用户的,或者可以与用户组、用户类别等相关联。在一些实施方式中,可以将这些隐私阈值与由自动助理汇编的与响应相关联的合计隐私分数进行比较,以确定是否履行用户的请求。例如,假设Bob为Delia设置的隐私阈值设置为(例如,十分中的)5。进一步假设,Delia向自动助理120发出请求,要求来自三个不同数据源的数据,并最终生成为6的合计隐私分数(假设通过求和各个隐私分数确定合计分数)。在一些实施方式中,由于合计隐私分数6超过了隐私阈值5,因此可能无法履行Delia的请求。合计分数不仅限于单个隐私分数的总和。在各种实施方式中,可以使用其他技术,诸如加权总和、各种等式、训练的机器学习模型、与多个数据源相关联的多个隐私分数的平均值/平均数/中值,由各个隐私分数确定合计分数。
用户控制的数据可以包括与每个用户相关联的各种数据,并且可以来自云中和/或本地存储在客户端设备106上的各种不同的数据源。例如,在图1中,用户控制的资源引擎134有权访问基于云的数据源,诸如在线日历142、在线电子邮件144、社交媒体146、云存储148和定位坐标服务150。
在线日历142可以包括与一个或多个用户账户相关联的日历条目和/或其他数据实例(例如,提醒、待办事项列表等)。在线电子邮件144可以包括与一个或多个用户账户相关联的电子邮件和其他电子信件(例如,文本消息、社交媒体帖子等)。云存储148可以存储与各种用户(在许多情况下,与用户的一个或多个账户)关联的文档,诸如用户存储在所谓的“云”驱动器上的文档。基于云的数据源还可以包括在请求时,提供各种用户数据的服务,诸如可以在请求时,提供特定用户的当前和/或过去位置的定位坐标服务150。在图1中未具体描绘的其他数据源可以包括与用户行为有关的数据,诸如搜索查询历史(例如,搜索日志)、与自动助理120的过去的谈话、提醒列表、购物列表、位置历史等等。
与特定用户相关联的用户控制数据可以与该用户的“用户账户”相关联。在一些情况下,用户可以(例如,使用各种凭证,诸如用户名/密码、生物特征等)在一个或多个客户端设备上登录他或她的用户账户,从而为服务用户的自动助理120(包括本地执行的客户端118和任何在线组件119)赋予对这些资源的访问权。在一些情况下,自动助理120可以通过关联的用户账户,获得对用户控制的数据的访问权。例如,当用户在特定客户端设备106上安装自动助理客户端118或与之首次交互时,用户可以向自动助理120授予访问一些或所有用户控制的数据的权限。换句话说,用户有效地授予自动助理120对用户控制的数据的访问权。在一些情况下,这可以包括修改访问控制列表136(或其他类似的安全机制)。
每个客户端计算设备1061-N可以操作各种不同的应用,诸如多个消息交换客户端1071-N中的相应一个。消息交换客户端1071-N可以以各种形式出现,并且该形式可以跨客户端计算设备1061-N变化和/或可以在客户端计算设备1061-N的单个上操作多种形式。在一些实施方式中,消息交换客户端1071-N中的一个或多个可以以短消息服务(“SMS”)和/或多媒体消息服务(“MMS”)客户端、在线聊天客户端(例如,即时通讯、互联网中继聊天或“IRC”等)、与社交网络相关联的消息传递应用、专用于与自动助理120谈话的个人助理消息传递服务等的形式出现。在一些实施方式中,一个或多个消息交换客户端1071-N可以经由网页浏览器(未图示)或客户端计算设备106的其他应用所渲染的网页或其他资源来实现。
如本文中更详细地描述,自动助理120经由一个或多个客户端设备1061-N的用户接口输入和输出设备参与与一个或多个用户的人机对话会话。在一些实施方式中,响应于用户经由客户端设备1061-N之一的一个或多个用户接口输入设备提供的用户接口输入,自动助理120可以参与与用户的人机对话会话。在那些实施方式中的一些中,用户接口输入被明确地指向到自动助理120。例如,消息交换客户端1071-N之一可以是专用于与自动助理120谈话的个人助理消息传递服务并且经由该个人助理消息传递服务提供的用户接口输入可以被自动地提供给自动助理120。此外,例如,可以基于指示将调用自动助理120的特定用户接口输入,使用户接口输入明确地指向一个或多个消息交换客户端1071-N中的自动助理120。例如,特定用户接口输入可以是一个或多个键入的字符(例如,@AutomatedAssistant)、用户与硬件按钮和/或虚拟按钮的交互(例如,轻击、长按)、口头命令(例如,“Hey AutomatedAssistant(嘿自动助理)”)和/或其他特定用户接口输入。在一些实施方式中,即使当用户接口输入没有明确地指向自动助理120时,自动助理120也可以响应于用户接口输入而参与对话会话。例如,自动助理120可以检查用户接口输入的内容并且响应于用户接口输入中存在的某些术语和/或基于其他提示而参与对话会话。
客户端计算设备1061-N和用来实现自动助理120的计算设备中的每一个可以包括用于存储数据和软件应用的一个或多个存储器、用于访问数据并执行应用的一个或多个处理器以及促进网络上的通信的其他组件。由一个或多个客户端计算设备1061-N和/或由实现自动助理120的计算设备执行的操作可以分布在多个计算机系统上。自动助理120可以被实现为例如在通过网络彼此耦合的一个或多个位置中的一个或多个计算机上运行的计算机程序。
自动助理120(并且特别地,基于云的自动助理组件119)可以包括意图匹配器135、文本到语音(“TTS”)模块116、语音到文本(“STT”模块117以及下文将更详细描述的其他组件。在一些实施方式中,可以在与自动助理120分离的组件中省略、组合和/或实现自动助理120的一个或多个模块和/或模块。在一些实施方式中,为了保护隐私,诸如自然语言处理器122、TTS模块116、STT模块117等的自动助理120的一个或多个组件可以至少部分地在客户端设备106上实现(例如,排除在云之外)。
STT模块117可以被配置为例如使用STT处理技术,将由自动助理客户端118捕获的音频转换为文本和/或其他表示或嵌入。在一些实施方式中,STT模块117可以被配置为利用云的实际上无限的资源将由言语捕获模块110捕获的音频数据转换为文本,然后可以将其提供给意图匹配器135。在一些实施方式中,STT模块117可以将言语的音频录音转换为一个或多个音素,然后将一个或多个音素转换为文本。附加地或替代地,在一些实施方式中,STT模块117可以采用状态解码图。在一些实施方式中,STT模块117可以生成用户话语的多个候选文本解释。在一些实施方式中,STT模块117可以取决于是否存在例如通过混杂提示(misc.cues)模块112,同时检测到的其他提示来比其他候选文本解释更高地加权或偏向特定候选文本解释。
混杂提示模块112可以检测除可听提示以外的各种提示,诸如由客户端设备106上的视觉传感器(未示出,例如,相机或被动红外传感器)检测到的视觉提示。例如,用户当向自动助理发出声音请求时,可以举起一些预定数量的手指,并且手指的数量可以被检测为用作用户请求的参数的提示。可以由模块112检测到的其他类型的提示包括但不限于(例如,来自定位坐标传感器的)位置提示、无线信号(例如,蓝牙、Wi-Fi、蜂窝电话)等等。在一些实施方式中,TTS模块116可以被配置为例如使用一个或多个语音合成器,将文本转换为计算机合成的言语,该语音合成器可以例如由用户选择、基于用户的区域和/或人口统计而自动选择等。并且如本文其他地方所指出的,除了在云上或代替在云上,模块116、117和112的全部或部分可以在客户端设备106上实现。
在一些实施方式中,在与自动助理120的人机对话会话期间,自动助理120响应于由客户端设备106之一的用户生成的各种输入来生成响应内容。自动助理120可以(例如,在与用户的客户端设备分离时通过一个或多个网络)提供响应内容,以作为对话会话的一部分呈现给用户。例如,自动助理120可以响应于经由客户端设备1061-N提供的自由形式的自然语言输入来生成响应内容。如本文所使用的,自由形式的输入是由用户制定的并且不受到呈现以供用户选择的一组选项约束的输入。
如本文中所使用的,“对话会话”可以包括用户和自动助理120(在一些情况下,其他人类参与者)之间的一个或多个消息的逻辑上自包含的交换。自动助理120可以基于各种信号,在与用户的多个对话会话之间进行区分,所述各种信号诸如会话之间的时间流逝、会话之间的用户场境的变化(例如,位置、安排的会议之前/期间/之后等)、除了在用户和自动助理之间的对话之外的用户与客户端设备之间的一个或者多个中间交互的检测(例如,用户切换应用一会儿、用户离开然后返回到独立的语音激活产品)、会话之间的客户端设备的锁定/睡眠、用于与自动助理120的一个或多个实例对接的客户端设备的变化等等。
意图匹配器135可以被配置为基于由用户提供的输入(例如,口头话语、视觉提示、来自模块112的其他提示等)和/或基于其他信号,诸如传感器信号、在线信号(例如,从Web服务获得的数据)等等来确定用户的意图。在一些实施方式中,意图匹配器135可以包括自然语言处理器122和上述混杂提示模块112。
自然语言处理器122可以被配置为处理由用户经由客户端设备106生成的自然语言输入,并且可以生成(例如,以文本形式的)注释输出以供自动助理120的一个或多个其他组件使用。例如,自然语言处理器122可以处理由用户经由客户端设备106的一个或多个用户接口输入设备生成的自然语言自由形式的输入。所生成的注释输出包括自然语言输入的一个或多个注释以及自然语言输入的一个或多个(例如,全部)术语。
在一些实施方式中,自然语言处理器122被配置成识别和注释自然语言输入中的各种类型的语法信息。例如,自然语言处理器122可以包括形态模块,该形态模块可以将单个单词分离为词素和/或例如利用它们的类别注释这些词素。自然语言处理器122还可以包括言语标注器的一部分,该言语标注器被配置成利用术语的语法角色来注释该术语。例如,言语标注器的部分可以用其言语部分,诸如“名词”、“动词”、“形容词”、“代词”等标记每个术语。此外,例如,在一些实施方式中,自然语言处理器122可以附加地和/或可替代地包括被配置为确定自然语言输入中的术语之间的句法关系的依存分析器(未图示)。例如,依存分析器可以确定哪些术语修饰其他术语、句子的主语和动词等等(例如,分析树),并且可以对这种依存性进行注释。
在一些实施方式中,自然语言处理器122可以附加地和/或可替代地包括实体标注器(未图示),该实体标注器被配置为在一个或多个片段中注释实体参考,诸如对人(包括例如文学人物、名人、公众人物等)、组织、位置(真实的和虚构的)等等的参考。在一些实施方式中,关于实体的数据可以被存储在一个或多个数据库中,诸如存储在知识图(未图示)中。在一些实施方式中,知识图可以包括代表已知实体的节点(并且在一些情况下,实体属性),以及连接节点并且代表实体之间的关系的边。例如,“香蕉”节点可以(例如,作为子节点)连接到“水果”节点,其继而可以(例如,作为子节点)连接到“农产品”和/或“食物”节点。作为另一个示例,称为“Hypothetical Café”的餐厅可以由节点表示,该节点还包括诸如其地址、所供应食物的类型、营业时间、联系信息等属性。在一些实施方式中,“HypotheticalCafé”节点可以通过边(例如,代表子节点与父节点的关系)连接到一个或多个其他节点,诸如“餐厅”节点、“企业”节点、表示餐厅所在城市和/或州的节点等等。
自然语言处理器122的实体标注器可以以高粒度级(例如,以使得能够标识对诸如人的实体类别的所有参考)和/或低粒度级(例如,以使得能够标识对诸如特定人的特定实体的所有参考)注释对实体的参考。实体标注器可以依赖于自然语言输入的内容来解析特定实体和/或可以可选地与知识图或其他实体数据库进行通信以解析特定实体。
在一些实施方式中,自然语言处理器122可以附加地和/或可替代地包括被配置成基于一个或多个场境提示来对同一实体的参考进行分组或“聚类”的共同参考解析器(未图示)。例如,可以利用共同参考解析器来将术语“there(那里)”解析为自然语言输入“Iliked Hypothetical Cafélast time we ate there(我喜欢我们上次去那里用过餐的Hypothetical Café)”中的“Hypothetical Café”。
在一些实施方式中,自然语言处理器122的一个或多个组件可以依赖于来自自然语言处理器122的一个或多个其他组件的注释。例如,在一些实施方式中,在注释对特定实体的所有提及时,命名的实体标注器可以依赖于来自于共同参考解析器和/或依存分析器的注释。同时,例如,在一些实施方式中,在聚类对同一实体的参考时,共同参考解析器可能依赖于来自依存分析器的注释。在一些实施方式中,在处理特定自然语言输入时,自然语言处理器122的一个或多个组件可以使用相关的在前输入和/或特定自然语言输入之外的其他相关数据来确定一个或多个注释。
意图匹配器135可以使用各种技术,例如基于来自自然语言处理器122的输出(可以包括自然语言输入的注释和术语)和/或基于混杂提示模块112的输出来确定用户的意图。在一些实施方式中,意图匹配器135有权访问一个或多个数据库(未图示),该数据库包括例如语法之间的多个映射、其他提示和响应动作(或更一般地,意图)。在许多情况下,这些语法可能会随着时间的流逝而被选择和/或学习,并且可能代表用户的最常见意图。例如,一个语法“play<artist>”可以被映射到调用响应动作的意图,该响应动作使得在由用户操作的客户端设备106上播放<artist>的音乐。另一语法“[weather|forecast]today”可以与诸如“what’s the weather today(今天的天气如何)”和“what’s the forecast fortoday?(今天的天气预报是什么?)”的用户查询匹配。
除了或代替语法,在一些实施方式中,意图匹配器135可以单独地或组合一个或多个语法和/或其他(例如,视觉)提示,采用一个或多个经训练的机器学习模型。这些经训练的机器学习模型也可以被存储在一个或多个数据库中,并且可以被训练以识别意图,例如,通过将指示用户话语和/或任何检测到的用户提供的其他(例如,视觉)提示的数据嵌入到简化的维度空间中,然后例如使用诸如欧几里得距离、余弦相似度等的技术来确定哪些其他嵌入(以及意图)最接近。
如在“play<artist>”示例性语法中所看到的,一些语法具有可以用插槽值(或“参数”)填充的插槽(例如,<artist>)。插槽值可以以各种方式确定。用户通常会主动提供插槽值。例如,对于语法“Order me a<topping>pizza(为我订购<topping>比萨)”,用户可能会说短语“给我订购一份香肠比萨”,在这种情况下,自动地填充插槽<topping>。附加地或替代地,如果用户调用包括要用插槽值填充的插槽的语法,而无需用户主动提供插槽值,则自动助理120可以向用户请求这些插槽值(例如,“what type of crust do you want onyour pizza?您想要哪种比萨饼皮?”)。在一些实施方式中,可以基于由混杂提示模块112检测到的其他提示,用插槽值填充插槽。例如,用户可以在向客户端设备106的视频传感器(未图示)举起3个手指的同时,说出象“Order me this many cat bowls(给我订购这么多猫碗)”的内容。或者,用户可以在手持特定电影的DVD盒的同时,说出象“Find me moremovies like this(帮我寻找更多这样的电影)”的内容。
在一些实施方式中,自动助理120可以充当用户与一个或多个第三方计算服务(或“第三方代理”或“代理”,未图示)之间的中介。这些第三方计算服务可以是接收输入并提供响应输出的独立软件过程。一些第三方计算服务可以采取第三方应用程序的形式,该第三方应用程序可以在或可以不在与操作例如基于云的自动助理组件119的计算系统分开的计算系统上操作。可以由意图匹配器135标识的一种用户意图将是加入第三方计算服务。例如,自动助理120可以向应用编程接口(“API”)提供对用于控制智能设备的服务的访问。用户可以调用自动助理120并且提供诸如“I’d like to turn the heating on(我想打开供暖)”的命令。意图匹配器135可以将该命令映射到触发自动助理120以参与第三方服务的语法,从而使得打开用户的供暖。第三方服务可以为自动助理120提供需要填充的最小插槽列表,以便履行(或“解析”)打开供暖的命令。在该示例中,插槽可以包括供暖被设定到的温度以及打开供暖的持续时间。自动助理120可以生成请求用于插槽的参数的自然语言输出并且(经由客户端设备106)将其提供给用户。
履行模块124可以被配置为接收由意图匹配器135输出的预测/估计意图以及相关联的插槽值(无论是由用户主动提供还是从用户请求)并且履行(或“解析”)意图。在各种实施方式中,用户意图的履行(或“解析”)可以使得例如通过履行模块124,生成/获得各种履行信息(也称为“响应”信息或“解析信息”)。如下文所述,在一些实施方式中,可以将履行信息提供给自然语言生成器(在一些附图中为“NLG”)126,其可以基于该履行信息来生成自然语言输出。
履行(或“解析”)信息可以采取各种形式,因为可以以多种方式履行(或“解析”)意图。假设用户请求纯粹的信息,诸如“Where were the outdoor shots of'The Shining'filmed?(“TheShining”的外景拍摄在哪里?)”。可以例如通过意图匹配器135,将用户的意图确定为搜索查询。可以将搜索查询的意图和内容提供给履行模块124,其可以与被配置成为响应信息搜索文档的语料库和/或其他数据源(例如,知识图等)的一个或多个搜索模块150(未图示)通信。履行模块124可以向搜索模块(未图示)提供指示搜索查询的数据(例如,查询的文本、降维嵌入等)。搜索模块可以提供响应信息,诸如GPS坐标,或者其他更明确的信息,诸如“Timberline Lodge,Mt.Hood,Oregon(俄勒冈州胡德山的森林界线小屋)”。该响应信息可以形成由履行模块124生成的履行信息的一部分。
附加地或可替代地,履行模块124可以被配置成例如从自然语言理解模块135接收用户的意图和由用户提供或使用其他手段确定的任何插槽值(例如,用户的GPS坐标、用户偏好等)并且触发响应动作。响应动作可以包括例如订购商品/服务、启动计时器、设置提醒、发起电话呼叫、播放媒体、发送消息等。在一些这样的实施方式中,履行信息可以包括与履行、确认响应(在一些情况下可以从预定响应中选择)等相关联的插槽值。
自然语言生成器126可以被配置成基于从各个源获得的数据来生成和/或选择自然语言输出(例如,被设计为模仿人类言语的单词/短语)。在一些实施方式中,自然语言生成器126可以被配置成将与履行意图相关联的履行信息接收为输入,并且基于该履行信息来生成自然语言输出。附加地或可替代地,自然语言生成器126可以从诸如第三方应用的其他源接收信息(例如,所需的插槽),其可以用来组成用于该用户的自然语言输出。
如前所述,单个数据源可能没有足够的数据来准确地响应与用户有关的请求。例如,用户140A可能不习惯在他的在线日历142中保留下班后计划。如果用户140B要向自动助理120询问用户140A可否用餐,并且自动助理120只能检查在线日历142,当实际上用户140A的一些计划根本没有出现在他的日历上时,自动助理可能会错误地通知用户140B用户140A在特定的夜晚有空。更一般而言,当用户向自动助理120询问有关其他用户的信息时,这些请求通常是广泛的和/或开放式的,因此使用单个数据源可能无法解决。
相应地,在各种实施方式中,基于从多个不同数据源(诸如142-150中的两个或多个)检索的多个数据点,履行模块124可以生成履行信息,和/或自然语言生成器126可以制定自然语言输出。这样的话,即使在线日历142没有存储有关用户140A的夜间计划的足够信息,以通知另一个用户(诸如用户140B)用户140A是否有空在下班不久后见面也没关系。用户140A可以交换电子邮件或其他电子信件(144),和/或可以更新他的状态,或者通过社交媒体(146)将他的夜间计划通知其他人。通过咨询这些附加数据源,除了或代替在线日历142,自动助理120可能能够更有效/准确地响应来自另一个用户的有关用户140A的晚间计划的请求。
在一些实施方式中,自动助理120,例如通过履行模块124和/或自然语言生成器126,可以基于来自多个数据源的多个数据来制定自然语言响应,并且该自然语言响应可以与合计隐私分数相关联。可以确定合计数据分数是否满足某些标准,诸如不超过隐私阈值。如果满足标准(例如,合计隐私分数不超过隐私阈值),则自动助理可以将所制定的自然语言响应输出给请求用户。否则,可以拒绝该请求。
一些数据源可以存储被用户认为比其他数据更敏感和/或隐私的数据。因此,本文描述的各种技术可用来合计与这些数据源和/或从这些数据源获得的数据相关联的各个隐私分数,并且基于合计隐私分数来确定是否(或如何具体地)响应请求。例如,在线上(例如“云”计算系统上)可用的数据源与(例如)仅在由用户操作的一个或多个客户端设备上本地可用的数据源相比,可以具有更低的隐私分数。作为另一个示例,用户可以将隐私分数显式地分配给不同的数据源。例如,用户可以选择使来自在线日历142的数据比(例如)来自电子邮件数据源144的电子邮件私密性更低。在一些实施方式中,某些数据源可以例如基于隐私和/或敏感性的一般概念,任意或默认地被指配不同的隐私分数。例如,大多数用户可能会同意他们存储在144中的个人电子信件(例如,电子邮件、文本消息)比(例如)至少部分地对其他人可用的数据源(诸如可从146获得的社交网络简档)更具私密性。作为另一个示例,大多数用户认为用户的浏览和/或搜索历史比(例如)用户推荐给他人的用户的歌曲播放列表或餐馆更具私密性。
图2A和2B示出了根据本文所述的实施方式,用户101与自动助理的实例(图1中的120A或B,在图2中未图示)之间的人机对话会话如何经由客户端计算设备206的麦克风和扬声器(图示为独立的交互式扬声器,但这并不意味着限制)发生。可以在计算设备206上和/或与计算设备206进行网络通信的一个或多个计算设备上实现自动助理120的一个或多个方面。
在图2A中,用户101(“Dave”)在用户101和自动助理120之间的人机对话会话中提供了自然语言输入“Hey Sarah’s assistant,is Sarah available for lunch thisweek?(嘿,Sarah的助理,Sarah本周有空午餐吗?)”。响应于Dave对Sarah的助理的讲话(“Hey Sarah’s assistant(嘿Sarah的助理)”),在一些实施方式中,自动助理120可能会转换为当与自动助理120互动时,尝试模仿Sarah的体验的模式。例如,在一些实施方式中,自动助理120可以激活与当Sarah与自动助理120互动时使用的语音合成器相同的语音合成器。假定Sarah希望对她与自动助理120的交互使用与Dave不同的语音合成器,当向Dave提供自然语言输出时使用Sarah的首选的合成器将为Dave提供类似于与Sarah的助理而不是自己的助理讲话的体验。
Dave的请求还寻求Sarah本周是否有空午餐。在各种实施方式中,自动助理120可以与用户控制的资源引擎134交互以咨询多个数据源来确定Sarah的可能性,和/或是否应当向Dave提供响应。图2B描绘了可以咨询以确定Sarah是否有空午餐的多个数据源的示例。在该示例中,这些数据源包括Sarah的电子日历252(例如,其可以存储在142中)、(从144获得的)Sarah和名为Mavis的另一个用户之间的电子邮件消息交换线程254、以及(在一些实施方式中,可以从定位坐标服务150获得的)Sarah的当前或最后一个已知位置256。对于任何给定情况,可以考虑附加或替代数据源。
假定对该示例,Dave和Sarah是家庭成员或密友。因此,Sarah可能具有为Dave设定的相对宽松或宽容的隐私标准。例如,Sarah可能已经为Dave选择了相对较高的隐私阈值,例如十分中的九分。在一些实施方式中,该隐私阈值可以例如与Sarah的用户简档相关联地存储在ACL 136中。进一步假设Sarah为她的在线日历252设置了为2的隐私分数,并且Sarah为她的消息交换254和当前位置256分别设置了为3的隐私分数。这些隐私分数可以指示Sarah认为她的电子邮件和当前位置比她的在线日历更敏感。在一些实施方式中,Sarah可以手动地设置这些分数。附加地或替代地,在一些实施方式中,可以以其他方式,诸如通过默认来设置这些分数。此外,这些分数可以根据用户和/或从中收集信息的场境而变化。例如,假设从Sarah的社交媒体页面而非从她的私人电子邮件中提取消息交换线程254。在这种情况下,社交媒体消息的隐私分数在一些情况下可能会低于电子邮件,诸如2或更低(特别是如果消息交换发生在Sarah社交媒体简档的公开可见部分上)。
假设Dave提交他的请求时,当天是周一早上,并且(例如,由他自己的日历和/或其他数据源确定的)Dave在整个星期将位于美国西海岸。为了确定Sarah在本周的剩余时间何时有空吃午餐,可以例如通过履行模块124来咨询所有三个源252-256。Sarah的在线日历252将周四排除在外,本周的剩余时间有空,并且触发为2的第一隐私分数。Sarah的消息交换线程254将周二排除在外,并且触发了为3的第二隐私分数。考虑到Sarah的当前位置256位于日本(触发为3的第三隐私分数),周一的午餐也不可能。Sarah有空午餐的日子仅为星期三和星期五。
利用该信息,自动助理120例如通过自然语言生成器126,可以制定适当的自然语言响应。但是,在发生这种情况之前,自动助理120可以将合计隐私分数(例如,上述第一、第二和第三隐私分数的总和)与用于Dave的Sarah的隐私阈值进行比较。合计分数为8(2+3+3),并且阈值为9。因此,再次参考图2A,自动助理120应答:“Let me check…Sarah appearsto be available for lunch on Wednesday and Friday.(让我核实一下……Sarah似乎星期三和星期五有空午餐)。”但是,如果Dave和Sarah的关系不那么紧密,并且Sarah为Dave设置了较低的隐私阈值,则合计隐私分数(8)可能会达到或超过阈值,在这种情况下,自动助理120可能会回复:“I'm sorry Dave,I'm afraid I can't do that.(对不起,Dave,我恐怕做不到)。”在一些实施方式中,也可能会或可能不会将Dave的请求和/或所得到的响应告知Sarah。
用于特定用户或用户组的隐私阈值既不必是静态的,也不必要求对于特定用户始终是相同的。在各种实施方式中,隐私阈值可以是动态的,例如,动态地生成或计算。这特别有益,因为不需要用户手动地为所有其他用户设置权限。相反,可以基于各种信号并使用各种技术来自动地确定隐私阈值。在一些实施方式中,可以在请求用户的请求时,例如使用一个或多个经训练的机器学习模型,确定请求用户的隐私阈值。例如,可以使用请求用户和/或他们的请求、他们的场境、主体用户的场境、履行请求所需的数据源等的各种属性来汇编与请求(或用户)相关联的特征向量。然后,可以将该特征向量嵌入到潜在空间中(也称为“降维嵌入”),该潜在空间还包括其他请求(或用户)的嵌入。可以确定各个嵌入之间的欧几里得距离。在一些实施方式中,与潜在空间中的“最近”的其他请求相关联的隐私阈值可以被用来确定用于当前请求(或请求用户)的隐私阈值,例如,作为这些分数的平均值或中值。
在一些实施方式中,当确定用于用户和/或其请求的隐私阈值时,可以考虑来自特定用户的请求的历史。使用蛮力,恶意用户可以将多个单独的请求串在一起,每个请求本身都是相对无害的,但是响应于所有请求而集体地提供的信息可能比主体用户所希望的更具揭示性。例如,恶意用户可能会询问“Is John on vacation on May 1st?Is John onvacation May 2nd?(John 5月1日休假吗?John 5月2日休假吗?)”等,以确定John的综合时间表的梗概,而John可能不想将其透露。因此,在一些实施方式中,特别是在特定时间段内(例如,在几分钟、一小时、一天之内等),请求用户提出的问题越多,其隐私阈值可能会降低(即,更容易违反)。
附加或可替代地,在一些实施方式中,可以基于用户请求的广度,即,与该请求相关联的特异性或粒度的度量,确定请求用户的隐私阈值。换句话说,可以使用请求用户的请求的广度来确定对隐私问题应当进行多严格的审查。这可以降低请求用户能够从一般答复中推断出关于其他用户的特定信息的可能性。
例如,寻求非常具体的信息的请求(例如,“Where will Delia be at 11PMtomorrow night?”(“明天晚上11点Delia会在哪里?”))可能会受到相对严格的审查。可以将隐私阈值设置为相对较低,因此可以更容易地匹配和/或超过该隐私阈值(在这种情况下,该请求将被拒绝)。相比之下,寻求更粗略、不太具体的信息的请求(例如,“Is Findlayavailable for Dinner tomorrow or Wednesday?”(“Findlay明天或星期三有空晚餐吗?”))可能不太会受到严格审查。例如,可以将隐私阈值设置为相对较高,因此可能更难以违反。作为另一示例,诸如“Does George like historical fiction?(George喜欢历史小说吗?)”的一般性或广泛请求与(例如)诸如“Does George already own an electroniccopy of‘Gone with the Wind’?(George已经拥有《飘》的电子版)”的非常具体的请求相比,可能受到更少审查(例如,与响应相关联的合计隐私分数可以与相对较高的隐私阈值进行比较)。作为另一示例,诸如“Does Antoine like seafood?(Antoine喜欢海鲜吗?)”的相对宽泛的请求可能比(例如)诸如“How often does Antoine eat seafood?(Antoine多久吃一次海鲜?)”的非常具体的请求受到更少审查。
在一些实施方式中,可以至少部分地基于所得的履行信息来确定请求的广度(回忆,该履行信息可以被用来生成自然语言输出)。例如,可以考虑履行该请求所需的不同数据源的数量,例如,与(例如)相对较少数量的数据源相比,与更大的广度相关联,所需的数据源的数量更大。直观地讲,为生成履行信息所提取的数据源越多,则从特定源推断特定数据更难。
附加地或可替代地,在一些实施方式中,可以基于请求本身的各方面来确定请求的广度。例如,在一些实施方式中,可以考虑请求中的术语的数量,例如,越少的术语表示更大的广度,反之亦然。作为另一示例,可以考虑(例如)在整个用户群中遇到请求的次数。在一些这样的实施方式中,遇到相同请求或语义/语法上相似的请求的频率越高,请求的广度就越大,反之亦然。
图3设置了图2A-2B中图示的情况的替代方案。在图3中,不是从三个单独的数据源制定对Dave的图2A请求的响应,而是从单个数据源(Sarah的在线日历252)制定响应。在该示例中,Sarah已经创建了指示午餐与星期一、星期二和星期四冲突的日历条目。虽然仍然可以从在线日历252确定Sarah在星期三和星期五有空午餐,但是现在该确定是通过单个数据源做出的。因此,在一些实施方式中,Dave的请求可以被认为是相对狭窄的,并且因此可以将相对于Dave及其请求的隐私阈值设置为相对较低,例如,远低于图2B中描绘的情形。可能的情况是,较低的阈值导致Dave的请求被拒绝。但是,这并不能保证,特别是因为Sarah的在线日历252的为2的隐私分数相对较低,这意味着即使利用基于Dave的请求的较窄宽度生成的降低的隐私阈值,Dave的请求也可能会被准许。
图4描绘了在不同会话期间,用户Dave 101和在计算设备406A上操作的他的自动助理120之间的另一个对话框。在该示例中,Dave提供了自由形式的自然语言输入请求“HeySarah’s assistant,does Sarah like Science Fiction?(嘿,Sarah的助理,Sarah喜欢科幻小说吗?)”在该示例中,自动助理120咨询四个不同的数据源,以确定Sarah确实喜欢科幻小说,并且制定响应“Yes,Sarah appears to enjoy science fiction(是的,Sarah似乎喜欢科幻小说)。”数据源中的两个是基于云的,并且包括在线媒体简档480和上述社交媒体146。在线媒体简档480可以包含有关基于各种信号,诸如她的购物历史、搜索历史、媒体消费历史等,已经或将要推荐给Sarah的书籍、电影、播客等的信息。社交媒体146可以包括例如Sarah在她的状态页上或对其他社交媒体用户发表的评论,这些评论可用于衡量她对科幻小学的兴趣(例如,“I loved the original‘Alien’movie,and the first sequel.(我喜欢第一部《Alien》电影和第一部续集)”。它还可以包括例如Sarah在各种消息线程上发表的评论,诸如文章末尾的评论等。
图4中的两个附加数据源可本地用在由Sarah操作的客户端设备406B上。这些包括搜索/浏览历史482和本地存储的媒体484。例如,Sarah的搜索和/或浏览历史可能表明Sarah对科幻小说非常感兴趣。另外,如果本地存储在Sarah的客户端设备406B上的媒体包括(例如,由元数据确定的)大量的科幻小说内容,则这也可能指示Sarah对科幻小说感兴趣。在一些实施方式中,仅在客户端设备上本地可用的数据源,诸如图4中的482-484,可以被认为比例如在云上(例如480、146)上可用的其他数据源更隐私和/或敏感。因此,这些本地数据源可能比其他在线源具有与它们相关联的更高的隐私分数。
在图4中,如箭头所示,从所有四个数据源中提取数据以确定Sarah喜欢科幻小说。在一些实施方式中,从如此大量的数据源中提取数据导致该请求被解释为具有相对较大的广度。反过来,这可能导致至少对于来自Dave的特定请求,建立相对较高的隐私阈值(很难侵犯)。但这并不是说Dave在请求有关Sarah的信息时总是会遵循如此高的隐私阈值。
例如,在图5中(其中的组件与图4中的组件相同),Dave提出了更狭窄的要求,“hasSarah read‘Rendezvous with Rama’?(Sarah读过“与拉玛相会”吗?)”在这种情况下,自动助理120能够从单个数据源确定Sarah已阅读过该书。特别地,单个数据源是Sarah的客户端设备406B的本地存储的媒体484,其中,Sarah可能在其中存储了该书的电子版(在一些情况下,它可能用指示Sarah已经读过它的元数据被标记)。图5所示的其他数据源(580、146、482)在回答Dave的请求时没有提供任何帮助。因此,即使确定了对Dave请求的答复,在图5中,自动助理120仍然告诉Dave它不能提供该信息。这可能是因为,例如,Dave的请求被解释为具有较窄的宽度,例如,由于其基于从单个数据源(484)获得的数据被答复。
如前所述,在一些实施方式中,可以或不可以将Dave的请求和/或是否履行该请求告知Sarah。在上文的示例中,Dave可能正在寻找给Sarah的生日礼物。将Dave有关“Rendezvous with Rama(与拉玛相会)”的请求告知Sarah可能会暗示Dave正在为她购买生日礼物,而且他很可能会给她买一本科幻小说。因此,在一些实施方式中,Sarah可能不会收到任何通知,或者可能收到指示Dave提出了有关她的请求的推送通知(例如,在她的锁定屏幕上弹出卡片),但没有告知她具体的请求。这样,Sarah就可以避免读到Dave的具体要求,例如,使得她仍然会对他的礼物感到惊讶。在一些实施方式中,自动助理120可以例如从Sarah的日历中确定Sarah的生日(或另一个送礼的场合)即将发生。基于该确定,自动助理120可以确定Dave的请求可能与为Sarah购买生日礼物有关,从而可以采取各种步骤来避免破坏Sarah的惊喜,诸如通过不将请求告知Sarah、模糊该请求、使请求的通知含糊或不明确等。
图6是示出根据本文公开的实施方式的示例性方法600的流程图。为了方便起见,参考执行操作的系统来描述该流程图的操作。该系统可以包括各种计算机系统的各种组件,诸如自动助理120的一个或多个组件。此外,尽管以特定顺序示出了方法600的操作,但这并不意味着是限制性的。可以重新排序、省略或添加一项或多项操作。
在框602,系统可以经由由第一用户操作的客户端设备(例如,1061),从第一用户(例如,140A)接收自由形式的自然语言文本片段。在各种实施方式中,自由形式的自然语言文本片段可以包括对与第二用户有关的信息的请求(例如140B)。例如,所请求的信息可以是可以基于由第二用户创建的数据和/或完全或部分地在第二用户的控制下创建的数据制定的信息。该请求可以被接收作为此后(例如,通过模块117)转换为文本的言语和/或被接收作为键入的文本输入。在一些实施方式中,该请求可以由正试图向第二用户进行电话呼叫(例如,使用蜂窝电话、VOIP等)的第一用户(呼叫者)提交。如果第二用户无法接听电话,则可以将第一用户连接到自动助理,该自动助理可以或可以不会至少部分地在第一用户的智能手机或第二用户的智能手机上操作。
在许多实施方式中,该请求可以由第一用户指向第二用户的自动助理。如上所述,在一些实施方式中,每个用户实际上可能没有为他们服务的独特的自动助理。相反,每个用户可以具有自动助理客户端118,该自动助理客户端118与基于云的自动助理组件119交互以向用户提供类似于拥有他们自己的个性化虚拟助理的体验。为此,在一些实施方式中,每个用户可以选择他们的自动助理的属性,诸如将由他们的自动助理采用的语音合成器。因此,在一些实施方式中,当第一用户尝试与为第二用户服务的自动助理互动时,第二用户在与自动助理120互动时选择的语音合成器可以被用来与第一用户通信,从而给第一用户带来正与第二用户的自动助理讲话的错觉。
在一些实施方式中,请求用户可以要求他们自己的助理向别人的助理询问信息(例如,“Hey assistant,will you ask Sarah’s assistant if she likes sciencefiction?(嘿助理,您可以问问Sarah的助理她是否喜欢科幻小说?)”)。附加地或替代地,在一些实施方式中,用户可以通过呼叫另一用户的电话(或者,更一般地,尝试与另一用户建立某种语音通信会话),而另一用户忙着接听其他人的电话等,与另一用户的助理互动。可以向主叫用户呈现模仿另一用户的自动助理的自动助理接口,此时主叫用户可以发出请求。并且请求不限于基于语音的请求。在各种实施方式中,用户可以使用诸如视觉的其他输入/输出方式(例如,使用消息交换应用107)来与另一用户的自动助理互动。
再次参考图6,在框604,系统可以识别自动助理120可访问以检索与第二用户相关联的数据的至少第一和第二数据源。在各种实施方式中,第一和第二数据源(以及必要时任何数量的附加资源)可以共同地包括足够的数据以生成响应性履行信息和/或制定对对信息的请求的自然语言响应,而两个源单独可能都不具有足够的数据。
在框606,系统可以确定与第一数据源相关联的第一隐私分数和与第二数据源相关联的第二隐私分数。在框608,系统可以确定与对对信息的请求的响应相关联的合计隐私分数。在一些实施方式中,该合计分数可以基于第一隐私分数和第二隐私分数,例如,两个分数的总和。在一些实施方式中,当履行模块124汇编自然语言生成器126制定自然语言响应所必需的履行信息时,履行模块124可以将合计隐私分数附加到履行信息上。
如上所述,与数据源(例如142-150、252-256、480-484)相关联的隐私分数可以由用户选择、默认设置、随着时间的推移而学习(例如,使用机器学习模型)等等。附加地或替代地,在一些实施方式中,可以例如基于相对于其他数据源,从该特定数据源提取的多个单独数据点来加权每个数据源的隐私分数。例如,如果使用用户的在线日历来确定三天没有空进行晚餐,并且使用用户的电子邮件来确定用户在第四天没有空,则可以比用户的电子邮件,更重或更轻地加权用户的在线日历。
在框610,系统可以确定在框608确定的合计隐私分数是否满足隐私标准。如上所述,在一些实施方式中,隐私标准可以采取隐私阈值的形式。可以为特定用户设置隐私阈值(例如,Sarah为来自Dave的任何请求设置隐私阈值),和/或可以例如基于请求的广度、履行请求所需的多个数据源等动态地确定。在一些实施方式中,满足隐私标准意味着未达到或超过隐私阈值。
如果在框610的答案为是,那么在框612,系统可以使得在由第一用户操作的客户端设备处制定和/或输出自然语言响应。可以以各种方式,诸如可听地、视觉地(例如,通过消息交换客户端107)等等输出自然语言响应。在一些实施方式中,还可以向该请求所相关的用户告知该请求和/或其履行。然而,如果框610处的答案为否,则在框614处,系统可以使客户端设备输出拒绝在框602处接收到的请求的其他自然语言输出。类似于框612,在一些实施方式中,可以向做出该拒绝请求所相关的用户告知该请求和/或其拒绝。并且如上所述,在一些实施方式中,取决于是否希望为主体用户保持某种程度的惊喜,可以或者可以不向主体用户告知该请求和/或其履行或拒绝。
如本文所述的请求不一定限于对信息的请求。例如,第一用户可以请求自动助理与第二用户控制的资源进行交互。仅当自动助理例如使用本文描述的技术确定应该向第一用户授予这种权限时,才可以允许其与该资源进行互动。作为非限制性示例,孩子可能要求自动助理从在线市场购买东西。自动助理可以基于各种不同因素(诸如,在线市场的可信赖性、与数据源(例如,妈妈的信用卡)相关联的隐私分数)等,确定与该请求相关联的合计隐私分数。可以将该合计隐私分数与相对于例如孩子的母亲或父亲为孩子建立的隐私阈值进行比较。可以使用本文所述的技术进行认证的其他响应动作包括但不限于操作家用电器(例如,是否应当允许访客调节恒温器?)、改变照明景观、锁定/解锁门等。
图7是示例性计算设备710的框图,该示例计算设备710可以可选地用于执行本文所描述的技术的一个或多个方面。在一些实施方式中,客户端计算设备、用户控制的资源引擎134和/或其他组件中的一个或多个可以包括示例性计算设备710的一个或多个组件。
计算设备710通常包括至少一个处理器714,其经由总线子系统712与多个外围设备通信。这些外围设备可以包括存储子系统724,包括例如,存储器子系统725和文件存储子系统726;用户接口输出设备720;用户接口输入设备722以及网络接口子系统716。输入和输出设备允许用户与计算设备710交互。网络接口子系统716提供到外部网络的接口,并且耦合到其他计算设备中的相应接口设备。
用户接口输入设备722可以包括键盘;诸如鼠标、轨迹球、触摸板或图形输入板的指向设备;扫描仪;并入到显示器的触摸屏;诸如语音识别系统的音频输入设备;麦克风;和/或其他类型的输入设备。通常,使用术语“输入设备”旨在包括所有可能类型的设备以及将信息输入到计算设备710中或通信网络上的方式。
用户接口输出设备720可以包括显示子系统、打印机、传真机或诸如音频输出设备的非可视显示器。显示子系统可以包括阴极射线管(CRT)、诸如液晶显示器(LCD)的平板设备、投影设备或用于创建可视图像的一些其他机制。显示子系统还可以诸如经由音频输出设备来提供非视觉显示。通常,使用术语“输出设备”旨在包括所有可能类型的设备以及从计算设备710向用户或另一台机器或计算设备输出信息的方式。
存储子系统724存储提供本文所述的一些或全部模块的功能的编程和数据构造。例如,存储子系统724可以包括执行图6的方法的所选方面以及实现图1中所描绘的各种组件的逻辑。
这些软件模块通常由处理器714单独或与其他处理器结合地执行。存储子系统724中使用的存储器725可以包括多个存储器,包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)730以及存储固定指令的只读存储器(ROM)732。文件存储子系统726可以提供用于程序和数据文件的持久存储,并且可以包括硬盘驱动器、软盘驱动器以及相关联的可移动介质、CD-ROM驱动器、光盘驱动器或可移动介质盒。实现某些实施方式的功能的模块可以由文件存储子系统726存储在存储子系统724中,或者存储在处理器714可访问的其他机器中。
总线子系统712提供一种机制,其用于使计算设备710的各种组件和子系统按照预期相互通信。尽管总线子系统712被示意性地示出为单个总线,但是总线子系统的替代实施方式可以使用多个总线。
计算设备710可以是各种类型,包括工作站、服务器、计算集群、刀片服务器、服务器群、或任何其他数据处理系统或计算设备。由于计算机和网络的不断变化的性质,图7中描绘的计算设备710的描述仅旨在作为用于说明一些实施方式的目的的特定示例。计算设备710的许多其他配置可能具有比图7中描绘的计算设备更多或更少的组件。
在本文讨论的某些实施方式可以收集或使用关于用户的个人信息(例如,从其他电子通信中提取的用户数据、有关用户社交网络的信息、用户的位置、用户的时间、用户的生物特征信息以及用户的活动和人口统计信息、用户之间的关系等)的情况下,向用户提供一个或多个机会来控制是否收集信息、是否存储个人信息、是否使用个人信息以及如何收集、存储和使用有关用户的信息。也就是说,仅在如愿从相关用户接收到明确的授权后,本文讨论的系统和方法才收集、存储和/或使用用户的个人信息。
例如,为用户提供对程序或特征是否收集关于该特定用户或与程序或特征相关的其他用户的用户信息的控制。为要对其收集个人信息的每个用户提供一个或多个选项,以允许控制与该用户有关的信息收集,以提供关于是否收集信息以及信息的哪些部分要被收集的许可或授权。例如,可以通过通信网络向用户提供一个或多个这样的控制选项。另外,某些数据在被存储或使用之前,可能会以一种或多种方式被处理,使得移除个人身份信息。作为一个示例,可以处理用户的身份,使得不能确定个人身份信息。作为另一示例,用户的地理位置可以被概括为更大的区域,使得不能确定用户的具体位置。
虽然本文已经描述和说明若干实施方式,但是可以利用用于执行功能和/或获得结果和/或本文描述的一个或多个优点的各种其他手段和/或结构,并且这些变化和/或改进中的每一个被认为是在本文描述的实施方式的范围内。更一般地,本文描述的所有参数、尺寸、材料和配置旨在是示例性的,并且实际参数、尺寸、材料和/或配置将取决于使用教导的特定应用或应用。本领域的技术人员将认识到或者能够使用不超过常规的实验确定本文所述的具体实施方式的许多等同物。因此,应当理解到,前述实施方式仅作为示例呈现,并且在所附权利要求及其等同物的范围内,可以以不同于具体描述和要求保护的方式实施这些实施方式。本公开的实施方式针对本文描述的每个单独的特征、系统、物品、材料、套件和/或方法。此外,如果这些特征、系统、物品、材料、套件和/或方法不相互矛盾,则两个或以上这样的特征、系统、物品、材料、套件和/或方法的任何组合被包括在本公开的范围内。
Claims (40)
1.一种使用一个或多个处理器实现的方法,包括:
经由第一用户操作的客户端设备,从所述第一用户接收自由形式的自然语言文本片段,其中,所述自由形式的自然语言文本片段包括所述第一用户对关于在特定时间处的第二用户的可用性的信息的请求;
识别由自动助理能够访问以检索与所述第二用户相关联的数据的至少第一数据源和第二数据源,其中,所述第一数据源和所述第二数据源由所述第二用户控制并且共同地包括足以查明在特定时间处的所述第二用户的可用性的数据;
确定与所述第一数据源相关联的第一隐私分数以及与所述第二数据源相关联的第二隐私分数;
基于所述第一隐私分数和所述第二隐私分数,确定与响应所述请求相关联的合计隐私分数;以及
响应于确定与响应所述请求相关联的所述合计隐私分数满足相对于所述第一用户为所述第二用户建立的隐私标准,使得由所述第一用户操作的所述客户端设备响应所述请求。
2.如权利要求1所述的方法,其中,使得所述客户端设备响应所述请求包括:使得所述客户端设备输出自然语言响应。
3.如权利要求2所述的方法,进一步包括:
获得来自所述第一数据源的第一数据点以及来自所述第二数据源的第二数据点;以及
基于所述第一数据点和所述第二数据点来制定所述自然语言响应。
4.如权利要求1所述的方法,其中,所述第一数据源包括日历数据库或位置服务。
5.如权利要求1所述的方法,其中,所述第一数据源包括由所述第二用户发送或接收的通信的语料库。
6.如权利要求5所述的方法,其中,所述通信的语料库被本地存储在由所述第二用户操作的第二客户端设备上。
7.如权利要求1所述的方法,其中,确定与所述第一数据源相关联的所述第一隐私分数包括确定所述第一数据源对于由所述第二用户所操作的第二客户端计算设备是本地的;以及
其中,确定与所述第二数据源相关联的所述第二隐私分数包括确定所述第二数据源在远离由所述第二用户操作的任何客户端计算设备的一个或多个服务器上是可用的;
其中,所述第一隐私分数对所述合计隐私分数的影响大于所述第二隐私分数。
8.如权利要求1所述的方法,其中,确定与响应所述请求相关联的所述合计隐私分数满足相对于所述第一用户为所述第二用户建立的隐私标准包括:将指示所述第一数据源和所述第二数据源的数据应用为跨经训练的机器学习模型的输入,以生成输出,其中,所述输出被用来确定是否满足所述隐私标准。
9.如权利要求1所述的方法,其中,所述隐私标准包括隐私阈值。
10.如权利要求9所述的方法,其中,基于所述请求的广度来选择所述隐私阈值。
11.一种系统,包括一个或多个处理器以及与所述一个或多个处理器操作地耦合的存储器,其中,所述存储器存储指令,响应于由一个或多个处理器执行所述指令,所述指令使得所述一个或多个处理器执行下述操作:
经由第一用户操作的客户端设备,从所述第一用户接收自由形式的自然语言文本片段,其中,所述自由形式的自然语言文本片段包括所述第一用户对关于在特定时间处的第二用户的可用性的信息的请求;
识别由自动助理能够访问以检索与所述第二用户相关联的数据的至少第一数据源和第二数据源,其中,所述第一数据源和所述第二数据源由所述第二用户控制并且共同地包括足以查明在特定时间处的所述第二用户的可用性并且制定对信息的请求的自然语言响应的数据;
确定与所述第一数据源相关联的第一隐私分数以及与所述第二数据源相关联的第二隐私分数;
基于所述第一隐私分数和所述第二隐私分数,确定与响应所述对信息的请求相关联的合计隐私分数;以及
响应于确定与所述自然语言响应相关联的所述合计隐私分数满足相对于所述第一用户为所述第二用户建立的隐私标准,使得在由所述第一用户操作的所述客户端设备处输出所述自然语言响应。
12.如权利要求11所述的系统,进一步包括用于以下的指令:
获得来自所述第一数据源的第一数据点以及来自所述第二数据源的第二数据点;以及
基于所述第一数据点和所述第二数据点来制定所述自然语言响应。
13.如权利要求11所述的系统,其中,所述第一数据源包括日历数据库或位置服务。
14.如权利要求11所述的系统,其中,所述第一数据源包括由所述第二用户发送或接收的通信的语料库。
15.如权利要求14所述的系统,其中,所述通信的语料库被本地存储在由所述第二用户操作的第二客户端设备上。
16.如权利要求11所述的系统,其中,确定与所述第一数据源相关联的所述第一隐私分数包括确定所述第一数据源对于由所述第二用户所操作的第二客户端计算设备是本地的;以及
其中,确定与所述第二数据源相关联的所述第二隐私分数包括确定所述第二数据源在远离由所述第二用户操作的任何客户端计算设备的一个或多个服务器上是可用的;
其中,所述第一隐私分数对所述合计隐私分数的影响大于所述第二隐私分数。
17.如权利要求11所述的系统,其中,确定与所述自然语言响应相关联的所述合计隐私分数满足相对于所述第一用户为所述第二用户建立的隐私标准包括:将指示所述第一数据源和所述第二数据源的数据应用为跨经训练的机器学习模型的输入,以生成输出,其中,所述输出被用来确定是否满足所述隐私标准。
18.如权利要求11所述的系统,其中,所述隐私标准包括隐私阈值。
19.如权利要求18所述的系统,其中,基于所述请求的广度来选择所述隐私阈值。
20.至少一种非暂时性计算机可读介质,所述至少一种非暂时性计算机可读介质包括指令,响应于由一个或多个处理器执行所述指令,所述指令使得所述一个或多个处理器执行下述操作:
经由第一用户操作的客户端设备,从所述第一用户接收自由形式的自然语言文本片段,其中,所述自由形式的自然语言文本片段包括所述第一用户对关于在特定时间处的第二用户的可用性的信息的请求;
识别由自动助理能够访问以检索与所述第二用户相关联的数据的至少第一数据源和第二数据源,其中,所述第一数据源和所述第二数据源由所述第二用户控制并且共同地包括足以查明在特定时间处的所述第二用户的可用性并且制定对信息的请求的自然语言响应的数据;
确定与所述第一数据源相关联的第一隐私分数以及与所述第二数据源相关联的第二隐私分数;
基于所述第一隐私分数和所述第二隐私分数,确定与响应所述对信息的请求相关联的合计隐私分数;以及
响应于确定与所述自然语言响应相关联的所述合计隐私分数满足相对于所述第一用户为所述第二用户建立的隐私标准,使得在由所述第一用户操作的所述客户端设备处输出所述自然语言响应。
21.一种使用一个或多个处理器实现的方法,包括:
经由第一用户操作的客户端设备,从所述第一用户接收自由形式自然语言文本片段,其中所述自由形式的自然语言文本片段包括所述第一用户对由第二用户控制的信息的请求;
识别由一个或多个自动助理能够访问以检索与所述第二用户相关联的数据的多个数据源,其中所述多个数据源由所述第二用户控制并且共同地包括足以查明由所述第二用户控制的所述信息的数据;
确定所述第一用户对由所述第二用户控制的所述信息的所述请求的广度;
基于所述请求的所述广度,相对于所述第一用户为所述第二用户建立隐私阈值;
基于所述多个数据源,确定与响应所述请求相关联的合计隐私分数;以及
响应于确定与响应所述请求相关联的所述合计隐私分数满足相对于所述第一用户为所述第二用户建立的所述隐私阈值,使得由所述第一用户操作的所述客户端设备响应所述请求。
22.如权利要求21所述的方法,其中,所述广度是基于履行所述第一用户对由所述第二用户控制的所述信息的所述请求所需的所述多个数据源的计数来确定的。
23.如权利要求21所述的方法,其中,所述广度是基于所述自由形式自然语言文本片段中包含的术语的数量来确定的。
24.如权利要求21所述的方法,其中,使得所述客户端设备响应所述请求包括使得所述客户端设备输出语音合成的自然语言响应。
25.如权利要求24所述的方法,进一步包括:
识别由所述第二用户选择的语音合成器来与所述自动助理中的一个或多个互动;以及
利用所识别的语音合成器来合成所述自然语言响应。
26.如权利要求21所述的方法,其中,对由所述第二用户控制的信息的所述请求包括对所述第二用户的媒体偏好的请求。
27.如权利要求21所述的方法,其中,对由所述第二用户控制的信息的所述请求包括对在特定时间处的所述第二用户的可用性的请求。
28.如权利要求21所述的方法,其中,所述多个数据源包括日历数据库或位置服务。
29.如权利要求21所述的方法,其中,所述多个数据源包括由所述第二用户发送或接收的通信的语料库。
30.一种系统,包括一个或多个处理器以及存储指令的存储器,响应于由所述一个或多个处理器执行所述指令,所述指令使得所述一个或多个处理器:
经由第一用户操作的客户端设备,从所述第一用户接收自由形式自然语言文本片段,其中所述自由形式的自然语言文本片段包括所述第一用户对由第二用户控制的信息的请求;
识别由一个或多个自动助理能够访问以检索与所述第二用户相关联的数据的多个数据源,其中所述多个数据源由所述第二用户控制并且共同地包括足以查明由所述第二用户控制的所述信息的数据;
确定所述第一用户对由所述第二用户控制的所述信息的所述请求的广度;
基于所述请求的所述广度,相对于所述第一用户为所述第二用户建立隐私阈值;
基于所述多个数据源,确定与响应所述请求相关联的合计隐私分数;以及
响应于确定与响应所述请求相关联的所述合计隐私分数满足相对于所述第一用户为所述第二用户建立的所述隐私阈值,使得由所述第一用户操作的所述客户端设备响应所述请求。
31.如权利要求30所述的系统,其中,所述广度是基于履行所述第一用户对由所述第二用户控制的所述信息的所述请求所需的所述多个数据源的计数来确定的。
32.如权利要求30所述的系统,其中,所述广度是基于所述自由形式自然语言文本片段中包含的术语的数量来确定的。
33.如权利要求30所述的系统,其中,使得所述客户端设备响应所述请求的所述指令包括使得所述客户端设备输出语音合成的自然语言响应的指令。
34.如权利要求33所述的系统,进一步包括指令以:
识别由所述第二用户选择的语音合成器来与所述自动助理中的一个或多个互动;以及
利用所识别的语音合成器来合成所述自然语言响应。
35.如权利要求30所述的系统,其中,对由所述第二用户控制的信息的所述请求包括对所述第二用户的媒体偏好的请求。
36.如权利要求30所述的系统,其中,对由所述第二用户控制的信息的所述请求包括对在特定时间处的所述第二用户的可用性的请求。
37.如权利要求30所述的系统,其中,所述多个数据源包括日历数据库或位置服务。
38.如权利要求30所述的系统,其中,所述多个数据源包括由所述第二用户发送或接收的通信的语料库。
39.至少一种非暂时性计算机可读介质,所述至少一种非暂时性计算机可读介质包括指令,当由一个或多个处理器执行时,所述指令使得所述一个或多个处理器:
经由第一用户操作的客户端设备,从所述第一用户接收自由形式自然语言文本片段,其中所述自由形式的自然语言文本片段包括所述第一用户对由第二用户控制的信息的请求;
识别由一个或多个自动助理能够访问以检索与所述第二用户相关联的数据的多个数据源,其中所述多个数据源由所述第二用户控制并且共同地包括足以查明由所述第二用户控制的所述信息的数据;
确定所述第一用户对由所述第二用户控制的所述信息的所述请求的广度;
基于所述请求的所述广度,相对于所述第一用户为所述第二用户建立隐私阈值;
基于所述多个数据源,确定与响应所述请求相关联的合计隐私分数;以及
响应于确定与响应所述请求相关联的所述合计隐私分数满足相对于所述第一用户为所述第二用户建立的所述隐私阈值,使得由所述第一用户操作的所述客户端设备响应所述请求。
40.如权利要求39所述的至少一种非暂时性计算机可读介质,其中,所述广度是基于履行所述第一用户对由所述第二用户控制的所述信息的所述请求所需的所述多个数据源的计数来确定的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410386333.6A CN118312580A (zh) | 2018-08-07 | 2018-08-07 | 汇编和评估对隐私问题的自动助理响应 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2018/045539 WO2020032927A1 (en) | 2018-08-07 | 2018-08-07 | Assembling and evaluating automated assistant responses for privacy concerns |
CN201880094452.7A CN112262381B (zh) | 2018-08-07 | 2018-08-07 | 汇编和评估对隐私问题的自动助理响应 |
CN202410386333.6A CN118312580A (zh) | 2018-08-07 | 2018-08-07 | 汇编和评估对隐私问题的自动助理响应 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880094452.7A Division CN112262381B (zh) | 2018-08-07 | 2018-08-07 | 汇编和评估对隐私问题的自动助理响应 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118312580A true CN118312580A (zh) | 2024-07-09 |
Family
ID=63364203
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410386333.6A Pending CN118312580A (zh) | 2018-08-07 | 2018-08-07 | 汇编和评估对隐私问题的自动助理响应 |
CN201880094452.7A Active CN112262381B (zh) | 2018-08-07 | 2018-08-07 | 汇编和评估对隐私问题的自动助理响应 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880094452.7A Active CN112262381B (zh) | 2018-08-07 | 2018-08-07 | 汇编和评估对隐私问题的自动助理响应 |
Country Status (4)
Country | Link |
---|---|
US (6) | US11455418B2 (zh) |
EP (3) | EP4418146A1 (zh) |
CN (2) | CN118312580A (zh) |
WO (1) | WO2020032927A1 (zh) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11122038B1 (en) * | 2017-05-18 | 2021-09-14 | United Services Automobile Association (Usaa) | Methods and systems for authentication of new users |
GB2569335B (en) * | 2017-12-13 | 2022-07-27 | Sage Global Services Ltd | Chatbot system |
EP4418146A1 (en) | 2018-08-07 | 2024-08-21 | Google Llc | Assembling and evaluating automated assistant responses for privacy concerns |
US11494502B2 (en) * | 2018-10-25 | 2022-11-08 | Microsoft Technology Licensing, Llc | Privacy awareness for personal assistant communications |
US11023470B2 (en) * | 2018-11-14 | 2021-06-01 | International Business Machines Corporation | Voice response system for text presentation |
US10978066B2 (en) | 2019-01-08 | 2021-04-13 | International Business Machines Corporation | Analyzing information to provide topic avoidance alerts |
US11011158B2 (en) * | 2019-01-08 | 2021-05-18 | International Business Machines Corporation | Analyzing data to provide alerts to conversation participants |
US10565365B1 (en) * | 2019-02-21 | 2020-02-18 | Capital One Services, Llc | Systems and methods for data access control using narrative authentication questions |
MX2021012013A (es) * | 2019-04-01 | 2022-01-04 | Assa Abloy Ab | Sistema y metodo para proporcionar credenciales agregadas con niveles de garantia. |
US11470017B2 (en) * | 2019-07-30 | 2022-10-11 | At&T Intellectual Property I, L.P. | Immersive reality component management via a reduced competition core network component |
WO2021033886A1 (en) * | 2019-08-22 | 2021-02-25 | Samsung Electronics Co., Ltd. | A system and method for providing assistance in a live conversation |
US11721330B1 (en) * | 2019-09-04 | 2023-08-08 | Amazon Technologies, Inc. | Natural language input processing |
US20210117882A1 (en) | 2019-10-16 | 2021-04-22 | Talkdesk, Inc | Systems and methods for workforce management system deployment |
US11482220B1 (en) * | 2019-12-09 | 2022-10-25 | Amazon Technologies, Inc. | Classifying voice search queries for enhanced privacy |
US11736615B2 (en) | 2020-01-16 | 2023-08-22 | Talkdesk, Inc. | Method, apparatus, and computer-readable medium for managing concurrent communications in a networked call center |
US11151331B1 (en) * | 2020-05-13 | 2021-10-19 | International Business Machines Corporation | Layered neural networks to evaluate communication distribution |
CN111538862B (zh) * | 2020-05-15 | 2023-06-20 | 北京百度网讯科技有限公司 | 用于解说视频的方法及装置 |
US20220067034A1 (en) * | 2020-08-27 | 2022-03-03 | mePrism Inc. | Collection, structuring, and storage of personal data of a user of an online service |
US11640823B1 (en) * | 2020-09-30 | 2023-05-02 | Amazon Technologies, Inc. | Natural language processing routing |
US11418463B2 (en) * | 2020-11-23 | 2022-08-16 | Microsoft Technology Licensing, Llc | Method and system of intelligently providing responses for a user in the user's absence |
US11115353B1 (en) * | 2021-03-09 | 2021-09-07 | Drift.com, Inc. | Conversational bot interaction with utterance ranking |
US11677875B2 (en) | 2021-07-02 | 2023-06-13 | Talkdesk Inc. | Method and apparatus for automated quality management of communication records |
US11856140B2 (en) | 2022-03-07 | 2023-12-26 | Talkdesk, Inc. | Predictive communications system |
US11736616B1 (en) | 2022-05-27 | 2023-08-22 | Talkdesk, Inc. | Method and apparatus for automatically taking action based on the content of call center communications |
US11971908B2 (en) | 2022-06-17 | 2024-04-30 | Talkdesk, Inc. | Method and apparatus for detecting anomalies in communication data |
CN115334024B (zh) * | 2022-08-01 | 2024-07-09 | 鼎捷软件股份有限公司 | 即时响应系统以及即时响应方法 |
US11943391B1 (en) | 2022-12-13 | 2024-03-26 | Talkdesk, Inc. | Method and apparatus for routing communications within a contact center |
Family Cites Families (271)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3651270A (en) | 1970-10-26 | 1972-03-21 | Stromberg Carlson Corp | Message waiting and do-not-disturb arrangement |
US5375244A (en) | 1992-05-29 | 1994-12-20 | At&T Corp. | System and method for granting access to a resource |
US5373549A (en) | 1992-12-23 | 1994-12-13 | At&T Corp. | Multi-level conference management and notification |
US5533102A (en) | 1993-09-22 | 1996-07-02 | Active Voice | Telephone auto attendant system for delivering chosen greetings to callers while on the phone |
US5493692A (en) | 1993-12-03 | 1996-02-20 | Xerox Corporation | Selective delivery of electronic messages in a multiple computer system based on context and environment of a user |
US5652789A (en) | 1994-09-30 | 1997-07-29 | Wildfire Communications, Inc. | Network based knowledgeable assistant |
US5583924A (en) | 1995-02-13 | 1996-12-10 | Cidco Incorporated | Caller ID and call waiting for multiple CPES on a single telephone line |
US5928325A (en) | 1997-02-24 | 1999-07-27 | Motorola, Inc. | Method of dynamically establishing communication of incoming messages to one or more user devices presently available to an intended recipient |
JP3195752B2 (ja) | 1997-02-28 | 2001-08-06 | シャープ株式会社 | 検索装置 |
US6181736B1 (en) | 1997-03-25 | 2001-01-30 | Nxi Communications, Inc. | Network communication system |
JP3740281B2 (ja) | 1997-06-30 | 2006-02-01 | キヤノン株式会社 | 通信システム、通信制御装置、その制御方法および記憶媒体 |
US5982863A (en) | 1997-08-27 | 1999-11-09 | Phytel, Inc. | Communications system for a service provider |
US5999613A (en) | 1997-09-25 | 1999-12-07 | U. S. West, Inc. | Method and system for processing incoming calls during calls-in-progress |
US8380796B2 (en) | 1997-11-02 | 2013-02-19 | Amazon Technologies, Inc. | Social networking system |
US6496283B1 (en) | 1998-03-30 | 2002-12-17 | Brother Kogyo Kabushiki Kaisha | Communication device |
US6148081A (en) | 1998-05-29 | 2000-11-14 | Opentv, Inc. | Security model for interactive television applications |
US6366654B1 (en) | 1998-07-06 | 2002-04-02 | Nortel Networks Limited | Method and system for conducting a multimedia phone cell |
CA2345662A1 (en) | 1998-10-02 | 2000-04-13 | International Business Machines Corporation | Structure skeletons for efficient voice navigation through generic hierarchical objects |
US6938256B2 (en) | 2000-01-18 | 2005-08-30 | Galactic Computing Corporation | System for balance distribution of requests across multiple servers using dynamic metrics |
US6751621B1 (en) | 2000-01-27 | 2004-06-15 | Manning & Napier Information Services, Llc. | Construction of trainable semantic vectors and clustering, classification, and searching using trainable semantic vectors |
US6895558B1 (en) | 2000-02-11 | 2005-05-17 | Microsoft Corporation | Multi-access mode electronic personal assistant |
US6757362B1 (en) * | 2000-03-06 | 2004-06-29 | Avaya Technology Corp. | Personal virtual assistant |
US7236976B2 (en) | 2000-06-19 | 2007-06-26 | Aramark Corporation | System and method for scheduling events and associated products and services |
US7308484B1 (en) | 2000-06-30 | 2007-12-11 | Cisco Technology, Inc. | Apparatus and methods for providing an audibly controlled user interface for audio-based communication devices |
WO2002065240A2 (en) | 2001-02-09 | 2002-08-22 | Personal Genie, Inc. | Calendaring systems and methods |
US8200577B2 (en) | 2001-03-20 | 2012-06-12 | Verizon Business Global Llc | Systems and methods for retrieving and modifying data records for rating and billing purposes |
US6968334B2 (en) * | 2001-05-15 | 2005-11-22 | Nokia Corporation | Method and business process to maintain privacy in distributed recommendation systems |
US7028074B2 (en) | 2001-07-03 | 2006-04-11 | International Business Machines Corporation | Automatically determining the awareness settings among people in distributed working environment |
US7206559B2 (en) | 2001-10-16 | 2007-04-17 | Hewlett-Packard Development Company, L.P. | System and method for a mobile computing device to control appliances |
US7616754B2 (en) | 2001-11-09 | 2009-11-10 | Herzel Laor | Method and system for computer-based private branch exchange |
US7228335B2 (en) | 2002-02-19 | 2007-06-05 | Goodcontacts Research Ltd. | Method of automatically populating contact information fields for a new contract added to an electronic contact database |
US7210163B2 (en) | 2002-07-19 | 2007-04-24 | Fujitsu Limited | Method and system for user authentication and authorization of services |
US7333798B2 (en) | 2002-08-08 | 2008-02-19 | Value Added Communications, Inc. | Telecommunication call management and monitoring system |
US20050249023A1 (en) | 2002-09-02 | 2005-11-10 | Koninklijke Philips Electronics N.V. | Device and method for overriding a do-not-disturb mode |
US7120635B2 (en) | 2002-12-16 | 2006-10-10 | International Business Machines Corporation | Event-based database access execution |
US8607280B2 (en) | 2003-01-08 | 2013-12-10 | Intel Corporation | Resource and capability borrowing |
US8661079B2 (en) | 2003-02-20 | 2014-02-25 | Qualcomm Incorporated | Method and apparatus for establishing an invite-first communication session |
EP1460852A1 (fr) | 2003-03-21 | 2004-09-22 | THOMSON Licensing S.A. | Procédé et dispositif de diffusion et de chargement d'une information dans un système de communication du type télévision numérique |
US7443971B2 (en) | 2003-05-05 | 2008-10-28 | Microsoft Corporation | Computer system with do not disturb system and method |
US20170337287A1 (en) | 2003-06-25 | 2017-11-23 | Susan (Zann) Gill | Intelligent integrating system for crowdsourcing and collaborative intelligence in human- and device- adaptive query-response networks |
US20050065995A1 (en) | 2003-09-23 | 2005-03-24 | Microsoft Corporation | Content and task-execution services provided through dialog-based interfaces |
US7460652B2 (en) | 2003-09-26 | 2008-12-02 | At&T Intellectual Property I, L.P. | VoiceXML and rule engine based switchboard for interactive voice response (IVR) services |
US20060008256A1 (en) | 2003-10-01 | 2006-01-12 | Khedouri Robert K | Audio visual player apparatus and system and method of content distribution using the same |
US9015239B2 (en) | 2003-12-22 | 2015-04-21 | International Business Machines Corporation | System and method for integrating third party applications into a named collaborative space |
US20060031510A1 (en) | 2004-01-26 | 2006-02-09 | Forte Internet Software, Inc. | Methods and apparatus for enabling a dynamic network of interactors according to personal trust levels between interactors |
WO2005122059A1 (en) | 2004-06-09 | 2005-12-22 | Koninklijke Philips Electronics N.V. | Biometric template similarity based on feature locations |
EP1779263A1 (de) | 2004-08-13 | 2007-05-02 | Swiss Reinsurance Company | Sprach- und textanalysevorrichtung und entsprechendes verfahren |
US20060074831A1 (en) * | 2004-09-20 | 2006-04-06 | Hyder Andrew D | Virtual assistant |
US7359496B2 (en) | 2004-12-17 | 2008-04-15 | Alcatel Lucent | Communications system and method for providing customized messages based on presence and preference information |
US20130104251A1 (en) | 2005-02-01 | 2013-04-25 | Newsilike Media Group, Inc. | Security systems and methods for use with structured and unstructured data |
US20070168461A1 (en) | 2005-02-01 | 2007-07-19 | Moore James F | Syndicating surgical data in a healthcare environment |
US20060210033A1 (en) | 2005-03-17 | 2006-09-21 | Lucent Technologies, Inc. | Context sensitive ring back service |
US8554599B2 (en) | 2005-03-25 | 2013-10-08 | Microsoft Corporation | Work item rules for a work item tracking system |
US7653648B2 (en) | 2005-05-06 | 2010-01-26 | Microsoft Corporation | Permissions using a namespace |
US8069166B2 (en) | 2005-08-01 | 2011-11-29 | Seven Networks, Inc. | Managing user-to-user contact with inferred presence information |
US8223208B2 (en) | 2005-11-10 | 2012-07-17 | Motion Analysis Corporation | Device and method for calibrating an imaging device for generating three dimensional surface models of moving objects |
US8726344B1 (en) | 2005-11-30 | 2014-05-13 | Qurio Holdings, Inc. | Methods, systems, and products for measuring trust scores of devices |
US7873584B2 (en) | 2005-12-22 | 2011-01-18 | Oren Asher | Method and system for classifying users of a computer network |
US8625749B2 (en) | 2006-03-23 | 2014-01-07 | Cisco Technology, Inc. | Content sensitive do-not-disturb (DND) option for a communication system |
CA2648106A1 (en) | 2006-03-31 | 2007-11-01 | Bayer Healthcare Llc | Methods for prediction and prognosis of cancer, and monitoring cancer therapy |
US20070271453A1 (en) | 2006-05-19 | 2007-11-22 | Nikia Corporation | Identity based flow control of IP traffic |
EP2027537A4 (en) | 2006-06-09 | 2011-01-05 | Aastra Usa Inc | AUTOMATIC GROUP COMMUNICATION |
US20080046369A1 (en) | 2006-07-27 | 2008-02-21 | Wood Charles B | Password Management for RSS Interfaces |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US7945470B1 (en) | 2006-09-29 | 2011-05-17 | Amazon Technologies, Inc. | Facilitating performance of submitted tasks by mobile task performers |
CN1937663A (zh) | 2006-09-30 | 2007-03-28 | 华为技术有限公司 | 实现变声通话业务的方法、系统及装置 |
US20080127296A1 (en) | 2006-11-29 | 2008-05-29 | International Business Machines Corporation | Identity assurance method and system |
EP2098010A1 (en) | 2006-11-30 | 2009-09-09 | WANLESS, James Andrew | A method and system for providing automated real-time contact information |
US7886334B1 (en) | 2006-12-11 | 2011-02-08 | Qurio Holdings, Inc. | System and method for social network trust assessment |
US20080183811A1 (en) | 2007-01-25 | 2008-07-31 | Kotras Timothy W | Collaborative Multi-User Method and System |
WO2008114811A1 (ja) | 2007-03-19 | 2008-09-25 | Nec Corporation | 情報検索システム、情報検索方法及び情報検索用プログラム |
US9275247B2 (en) | 2007-09-24 | 2016-03-01 | Gregory A. Pearson, Inc. | Interactive networking systems with user classes |
US9247398B2 (en) | 2007-11-02 | 2016-01-26 | Sonim Technologies, Inc. | Methods for barging users on a real-time communications network |
CA2710427C (en) | 2007-12-21 | 2018-04-24 | Thomson Reuters Global Resources | Systems, methods, and software for entity relationship resolution |
JP5074221B2 (ja) | 2008-01-30 | 2012-11-14 | 京セラ株式会社 | 携帯無線機 |
US9483883B2 (en) | 2008-02-05 | 2016-11-01 | Madhavi Jayanthi | Vehicle installed mobile device and server for GPS services based adhoc task assignments |
US8700310B2 (en) | 2008-02-05 | 2014-04-15 | Madhavi Jayanthi | Mobile device and server for facilitating GPS based services |
US8010902B2 (en) | 2008-02-14 | 2011-08-30 | Oracle America, Inc. | Method and system for tracking social capital |
US20090216859A1 (en) | 2008-02-22 | 2009-08-27 | Anthony James Dolling | Method and apparatus for sharing content among multiple users |
US8732246B2 (en) | 2008-03-14 | 2014-05-20 | Madhavi Jayanthi | Mobile social network for facilitating GPS based services |
US7508310B1 (en) | 2008-04-17 | 2009-03-24 | Robelight, Llc | System and method for secure networking in a virtual space |
US8416083B2 (en) | 2008-04-17 | 2013-04-09 | Intellectual Ventures Fund 66 Llc | Networking in a virtual space |
US8166119B2 (en) | 2008-04-25 | 2012-04-24 | T-Mobile Usa, Inc. | Messaging device for delivering messages to recipients based on availability and preferences of recipients |
US20100005518A1 (en) | 2008-07-03 | 2010-01-07 | Motorola, Inc. | Assigning access privileges in a social network |
ES2337437B8 (es) | 2008-10-22 | 2011-08-02 | Telefonica S.A. | S de red seguros basado en el contextoprocedimiento y sistema para controlar el acceso inalambrico a recurso. |
US8311824B2 (en) | 2008-10-27 | 2012-11-13 | Nice-Systems Ltd | Methods and apparatus for language identification |
US8386572B2 (en) | 2008-12-31 | 2013-02-26 | International Business Machines Corporation | System and method for circumventing instant messaging do-not-disturb |
US20100180218A1 (en) | 2009-01-15 | 2010-07-15 | International Business Machines Corporation | Editing metadata in a social network |
US8561182B2 (en) | 2009-01-29 | 2013-10-15 | Microsoft Corporation | Health-based access to network resources |
US9195739B2 (en) | 2009-02-20 | 2015-11-24 | Microsoft Technology Licensing, Llc | Identifying a discussion topic based on user interest information |
US8204197B2 (en) | 2009-02-27 | 2012-06-19 | Research In Motion Limited | Method and system for conference call scheduling via e-mail |
US20120002008A1 (en) | 2010-07-04 | 2012-01-05 | David Valin | Apparatus for secure recording and transformation of images to light for identification, and audio visual projection to spatial point targeted area |
EP2439653A4 (en) | 2009-07-14 | 2013-03-13 | Sony Corp | CONTENT RECOMMENDATION SYSTEM, CONTENT RECOMMENDATION METHOD, CONTENT RECOMMENDATION DEVICE, AND INFORMATION RECORDING MEDIUM |
US8620929B2 (en) | 2009-08-14 | 2013-12-31 | Google Inc. | Context based resource relevance |
US9043877B2 (en) | 2009-10-06 | 2015-05-26 | International Business Machines Corporation | Temporarily providing higher privileges for computing system to user identifier |
US8995423B2 (en) | 2009-10-21 | 2015-03-31 | Genesys Telecommunications Laboratories, Inc. | Multimedia routing system for securing third party participation in call consultation or call transfer of a call in Progress |
US8868427B2 (en) | 2009-12-11 | 2014-10-21 | General Motors Llc | System and method for updating information in electronic calendars |
US10276170B2 (en) * | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US20130036455A1 (en) | 2010-01-25 | 2013-02-07 | Nokia Siemens Networks Oy | Method for controlling acess to resources |
US8483738B2 (en) | 2010-03-25 | 2013-07-09 | T-Mobile Usa, Inc. | Chore and rewards tracker |
JP5751251B2 (ja) | 2010-03-26 | 2015-07-22 | 日本電気株式会社 | 意味抽出装置、意味抽出方法、および、プログラム |
EP2550765B1 (en) | 2010-03-26 | 2019-01-02 | Nokia Technologies Oy | Method and apparatus for providing a trust level to access a resource |
US8743779B2 (en) | 2010-04-16 | 2014-06-03 | Qualcomm Incorporated | Systems, apparatus and methods to facilitate simultaneous traffic-idle or idle-idle demodulation |
US9037701B1 (en) | 2010-04-29 | 2015-05-19 | Secovix Corporation | Systems, apparatuses, and methods for discovering systems and apparatuses |
US9356790B2 (en) | 2010-05-04 | 2016-05-31 | Qwest Communications International Inc. | Multi-user integrated task list |
US9565715B2 (en) | 2010-05-13 | 2017-02-07 | Mediatek Inc. | Apparatuses and methods for coordinating operations between circuit switched (CS) and packet switched (PS) services with different subscriber identity cards, and machine-readable storage medium |
US8270684B2 (en) | 2010-07-27 | 2012-09-18 | Google Inc. | Automatic media sharing via shutter click |
US9122851B2 (en) | 2010-08-02 | 2015-09-01 | 3 Fish Limited | Identity assessment method and system |
US20120130771A1 (en) | 2010-11-18 | 2012-05-24 | Kannan Pallipuram V | Chat Categorization and Agent Performance Modeling |
CN102111407B (zh) * | 2010-12-30 | 2013-07-10 | 北京工业大学 | 用户为中心的访问控制隐私保护方法 |
US8559926B1 (en) | 2011-01-07 | 2013-10-15 | Sprint Communications Company L.P. | Telecom-fraud detection using device-location information |
US9483751B2 (en) | 2011-02-18 | 2016-11-01 | Google Inc. | Label privileges |
US20120222132A1 (en) | 2011-02-25 | 2012-08-30 | Microsoft Corporation | Permissions Based on Behavioral Patterns |
US9183514B2 (en) | 2011-02-25 | 2015-11-10 | Avaya Inc. | Advanced user interface and control paradigm including contextual collaboration for multiple service operator extended functionality offers |
US8479302B1 (en) | 2011-02-28 | 2013-07-02 | Emc Corporation | Access control via organization charts |
US8576750B1 (en) | 2011-03-18 | 2013-11-05 | Google Inc. | Managed conference calling |
US8782136B1 (en) | 2011-03-28 | 2014-07-15 | Google Inc. | System and method for providing access to data objects based on proximity |
US8811281B2 (en) | 2011-04-01 | 2014-08-19 | Cisco Technology, Inc. | Soft retention for call admission control in communication networks |
US8868636B2 (en) | 2011-04-04 | 2014-10-21 | Lansing Arthur Parker | Apparatus for secured distributed computing |
US20120275450A1 (en) | 2011-04-29 | 2012-11-01 | Comcast Cable Communications, Llc | Obtaining Services Through a Local Network |
US8656465B1 (en) | 2011-05-09 | 2014-02-18 | Google Inc. | Userspace permissions service |
US8971924B2 (en) | 2011-05-23 | 2015-03-03 | Apple Inc. | Identifying and locating users on a mobile network |
US20120309510A1 (en) | 2011-06-03 | 2012-12-06 | Taylor Nathan D | Personalized information for a non-acquired asset |
US8762156B2 (en) | 2011-09-28 | 2014-06-24 | Apple Inc. | Speech recognition repair using contextual information |
US8873814B2 (en) | 2011-11-18 | 2014-10-28 | Ca, Inc. | System and method for using fingerprint sequences for secured identity verification |
US9489472B2 (en) | 2011-12-16 | 2016-11-08 | Trimble Navigation Limited | Method and apparatus for detecting interference in design environment |
US8914632B1 (en) | 2011-12-21 | 2014-12-16 | Google Inc. | Use of access control lists in the automated management of encryption keys |
JP5785869B2 (ja) | 2011-12-22 | 2015-09-30 | 株式会社日立製作所 | 行動属性分析プログラムおよび装置 |
US8769676B1 (en) | 2011-12-22 | 2014-07-01 | Symantec Corporation | Techniques for identifying suspicious applications using requested permissions |
CN103188410A (zh) * | 2011-12-29 | 2013-07-03 | 上海博泰悦臻电子设备制造有限公司 | 语音自动应答云端服务器、系统及方法 |
US9177168B2 (en) | 2012-03-19 | 2015-11-03 | Alcatel Lucent | Method of modifying access control for web services using query languages |
TWI475412B (zh) | 2012-04-02 | 2015-03-01 | Ind Tech Res Inst | 數位內容次序調整方法和數位內容匯流器 |
US8925106B1 (en) | 2012-04-20 | 2014-12-30 | Google Inc. | System and method of ownership of an online collection |
US20140328570A1 (en) | 2013-01-09 | 2014-11-06 | Sri International | Identifying, describing, and sharing salient events in images and videos |
US9117444B2 (en) | 2012-05-29 | 2015-08-25 | Nuance Communications, Inc. | Methods and apparatus for performing transformation techniques for data clustering and/or classification |
US9531607B1 (en) | 2012-06-20 | 2016-12-27 | Amazon Technologies, Inc. | Resource manager |
US20140019536A1 (en) | 2012-07-12 | 2014-01-16 | International Business Machines Corporation | Realtime collaboration system to evaluate join conditions of potential participants |
JP5949272B2 (ja) | 2012-07-25 | 2016-07-06 | 株式会社リコー | 通信システムおよびプログラム |
US8786662B2 (en) | 2012-08-11 | 2014-07-22 | Nikola Vladimir Bicanic | Successive real-time interactive video sessions |
US8990329B1 (en) | 2012-08-12 | 2015-03-24 | Google Inc. | Access control list for a multi-user communication session |
US9536049B2 (en) * | 2012-09-07 | 2017-01-03 | Next It Corporation | Conversational virtual healthcare assistant |
US20140074545A1 (en) | 2012-09-07 | 2014-03-13 | Magnet Systems Inc. | Human workflow aware recommendation engine |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
JP2014067154A (ja) | 2012-09-25 | 2014-04-17 | Toshiba Corp | 文書分類支援装置、方法及びプログラム |
JP6051782B2 (ja) | 2012-10-31 | 2016-12-27 | 株式会社リコー | 通信システムおよびプログラム |
US9271111B2 (en) | 2012-12-14 | 2016-02-23 | Amazon Technologies, Inc. | Response endpoint selection |
US20140171133A1 (en) * | 2012-12-18 | 2014-06-19 | Google Inc. | Query response |
US9147054B1 (en) | 2012-12-19 | 2015-09-29 | Amazon Technolgies, Inc. | Dialogue-driven user security levels |
US9374327B2 (en) * | 2013-01-08 | 2016-06-21 | Vmware, Inc. | Intelligent chat system |
WO2014110279A1 (en) | 2013-01-09 | 2014-07-17 | Evernym, Inc. | Systems and methods for access-controlled interactions |
US9058470B1 (en) | 2013-03-04 | 2015-06-16 | Ca, Inc. | Actual usage analysis for advanced privilege management |
JP6379496B2 (ja) | 2013-03-12 | 2018-08-29 | 株式会社リコー | 管理装置、通信システム及びプログラム |
US20140280223A1 (en) | 2013-03-13 | 2014-09-18 | Deja.io, Inc. | Media recommendation based on media content information |
US9009780B2 (en) * | 2013-03-15 | 2015-04-14 | Facebook, Inc. | Privacy verification tool |
US9832206B2 (en) | 2013-03-21 | 2017-11-28 | The Trustees Of Dartmouth College | System, method and authorization device for biometric access control to digital devices |
US20140310044A1 (en) | 2013-04-16 | 2014-10-16 | Go Daddy Operating comapny, LLC | Transmitting an Electronic Message to Calendar Event Invitees |
US9805718B2 (en) * | 2013-04-19 | 2017-10-31 | Sri Internaitonal | Clarifying natural language input using targeted questions |
JP6221489B2 (ja) | 2013-08-09 | 2017-11-01 | 株式会社リコー | 通信システム、管理装置、通信方法およびプログラム |
US20150056951A1 (en) | 2013-08-21 | 2015-02-26 | GM Global Technology Operations LLC | Vehicle telematics unit and method of operating the same |
US9729592B2 (en) | 2013-08-27 | 2017-08-08 | Persais, Llc | System and method for distributed virtual assistant platforms |
US9386148B2 (en) | 2013-09-23 | 2016-07-05 | Ooma, Inc. | Identifying and filtering incoming telephone calls to enhance privacy |
KR101452401B1 (ko) | 2013-09-23 | 2014-10-22 | 콜투게더 주식회사 | 원격 전화회의 이용방법 및 그 시스템 |
MY171398A (en) | 2013-10-01 | 2019-10-11 | Bank Invoice Corp | Information processing apparatus and method for granting access rights |
US9369471B2 (en) | 2013-10-09 | 2016-06-14 | Foxwordy Inc. | Interaction privacy in a default network |
KR101770527B1 (ko) | 2013-11-27 | 2017-08-22 | 가부시키가이샤 엔티티 도코모 | 기계학습에 기초한 자동 태스크 분류 방법 |
US9571645B2 (en) * | 2013-12-16 | 2017-02-14 | Nuance Communications, Inc. | Systems and methods for providing a virtual assistant |
US9804820B2 (en) | 2013-12-16 | 2017-10-31 | Nuance Communications, Inc. | Systems and methods for providing a virtual assistant |
US9253591B2 (en) | 2013-12-19 | 2016-02-02 | Echostar Technologies L.L.C. | Communications via a receiving device network |
US9830044B2 (en) * | 2013-12-31 | 2017-11-28 | Next It Corporation | Virtual assistant team customization |
US9922197B2 (en) | 2014-01-15 | 2018-03-20 | Microsoft Technology Licensing, Llc | Privacy-based degradation of activity signals and automatic activation of privacy modes |
US9203814B2 (en) | 2014-02-24 | 2015-12-01 | HCA Holdings, Inc. | Providing notifications to authorized users |
US20150286698A1 (en) * | 2014-04-07 | 2015-10-08 | Microsoft Corporation | Reactive digital personal assistant |
US9785795B2 (en) | 2014-05-10 | 2017-10-10 | Informatica, LLC | Identifying and securing sensitive data at its source |
WO2015175548A1 (en) | 2014-05-12 | 2015-11-19 | Diffeo, Inc. | Entity-centric knowledge discovery |
JP5644977B1 (ja) | 2014-05-16 | 2014-12-24 | 富士ゼロックス株式会社 | 文書管理装置及び文書管理プログラム |
AU2015266863B2 (en) | 2014-05-30 | 2018-03-15 | Apple Inc. | Multi-command single utterance input method |
US9509799B1 (en) | 2014-06-04 | 2016-11-29 | Grandios Technologies, Llc | Providing status updates via a personal assistant |
US8995972B1 (en) | 2014-06-05 | 2015-03-31 | Grandios Technologies, Llc | Automatic personal assistance between users devices |
US9282447B2 (en) | 2014-06-12 | 2016-03-08 | General Motors Llc | Vehicle incident response method and system |
KR20150144031A (ko) | 2014-06-16 | 2015-12-24 | 삼성전자주식회사 | 음성 인식을 이용하는 사용자 인터페이스 제공 방법 및 사용자 인터페이스 제공 장치 |
US20150370272A1 (en) | 2014-06-23 | 2015-12-24 | Google Inc. | Intelligent configuration of a smart environment based on arrival time |
US9807559B2 (en) * | 2014-06-25 | 2017-10-31 | Microsoft Technology Licensing, Llc | Leveraging user signals for improved interactions with digital personal assistant |
US20150378997A1 (en) | 2014-06-26 | 2015-12-31 | Hapara Inc. | Analyzing document revisions to assess literacy |
US9712571B1 (en) | 2014-07-16 | 2017-07-18 | Sprint Spectrum L.P. | Access level determination for conference participant |
WO2016033333A1 (en) | 2014-08-27 | 2016-03-03 | Contentguard Holdings, Inc. | Multi-mode protected content wrapper |
US10057305B2 (en) | 2014-09-10 | 2018-08-21 | Microsoft Technology Licensing, Llc | Real-time sharing during a phone call |
US20160100019A1 (en) | 2014-10-03 | 2016-04-07 | Clique Intelligence | Contextual Presence Systems and Methods |
JP5962736B2 (ja) | 2014-10-30 | 2016-08-03 | 日本電気株式会社 | 情報処理システム、分類方法、及びそのためのプログラム |
US10089364B2 (en) | 2014-10-31 | 2018-10-02 | Kabushiki Kaisha Toshiba | Item recommendation device, item recommendation method, and computer program product |
US10192549B2 (en) | 2014-11-28 | 2019-01-29 | Microsoft Technology Licensing, Llc | Extending digital personal assistant action providers |
CN111414222A (zh) | 2014-12-11 | 2020-07-14 | 微软技术许可有限责任公司 | 能够实现可动作的消息传送的虚拟助理系统 |
US20160170970A1 (en) | 2014-12-12 | 2016-06-16 | Microsoft Technology Licensing, Llc | Translation Control |
US9837081B2 (en) * | 2014-12-30 | 2017-12-05 | Microsoft Technology Licensing, Llc | Discovering capabilities of third-party voice-enabled resources |
US9959129B2 (en) | 2015-01-09 | 2018-05-01 | Microsoft Technology Licensing, Llc | Headless task completion within digital personal assistants |
US9979732B2 (en) | 2015-01-15 | 2018-05-22 | Microsoft Technology Licensing, Llc | Contextually aware sharing recommendations |
US10116676B2 (en) * | 2015-02-13 | 2018-10-30 | Time Warner Cable Enterprises Llc | Apparatus and methods for data collection, analysis and service modification based on online activity |
US20160285816A1 (en) * | 2015-03-25 | 2016-09-29 | Facebook, Inc. | Techniques for automated determination of form responses |
US20160307162A1 (en) | 2015-04-15 | 2016-10-20 | International Business Machines Corporation | Managing potential meeting conflicts |
US9684798B2 (en) | 2015-05-01 | 2017-06-20 | International Business Machines Corporation | Audience-based sensitive information handling for shared collaborative documents |
US9769208B2 (en) | 2015-05-28 | 2017-09-19 | International Business Machines Corporation | Inferring security policies from semantic attributes |
US9807094B1 (en) | 2015-06-25 | 2017-10-31 | Symantec Corporation | Systems and methods for dynamic access control over shared resources |
US10235129B1 (en) | 2015-06-29 | 2019-03-19 | Amazon Technologies, Inc. | Joining users to communications via voice commands |
US9584658B2 (en) | 2015-07-07 | 2017-02-28 | Teltech Systems, Inc. | Call distribution techniques |
US20170054661A1 (en) | 2015-08-18 | 2017-02-23 | Ipg Incremento De Productividad Global S.A. De C.V. | Instant messaging system to integrate devices and people |
US10679141B2 (en) | 2015-09-29 | 2020-06-09 | International Business Machines Corporation | Using classification data as training set for auto-classification of admin rights |
US20170091778A1 (en) | 2015-09-30 | 2017-03-30 | Microsoft Technology Licensing, Llc | Context-aware support integration |
US20170098192A1 (en) | 2015-10-02 | 2017-04-06 | Adobe Systems Incorporated | Content aware contract importation |
US11573678B2 (en) | 2016-09-26 | 2023-02-07 | Faraday & Future Inc. | Content sharing system and method |
CN106683661B (zh) | 2015-11-05 | 2021-02-05 | 阿里巴巴集团控股有限公司 | 基于语音的角色分离方法及装置 |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
CN108885870A (zh) | 2015-12-01 | 2018-11-23 | 流利说人工智能公司 | 用于通过将言语到文本系统与言语到意图系统组合来实现声音用户接口的系统和方法 |
US10091230B1 (en) | 2015-12-28 | 2018-10-02 | EMC IP Holding Company LLC | Aggregating identity data from multiple sources for user controlled distribution to trusted risk engines |
US20180046986A1 (en) | 2016-01-05 | 2018-02-15 | Linkedin Corporation | Job referral system |
US10757079B2 (en) | 2016-01-12 | 2020-08-25 | Jens Schmidt | Method and system for controlling remote session on computer systems using a virtual channel |
US10515384B2 (en) * | 2016-05-13 | 2019-12-24 | American Express Travel Related Services Company, Inc. | Systems and methods for contextual services using voice personal assistants |
JP6607061B2 (ja) | 2016-02-05 | 2019-11-20 | 富士通株式会社 | 情報処理装置、データ比較方法、およびデータ比較プログラム |
US10095876B2 (en) | 2016-02-09 | 2018-10-09 | Rovi Guides, Inc. | Systems and methods for allowing a user to access blocked media |
US20170262783A1 (en) | 2016-03-08 | 2017-09-14 | International Business Machines Corporation | Team Formation |
US20170289766A1 (en) * | 2016-03-29 | 2017-10-05 | Microsoft Technology Licensing, Llc | Digital Assistant Experience based on Presence Detection |
US10187394B2 (en) | 2016-03-31 | 2019-01-22 | Microsoft Technology Licensing, Llc | Personalized inferred authentication for virtual assistance |
US10796238B2 (en) | 2016-04-07 | 2020-10-06 | Cognitive Scale, Inc. | Cognitive personal assistant |
US10945129B2 (en) * | 2016-04-29 | 2021-03-09 | Microsoft Technology Licensing, Llc | Facilitating interaction among digital personal assistants |
US10268683B2 (en) | 2016-05-17 | 2019-04-23 | Google Llc | Generating output for presentation in response to user interface input, where the input and/or the output include chatspeak |
US10409876B2 (en) | 2016-05-26 | 2019-09-10 | Microsoft Technology Licensing, Llc. | Intelligent capture, storage, and retrieval of information for task completion |
US20170357480A1 (en) | 2016-06-12 | 2017-12-14 | The HintBox!, Inc. | Proactive deep-analysis virtual assistant application and integration |
US10216954B2 (en) | 2016-06-27 | 2019-02-26 | International Business Machines Corporation | Privacy detection of a mobile application program |
US10956586B2 (en) | 2016-07-22 | 2021-03-23 | Carnegie Mellon University | Personalized privacy assistant |
US10154539B2 (en) | 2016-08-19 | 2018-12-11 | Sony Corporation | System and method for sharing cellular network for call routing |
US10523814B1 (en) | 2016-08-22 | 2019-12-31 | Noble Systems Corporation | Robocall management system |
US10185840B2 (en) * | 2016-08-30 | 2019-01-22 | Google Llc | Conditional disclosure of individual-controlled content in group contexts |
WO2018068176A1 (en) | 2016-10-10 | 2018-04-19 | Microsoft Technology Licensing, Llc | Combo of language understanding and information retrieval |
US20180109649A1 (en) | 2016-10-14 | 2018-04-19 | Microsoft Technology Licensing, Llc | Suggesting Communication Options Using Personal Digital Assistants |
US10346625B2 (en) | 2016-10-31 | 2019-07-09 | International Business Machines Corporation | Automated mechanism to analyze elevated authority usage and capability |
US20180129960A1 (en) | 2016-11-10 | 2018-05-10 | Facebook, Inc. | Contact information confidence |
US20190207946A1 (en) | 2016-12-20 | 2019-07-04 | Google Inc. | Conditional provision of access by interactive assistant modules |
US10257241B2 (en) | 2016-12-21 | 2019-04-09 | Cisco Technology, Inc. | Multimodal stream processing-based cognitive collaboration system |
KR102668438B1 (ko) | 2016-12-26 | 2024-05-24 | 현대자동차주식회사 | 음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법 |
US10783327B2 (en) | 2016-12-30 | 2020-09-22 | Microsoft Technology Licensing, Llc | Using a personal digital assistant to retrieve an item from a remote source |
US11144923B1 (en) * | 2017-01-16 | 2021-10-12 | Amazon Technologies, Inc. | Progressive authorization of information based on confidences of user identities |
JP6805885B2 (ja) | 2017-02-28 | 2020-12-23 | 富士通株式会社 | 情報処理装置、アクセス制御方法、及びアクセス制御プログラム |
CN107122179A (zh) * | 2017-03-31 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 语音的功能控制方法和装置 |
US10721239B2 (en) | 2017-03-31 | 2020-07-21 | Oracle International Corporation | Mechanisms for anomaly detection and access management |
US10127227B1 (en) | 2017-05-15 | 2018-11-13 | Google Llc | Providing access to user-controlled resources by automated assistants |
US10262149B2 (en) | 2017-06-16 | 2019-04-16 | International Business Machines Corporation | Role access to information assets based on risk model |
US10552204B2 (en) * | 2017-07-07 | 2020-02-04 | Google Llc | Invoking an automated assistant to perform multiple tasks through an individual command |
US10891947B1 (en) * | 2017-08-03 | 2021-01-12 | Wells Fargo Bank, N.A. | Adaptive conversation support bot |
US20190068522A1 (en) * | 2017-08-28 | 2019-02-28 | Microsoft Technology Licensing, Llc | Packet sharing based on identified needs of disparate users |
CN108304437B (zh) * | 2017-09-25 | 2020-01-31 | 腾讯科技(深圳)有限公司 | 一种自动问答方法、装置及存储介质 |
US20190138996A1 (en) | 2017-11-03 | 2019-05-09 | Sap Se | Automated Intelligent Assistant for User Interface with Human Resources Computing System |
US10530778B2 (en) | 2017-11-16 | 2020-01-07 | International Business Machines Corporation | Collaboration based access control list (ACL) |
US10810322B2 (en) * | 2017-12-05 | 2020-10-20 | Microsoft Technology Licensing, Llc | Sharing user information with and between bots |
US20190196779A1 (en) | 2017-12-21 | 2019-06-27 | Harman International Industries, Incorporated | Intelligent personal assistant interface system |
US20190222540A1 (en) * | 2018-01-16 | 2019-07-18 | Capital One Services, Llc | Automated chat assistant systems for providing interactive data using natural language processing |
US10522143B2 (en) * | 2018-02-27 | 2019-12-31 | Microsoft Technology Licensing, Llc | Empathetic personal virtual digital assistant |
US10979461B1 (en) | 2018-03-01 | 2021-04-13 | Amazon Technologies, Inc. | Automated data security evaluation and adjustment |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
WO2019234731A1 (en) | 2018-06-06 | 2019-12-12 | Mama K Best Ltd. | System, device, and method of match-making |
US10831923B2 (en) * | 2018-06-08 | 2020-11-10 | The Toronto-Dominion Bank | System, device and method for enforcing privacy during a communication session with a voice assistant |
US10404757B1 (en) | 2018-06-21 | 2019-09-03 | Bluebird Labs, Inc. | Privacy enforcement in the storage and access of data in computer systems |
US10555118B1 (en) | 2018-07-20 | 2020-02-04 | International Business Machines Corporation | Automatic transfer of audio-related task to a smart speaker |
EP4418146A1 (en) * | 2018-08-07 | 2024-08-21 | Google Llc | Assembling and evaluating automated assistant responses for privacy concerns |
US20200065513A1 (en) * | 2018-08-24 | 2020-02-27 | International Business Machines Corporation | Controlling content and content sources according to situational context |
US10802872B2 (en) | 2018-09-12 | 2020-10-13 | At&T Intellectual Property I, L.P. | Task delegation and cooperation for automated assistants |
US10659585B1 (en) * | 2018-09-28 | 2020-05-19 | United States Automobile Association (USAA) | System and method for calling a service representative using an intelligent voice assistant |
US10949228B1 (en) * | 2018-09-28 | 2021-03-16 | United Services Automobile Association (Usaa) | System and method for controlling the content of a device in response to an audible request |
US11238294B2 (en) * | 2018-10-08 | 2022-02-01 | Google Llc | Enrollment with an automated assistant |
US11494502B2 (en) * | 2018-10-25 | 2022-11-08 | Microsoft Technology Licensing, Llc | Privacy awareness for personal assistant communications |
US11461417B2 (en) * | 2020-03-05 | 2022-10-04 | Kore.Ai, Inc. | Methods for managing automated discovery and knowledge sharing in one or more networks and devices thereof |
US12050712B2 (en) * | 2021-09-30 | 2024-07-30 | Glean Technologies, Inc. | Enterprise knowledge assistant with permissions-aware automated responses |
US20230153410A1 (en) * | 2021-11-16 | 2023-05-18 | Google Llc | Shared Assistant Profiles Verified Via Speaker Identification |
US20230214525A1 (en) * | 2021-12-30 | 2023-07-06 | Matrixcare, Inc. | Security management of health information using artificial intelligence assistant |
-
2018
- 2018-08-07 EP EP24186543.5A patent/EP4418146A1/en active Pending
- 2018-08-07 EP EP21194634.8A patent/EP3937030B1/en active Active
- 2018-08-07 CN CN202410386333.6A patent/CN118312580A/zh active Pending
- 2018-08-07 WO PCT/US2018/045539 patent/WO2020032927A1/en unknown
- 2018-08-07 US US16/079,887 patent/US11455418B2/en active Active
- 2018-08-07 EP EP18759506.1A patent/EP3682345B1/en active Active
- 2018-08-07 CN CN201880094452.7A patent/CN112262381B/zh active Active
-
2019
- 2019-02-07 US US16/270,045 patent/US11314890B2/en active Active
-
2020
- 2020-06-03 US US16/891,816 patent/US11087023B2/en active Active
-
2021
- 2021-08-03 US US17/393,241 patent/US11790114B2/en active Active
- 2021-11-24 US US17/535,305 patent/US11966494B2/en active Active
-
2022
- 2022-08-23 US US17/893,989 patent/US11822695B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11455418B2 (en) | 2022-09-27 |
EP3682345A1 (en) | 2020-07-22 |
CN112262381B (zh) | 2024-04-09 |
EP3682345B1 (en) | 2021-11-24 |
US11790114B2 (en) | 2023-10-17 |
WO2020032927A1 (en) | 2020-02-13 |
US20200293678A1 (en) | 2020-09-17 |
EP3937030A1 (en) | 2022-01-12 |
US11087023B2 (en) | 2021-08-10 |
US11314890B2 (en) | 2022-04-26 |
US20220083687A1 (en) | 2022-03-17 |
EP4418146A1 (en) | 2024-08-21 |
CN112262381A (zh) | 2021-01-22 |
EP3937030B1 (en) | 2024-07-10 |
US20220405423A1 (en) | 2022-12-22 |
US11966494B2 (en) | 2024-04-23 |
US20200293687A1 (en) | 2020-09-17 |
US11822695B2 (en) | 2023-11-21 |
US20200050788A1 (en) | 2020-02-13 |
US20210374277A1 (en) | 2021-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112262381B (zh) | 汇编和评估对隐私问题的自动助理响应 | |
JP7498149B2 (ja) | ユーザプログラマブル自動アシスタント | |
US11887594B2 (en) | Proactive incorporation of unsolicited content into human-to-computer dialogs | |
US10635832B2 (en) | Conditional disclosure of individual-controlled content in group contexts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |