CN109154940A - 学习新字词 - Google Patents

学习新字词 Download PDF

Info

Publication number
CN109154940A
CN109154940A CN201780031211.3A CN201780031211A CN109154940A CN 109154940 A CN109154940 A CN 109154940A CN 201780031211 A CN201780031211 A CN 201780031211A CN 109154940 A CN109154940 A CN 109154940A
Authority
CN
China
Prior art keywords
gram
privacy
new terminology
new
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780031211.3A
Other languages
English (en)
Other versions
CN109154940B (zh
Inventor
A·G·塔库尔塔
A·H·维罗斯
U·S·瓦杉培安
G·卡珀尔
J·弗若迪格
V·R·斯里达
D·达威德森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Priority to CN202210366557.1A priority Critical patent/CN114647742A/zh
Publication of CN109154940A publication Critical patent/CN109154940A/zh
Application granted granted Critical
Publication of CN109154940B publication Critical patent/CN109154940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/374—Thesaurus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/58—Random or pseudo-random number generators
    • G06F7/588—Random number generators, i.e. based on natural stochastic processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30029—Logical and Boolean instructions, e.g. XOR, NOT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Genetics & Genomics (AREA)
  • Physiology (AREA)
  • Algebra (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Bioethics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开了用于服务器学习由用户客户端设备以众包方式生成的新字词同时保持客户端设备的本地差异隐私的系统和方法。客户端设备可确定在客户端设备上键入的字词是不包含在客户端设备上的词典或资产目录中的新字词。新字词可以按诸如娱乐、健康、财务等分类进行分组。客户端设备上的差异隐私系统可以包括用于新字词的每个分类的隐私预算。如果存在可用于分类的隐私预算，则可以将分类中的一个或多个新术语发送到新术语学习服务器，并降低分类的隐私预算。隐私预算可以定期补充。

Description

学习新字词
相关专利申请
本专利申请要求于2017年6月8日提交的名称为“学习新字词”(LEARNING NEWWORDS)的国际申请PCT/US2017/036576(代理人案卷号1984P31223WO1)的优先权。本专利申请还根据35 U.S.C.§119(e)要求于2016年6月12日提交的名称为“学习新字词”(LEARNINGNEW WORDS)的美国专利申请62/348,988(代理人案卷号4860.P31223Z)的优先权，并且要求于2016年8月5日提交的名称为“学习新字词”(LEARNING NEW WORDS)的美国专利申请62/371,657(代理人案卷号4860.P31223Z2)的优先权，上述所有申请均在与本公开一致的程度上以引用方式并入本文。
本专利申请与2016年9月24日提交的名称为“学习新字词”(LEARNING NEW WORDS)的美国专利申请15/275,357(代理人案卷号4860.P31223US2)有关，并且该申请在与本公开一致的程度上以引用方式并入本文。
技术领域
本公开涉及服务器学习在客户端设备上生成的新字词的领域。
背景技术
客户端设备的用户依赖于一个或多个字词词典进行拼写检查，在打字期间建议字词，以及对已知字词进行其他使用。此类客户端词典很难用可能经众包使用而变得流行的新字词来保持更新而不损害隐私。
当前服务器可以通过检查用户在使用服务器时输入的明文来学习用户正在输入的字词。例如，一些现有技术文本消息服务和电子邮件服务(统称为消息)会接收明文消息。将消息路由到客户端设备的消息服务器可以读取该明文，并使用从用户消息的明文中获取的字词向用户呈现广告。但是，服务器学会的字词会保留在服务器上，而不会对设备自带词典进行更新以包含新字词。此外，使用服务器明文会损害用户的隐私。另外，在客户端设备上生成的新字词，例如在客户端设备的文档内使用以及未传输至服务器的字词，服务器无法学习，因为所述字词被本地化到客户端设备。进一步的，如果客户端设备采用端到端的加密消息传递服务，例如iMessage，那么服务器根本无法学习用户消息中包含的字词，因此服务器无法使用众包数据更新用户客户端词典。
发明内容
本发明公开了用于服务器学习由用户客户端设备以众包方式生成的新字词同时保持客户端设备的本地差异隐私的系统和方法。在众包客户端/服务器环境中，本地差异隐私在客户端与服务器共享用户数据之前将随机性引入了用户数据。服务器可以从所有客户端的众包数据的聚合中学习，但是服务器不能学习任何特定客户端提供的数据。
在实施方案中，本地差异隐私在共享用户数据之前将随机性引入了客户端用户数据。每个数据输入di不是具有集中数据源D＝{d1,...,dn}，而是属于单独的客户端i。鉴于与客户端i交互的抄本Ti，如果要将数据元素替换为null，则对手不可能将Ti与生成的抄本区分开来。不可区分度由通常被认为是小常数的ε参数化。以下是对本地差异隐私的正式定义。
设n为客户端-服务器系统中的客户端数量，设Γ为从任何单个客户端-服务器交互生成的所有可能的抄本的集合，并且设Ti为在与客户端i交互时由差异隐私算法A生成的抄本。设di∈S为客户端i的数据元素。如果对于所有子集以下等式成立，则算法A为ε本地差异隐私：
这里，di＝null指的是删除客户端i的数据元素的情况。
本文公开的系统和方法包括ε-本地差异隐私计数中值草图(CMS)和Hadamardε-本地差异隐私计数中值草图(CMS)，它们与现有技术方法在错误、通信负载、使用的空间，以及客户端和服务器计算方面相比较更有利，同时保留用户隐私，如下表所示。
在实施方案中，客户端设备可确定在客户端设备上键入的字词是不包含在客户端设备上的词典或资产目录中的新字词。新字词可与娱乐、健康、金融等分类相关联。分类是相似类型信息的集合。在实施方案中，每个分类可与一个或多个会话相关联，其中每个会话可与一个应用程序或产品类型相关联。例如，健康分类可与个人健身或健康应用相关联。健康或健身应用产生的新字词可分类为健康词汇。例如，“zika”这个趋向医学术语可分类为健康词汇。类似地，分类可与浏览器会话的财务应用程序或财务选项卡相关联。由财务应用程序或财务选项卡生成的新字词可以归入财务分类。例如，“公司倒置”(corporateinversion)这个趋向金融术语可以分类在金融分类中。客户端设备上的差异隐私系统可以包括用于新字词的每个分类的隐私预算。由用户生成的新字词可以存储在传输缓冲器中以准备传输到新字词学习服务器。字词可存储在通过分类组织的传输缓冲器中。可以在传输缓冲器中存储比可用于传输字词的隐私预算更多的字词。为了保留隐私预算，可以周期性地对传输缓冲器进行采样以获得用于传输到新字词学习服务器的字词。如果有足够的保密预算用于分类，则可将取样的字词分割成n-gram，其中n-gram可选自多个n-gram并使用本地差异隐私进行处理，然后传输至服务器。N-gram可以选择为特定长度，例如1个字符(one-gram)，2个字符(bi-gram)等。在整个公开内容中，术语“n-gram”用于一般性地指代具有指定过程长度的字符序列。在实施方案中，选择长度为2(bi-gram)以降低搜索空间复杂度。可使用更长或更短的n-gram。在实施方案中，可以基于要学习的字词的语言来选择n-gram长度。在一个实施方案中，客户端设备可以使用本地差异隐私来在与将学习新字词的服务器共享数据前将随机性引入客户端数据。在实施方案中，服务器可以测试从多个客户端接收的差异隐私数据，以确定差异隐私数据中的随机化量是否足以维持客户端数据的差异隐私。
在实施方案中，非暂态计算机可读介质可以存储可执行指令，该可执行指令在由处理系统执行时可以执行上述任何功能。
在又一实施方案中，耦接到编程有可执行指令的存储器的处理系统可以在执行该指令时，执行上述任何功能。
本文所述的一些实施方案包括环境中的一个或多个应用编程接口(API)，其中调用程序代码与通过一个或多个接口而受调用的其他程序代码进行交互。各种功能调用、消息或其他类型的调用还可包括各种参数，这些调用可以经由调用程序和被调用代码之间的APl而传输。此外，API可以给调用程序代码提供使用在API中定义的、并在被调用程序代码中实现的数据类型或类别的能力。
通过附图并且通过详细描述，其他特征和优点将显而易见。
本发明公开认识到在本发明技术中从大量用户收集的个人信息数据的使用可以用于所有或许多用户的利益。例如，可以识别被引入流行词汇的字词并将其包括在设备上的词典中。因此，使用此类个人信息数据使得能够对所递送的内容进行有计划的控制。此外，本公开还预期个人信息数据有益于用户的其他用途。
本公开还设想负责此类个人信息数据的收集、分析、公开、发送、存储或其他用途的实体将遵守已确立的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如，来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。另外，此类收集应当仅在用户知情同意之后进行。另外，此类实体应采取任何所需的步骤，以保障和保护对此类个人信息数据的访问，并且确保能够访问个人信息数据的其他人遵守他们的隐私政策和程序。另外，此类实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。
不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就广告递送服务而言，本发明的技术可被配置为在注册服务期间允许用户选择“加入”或“退出”参与对个人信息数据的收集。又如，用户可选择不为目标内容递送服务提供位置信息。再如，用户可选择不提供精确的位置信息，但准许传输位置区域信息。
附图说明
本发明的实施方案以举例的方式进行说明，而不仅限于各个附图的图示，在附图中类似的附图标号是指类似的元件。
图1以框图形式示出了根据一些实施方案的用于学习由客户端使用的新字词同时保留客户端隐私的系统环境的概述。
图2以框图形式示出了根据一些实施方案的用于学习由客户端使用的新字词同时保留客户端隐私的系统环境的详细视图。
图3A和3B以框图形式示出了一种根据一些实施方案的用于服务器从众包数据学习新字词同时保留客户端隐私的客户端侧处理方法。
图4示出了根据一些实施方案的客户端设备将新字词分解为差异隐私的n-gram以准备将差异隐私的n-gram传输到新术语学习服务器同时保留客户端隐私的方法。
图5示出了根据一些实施方案的客户端将差异隐私算法应用于新字词的n-gram的方法。
图6示出了根据一些实施方案的服务器累积从众包数据接收差异隐私字词和n-gram的频率同时保留客户端隐私的方法。
图7示出了根据一些实施方案的服务器使用从众包数据接收的差异隐私字词和n-gram的累积频率来学习新字词同时保留客户端隐私的方法。
图8示出了根据一些实施方案的服务器隐私位测试，以确保来自众包客户端的接收数据的充分随机化。
图9示出了可在本发明的一些实施方案中使用的软件栈的示例性实施方案。
图10为计算系统的一个实施方案的框图。
具体实施方式
在以下对实施方案的详细描述中将引用附图，附图中类似的附图标记表示相似的元素，并且其中以示例方式示出了可实践的具体实施方案。这些实施方案被足够详细地描述以允许本领域的技术人员实践本发明，并且应当理解，可使用其他实施方案，并可在不脱离本公开内容的范围的情况下进行逻辑修改、机械修改、电气修改、功能修改和其他修改。因此，下面的详细描述不应该被理解为限制性的意义，并且本发明的范围仅由所附权利要求书所限定。
图1以框图形式示出了根据一些实施方案的用于学习由客户端使用的新字词同时保留用户隐私的系统环境100的概述。
每个与大量多个用户(众包)中的用户相关联的客户端设备110可以经由网络120耦接到一个或多个新术语学习服务器130(“术语学习服务器130”)。每个客户端设备110可以将新字词分段为n-gram，并将该字词的差异隐私草图和该字词的n-gram发送到术语学习服务器。字词的草图是所述字词的计算编码表示。草图的目的是将字词(草图)的编码表示而不是字词的明文传输到服务器，这样服务器就不能直接学习只由一个客户端传输的字词。在众包客户端/服务器环境中，本地差异隐私系统生成编码表示，从而在客户端与服务器共享字词之前将随机性引入客户端数据(字词)。服务器可以从所有客户端的众包数据的聚合中学习该字词，但是不能学习任何特定客户端提供的字词。从大量客户端设备110接收的差异隐私草图共同包括众包数据，从其中术语学习服务器130可以学习在所述大量客户端设备110中使用的新字词同时保持每个客户端设备110的隐私。在众包数据环境中实现的客户端(本地)差异隐私确保术语学习服务器130学习所有客户端设备110的新字词，而不暴露任何特定客户端设备110是否使用新字词。客户端设备110可以包括任何类型的计算设备，诸如台式电脑、平板电脑、智能手机、电视机顶盒，或Watch、TV等其他计算设备110，如下面参考图10所述。
网络120可以是任何类型的网络，例如以太网、WiFi、令牌环、火线、USB、光纤通道或其他网络类型。
术语学习服务器130可包括一个或多个硬件处理器、内存、诸如一个或多个硬盘的存储设备、固态存储设备、CD-ROM存储器、DVD-ROM存储器，存储设备等。术语学习服务器130的示例性组件如下面参考图10所述。
图2以框图形式示出了根据一些实施方案的用于学习由客户端使用的新字词同时保留用户隐私的系统环境100的详细视图。
客户端设备110的内部组件可包括多个存储器205-222、差异隐私引擎(DPE)228，其可包括差异隐私后台程序225和差异保护框架或应用程序编程接口(API)227，以及多个应用程序230，例如App 1、App 2和App 3。下面参考图9详细描述了API。
存储器205-222可包括黑名单205、术语学习缓冲器215、资产目录220和专用词典222。黑名单205可用于确定不被发送到术语学习服务器130的字词。用户可能更喜欢将某些字词列入黑名单作为对用户具有高级别隐私，这样无论术语学习服务器130提供的隐私保证有多么好，用户都不希望向术语学习服务器130传输字词。这些字词可能包括专有名称，例如家庭成员或姓氏、专有技术字词以及用户可以主动选择使用黑名单205保持隐私的其他字词。
黑名单存储器205可用于存储先前已由客户端设备110传输到术语学习服务器130的字词，但客户端设备100尚未从新术语学习服务器130接收更新的资产目录280以替换客户端设备资产目录220。在实施方案中，差异隐私引擎228可以在处理字词之前检查黑名单存储器205(例如生成差异隐私n-gram)。在实施方案中，客户端设备110的差异隐私引擎(DPE)228仅向术语学习服务器130发送一次字词。为了保留客户端设备110的隐私预算，已经添加到传输字词存储器210的字词不能重新发送到术语学习服务器130。一旦客户端接收到更新的资产目录220，现在包含在更新的资产目录220中的出现在黑名单存储器205中的字词就可以从黑名单存储器205中删除。
隐私预算是确保个人隐私在向术语学习服务器130重复捐赠后不会受到损害的数量。隐私预算E通过向服务器提供差异隐私信息来量化客户端设备110泄漏到服务器的信息量。每次向服务器提交差异隐私信息，例如新字词，会消耗客户端设备110的隐私预算E的一部分ε。如果客户端设备110通过隐私通道向服务器提交k条信息，则ε≤E/k以确保不违反整体隐私预算E为每种信息分类分配单独的隐私预算。每次将字词传输到术语学习服务器130时，用于所述字词分类的隐私预算被扣除或减少一定量。例如，在键盘使用分类中，如果客户端设备将字词“zika”和“ebola”发送到术语学习服务器130，则客户端设备键盘分类预算将因每个传输的字词被扣除用于键盘分类的隐私预算E的一部分。
当从术语学习服务器130清除用于分类的数据时，可以在客户端设备110上补充或增加用于所述分类的隐私预算。或者，可以在客户端设备110上周期性地补充用于所述分类的隐私预算。在实施方案中，客户端设备110对分类的隐私预算的补充可以与术语学习服务器130上一个或多个客户端设备的客户端设备数据清除或术语学习服务器130上的所有客户端设备数据的清除进行同步。在实施方案中，用于字词分类的客户端设备隐私预算的补充可以与术语学习服务器130对多个客户端设备110的客户端设备数据进行的清除异步。
术语学习缓冲器215可以包括保存候选字词以便传输到术语学习服务器130的存储装置。用户可以生成比可以在隐私预算内发送用于字词的分类的多的新字词。因此，DPE228可以将候选字词存储在术语学习缓冲器215中，然后稍后对缓冲器进行采样以确定要发送到术语学习服务器130的随机候选字词。术语学习缓冲器215还可以存储已经从候选字词中采样以及选择用于传输到术语学习服务器130的字词。在实施方案中，字词通过分类而被存储在术语学习缓冲器215中。每个分类都可以拥有隐私预算。
客户端设备110还可以包括专用词典222，其存储客户端设备110的用户可能想认为熟悉或频繁的字词，即，特定客户端设备110已知的字词。在实施方案中，用户可以指定专用词典222中的字词合格或不合格以发送到术语学习服务器130。差异隐私引擎228可以从应用程序230接收字词并访问专用词典222以确定该字词是否合格可被发送到术语学习服务器130。
术语学习服务器130可包括用于接收数据的模块250，用于根据分类系统对接收的数据255进行分类的模块，以及用于从接收的去识别化的草图数据学习新字词260的作业。术语学习服务器130还可以包括一个或多个存储器，包括n-gram/位置频率存储器270、资产目录275和更新的资产目录280。用于更新客户端265的模块可以将资产目录更新280发布到一个或多个客户端设备110。
接收模块250可以异步接收大量客户端设备110的新字词的n-gram的草图(“众包数据”)。接收模块250可以从接收的草图数据中移除任何潜在的标识符，例如IP地址、元数据、会话标识符或可以标识发送草图数据的特定客户端设备110的其他数据。
分类接收数据模块255可以从接收到的草图中提取分类数据，并通过分类对接收到的草图数据进行分组。例如，分类接收数据模块255可以接收新字词的草图，并根据键盘使用分类对这些草图进行分组。
学习新术语作业260可以周期性地处理从大量客户端设备110接收的去识别化的草图数据并分类从大量客户端设备110接收的草图数据。学习新术语作业260可以包括操作，该操作包括累积接收到的n-gram的频率、生成n-gram的排列、修整n-gram的排列，并从n-gram的排列中确定候选新字词。学习新术语作业260还可以更新资产目录275以生成具有已知字词的更新频率的资产目录更新。
图3A和3B以框图形式示出了一种根据一些实施方案的用于服务器从众包数据学习新字词同时保留客户端隐私的客户端处理方法300。
在操作305中，差异隐私引擎(DPE)228可以从应用程序230接收新字词。应用程序230可以通过将新字词与包括在客户端设备110上的词典进行比较来识别新字词。如果字词不包括在词典中，则应用程序230可以确定所述新词将发送到DPE 228。应用程序可以是电子邮件应用程序、消息传递应用程序、字词处理应用程序、网络浏览器、客户端设备浏览器、在线商店或任何其他应用程序。应用程序230可以确定所述字词的分类(类别)。类别可以是语言，例如英文或中文。在实施方案中，类别可以由多个应用程序230共享。在实施方案中，类别可以是健康、财务、法律术语或其他用例分类。作为示例，DPE 228可以从消息传递应用程序230接收字词“zika”并确定该字词与键盘使用分类相关联。作为另一示例，DPE228可以从健身应用程序接收用户在一段时间内采取的步骤，并确定步骤的数量与健康分类相关联。字词的每种分类都有自己的隐私预算。
在操作310中，DPE 228可以访问资产目录220以确定术语学习服务器130是否已经知道在操作305中接收的字词，由资产目录220或专用词典222中字词的存在证明。如果字词在资产目录220中或在专用词典222中，则方法300结束。否则，方法300在操作315处继续。
在操作315中，应用程序230或DPE228可以确定所述字词是否存储在黑名单存储器205中。如果字词存储在黑名单存储器205中，则方法300结束。否则，方法300在操作320处重新开始。
在操作320中，DPE228可以确定所述字词是否先前已经由DPE 228处理。先前处理的字词可以包括先前已经由此客户端设备110传输到术语学习服务器130但尚未在客户端设备110上的更新资产目录220中找到的术语。先前已经被处理的字词也可以是存储在学习缓冲器215中的字词，所述字词尚未被传输到术语学习服务器130，但是已由客户端设备110上的DPE228处理。如果先前已经处理了所述字词，则方法300结束。否则，方法300在操作325处重新开始。
在操作335中，所述字词可以存储在学习缓冲器215中的样本缓冲器或队列中。在操作335之后，方法300在操作355处重新开始，如下面参考图3B所述。
字词可以保持在学习缓冲器215中，使得一批字词被收集在一起以在时间间隔内发送到术语学习服务器130。每次发送字词时，都扣除分类的隐私预算的一部分。为了保留字词的每种分类的隐私预算，可将术语保存在学习缓冲器215中，然后在一段时间之后，从学习缓冲器215的分类中选择字词以进行处理。在实施方案中，缓冲区中的字词以队列顺序被处理。在实施方案中，根据策略从缓冲器中随机选择字词。该过程减慢了将新字词发送到术语学习服务器130的速度并延长了隐私预算的寿命。在实施方案中，DPE 228可以包含确定何时耗尽分类的隐私预算的逻辑。然后，DPE228可以在补充隐私预算之前监控经过的时间。客户端处理间隔之间的时间间隔可以根据任何时间可用的隐私预算量进行扩展或收缩。在选择字词前，可以确定是否存在可用于将字词发送到新术语学习服务器130的隐私预算。如果没有可用于字词分类的隐私预算，则不可以处理字词。
在图3B中，在操作355中，可以确定更新间隔是否已经到期。如果没有，则可以在操作355中周期性地重新检查更新间隔，直到间隔到期为止。更新间隔可用于计量从客户端设备110向新术语频率服务器130的信息捐赠，以保留隐私预算。
如果在操作355中更新间隔已经到期，则方法300在操作360处重新开始。
在操作360中，可以从学习缓冲器215的样本缓冲器中选择字词。在实施方案中，样本缓冲器可以保持多个字词，可选地通过分类进行组织，使得可以从样本缓冲器中随机选择字词以进行处理以准备传输到术语学习服务器130。在实施方案中，可以按队列顺序从样本缓冲器中选择字词。在实施方案中，可以按随机顺序从样本缓冲器中选择字词。在实施方案中，可以根据策略来执行从样本缓冲器中选择字词。可以根据应用程序或字词的分类来确定策略。
在操作400中，处理所选择的字词以便发送到术语学习服务器130。下面参考图4详细描述了操作400。
在操作365中，处理后的字词可以存储在学习缓冲器215的缓冲器中，以便传输到新术语学习服务器130。
在操作370中，可以确定样本缓冲器中是否有更多字词要考虑用于处理和传输到术语学习服务器130。如果是，则方法300在操作360处重新开始，否则方法300在操作375处重新开始。
在操作375中，可以将经处理的字词的输出缓冲器传输到术语学习服务器130。
在操作380中，客户端设备可以可选地从术语学习服务器接收更新的资产目录。更新的资产目录220可以具有由术语学习服务器130响应于由术语学习服务器130接收的众包数据而添加的一个或多个新术语。
在实施方案中，在操作375中处理并传输到术语学习服务器130的字词可以存储在黑名单存储器205中。在实施方案中，最初选择字词用于在图3A的操作305中处理的应用程序230可以确定该字词是否应该被添加到黑名单存储器205中。
图4示出了根据一些实施方案客户端设备将新字词分解为n-gram以准备以差异隐私形式将其中一个所选n-gram传输到新术语学习服务器同时保持客户端隐私的方法400。
在操作405中，可以将新字词分段为n-gram。在实施方案中，n-gram的长度可以是单个字符(“one-gram”)。单个n-gram长度可适用于诸如中文等语言，其中单个符号可表示一个或多个字词。在另一实施方案中，n-gram的长度可以是两个字符(“bi-gram”)。在实施方案中，n-gram的长度可以是三个或四个字符。每个n-gram在字词中有位置。例如，如果新字词是“bazinga”，而n-gram长度为2，那么第一个n-gram将包含“ba”，第二个n-gram将包含“zi”，第三个n-gram将包含“ng”，第四个n-gram将包含“a<null>”。
在操作410中，可以生成数字，所述数字为新字词的散列并且与新字词和新字词的每个n-gram相关联(“拼图块”)。在实施方案中，所述散列可以包括SHA256散列算法或其他散列算法。术语学习服务器130可以将所述数字作为拼图块以将n-gram组合在一起以在新术语学习服务器130处识别新字词。
在操作500中，DPE 228可以将差异隐私算法应用于新词和新词的所选n-gram。下面参考图5，详细描述了操作500。
在操作415中，DPE 228可以将差异隐私字词和该字词的所选差异隐私n-gram与所选的n-gram位置数据以及新字词的类信息一起传输到术语学习服务器130。
在操作420中，DPE 228可以对客户端设备的用于传输到术语学习服务器130的新字词的分类的隐私预算进行扣除。例如，在DPE 228将差异隐私数据传输到术语学习服务器130之后，可以减少或调整用于新术语分类的隐私预算以反映传输。
在操作425中，DPE 228可以周期性地补充或增加客户端设备110上用于分类的隐私预算。在实施方案中，补充或增加分类的隐私预算与操作415中新术语学习信息的传输是异步的。
图5示出了客户端方法500，其根据一些实施方案将差异隐私算法应用于字词和新字词的n-gram以生成该字词的本地差异私有草图和新字词的n-gram。
草图提供了简洁的数据结构，以维持数据流D＝{d1,...}中存在的元素域S＝{s1,...,sp}的频率。设H＝{h1,...,hk}为一组k成对独立散列函数，使得每个h∈H是h:客户端和服务器差异隐私算法可以在k成对独立散列函数H＝{h1,...,hk}的公共集合上达成一致，该函数映射到[0..m)。在实施方案中，m可以是其中n是要由服务器收集的客户端数据样本的数量。m值可以是最接近的2的幂到值。在一实施方案中，k可以约为8×ln(p)，其中p约等于|S|；S中用于术语分类的数据项计数。
客户端本地差异隐私草图可以是两种类型之一：(1)ε-本地差异隐私草图，ACLIENT，或(2)Hadamardε-本地差异隐私草图，ACLIENT-Hadamard。
在操作502中，DPE 228可以接收新字词和n-gram作为有序集。在示例中，候选新字词是“bazinga”，这是因电视节目而广受欢迎的字词。在该示例中，n-gram的长度为2(bi-gram)，使得字词“bazinga”的n-gram有序集为：“ba”“zi”“ng”和“a<null>”，其中null表示字词“bazinga”的结尾。Bazinga已被确定为候选新字词，如上图4所示。Bazinga不在黑名单205中，bazinga不在学习缓冲存储器215中，bazinga不在资产目录220中，并且在专用词典222中找不到bazinga。
在操作503中，DPE 228可以通过获取该字词的字符串表示的散列来将字词转换为数值，d＝HCONV(字词)，例如，d＝SHA256(字词)。该字词使用HCONV编码为在0..m范围内的数字d，其中m是该分类的词汇S的估计大小|S|的平方根。在实施方案中，d＝HCONV(字词)模m，使得d∈[0,m)。用于分类的词汇表的大小可能因分类而异。
操作505和510在客户端本地差异隐私草图算法ACLIENT和ACLIENT-Hadamard之间略有不同。首先将描述用于ACLIENT的操作505和510。
客户端ε-本地差异隐私算法ACLIENT的输入可以包括：(1)隐私参数，ε；(2)散列范围，m；(3)k成对独立散列函数H＝{h1,...,hk}，其中每个hi:和(4)数据元素：d∈S。
对于算法ACLIENT，在操作505中，可以计算噪声常数并且可以初始化向量v：v←-cε m。常数cε保持噪声增加，以保持零均值的无偏隐私。
在操作510中，可以使用ACLIENT利用以下操作生成字词(或n-gram)的草图。
1.从一组散列函数H＝(h1,...,hk)中随机均匀取样独立同分布(i.i.d.)的散列函数h并设置向量v[h(d)]←cε。
2.对向量∈{-1,+1}m进行采样，每个bj独立且独立分布，具有+1概率
3.
返回向量vpriv和所选的散列函数h。
相反，如果客户端使用ACLIENT-Hadamard算法生成ε-本地差异隐私草图的Hadamard版本，则ACLIENT-Hadamard的输入可以是：(1)隐私参数，ε；(2)散列范围m；(3)k成对独立散列函数H＝{h1,...,hk}，其中每个hj:和(4)数据元素：d∈S。
下面的操作505和510形成算法ACLIENT-Hadamard的操作的一部分，该算法生成ε-本地差异隐私草图的Hadamard版本。
在操作505中，可以计算常数并且可以初始化向量v：v←[0]m。
在操作510中，算法ACLIENT-Hadamard还包括以下操作：
1.从一组散列函数H＝{h1,...,hk}中随机均匀取样独立同分布的散列函数h并设置向量v[h(d)]←1。
2.生成向量其中Hm是维数为m的Hadamard矩阵。
3.对在[m]和比特b∈{-1,1}中独立同分布的索引j进行采样，使得b为“1”，概率为
4.返回cε×b×vHadamard[j]，所选的散列函数h，以及所选的索引j。
在操作520中，从构成该字词的n-gram{ba,zi，ng，a<null>}的集合中随机选择新字词“bazinga”。例如，n-gram“ba”可以从新字词“bazinga”的n-gram集合中随机选择。在实施方案中，n-gram的集合可以为有序集。
在操作521中，DPE 228可以通过获取将拼图块(PP)前置的n-gram的字符串表示的散列来将随机选择的n-gram转换为数值，d_n-gram＝HCONV(PP,n-gram)，例如d_n-gram＝SHA256(PP,n-gram)。n-gram和拼图块可以使用HCONV编码为0...m范围内的数字。在实施方案中，d_n-gram＝HCONV(PP,n-gram)模m，使得d_n-gram∈[0,m)。
在操作522中，DPE 228可以用噪声常数初始化d_n-gram的草图，类似于上述操作505。
在操作525中，DPE 228可以生成d_n-gram的差异隐私草图，如上面的操作510中所述。
图6示出了根据一些实施方案的服务器累积从众包数据接收差异隐私字词草图和n-gram的频率同时保留客户端隐私的方法600。
在操作602中，术语学习服务器130对从客户端110接收的字词和n-gram草图数据进行去识别化。去识别化可以包括从接收的数据移除互联网协议(IP)地址，移除识别或者可以用于识别具有合理特异性的特定客户的任何元数据。
在操作605中，术语学习服务器130从接收的去识别化的客户端数据255中为大量客户端选择一批差异隐私字词和n-gram。
在操作610中，术语学习服务器130可以为每个已知的n-gram生成或检索草图。n-gram的草图可以用作索引以将接收的n-gram草图与已知的n-gram草图匹配，从而可以累积某个位置处的n-gram的频率。在实施方案中，频繁出现的n-gram可以具有存储在元组/位置数据库270中的预先生成的草图。例如，在第一位置，n-gram“th”是一个常见的n-gram，因很多字词以它开始。在实施方案中，每个n-gram的草图存储在用于所有n-gram的元组/位置数据库270中，例如，“aa”、“ab”、“ac”等。
在操作615中，学习新字词作业260可以从接收到的数据255中选择所有n-gram，所述n-gram位于从中提取n-gram的术语的第一位置，例如，字词“term”中的第一位置bi-gram是“te”。
在操作620中，术语学习数据可以重置。术语学习数据可以包括每n-gram位置的n-gram频率的直方图、新术语频率的直方图、n-gram排列数据结构，以及在此实现字词学习逻辑所必需的其他数据结构。
在操作625中，对于位置的每个所选n-gram草图，查找匹配草图并以该位置的n-gram直方图递增。更新某个位置的n-gram直方图的具体操作可以取决于客户端是使用ε-本地差异隐私草图算法ACLIENT，或者Hadamardε-本地差异隐私草图算法ACLIENT-Hadamard。每种操作如下所述。
如果客户端使用ACLIENT算法生成所选择的n-gram草图，那么在操作625中，将所选草图数据向量vpriv添加到匹配草图数据Wk,m，如下：
对于对应于用于生成vpriv的所选散列函数的Wh行，将Wh设置为Wh+vpriv。
如果客户端使用ACLIENT-Hadamard算法生成所选草图，那么在操作625中，将所选草图数据向量vHadamard添加到匹配草图数据Wk,m，如下：
1.对于对应于用于生成vHadamard的所选散列函数的Wh行，将Wh设置为Wh+vHadamard。
2.在确定草图W的计数最小值或计数最大值之前，将行从Hadamard基础转换为标准基础：
其中Hm是维数为m的Hadamard矩阵。
在操作632中，该位置的n-gram频率直方图可以按n-gram频率从最高到最低排序。可以确定本底噪声频率值。对于具有低于本底噪声的频率的位置的有序直方图中的n-gram，可以被丢弃并排除进行进一步处理。在实施方案中，如果直方图中存在n-gram数据的“n”个样本，则 其中ε是差异隐私常数，c是常数。
在操作635中，可以确定是否存在客户端的差异隐私字词和n-gram的更多位置以进行处理。如果存在，则方法600在操作620处继续。否则，方法600在操作700处继续。
在操作700中，学习新术语作业260可以使用累积的差异隐私n-gram草图和字词草图来学习所选字词类别的新字词。下面参考图7详细描述了操作700。
在操作645中，学习新术语作业260可以可选地清除所接收的差异隐私n-gram和字词草图数据中的一些或全部，以帮助维持客户端设备110的用户的差异隐私。
图7示出了根据一些实施方案的服务器使用从众包数据接收的差异隐私字词草图和n-gram的累积频率来学习新字词同时保留客户端隐私的方法700。可以将位置处的每个n-gram草图划分为具有相同拼图块(PP)值的组。拼图块表示在某个位置处的n-gram草图，其中该草图基于从具有相同拼图块值的相同字词获得的n-gram草图属于在另一位置的n-gram草图。在图6的操作632中生成的位置处的n-gram草图的频率的直方图可以被划分为n-gram草图的拼图块组。直方图可以被分组为(n-gram草图、拼图块)的有序对，每个都具有频率。
在操作702中，新术语学习服务器130可以为每个PP和每个可能的n-gram生成n-gram草图作为HCONV(PP,n-gram)。任何特定生成的HCONV(PP,n-gram)都是相同的，犹如HCONV(PP,n-gram)是在客户端设备110上生成的。服务器HCONV(PP,n-gram)值可以与用于生成HCONV(PP,n-gram)的拼图块相关联地存储，使得HCONV(PP,n-gram)值可以由新术语学习服务器130通过拼图块轻易地分组。
在操作703中，新术语学习服务器130可以使用图6的操作632的直方图来确定从直方图中的每个位置处的每个HCONV(PP,n-gram)的众包客户端数据接收的频率。新术语学习服务器130可以通过拼图块(PP)和n-gram草图将每个位置处的HCONV(PP，n-gram)分组，使得可以确定具有特定拼图块的特定n-gram草图的频率。
在操作705中，可以确定在位置处具有最高频率的n-gram的拼图块组的数量“x”，其表示在每个位置处用于生成候选词的n-gram拼图块组的数量。x值可以取决于术语学习服务器130被配置为处理的候选字词的最大数量。例如，如果服务器配置为处理包含最多7个bi-gram的最多一千万字词(因此最大字词长为14个符号)，则x值可以确定为：在每个位置 x值可以根据许多因素而变化，包括正在由候选字词处理的语言。
在操作710中，可以选择具有最高频率的n-gram的“x”拼图块组来生成候选字词。
在操作715中，可以从每个位置处的所选n-gram拼图块组生成一组n-gram的有序组合，以生成候选新字词。对于在服务器配置进行处理的所有位置，每个在第一位置处选择相同拼图块的“x”n-gram，可以与每个在第二位置处具有相同拼图块的“x”n-gram进行排列，等等。拼图块表示在某个位置处的n-gram，其中该n-gram基于从具有相同拼图块值的相同字词获得的n-gram属于在另一位置的n-gram。
在操作720中，可以丢弃具有小于本底噪声的频率的候选字词。在实施方案中，本底噪声的计算类似于n-gram的本底噪声，通过每个候选字词最大值配置的n-gram的最大数量来缩放。
候选字词的搜索空间可以另选地或附加地通过多种技术来修整。在实施方案中，自然语言处理(NLP)技术可以应用于修整不合逻辑或不在特定词汇中出现的组合。例如，n-gram“ee”之后不会出现以下任何n-gram：“oo”“ii”“uu”“zz”等。这样的n-gram序列的排列可以从组合集修整。
在实施方案中，可以执行A*搜索，其中首先遍历最短组合以确定候选字词。NLP可用于找到不可行的组合，因此可以从候选组合集中修整。
修整候选字词的搜索空间的上述方法可以单独使用或组合使用，以在使用n-gram学习新字词之前修整搜索空间。
在操作725中，可以从候选字词中选择候选字词。
在操作730中，可以确定候选新字词是否在现有资产目录或字词词典中。
理论上，在新术语学习服务器130上的资产目录或词典中不应找到新发现的候选字词。客户端设备应具有包含最新已知字词的最新资产目录，并且客户端设备使用资产目录来帮助消除客户端和服务器处理中的已知字词。但是，客户端有可能没有升级到最新的资产目录，因此客户端可能已经发送了对客户端来说是新的但是服务器已知的字词。
如果在操作730中确定候选字词在现有资产目录或词典中，则在实施方案中，可以可选地增加该字词的频率。
如果在操作730中确定候选字词是新字词，则可以将新字词添加到更新的资产目录280。
在操作745中，可以确定排列树遍历是否完成。如果没有，则方法700在操作725处继续，否则方法700在操作750处继续。
在操作750中，术语学习服务器130可以可选地将更新的资产目录传输到一个或多个客户端设备。
图8示出了根据一些实施方案的服务器隐私位测试800，以确保来自众包客户端的接收数据的充分随机化。在差异隐私环境中维护客户端设备用户的隐私部分地依赖于用于实现差异隐私的算法中的随机化。如果随机化不够随机，则可能无法充分保持差异隐私。服务器隐私位测试会测试从客户端设备接收的差异私有草图数据的随机化。
在操作805中，可以为新术语学习服务器130上的接收和去识别化数据250中表示的“n”个客户端中的每个客户端选择差异隐私草图。通过对客户端草图的每一行的1位向量进行异或，从每个客户端的草图生成位。
在操作810中，循环迭代器变量i被设置为1。
在操作815中，草图i的行的每个位b1..bk，计算：
在操作820中，增加客户端计数器变量i。
在操作825中，可以确定是否存在要处理的更多客户端草图。如果是，则方法800在操作815处继续。否则，方法800在操作830处继续。
在操作830中，使用以上针对n个客户端的每个客户端i的一个草图计算的所有Bi,i＝1..n来计算位的总和。总和A计算如下：
在操作835中，计算随机化容差，并且可以确定客户端的随机化是否在容差内。在实施方案中，随机化容差可以计算为：
如果则随机化容差失败，否则随机化容差成功。
在实施方案中，随机化容差可以计算为：
如果则随机化容差成功，否则随机化容差失败。
在操作835中，如果随机化容差成功，则在操作840中，可以向新术语学习服务器130的用户界面生成消息，表示随机化在容差范围内，否则在操作845中，可以向新术语学习服务器130的用户界面生成消息，表示随机化不在容差范围内，并且表示需要采取措施以进一步确保客户端设备的差异隐私。措施可以包括修改随机化算法，清除更多客户端设备数据和/或更频繁地清除客户端设备数据。
在图9(“软件栈”)中，作为示例性实施方案，应用程序可以使用若干服务API调用服务1或2，以及使用若干OS API调用操作系统(OS)。服务1和2可使用若干OS API调用操作系统。
请注意，服务2具有两个API，其中一个(服务2API 1)从应用程序1接收调用并向其返回值，另一个(服务2API 2)从应用程序2接收调用并向其返回值，服务1(其可以是，例如软件库)对OS API 1进行调用并自其接收返回值，服务2(其可以是，例如软件库)对API 1和OS API 2进行调用并自其接收返回值，应用程序2调用API 2并自其接收返回值。
图10为计算系统1000的一个实施方案的框图。图10中所示的计算系统旨在表示一系列计算系统(有线或无线)，包括例如台式电脑系统、笔记本电脑系统、平板电脑系统、移动电话，包括支持蜂窝型PDA电话的个人数字助理(PDA)、机顶盒、娱乐系统或其他消费电子设备。另选的计算系统可以包括更多、更少和/或不同的部件。图10的计算系统可被用于提供计算设备和/或服务器设备。
计算机系统1000包括总线1005或用于传送信息的其他通信设备，和与总线1005耦接的可处理信息的处理器1010。
虽然计算系统1000被图示为具有单个处理器，但是计算系统1000可以包括多个处理器和/或协处理器1010。计算系统1000还可以包括随机存取存储器(RAM)或其他动态存储设备1020(称为主存储器)，其耦接到总线1005并且可以存储可由处理器1010执行的信息和指令。在由处理器1010执行指令期间，主存储器1020还可用于存储临时变量或其他中间信息。
计算系统1000还可包括只读存储器(ROM)和/或耦接到总线1005的可存储用于处理器1010的静态信息和指令的其他静态存储设备1040。数据存储设备1040可以耦接到总线1005以存储信息和指令。数据存储设备1040(诸如闪存或磁盘或光盘)以及相应的驱动器可以被耦接到计算系统1000。
计算系统1000还可以经由总线1005耦接到显示设备1050，诸如阴极射线管(CRT)或液晶显示器(LCD)，以向用户显示信息。计算系统1000还可以包括数字字母混合输入设备1060，该设备包括数字字母键和其他键，其可以耦接到总线1005以将信息和命令选项发送到处理器1010。另一种用户输入设备是光标控件1070，诸如触控板、鼠标、轨迹球或光标方向键，用于向处理器1010传递方向信息和命令选择以及在显示器1050上控制光标移动。计算系统1000还可以经由一个或多个网络接口1080从通信地耦接到计算系统1000的远程设备接收用户输入。
计算系统1000还可以包括一个或多个网络接口1080，以提供对诸如局域网之类的网络的访问。网络接口1080可以包括，例如具有天线1085的无线网络接口，所述天线可以表示一个或多个天线。计算系统1000可以包括多个无线网络接口，诸如WiFi、和蜂窝电话接口的组合。网络接口1080也可以包括例如有线网络接口，以经由网络电缆1087与远程设备通信，该电缆可以是例如，以太网电缆、同轴电缆、光纤电缆、串行电缆或并行电缆。
在实施方案中，网络接口1080可以例如通过符合IEEE 802.11b和/或IEEE802.11g标准来提供对局域网的接入，并且/或者无线网络接口可以例如通过符合蓝牙标准提供对个人区域网络的接入。其他无线网络接口和/或协议也可得到支持。除了经由无线LAN标准进行通信之外或除开经由无线LAN标准进行通信之外，网络接口1080可以使用例如时分多址(TDMA)协议、全球移动通信系统(GSM)协议、码分多址(CDMA)协议，和/或任何其他类型的无线通信协议来提供无线通信。
在以上说明书中，结合本发明的特定实施方案已描述了本发明。但显而易见的是，在不脱离本发明的更广泛的实质和范围的情况下，可对这些实施例进行各种修改和变更。相应地，说明书和附图应被视为有例示性的而非限制性的意义。

Claims (30)

1.一种在客户端设备上实践的计算机实现的方法，包括：
从所述客户端设备上的应用程序接收新术语；
将所述新术语分割成n-gram集合；
将差异隐私算法应用于所述n-gram集合中的选择的n-gram，生成差异隐私n-gram草图；
选择所述差异隐私n-gram草图中的一行；
将所述新术语和所述差异隐私n-gram草图中的所选择的行存储到候选项的样本缓冲器，以传输到新术语学习服务器。
2.根据权利要求1所述的方法，其中所述n-gram集合是有序集合，使得以设定顺序串接所述n-gram产生所述新术语。
3.根据权利要求1所述的方法，其中所述n-gram集合中的每个n-gram具有两个字符的长度。
4.根据权利要求1所述的方法，还包括：
对于所述n-gram集合中的每个n-gram，将所述n-gram在所述术语内的位置与所述n-gram和对应的差异隐私n-gram草图相关联地存储。
5.根据权利要求1所述的方法，还包括：
生成随机数并将所述随机数与所述新术语和所述新术语的所述差异隐私n-gram草图相关联，其中所述随机数包括所述新术语的散列；以及
将所述随机数与所述新术语和所述差异隐私n-gram草图中的所选择的行存储在所述样本缓冲器中。
6.根据权利要求1所述的方法，其中当满足以下条件时，术语是新术语：
所述术语尚未列入黑名单；并且
所述术语以前未被传输到所述新术语学习服务器。
7.根据权利要求1所述的方法，其中所述新术语与多个术语类别中的术语分类相关联，每个术语分类具有隐私预算。
8.根据权利要求7所述的方法，还包括：
确定所述分类中是否存在可用的隐私预算；以及
响应于确定在与所述新术语相关联的所述分类中存在可用的隐私预算，将所述新术语和所述差异隐私n-gram存储在候选术语的所述样本缓冲器中。
9.根据权利要求7所述的方法，还包括：
响应于将所述新术语和所述差异隐私n-gram草图存储到所述候选新术语缓冲器，减少用于所述分类的所述隐私预算。
10.根据权利要求1所述的方法，还包括：
选择术语分类，其中所述样本缓冲器中的至少一个新术语具有所选择的分类；
从所述样本缓冲器随机选择具有所述分类的新术语；以及
将所述新术语和所述差异隐私n-gram草图传输到新术语学习服务器。
11.根据权利要求1的方法，还包括：
维护先前已传输到所述新术语学习服务器的新术语的数据库。
12.根据权利要求9所述的方法，还包括为至少一个分类周期性地增加所述隐私预算。
13.根据权利要求1所述的方法，其中应用于n-gram的差异隐私算法包括：
计算第一散列，所述第一散列包括所述新术语的散列；
计算第二散列，所述第二散列包括与所述第一散列相结合的所选择的n-gram的散列；所述第二散列具有多个行和多个列；
从第二散列随机选择一行；以及
以随机概率翻转所选择的行的位。
14.根据权利要求1所述的方法，还包括从所述新术语服务器接收包括至少一个新术语的更新的资产目录，其中所述更新的资产目录是从自多个客户端设备接收的本地差异隐私数据得出的。
15.一种用指令编程的非暂态计算机可读介质，所述指令当由处理系统执行时执行操作，所述操作包括：
从所述客户端设备上的应用程序接收新术语；
将所述新术语分割成n-gram集合；
将差异隐私算法应用于所述n-gram集合中的每个n-gram，生成差异隐私n-gram草图的集合；
将所述新术语和所述差异隐私n-gram草图存储到候选项的样本缓冲器，以传输到新术语学习服务器。
16.根据权利要求15所述的介质，其中所述n-gram集合是有序集合，使得以设定顺序串接所述n-gram产生所述新术语。
17.根据权利要求15所述的介质，所述操作还包括：
对于所述n-gram集合中的每个n-gram，将所述n-gram在术语内的位置与所述n-gram和对应的差异隐私n-gram相关联地存储；
生成随机数并将所述随机数与所述新术语和所述新术语的所述差异隐私n-gram相关联；以及
将所述随机数与所述新术语和差异隐私n-gram草图存储在所述样本缓冲器中。
18.根据权利要求15所述的介质，其中所述新术语与多个术语类别中的术语分类相关联，每个术语分类具有隐私预算。
19.根据权利要求18所述的介质，所述操作还包括：
确定所述分类中是否存在可用的隐私预算；以及
响应于确定在与所述新术语相关联的所述分类中存在可用的隐私预算，将所述新术语和差异隐私n-gram存储在候选术语的所述样本缓冲器中。
20.根据权利要求18所述的介质，所述操作还包括：
选择术语分类，其中所述样本缓冲器中的至少一个新术语具有所选择的分类；
从所述样本缓冲器随机选择具有所述分类的新术语；以及
将所述新术语和所述差异隐私n-gram传输到新术语学习服务器。
21.根据权利要求15所述的介质，还包括从所述新术语服务器接收包括至少一个新术语的更新的资产目录，其中所述更新的资产目录是从自多个客户端设备接收的本地差异隐私数据得出的。
22.一种系统，包括：
处理系统，所述处理系统耦接到用可执行指令编程的存储器，所述可执行指令当由所述处理系统执行时执行操作，所述操作包括：
从所述客户端设备上的应用程序接收新术语；
将所述新术语分割成n-gram集合；
将差异隐私算法应用于所述n-gram集合中的每个n-gram，生成差异隐私n-gram的集合；
将所述新术语和所述差异隐私n-gram存储到候选项的样本缓冲器，以传输到新术语学习服务器。
23.根据权利要求22所述的系统，其中所述n-gram集合为有序集合，使得以设定顺序串接所述n-gram产生所述新术语。
24.根据权利要求22所述的系统，所述操作还包括：
对于所述n-gram集合中的每个n-gram，将所述n-gram在术语内的位置与所述n-gram和对应的差异隐私n-gram相关联地存储；
生成随机数并将所述随机数与所述新术语和所述新术语的所述差异隐私n-gram相关联；以及
将所述随机数与所述新术语和所述差异隐私n-gram存储在所述样本缓冲器中。
25.根据权利要求22所述的系统，其中所述新术语与多个术语类别中的术语分类相关联，每个术语分类具有隐私预算。
26.根据权利要求25所述的系统，所述操作还包括：
确定所述分类中是否存在可用的隐私预算；以及
响应于确定在与所述新术语相关联的所述分类中存在可用的隐私预算，将所述新术语和所述差异隐私n-gram存储在候选术语的所述样本缓冲器中。
27.根据权利要求25所述的系统，所述操作还包括：
选择术语分类，其中所述样本缓冲器中的至少一个新术语具有所选择的分类；
从所述样本缓冲器随机选择具有所述分类的新术语；以及
将所述新术语和所述差异隐私n-gram传输到新术语学习服务器。
28.根据权利要求22所述的系统，还包括从所述新术语服务器接收包括至少一个新术语的更新的资产目录，其中所述更新的资产目录是从自多个客户端设备接收的本地差异隐私数据得出的。
29.一种用可执行指令编程的非暂态计算机可读介质，所述可执行指令当由具有至少一个硬件处理器的处理系统执行时，执行包括以下的操作：
通过术语学习服务器接收一批n-gram的差异隐私草图，每个n-gram形成不为所述术语学习服务器所知的多个术语中的一个术语的子集；
确定所述一批中匹配的差异隐私n-gram的频率；
选择频率大于阈值的所述匹配的差异隐私n-gram；
从具有大于阈值的频率的所选择的匹配的差异隐私n-gram草图生成差异隐私n-gram的多个组合；
使用差异隐私n-gram的所述多个组合来确定一个或多个新术语；以及
向一个或多个客户端设备传输包括至少一个新术语的更新的资产目录，其中所述更新的资产目录是从自多个客户端设备接收的本地差异隐私数据得出的。
30.根据权利要求29所述的介质，其中当差异隐私n-gram匹配并且所述差异隐私n-gram由相同术语生成时，所述差异隐私n-gram是匹配的，由对于所述相同术语具有相同散列的差异隐私n-gram来指示。
CN201780031211.3A 2016-06-12 2017-06-08 学习新字词 Active CN109154940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210366557.1A CN114647742A (zh) 2016-06-12 2017-06-08 学习新字词

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662348988P 2016-06-12 2016-06-12
US62/348,988 2016-06-12
US201662371657P 2016-08-05 2016-08-05
US62/371,657 2016-08-05
US15/275,356 2016-09-24
US15/275,356 US9594741B1 (en) 2016-06-12 2016-09-24 Learning new words
PCT/US2017/036576 WO2017218292A1 (en) 2016-06-12 2017-06-08 Learning new words

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210366557.1A Division CN114647742A (zh) 2016-06-12 2017-06-08 学习新字词

Publications (2)

Publication Number Publication Date
CN109154940A true CN109154940A (zh) 2019-01-04
CN109154940B CN109154940B (zh) 2022-04-19

Family

ID=58227695

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780031211.3A Active CN109154940B (zh) 2016-06-12 2017-06-08 学习新字词
CN202210366557.1A Pending CN114647742A (zh) 2016-06-12 2017-06-08 学习新字词

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210366557.1A Pending CN114647742A (zh) 2016-06-12 2017-06-08 学习新字词

Country Status (6)

Country Link
US (4) US9594741B1 (zh)
EP (1) EP3427164A1 (zh)
KR (1) KR102171412B1 (zh)
CN (2) CN109154940B (zh)
AU (1) AU2017284088B2 (zh)
WO (1) WO2017218292A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092588B (zh) * 2016-02-18 2022-09-09 腾讯科技（深圳）有限公司 一种文本信息处理方法、装置和系统
CN108027820A (zh) * 2016-09-02 2018-05-11 百度时代网络技术（北京）有限公司 用于产生短语黑名单以响应于搜索查询来防止某些内容出现在搜索结果中的方法和系统
CN108345580B (zh) * 2017-01-22 2020-05-15 创新先进技术有限公司 一种词向量处理方法及装置
US11023594B2 (en) 2017-05-22 2021-06-01 Georgetown University Locally private determination of heavy hitters
KR102438784B1 (ko) 2018-01-05 2022-09-02 삼성전자주식회사 데이터를 난독화 및 복호화 하는 전자 장치 및 그의 제어 방법
KR102449831B1 (ko) * 2018-01-12 2022-10-04 삼성전자주식회사 신규 텍스트에 대한 정보를 제공하는 전자 장치, 신규 텍스트를 확인하는 서버 및 그 동작 방법
US20190244138A1 (en) * 2018-02-08 2019-08-08 Apple Inc. Privatized machine learning using generative adversarial networks
US11055492B2 (en) 2018-06-02 2021-07-06 Apple Inc. Privatized apriori algorithm for sequential data discovery
RU2712101C2 (ru) * 2018-06-27 2020-01-24 Общество с ограниченной ответственностью "Аби Продакшн" Предсказание вероятности появления строки с использованием последовательности векторов
KR102092617B1 (ko) * 2018-07-05 2020-05-22 인하대학교 산학협력단 단방향 데이터 변환을 이용한 프라이버시 보장형 기계 학습 방법
CN112585620A (zh) 2018-09-28 2021-03-30 苹果公司 用于监督式学习的分布式标记
US10795999B1 (en) 2018-09-28 2020-10-06 NortonLifeLock Inc. Identifying and protecting against computer security threats while preserving privacy of individual client devices using condensed local differential privacy (CLDP)
US10789363B1 (en) 2018-09-28 2020-09-29 NortonLifeLock Inc. Identifying and protecting against computer security threats while preserving privacy of individual client devices using condensed local differential privacy (CLDP)
WO2020149141A1 (ja) * 2019-01-15 2020-07-23 ソニー株式会社 データ処理装置、データ処理方法、データ処理プログラム、端末装置およびデータ処理システム
CN110084365B (zh) * 2019-03-13 2023-08-11 西安电子科技大学 一种基于深度学习的服务提供系统及方法
US11139961B2 (en) 2019-05-07 2021-10-05 International Business Machines Corporation Private and federated learning
US11694029B2 (en) * 2019-08-19 2023-07-04 Oracle International Corporation Neologism classification techniques with trigrams and longest common subsequences
CN115280316A (zh) * 2020-03-18 2022-11-01 索尼集团公司 数据处理装置、数据处理方法、数据处理程序、数据提取装置、数据提取方法和数据提取程序
US11934401B2 (en) 2022-08-04 2024-03-19 International Business Machines Corporation Scalable count based interpretability for database artificial intelligence (AI)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040187084A1 (en) * 1999-06-17 2004-09-23 Viktors Berstis Method and apparatus for providing a central dictionary and glossary server
US20050256715A1 (en) * 2002-10-08 2005-11-17 Yoshiyuki Okimoto Language model generation and accumulation device, speech recognition device, language model creation method, and speech recognition method
CN101324878A (zh) * 2007-06-15 2008-12-17 夏普株式会社 新单词自动学习方法及装置和文字输入系统
US20090254817A1 (en) * 2008-04-03 2009-10-08 International Business Machines Corporation Enhanced spell checking utilizing a social network
US20090326927A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Adaptive generation of out-of-dictionary personalized long words
US8140332B2 (en) * 2006-12-15 2012-03-20 International Business Machines Corporation Technique for searching out new words that should be registered in dictionary for speech processing
CN102693244A (zh) * 2011-03-23 2012-09-26 日电（中国）有限公司 用于识别非结构化文本中的信息的方法和装置
CN102831194A (zh) * 2012-08-03 2012-12-19 人民搜索网络股份公司 一种基于查询日志的新词自动查找系统和方法
CN103106227A (zh) * 2012-08-03 2013-05-15 人民搜索网络股份公司 一种基于网页文本的新词查找系统及方法
US20130246045A1 (en) * 2012-03-14 2013-09-19 Hewlett-Packard Development Company, L.P. Identification and Extraction of New Terms in Documents
CN103530840A (zh) * 2013-10-10 2014-01-22 中国中医科学院 一种准确快速的电子病历录入系统
CN103678282A (zh) * 2014-01-07 2014-03-26 苏州思必驰信息科技有限公司 一种分词方法及装置
CN105389349A (zh) * 2015-10-27 2016-03-09 上海智臻智能网络科技股份有限公司 词典更新方法及装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6519647B1 (en) * 1999-07-23 2003-02-11 Microsoft Corporation Methods and apparatus for synchronizing access control in a web server
US20030053622A1 (en) 2001-09-20 2003-03-20 Aiden Bruen Method for the construction of hash functions based on sylvester matrices, balanced incomplete block designs and error-correcting codes
AU2007217900B2 (en) * 2006-02-17 2012-05-10 Google Llc Encoding and adaptive, scalable accessing of distributed models
US8185376B2 (en) * 2006-03-20 2012-05-22 Microsoft Corporation Identifying language origin of words
US8321579B2 (en) * 2007-07-26 2012-11-27 International Business Machines Corporation System and method for analyzing streams and counting stream items on multi-core processors
US8078454B2 (en) * 2007-09-28 2011-12-13 Microsoft Corporation Two-pass hash extraction of text strings
US8095558B2 (en) * 2007-12-14 2012-01-10 Casdex, Inc. System for logging and reporting access to content using unique content identifiers
US7996369B2 (en) * 2008-11-14 2011-08-09 The Regents Of The University Of California Method and apparatus for improving performance of approximate string queries using variable length high-quality grams
US8619984B2 (en) 2009-09-11 2013-12-31 Microsoft Corporation Differential privacy preserving recommendation
US8145682B2 (en) 2010-02-25 2012-03-27 Microsoft Corporation Differentially private data release
US8510236B1 (en) * 2010-05-07 2013-08-13 Google Inc. Semi-supervised and unsupervised generation of hash functions
US9003518B2 (en) * 2010-09-01 2015-04-07 Raytheon Bbn Technologies Corp. Systems and methods for detecting covert DNS tunnels
US8375030B2 (en) 2010-12-03 2013-02-12 Mitsubishi Electric Research Laboratories, Inc. Differentially private aggregate classifier for multiple databases
US8555400B2 (en) 2011-02-04 2013-10-08 Palo Alto Research Center Incorporated Privacy-preserving aggregation of Time-series data
US9202465B2 (en) * 2011-03-25 2015-12-01 General Motors Llc Speech recognition dependent on text message content
US9251216B2 (en) 2011-05-19 2016-02-02 At&T Intellectual Property I, L.P. Efficient publication of sparse data
US20120316956A1 (en) 2011-06-07 2012-12-13 Microsoft Corporation Client-Server Joint Personalization for Private Mobile Advertising
US8850536B2 (en) * 2011-08-05 2014-09-30 Safefaces LLC Methods and systems for identity verification in a social network using ratings
US9471791B2 (en) 2011-08-18 2016-10-18 Thomson Licensing Private decayed sum estimation under continual observation
US8627488B2 (en) 2011-12-05 2014-01-07 At&T Intellectual Property I, L.P. Methods and apparatus to anonymize a dataset of spatial data
US20160203333A1 (en) 2012-08-20 2016-07-14 Thomson Licensing Method and apparatus for utility-aware privacy preserving mapping against inference attacks
US20140196151A1 (en) 2013-01-10 2014-07-10 Microsoft Corporation Preserving geometric properties of datasets while protecting privacy
US20160071170A1 (en) 2013-02-08 2016-03-10 Thomson Licensing Method of creating content recommendations based on user ratings of content with improved user privacy
US10146958B2 (en) 2013-03-14 2018-12-04 Mitsubishi Electric Research Laboratories, Inc. Privacy preserving statistical analysis on distributed databases
US20140278357A1 (en) * 2013-03-14 2014-09-18 Wordnik, Inc. Word generation and scoring using sub-word segments and characteristic of interest
US9672364B2 (en) 2013-03-15 2017-06-06 Microsoft Technology Licensing, Llc Differentially private linear queries on histograms
US9672818B2 (en) * 2013-04-18 2017-06-06 Nuance Communications, Inc. Updating population language models based on changes made by user clusters
US20150339493A1 (en) 2013-08-07 2015-11-26 Thomson Licensing Privacy protection against curious recommenders
US20150293923A1 (en) 2014-04-10 2015-10-15 Max Planck Gesellschaft zur Förderung der Wissenschaften e.V. Systems and methods for anonymized user list count
US20150371059A1 (en) 2014-06-18 2015-12-24 Palo Alto Research Center Incorporated Privacy-sensitive ranking of user data
US20160171108A1 (en) 2014-12-12 2016-06-16 Yahoo! Inc. Method and system for indexing and providing suggestions
US10037333B2 (en) 2015-08-05 2018-07-31 Facebook, Inc. Systems and methods for determining content similarity
US9578048B1 (en) * 2015-09-16 2017-02-21 RiskIQ Inc. Identifying phishing websites using DOM characteristics

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070016625A1 (en) * 1999-06-17 2007-01-18 Viktors Berstis Method and Apparatus for Providing a Central Dictionary and Glossary Server
US20040187084A1 (en) * 1999-06-17 2004-09-23 Viktors Berstis Method and apparatus for providing a central dictionary and glossary server
US20050256715A1 (en) * 2002-10-08 2005-11-17 Yoshiyuki Okimoto Language model generation and accumulation device, speech recognition device, language model creation method, and speech recognition method
US8140332B2 (en) * 2006-12-15 2012-03-20 International Business Machines Corporation Technique for searching out new words that should be registered in dictionary for speech processing
CN101324878A (zh) * 2007-06-15 2008-12-17 夏普株式会社 新单词自动学习方法及装置和文字输入系统
US20090254817A1 (en) * 2008-04-03 2009-10-08 International Business Machines Corporation Enhanced spell checking utilizing a social network
US20090326927A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Adaptive generation of out-of-dictionary personalized long words
CN102693244A (zh) * 2011-03-23 2012-09-26 日电（中国）有限公司 用于识别非结构化文本中的信息的方法和装置
US20130246045A1 (en) * 2012-03-14 2013-09-19 Hewlett-Packard Development Company, L.P. Identification and Extraction of New Terms in Documents
CN102831194A (zh) * 2012-08-03 2012-12-19 人民搜索网络股份公司 一种基于查询日志的新词自动查找系统和方法
CN103106227A (zh) * 2012-08-03 2013-05-15 人民搜索网络股份公司 一种基于网页文本的新词查找系统及方法
CN103530840A (zh) * 2013-10-10 2014-01-22 中国中医科学院 一种准确快速的电子病历录入系统
CN103678282A (zh) * 2014-01-07 2014-03-26 苏州思必驰信息科技有限公司 一种分词方法及装置
CN105389349A (zh) * 2015-10-27 2016-03-09 上海智臻智能网络科技股份有限公司 词典更新方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHIN-MING HONG ET.AL: "New Word Extraction Utilizing Google News Corpuses for Supporting Lexicon-based Chinese Word Segmentation Systems", 《THE 2006 IEEE INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORK PROCEEDINGS》 *
吕美香 等: "基于N-Gram文本表达的新闻领域关键词词典构建研究", 《情报科学》 *
曹艳 等: "基于词表和N-gram算法的新词识别实验", 《情报科学》 *

Also Published As

Publication number Publication date
KR20180136531A (ko) 2018-12-24
EP3427164A1 (en) 2019-01-16
US20190097978A1 (en) 2019-03-28
KR102171412B1 (ko) 2020-10-28
US10701042B2 (en) 2020-06-30
WO2017218292A1 (en) 2017-12-21
US9645998B1 (en) 2017-05-09
AU2017284088A1 (en) 2018-10-25
US10133725B2 (en) 2018-11-20
CN109154940B (zh) 2022-04-19
CN114647742A (zh) 2022-06-21
US20180039619A1 (en) 2018-02-08
AU2017284088B2 (en) 2019-12-05
US9594741B1 (en) 2017-03-14

Similar Documents

Publication Publication Date Title
CN109154940A (zh) 学习新字词
US10454962B2 (en) Emoji frequency detection and deep link frequency
US11394773B2 (en) Cryptographic currency block chain based voting system
CN110140121B (zh) 聚合查询的数据库系统和处理
CN107004024B (zh) 上下文驱动的多用户通信
Buhrman et al. Quantum communication complexity advantage implies violation of a Bell inequality
US9767183B2 (en) Method and system for enhanced query term suggestion
CN108432200B (zh) 用于保护和控制对私密个人信息的访问的方法
US20120166379A1 (en) Clustering cookies for identifying unique mobile devices
KR20120036831A (ko) 갱신들의 소셜 네트워킹 서비스 내로의 통합
WO2022116431A1 (zh) 一种点击通过率ctr预测方法及装置
US9104983B2 (en) Site flow optimization
US20230350978A1 (en) Privacy-sensitive training of user interaction prediction models
WO2017132499A1 (en) Timely propagation of network content
US20170006421A1 (en) Social Networking Interface
US10209960B1 (en) Methods and systems for improved pseudo-random number generation
JP6507263B2 (ja) ユーザ・モバイルネットワークおよびデータプランに基づくコンテンツのフィルタリング
US20170004531A1 (en) Advertisement selection using information retrieval systems
CN108012558B (zh) 电话号码规范化以及信息可发现性
CN113287109A (zh) 用于保护设备隐私的系统和方法
CN115131058A (zh) 账号识别方法、装置、设备及存储介质
US11321375B2 (en) Text object management system
Bar-Am et al. Revisiting Context and Meaning: Claude Shannon’s Mathematical Theory of Communication
US20130091067A1 (en) System and a Method for Matching Members
CN117455576A (zh) 对象推送的处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant