CN109074464B - 差分隐私的迭代重加权最小二乘 - Google Patents

差分隐私的迭代重加权最小二乘 Download PDF

Info

Publication number
CN109074464B
CN109074464B CN201780025766.7A CN201780025766A CN109074464B CN 109074464 B CN109074464 B CN 109074464B CN 201780025766 A CN201780025766 A CN 201780025766A CN 109074464 B CN109074464 B CN 109074464B
Authority
CN
China
Prior art keywords
moment
solution
irls
squares
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780025766.7A
Other languages
English (en)
Other versions
CN109074464A (zh
Inventor
M·朴
M·威林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109074464A publication Critical patent/CN109074464A/zh
Application granted granted Critical
Publication of CN109074464B publication Critical patent/CN109074464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6263—Protecting personal data, e.g. for financial or medical purposes during internet communication, e.g. revealing personal data from cookies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

用于将迭代重加权最小二乘(IRLS)解私有化的方法，其包括通过添加噪声扰动数据集的一阶矩并通过添加噪声来扰动数据集的二阶矩。该方法还包括基于经扰动一阶矩和经扰动二阶矩来获取IRLS解。该方法进一步包括基于IRLS解生成差分隐私输出。

Description

差分隐私的迭代重加权最小二乘
相关申请的交叉引用
本申请要求于2016年4月28日提交且题为“Differentially PrivateIteratively Reweighted Least Squares(差分隐私的迭代重加权最小二乘)”的美国临时专利申请No.62/329,186的权益，其公开内容通过援引全部明确纳入于此。
背景
领域
本公开的某些方面一般涉及机器学习，尤其涉及改进将迭代重加权最小二乘解修改为差分隐私的系统和方法。
背景技术
随着存储设备的存储容量的增加，可以将大量个人信息存储在数据库中。作为示例，个人信息可以是提供给社交网络、医院和/或金融机构的信息。存储个体的个人信息时，隐私是一个问题。泄漏存储信息可能会带来法律问题，并导致消费者对企业失去信心。
在某些情况下，通过向数据添加噪声和/或将噪声添加到对数据执行的操作的结果来维护数据的隐私。仍然，期望向数据添加正确数量的噪声。过多的噪声可能会以阻止数据按预期被使用的方式使数据失真。噪声太小可能无法增加防止数据泄露所需的隐私级别。
差分隐私通过提供关于任一给定个体是否对数据集做出贡献的少量证据来保护对数据集执行的操作结果。即，差分隐私降低了基于系统的输出确定特定数据是否存在的可能性。此外，差分隐私不会改变数据。相反，差分隐私更改了对数据执行的操作结果，以保护可能从操作结果推断出的个人信息。
为了保护存储的个人信息，差分隐私会对数据执行的操作(诸如查询)结果引入噪声，以隐藏个体的个人信息。在一些情况下，可以使用分布(诸如拉普拉斯分布)将噪声添加到操作结果中。
在机器学习中使用迭代重加权最小二乘(IRLS)来估计广义线性模型中的参数。例如，迭代重加权最小二乘可用于L-1最小化。迭代重加权最小二乘也可用于维持数据的灵敏性(例如，隐私)。当隐私是敏感数据的关注点时，常规系统不会修改迭代重新加权最小二乘以维护数据的隐私。一些系统使用具有扰动直方图的隐私保护M估计框架。基于直方图的方法可能无法扩展用于高维参数设置。期望将迭代重加权最小二乘解私有化。
概述
在本公开的一个方面，公开了一种用于将迭代重加权最小二乘(IRLS)解私有化的方法。该方法包括通过添加噪声来扰动数据集的一阶矩。该方法还包括通过添加噪声来扰动数据集的二阶矩。该方法还包括基于经扰动一阶矩和经扰动二阶矩来获得IRLS解。该方法还进一步包括基于IRLS解生成差分私有输出。
本公开的另一方面涉及一种装备，该装备包括通过添加噪声来扰动数据集的一阶矩的装置。该装备还包括通过添加噪声来扰动数据集的二阶矩的装置。该装备进一步包括基于经扰动一阶矩和经扰动二阶矩来获得IRLS解的装置。该装备还进一步包括基于IRLS解生成差分隐私输出的装置。
在本公开的另一方面，公开了一种其上记录有程序代码的非瞬态计算机可读介质。该用于私有化IRLS解的程序代码由处理器执行，并且包括通过添加噪声来扰动数据集一阶矩的程序代码。该程序代码还包括通过添加噪声来扰动数据集二阶矩的程序代码。该程序代码进一步包括基于经扰动一阶矩和经扰动二阶矩来获得IRLS解的程序代码。该程序代码还进一步包括基于IRLS解生成差分隐私输出的程序代码。
本公开的另一方面涉及一种用于将IRLS解私有化的装备，该装备具有存储器单元和耦合至该存储器单元的一个或多个处理器。该处理器被配置成通过添加噪声来扰动数据集的一阶矩。该处理器还被配置成通过添加噪声来扰动数据集的二阶矩。该处理器进一步被配置成基于经扰动一阶矩和经扰动二阶矩来获得IRLS解。该处理器还进一步被配置成基于IRLS解生成差分隐私输出。
这已较宽泛地勾勒出本公开的特征和技术优势以便下面的详细描述可以被更好地理解。本公开的附加特征和优点将在下文描述。本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。
附图简述
在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。
图1解说了根据本公开的某些方面的使用片上系统(SOC)(包括通用处理器)将迭代重加权最小二乘修改为差分隐私的示例实现。
图2解说了根据本公开的各方面的系统的示例实现。
图3解说了根据本公开的一方面使经修改的迭代重加权最小二乘解为差分隐私的示例。
图4解说了根据本公开的一方面将迭代重加权最小二乘修改为差分隐私的流程图。
详细描述
以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文中所描述的概念的仅有配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出众所周知的结构和组件以避免湮没此类概念。
基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。
措辞示例性在本文中用于表示用作示例、实例、或解说。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
本公开的各方面涉及将迭代重加权最小二乘修改为是差分隐私的。在一种配置中，通过添加噪声来扰动出现在迭代重加权最小二乘中的矩。可以按照预先选择的隐私预算来确定噪声电平。此外，在一种配置中，指定集中式差分隐私解来改善与差分隐私机制的常规构成相比具有较少数据的估计。本公开的各方面可以在机器学习中使用以将迭代重加权最小二乘解修改为是差分隐私的，从而缓解隐私问题。
在一种配置中，通过添加噪声来扰动出现在迭代重加权最小二乘中的矩。可以按照基于可被揭示的信息量的隐私预算来确定噪声电平。在每次迭代中，迭代重加权最小二乘解确定数据的一阶和二阶矩。在此配置中，一阶矩是数据的均值，而二阶矩是数据的协方差。使用噪声机制(诸如拉普拉斯或威希特)来扰动每个矩。在另一配置中，提出了集中式差分隐私解。
如上所述，解(诸如迭代重加权最小二乘解)的结果被私有化，从而不能推断出数据集中固有的个体信息。将解的结果私有化可能比将数据私有化更安全。例如，当私有化数据(诸如使用隐私算法生成数据集的概要)时，私有化的数据可以用于任何标准解以进行进一步分析。即，该解可能无法与原始数据一起使用。相反，该解可以与私有化数据一起使用。作为对比，本公开的各方面使用原始数据并修改解(诸如迭代重加权最小二乘解)，因此输出是差分隐私的。
图1解说了根据本公开的某些方面使用片上系统(SOC)100的前述差分隐私的迭代重加权最小二乘解的示例实现，SOC 100可包括通用处理器(CPU)或多核通用处理器(CPU)102。变量(例如，神经信号和突触权重)、与计算设备相关联的系统参数(例如，带有权重的神经网络)、延迟、频率槽信息、以及任务信息可被存储在与神经处理单元(NPU)108相关联的存储器块、与CPU 102相关联的存储器块、与图形处理单元(GPU)104相关联的存储器块、与数字信号处理器(DSP)106相关联的存储器块、专用存储器块118中，或可跨多个块分布。在通用处理器102处执行的指令可从与CPU 102相关联的程序存储器加载或可从专用存储器块118加载。
SOC 100还可包括为具体功能定制的附加处理块(诸如GPU 104、DSP 106、连通性块110(其可包括第四代长期演进(4G LTE)连通性、5G连通性、无执照Wi-Fi连通性、USB连通性、蓝牙连通性等))以及例如可检测和识别姿势的多媒体处理器112。在一种实现中，NPU实现在CPU、DSP、和/或GPU中。SOC 100还可包括传感器处理器114、图像信号处理器(ISP)、和/或导航120(其可包括全球定位系统)。
SOC 100可基于高级RISC机(ARM)指令集。在本公开的一方面，加载到通用处理器102中的指令可包括用于通过添加噪声来扰动数据集的一阶矩的代码。这些加载到通用处理器102中的指令还可以包括用于通过添加噪声来扰动数据集的二阶矩的代码。这些加载到通用处理器102中的指令可以进一步包括用于基于经扰动一阶矩和经扰动二阶矩来获得迭代重加权最小二乘(IRLS)解的代码。这些加载到通用处理器102中的指令还可以包括用于基于IRLS解生成差分隐私输出的代码。
图2解说了根据本公开的某些方面的系统200的示例实现。如图2中所解说的，系统200可具有可执行本文所描述的方法的各种操作的多个局部处理单元202。每个局部处理单元202可包括局部状态存储器204和可存储神经网络的参数的局部参数存储器206。另外，局部处理单元202可具有用于存储局部模型程序的局部(神经元)模型程序(LMP)存储器208、用于存储局部学习程序的局部学习程序(LLP)存储器210、以及局部连接存储器212。此外，如图2中所解说的，每个局部处理单元202可与用于为该局部处理单元的各局部存储器提供配置的配置处理单元214对接，并且与提供各局部处理单元202之间的路由连接处理单元216对接。
在一种配置中，处理模型被配置为通过添加噪声来扰动数据集的一阶矩和数据集的二阶矩。该模型还被配置成基于经扰动一阶矩和经扰动二阶矩来获得迭代重加权最小二乘解(IRLS)。该模型还被进一步配置成基于IRLS解生成差分隐私输出。该模型包括扰动装置、获取装置和/或生成装置。在一种配置中，扰动装置、获取装置、和/或生成装置可以是配置成执行所叙述功能的通用处理器102、与通用处理器102相关联的程序存储器、存储器块118、局部处理单元202、和/或路由连接处理单元216。在另一配置中，前述装置可以是配置成执行由前述装置所叙述的功能的任何模块或任何装置。
以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或(诸)软件组件和/或(诸)模块，包括但不限于电路、专用集成电路(ASIC)、或处理器。一般而言，在附图中有解说的操作的场合，那些操作可具有带相似编号的相应配对装置加功能组件。
差分隐私的迭代重加权最小二乘
迭代重加权最小二乘(IRLS)过程用于机器学习和信号处理以估计广义线性模型中的参数。例如，迭代重加权最小二乘可用于L-1最小化，其出现在本领域技术人员已知的压缩感测文献中。当使用隐私敏感数据时，常规系统不会修改迭代重新加权最小二乘解以维护隐私敏感数据的隐私。即，迭代重加权最小二乘解本质上不是差分隐私的。在一些情况下，使用扰动直方图的隐私保护M估计器框架维护隐私敏感数据的隐私。但是，基于直方图的方法不适用于高维参数设置。
本公开的各方面涉及差分隐私的迭代重加权最小二乘解。在一种配置中，通过添加噪声来扰动出现在迭代重加权最小二乘迭代中的矩，其中噪声电平按预定的隐私值(例如，预算)确定。本公开的各方面不使用限制性假设，并且可以扩展到高维设置。此外，可以指定集中式差分隐私解以改善具有较少数据的估计的准确性。
差分隐私的迭代重加权最小二乘
给定包含N个输入-输出对
Figure BDA0001841260630000061
的数据集，假设
Figure BDA0001841260630000062
和
Figure BDA0001841260630000063
迭代重加权最小二乘解具有以下形式：
Figure BDA0001841260630000064
其中，X∈RN×d是设计矩阵，其中第i行是转置的第i个输入xT(其长度为d)，且y为输出的列向量。RN×d是矩阵X的大小。即，矩阵具有N行和d列。根据式1，B表示为
Figure BDA0001841260630000071
且A表示为
Figure BDA0001841260630000072
在式1中，A是一阶矩而B是二阶矩。在一种配置中，一阶矩是来自数据集的均值，而二阶矩是数据集的协方差。此外，S是具有对角线元素s＝|y-Xθ(t-1)|p-2的对角矩阵。最后，p设置为1，且系统计算L1范数约束最小二乘。为避免除以零，设置如下：
Figure BDA0001841260630000073
其中Xi是第i行。参数δ设置迭代重加权最小二乘解的稀疏性(非零值的数量)。即，δ设置式1中
Figure BDA0001841260630000074
的稀疏性。
每个矩A和B可以被扰动达特定量，使得每个矩(例如，统计量)是ε/2-差分隐私(DP)。因此，根据合成定理，最小二乘解可以是ε-差分隐私。本公开的各方面不限于迭代重加权最小二乘解，并且还构想了用于私有化其他类型的解。
根据本公开的另一方面，差分隐私可以基于合成定理，其中，对于i∈[k]，Mi:N|χ|→Ri是(εi,δi)-差分隐私解。如果
Figure BDA0001841260630000075
其中M[k](x):＝(M1(x),…,Mk(x))，则M[k]是
Figure BDA0001841260630000076
-差分隐私。因此，(ε,δ)-差分隐私解的独立级联导致线性降级的差分隐私解(级联数目的线性)。
ε/2-按照拉普拉斯机制的差分隐私矩A
在一种配置中，指定拉普拉斯机制以扰动一阶矩A。在一个示例中，数据集可以包括医院中的患者数据，并且特定数据点可以是特定患者的数据。对于拉普拉斯机制，系统量化了数据集中的一个数据点被更改时可能发生的变化量。即，系统可以更改一个数据点(例如，所有患者数据中的一个患者数据)。此外，系统可以从包括未更改数据的第一数据集执行第一查询，并且从包括扰动数据点的数据集执行第二查询。另外，系统会比较来自第一个查询和第二个查询的查询结果的差异。变化量可以量化可能添加到矩的噪声量。基于扰动数据点的查询结果的差异可以如下确定：
Figure BDA0001841260630000077
Figure BDA0001841260630000081
假设此量在索引k处最大化
Figure BDA0001841260630000082
三角不等式
Figure BDA0001841260630000083
Figure BDA0001841260630000084
因为|yk′|≤1且
Figure BDA0001841260630000085
Figure BDA0001841260630000086
因为sk≤δ。(4)
其中ΔA指的是来自第一查询和第二查询的数据点的查询结果的差异。xk是第k个输入，yk是第k个输出，sk是矩阵x的第k个对角线条目，且xk,l是第1个坐标处的第k个输入。
Figure BDA0001841260630000087
和
Figure BDA0001841260630000088
是xk、yk、sk和xk,l的经扰动版本。查询结果的最大差异可以在式4中界定。此外，可以将噪声量添加到一阶矩A以补偿差异。因此，以下拉普拉斯机制产生ε/2-A的差分隐私矩：
Figure BDA0001841260630000089
其中
Figure BDA00018412606300000810
Figure BDA00018412606300000811
指的是包括所添加噪声的一阶矩A。
ε/2-差分隐私矩B
此外，在一种配置中，通过添加威希特噪声来扰动二阶矩B，使得扰动矩阵仍然是对称的并且是正定的。为了汲取威希特噪声，汲取高斯随机变量：
Figure BDA00018412606300000812
Figure BDA00018412606300000813
其中
Figure BDA00018412606300000814
是ε/2-差分隐私二阶矩矩阵，而Id是具有大小d乘d的单位矩阵。即，
Figure BDA00018412606300000815
是具有所添加噪声的二阶矩B。
矩阵ZZT是来自威希特分布
Figure BDA00018412606300000816
的样本，其具有协方差
Figure BDA00018412606300000817
和d+1的自由度。在B处评估(或在B'处评估)的噪声版本
Figure BDA00018412606300000818
遵循威希特分布。因此，比率：
Figure BDA0001841260630000091
根据合成定理，通过级联关于每个矩的独立扰动，得到如下所示的ε-DP迭代重加权最小二乘解，其中提供数据集D以获取J迭代之后的ε-迭代重加权差分隐私最小二乘解：
计算矩
Figure BDA0001841260630000092
并将拉普拉斯噪声Yi添加到矩的每个坐标上，
Figure BDA0001841260630000093
其中
Figure BDA0001841260630000094
计算矩
Figure BDA0001841260630000095
并将威希特噪声Yi添加到矩的每个坐标上，
Figure BDA0001841260630000096
其中Z:＝[z1,…,zd+1]∈Rd×(d+1)且
Figure BDA0001841260630000097
按照
Figure BDA0001841260630000098
计算ε-DP迭代重加权最小二乘解。即，
Figure BDA0001841260630000099
取代式1中的A和B来计算ε-DP迭代重加权最小二乘解。
集中式差分隐私
根据本公开的一方面，集中式差分隐私(CDP)减少了添加到矩的噪声量而没有在数次迭代中累积的隐私损失上妥协。
如本领域技术人员已知的，ε-差分隐私解可以表示为(ε(exp(ε)-1)/2,ε)-集中式差分隐私(CDP)解。式ε(exp(ε)-1)/2,ε指的是由ε2近似的预期隐私损失。此外，如本领域技术人员已知的，(μ,τ)-CDP机制的J-合成保证
Figure BDA00018412606300000910
在一种配置中，使用拉普拉斯机制扰动每次迭代重加权最小二乘迭代中的一个或多个关键统计量。在一种配置中，该关键统计量被称为矩。μ和τ是集中式差分隐私参数，其中μ是平均隐私损失，而τ是隐私损失的标准偏差。给定数据集x和y的统计差异可以表示为ΔS:＝S(x)-S(y)。根据常规合成定理，在每次迭代中将I添加到Lap(ΔSJ/ε)以指定J次迭代之后的ε-DP。I是单位矩阵，而ε′是每次迭代的隐私损失。另外，如本领域技术人员已知的，通过添加从Lap(ΔS/ε′)汲取的拉普拉斯噪声可以扰动每次迭代中的关键统计量，其导致(ε′(exp(ε′)-1)/2,ε′)-CDP解。此外，如本领域技术人员已知的，在J次迭代之后，可以获得
Figure BDA0001841260630000101
解。预期隐私损失等于隐私预算ε(例如，Jε′(exp(ε′)-1)/2＝ε)是合乎需要的。使用泰勒展开，Jε′(exp(ε′)-1)/2可以被重写为
Figure BDA0001841260630000102
这可以是忽略了无穷和的下限，Jε′2/2≤ε。因此，最大的ε′应小于或等于
Figure BDA0001841260630000103
可以通过添加从
Figure BDA0001841260630000104
汲取的拉普拉斯噪声来扰动关键统计量，以在J次迭代之后获得
Figure BDA0001841260630000105
解。
在迭代重加权最小二乘解中，在每次迭代中扰动两个矩(例如，统计量)。即，可以扰动每个矩以获得ε′-DP。此外，可以通过用2J替换J来修改迭代重加权最小二乘解的结果。因此，每个扰动可以产生ε′-DP参数，其中
Figure BDA0001841260630000106
从而产生ε-CDP迭代重新加权最小二乘解。给定数据集D以在J次迭代后获得ε-迭代重加权最小二乘解，经由矩干扰的
Figure BDA0001841260630000107
-CDP迭代重加权最小二乘解如下：
计算矩
Figure BDA0001841260630000108
并将拉普拉斯噪声或高斯噪声Yi添加到矩的每个坐标上，
Figure BDA0001841260630000109
其中
Figure BDA00018412606300001010
计算矩
Figure BDA00018412606300001011
并将高斯噪声Yi添加到矩的每个坐标上，
Figure BDA00018412606300001012
其中Z:＝[z1,…,zd+1]∈Rd×(d+1)并且
Figure BDA00018412606300001013
按照
Figure BDA00018412606300001014
计算ε-DP迭代重加权最小二乘解。
根据本公开的各方面，差分隐私可以基于拉普拉斯机制。给定函数f:N|χ|→Rk，拉普拉斯机制由以下定义：
M(x,f(.),ε)＝f(x)+(Y1,…,Yk), (12)
其中，Yi:i.i.d.Laplace(Δf/ε)。即，将拉普拉斯噪声添加到f(x)的每个坐标产生(ε，0)-DP解。这里，Δf指的是函数f的l1-灵敏度，其被定义为：
Figure BDA0001841260630000111
如先前所讨论的，本公开的各方面可以将对数据集执行的操作结果私有化。在一些情况下，可以请求数据提供者针对任务(诸如机器学习)向人工神经网络提供数据。由于隐私问题，数据提供者可能对提供数据犹豫不决。仍然，为了缓解数据提供者的隐私问题，根据本公开的各方面，可以将操作结果(诸如迭代重加权最小二乘解)差分私有化。
图3解说了根据本公开的各方面用于将迭代重加权最小二乘解差分私有化的流程图300。如图3所示，数据集302(例如，包括N个输入-输出对的数据集)被提供给数据请求器304(诸如人工神经网络、计算机和/或信号处理器)。在该示例中，数据请求器304使用迭代重加权最小二乘来估计广义线性模型或非线性模型中的参数。例如，数据请求者可以将迭代重加权最小二乘用于线性或非线性最小二乘解(例如，迭代重加权最小二乘、高斯-牛顿解)。当然，本公开的各方面不限于迭代重加权最小二乘的上述用途，并且还构想了用于迭代重加权最小二乘解和/或其他函数(例如，解)的任何使用。
在接收到数据集时，隐私引擎扰动来自数据集302的一阶矩A。该一阶矩A可能会用拉普拉斯机制扰动。即，拉普拉斯机制产生A的ε/2-差分隐私矩。在一种配置中，A的ε/2-差分隐私矩被称为
Figure BDA0001841260630000112
数据请求器304也扰动来自数据集302的二阶矩B。二阶矩B可能会通过添加威希特噪声而受到扰动。即，将噪声添加到二阶矩B以获得ε/2-差分隐私矩
Figure BDA0001841260630000113
在扰动矩A和矩B之后，数据请求器304基于经扰动第一数据点和经扰动第二数据点获取迭代重加权最小二乘解。在一种配置中，迭代重加权最小二乘解是差分隐私的迭代重加权最小二乘函数。在另一种配置中，迭代重加权最小二乘解是集中式差分隐私的迭代重加权最小二乘函数。根据本公开的一个方面，当差分私有迭代重加权最小二乘函数下的加性噪声电平大于阈值时，得到的估计器变得太嘈杂。因此，当差分隐私的迭代重加权最小二乘函数下的加性噪声电平大于阈值时，使用集中式差分隐私的迭代重加权最小二乘函数。对于相同的隐私级别，在集中式差分隐私的迭代重加权最小二乘函数下的加性噪声电平小于差分隐私的迭代重加权最小二乘函数下的加性噪声电平。
如图3所示，数据请求器304使用差分隐私的迭代重加权最小二乘解输出差分隐私数据306。本公开的各方面将迭代重加权最小二乘解的结果私有化，使得不能从数据集推断出个体信息。即，如图3所示，数据集302被用于经修改解(诸如差分隐私的迭代重加权最小二乘函数或集中式差分隐私的迭代重加权最小二乘函数)，以生成经修改解的差分隐私输出。
图4解说了用于将迭代重加权最小二乘(TRLS)解私有化的方法400的示例。如图4所示，在框402，该过程通过添加噪声来扰动数据集的一阶矩。例如，数据集可以是医院的患者记录。在可选配置中，在框404，经由拉普拉斯机制扰动一阶矩。另外，在可选配置中，在框406，该过程基于可对数据集的数据点发生的变化量经由拉普拉斯机制来确定要添加到一阶矩的噪声量。
此外，在框408，该过程通过添加噪声来扰动数据集的二阶矩。在可选配置中，在框410，通过添加威希特噪声来扰动二阶矩。在一种配置中，一阶矩是来自数据集的均值，而二阶矩是数据集的协方差。
另外，在框412，该过程基于经扰动一阶矩和经扰动二阶矩来获得迭代重加权最小二乘解。在一种配置中，迭代重加权最小二乘解是差分隐私(DP)迭代重加权最小二乘函数。在另一种配置中，迭代重加权最小二乘解是集中式差分隐私(CDP)迭代重加权最小二乘函数。在框414，该过程基于迭代重加权最小二乘解来生成差分隐私输出。
在一些方面，方法400可以由SOC 100(图1)、系统200(图2)或数据请求器304来执行。即，举例而言但不作为限定，方法400的每个元素可由SOC 100、系统200或者一个或多个处理器(例如，CPU 102和局部处理单元202)、数据请求器304、和/或其中所包括的其他组件来执行。
如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可以包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或其他数据结构中查找)、探知及诸如此类。另外，“确定”可包括接收(例如接收信息)、访问(例如访问存储器中的数据)、及类似动作。此外，“确定”可包括解析、选择、选取、确立及类似动作。
如本文中所使用的，引述一列项目“中的至少一个”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”作为示例，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、b-c和a-b-c。
结合本公开所描述的各种解说性逻辑块、模块、以及电路可用设计成执行本文描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)信号或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件、或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如，DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其他此类配置。
结合本公开描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。软件模块可驻留在本领域所知的任何形式的存储介质中。可使用的存储介质的一些示例包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动盘、CD-ROM，等等。软件模块可以包括单条指令、或许多条指令，且可分布在若干不同的代码段上，分布在不同的程序间以及跨多个存储介质分布。存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。替换地，存储介质可以被整合到处理器。
本文中所公开的方法包括用于达成所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。
所描述的功能可在硬件、软件、固件或其任何组合中实现。如果以硬件实现，则示例硬件配置可包括设备中的处理系统。处理系统可以用总线架构来实现。取决于处理系统的具体应用和整体设计约束，总线可以包括任何数目的互连总线和桥接器。总线可将包括处理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可用于尤其将网络适配器等经由总线连接至处理系统。网络适配器可用于实现信号处理功能。对于某些方面，用户接口(例如，按键板、显示器、鼠标、操纵杆，等等)也可以被连接到总线。总线还可以链接各种其他电路，诸如定时源、外围设备、稳压器、功率管理电路以及类似电路，它们在本领域中是众所周知的，因此将不再进一步描述。
处理器可负责管理总线和一般处理，包括执行存储在机器可读介质上的软件。处理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、DSP处理器、以及其他能执行软件的电路系统。软件应当被宽泛地解释成意指指令、数据、或其任何组合，无论是被称作软件、固件、中间件、微代码、硬件描述语言、或其他。作为示例，机器可读介质可包括随机存取存储器(RAM)、闪存存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦式可编程只读存储器(EPROM)、电可擦式可编程只读存储器(EEPROM)、寄存器、磁盘、光盘、硬驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施在计算机程序产品中。该计算机程序产品可以包括包装材料。
在硬件实现中，机器可读介质可以是处理系统中与处理器分开的一部分。然而，如本领域技术人员将容易领会的，机器可读介质或其任何部分可在处理系统外部。作为示例，机器可读介质可包括传输线、由数据调制的载波、和/或与设备分开的计算机产品，所有这些都可由处理器通过总线接口来访问。替换地或补充地，机器可读介质或其任何部分可被集成到处理器中，诸如高速缓存和/或通用寄存器文件可能就是这种情形。虽然所讨论的各种组件可被描述为具有特定位置，诸如局部组件，但它们也可按各种方式来配置，诸如某些组件被配置成分布式计算系统的一部分。
处理系统可以被配置成通用处理系统，该通用处理系统具有一个或多个提供处理器功能性的微处理器、以及提供机器可读介质中的至少一部分的外部存储器，它们都通过外部总线架构与其他支持电路系统链接在一起。替换地，该处理系统可包括一个或多个神经元形态处理器以用于实现本文中所描述的神经元模型和神经系统模型。作为另一替换方案，处理系统可以用带有集成在单块芯片中的处理器、总线接口、用户接口、支持电路系统、和至少一部分机器可读介质的专用集成电路(ASIC)来实现，或者用一个或多个现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑、分立硬件组件、或者任何其他合适的电路系统、或者能执行本公开通篇所描述的各种功能性的电路的任何组合来实现。取决于具体应用和加诸于整体系统上的总设计约束，本领域技术人员将认识到如何最佳地实现关于处理系统所描述的功能性。
机器可读介质可以包括数个软件模块。这些软件模块包括当由处理器执行时使处理系统执行各种功能的指令。这些软件模块可以包括传送模块和接收模块。每个软件模块可以驻留在单个存储设备中或者跨多个存储设备分布。作为示例，当触发事件发生时，可以从硬驱动器中将软件模块加载到RAM中。在软件模块执行期间，处理器可以将一些指令加载到高速缓存中以提高访问速度。可随后将一个或多个高速缓存行加载到通用寄存器文件中以供处理器执行。在以下述及软件模块的功能性时，将理解此类功能性是在处理器执行来自该软件模块的指令时由该处理器来实现的。此外，应领会，本公开的各方面产生对处理器、计算机、机器或实现此类方面的其它系统的机能的改进。
如果以软件实现，则各功能可作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，这些介质包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。另外，任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或无线技术(诸如红外(IR)、无线电、以及微波)从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘、和
Figure BDA0001841260630000161
碟，其中盘(disk)常常磁性地再现数据，而碟(disc)用激光来光学地再现数据。因此，在一些方面，计算机可读介质可以包括非瞬态计算机可读介质(例如，有形介质)。另外，对于其他方面，计算机可读介质可以包括瞬态计算机可读介质(例如，信号)。上述的组合应当也被包括在计算机可读介质的范围内。
因此，某些方面可以包括用于执行本文中给出的操作的计算机程序产品。例如，此类计算机程序产品可以包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一个或多个处理器执行以执行本文中所描述的操作。对于某些方面，计算机程序产品可包括包装材料。
此外，应当领会，用于执行本文中所描述的方法和技术的模块和/或其它恰适装置能由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合至服务器以促成用于执行本文中所描述的方法的装置的转移。替换地，本文中所描述的各种方法能经由存储装置(例如，RAM、ROM、诸如压缩碟(CD)或软盘等物理存储介质等)来提供，以使得一旦将该存储装置耦合至或提供给用户终端和/或基站，该设备就能获得各种方法。此外，可利用适于向设备提供本文中所描述的方法和技术的任何其他合适的技术。
将理解，权利要求并不被限于以上所解说的精确配置和组件。可在以上所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。

Claims (27)

1.一种用于将迭代重加权最小二乘(IRLS)解私有化的计算机实现的方法，包括：
通过添加噪声来扰动数据集的一阶矩；
通过添加噪声来扰动所述数据集的二阶矩；
基于所述经扰动一阶矩和所述经扰动二阶矩获取所述IRLS解；以及
通过将所述IRLS解应用于所述数据集来生成差分隐私输出。
2.如权利要求1所述的计算机实现的方法，其中所述一阶矩是所述数据集的均值，并且所述二阶矩是所述数据集的协方差。
3.如权利要求1所述的计算机实现的方法，进一步包括：
经由拉普拉斯机制来扰动所述一阶矩；以及
通过添加威希特噪声来扰动所述二阶矩。
4.如权利要求1所述的计算机实现的方法，进一步包括基于可对所述数据集的数据点发生的变化量经由拉普拉斯机制来确定要添加到所述一阶矩的噪声量。
5.如权利要求1所述的计算机实现的方法，其中所述IRLS解是差分隐私(DP)迭代重加权最小二乘函数。
6.如权利要求1所述的计算机实现的方法，其中所述IRLS解是集中式差分隐私(CDP)迭代重加权最小二乘函数。
7.如权利要求1所述的计算机实现的方法，其中所述差分隐私输出包括L-1最小化解。
8.一种用于将迭代重加权最小二乘(IRLS)解私有化的装备，所述装备包括：
存储器；以及
耦合至所述存储器的至少一个处理器，所述至少一个处理器被配置成：
通过添加噪声来扰动数据集的一阶矩；
通过添加噪声来扰动所述数据集的二阶矩；
基于所述经扰动一阶矩和所述经扰动二阶矩获取所述IRLS解；以及
通过将所述IRLS解应用于所述数据集来生成差分隐私输出。
9.如权利要求8所述的装备，其中所述一阶矩是所述数据集的均值，并且所述二阶矩是所述数据集的协方差。
10.如权利要求8所述的装备，其中所述至少一个处理器被进一步配置成：
经由拉普拉斯机制来扰动所述一阶矩；以及
通过添加威希特噪声来扰动所述二阶矩。
11.如权利要求8所述的装备，其中所述至少一个处理器被进一步配置成基于可对所述数据集的数据点发生的变化量经由拉普拉斯机制来确定要添加到所述一阶矩的噪声量。
12.如权利要求8所述的装备，其中所述IRLS解是差分隐私(DP)迭代重加权最小二乘函数。
13.如权利要求8所述的装备，其中所述IRLS解是集中式差分隐私(CDP)迭代重加权最小二乘函数。
14.如权利要求8所述的装备，其中所述差分隐私输出包括L-1最小化解。
15.一种用于将迭代重加权最小二乘(IRLS)解私有化的装备，包括：
用于通过添加噪声来扰动数据集的一阶矩的装置；
用于通过添加噪声来扰动所述数据集的二阶矩的装置；
用于基于所述经扰动一阶矩和所述经扰动二阶矩获取所述IRLS解的装置；以及
用于通过将所述IRLS解应用于所述数据集来生成差分隐私输出的装置。
16.如权利要求15所述的装备，其中所述一阶矩是所述数据集的均值，并且所述二阶矩是所述数据集的协方差。
17.如权利要求15所述的装备，进一步包括：
用于经由拉普拉斯机制来扰动所述一阶矩的装置；以及
用于通过添加威希特噪声来扰动所述二阶矩的装置。
18.如权利要求15所述的装备，进一步包括用于基于可对所述数据集的数据点发生的变化量经由拉普拉斯机制来确定要添加到所述一阶矩的噪声量的装置。
19.如权利要求15所述的装备，其中所述IRLS解是差分隐私(DP)迭代重加权最小二乘函数。
20.如权利要求15所述的装备，其中所述IRLS解是集中式差分隐私(CDP)迭代重加权最小二乘函数。
21.如权利要求15所述的装备，其中所述差分隐私输出包括L-1最小化解。
22.一种其上记录有用于将迭代重加权最小二乘(IRLS)解私有化的程序代码的非瞬态计算机可读介质，所述程序代码由处理器执行并且包括：
用于通过添加噪声来扰动数据集的一阶矩的程序代码；
用于通过添加噪声来扰动所述数据集的二阶矩的程序代码；
用于基于所述经扰动一阶矩和所述经扰动二阶矩获取所述IRLS解的程序代码；以及
用于通过将所述IRLS解应用于所述数据集来生成差分隐私输出的程序代码。
23.如权利要求22所述的非瞬态计算机可读介质，其中所述一阶矩是所述数据集的均值，并且所述二阶矩是所述数据集的协方差。
24.如权利要求22所述的非瞬态计算机可读介质，进一步包括：
用于经由拉普拉斯机制来扰动所述一阶矩的程序代码；以及
用于通过添加威希特噪声来扰动所述二阶矩的程序代码。
25.如权利要求22所述的非瞬态计算机可读介质，其中所述用于扰动所述一阶矩的程序代码进一步包括用于基于可对所述数据集的数据点发生的变化量经由拉普拉斯机制来确定要添加到所述一阶矩的噪声量的程序代码。
26.如权利要求22所述的非瞬态计算机可读介质，其中所述IRLS解是差分隐私(DP)迭代重加权最小二乘函数。
27.如权利要求22所述的非瞬态计算机可读介质，其中所述IRLS解是集中式差分隐私(CDP)迭代重加权最小二乘函数。
CN201780025766.7A 2016-04-28 2017-04-28 差分隐私的迭代重加权最小二乘 Active CN109074464B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662329186P 2016-04-28 2016-04-28
US62/329,186 2016-04-28
US15/499,454 US10885467B2 (en) 2016-04-28 2017-04-27 Differentially private iteratively reweighted least squares
US15/499,454 2017-04-27
PCT/US2017/030123 WO2017190004A1 (en) 2016-04-28 2017-04-28 Differentially private iteratively reweighted least squares

Publications (2)

Publication Number Publication Date
CN109074464A CN109074464A (zh) 2018-12-21
CN109074464B true CN109074464B (zh) 2022-02-18

Family

ID=60158471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780025766.7A Active CN109074464B (zh) 2016-04-28 2017-04-28 差分隐私的迭代重加权最小二乘

Country Status (4)

Country Link
US (1) US10885467B2 (zh)
EP (1) EP3420491B1 (zh)
CN (1) CN109074464B (zh)
WO (1) WO2017190004A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8627483B2 (en) * 2008-12-18 2014-01-07 Accenture Global Services Limited Data anonymization based on guessing anonymity
US10430609B2 (en) * 2016-09-23 2019-10-01 International Business Machines Corporation Low privacy risk and high clarity social media support system
US10769549B2 (en) * 2016-11-21 2020-09-08 Google Llc Management and evaluation of machine-learned models based on locally logged data
CN108763954B (zh) * 2018-05-17 2022-03-01 西安电子科技大学 线性回归模型多维高斯差分隐私保护方法、信息安全系统
CN108882152B (zh) * 2018-07-03 2020-12-22 安徽工业大学 一种基于路径选择上报的用户隐私保护方法
US11157834B2 (en) * 2018-07-10 2021-10-26 Cisco Technology, Inc. Automated identification of higher-order behaviors in a machine-learning network security system
CN109214194B (zh) * 2018-07-19 2020-10-09 中国人民解放军战略支援部队信息工程大学 点差分隐私下图的度直方图发布方法
CN109299436B (zh) * 2018-09-17 2021-10-15 北京邮电大学 一种满足本地差分隐私的偏好排序数据收集方法
CN110968612B (zh) 2018-09-30 2023-07-18 华为技术有限公司 键值对数据的收集方法和装置
CN111625572B (zh) * 2019-02-27 2023-01-06 第四范式（北京）技术有限公司 在数据隐私保护下执行机器学习的方法和系统
CN110022531B (zh) * 2019-03-01 2021-01-19 华南理工大学 一种本地化差分隐私城市垃圾数据报告和隐私计算方法
US11526800B2 (en) 2019-05-17 2022-12-13 International Business Machines Corporation Determining value of corpora for machine learning using coresets
US11238167B2 (en) * 2019-06-14 2022-02-01 Sap Se Secure sublinear time differentially private median computation
US11755743B2 (en) * 2019-09-03 2023-09-12 Microsoft Technology Licensing, Llc Protecting machine learning models from privacy attacks
CN110717141B (zh) * 2019-09-22 2023-08-04 武汉中海庭数据技术有限公司 一种车道线优化方法、装置及存储介质
CN110750725A (zh) * 2019-10-24 2020-02-04 河北经贸大学 保护隐私的用户画像生成方法、终端设备及存储介质
CN110954153B (zh) * 2019-11-08 2021-09-24 电子科技大学 一种分布式自适应组合系数优化方法
EP4100896A4 (en) * 2020-03-06 2023-11-22 The Regents of the University of California METHOD FOR PROVIDING DATA PRIVACY FOR NEURONAL NETWORK BASED INFERENCE
US11568061B2 (en) 2020-04-29 2023-01-31 Robert Bosch Gmbh Private model utility by minimizing expected loss under noise
US11811794B2 (en) * 2020-05-12 2023-11-07 Sharecare AI, Inc. Privacy interface for data loss prevention via artificial intelligence models
CN111931235B (zh) * 2020-08-18 2021-10-22 重庆邮电大学 一种误差约束条件下的差分隐私保护方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004088623A (ja) * 2002-08-28 2004-03-18 Renesas Technology Corp 文字放送データ抜き取り装置
US7853545B2 (en) * 2007-02-26 2010-12-14 International Business Machines Corporation Preserving privacy of one-dimensional data streams using dynamic correlations
US8627483B2 (en) * 2008-12-18 2014-01-07 Accenture Global Services Limited Data anonymization based on guessing anonymity
US8619984B2 (en) 2009-09-11 2013-12-31 Microsoft Corporation Differential privacy preserving recommendation
CA2827136C (en) * 2011-02-11 2016-09-06 Blackberry Limited User equipment battery saving in a hetnet deployment with eicic
US9471791B2 (en) * 2011-08-18 2016-10-18 Thomson Licensing Private decayed sum estimation under continual observation
JP5792025B2 (ja) * 2011-10-21 2015-10-07 ラピスセミコンダクタ株式会社 半導体装置及びノイズ除去装置
US20160210463A1 (en) * 2012-08-20 2016-07-21 Nadia Fawaz Method and apparatus for utility-aware privacy preserving mapping through additive noise
US8893292B2 (en) 2012-11-14 2014-11-18 Mitsubishi Electric Research Laboratories, Inc. Privacy preserving statistical analysis for distributed databases
US9672364B2 (en) 2013-03-15 2017-06-06 Microsoft Technology Licensing, Llc Differentially private linear queries on histograms
US20150339493A1 (en) 2013-08-07 2015-11-26 Thomson Licensing Privacy protection against curious recommenders
US10242229B2 (en) * 2013-12-20 2019-03-26 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for managing access to a database
CN104008521B (zh) * 2014-05-29 2017-04-05 西安理工大学 基于灰度共生矩阵统计特征的lsb替换隐写分析方法
CN104809408B (zh) * 2015-05-08 2017-11-28 中国科学技术大学 一种基于差分隐私的直方图发布方法
US9954633B2 (en) * 2015-06-18 2018-04-24 Nxp Usa, Inc. Apparatus and method of performing a decimation on a signal for pattern detection
US9865029B2 (en) * 2016-04-06 2018-01-09 Yokogawa Electric Corporation Contextual rendering of process graphics
US20170293892A1 (en) * 2016-04-12 2017-10-12 Linkedln Corporation Releasing content interaction statistics while preserving privacy
US11663358B2 (en) * 2017-05-08 2023-05-30 Autodesk, Inc. Perturbation-based techniques for anonymizing datasets
US10902149B2 (en) * 2018-02-01 2021-01-26 Microsoft Technology Licensing, Llc Remote testing analysis for software optimization based on client-side local differential privacy-based data

Also Published As

Publication number Publication date
WO2017190004A1 (en) 2017-11-02
US20170316346A1 (en) 2017-11-02
CN109074464A (zh) 2018-12-21
US10885467B2 (en) 2021-01-05
EP3420491B1 (en) 2019-06-26
EP3420491A1 (en) 2019-01-02

Similar Documents

Publication Publication Date Title
CN109074464B (zh) 差分隐私的迭代重加权最小二乘
Villa et al. Accelerated and inexact forward-backward algorithms
US20200372373A1 (en) System and method for generating organizational memory using semantic knowledge graphs
US10877962B2 (en) Deferred update of database hashcode in blockchain
Lee et al. Large-scale incremental processing with MapReduce
Villa et al. Proximal methods for the latent group lasso penalty
WO2018223881A1 (en) Systems and methods for data processing
Zhang et al. Adaptive infinite impulse response system identification using an enhanced golden jackal optimization
US20170147675A1 (en) High dimensional clusters profile generation
Liu et al. A three-term derivative-free projection method for nonlinear monotone system of equations
US11481285B1 (en) Selective database data rollback
Silva et al. Cuda-based parallelization of power iteration clustering for large datasets
Zdunek et al. Distributed geometric nonnegative matrix factorization and hierarchical alternating least squares–based nonnegative tensor factorization with the MapReduce paradigm
Yang et al. Autonomous semantic community detection via adaptively weighted low-rank approximation
Purwar et al. DBSCANI: noise-resistant method for missing value imputation
Glaubitz et al. Leveraging joint sparsity in hierarchical Bayesian learning
Dehici et al. Measure of noncompactness and application to stochastic differential equations
Lee et al. Efficient computation of multivariate empirical distribution functions at the observed values
US20130091160A1 (en) High-Speed Statistical Processing in a Database
Traoré et al. Convergence of an asynchronous block-coordinate forward-backward algorithm for convex composite optimization
Zheng et al. An Efficient Approach to Solve the Large‐Scale Semidefinite Programming Problems
Sorokin et al. SigOpt Mulch: An intelligent system for AutoML of gradient boosted trees
Liu et al. Pruning Multilayered ELM Using Cholesky Factorization and Givens Rotation Transformation
Ye An Evaluation on Using Coarse-grained Events in an Event Sourcing Context and its Effects Compared to Fine-grained Events
Dai et al. Homotopy algorithm for l1‐norm minimisation problems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant