CN109670626A - 预测模型分布方法以及预测模型分布系统 - Google Patents

预测模型分布方法以及预测模型分布系统 Download PDF

Info

Publication number
CN109670626A
CN109670626A CN201811166996.8A CN201811166996A CN109670626A CN 109670626 A CN109670626 A CN 109670626A CN 201811166996 A CN201811166996 A CN 201811166996A CN 109670626 A CN109670626 A CN 109670626A
Authority
CN
China
Prior art keywords
prediction model
distribution
prediction
processing
numerical value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811166996.8A
Other languages
English (en)
Other versions
CN109670626B (zh
Inventor
西田直央
海上勇二
大庭达海
加藤辽
山田翔太
N·阿塔拉帕东
照屋唯纪
松田隆宏
花冈悟郎
花冈悟一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN109670626A publication Critical patent/CN109670626A/zh
Application granted granted Critical
Publication of CN109670626B publication Critical patent/CN109670626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/085—Secret sharing or secret splitting, e.g. threshold schemes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/46—Secure multiparty computation, e.g. millionaire problem

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供一种取得分布化预测模型的方法。该方法包括：取得预测模型，所述预测模型是神经网络；通过将所述预测模型所包含的多个参数中的负的数值变换成正的数值，取得变换预测模型；以及通过保密分布法将所述变换预测模型进行分布，由此取得分布化预测模型。

Description

预测模型分布方法以及预测模型分布系统
技术领域
本公开涉及用于在通过保密分布法隐匿内容的同时进行神经网络的预测处理的预测模型分布方法以及预测模型分布系统。
背景技术
近年来，各种企业正在提供利用了神经网络的服务。作为使用了神经网络的服务的例子，可以举出从被上载的图像识别被拍摄对象的种类的服务、基于用户的购买历史记录来推荐被认为是该用户所喜好的商品的服务等。
在这样的服务中，来自用户的输入信息、例如用户上载的图像或者用户的购买历史记录等输入信息中也大多包含微妙的信息，所以需要保护用户的隐私信息。为此，正在寻求一种用户不对服务提供者公开隐私信息地进行神经网络的学习处理以及预测处理的技术。
另外，从服务提供者的立场来看，也谋求一种能够尽可能不让用户知道与服务的技术秘密相关的信息地对用户提供服务的技术。
作为满足上述两个条件的技术，考虑一种使用能够在使数据维持隐匿的状态下进行计算的保密计算法这一手法来进行神经网络的预测处理的方法。保密计算法是一种能够对保管数据的主体隐匿计算过程和结果的技术。例如，在云(cloud)那样的第三方所管理的服务器中保管数据，能够对该所保管的数据执行所有的运算。由于不让第三方知道输入数据、计算过程、计算结果，所以能够将针对如个人信息那样的微妙信息的分析处理进行外包。特别是，非专利文献1(SecureML)以及非专利文献2(CryptoNets)公开了在使数据维持隐匿的状态下进行预测处理的技术。
现有技术文献
非专利文献
非专利文献1：Payman Mohassel，其余1人，“SecureML:A System for ScalablePrivacy-Preserving Machine Learning”、“IEEE Symposium on Security and Privacy2017”(https://eprint.iacr.org/2017/396.pdf)
非专利文献2：Ran Gilad-Bachrach，其余5人，“CryptoNets:Applying NeuralNetworks to Encrypted Data with High Throughput and Accuracy”，(http://proceedings.mlr.press/v48/gilad-bachrach16.pdf)
非专利文献3：Adi Shamir，“How to share a secret”，(http://dl.acm.org/citation.cfm？id＝359176)
非专利文献4：Ronald Cramer，其余2人，“Share Conversion,PseudorandomSecret-Sharing and Applications to Secure Computation”，(https://rd.springer.com/chapter/10.1007/978-3-540-30576-7_19)
非专利文献5：Toshinori Araki，其余4人，“High-Throughput Semi-HonestSecure Three-Party Computation with an Honest Majority”，(https://eprint.iacr.org/2016/768.pdf)
非专利文献6：Takashi Nishide，其余1人，“Multiparty Computation forInterval,Equality,and Comparison Without Bit-Decomposition Protocol”、“PublicKey Cryptography-PKC 2007”、Springer Berlin Heidelberg，(https://rd.springer.com/chapter/10.1007/978-3-540-71677-8_23)
非专利文献7：Matthieu Courbariaux，其余4人，“Binarized Neural Networks:Training Deep Neural Networks with Weights and Activations Constrained to+1or-1”，(https://arxiv.org/abs/1602.02830)
发明内容
发明要解决的课题
在上述以往的技术中，需要进一步的改善。
用于解决课题的技术方案
本公开的预测模型分布方法的一个技术方案的特征在于，包括：取得预测模型，所述预测模型是神经网络；通过将所述预测模型所包含的多个参数中的负的数值变换成正的数值，取得变换预测模型；以及通过保密分布法将所述变换预测模型进行分布，由此取得分布化预测模型，所述分布化预测模型用于使输入维持隐匿的状态下的预测处理。
发明效果
根据本公开，能够实现进一步的改善。
进而，本公开的进一步的效果以及优点应会根据本说明书以及附图的公开内容而得以明确。上述进一步的效果以及优点可以通过本说明书以及附图所公开的各种实施方式以及特征而被分别独立地提供，不一定需要提供所有的效果以及优点。
附图说明
图1是表示实施方式所涉及的预测模型分布系统的整体构成的一例的图。
图2是表示实施方式中的用户终端装置的构成的一例的图。
图3是表示实施方式中的数据提供装置的构成的一例的图。
图4是表示实施方式中的数据运算装置的构成的一例的图。
图5是表示实施方式中的预测模型分布系统的学习阶段(phase)的工作的时序图。
图6是表示实施方式中的预测模型分布系统的预测阶段的工作的时序图。
图7是表示实施方式中的预测模型分布系统的预测阶段的工作的时序图。
图8是表示实施方式中的预测处理的工作的时序图。
图9是表示实施方式中的特征量的一例的图。
图10是表示实施方式中的分布化特征量的一例的图。
图11是表示实施方式中的均一化处理的一例的图。
图12是表示实施方式中的预测模型的一例的图。
图13A是表示实施方式中的预先计算后的预测模型的一例的图。
图13B是表示实施方式中的整数化后的预测模型的一例的图。
图13C是表示实施方式中的将负整数变换成正整数的预测模型的一例的图。
图14是表示实施方式中的预测处理的流程的概要的图。
图15是表示实施方式中的变换前的权重矩阵的一例的图。
图16是表示实施方式中的均一化处理的一例的图。
具体实施方式
(成为本公开的基础的见解)
作为在维持加密状态下进行神经网络的预测运算的手法，公开了非专利文献1(SecureML)和非专利文献2(CryptoNets)。但是，对于这些方法而言，由于预测精度低且计算量庞大，故存在实用性的疑问。
鉴于此，本公开中，提供一种例如通过利用保密计算法实现二值化神经网络(Binarized Neural Networks)那样的神经网络，由此能够减少在使输入维持隐匿的状态下预测处理速度以及预测精度的降低的预测模型分布方法以及预测模型分布系统。
本公开的一个技术方案如下。
本公开的一个技术方案涉及的预测模型分布方法包括：取得预测模型，所述预测模型是神经网络；通过将所述预测模型所包含的多个参数中的负的数值变换成正的数值，取得变换预测模型；以及通过保密分布法将所述变换预测模型进行分布，由此取得分布化预测模型，所述分布化预测模型用于使输入维持隐匿的状态下的预测处理。
由此，预测模型所包含的全部参数变换成正的数值，因而能够应用保密分布法作为使预测模型分布的方法。因此，能够减少在使输入维持隐匿的状态下预测处理速度以及预测精度的降低。
例如，本公开的一个技术方案涉及的预测模型分布方法，也可以是，所述预测模型是所述多个参数包含以1或者-1这二值构成的参数的二值化神经网络。
这样，通过使用二值化神经网络作为预测模型，能够缩短矩阵积运算的计算时间。另外，由于预测模型是二值化神经网络，将预测模型所包含的负的数值变换成正的数值的处理变得简便。因此，能够减少预测处理速度的降低。
例如，本公开的一个技术方案涉及的预测模型分布方法还可以是，所述预测模型的取得包括：使用事先收集到的学习用数据进行所述预测模型的学习处理。
由此，会容易制作适合于导出正确的预测结果的预测模型。因此，能够使预测精度提高。
例如，本公开的一个技术方案涉及的预测模型分布方法，也可以是，所述变换包括：将所述预测模型所包含的所述多个参数中的小数的值变换成整数的值。
在多个参数中含有小数的值时，计算繁琐且计算时间长。另外，即使将小数变换成整数，得到的计算结果也相同。因此，通过将小数的值变换成整数的值，能够在维持预测处理的精度的状态下缩短预测处理中的计算时间。另外，在保密分布法中，由于无法处理小数的值，所以需要将小数的值变换成整数的值。由此，能够利用保密分布法使变换后的预测模型进行分布。
例如，本公开的一个技术方案涉及的预测模型分布方法，也可以是，所述变换包括：对所述预测模型所包含的所述多个参数中的负的数值加上在所述保密分布法中使用的除数。
一般而言，参数的数值越大则预测精度越高，数值越小则计算速度越快。因此，例如，从预测精度与预测速度平衡的角度，确定在保密分布法中使用的除数的值并加到负的数值上。由此，在使用变换后的预测模型时，能够减少预测精度以及预测速度的降低。另外，由于变换后的预测模型中包含的全部的参数以正的数值表示，所以能够利用保密分布法使变换后的预测模型进行分布。因此，能够在使输入维持隐匿的状态下进行预测处理。
例如，关于本公开的一个技术方案涉及的预测模型分布方法，也可以是，所述变换包括：将所述预测模型所包含的所述多个参数中的数值变换成符号部和数值部的组，所述符号部用0或者1表示所述数值的符号，所述数值部表示所述数值的绝对值。。
关于该变换处理，例如，在预测模型所包含的参数之一为-10的情况下，-10被变换成表示符号的符号部和表示数值的绝对值的数值部的组(1，10)。这样，作为负的数值的-10被变换成作为正的数值的1与10的组，所以预测模型所包含的参数仅以正的数值表示。因此，通过将该变换处理应用于预测模型，能够利用保密分布法使变换后的预测模型进行分布。
例如，本公开的一个技术方案涉及的预测模型分布方法，也可以是，所述变换包括：还根据所述多个参数的一部分生成新的参数。
由此，在对预测模型进行分布化即对预测模型进行加密之前，对由预测模型所包含的已完成学习的参数构成的部分进行计算。关于参数，一旦被学习就会固定，所以可以在预测模型被加密之前对成为固定值的部分进行计算来生成新的参数。由此，与在预测模型被加密后进行计算相比，能够减少计算量以及通信量，因此能够使预测处理中的计算速度提高。因此，即使在使输入维持隐匿的状态下进行预测处理，也能够减少处理速度的降低。
例如，本公开的一个技术方案涉及的预测模型分布方法，还可以包括：根据通过感测获得的数据算出特征量；以及通过所述保密分布法将所算出的所述特征量进行分布，由此取得分布化特征量。
由此，关于从用户通过感测获得的个人信息等微妙的信息，也能够与预测模型同样地通过保密分布法使之分布。因此，根据本公开的一个技术方案涉及的预测模型分布方法，能够在使对于预测处理的输入(这里为用户信息)维持隐匿的状态下即能够在保护用户的隐私信息的同时执行预测处理。
例如，本公开的一个技术方案涉及的预测模型分布方法可以包括：将所述分布化特征量输入所述分布化预测模型，执行所述预测处理，所述预测处理包含非线性处理，所述非线性处理是若针对所述非线性处理的输入为与0或者正对应的数值则变换成与1对应的正的数值、若所述输入为与负对应的数值则变换成与-1对应的正的数值的处理。
由此，能够对输入的数值进行变换，以使得变换后的数值处于保证预测的准确性的正的数值范围内。因此，能够减少预测处理速度以及预测精度的降低。
另外，本公开的一个技术方案涉及的预测模型分布系统包括：处理器；存储器，存储有至少一组指令，在所述指令被所述处理器执行时，使所述处理器执行如下操作：取得预测模型，所述预测模型是神经网络；将所述预测模型所包含的多个参数中的负的数值变换成正的数值，由此取得变换预测模型；以及通过保密分布法将所述变换预测模型进行分布，由此取得分布化预测模型，所述分布化预测模型用于使输入维持隐匿的状态下的预测处理。
根据该系统，由于预测模型所包含的全部参数被变换成正的数值，所以能够应用保密分布法作为使预测模型进行分布的方法。因此，能够减少在使输入维持隐匿的状态下的预测处理速度以及预测精度的降低。
此外，以下要说明的实施方式均表示本公开的一个具体例子。在以下的实施方式中示出的数值、形状、构成要素、步骤、步骤的顺序等为一例，并不旨在限定非公开。另外，关于以下的实施方式中的构成要素之中未被记载在表示最上位概念的独立权利要求的构成要素，作为任意的构成要素进行说明。另外，各附图并不一定严格地进行图示。在各附图中，对于实质上相同的结构标注相同的附图标记，重复的说明有时被省略或者简略化。
另外，只要不脱离本公开的主旨，本领域技术人员将想到的各种变形施加于实施方式而得到的技术方案和/或在全部的实施方式中组合各个实施方式的一部分构成要素而构建的其它实施方式也包含在本公开的范围内。
(实施方式)
以下，使用附图对本实施方式所涉及的预测模型分布方法以及预测模型分布系统进行说明。
[预测模型分布系统]
本实施方式所涉及的预测模型分布系统是用于在使输入维持隐匿的状态下进行预测处理的预测模型分布系统，具备：预测模型变换部，通过将预测模型所包含的多个参数中的负的数值变换成正的数值，对预测模型进行变换，所述预测模型是神经网络；和预测模型分布部，通过保密分布法对变换后的预测模型进行分布。
在本实施方式中，还具备：根据通过感测获得的数据算出特征量的特征量算出部和通过保密分布法对所算出的特征量进行分布的特征量分布化部。
另外，在本实施方式中，还具备对分布后的预测模型输入分布后的特征量并利用分布后的预测模型执行预测处理的预测处理部。
[1.预测模型分布系统的结构]
在此，一边参照附图，一边对本公开的实施方式所涉及的预测模型分布系统的结构进行说明。其中，在本说明书中，预测模型分布系统是使用加密后的预测模型(以下，为分布化预测模型)和以与分布化预测模型同样的方法加密后的用户信息(以下，为分布化特征量)，在维持加密的状态下进行预测处理的系统。以下，也将预测模型分布系统称为隐匿预测系统。另外，以下也将分布化以及加密称为隐匿化。
[1.1预测模型分布系统的整体构成]
图1是表示本公开的实施方式1涉及的预测模型分布系统的整体构成的一例的图。如图1所示，预测模型分布系统例如具备用户终端装置100、数据提供装置200以及三个数据运算装置300、310、320。各装置间的通信只要是有线的互联网线、无线通信、专用通信等中的任意一个即可。
在此，数据运算装置300、310、320分别是一个云服务器或包含于一个云服务器的装置。
在预测模型分布系统中，例如，企业或者团体将预测处理所需要的数据(以下，为预测模型)从数据提供装置200隐匿地发送至三个云服务器即数据运算装置300、310、320。在用户利用隐匿预测系统的服务时，用户将自身的信息(以下，为特征量)从用户终端装置100隐匿地发送至三个云服务器即数据运算装置300、310、320。三个云服务器相互进行通信，由此各个云服务器利用由其他云服务器获得的数据并在使数据维持隐匿的状态下计算预测结果，三个云服务器将分别获得的预测结果向用户终端装置100发送。
此外，用户终端装置100可以是一个以上，数据提供装置200也可以是一个以上。并且，在图1所示的例子中，预测模型分布系统具备三个数据运算装置，但至少具备两个数据运算装置。关于详细原因会在后面说明。对概要进行说明，关于在本公开中使用的保密分布法，加上保密分布法中使用的除数的次数根据分布数据的数量而增加。因此，使用一个分布后的数据，无法算出除数，所以需要至少两个分布后的数据。因此，在使数据维持隐匿的状态下算出的预测结果也维持被隐匿的状态，为了获得解码后的预测结果，需要两个以上的被隐匿的预测结果。
此外，构成预测模型分布系统的各装置间的通信可以不是实时的通信。例如，用户终端装置100可以一定程度地收集感测出的用户信息或者隐匿预测处理(以下，也称为预测处理)的请求命令，同时发送至多个数据运算装置300、310、320。
[1.2用户终端装置]
图2是表示用户终端装置100的结构的一例的图。用户终端装置100包括感测部101、特征量算出部102、特征量分布部103、解码部104、预测结果利用部105、通信部106而构成。用户终端装置100被安装于例如具备处理器(微处理器)、存储器、传感器、通信接口等的计算机或者移动终端。
用户终端装置100对例如用户的血压、心跳、CT扫描信息等与用户相关的信息即隐私数据进行感测，算出特征量并向数据运算装置300、310、320发送。并且，用户终端装置100向数据运算装置300、310、320请求与所算出的特征量对应的预测结果，从数据运算装置300、310、320获得预测结果，并在预测模型分布系统中的服务中加以利用。
[1.2.1感测部]
感测部101包括一个以上测量装置而构成，上述测量装置是用于对关于用户的信息进行感测的传感器。
进行感测的信息可以是例如用户的血压、体温、心跳等生命数据、对用户的身体进行拍摄或者测量而得到的面部图像、回波信息、CT扫描信息等图像信息等。
另外，进行感测的信息可以是例如通过GPS(Global Positioning System)获得的位置信息、表示用户操作了电气设备或者车辆等移动体的历史记录的日志信息、或者用户对商品等的购入历史记录信息等。
日志信息是与例如车辆的转向操作、加速操作、制动操作、变速齿轮的操作等关联地取得或者测量的各种信息，可以是例如将位移量、速度、加速度等与操作时刻相关联的信息。
进行感测的用户的信息可以是例如用户不想让他人知道的个人情况即隐私数据。
预测模型分布系统是用于在使隐私数据维持隐匿的状态下进行二值化神经网络(Binarized Neural Networks)的预测处理的预测模型分布系统，且是维持隐匿地算出预测结果的隐匿预测系统。在此，假设由感测部101感测出的关于用户的信息是隐私数据来进行说明。
[1.2.2特征量算出部]
特征量算出部102根据由感测部101所取得的用户的隐私数据算出特征量。特征量算出部102所算出的特征量可能由包括多个分量的矢量来进行表示。
该特征量包括表示与例如关于用户的身体整体或者一个部位的形状、尺寸、重量、状态以及活动中的至少一个关联的指标的分量。
此外，成为特征量的对象的用户身体的部位可以是任何部位，例如眼、鼻、耳、手、足、脏器、血管等。
作为关于用户的身体整体或者一个部位的状态，可以举出例如健康状态，如针对健康诊断所使用的各种检查项目的状态、水份量、血压、氧饱和度等。
另外，作为关于用户的身体整体或者一个部位的活动，可以举出例如身体活动，具体而言为每单位时间的翻身次数等，微振动如心率、呼吸数、吸气呼气比率等。
此外，特征量是例如用户的面部图像中的特征性参数的主分量。特征量可以是例如某区域的位置、面积、宽度等信息。另外，特征量可以是以矢量表示的信息，所述矢量包括根据表示由感测部101对用户测定出的某些要素的历史记录信息，例如以多项式表达与时间轴对应的要素的趋势的情况下的各项的系数作为分量。
从由感测部101取得的信息中提取出的特征量本身也可能是隐私数据。图9是表示本实施方式中的特征量的一例的图。
[1.2.3特征量分布部]
特征量分布部103对由特征量算出部102算出的特征量通过预先确定的方法进行分布来隐匿。在特征量分布部103中，使用能够在数据运算装置300、310、320中维持分布的状态地使用特征量来进行预测处理的方法例如非专利文献3的Shamir(2，3)阈值保密分布法来使特征量进行分布，据此制作分布后的特征量(以下，还称作分布化特征量)。
保密分布法是指从保密信息生成多个分布信息的技术。分布信息被制作成能够从预先确定的组合对保密信息进行复原，但无法从其以外的组合对保密信息进行复原。能够对确定的组合采用各种构造，该构造被称作访问构造。虽然存在各种访问构造，但作为代表性的访问构造，对阈值型访问构造进行说明。阈值型访问构造用生成的分布信息的数n和阈值k这两个参数来表示。虽然能够从k个以上的分布信息复原保密信息，但无法从小于k个的分布信息复原保密信息。具有阈值型访问构造的保密分布法中存在例如上述的Shamir(2，3)阈值保密分布法，包含用于将保密信息作为输入来生成三个分布信息的分布处理和从两个以上的分布信息复原保密信息的复原处理。
此外，保密分布法并不局限于非专利文献3中记载的方法，还可以使用非专利文献4或者非专利文献5中所示的方法。分布处理所使用的标准(日语：法)p预先在系统中确定，由特征量分布部103保持。图10是表示本实施方式中的分布化特征量的一例的图。
[1.2.4解码部]
解码部104从数据运算装置300、310、320分别接收与用户终端装置100发送至数据运算装置300、310、320的分布后的特征量对应的预测结果并进行解码。这些预测结果是在保持被分布的状态下对通过保密分布法分布后的特征量以及预测模型进行使用而获得的结果，是被加密了的预测结果。关于这些预测结果的解码方法，使用例如非专利文献3、非专利文献4以及非专利文献5中的任一方法即可。
[1.2.5预测结果利用部]
预测结果利用部105利用由解码部104解码后的预测结果。作为利用预测结果的一例，是将预测结果提示给用户，即预测结果的提示。预测结果的提示例如可以是图像，也可以是声音。在预测结果的提示为图像的情况下，该提示以例如基于预测结果的图表、统计信息等形式被显示。另外，在预测结果的提示为声音的情况下，该提示以例如基于预测结果的声音被输出。此外，预测结果的提示还可以是图像和声音。在该情况下，用户终端装置100例如以包含显示图像的显示器、输出声音的扬声器等声音输出装置以及其他的用户接口的方式被安装，可以提示预测结果。
另外，预测结果利用部105基于预测结果，进一步进行规定的运算或者信息检索等，向用户提示在医院的诊查方案、用于改善生活习惯的建议、或者推荐的菜单等。
[1.2.6通信部]
通信部106与多个数据运算装置300、310、320进行通信。通信部106将由特征量分布部103制作的分布后的特征量分别发送至数据运算装置300、310、320。将在以下的数据运算装置的项中详细进行说明，多个数据运算装置300、310、320以接收这些分布化特征量为触发，将这些分布化特征量保持被隐匿的状态加以使用来执行预测处理。另外，通信部106接收数据运算装置300、310、320分别计算出的预测结果并发送至解码部104。其中，这些预测结果如上所述为加密后的预测结果。
[1.3数据提供装置]
接下来，对数据提供装置200进行说明。如图1所示，数据提供装置200例如是用于企业或者团体将预测处理所需的数据隐匿地提供给数据运算装置300、310、320的装置。
图3是表示本实施方式中的数据提供装置200的结构的一例的图。数据提供装置200包含学习数据保存部201、学习部202、预测模型变换部204、预测模型分布部205、通信部206以及预测模型保存部203而构成。
数据提供装置200例如根据企业或者团体所持有的将血压、心跳、CT扫描信息等生物体信息和与生物体信息对应的症例相关联的数据，通过二值化神经网络(BinarizedNeural Networks)的学习处理来制作预测模型。然后，数据提供装置200通过保密分布法使所制作的预测模型进行分布，并保持隐匿的状态地发送至多个数据运算装置300、310、320。
[1.3.1学习数据保存部]
学习数据保存部201保存用于制作在使输入维持隐匿的状态下进行预测处理所需要的预测模型的学习数据。学习数据是与由用户终端装置100的特征量算出部102算出的特征量相同性质的数据和正解数据的组，该正解数据对应于与该特征量相同性质的数据。在本实施方式中，例如，将根据多个患者的生命数据算出的特征量和作为与该特征量对应的正解数据的患者的病名的组作为学习数据。
[1.3.2学习部]
在学习部202中，对保存在学习数据保存部201中的学习数据，通过预先确定的方法进行学习处理，制作预测模型。关于学习处理，例如使用非专利文献7所示的方法。图12是表示本实施方式中的预测模型的一例的图。
[1.3.3预测模型保存部]
预测模型保存部203保存由学习部202制作出的预测模型。
[1.3.4预测模型变换部]
预测模型变换部204对保存在预测模型保存部203中的预测模型进行变换处理。
图11是表示本实施方式中的预测处理的均一化处理的一例的图。图11的(式A)是表示二值化神经网络(Binarized Neural Networks)中的预测处理的均一化处理的一例的式子。(式A)的γ、σ、ε、β、μ是预测模型中包含的已完成学习的参数，x表示均一化处理的输入，y表示均一化处理的输出。关于表示(式A)的一部分的图11的(式B)以及(式C)，由于上述的五个已完成学习的参数为固定值，所以能够在预测处理之前进行计算。因此，在预测模型变换部204中，在均一化处理之前预先进行(式B)以及(式C)的计算，并将其作为新的预测模型。以下，将预先进行图11的(式B)以及(式C)的计算也称为预先计算。
由此，能够减少数据运算装置300、310、320中的计算量以及通信量。
在由预测模型分布部205通过保密分布法分布预测模型时，由于无法处理小数，所以在预测模型变换部204中，对制作出的预测模型乘以预先确定的数值，舍去小数点之后，由此进行整数化。例如，将制作出的预测模型扩大10倍，并舍去小数点之后来进行整数化(参照图13A以及图13B)。
另外，在由预测模型分布部205通过保密分布法分布预测模型时，由于无法处理负的数值，所以在预测模型变换部204中将预测模型中的以负的数值表示的要素变换成正的数值，制作变换预测模型。例如，在某要素x为负的数值的情况下，对于分布处理所使用的标准p，将要素x变换成p+x(参照图13B以及图13C)。
图13A是表示本实施方式中的预先计算后的预测模型的一例的图。在图13A中，示出将图12所示的五个参数γ、σ、ε、β、μ代入图11的(式B)以及(式C)而算出的新的参数s以及参数t。参数s以及参数t包含小数。如上所述，在对分布预测模型进行分布时，由于无法处理小数，故将小数进行整数化。在此，将参数s以及参数t扩大10倍，并舍去小数点之后来进行整数化。
图13B是表示本实施方式中的整数化后的预测模型的一例的图。如图13B所示，整数化后的参数s以及参数t包含负的数值。如上所述，在分布对预测模型进行分布时，由于无法处理负的数值，故将负的数值变换成正的数值。具体而言，对负的数值加上保密分布法所使用的除数p(上述的标准p)，将负的数值变换成正的数值。例如，若设为p＝65519，则上述参数中的负的数值被变换成与负的数值对应的非常大的正的数值。
图13C是表示本实施方式中的将负的数值变换成正的数值的预测模型的一例的图。如上所述，图13C所示的参数s以及参数t是对整数化后的预测模型中的负的数值加上标准p，由此变换成与该负的数值对应的非常大的正的数值。其中，在图13C中，p＝65519。
[1.3.5预测模型分布部]
预测模型分布部205将由预测模型变换部204制作出的变换预测模型通过预先确定的方法进行分布并隐匿。在预测模型分布部205中，制作分布后的预测模型(以下，也称为分布化预测模型)，该分布后的预测模型能够在数据运算装置300、310、320中保持对特征量加密的状态地进行预测处理。在预测模型分布部205中，例如使用非专利文献3的Shamir(2，3)阈值保密分布法进行分布，制作分布化预测模型。
此外，如上所述，作为保密分布法，并不限于非专利文献3的方法，也可以使用非专利文献4以及非专利文献5中的某一个所示的方法。分布处理所使用的标准p预先由系统确定，并由预测模型分布部205保持。
[1.3.6通信部]
通信部206与数据运算装置300、310、320进行通信。通信部206将由预测模型分布部205制作出的分布化预测模型发送给多个数据运算装置300、310、320。
[1.4数据运算装置]
接下来，对数据运算装置进行说明。如图1所示，数据运算装置300、310、320例如是云服务器。在预测模型分布系统中，数据运算装置300包括两个以上即可。在本实施方式中，三个数据运算装置300、310、320分别相互进行通信，由此在使数据维持隐匿的状态下计算预测结果并向用户终端装置100发送。更具体地，在数据运算装置300、310、320中，对分布化预测模型输入分布化特征量，并用分布化预测模型执行预测处理。以下，对本实施方式中的数据运算装置300、310、320更具体地进行说明。
图4是表示数据运算装置300的结构的一例的图。数据运算装置300包括分布化预测模型保存部301、预测运算部302以及通信部303而构成。数据运算装置300将从用户终端装置100接收到的分布化特征量和从数据提供装置200接收到的分布化预测模型保持被分布的状态地加以使用来进行预测处理。其中，数据运算装置310、320具有与数据运算装置300相同的结构。
[1.4.1分布化预测模型保存部]
分布化预测模型保存部301保存从数据提供装置200接收到的被分布的预测模型。
[1.4.2预测运算部]
预测运算部302使用保存在分布化预测模型保存部301中的分布化预测模型和从用户终端装置100接收到的分布化特征量，进行预测处理。在预测运算部302中，将分布化预测模型和分布化特征量保持被分布的状态地加以使用来进行预测处理，求出分布化预测结果。
图14是表示本实施方式中的预测处理的流程的概要的图。预测处理通过矩阵积运算、数据分布的均一化处理、非线性处理、最大值搜索这四个处理被执行。在预测处理中，在矩阵积运算、数据分布的均一化处理、非线性处理被反复执行规定的次数后，通过最大值搜索来获得预测结果。
首先，对矩阵积运算进行说明。在矩阵积运算中计算被分布的输入矢量即分布化特征量与分布化预测模型所包含的分布化权重矩阵的矩阵积。图15是表示本实施方式中的变换前的权重矩阵的一例的图。如图15所示，预测模型是多个参数包括由1或者-1这二值构成的参数的二值化神经网络。在本实施方式中，分布化预测模型例如是利用保密分布法对通过将图15所示的预测模型所包含的多个参数中的负的数值变换成正的数值而得到的变换后的预测模型分布进行了分布的加密后的预测模型，未进行图示。另外，分布化特征量是对根据由感测获得的数据算出的特征量与预测模型同样地通过保密分布法进行分布而得到的加密后的特征量。例如，如图10所示，分布化特征量是对一个特征量(例如，特征量1)通过保密分布法进行分布而得到的三个加密后的特征量。具体而言，图9所示的特征量1为12，在对该特征量1加上保密分布法所使用的除数(这里为26)时，算出如图10所示的发送至数据运算装置300的特征量1的分布化特征量38。如上述那样，关于保密分布法的除数，根据分布数据的个数，除数的加法运算次数增加。具体而言，第2个分布化特征量通过将除数26加上两次来获得。例如，第2个分布化特征量是图10所示的被发送至数据运算装置310的特征量1的分布化特征量64。
接下来，对通过矩阵积运算得到的数据分布的均一化处理进行说明。图16是表示本实施方式中的数据分布的均一化处理所使用的式子的一例的图。在图16中，x为输入矢量，是通过上述的矩阵积运算算出的矢量。另外，矢量s以及矢量t是预测模型中包含的均一化参数。图16对应于通过图11的(式A)、(式B)以及(式C)得到的式子y＝sx+t。其中，y是输出矢量，是通过均一化处理算出的矢量。均一化处理通过输入矢量与均一化参数的和与积而计算。通过进行均一化处理，能够减少重复进行矩阵积运算、均一化处理、非线性处理的次数。此外，在本实施方式中，使用图13C所示的矢量s以及矢量t，作为均一化参数。
接下来，对非线性处理进行说明。非线性处理是对通过均一化处理算出的矢量(例如，上述的y)即分布后的输入矢量的各个要素进行非线性变换的处理。非线性处理例如如果针对非线性处理的输入为与0或者正对应的数值，则变换成与1对应的正的数值，若输入为与负对应的数值，则变换成与-1对应的正的数值。
在预测处理中，在上述的矩阵积运算、数据分布的均一化处理以及非线性处理被重复执行规定的次数后，进行最大值搜索。
接下来，对最大值搜索进行说明。在最大值搜索中，在分布后的输入矢量的全部要素中搜索最大值的要素。关于最大值检索，例如通过在针对最大值检索的输入矢量的全部要素间比较大小关系并计算比较结果的逻辑积来实现。更具体地，在最大值检索中，对各要素，将其与其他全部要素分别独立地比较大小关系。比较结果以0和1这二值表示。例如，若某要素的值与其他要素的值相同或者比其他要素的值大，则比较结果以1表示，若某要素的值比其他要素的值小，则比较结果以0表示。全部要素的与其他要素的大小关系的比较结果被保存在比较表中。该情况下，全部要素中最大值的要素与其他要素的大小关系的比较结果会全部为1。因此，在计算了比较结果的逻辑积的情况下，关于逻辑积，仅最大值的要素的逻辑积为1，其以外的要素的逻辑积会全部为0。通过利用该特性，能够提取最大值的要素。
如上述那样，在本实施方式中，矩阵积运算、数据分布的均一化处理、非线性处理以及最大值搜索这四个处理，能够仅通过针对各个处理的输入的和、积、大小关系的比较、逻辑积而构成。在非专利文献6中，不对两个分布后的值进行解码就能够计算它们的值的和、积、大小关系的比较以及逻辑积。由此，通过对预测处理使用非专利文献6的方式，能够在不对分布化预测模型和分布化特征量进行解码而使输入维持隐匿的状态下进行预测处理。
[1.4.3通信部]
数据运算装置300的通信部303与用户终端装置100、数据提供装置200、其他的数据运算装置310、320进行通信。通信部303从数据提供装置200接收分布化预测模型，并将所接收的分布化预测模型保存于分布化预测模型保存部。通信部303从用户终端装置100接收分布化特征量，并将所接收的分布化特征量向预测运算部302发送。另外，通信部303将由预测运算部302算出的分布化预测结果发送至用户终端装置100。
如上所述，数据运算装置300在不对分布化预测模型和分布化特征量进行解码而维持它们被分布的状态下即在维持隐匿的状态下进行预测处理。因此，通信部303对其他的数据运算装置310、320发送对分布化预测模型以及分布化特征量施加了处理后的数据。
[2.预测模型分布系统的工作(预测模型分布方法)]
对预测模型分布系统的工作的一例进行说明。预测模型分布系统的工作包括数据提供装置200对预测模型进行学习并进行分布的学习阶段和多个数据运算装置300、310、320利用分布后的预测模型(所谓的分布化预测模型)进行分布后的特征量(所谓的分布化特征量)预测的预测阶段这2个阶段。
[2.1学习阶段]
首先，对预测模型分布系统的学习阶段的工作进行说明。图5是表示本实施方式涉及的预测模型分布系统的学习阶段的工作的一例的时序图。
在学习步骤S101中，数据提供装置200参照保存在学习数据保存部201中的学习用数据，通过学习部202进行作为二值化神经网络(Binarized Neural Networks)的预测模型的学习处理。
由此，制作用于进行预测处理的预测模型。制作出的预测模型被保存于预测模型保存部203。
接下来，在预测模型变换步骤S102中，数据提供装置200对制作出的预测模型通过预测模型变换部204应用变换处理。具体而言，在预测模型变换步骤S102中，数据提供装置200通过将作为神经网络的预测模型所包含的多个参数中的负的数值变换成正的数值，对该预测模型进行变换。
更具体地，在预测模型变换步骤S102中，将预测模型所包含的多个参数中的小数的值变换成整数的值，接下来将多个参数中的负的数值变换成正整数。
由此，由于能够将包含负的数值的预测模型仅以正的数值来表现，所以即使在通过保密分布法使预测模型分布后，也能够正确地进行计算。
接下来，在预测模型分布化步骤S103中，数据提供装置200通过保密分布法对在预测模型变换步骤S102中变换得到的预测模型进行分布。由此，得到分布后的预测模型(所谓的分布化预测模型)。
接下来，在步骤S104中，数据提供装置200将在预测模型分布化步骤S103中得到的分布化预测模型发送至多个数据运算装置300、310、320。
接下来，在步骤S105中，数据运算装置300、310、320将从数据提供装置200接收到的分布化预测模型保存于分布化预测模型保存部301。
综上所述，在学习阶段，数据提供装置200制作用于进行预测处理的预测模型，通过保密分布法对所作成的预测模型进行分布来制作分布化预测模型。由此，能够将预测模型在维持隐匿的状态下发送至多个数据运算装置300、310、320。
[2.2预测阶段]
接下来，对预测模型分布系统的预测阶段进行说明。图6以及图7是表示本实施方式涉及的预测模型分布系统的预测阶段中的用户终端装置100的工作的一例的时序图。
首先，在步骤S201中，用户终端装置100通过感测部101取得信息。在此，通过感测取得的信息是用户的隐私数据。通过感测部101取得的信息被发送至特征量算出部102。
接下来，在特征量算出步骤S202中，用户终端装置100利用特征量算出部102，根据从感测部101接收到的信息算出特征量。特征量是表示从感测部101接收到的信息的特征的值。再次参照图9，在图9中，特征量1、特征量2以及特征量3作为上述特征量的例子被示出。
接下来，在特征量分布化步骤S203中，用户终端装置100通过保密分布法对在特征量算出步骤S202中算出的特征量进行分布。由此，得到分布后的特征量(所谓的分布化特征量)。在此，再次参照图10，对分布化特征量的算出方法进行说明。例如，在通过感测部101感测出的用户的信息为特征量1的情况下，特征量1被分布成与数据运算装置的数量对应的个数(这里为3个)。对特征量1加上保密分布法所使用的除数(这里为26)，算出发送至数据运算装置300的分布化特征量。进而，对该分布化特征量加上26，算出发送至数据运算装置310的分布化特征量。进而，对该分布化特征量加上26，算出发送至数据运算装置320的分布化特征量。
接下来，在步骤S204中，用户终端装置100将分布化特征量发送至多个数据运算装置300、310、320。具体而言，如图10所示，用户终端装置100将对特征量1、特征量2以及特征量3分别进行分布而得到的分布化特征量发送至多个数据运算装置300、310、320。
多个数据运算装置300、310、320，在分别从用户终端装置100接收到分布化特征量时，读出保存在分布化预测模型保存部(数据运算装置300中为分布化预测模型保存部301)中的分布化预测模型，开始进行预测处理步骤S205。
在预测处理步骤中，多个数据运算装置300、310、320对分布化特征量和分布化预测模型在维持分布的状态下加以使用，进行二值化神经网络(Binarized NeuralNetworks)的预测处理。此外，将在下文说明预测处理步骤S205的详细内容。
由此，多个数据运算装置300、310、320分别取得分布化预测结果作为预测处理的结果。此外，在使用非专利文献6的方式进行了预测处理的计算的情况下，在进行预测处理时，需要在多个数据运算装置300、310、320之间对多个数据运算装置300、310、320各自所具有的分布后的信息以及对分布后的信息进行预测处理而得到的数据进行通信。
接下来，在步骤S206中，多个数据运算装置300、310、320分别将分布化预测结果向用户终端装置100发送。
接下来，在步骤S207中，用户终端装置100接收从多个数据运算装置300、310、320发送来的分布化预测结果，并对所接收的分布化预测结果进行解码，获得预测结果。
最后，在步骤S208中，用户终端装置100在预测结果利用部105中利用所取得的预测结果。
综上所述，在预测阶段，数据提供装置200制作用于进行预测处理的预测模型，通过保密分布法对所作成的预测模型进行分布来制作分布化预测模型。由此，能够将预测模型在维持隐匿的状态下发送至多个数据运算装置300、310、320。
[2.3预测处理步骤S205]
多个数据运算装置300、310、320以从用户终端装置100接收到分布化特征量为触发，开始进行预测处理步骤S205。在预测处理步骤S205中，多个数据运算装置300、310、320将分布化特征量和分布化预测模型以维持被分布的状态加以使用，进行二值化神经网络(Binarized Neural Networks)的预测处理。
以下，对于预测模型分布系统的预测处理步骤S205，更具体地进行说明。图8是表示本实施方式涉及的预测模型分布系统的预测阶段中的多个数据运算装置300、310、320的工作的一例的时序图。
首先，在矩阵积运算步骤S301中，多个数据运算装置300、310、320，在接收到分布化特征量(参照图10)即分布后的输入矢量时，计算与作为分布化预测模型的分布化权重矩阵(参照图15)的矩阵积，获得第一分布化矢量作为输出。更具体地，以数据运算装置300中的工作为例进行说明，数据运算装置300，在从用户终端装置100接收到分布化特征量时，读出保存于分布化预测模型保存部301中的分布化预测模型。接下来，数据运算装置300计算分布化特征量与分布化预测模型的矩阵积，获得作为第一分布化特征量的第一分布化矢量。其中，分布化预测模型(这里为分布化权重矩阵)通过利用保密分布法对全部的要素被变换成正的数值的变换后的预测模型进行分布而得到。更具体地，关于图15中例示的作为二值化神经网络的预测模型(这里为权重矩阵)，该预测模型的多个参数(即要素)中的-1被变换成与-1对应的正的数值。预测模型的全部要素以正的数值表示，由此预测模型分布系统能够通过保密分布法对该预测模型进行分布。
接下来，在均一化处理步骤S302中，多个数据运算装置300、310、320使用矩阵积运算步骤S301中作为输出获得的第一分布化矢量和均一化参数(参照图16)，按第一分布化矢量所包含的各要素计算积以及和，取得作为第二分布化特征量的第二分布化矢量作为输出。具体而言，如图16所示，第二分布化矢量通过将各要素x1～x4分别代入由图11的(式A)～(式C)导出的均一化处理的式子y＝sx+t来求出。
接下来，在非线性处理步骤S303中，将均一化处理步骤S302中作为输出获得的第二分布化矢量作为针对非线性处理的输入矢量，进行非线性处理。更具体地，在非线性处理步骤S303中，若输入矢量的各要素为与0或者正对应的数值则变换成与1对应的正整数，若输入矢量的各要素为与负对应的数值则变换成与-1对应的正整数。由此，在非线性处理步骤S303中，取得作为第三分布化特征量的第三分布化矢量作为输出。
接下来，多个数据运算装置300、310、320使用在非线性处理步骤S303中作为输出获得的第三分布化矢量和分布化预测模型来执行矩阵积运算步骤S301。接下来，多个数据运算装置300、310、320将在矩阵积运算步骤S301中获得的第四分布化矢量作为输入，执行了均一化处理步骤S302后，将在均一化处理步骤S302中获得的第五分布化矢量作为输入，执行非线性处理步骤S303。由此得到第六分布化矢量。
这样，上述的矩阵积运算步骤S301、均一化处理步骤S302以及非线性处理步骤S303的一系列的步骤，被重复进行规定的次数。再次参照图14，在本实施方式中，例如，该一系列的步骤(所谓的层)被重复进行两次。由此，得到第六分布化矢量。接下来，在矩阵运算步骤S304中，多个数据运算装置300、310、320算出将上述一系列的步骤S301～S303重复进行规定的次数(这里为两次)作为输出获得的第六分布化矢量与权重矩阵的矩阵积。由此，得到第七分布化矢量。接下来，在均一化处理步骤S305中，对在矩阵运算步骤S304中获得的第七分布化矢量执行均一化处理。由此，得到第八分布化矢量。最后，在最大值搜索步骤S306中，搜索均一化处理步骤S305中获得的第八分布化矢量中的最大值的要素。由此，得到分布化预测结果。
综上所述，在本实施方式涉及的预测模型分布方法中，通过将预测模型的多个参数中的负的数值变换成正的数值，能够通过保密分布法对预测模型进行分布。由此，将分布化特征量以及分布化预测模型在维持被分布的状态下加以使用，换句话说，能够在维持隐匿的情况下进行预测处理。因此，即使在预测处理的中途第三方获得了预测处理涉及的数据，也难以解码出原数据。因此，通过适用本实施方式涉及的预测模型分布方法，能够保护用户的隐私数据以及企业独自的技术秘密等机密性高的信息以不被第三方获知。另外，例如，如均一化参数那样，通过预先计算预测模型的多个参数的一部分，能够使预测处理高速化。
(其他实施方式)
以上，基于实施方式对本公开涉及的预测模型分布系统以及预测模型分布方法进行了说明，本公开并不限定于上述的实施方式。只要不脱离本公开的主旨，对实施方式实施了本领域技术人员能够想到的各种变形而得到的实施方式和/或组合实施方式中的一部分构成要素而构建的其它实施方式，也包含在本公开的范围内。例如，以下的情况也包含于本公开。
(1)在上述实施方式中，示出数据提供装置200在预测模型变换部204中，将预测模型中包含的多个参数(以下，也称为要素)中的负的数值变换成正的数值的例子，但不限定于此。预测模型变换部204还可以对预测模型进行以下所示的变换处理。对某要素x(这里，x为整数)，设为x＝ab(其中，a是表示x的符号的符号部，b是表示x的绝对值的数值部)。对符号部a，若某要素x为0或者正的数值则代入0，若某要素x为负的数值则代入1。另外，对数值部b代入x的绝对值。这样一来，某要素x被变换成a与b的组(a，b)。通过对预测模型中包含的全部的要素应用上述变换处理，能够将预测模型中包含的负的数值变换成正的数值。因此，变换处理后的预测模型所包含的所有要素仅以正的数值(这里为正整数)表示。由此，预测模型分布部205能够将变换处理后的预测模型通过保密分布法进行分布。
(2)在上述实施方式中，示出数据提供装置200在预测模型变换部204中，使用完成学习的参数事先对均一化处理的式子中包含的参数s以及参数t进行计算时的参数s以及参数t的变换处理的一例，但并不限定于此。预测模型变换部204还可以对均一化处理的式子进行以下所示的变换处理。预测模型变换部204事先即在均一化处理之前通过计算图11的(式B)以及(式C)来确定参数s以及参数t。由此，图11的(式A)以y＝sx+t进行表示。因此，预测运算部302能够使用均一化处理的式子y＝sx+t对输入x进行均一化处理。在均一化处理之后，进行非线性处理。在非线性处理中，比较作为sx+t的计算结果的输出y与0的大小关系。例如，在比较某数值与0的大小关系的情况下，即便用某数值除以任何正的数值，该数值与0的大小关系的比较结果也不发生变化。由此，在比较均一化处理的输出y与0的大小关系的情况下，可以使用用y除以规定的正的数值而得到的数值代替y而用于该比较。例如，关于上述均一化处理的式子中的s，若设为s＝cd(其中，c表示x的符号，d表示s的绝对值)，则用均一化处理的输出y除以s的绝对值d，会成为y/d＝cx+t/d。数据提供装置200在预测模型变换部204中也可以事先计算t/d。由此，预测运算部302能够使用用y除以规定的正的数值而得到的式子即y/d＝cx+t/d作为均一化处理的式子，对输入x进行均一化处理。综上所述，预测运算部302若使用均一化处理的式子y/d＝cx+t/d，则与使用上述实施方式中的均一化处理的式子y＝sx+t的情况相比能够进一步减少计算量。
(3)在上述实施方式中，作为预测运算部302中的非线性处理的一例，使用若对于非线性处理的输入为与0或者正对应的数值，则变换成与1对应的正的数值，若该输入为与负对应的数值则变换成与-1对应的正的数值的处理，但并不限定于此。例如，在非线性处理中，可以应用若输入为0则变换成与0对应的正整数，若输入大于0则变换成与1对应的正整数，若输入小于0则变换成与-1对应的正整数的处理等非线性处理后的数值为用0以上表示的三个整数的变换处理。
(4)在上述实施方式中，作为预测运算部302中的最大值搜索处理的一例，例举出如下处理方法：关于各要素，比较其与其他全部要素的大小关系，判定为比较结果的逻辑积为1的要素是最大值的要素，但并不限定于此。例如，在最大值搜索处理中，还可以通过以下的处理来求出最大值的要素(以下，为最大值要素)。将对于最大值搜索处理的输入矢量的多个要素中的第一个要素(设为要素A)设为暂定最大值要素，依次比较要素A与其余的要素的大小关系。在发现了比作为暂定最大值要素的要素A大的要素(设为要素B)的情况下，将要素B设为新的暂定最大值要素，并依次比较要素B与其余的要素的大小关系。假设与全部要素进行了比较的阶段中的暂定最大值要素为要素B，则将要素B的数值和编号作为最大值搜索处理的输出。
(5)另外，预测运算部302中的最大值搜索处理也可以通过以下的处理求出最大值要素。例如，关于对于最大值搜索处理的输入矢量的全部要素，在相邻的要素彼此间比较大小关系，排除小的要素。能够通过重复该处理，判定最后剩下的一个要素为最大值要素，从而求出最大值要素。
(6)在上述实施方式中，叙述了用户终端装置100利用预测结果的处理的一例，但还可以进行如下所示那样的处理。用户在收到预测结果并进行解码后，可以将与预测结果的正误以及有用度相关的信息发送至数据提供装置200。
(7)在上述实施方式中，叙述了用户终端装置100利用预测结果的处理的一例，但还可以进行如下所示那样的处理。用户终端装置100从多个数据运算装置300、310、320接收到预测结果并解码后，将与预测结果的正误以及有用度相关的信息与输入至预测模型分布系统的与用户相关的信息(以下，为用户信息)一起发送至数据提供装置200。
(8)在上述实施方式中，叙述了数据提供装置200所进行的处理的一例，但还可以进行如下那样的处理。数据提供装置200基于从用户终端装置100接受到的用户信息和与预测结果相关的信息的组，或者仅基于与预测结果相关的信息来进行预测模型的再学习。并且，数据提供装置200通过保密分布法使通过再学习而新作成的预测模型进行分布，作为新的分布化预测模型发送至多个数据运算装置300、310、320。多个数据运算装置300、310、320将接收到的新的预测模型保存于预测模型保存部，对预测模型进行更新。
(9)上述的实施方式中的各装置，具体而言为由微处理器、ROM(Read OnlyMemory：只读存储器)，RAM(Random Access Memory：随机存取存储器)、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。RAM或者硬盘单元中记录有计算机程序。微处理器按照上述计算机程序进行工作，由此各装置实现其功能。在此，计算机程序是为了实现规定的功能而将表示针对计算机的指令的多个命令码进行组合而构成的程序。
(10)关于上述的实施方式中的各装置，要构成的构成要素的一部分或者全部可以由一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是将多个构成部集成在一个芯片上制造出的超多功能LSI，具体而言，是构成为包含微处理器、ROM、RAM等的计算机系统。在RAM中记录有计算机程序。微处理器依照计算机程序而工作，由此系统LSI实现其功能。
另外，构成上述各装置的构成要素的各部可以分别独立地单芯片化，也可以按照包含一部分或者全部的方式单芯片化。
另外，这里虽然说明了系统LSI，但根据集成度的不同，也会称为IC(Integratedcircuit)、LSI、超大规模集成电路(super LSI)，极大规模集成电路(ultra LSI)。另外，集成电路化的方法并不限于LSI，也可以通过专用电路或者通用处理器实现。也可以利用能够在LSI制造后进行编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、能够重构LSI内部的电路单元的连接或者设定的可重构处理器。
另外，如果由于半导体技术的进步或者派生的其他技术而出现替代LSI的集成电路化技术，当然也可以使用该技术来进行功能模块的集成化。也存在应用生物技术等的可能性。
(11)构成上述各装置的构成要素的一部分或者全部还可以由能够相对于各装置装卸的IC卡或者单体模块构成。IC卡或者上述模块是由微处理器、ROM、RAM等构成的计算机系统。IC卡或者上述模块也可以包含上述的超多功能LSI。微处理器按照计算机程序进行工作，由此上述IC卡或者上述模块实现其功能。该IC卡或者该模块也可以具有抗篡改性。
(12)本公开还可以是上述所示的方法。另外，既可以是通过计算机实现这些方法的计算机程序，又可以是由上述计算机程序构成的数字信号。
另外，本公开可以是将上述计算机程序或者上述数字信号记录于计算机可读的记录介质，例如软盘、硬盘、CD-ROM、MO(Magneto-Optical disc)、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等。另外，还可以是记录于这些记录介质的上述数字信号。
另外，本公开可以经由电通信线路、无线或者有线通信线路、以互联网为代表的网络、数据播放等传送上述计算机程序或者上述数字信号。
另外，本公开是一种具备微处理器和存储器的计算机系统，存储器可以记录上述计算机程序，微处理器可以按照计算机程序进行工作。
另外，通过将程序或者数字信号记录于记录介质来转移，或者将程序或者上述数字信号经由网络等转移，也可以由独立的其他计算机系统来实施。
(13)可以分别组合上述实施方式以及上述变形例。
产业上的可利用性
本公开能够应用于以在数据运算装置中不用明文处理用户的微妙信息的方式保护隐私的系统等。

Claims (10)

1.一种方法，包括：
取得预测模型，所述预测模型是神经网络；
通过将所述预测模型所包含的多个参数中的负的数值变换成正的数值，取得变换预测模型；以及
通过保密分布法将所述变换预测模型进行分布，由此取得分布化预测模型，所述分布化预测模型用于使输入维持隐匿的状态下的预测处理。
2.根据权利要求1所述的方法，
所述预测模型是所述多个参数包含以1或者-1这二值构成的参数的二值化神经网络。
3.根据权利要求1或2所述的方法，
所述预测模型的取得包括：
使用事先收集到的学习用数据进行所述预测模型的学习处理。
4.根据权利要求1～3中任一项所述的方法，
所述变换包括：
将所述预测模型所包含的所述多个参数中的小数的值变换成整数的值。
5.根据权利要求1～4中任一项所述的方法，
所述变换包括：
对所述预测模型所包含的所述多个参数中的负的数值加上在所述保密分布法中使用的除数。
6.根据权利要求1～4中任一项所述的方法，
所述变换包括：
将所述预测模型所包含的所述多个参数中的数值变换成符号部和数值部的组，所述符号部用0或者1表示所述数值的符号，所述数值部表示所述数值的绝对值。
7.根据权利要求1～6中任一项所述的方法，
所述变换包括：
根据所述多个参数的一部分生成新的参数。
8.根据权利要求1～7中任一项所述的方法，还包括：
根据通过感测获得的数据算出特征量；以及
通过所述保密分布法将所算出的所述特征量进行分布，由此取得分布化特征量。
9.根据权利要求8所述的方法，还包括：
将所述分布化特征量输入所述分布化预测模型，执行所述预测处理，
所述预测处理包含非线性处理，所述非线性处理是若针对所述非线性处理的输入为与0或者正对应的数值则变换成与1对应的正的数值、若所述输入为与负对应的数值则变换成与-1对应的正的数值的处理。
10.一种系统，包括：
处理器；和
存储器，存储有至少一组指令，在所述指令被所述处理器执行时，使所述处理器执行如下操作：
取得预测模型，所述预测模型是神经网络；
将所述预测模型所包含的多个参数中的负的数值变换成正的数值，由此取得变换预测模型；以及
通过保密分布法将所述变换预测模型进行分布，由此取得分布化预测模型，所述分布化预测模型用于使输入维持隐匿的状态下的预测处理。
CN201811166996.8A 2017-10-13 2018-10-08 预测模型分布方法以及预测模型分布系统 Active CN109670626B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017-199582 2017-10-13
JP2017199582 2017-10-13
JP2018-109618 2018-06-07
JP2018109618 2018-06-07

Publications (2)

Publication Number Publication Date
CN109670626A true CN109670626A (zh) 2019-04-23
CN109670626B CN109670626B (zh) 2024-01-05

Family

ID=63915173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811166996.8A Active CN109670626B (zh) 2017-10-13 2018-10-08 预测模型分布方法以及预测模型分布系统

Country Status (4)

Country Link
US (1) US11436471B2 (zh)
EP (1) EP3471335B1 (zh)
JP (1) JP7300253B2 (zh)
CN (1) CN109670626B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11201910061RA (en) * 2019-01-11 2019-11-28 Alibaba Group Holding Ltd A distributed multi-party security model training framework for privacy protection
JP7368386B2 (ja) * 2019-01-11 2023-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 予測モデル変換方法及びシステム
CN110457936B (zh) * 2019-07-01 2020-08-14 阿里巴巴集团控股有限公司 数据交互方法、装置和电子设备
CN112183757B (zh) * 2019-07-04 2023-10-27 创新先进技术有限公司 模型训练方法、装置及系统
US11755884B2 (en) 2019-08-20 2023-09-12 Micron Technology, Inc. Distributed machine learning with privacy protection
US11392796B2 (en) 2019-08-20 2022-07-19 Micron Technology, Inc. Feature dictionary for bandwidth enhancement
US11636334B2 (en) 2019-08-20 2023-04-25 Micron Technology, Inc. Machine learning with feature obfuscation
KR102420895B1 (ko) * 2019-12-31 2022-07-13 연세대학교 산학협력단 다중 경로 혼합 기반 학습 데이터 획득 장치 및 방법
CN111369260A (zh) * 2020-03-10 2020-07-03 支付宝(杭州)信息技术有限公司 保护隐私的风险预测方法及装置
JPWO2022044281A1 (zh) * 2020-08-28 2022-03-03
JP7451445B2 (ja) 2021-02-10 2024-03-18 株式会社東芝 秘匿演算方法、秘匿演算システム及び秘匿演算管理装置
CN115065463B (zh) * 2022-06-10 2023-04-07 电子科技大学 一种隐私保护的神经网络预测系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006881B1 (en) * 1991-12-23 2006-02-28 Steven Hoffberg Media recording device with remote graphic user interface
US20110167025A1 (en) * 2008-07-24 2011-07-07 Kourosh Danai Systems and methods for parameter adaptation
CN104136908A (zh) * 2011-12-19 2014-11-05 奥普蒂库尔诊断有限公司 用于鉴定培养物中微生物的光谱手段和方法
CN105426956A (zh) * 2015-11-06 2016-03-23 国家电网公司 一种超短期光伏预测方法
US9306965B1 (en) * 2014-10-21 2016-04-05 IronNet Cybersecurity, Inc. Cybersecurity system
WO2016113738A1 (en) * 2015-01-15 2016-07-21 B. G. Negev Technologies And Applications Ltd., At Ben-Gurion University Secret shared random access machine
CN106162167A (zh) * 2015-03-26 2016-11-23 中国科学院深圳先进技术研究院 基于学习的高效视频编码方法
CN106327002A (zh) * 2015-06-30 2017-01-11 松下电器（美国）知识产权公司 需求预测方法和需求预测装置
US20170098172A1 (en) * 2015-10-06 2017-04-06 Evolv Technologies, Inc. Training Artificial Intelligence

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748217B1 (en) * 2015-04-20 2020-08-18 Massachusetts Mutual Life Insurance Company Systems and methods for automated body mass index calculation
US10755172B2 (en) * 2016-06-22 2020-08-25 Massachusetts Institute Of Technology Secure training of multi-party deep neural network
US11042358B2 (en) * 2016-08-18 2021-06-22 Nec Corporation Secure computation system, secure computation method, secure computation apparatus, distribution information generation apparatus, and methods and programs therefor
US11092690B1 (en) * 2016-09-22 2021-08-17 Apple Inc. Predicting lidar data using machine learning
US10452974B1 (en) * 2016-11-02 2019-10-22 Jasmin Cosic Artificially intelligent systems, devices, and methods for learning and/or using a device's circumstances for autonomous device operation
US11062215B2 (en) * 2017-03-17 2021-07-13 Microsoft Technology Licensing, Llc Using different data sources for a predictive model
CN110537191A (zh) 2017-03-22 2019-12-03 维萨国际服务协会 隐私保护机器学习
CN107070638B (zh) * 2017-04-20 2020-06-23 上海海洋大学 一种动态加权门限的海洋遥感影像秘密共享方法
US10839286B2 (en) * 2017-09-14 2020-11-17 Xilinx, Inc. System and method for implementing neural networks in integrated circuits
JP6933367B2 (ja) * 2017-09-20 2021-09-08 Ｔｏｋｙｏ Ａｒｔｉｓａｎ Ｉｎｔｅｌｌｉｇｅｎｃｅ株式会社 ニューラルネットワーク回路装置、システム、処理方法および実行プログラム
EP3461054A1 (en) * 2017-09-20 2019-03-27 Universidad de Vigo System and method for secure outsourced prediction
JP6923159B2 (ja) * 2017-09-26 2021-08-18 株式会社エクォス・リサーチ 情報処理装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006881B1 (en) * 1991-12-23 2006-02-28 Steven Hoffberg Media recording device with remote graphic user interface
US20110167025A1 (en) * 2008-07-24 2011-07-07 Kourosh Danai Systems and methods for parameter adaptation
CN104136908A (zh) * 2011-12-19 2014-11-05 奥普蒂库尔诊断有限公司 用于鉴定培养物中微生物的光谱手段和方法
US9306965B1 (en) * 2014-10-21 2016-04-05 IronNet Cybersecurity, Inc. Cybersecurity system
WO2016113738A1 (en) * 2015-01-15 2016-07-21 B. G. Negev Technologies And Applications Ltd., At Ben-Gurion University Secret shared random access machine
CN106162167A (zh) * 2015-03-26 2016-11-23 中国科学院深圳先进技术研究院 基于学习的高效视频编码方法
CN106327002A (zh) * 2015-06-30 2017-01-11 松下电器（美国）知识产权公司 需求预测方法和需求预测装置
US20170098172A1 (en) * 2015-10-06 2017-04-06 Evolv Technologies, Inc. Training Artificial Intelligence
CN105426956A (zh) * 2015-11-06 2016-03-23 国家电网公司 一种超短期光伏预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
岳璐;张尧;: "中长期负荷预测的模糊竞争学习聚类神经网络算法", no. 08 *
田冷;何顺利;: "基于改进人工神经网络的气水层识别技术", no. 05 *
高鹏;谢忠秋;王志华;: "基于贝叶斯组合分类的SME信贷违约预判模型", no. 18 *

Also Published As

Publication number Publication date
EP3471335A1 (en) 2019-04-17
JP2019215512A (ja) 2019-12-19
JP7300253B2 (ja) 2023-06-29
US11436471B2 (en) 2022-09-06
EP3471335B1 (en) 2021-01-27
US20190114530A1 (en) 2019-04-18
CN109670626B (zh) 2024-01-05

Similar Documents

Publication Publication Date Title
CN109670626A (zh) 预测模型分布方法以及预测模型分布系统
Naidu et al. A Robust medical data sharing application with a collaborative hypothesis and Elastic net regression model
Edalatpanah Neutrosophic structured element
Xu et al. Forecasting tourism demand by extracting fuzzy Takagi–Sugeno rules from trained SVMs
CN112259246B (zh) 一种融合医学概念层级结构的疾病预测方法及相关设备
CN112396191B (zh) 一种基于联邦学习进行模型参数更新的方法、系统及装置
CN109478222A (zh) 保护服务使用者和服务提供者之间交换的数据的方法
Kwan et al. Assessing activity pattern similarity with multidimensional sequence alignment based on a multiobjective optimization evolutionary algorithm
Bell et al. A distribution-free multivariate phase I location control chart for subgrouped data from elliptical distributions
Nita et al. Security and cryptographic challenges for authentication based on biometrics data
Zhu et al. A new one-dimensional compound chaotic system and its application in high-speed image encryption
Gondara et al. Recovering loss to followup information using denoising autoencoders
Lu et al. Prediction of surface topography at the end of sliding running-in wear based on areal surface parameters
Rahman et al. High-security image encryption based on a novel simple fractional-order memristive chaotic system with a single unstable equilibrium point
Demertzis et al. A dynamic intelligent policies analysis mechanism for personal data processing in the IoT ecosystem
CN116644778A (zh) 量子同态神经网络的构建方法及加密图像分类方法
Cotrina et al. Gaussian pseudorandom number generator based on cyclic rotations of linear feedback shift registers
Xia et al. Machine learning prediction of network dynamics with privacy protection
CN113345564A (zh) 一种基于图神经网络的患者住院时长早期预测方法及装置
Tudorache et al. Quantum steganography based on the B92 quantum protocol
Ali-Pour et al. Strong puf enrollment with machine learning: A methodical approach
CN111768826B (zh) 电子健康病例生成方法、装置、终端设备及存储介质
Zhou et al. Homomorphic multi-label classification of virus strains
Chimmalee et al. The effects of community interactions and quarantine on a complex network
AU2020472445A1 (en) Hidden decision tree test device, hidden decision tree test system, hidden decision tree test method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant