CN114245917B - 秘密归一化指数函数计算系统、装置、方法以及记录介质 - Google Patents

秘密归一化指数函数计算系统、装置、方法以及记录介质 Download PDF

Info

Publication number
CN114245917B
CN114245917B CN201980099136.3A CN201980099136A CN114245917B CN 114245917 B CN114245917 B CN 114245917B CN 201980099136 A CN201980099136 A CN 201980099136A CN 114245917 B CN114245917 B CN 114245917B
Authority
CN
China
Prior art keywords
exp
secret
calculation
fraction
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980099136.3A
Other languages
English (en)
Other versions
CN114245917A (zh
Inventor
三品气吹
五十岚大
滨田浩气
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN114245917A publication Critical patent/CN114245917A/zh
Application granted granted Critical
Publication of CN114245917B publication Critical patent/CN114245917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/085—Secret sharing or secret splitting, e.g. threshold schemes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/46—Secure multiparty computation, e.g. millionaire problem

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种高速且高精度地对归一化指数函数进行秘密计算的技术。根据份额([[u1]]，…，[[uJ]])来计算份额([[softmax(u1)]]，…，[[softmax(uJ)]])的秘密归一化指数函数计算系统包括：减法单元，计算份额([[u1‑u1]]，[[u2‑u1]]，…，[[uJ‑uJ]])；第一秘密批量映射计算单元，计算([[exp(u1‑u1)]]，[[exp(u2‑u1)]]，…，[[exp(uJ‑uJ)]])；加法单元，计算份额([[∑j＝1 Jexp(uj‑u1)]]，…，[[∑j＝1 Jexp(uj‑uJ)]])；及第二秘密批量映射计算单元，计算份额([[softmax(u1)]]，…，[softmax(uJ)]])。

Description

秘密归一化指数函数计算系统、装置、方法以及记录介质
技术领域
本发明涉及秘密计算技术，特别是涉及对归一化指数(Softmax)函数进行秘密计算的技术。
背景技术
作为用于对归一化指数函数进行秘密计算的现有方法，有非专利文献1所记载的SecureML、非专利文献2所记载的SecureNN。这里，归一化指数函数是由下式表示的非线性函数。
[公式1]
所谓秘密计算，是不将被加密的数值复原而得到指定的运算的运算结果的方法(例如参照参考非专利文献1)。在参考非专利文献1的方法中，能够进行将能复原数值的多个信息分散到三个秘密计算装置这样的加密，并且不将数值复原，而将加减运算、常数和、乘法运算、常数倍、逻辑运算(非、与、或、异或)、数据形式转换(整数、二进制数)的结果在被分散到三个秘密计算装置的状态、即保持被加密的状态下进行保持。一般来说，分散数量不限于3而能够设为W(W是3以上的规定的常数)，通过由W个秘密计算装置进行的协调计算来实现秘密计算的协议称为多方协议。
(参考非专利文献1：千田浩司，濱田浩気，五十嵐大，高橋克巳，”軽量検証可能3パーティ秘匿関数計算の再考”(千田浩司，滨田浩气，五十岚大，高桥克己，”浅析可验证3方隐匿函数计算的再探讨”)，In CSS，2010.)
现有技术文献
非专利文献
非专利文献1：Payman Mohassel and Yupeng Zhang，”SecureML：A System forScalable Privacy-Preserving Machine Learning”，2017IEEE Symposium on Securityand Privacy，pp.19-38，2017.
非专利文献2：Sameer Wagh，Divya Gupta，and Nishanth Chandran，”SecureNN：3-Party Secure Computation for Neural Network Training”，Proceedings onPrivacy Enhancing Technologies；2019(3)：26-49，2019.
发明内容
发明要解决的课题
但是，从式(1)可知，由于归一化指数函数包含秘密计算不擅长的指数函数和除法的计算，所以难以兼顾处理速度和精度这两者来进行秘密计算。在现有方法中，由于指数函数exp(x)的近似使用函数ReLU(x)＝max(0，x)，所以其近似精度低，特别是随着x变为大的值，误差变得非常大，归一化指数函数的计算的精度低。
因此，本发明的目的在于提供一种高速且高精度地对归一化指数函数进行秘密计算的技术。
用于解决课题的手段
本发明的一个方式是一种秘密归一化指数函数计算系统，将map1设为由表示函数exp(x)的定义域的参数(a1，…，aK)和表示值域的参数(α1，…，αK)定义的秘密批量映射，其中，K是2以上的整数，a1，…，aK是满足a1＜…＜aK的实数，并将map2设为由表示函数1/x的定义域的参数(b1，…，bL)和表示值域的参数(β1，…，βL)定义的秘密批量映射，其中，L是2以上的整数，b1，…，bL是满足b1＜…＜bL的实数，所述秘密归一化指数函数计算系统由3个以上的秘密归一化指数函数计算装置构成，并根据输入向量(u1，…，uJ)的份额([[u1]]，…，[[uJ]])，计算针对输入向量(u1，…，uJ)的归一化指数函数的值(softmax(u1)，…，softmax(uJ))的份额([[softmax(u1)]]，…，[softmax(uJ)]])，其中，J为1以上的整数，所述秘密归一化指数函数计算系统包括：减法单元，根据所述份额([[u1]]，…，[[uJ]])，计算份额([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]])；第一秘密批量映射计算单元，根据所述份额([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]])，计算map1([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]]))＝([[αf(1,1)]]，[[αf(2,1)]]，…，[[αf(J，1)]]，[[αf(1,2)]]，…，[[αf(J，2)]]，…，[[αf(1，J)]]，…，[[αf(J，J)]])，并设为([[exp(u1-u1)]]，[[exp(u2-u1)]]，…，[[exp(uJ-u1)]]，[[exp(u1-u2)]]，…，[[exp(uJ-u2)]]，…，[[exp(u1-uJ)]]，…，[[exp(uJ-uJ)]])＝([[αf(1,1)]]，[[αf(2,1)]]，…，[[αf(J，1)]]，[[αf(1,2)]]，…，[[αf(J，2)]]，…，[[αf(1，J)]]，…，[[αf(J，J)]])，其中，f(i，j)(1≤i，j≤K)为ap≤ui-uj＜ap+1的p；加法单元，根据所述份额([[exp(u1-u1)]]，[[exp(u2-u1)]]，…，[[exp(uJ-u1)]]，[[exp(u1-u2)]]，…，[[exp(uJ-u2)]]，…，[[exp(u1-uJ)]]，…，[[exp(uJ-uJ)]])，计算份额([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]])；及第二秘密批量映射计算单元，根据所述份额([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]])，计算map2(([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]]))＝([[βg(1)]]，[[βg(2)]]，…，[[βg(J)]])，并设为([[softmax(u1)]]，[[softmax(u2)]]，…，[softmax(uJ)]])＝([[βg(1)]]，[[βg(2)]]，…，[[βg(J)]])，其中，g(i)(1≤i≤L)为bp≤∑j＝1 Jexp(uj-ui)＜bp+1的p。
发明效果
根据本发明，能够高速且高精度地对归一化指数函数进行秘密计算。
附图说明
图1是表示秘密归一化指数函数计算系统10的结构的框图。
图2是表示秘密归一化指数函数计算装置100i的结构的框图。
图3是表示秘密归一化指数函数计算系统10的动作的流程图。
图4是表示秘密神经网络计算系统20的结构的框图。
图5是表示秘密神经网络计算装置200i的结构的框图。
图6是表示秘密神经网络计算系统20的动作的流程图。
图7是表示输出层计算部230i的结构的框图。
图8是表示输出层计算单元230的动作的流程图。
图9是表示秘密神经网络学习系统30的结构的框图。
图10是表示秘密神经网络学习装置300i的结构的框图。
图11是表示秘密神经网络学习系统30的动作的流程图。
图12是表示正向传播计算部310i的结构的框图。
图13是表示正向传播计算单元310的动作的流程图。
图14是表示实现本发明的实施方式中的各装置的计算机的功能结构的一例的图。
具体实施方式
以下，对本发明的实施方式进行详细说明。另外，对具有相同功能的结构部标注相同的标号，并省略重复说明。
在说明各实施方式之前，先对本说明书中的表述方法进行说明。
_(下划线)表示下标。例如，xy_z表示yz是针对x的上标，xy_z表示yz是针对x的下标。
另外，针对某文字x的^x或～x这样的上标”^”或”～”本来应该记载于”x”的正上方，但在说明书的记载表述的制约上，记载为^x或～x。
<技术背景>
《准备》
本申请实施方式的发明中的秘密计算由已有的秘密计算上的运算的组合构建。该秘密计算所需要的运算是隐匿化、加法运算、乘法运算、秘密批量映射、右移位。以下，对各运算进行说明。
[隐匿化]
将[[x]]设为将x以秘密分散进行了隐匿后的值(以下，称为x的份额(share))。秘密分散方法可以使用任意的方法。例如，可以使用GF(261-1)上的Shamir秘密分散，Z2上的复制秘密分散。
也可以在某一个算法中将多个秘密分散方法组合使用。在该情况下，设为适当地相互变换的方法。
另外，对于N维向量→x＝(x1，…，xN)，设[[→x]：＝([x1]，…，[xN])。即，[[→x]是将→x的第n元素xn的份额[xn]作为第n元素的向量。同样地，对于M×N矩阵A＝(am，n)(1≤m≤M，1≤n≤N)，也将[[A]]设为将A的(m，n)元素am，n的份额[[am，n]]作为(m，n)元素的矩阵。这里，a：＝b表示将a用b进行定义。
另外，将x称为[x]的明文。
作为根据x求出[[x]]的方法(隐匿化)、根据[[x]]求出x的方法(复原)，具体而言，有参考非专利文献1、参考非专利文献2所记载的方法。
(参考非专利文献2：Shamir,A.,”How to share a secret”,Communications ofthe ACM,Vol.22,No.11,pp.612-613,1979.)
[加法运算、乘法运算]
基于秘密计算的加法运算[[x]]+[[y]]将[[x]]、[[y]]设为输入，并输出[[x+y]]。基于秘密计算的乘法运算[[x]]×[[y]](mul([[x]],[[y]]))将[[x]]、[[y]]设为输入，并输出[[x×y]]。
另外，也可以是[[x]]、[[y]]的任一个未被隐匿的值(以下，称为公开值)。例如，也可以将β、γ设为公开值，将[[x]]、β作为输入，并输出[[x+β]]，或者将γ、[[y]]作为输入，并输出[[γ×y]]。
作为加法运算、乘法运算的具体的方法，有参考非专利文献3、参考非专利文献4所记载的方法。
(参考非专利文献3：Ben-Or,M.,Goldwasser,S.and Wigderson,A.,”Completeness theorems for non-cryptographic fault-tolerant distributedcomputation”,Proceedings of the twentieth annual ACM symposium on Theory ofcomputing,ACM,pp.1-10,1988.)
(参考非专利文献4：Gennaro,R.,Rabin,M.O.and Rabin,T.,”Simplied VSS andfast-track multiparty computations with applications to thresholdcryptography”,Proceedings of the seventeenth annual ACM symposium onPrinciples of distributed computing,ACM,pp.101-111,1998.)
[秘密批量映射]
秘密批量映射是计算查找表的功能，是可以任意决定成为计算对象的函数的定义域和值域的技术。秘密批量映射以向量为单位进行处理，因此具有针对多个输入进行相同的处理时的效率高这样的性质。秘密批量映射map是如下定义的函数。
秘密批量映射map将向量→x＝(x1，…，xN)的份额[[→x]]＝([[x1]，…，[xN]])作为输入，并使用表示函数f(x)的定义域的参数(a1，…，aK)和表示值域的参数(b1，…，bK)(其中，a1，…，aK，b1，…，bK是实数，并且满足a1＜…＜aK)，输出对向量的各元素的份额进行映射所得的份额，即，输出对于1≤n≤N，ap≤xn＜ap+1且yn＝bp这样的[[→y]]：＝([[y1]，…，[yN]])。
例如，可以使用参考非专利文献5所记载的秘密批量映射的算法。
(参考非专利文献5：濱田浩気,五十嵐大,千田浩司,”秘匿計算上の一括写像アルゴリズム”,電子情報通信学会論文誌(滨田浩气，五十岚大，千田浩司，”隐匿计算上的批量映射算法”，电子信息通信学会论文志)A，Vol.J96-A，No.4，pp.157-165，2013.)
[右移位]
右移位rshift将向量→x＝(x1，…，xN)的份额[[→x]]＝([[x1]，…，[xN]])和公开值t作为输入，并输出将份额[[x→]]的各元素[[xn]]算术右移位t比特后的[[→y]]：＝([[y1]，…，[yN]])。这里，算术右移位是用符号位而不是0来填充左侧的移位。通过使用逻辑右移位rlshift，能够如下式那样计算rshift([A×2n]，n-m)＝[A×2m](参照参考非专利文献6)。
[公式2]
[[A′×2n]]＝[[A×2n]]+a×2n(a≥|A|)
[[A′×2m]]＝rlshift([[A′×2n]]，n-m)
[[A×2m]]＝[[A′×2m]]-a×2m
(参考非专利文献6：三品気吹，五十嵐大，田浩気，菊池亮.”高精度かっ高効率な秘密ロジスティツク回帰の設計と実装”(三品气吹，五十岚大，滨田浩气，菊池亮.”高精度且高效率的秘密逻辑回归的设计与实现”)，InCSS，2018.)
《基于秘密批量映射的归一化指数函数的秘密计算》
在本申请实施方式的发明中，为了在将向量(u1，…，uJ)隐匿的状态下计算归一化指数函数而使用秘密批量映射。从式(1)可知，由于归一化指数函数具有多个输入，所以与以向量为单位进行处理这样的秘密批量映射的性质相容性良好。但是，由于秘密批量映射的处理时间与查找表(定义域和值域)的大小成比例，所以计算精度的高低与处理速度成为折衷的关系。
具体而言，在本申请实施方式的发明中，使用对函数exp(x)进行计算的秘密批量映射map1和对函数1/x进行计算的秘密批量映射map2来实现归一化指数函数的秘密计算。为此，代替式(1)，考虑将式(1)的分母和分子都除以exp(ui)而得到的下式。
[公式3]
并且，通过以下的过程，对归一化指数函数的值softmax(ui)的份额[[softmax(ui)]]进行计算。
(1)首先，对于j＝1，2，…，J，计算[[uj-ui]]。
(2)接着，将([[u1-ui]]，[[u2-ui]]，…，[[uJ-ui]])输入到秘密批量映射map1，得到([[exp(u1-ui)]]，[[exp(u2-ui)]]，…，[[exp(uJ-ui)]])作为输出结果。
(3)通过将(2)的输出结果([[exp(u1-ui)]]，[[exp(u2-ui)]]，…，[[exp(uJ-ui)]])全部相加，得到[[∑j＝1 Jexp(uj-ui)]]。
(4)最后，将加法运算结果[[∑j＝1 Jexp(uj-ui)]]输入到秘密批量映射map2，得到[[softmax(ui)]]。
这里，如果对于所有的i＝1、2，…，J进行上述(1)～(4)的处理，则能够通过秘密批量映射map1和秘密批量映射map2分别汇总计算([[exp(u1-u1)]]，[[exp(u2-u1)]]，…，[[exp(uJ-u1)]]，[[exp(u1-u2)]]，…，[[exp(uJ-u2)]]，…，[[exp(u1-uJ)]]，…，[[exp(uJ-uJ)]])和([[1/∑j＝1 Jexp(uj-u1)]]，[[1/∑j＝1 Jexp(uj-u2)]]，…，[[1/∑j＝1 Jexp(uj-uJ)]])，由此能够非常高效地实现([[softmax(u1)]]，…，[softmax(uJ)]])的计算。即，通过两次秘密批量映射的计算，能够实现根据([[u1]]，…，[[uJ]])计算([[softmax(u1)]]，…，[[softmax(uJ)]])的归一化指数函数的秘密计算。
《与查找表的设计相关的研究》
如上所述，归一化指数函数的计算精度的高低与处理速度处于折衷的关系。因此，为了在保持一定程度的计算精度的同时提高处理速度，需要设计适当大小的查找表，即，需要设定表示定义域的参数和表示值域的参数。因此，为了查找表的适当的设计，利用“归一化指数函数满足0≤softmax(ui)≤1”这样的性质。
根据上述性质可知，对函数1/x进行计算的秘密批量映射map2的值域为[0,1]，因此只要创建将秘密批量映射map2的值域设为[0,1]的查找表即可。因此，在使用定点运算(fixed point arithmetic)进行秘密计算的情况下，若将by设为表示归一化指数函数的输出的精度的定点的小数部分的比特数，则查找表的大小为2b_y。
此时，能够用精度by比特表现的输出的最小值为1/2b_y，此时的输入为2b_y。因此，可知对函数exp(x)进行计算的秘密批量映射map1的输出的最大值可以是2b_y。这是因为，即使能够计算出比其大的值，向对函数1/x进行计算的秘密批量映射map2输入而得到的值也与输入了2b_y的情况相同。因此，对函数exp(x)进行计算的秘密批量映射map1的值域只要设为[0,2b_y]即可。
以上，通过利用归一化指数函数的值被限制为[0,1]这样的性质，能够设计适当大小的查找表，由此能够高效地执行使用了秘密批量映射的归一化指数函数的秘密计算。
<第一实施方式>
以下参照图1～图3对秘密归一化指数函数计算系统10进行说明。图1是表示秘密归一化指数函数计算系统10的结构的框图。秘密归一化指数函数计算系统10包括W个(W为3以上的规定的整数)秘密归一化指数函数计算装置1001、…、100W。秘密归一化指数函数计算装置1001、…、100W与网络800连接，能够相互进行通信。网络800例如可以是因特网等通信网或广播通信路径等。图2是表示秘密归一化指数函数计算装置100i(1≤i≤W)的结构的框图。图3是表示秘密归一化指数函数计算系统10的动作的流程图。
如图2所示，秘密归一化指数函数计算装置100i包括减法部110i、第一秘密批量映射计算部120i、加法部130i、第二秘密批量映射计算部140i和记录部190i。除了记录部190i之外的秘密归一化指数函数计算装置100i的各结构部构成为，能够执行秘密计算所需的运算，即至少执行隐匿化、加法运算、乘法运算、秘密批量映射、右移位中的在实现各结构部的功能的基础上所需的运算。本发明中用于实现各个运算的具体功能结构例如是能够执行参考非专利文献1～6分别公开的算法那样的结构就足够了，它们是以往的结构，因此省略详细的说明。另外，记录部190i是对秘密归一化指数函数计算装置100i的处理所需的信息进行记录的结构部。例如，记录部190i预先记录表示秘密批量映射map1的定义所需的函数exp(x)的定义域的参数(a1，…，aK)和表示值域的参数(α1，…，αK)(其中，K是2以上的整数，a1，…，aK是满足a1＜…＜aK的实数)、表示秘密批量映射map2的定义所需的函数1/x的定义域的参数(b1，…，bL)和表示值域的参数(β1，…，βL)(其中，L是2以上的整数，b1，…，bL是满足b1＜…＜bL的实数)。
通过由W个秘密归一化指数函数计算装置100i进行的协调计算，秘密归一化指数函数计算系统10实现为多方协议的归一化指数函数的秘密计算。因此，秘密归一化指数函数计算系统10的减法单元110(未图示)由减法部1101、…、110W构成，第一秘密批量映射计算单元120(未图示)由第一秘密批量映射计算部1201、…、120W构成，加法单元130(未图示)由加法部1301、…、130W构成，第二秘密批量映射计算单元140(未图示)由第二秘密批量映射计算部1401、…、140W构成。
秘密归一化指数函数计算系统10根据输入向量(u1，…，uJ)(其中，J为1以上的整数)的份额([[u1]]，…，[[uJ]])，计算针对输入向量(u1，…，uJ)的归一化指数函数的值(softmax(u1)，…，softmax(uJ))的份额([[softmax(u1)]]，…，[softmax(uJ)]])。以下，按照图3对秘密归一化指数函数计算系统10的动作进行说明。
在S110中，减法单元110根据份额([[u1]]，…，[[uJ]])，计算份额([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]])。
在S120中，第一秘密批量映射计算单元120根据份额([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]])，计算map1([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]]))＝([[αf(1,1)]]，[[αf(2,1)]]，…，[[αf(J，1)]]，[[αf(1,2)]]，…，[[αf(J，2)]]，…，[[αf(1，J)]]，…，[[αf(J，J)]])(其中，f(i，j)(1≤i，j≤K)为ap≤ui-uj＜ap+1的p)，并设为([[exp(u1-u1)]]，[[exp(u2-u1)]]，…，[[exp(uJ-u1)]]，[[exp(u1-u2)]]，…，[[exp(uJ-u2)]]，…，[[exp(u1-uJ)]]，…，[[exp(uJ-uJ)]])＝([[αf(1,1)]]，[[αf(2,1)]]，…，[[αf(J，1)]]，[[αf(1,2)]]，…，[[αf(J，2)]]，…，[[αf(1，J)]]，…，[[αf(J，J)]])。
在S130中，加法单元130根据份额([[exp(u1-u1)]]，[[exp(u2-u1)]]，…，[[exp(uJ-u1)]]，[[exp(u1-u2)]]，…，[[exp(uJ-u2)]]，…，[[exp(u1-uJ)]]，…，[[exp(uJ-uJ)]])，计算份额([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]])。
在S140中，第二秘密批量映射计算单元140根据份额([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]])，计算map2(([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]]))＝([[βg(1)]]，[[βg(2)]]，…，[[βg(J)]])(其中，g(i)(1≤i≤L)为bp≤∑j＝1 Jexp(uj-ui)＜bp+1的p)，并设为([[softmax(u1)]]，[[softmax(u2)]]，…，[softmax(uJ)]])＝([[βg(1)]]，[[βg(2)]]，…，[[βg(J)]])。
(秘密批量映射的定义域和值域的设定例)
如在＜技术背景>中所说明的那样，在使用定点运算进行秘密计算的情况下，可以将表示秘密批量映射map1的值域的参数α1、αK分别设为α1＝0、αK＝2b_y(其中，by表示对归一化指数函数的输出的精度进行表示的定点的小数部分的比特数)。
通过这样设定，能够防止对不在秘密计算中使用的无用的范围的值进行记录的情况，秘密批量映射的计算中的查找表的检索也变快。
根据本实施方式的发明，能够高速且高精度地对归一化指数函数进行秘密计算。这里，秘密批量映射map1和map2的定义域和值域可以任意设定，所以可以根据需要的精度和处理速度来决定。在本实施方式的发明中，与对指数函数进行近似的以往的方法不同，能够设定任意的精度，因此能够进行不逊色于明文的精度下的归一化指数函数的秘密计算。
<第二实施方式>
下面参照图4～图6对秘密神经网络计算系统20进行说明。图4是表示秘密神经网络计算系统20的结构的框图。秘密神经网络计算系统20包括W’个(W’是3以上的规定的整数)秘密神经网络计算装置2001、…、200W’。秘密神经网络计算装置2001、…、200W’与网络800连接，能够相互进行通信。网络800例如可以是因特网等通信网或广播通信路径等。图5是表示秘密神经网络计算装置200i(1≤i≤W’)的结构的框图。图6是表示秘密神经网络计算系统20的动作的流程图。
如图5所示，秘密神经网络计算装置200i包括输入层计算部210i、第n层计算部220-ni(n＝1，…，N-1，N是2以上的整数，N-1表示隐藏层(中间层)的数量)、输出层计算部230i和记录部190i。除了记录部190i之外的秘密神经网络计算装置200i的各结构部构成为，能够执行秘密计算所需的运算，即至少执行隐匿化、加法运算、乘法运算、秘密批量映射、右移位中的在实现各结构部的功能的基础上所需的运算。本发明中用于实现各个运算的具体功能结构例如是能够执行参考非专利文献1～6分别公开的算法那样的结构就足够了，它们是以往的结构，因此省略详细的说明。另外，记录部190i是对秘密神经网络计算装置200i的处理所需的信息进行记录的结构部。
通过由W’个秘密神经网络计算装置200i进行的协调计算，秘密神经网络计算系统20实现为多方协议的基于神经网络的秘密计算。因此，秘密神经网络计算系统20的输入层计算单元210(未图示)由输入层计算部2101、…、210W’构成，第n层计算单元220-n(n＝1，…，N-1)(未图示)由第n层计算部220-n1、…、220-nW’构成，输出层计算单元230(未图示)由输出层计算部2301、…、230W’构成。
秘密神经网络计算系统20根据输入数据X的份额[[X]]，计算针对输入数据X的输出值YN+1(N为2以上的整数)的份额[[YN+1]]。以下，按照图6对秘密神经网络计算系统20的动作进行说明。这里，输入数据X、输入层的输出值Y1、第n层的输出值Yn+1(n＝1，…，N-1)、输出层的输出值YN+1均由向量表示，输入层的参数W0、第n层的参数Wn(n＝1，…，N-1)、输出层的参数WN均由矩阵表示。另外，输入层的参数W0的份额[[W0]]、第n层的参数Wn的份额[[Wn]](n＝1，…，N-1)、输出层的参数WN的份额[[WN]]例如可以事先记录于记录部190i(1≤i≤W’)。
在S210中，输入层计算单元210使用输入层的参数W0的份额[[W0]]，根据份额[[X]]来计算输入层的输出值Y1的份额[[Y1]]。输入层计算单元210例如通过下式来计算份额[[Y1]]。
[公式4]
[[U1]]←[[W0]][[X]]…(a-1)
[[Y1]]←Activation([[U1]])…(a-2)
这里，Activation表示激活函数。激活函数Activation及其微分Activation’均为可秘密计算的函数。作为激活函数，例如可以使用函数ReLU(x)。在该情况下，微分ReLU’(x)例如由下式给出。
[公式5]
另外，将U1称为输入层的中间输出值。
设n＝1，…，N-1，在S220-n中，第n层计算单元220-n使用第n层的参数Wn的份额[[Wn]]，根据份额[[Yn]]来计算第n层的输出值Yn+1的份额[[Yn+1]]。第n层计算单元220-n例如通过下式来计算份额[[Yn+1]]。
[公式6]
[[Un+1]]←[[Wn]][[Yn]]…(b-1)
[[Yn+1]]←Activation([[Un+1]])…(b-2)
另外，将Un+1称为第n层的中间输出值。
在S230中，输出层计算单元230使用输出层的参数WN的份额[[WN]]，根据份额[[YN]]来计算输出层的输出值YN+1的份额[[YN+1]]。输出层计算单元230例如通过下式来计算份额[[YN+1]]。
[公式7]
[[UN+1]]←[[WN]][[YN]]…(c-1)
[[YN+1]]←softmax([[UN+1]])…(c-2)
另外，将UN+1称为输出层的中间输出值。
以下参照图7～图8对输出层计算单元230进行说明。图7是表示输出层计算部230i的结构的框图。图8是表示输出层计算单元230的动作的流程图。输出层计算单元230的减法单元110(未图示)由减法部1101、…、110W’构成，第一秘密批量映射计算单元120(未图示)由第一秘密批量映射计算部1201、…、120W’构成，加法单元130(未图示)由加法部1301、…、130W’构成，第二秘密批量映射计算单元140(未图示)由第二秘密批量映射计算部1401、…、140W’构成，中间输出计算单元231(未图示)由中间输出计算部2311、…、231W’构成。如图7所示，输出层计算部230i包括减法部110i、第一秘密批量映射计算部120i、加法部130i、第二秘密批量映射计算部140i和中间输出计算部231i。
按照图8对输出层计算单元230的动作进行说明。
在S231中，中间输出计算单元231使用输出层的参数WN的份额[[WN]]，根据份额[[YN]]来计算输出层的中间输出值UN+1的份额[[UN+1]]。中间输出计算单元231例如通过式(c-1)来计算份额[[UN+1]]。
以下，若设中间输出值UN+1＝(u1，…，uJ)(其中，J为1以上的整数)，则中间输出值UN +1的份额[[UN+1]]＝([[u1]]，…，[[uJ]])。
在S110中，减法单元110根据份额([[u1]]，…，[[uJ]])，计算份额([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]])。
在S120中，第一秘密批量映射计算单元120根据份额([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]])，计算map1([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]]))＝([[αf(1,1)]]，[[αf(2,1)]]，…，[[αf(J，1)]]，[[αf(1,2)]]，…，[[αf(J，2)]]，…，[[αf(1，J)]]，…，[[αf(J，J)]])(其中，f(i，j)(1≤i，j≤K)为ap≤ui-uj＜ap+1的p)，并设为([[exp(u1-u1)]]，[[exp(u2-u1)]]，…，[[exp(uJ-u1)]]，[[exp(u1-u2)]]，…，[[exp(uJ-u2)]]，…，[[exp(u1-uJ)]]，…，[[exp(uJ-uJ)]])＝([[αf(1,1)]]，[[αf(2,1)]]，…，[[αf(J，1)]]，[[αf(1,2)]]，…，[[αf(J，2)]]，…，[[αf(1，J)]]，…，[[αf(J，J)]])。
在S130中，加法单元130根据份额([[exp(u1-u1)]]，[[exp(u2-u1)]]，…，[[exp(uJ-u1)]]，[[exp(u1-u2)]]，…，[[exp(uJ-u2)]]，…，[[exp(u1-uJ)]]，…，[[exp(uJ-uJ)]])，计算份额([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]])。
在S140中，第二秘密批量映射计算单元140根据份额([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]])，计算map2(([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]]))＝([[βg(1)]]，[[βg(2)]]，…，[[βg(J)]])(其中，g(i)(1≤i≤L)为bp≤∑j＝1 Jexp(uj-ui)＜bp+1的p)，并设为[[YN+1]]＝([[softmax(u1)]]，[[softmax(u2)]]，…，[softmax(uJ)]])＝([[βg(1)]]，[[βg(2)]]，…，[[βg(J)]])。
根据本实施方式的发明，能够高速且高精度地执行基于神经网络的秘密计算。通过使用第一实施方式的发明，能够高精度地计算出归一化指数函数，因此与非专利文献1和非专利文献2的现有方法相比，也能够高精度地执行基于神经网络的秘密计算。
(变形例)
在秘密计算中，浮点数的处理成本较大。因此，这里考虑使用定点数来进行各结构部中的计算。
首先，对每个变量或常数设定所需的精度。例如，在精度为α比特(α是小数点部分的比特数)的情况下，份额[[x]]作为基数为2的定点数[[x×2α]]而被秘密分散。另外，不使所有的变量及常数的精度相同的理由是，每个变量或常数的值域不同，所需的精度不同。例如，由于参数容易变小，所以优选将表示参数的变量的精度设定得比其他变量的精度高。如果将表示输入数据X的变量x、表示输出层的输出值YN+1的变量y、表示输入层的参数W0、第n层的参数Wn(n＝1，…，N-1)和输出层的参数WN的变量w所需的精度分别设为bx、by、bw，则存在bx＝8、by＝14、bw＝20这样的情况。这样，通过对每个变量或常数设定所需的精度，能够尽可能地抑制作为整体的比特数，并且能够高效地计算处理成本大的秘密计算。
另外，在以定点数进行处理的情况下，存在进行乘法运算时精度改变的问题。例如，若进行[[x1×2α]]×[[x2×2α]]这样的乘法运算，则结果为[[x1x2×22α]]，比原来的值大α比特。在神经网络的计算中，由于对各层进行乘法运算，所以如果直接进行普通处理，则在中途溢出。因此，在此，通过使用右移位rshift，有意地降低位数而防止溢出，并且以定点数高效地实现神经网络中的计算。
以下具体地进行说明。对将变量x、变量y、变量w所需的精度分别设为bx、by、bw，进行了防止由乘法运算造成的溢出的研究的秘密神经网络计算系统20的动作进行说明(参照图6)。
在S210中，输入层计算单元210通过式(a-1)、式(a-2)来计算份额[[Y1]]。
设n＝1，…，N-1，在S220-n中，第n层计算单元220-n通过下式来计算份额[[Yn+1]]。
[公式8]
[[Un+1]]←[[Wn]][[Yn]]…(b-1)
[[Yn+1]]←Activation([[Un+1]])…(b-2)
[[Yn+1]]←rshift([[Yn+1]]，bw)…(b-3)
在S230中，输出层计算单元230通过式(c-1)、式(c-2)来计算份额[[YN+1]]。
在此，对上述S210～S230的处理的特征进行说明。一般而言，在秘密计算中右移位是成本较高的处理，因此优选尽量减少进行右移位的次数。因此，在S210～S230的处理中，执行必要最低限度的右移位的计算(式(b-3)的计算)。另外，由于秘密批量映射具有能够任意地设定定义域和值域的性质，所以通过使用秘密批量映射，能够如右移位那样调节位数。因此，通过在式(c-2)的计算中的秘密批量映射的计算之中包含右移位的效果，从而在式(c-2)的计算中，能够处理从2bw+bx向by的精度调节。
以下，从精度的观点对上述S210～S230的处理进行说明。在S210中的输入层计算单元210的式(a-1)的计算、式(a-2)的计算中，精度分别为bw+bx、bw+bx。在S220-1中的第一层计算单元220-1的式(b-1)的计算、式(b-2)的计算中，精度分别为2bw+bx、2bw+bx。因此，如果直接执行S220-2中的第二层计算单元220-2的式(b-1)的计算、式(b-2)的计算，则精度分别为3bw+bx、3bw+bx。如果重复该操作，则每当中间层中的计算推进时，位数就增加bw。因此，第n层计算单元220-n通过式(b-3)来重新计算份额[[Yn+1]]。由此，能够解决每当层中的计算推进时，位数就增加bw的问题。因此，第(N-1)层计算单元220-(N-1)的式(b-3)的计算结束的时间点的精度为bw+bx。并且，在S230中的输出层计算单元230的式(c-1)的计算、式(c-2)的计算中，精度分别为2bw+bx、by。
<第三实施方式>
以下，参照图9～图11对秘密神经网络学习系统30进行说明。图9是表示秘密神经网络学习系统30的结构的框图。秘密神经网络学习系统30包括W”个(W”是3以上的规定的整数)秘密神经网络学习装置3001、...、300W”。秘密神经网络学习装置3001、...、300W”与网络800连接，能够相互进行通信。网络800例如可以是因特网等通信网或广播通信路径等。图10是表示秘密神经网络学习装置300i(1≤i≤W”)的结构的框图。图11是表示秘密神经网络学习系统30的动作的流程图。
如图11所示，秘密神经网络学习装置300i包括初始化部305i、正向传播计算部310i、反向传播计算部320i、梯度计算部330i、参数更新部340i、结束条件判定部350i和记录部190i。除了记录部190i之外的秘密神经网络学习装置300的各结构部构成为，能够执行秘密计算所需的运算，即至少执行隐匿化、加法运算、乘法运算、秘密批量映射、右移位中的在实现各结构部的功能的基础上所需的运算。本发明中用于实现各个运算的具体功能结构例如是能够执行参考非专利文献1～6分别公开的算法那样的结构就足够了，它们是以往的结构，因此省略详细的说明。另外，记录部190i是对秘密神经网络学习装置300i的处理所需的信息进行记录的结构部。
通过由W”个秘密神经网络学习装置300i进行的协调计算，秘密神经网络学习系统30实现用于为多方协议的神经网络的学习的秘密计算。因此，秘密神经网络学习系统30的初始化单元305(未图示)由初始化部3051、…、305W”构成，正向传播计算单元310(未图示)由正向传播计算部3101、…、310W”构成，反向传播计算单元320(未图示)由反向传播计算部3201、…、320W”构成，梯度计算单元330(未图示)由梯度计算部3301、…、330W”构成，参数更新单元340(未图示)由参数更新部3401、…、340W”构成，结束条件判定单元350(未图示)由结束条件判定部3501、…、350W”构成。
秘密神经网络学习系统30使用学习数据X的份额[[X]]和学习标签T的份额[[T]]，更新输入层的参数W0的份额[[W0]]、第n层的参数Wn的份额[[Wn]](n＝1，…，N-1，N是2以上的整数)和输出层的参数WN的份额[[WN]]。以下，按照图11对秘密神经网络学习系统30的动作进行说明。这里，学习数据X、学习标签T、输入层的输出值Y1、第n层的输出值Yn+1(n＝1，…，N-1)、输出层的输出值YN+1均由向量表示，输入层的参数W0、第n层的参数Wn(n＝1，…，N-1)、输出层的参数WN均由矩阵表示。另外，学习中的输入层的参数W0的份额[[W0]]、第n层的参数Wn的份额[[Wn]](n＝1，…，N-1)、输出层的参数WN的份额[[WN]]例如可以记录于记录部190。另外，这里说明的秘密神经网络学习系统30的动作相当于使用梯度下降法和反向传播的神经网络的学习方法。
在S305中，初始化单元305设定输入层的参数W0的份额[[W0]]、第n层的参数Wn的份额[[Wn]](n＝1，…，N-1)和输出层的参数WN的份额[[WN]]的初始值。另外，初始化单元305还适当地设定学习结束的判定所需的值。例如，在学习结束的判定使用学习次数的情况下，初始化单元305设定表示学习次数的计数器t的初始值(具体地说，t＝0)和表示反复学习次数的阈值T。另外，在学习结束的判定不使用学习次数，而使用参数的变化量是否充分变小这样的基准的情况下，初始化单元305设定表示收敛的程度的阈值ε。
在S310中，正向传播计算单元310使用份额[[Wn]](n＝0，…，N)，根据份额[[X]]来计算输入层的输出值Y1的份额[[Y1]]、第n层的输出值Yn+1的份额[[Yn+1]](n＝1，…，N-1)和输出层的输出值YN+1的份额[[YN+1]]。以下，参照图12和图13对正向传播计算单元310进行说明。图12是表示正向传播计算部310i的结构的框图。图13是表示正向传播计算单元310的动作的流程图。正向传播计算单元310的输入层计算单元210(未图示)由输入层计算部2101、…、210W’构成，第n层计算单元220-n(n＝1，…，N-1)(未图示)由第n层计算部220-n1、…、220-nW’构成，输出层计算单元230(未图示)由输出层计算部2301、…、230W’构成。如图12所示，正向传播计算单元310i包括输入层计算部210i、第n层计算部220-ni(n＝1，…，N-1，N是2以上的整数，N-1表示隐藏层(中间层)的数量)和输出层计算部230i。
按照图13对正向传播计算单元310的动作进行说明。
在S210中，输入层计算单元210使用输入层的参数W0的份额[[W0]]，根据份额[[X]]来计算输入层的输出值Y1的份额[[Y1]]。
设n＝1，…，N-1，在S220-n中，第n层计算单元220-n使用第n层的参数Wn的份额[[Wn]]，根据份额[[Yn]]来计算第n层的输出值Yn+1的份额[[Yn+1]]。
在S230中，输出层计算单元230使用输出层的参数WN的份额[[WN]]，根据份额[[YN]]来计算输出层的输出值YN+1的份额[[YN+1]]。另外，输出层计算单元230中的处理与在<第二实施方式>中使用图7和图8所说明的处理相同。
在S320中，反向传播计算单元320使用份额[[Wn]](n＝N，…，1)，根据份额[[YN+1]]和份额[[T]]来计算输出层中的误差ZN+1的份额[[ZN+1]]、第n层中的误差Zn+1的份额[[Zn+1]](n＝N-1，…，1)、输入层中的误差Z1的份额[[Z1]]。反向传播计算单元320例如通过下式来计算份额[[ZN+1]]。
[公式9]
[[ZN+1]]←[[YN+1]]-[[T]]…(p-1)
反向传播计算单元320例如通过下式来计算份额[[ZN]]。
[公式10]
反向传播计算单元320例如通过下式来计算份额[[Zn]](n＝N-1，…，1)。
[公式11]
在S330中，梯度计算单元330使用份额[[X]]和份额[[Yn]](n＝1，…，N)，根据份额[[Zn]](n＝1，…，N+1)来计算输入层中的梯度G0的份额[[G0]]、第n层中的梯度Gn的份额[[Gn]](n＝1，...，N-1)和输出层中的梯度GN的份额[[GN]]。梯度计算单元330例如通过下式来计算份额[[G0]]。
[公式12]
[[G0]]←[[Z1]][[X]]…(q-1)
梯度计算单元330例如通过下式来计算份额[[Gn]](n＝1，…，N)。
[公式13]
[[Gn]]←[[Zn+1]][[Yn]]…(q-2)
在S340中，参数更新单元340使用份额[[Gn]](n＝0，…，N)来更新份额[[Wn]](n＝0，…，N)。参数更新单元340例如通过下式来更新份额[[W0]]。
[公式14]
[[G0]]←rshift([[G0]]，H)…(r-1)
[[W0]]←[[W0]]-[[G0]]…(r-2)
参数更新单元340例如通过下式来更新份额[[Wn]](n＝1，…，N-1)。
[公式15]
[[Gn]]←rshift([[Gn]]，H)…(r-3)
[[Wn]]←[[Wn]]-[[Gn]]…(r-4)
参数更新单元340例如通过下式来更新份额[[WN]]。
[公式16]
[[GN]]←rshift([[GN]]，H)…(r-5)
[[WN]]←[[WN]]-[[GN]]…(r-6)
这里，H是由下式定义的值。
[公式17]
其中，η表示学习率，m表示批量大小。
为了高效地计算学习率η与批量大小m之比η/m的乘积，通过式(2)，用2的幂数2-H来近似比η/m。因此，可以将学习率η和批量大小m均设定为2的幂数的值。
使用该H，在更新份额[[Wn]](n＝0，…，N)的计算中，即在式(r-1)、式(r-3)、式(r-5)中，进行H比特量的rshift。
在S350中，结束条件判定单元350在结束条件被满足的情况下，输出此时的份额[[Wn]](n＝0，…，N)，并结束处理。在除此以外的情况下，返回到步骤S310的处理。即，秘密神经网络学习系统30反复进行S310～S350的处理。另外，所谓结束条件被满足的情况，在学习结束的判定使用学习次数的情况下，是计数器t达到阈值T的情况，在学习结束的判定使用参数的变化量是否足变得够小这样的基准的情况下，是参数的变化量变得小于ε的情况。另外，在学习结束的判定使用学习次数的情况下，结束条件判定单元350使计数器t的值递增1。
正向传播计算单元310中的计算需要按照输入层、隐藏层、输出层的顺序进行计算，反向传播计算单元320中的计算需要按照输出层、隐藏层、输入层的顺序进行计算，但对于梯度计算单元330中的计算和参数更新单元340中的计算，可以对各层并行地进行处理，通过集中处理能够提高处理的效率。
根据本实施方式的发明，能够高速且高精度地执行用于神经网络的学习的秘密计算。通过使用第一实施方式的发明，能够高精度地计算出归一化指数函数，因此与非专利文献1和非专利文献2的现有方法相比，也能够高精度地执行用于神经网络的学习的秘密计算。
(变形例)
与第二实施方式的变形例同样地，通过对每个变量或常数设定所需的精度，并适当地进行右移位rshift的运算，由此能够有意地降低位数而防止溢出，并且以定点数高效地实现用于神经网络的学习的秘密计算。对将表示学习数据X的变量x、表示输出层的输出值YN+1及学习标签T的变量y、表示输入层的参数W0、第n层的参数Wn(n＝1，…，N-1)和输出层的参数WN的变量w所需的精度分别设为bx、by、bw，并进行了防止由乘法运算引起的溢出的研究的秘密神经网络学习系统30的动作进行说明。具体而言，对图11的S310～S340的动作进行说明。
在S310中，正向传播计算单元310执行在<第二实施方式>的(变形例)中所说明的S210～S230的处理。
在S320中，反向传播计算单元320通过式(p-1)来计算份额[[ZN+1]]。反向传播计算单元320例如通过下式来计算份额[[ZN]]。
[公式18]
[[ZN]]←rshift([[ZN]]，by)…(p-4)
反向传播计算单元320例如通过下式来计算份额[[Zn]](n＝N-1，…，1)。
[公式19]
[[Zn]]←rshift([[Zn]]，bw)…(p-5)
在S330中，梯度计算单元330通过式(q-1)来计算份额[[G0]]。梯度计算单元330通过式(q-2)来计算份额[[Gn]](n＝1，…，N)。
在S340中，参数更新单元340例如通过下式来计算份额[[W0]]。
[公式20]
[[G0]]←rshift([[G0]]，bx+H)…(r-1)′
[[W0]]←[[W0]]-[[G0]]…(r-2)
参数更新单元340例如通过下式来计算份额[[Wn]](n＝1，…，N-1)。
[公式21]
[[Gn]]←rshift([[Gn]]，bw+bx+H)…(r-3)′
[[Wn]]←[[Wn]]-[[Gn]]…(r-4)
参数更新单元340例如通过下式来计算份额[[WN]]。
[公式22]
[[GN]]←rshift([[GN]]，bx+by+H)…(r-5)′
[[WN]]←[[WN]]-[[GN]]…(r-6)
这里，在参数更新单元340中的右移位的计算(即，式(r-1)’、式(r-3)’、式(r-5)’的计算)中，在用H比特的右移位对学习率/批量大小的除法运算进行近似的基础上，进一步同时进行精度调节的右移位，由此减轻右移位的处理成本。
<补充>
图14是表示实现上述各装置的计算机的功能结构的一例的图。上述各装置中的处理可以通过使记录部2020读入用于使计算机作为上述各装置发挥功能的程序，并使控制部2010、输入部2030、输出部2040等进行动作来实施。
本发明的装置中，例如作为单一的硬件实体而具有：可连接键盘等的输入部；可连接液晶显示器等的输出部；可连接可与硬件实体的外部进行通信的通信装置(例如通信电缆)的通信部；CPU(中央处理单元(Central Processing Unit)，也可以具备高速缓冲存储器、寄存器等)；作为存储器的RAM、ROM；作为硬盘的外部存储装置；及以可进行这些输入部、输出部、通信部、CPU、RAM、ROM、外部存储装置之间的数据交换的方式连接的总线。此外，也可以根据需要，在硬件实体设置能够对CD-ROM等记录介质进行读写的装置(驱动器)等。作为具备这样的硬件资源的物理性实体，有通用计算机等。
在硬件实体的外部存储装置存储有为了实现上述的功能所需要的程序及在该程序的处理中所需要的数据等(不限于外部存储装置，例如也可以将程序读出并存储于作为专用存储装置的ROM)。另外，通过这些程序的处理而得到的数据等被适当地存储于RAM或外部存储装置等。
在硬件实体中，存储在外部存储装置(或者ROM等)中的各程序和该各程序的处理所需要的数据根据需要而被读入到存储器中，并适当地在CPU中被解释执行、处理。其结果是，CPU实现规定的功能(表现为上述、…部、…单元等的各结构要件)。
本发明并不限定于上述的实施方式，在不脱离本发明的宗旨的范围内能够适当变更。另外，上述实施方式中所说明的处理不仅可以按照记载的顺序以时间序列被执行，还可以根据执行处理的装置的处理能力或根据需要而并行地或单独地被执行。
如已说明的那样，在通过计算机来实现上述实施方式中所说明的硬件实体(本发明的装置)中的处理功能的情况下，通过程序来记述硬件实体应具有的功能的处理内容。并且，通过在计算机中执行该程序，由此在计算机上实现上述硬件实体中的处理功能。
记述了该处理内容的程序可以记录于计算机可读取的记录介质。作为计算机可读取的记录介质，例如是磁记录装置、光盘、光磁记录介质、半导体存储器等任意介质。具体而言，例如，作为磁记录装置可以使用硬盘装置、软盘、磁带等，作为光盘可以使用DVD(Digital Versatile Disc：数字通用光盘)、DVD-RAM(Random Access Memory：随机存取存储器)、CD-ROM(Compact Disc Read Only Memory：光盘只读存储器)、CD-R(Recordable：可记录)/RW(ReWritable：可重写)等，作为光磁记录介质可以使用MO(Magneto-Opticaldisc：磁光盘)等，作为半导体存储器可以使用EEP-ROM(Electronically Erasable andProgrammable-Read Only Memory：电可擦除可编程只读存储器)等。
另外，该程序的流通例如通过对记录有该程序的DVD、CD-ROM等便携式记录介质进行销售、转让、出借等来进行。而且，也可以形成为如下结构：将该程序存放于服务器计算机的存储装置，并经由网络，将该程序从服务器计算机转发到其他计算机，由此使该程序流通。
执行这样的程序的计算机例如首先将记录在便携式记录介质中的程序或从服务器计算机转发的程序暂时存放于自己的存储装置。然后，在执行处理时，该计算机读取存放在自己的记录装置中的程序，并执行按照所读取的程序的处理。另外，作为该程序的其他执行方式，计算机也可以从便携式记录介质直接读取程序，并执行按照该程序的处理，而且，也可以在每次从服务器计算机向该计算机转发程序时，逐次执行按照所接受的程序的处理。另外，也可以形成为如下结构：利用不进行从服务器计算机向该计算机的程序的转发而仅通过该执行指示和结果取得来实现处理功能的、所谓ASP(Application ServiceProvider：应用服务提供商)型的服务，来执行上述的处理。此外，本方式中的程序包含供电子计算机的处理用且基于程序的信息(虽然不是对计算机的直接的指令，但是具有规定计算机的处理的性质的数据等)。
另外，在本方式中，通过在计算机上执行规定的程序来构成硬件实体，但是也可以硬件性地实现这些处理内容的至少一部分。

Claims (6)

1.一种秘密归一化指数函数计算系统，将map1设为由表示函数exp(x)的定义域的参数(a1，…，aK)和表示值域的参数(α1，…，αK)定义的秘密批量映射，其中，K是2以上的整数，a1，…，aK是满足a1＜…＜aK的实数，并将map2设为由表示函数1/x的定义域的参数(b1，…，bL)和表示值域的参数(β1，…，βL)定义的秘密批量映射，其中，L是2以上的整数，b1，…，bL是满足b1＜…＜bL的实数，
将表示秘密批量映射map1的值域的所述参数α1、αK分别设为α1＝0、αK＝2b _ y，其中，by表示对归一化指数函数的输出的精度进行表示的定点的小数部分的比特数，
所述秘密归一化指数函数计算系统由进行协调计算的3个以上的秘密归一化指数函数计算装置构成，并根据输入向量(u1，…，uJ)的份额([[u1]]，…，[[uJ]])，计算针对输入向量(u1，…，uJ)的归一化指数函数的值(softmax(u1)，…，softmax(uJ))的份额([[softmax(u1)]]，…，[softmax(uJ)]])，其中，J为1以上的整数，所述秘密归一化指数函数计算系统包括：
减法单元，根据所述份额([[u1]]，…，[[uJ]])，计算份额([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]])；
第一秘密批量映射计算单元，根据所述份额([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]])，计算map1([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]]))＝([[αf(1,1)]]，[[αf(2,1)]]，…，[[αf(J，1)]]，[[αf(1,2)]]，…，[[αf(J，2)]]，…，[[αf(1，J)]]，…，[[αf(J，J)]])，并设为([[exp(u1-u1)]]，[[exp(u2-u1)]]，…，[[exp(uJ-u1)]]，[[exp(u1-u2)]]，…，[[exp(uJ-u2)]]，…，[[exp(u1-uJ)]]，…，[[exp(uJ-uJ)]])＝([[αf(1,1)]]，[[αf(2,1)]]，…，[[αf(J，1)]]，[[αf(1,2)]]，…，[[αf(J，2)]]，…，[[αf(1，J)]]，…，[[αf(J，J)]])，其中，f(i，j)(1≤i，j≤K)为ap≤ui-uj＜ap+1的p；
加法单元，根据所述份额([[exp(u1-u1)]]，[[exp(u2-u1)]]，…，[[exp(uJ-u1)]]，[[exp(u1-u2)]]，…，[[exp(uJ-u2)]]，…，[[exp(u1-uJ)]]，…，[[exp(uJ-uJ)]])，计算份额([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]])；及
第二秘密批量映射计算单元，根据所述份额([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]])，计算map2(([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]]))＝([[βg(1)]]，[[βg(2)]]，…，[[βg(J)]])，并设为([[softmax(u1)]]，[[softmax(u2)]]，…，[softmax(uJ)]])＝([[βg(1)]]，[[βg(2)]]，…，[[βg(J)]])，其中，g(i)(1≤i≤L)为bp≤∑j＝1 Jexp(uj-ui)＜bp+1的p。
2.一种秘密归一化指数函数计算装置，是秘密归一化指数函数计算系统中的秘密归一化指数函数计算装置，
所述秘密归一化指数函数计算系统将map1设为由表示函数exp(x)的定义域的参数(a1，…，aK)和表示值域的参数(α1，…，αK)定义的秘密批量映射，其中，K是2以上的整数，a1，…，aK是满足a1＜…＜aK的实数，并将map2设为由表示函数1/x的定义域的参数(b1，…，bL)和表示值域的参数(β1，…，βL)定义的秘密批量映射，其中，L是2以上的整数，b1，…，bL是满足b1＜…＜bL的实数，
将表示秘密批量映射map1的值域的所述参数α1、αK分别设为α1＝0、αK＝2b _ y，其中，by表示对归一化指数函数的输出的精度进行表示的定点的小数部分的比特数，
所述秘密归一化指数函数计算系统由进行协调计算的3个以上的秘密归一化指数函数计算装置构成，并根据输入向量(u1，…，uJ)的份额([[u1]]，…，[[uJ]])，计算针对输入向量(u1，…，uJ)的归一化指数函数的值(softmax(u1)，…，softmax(uJ))的份额([[softmax(u1)]]，…，[softmax(uJ)]])，其中，J为1以上的整数，所述秘密归一化指数函数计算装置包括：
减法部，根据所述份额([[u1]]，…，[[uJ]])，计算份额([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]])；
第一秘密批量映射计算部，根据所述份额([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]])，计算map1([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]]))＝([[αf(1,1)]]，[[αf(2,1)]]，…，[[αf(J，1)]]，[[αf(1,2)]]，…，[[αf(J，2)]]，…，[[αf(1，J)]]，…，[[αf(J，J)]])，并设为([[exp(u1-u1)]]，[[exp(u2-u1)]]，…，[[exp(uJ-u1)]]，[[exp(u1-u2)]]，…，[[exp(uJ-u2)]]，…，[[exp(u1-uJ)]]，…，[[exp(uJ-uJ)]])＝([[αf(1,1)]]，[[αf(2,1)]]，…，[[αf(J，1)]]，[[αf(1,2)]]，…，[[αf(J，2)]]，…，[[αf(1，J)]]，…，[[αf(J，J)]])，其中，f(i，j)(1≤i，j≤K)为ap≤ui-uj＜ap+1的p；
加法部，根据所述份额([[exp(u1-u1)]]，[[exp(u2-u1)]]，…，[[exp(uJ-u1)]]，[[exp(u1-u2)]]，…，[[exp(uJ-u2)]]，…，[[exp(u1-uJ)]]，…，[[exp(uJ-uJ)]])，计算份额([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]])；及
第二秘密批量映射计算部，根据所述份额([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]])，计算map2(([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]]))＝([[βg(1)]]，[[βg(2)]]，…，[[βg(J)]])，并设为([[softmax(u1)]]，[[softmax(u2)]]，…，[softmax(uJ)]])＝([[βg(1)]]，[[βg(2)]]，…，[[βg(J)]])，其中，g(i)(1≤i≤L)为bp≤∑j＝1 Jexp(uj-ui)＜bp+1的p。
3.一种秘密归一化指数函数计算方法，将map1设为由表示函数exp(x)的定义域的参数(a1，…，aK)和表示值域的参数(α1，…，αK)定义的秘密批量映射，其中，K是2以上的整数，a1，…，aK是满足a1＜…＜aK的实数，并将map2设为由表示函数1/x的定义域的参数(b1，…，bL)和表示值域的参数(β1，…，βL)定义的秘密批量映射，其中，L是2以上的整数，b1，…，bL是满足b1＜…＜bL的实数，
将表示秘密批量映射map1的值域的所述参数α1、αK分别设为α1＝0、αK＝2b _ y，其中，by表示对归一化指数函数的输出的精度进行表示的定点的小数部分的比特数，
在所述秘密归一化指数函数计算方法中，由进行协调计算的3个以上的秘密归一化指数函数计算装置构成的秘密归一化指数函数计算系统根据输入向量(u1，…，uJ)的份额([[u1]]，…，[[uJ]])，计算针对输入向量(u1，…，uJ)的归一化指数函数的值(softmax(u1)，…，softmax(uJ))的份额([[softmax(u1)]]，…，[softmax(uJ)]])，其中，J为1以上的整数，
所述秘密归一化指数函数计算方法包括：
减法步骤，所述秘密归一化指数函数计算系统根据所述份额([[u1]]，…，[[uJ]])，计算份额([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]])；
第一秘密批量映射计算步骤，所述秘密归一化指数函数计算系统根据所述份额([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]])，计算map1([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]]))＝([[αf(1,1)]]，[[αf(2,1)]]，…，[[αf(J，1)]]，[[αf(1,2)]]，…，[[αf(J，2)]]，…，[[αf(1，J)]]，…，[[αf(J，J)]])，并设为([[exp(u1-u1)]]，[[exp(u2-u1)]]，…，[[exp(uJ-u1)]]，[[exp(u1-u2)]]，…，[[exp(uJ-u2)]]，…，[[exp(u1-uJ)]]，…，[[exp(uJ-uJ)]])＝([[αf(1,1)]]，[[αf(2,1)]]，…，[[αf(J，1)]]，[[αf(1,2)]]，…，[[αf(J，2)]]，…，[[αf(1，J)]]，…，[[αf(J，J)]])，其中，f(i，j)(1≤i，j≤K)为ap≤ui-uj＜ap+1的p；
加法步骤，所述秘密归一化指数函数计算系统根据所述份额([[exp(u1-u1)]]，[[exp(u2-u1)]]，…，[[exp(uJ-u1)]]，[[exp(u1-u2)]]，…，[[exp(uJ-u2)]]，…，[[exp(u1-uJ)]]，…，[[exp(uJ-uJ)]])，计算份额([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]])；及
第二秘密批量映射计算步骤，所述秘密归一化指数函数计算系统根据所述份额([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]])，计算map2(([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]]))＝([[βg(1)]]，[[βg(2)]]，…，[[βg(J)]])，并设为([[softmax(u1)]]，[[softmax(u2)]]，…，[softmax(uJ)]])＝([[βg(1)]]，[[βg(2)]]，…，[[βg(J)]])，其中，g(i)(1≤i≤L)为bp≤∑j＝1 Jexp(uj-ui)＜bp+1的p。
4.一种秘密神经网络计算系统，将map1设为由表示函数exp(x)的定义域的参数(a1，…，aK)和表示值域的参数(α1，…，αK)定义的秘密批量映射，其中，K是2以上的整数，a1，…，aK是满足a1＜…＜aK的实数，并将map2设为由表示函数1/x的定义域的参数(b1，…，bL)和表示值域的参数(β1，…，βL)定义的秘密批量映射，其中，L是2以上的整数，b1，…，bL是满足b1＜…＜bL的实数，
将表示秘密批量映射map1的值域的所述参数α1、αK分别设为α1＝0、αK＝2b _ y，其中，by表示对归一化指数函数的输出的精度进行表示的定点的小数部分的比特数，
所述秘密神经网络计算系统由进行协调计算的3个以上的秘密神经网络计算装置构成，并根据输入数据X的份额[[X]]，计算针对输入数据X的输出值YN+1的份额[[YN+1]]，其中，N为2以上的整数，
所述秘密神经网络计算系统包括：
输入层计算单元，使用输入层的参数W0的份额[[W0]]，根据所述份额[[X]]来计算输入层的输出值Y1的份额[[Y1]]；
设n＝1，…，N-1，
第n层计算单元，使用第n层的参数Wn的份额[[Wn]]，根据所述份额[[Yn]]来计算第n层的输出值Yn+1的份额[[Yn+1]]；及
输出层计算单元，使用输出层的参数WN的份额[[WN]]，根据所述份额[[YN]]来计算输出层的输出值YN+1的份额[[YN+1]]，
将(u1，…，uJ)设为输出层中的中间输出值UN+1，其中，J为1以上的整数，
所述输出层计算单元包括：
减法单元，根据所述中间输出值UN+1的份额([[u1]]，…，[[uJ]])，计算份额([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]])；
第一秘密批量映射计算单元，根据所述份额([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]])，计算map1([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]]))＝([[αf(1,1)]]，[[αf(2,1)]]，…，[[αf(J，1)]]，[[αf(1,2)]]，…，[[αf(J，2)]]，…，[[αf(1，J)]]，…，[[αf(J，J)]])，并设为([[exp(u1-u1)]]，[[exp(u2-u1)]]，…，[[exp(uJ-u1)]]，[[exp(u1-u2)]]，…，[[exp(uJ-u2)]]，…，[[exp(u1-uJ)]]，…，[[exp(uJ-uJ)]])＝([[αf(1,1)]]，[[αf(2,1)]]，…，[[αf(J，1)]]，[[αf(1,2)]]，…，[[αf(J，2)]]，…，[[αf(1，J)]]，…，[[αf(J，J)]])，其中，f(i，j)(1≤i，j≤K)为ap≤ui-uj＜ap+1的p；
加法单元，根据所述份额([[exp(u1-u1)]]，[[exp(u2-u1)]]，…，[[exp(uJ-u1)]]，[[exp(u1-u2)]]，…，[[exp(uJ-u2)]]，…，[[exp(u1-uJ)]]，…，[[exp(uJ-uJ)]])，计算份额([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]])；及
第二秘密批量映射计算单元，根据所述份额([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]])，计算map2(([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]]))＝([[βg(1)]]，[[βg(2)]]，…，[[βg(J)]])，并设为([[softmax(u1)]]，[[softmax(u2)]]，…，[softmax(uJ)]])＝([[βg(1)]]，[[βg(2)]]，…，[[βg(J)]])，其中，g(i)(1≤i≤L)为bp≤∑j＝1 Jexp(uj-ui)＜bp+1的p。
5.一种秘密神经网络学习系统，将map1设为由表示函数exp(x)的定义域的参数(a1，…，aK)和表示值域的参数(α1，…，αK)定义的秘密批量映射，其中，K是2以上的整数，a1，…，aK是满足a1＜…＜aK的实数，并将map2设为由表示函数1/x的定义域的参数(b1，…，bL)和表示值域的参数(β1，…，βL)定义的秘密批量映射，其中，L是2以上的整数，b1，…，bL是满足b1＜…＜bL的实数，
将表示秘密批量映射map1的值域的所述参数α1、αK分别设为α1＝0、αK＝2b _ y，其中，by表示对归一化指数函数的输出的精度进行表示的定点的小数部分的比特数，
所述秘密神经网络学习系统由进行协调计算的3个以上的秘密神经网络学习装置构成，并使用学习数据X的份额[[X]]和学习标签T的份额[[T]]，更新输入层的参数W0的份额[[W0]]、第n层的参数Wn的份额[[Wn]]和输出层的参数WN的份额[[WN]]，其中，n＝1，…，N-1，N是2以上的整数，
所述秘密神经网络学习系统包括：
正向传播计算单元，使用所述份额[[Wn]]，其中，n＝0，…，N，根据所述份额[[X]]来计算输入层的输出值Y1的份额[[Y1]]、第n层的输出值Yn+1的份额[[Yn+1]]、其中n＝1，…，N-1、和输出层的输出值YN+1的份额[[YN+1]]；
反向传播计算单元，使用所述份额[[Wn]]，其中，n＝N，…，1，根据所述份额[[YN+1]]和所述份额[[T]]来计算输出层中的误差ZN+1的份额[[ZN+1]]、第n层中的误差Zn+1的份额[[Zn +1]]、其中n＝N-1，…，1、和输入层中的误差Z1的份额[[Z1]]；
梯度计算单元，使用所述份额[[X]]和所述份额[[Yn]]，其中，n＝1，…，N，根据所述份额[[Zn]]，其中，n＝1，…，N+1，来计算输入层中的梯度G0的份额[[G0]]、第n层中的梯度Gn的份额[[Gn]]、其中n＝1，…，N-1、和输出层中的梯度GN的份额[[GN]]；及
参数更新单元，使用所述份额[[Gn]]，其中，n＝0，…，N，来更新所述份额[[Wn]]，其中，n＝0，…，N，
将(u1，…，uJ)设为输出层中的中间输出值UN+1，其中，J为1以上的整数，
所述正向传播计算单元包括：
减法单元，根据所述中间输出值UN+1的份额([[u1]]，…，[[uJ]])，计算份额([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]])；
第一秘密批量映射计算单元，根据所述份额([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]])，计算map1([[u1-u1]]，[[u2-u1]]，…，[[uJ-u1]]，[[u1-u2]]，…，[[uJ-u2]]，…，[[u1-uJ]]，…，[[uJ-uJ]]))＝([[αf(1,1)]]，[[αf(2,1)]]，…，[[αf(J，1)]]，[[αf(1,2)]]，…，[[αf(J，2)]]，…，[[αf(1，J)]]，…，[[αf(J，J)]])，并设为([[exp(u1-u1)]]，[[exp(u2-u1)]]，…，[[exp(uJ-u1)]]，[[exp(u1-u2)]]，…，[[exp(uJ-u2)]]，…，[[exp(u1-uJ)]]，…，[[exp(uJ-uJ)]])＝([[αf(1,1)]]，[[αf(2,1)]]，…，[[αf(J，1)]]，[[αf(1,2)]]，…，[[αf(J，2)]]，…，[[αf(1，J)]]，…，[[αf(J，J)]])，其中，f(i，j)(1≤i，j≤K)为ap≤ui-uj＜ap+1的p；
加法单元，根据所述份额([[exp(u1-u1)]]，[[exp(u2-u1)]]，…，[[exp(uJ-u1)]]，[[exp(u1-u2)]]，…，[[exp(uJ-u2)]]，…，[[exp(u1-uJ)]]，…，[[exp(uJ-uJ)]])，计算份额([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]])；及
第二秘密批量映射计算单元，根据所述份额([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]])，计算map2(([[∑j＝1 Jexp(uj-u1)]]，[[∑j＝1 Jexp(uj-u2)]]，…，[[∑j＝1 Jexp(uj-uJ)]]))＝([[βg(1)]]，[[βg(2)]]，…，[[βg(J)]])，并设为([[softmax(u1)]]，[[softmax(u2)]]，…，[softmax(uJ)]])＝([[βg(1)]]，[[βg(2)]]，…，[[βg(J)]])，其中，g(i)(1≤i≤L)为bp≤∑j＝1 Jexp(uj-ui)＜bp+1的p。
6.一种计算机可读取的记录介质，存储了用于使计算机作为权利要求2所述的秘密归一化指数函数计算装置发挥功能的程序。
CN201980099136.3A 2019-08-14 2019-08-14 秘密归一化指数函数计算系统、装置、方法以及记录介质 Active CN114245917B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/031916 WO2021029024A1 (ja) 2019-08-14 2019-08-14 秘密ソフトマックス関数計算システム、秘密ソフトマックス関数計算装置、秘密ソフトマックス関数計算方法、秘密ニューラルネットワーク計算システム、秘密ニューラルネットワーク学習システム、プログラム

Publications (2)

Publication Number Publication Date
CN114245917A CN114245917A (zh) 2022-03-25
CN114245917B true CN114245917B (zh) 2023-12-05

Family

ID=74570968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980099136.3A Active CN114245917B (zh) 2019-08-14 2019-08-14 秘密归一化指数函数计算系统、装置、方法以及记录介质

Country Status (6)

Country Link
US (1) US20220292362A1 (zh)
EP (1) EP4016506B1 (zh)
JP (1) JP7226562B2 (zh)
CN (1) CN114245917B (zh)
AU (1) AU2019461059B2 (zh)
WO (1) WO2021029024A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3882823A1 (en) * 2020-03-17 2021-09-22 Samsung Electronics Co., Ltd. Method and apparatus with softmax approximation
JP2022150498A (ja) * 2021-03-26 2022-10-07 エヌ・ティ・ティ・コミュニケーションズ株式会社 学習プログラム、学習方法及び学習装置
CN113407793A (zh) * 2021-07-13 2021-09-17 南京宁麒智能计算芯片研究院有限公司 一种softmax函数的硬件实现方法、模块、芯片和系统
CN117592527A (zh) * 2024-01-18 2024-02-23 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于函数秘密共享的隐私保护神经网络训练方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1246940A (zh) * 1997-12-10 2000-03-08 精工爱普生株式会社 信息处理系统、加密/解密系统、系统lsi与电子设备
JP2005084568A (ja) * 2003-09-11 2005-03-31 Nippon Telegr & Teleph Corp <Ntt> セキュリティ方法、セキュリティ装置及びセキュリティプログラム
JP2007034927A (ja) * 2005-07-29 2007-02-08 Canon Inc べき乗演算装置
JP2007171412A (ja) * 2005-12-20 2007-07-05 Nippon Telegr & Teleph Corp <Ntt> 鍵生成装置、暗号化装置、復号化装置、乗法型ナップザック暗号システム、乗法型ナップザック暗号復号方法およびプログラム
CN101436932A (zh) * 2008-12-18 2009-05-20 天津大学 一种抵抗简单电耗攻击的模幂计算方法
EP2689554A1 (en) * 2011-06-28 2014-01-29 NEC Europe Ltd. Method and system for obtaining a result of a joint public function for a plurality of parties
TW201810989A (zh) * 2016-05-18 2018-03-16 納格維遜股份有限公司 用以保護密碼指數的方法及系統
WO2018174873A1 (en) * 2017-03-22 2018-09-27 Visa International Service Association Privacy-preserving machine learning
CN109190395A (zh) * 2018-08-21 2019-01-11 浙江大数据交易中心有限公司 一种基于数据变换的全同态加密方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040086117A1 (en) * 2002-06-06 2004-05-06 Petersen Mette Vesterager Methods for improving unpredictability of output of pseudo-random number generators
US10372886B2 (en) * 2015-05-05 2019-08-06 Nxp B.V. Protecting the input/output of modular encoded white-box RSA/ECC

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1246940A (zh) * 1997-12-10 2000-03-08 精工爱普生株式会社 信息处理系统、加密/解密系统、系统lsi与电子设备
JP2005084568A (ja) * 2003-09-11 2005-03-31 Nippon Telegr & Teleph Corp <Ntt> セキュリティ方法、セキュリティ装置及びセキュリティプログラム
JP2007034927A (ja) * 2005-07-29 2007-02-08 Canon Inc べき乗演算装置
JP2007171412A (ja) * 2005-12-20 2007-07-05 Nippon Telegr & Teleph Corp <Ntt> 鍵生成装置、暗号化装置、復号化装置、乗法型ナップザック暗号システム、乗法型ナップザック暗号復号方法およびプログラム
CN101436932A (zh) * 2008-12-18 2009-05-20 天津大学 一种抵抗简单电耗攻击的模幂计算方法
EP2689554A1 (en) * 2011-06-28 2014-01-29 NEC Europe Ltd. Method and system for obtaining a result of a joint public function for a plurality of parties
TW201810989A (zh) * 2016-05-18 2018-03-16 納格維遜股份有限公司 用以保護密碼指數的方法及系統
WO2018174873A1 (en) * 2017-03-22 2018-09-27 Visa International Service Association Privacy-preserving machine learning
CN109190395A (zh) * 2018-08-21 2019-01-11 浙江大数据交易中心有限公司 一种基于数据变换的全同态加密方法及系统

Also Published As

Publication number Publication date
AU2019461059B2 (en) 2023-02-02
CN114245917A (zh) 2022-03-25
JP7226562B2 (ja) 2023-02-21
JPWO2021029024A1 (zh) 2021-02-18
WO2021029024A1 (ja) 2021-02-18
AU2019461059A1 (en) 2022-03-03
EP4016506B1 (en) 2023-10-25
EP4016506A4 (en) 2023-04-12
US20220292362A1 (en) 2022-09-15
EP4016506A1 (en) 2022-06-22

Similar Documents

Publication Publication Date Title
CN114245917B (zh) 秘密归一化指数函数计算系统、装置、方法以及记录介质
Eftang et al. Parameter multi‐domain ‘hp’empirical interpolation
CN112805768B (zh) 秘密s型函数计算系统及其方法、秘密逻辑回归计算系统及其方法、秘密s型函数计算装置、秘密逻辑回归计算装置、程序
CN110199338B (zh) 秘密计算系统、秘密计算装置、秘密计算方法、记录介质
CN110199339B (zh) 秘密计算系统、秘密计算装置、秘密计算方法、记录介质
CN112805769B (zh) 秘密s型函数计算系统、装置、方法及记录介质
CN117461021A (zh) 用于全同态评估的计算网络转换
Shiu Efficient computation of tight approximations to Chernoff bounds
Garg et al. New residue arithmetic based Barrett algorithms: Modular integer computations
CN113591942B (zh) 大规模数据的密文机器学习模型训练方法
Vandehey Lagrange's theorem for continued fractions on the Heisenberg group
Kim et al. Finding shortest vector using quantum NV Sieve on Grover
Zhang et al. Privacy-preserving elastic net for data encrypted by different keys-with an application on biomarker discovery
Hu et al. Isogeny computation on Twisted Jacobi intersections
JP7452692B2 (ja) 秘密指数部統一システム、秘密指数部統一装置、秘密指数部統一方法、秘密和計算システム、秘密積和計算システム、プログラム
US12095906B2 (en) Secret survival data processing system, secret survival data processing apparatus, secret survival data processing method, and program
Alsolmi et al. Decision‐Making on the Solution of a Stochastic Nonlinear Dynamical System of Kannan‐Type in New Sequence Space of Soft Functions
WO2023157118A1 (ja) 秘密計算装置、秘密計算方法、プログラム
WO2021029034A1 (ja) 秘密勾配降下法計算方法、秘密深層学習方法、秘密勾配降下法計算システム、秘密深層学習システム、秘密計算装置、およびプログラム
Sun et al. Approximation of nonlocal dispersal problem with inhomogeneous kernel
JP2004101846A (ja) 暗号化・復号化装置および暗号化・復号化方法
CN117461068A (zh) 秘密计算装置、秘密计算系统、秘密计算方法以及程序
Coons et al. General moment theorems for nondistinct unrestricted partitions
EP3407334A1 (en) Confidential decision-tree computation system, device, method and program
Bernardi et al. REVIEWS AND DESCRIPTIONS OF TABLES AND BOOKS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant