TWI761778B - 模型參數確定方法、裝置和電子設備 - Google Patents

模型參數確定方法、裝置和電子設備 Download PDF

Info

Publication number
TWI761778B
TWI761778B TW109106897A TW109106897A TWI761778B TW I761778 B TWI761778 B TW I761778B TW 109106897 A TW109106897 A TW 109106897A TW 109106897 A TW109106897 A TW 109106897A TW I761778 B TWI761778 B TW I761778B
Authority
TW
Taiwan
Prior art keywords
share
matrix
product
partner
inverse matrix
Prior art date
Application number
TW109106897A
Other languages
English (en)
Other versions
TW202107313A (zh
Inventor
周亞順
李漓春
殷山
王華忠
Original Assignee
開曼群島商創新先進技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 開曼群島商創新先進技術有限公司 filed Critical 開曼群島商創新先進技術有限公司
Publication of TW202107313A publication Critical patent/TW202107313A/zh
Application granted granted Critical
Publication of TWI761778B publication Critical patent/TWI761778B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107—File encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Algebra (AREA)
  • Computer Security & Cryptography (AREA)
  • Storage Device Security (AREA)

Abstract

本發明實施例提供一種模型參數確定方法、裝置和電子設備。所述方法包括：根據樣本資料和激勵函數取值的份額與合作方秘密分享海森矩陣，得到海森矩陣的份額；根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，所述第一逆矩陣為海森矩陣的逆矩陣；根據原始模型參數的份額、第一逆矩陣的份額和損失函數梯度的份額與合作方秘密分享新的模型參數，得到新的模型參數的份額。

Description

模型參數確定方法、裝置和電子設備
本發明實施例涉及電腦技術領域，特別涉及一種模型參數確定方法、裝置和電子設備。
大數據時代，存在非常多的資料孤島。資料通常分散存於不同的企業中，企業與企業之間由於競爭關係和隱私保護的考慮，並不是完全的互相信任。在一些情況下，企業與企業之間需要進行合作安全建模，以便在充分保護企業資料隱私的前提下，利用各方的資料對資料處理模型進行協作訓練。 在對資料處理模型進行協作訓練的過程中，可以利用模型參數最佳化方法對資料處理模型的模型參數進行多次最佳化調整。由於用於對資料處理模型進行訓練的資料是分散在合作建模的各方的，因此如何在保護資料隱私的條件下，協作確定資料處理模型的模型參數，是當前極需解決的技術問題。
本發明實施例的目的是提供一種模型參數確定方法、裝置和電子設備，以在保護資料隱私的前提下，由多方協作確定資料處理模型的模型參數。 為實現上述目的，本發明中一個或多個實施例提供的技術方案如下。 根據本發明一個或多個實施例的第一態樣，提供了一種模型參數確定方法，應用於第一資料方，包括：根據樣本資料和激勵函數取值的份額與合作方秘密分享海森矩陣，得到海森矩陣的份額；根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，所述第一逆矩陣為海森矩陣的逆矩陣；根據原始模型參數的份額、第一逆矩陣的份額和損失函數梯度的份額與合作方秘密分享新的模型參數，得到新的模型參數的份額。 根據本發明一個或多個實施例的第二態樣，提供了一種模型參數確定裝置，應用於第一資料方，包括：第一秘密分享單元，用於根據樣本資料和激勵函數取值的份額與合作方秘密分享海森矩陣，得到海森矩陣的份額；第二秘密分享單元，用於根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，所述第一逆矩陣為海森矩陣的逆矩陣；第三秘密分享單元，用於根據原始模型參數的份額、第一逆矩陣的份額和損失函數梯度的份額與合作方秘密分享新的模型參數，得到新的模型參數的份額。 根據本發明一個或多個實施例的第三態樣，提供了一種電子設備，包括：記憶體，用於儲存電腦指令；處理器，用於執行所述電腦指令以實現如第一態樣所述的方法步驟。 根據本發明一個或多個實施例的第四態樣，提供了一種模型參數確定方法，應用於第二資料方，包括：根據激勵函數取值的份額與合作方秘密分享海森矩陣，得到海森矩陣的份額；根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，所述第一逆矩陣為海森矩陣的逆矩陣；根據原始模型參數的份額、第一逆矩陣的份額和損失函數梯度的份額與合作方秘密分享新的模型參數，得到新的模型參數的份額。 根據本發明一個或多個實施例的第五態樣，提供了一種模型參數確定裝置，應用於第二資料方，包括：第一秘密分享單元，用於根據激勵函數取值的份額與合作方秘密分享海森矩陣，得到海森矩陣的份額；第二秘密分享單元，用於根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，所述第一逆矩陣為海森矩陣的逆矩陣；第三秘密分享單元，用於根據原始模型參數的份額、第一逆矩陣的份額和損失函數梯度的份額與合作方秘密分享新的模型參數，得到新的模型參數的份額。 根據本發明一個或多個實施例的第六態樣，提供了一種電子設備，包括：記憶體，用於儲存電腦指令；處理器，用於執行所述電腦指令以實現如第四態樣所述的方法步驟。 由以上本發明實施例提供的技術方案可見，本發明實施例中，第一資料方和第二資料方可以利用秘密分享演算法，在不洩漏自身所擁有的資料的前提下，協作確定資料處理模型的模型參數。另外，由於使用了牛頓法，因而本實施例的模型參數確定方法有較快的收斂速度，可以減少模型參數最佳化調整的次數，提高資料處理模型的訓練效率。
下面將結合本發明實施例中的圖式，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本發明保護的範圍。應當理解，儘管在本發明可能採用術語第一、第二、第三等來描述各種資訊，但這些資訊不應限於這些術語。這些術語僅用來將同一類型的資訊彼此區分開。例如，在不脫離本發明範圍的情況下，第一資訊也可以被稱為第二資訊，類似地，第二資訊也可以被稱為第一資訊。 模型參數最佳化方法可以包括梯度下降法、牛頓法等等。所述牛頓法可以包括原始牛頓法以及基於原始牛頓法的各種變形方法(諸如阻尼牛頓法、正則化牛頓法等等；正則化牛頓法是指附帶了正則化項的牛頓法；正則化可以降低模型的複雜度和不穩定程度，從而降低過擬合的危險)。考慮到相較於梯度下降法，牛頓法有著更快的收斂速度。因此若合作建模各方通過秘密分享的方式，利用牛頓法協作確定資料處理模型的模型參數，則不僅可以保護合作建模各方的資料隱私，還可以減少模型參數最佳化調整的次數，提高資料處理模型的訓練效率。 秘密分享(SS，Secret Sharing)是一種保護資料隱私安全的演算法。多個資料方可以在不洩漏自身資料的前提下，使用秘密分享演算法進行協作計算，得到秘密資訊。每個資料方可以獲得該秘密資訊的一份份額。單個資料方無法恢復該秘密資訊。只有多個資料方一同協作才能恢復該秘密資訊。例如資料方P1 擁有資料x1 ，資料方P2 擁有資料x2 。採用秘密分享演算法，資料方P1 和資料方P2 可以進行協作計算，得到秘密資訊
Figure 02_image001
。資料方P1 在計算後可以獲得秘密資訊y的份額y1 ，資料方P2 在計算後可以獲得秘密資訊y的份額y2 。 在合作安全建模的場景中，出於保護資料隱私的考慮，多個資料方可以在不洩漏自身所擁有的資料的前提下，基於自身擁有的資料，對資料處理模型進行協作訓練。所述資料處理模型包括但不限於邏輯回歸模型和神經網路模型等。在對資料處理模型進行訓練的過程中，可以利用模型參數最佳化方法對資料處理模型的模型參數進行最佳化調整。考慮到在合作安全建模的場景中，用於對資料處理模型進行訓練的資料分散在合作建模的各資料方。因此在合作安全建模的場景中，所述模型參數最佳化方法可以採用秘密分享演算法來實現。 損失函數(Loss Function)可以用於衡量資料處理模型的預測值與真實值之間不一致的程度。損失函數的值越小，表示資料處理模型的穩健性越好。所述損失函數包括但不限於對數損失函數(Logarithmic Loss Function)、平方損失函數(Square Loss)等。 海森矩陣(Hessian Matrix)，又稱為黑塞矩陣、海瑟矩陣或海塞矩陣等，是損失函數的二階偏導數所構成的方陣，用於表示損失函數的局部曲率。 激勵函數(Activation Function)，又稱為啟動函數，可以用於構建資料處理模型。激勵函式定義了在給定輸入下的輸出。通過激勵函數可以在資料處理模型中加入非線性因素，提高資料處理模型的表達能力。所述激勵函數例如可以包括Sigmoid函數、Tanh函數和ReLU函數等等。 本發明提供一種模型參數確定系統的實施例。 請參閱圖1。在該實施例中，所述模型參數確定系統可以包括第一資料方、第二資料方和可信任的第三方(TTP，Trusted Third Party)。 所述第三方可以為一個伺服器；或者，還可以為包括多個伺服器的伺服器集群。所述第三方可以用於向所述第一資料方和所述第二資料方提供亂數。具體地，所述第三方可以產生亂數矩陣，可以將所述亂數矩陣中的各個亂數拆分為兩個份額，可以將其中一個份額作為第一份額，將其中另一個份額作為第二份額。所述第三方可以將所述亂數矩陣中各個亂數的第一份額形成的矩陣作為所述亂數矩陣的第一份額，將所述亂數矩陣中各個亂數的第二份額形成的矩陣作為所述亂數矩陣的第二份額；可以向所述第一資料方發送所述亂數矩陣的第一份額，可以向所述第二資料方發送所述亂數矩陣的第二份額。其中，所述亂數矩陣的第一份額和所述亂數矩陣的第二份額的和等於所述亂數矩陣。 所述第一資料方和所述第二資料方分別為合作安全建模的雙方。所述第一資料方可以為不擁有標籤的資料方，所述第二資料方可以為擁有標籤的資料方。例如，所述第一資料方可以擁有完整的樣本資料，所述第二資料方可以擁有樣本資料的標籤。或者，所述第一資料方可以擁有樣本資料的一部分資料項目，所述第二資料方可以擁有樣本資料的另一部分資料項目和標籤。具體地，例如，樣本資料可以包括使用者的儲蓄金額和借貸金額。所述第一資料方可以擁有使用者的儲蓄金額，所述第二資料方可以擁有使用者的借貸金額和樣本資料的標籤。所述標籤可以用於區分不同類型的樣本資料，具體數值例如可以取自0和1。這裡的資料方可以為電子設備。所述電子設備可以包括個人電腦、伺服器、手持設備、可攜式設備、平板型設備、多處理器裝置；或者，還可以包括由以上任何多個裝置或設備所構成的集群等。另外，樣本資料及其對應的標籤共同構成了樣本資料，樣本資料可以用於對資料處理模型進行訓練。 在合作安全建模的場景中，所述第一資料方和所述第二資料方可以分別獲得原始模型參數的一份份額。這裡可以將所述第一資料方獲得份額作為原始模型參數的第一份額，可以將所述第二資料方獲得份額作為原始模型參數的第二份額。原始模型參數的第一份額和原始模型參數的第二份額的和等於原始模型參數。 所述第一資料方可以接收亂數矩陣的第一份額。所述第二資料方可以接收亂數矩陣的第二份額。所述第一資料方可以基於原始模型參數的第一份額、樣本資料和亂數矩陣的第一份額，所述第二資料方可以基於原始模型參數的第二份額、標籤和亂數矩陣的第二份額，採用秘密分享的方式，協作確定新的模型參數。所述第一資料方和所述第二資料方可以分別獲得新的模型參數的一份份額。具體過程可以參見後面的模型參數確定方法實施例。 本發明還提供一種模型參數確定方法的實施例。 該實施例可以利用牛頓法來確定模型參數。請參閱圖2。該實施例可以包括以下步驟。 步驟S11：第一資料方根據樣本資料和激勵函數取值的第一份額，第二資料方根據激勵函數取值的第二份額，秘密分享海森矩陣。第一資料方獲得海森矩陣的第一份額，第二資料方獲得海森矩陣的第二份額。 步驟S13：第一資料方根據海森矩陣的第一份額，第二資料方根據海森矩陣的第二份額，秘密分享第一逆矩陣。第一資料方獲得第一逆矩陣的第一份額，第二資料方獲得第一逆矩陣的第二份額。第一逆矩陣為海森矩陣的逆矩陣。 步驟S15：第一資料方根據原始模型參數的第一份額、第一逆矩陣的第一份額和損失函數梯度的第一份額，第二資料方根據原始模型參數的第二份額、第一逆矩陣的第二份額和損失函數梯度的第二份額，秘密分享新的模型參數。第一資料方獲得新的模型參數的第一份額，第二資料方獲得新的模型參數的第二份額。 下面介紹在實施例中涉及的一些術語。 (一)、第一乘積、第二乘積和第三乘積。所述第一乘積可以為原始模型參數和樣本資料之間的乘積。所述第二乘積可以為亂數矩陣和海森矩陣之間的乘積。所述第三乘積可以為海森矩陣的逆矩陣和損失函數梯度之間的乘積。 在一些場景示例中，所述第一乘積可以表示為
Figure 02_image003
；其中，
Figure 02_image005
表示原始模型參數，具體為原始模型參數構成的向量；
Figure 02_image007
表示樣本資料，具體為樣本資料構成的矩陣。 所述第二乘積可以表示為
Figure 02_image009
，其中，
Figure 02_image011
表示海森矩陣，
Figure 02_image013
表示亂數矩陣。 所述第三乘積可以表示為
Figure 02_image015
，其中，
Figure 02_image017
表示海森矩陣的逆矩陣，
Figure 02_image019
表示損失函數的梯度，
Figure 02_image019
為向量。 (二)、第一逆矩陣和第二逆矩陣。鑒於海森矩陣為方陣，因而可以對海森矩陣進行求逆處理，可以將海森矩陣的逆矩陣作為第一逆矩陣。所述第二乘積可以為方陣，因而可以對所述第二乘積進行求逆處理，可以將所述第二乘積的逆矩陣作為第二逆矩陣。 延續前面的場景示例，所述第一逆矩陣可以表示為
Figure 02_image017
，所述第二逆矩陣可以表示為
Figure 02_image022
。 在一些實施例中，在步驟S11之前，所述第一資料方可以根據樣本資料和擁有的原始模型參數的第一份額，所述第二資料方可以根據擁有的原始模型參數的第二份額，秘密分享第一乘積。所述第一資料方和所述第二資料方可以分別獲得所述第一乘積的一份份額。為了便於描述，可以將所述第一資料方獲得的份額作為第一乘積的第一份額，可以將所述第二資料方獲得的份額作為第一乘積的第二份額。第一乘積的第一份額和第一乘積的第二份額的和等於第一乘積。 延續前面的場景示例，原始模型參數的第一份額可以表示為
Figure 02_image024
，原始模型參數的第二份額可以表示為
Figure 02_image026
，
Figure 02_image028
。所述第一資料方可以根據
Figure 02_image007
和
Figure 02_image024
，所述第二資料方可以根據
Figure 02_image026
，秘密分享第一乘積
Figure 02_image003
。所述第一資料方可以獲得第一乘積的第一份額
Figure 02_image032
，所述第二資料方可以獲得第一乘積的第二份額
Figure 02_image034
。
Figure 02_image036
。 進一步地，所述第一資料方還可以根據第一乘積的第一份額，所述第二資料方還可以根據第一乘積的第二份額，秘密分享多項式的取值。所述第一資料方和所述第二資料方可以分別獲得所述多項式取值的一份份額。所述多項式可以用於擬合所述資料處理模型的激勵函數。如此可以將所述第一資料方獲得的份額作為激勵函數取值的第一份額，可以將所述第二資料方獲得的份額作為激勵函數取值的第二份額。激勵函數取值的第一份額和激勵函數取值的第二份額的和等於激勵函數的取值。當然，本發明並不限於上述採用多項式擬合的方式實現對激勵函數取值的秘密分享，還可以採用其它方式實現對激勵函數取值的秘密分享。 延續前面的場景示例，所述激勵函數可以為Sigmoid函數。所述激勵函數的取值可以表示為
Figure 02_image038
。所述激勵函數取值的第一份額可以表示為
Figure 02_image040
，所述激勵函數取值的第二份額可以表示為
Figure 02_image042
。其中，
Figure 02_image044
。
Figure 02_image040
、
Figure 02_image042
和
Figure 02_image047
分別為向量。 進一步地，所述第一資料方還可以根據樣本資料和激勵函數取值的第一份額，所述第二資料方還可以根據標籤和激勵函數取值的第二份額，秘密分享損失函數的梯度。所述第一資料方和所述第二資料方可以分別獲得所述損失函數梯度的一份份額。為了便於描述，可以將所述第一資料方獲得的份額作為損失函數梯度的第一份額，可以將所述第二資料方獲得的份額作為損失函數梯度的第二份額。損失函數梯度的第一份額和損失函數梯度的第二份額的和等於損失函數的梯度。 延續前面的場景示例，所述第一資料方可以根據
Figure 02_image007
和
Figure 02_image050
，所述第二資料方可以根據標籤Y和
Figure 02_image042
，秘密分享損失函數的梯度
Figure 02_image019
(具體為向量)。所述第一資料方可以獲得損失函數梯度的第一份額
Figure 02_image052
，所述第二資料方可以獲得損失函數梯度的第二份額
Figure 02_image054
。 下面介紹所述第一資料方和所述第二資料方秘密分享損失函數
Figure 02_image019
的詳細過程。 所述第一資料方可以根據
Figure 02_image007
，所述第二資料方可以根據
Figure 02_image042
，秘密分享
Figure 02_image057
。所述第一資料方可以獲得
Figure 02_image059
，所述第二資料方可以獲得
Figure 02_image061
。
Figure 02_image063
。 所述第一資料方還可以根據
Figure 02_image007
，所述第二資料方還可以根據標籤Y(具體為標籤構成的向量)，秘密分享
Figure 02_image065
。所述第一資料方可以獲得
Figure 02_image067
，所述第二資料方可以獲得
Figure 02_image069
。
Figure 02_image071
。 所述第一資料方可以計算
Figure 02_image073
；可以計算
Figure 02_image075
作為損失函數梯度
Figure 02_image019
的第一份額
Figure 02_image052
。所述第二資料方可以計算
Figure 02_image077
作為損失函數梯度
Figure 02_image019
的第二份額
Figure 02_image054
。
Figure 02_image079
。 在一些實施例中，在步驟S11中，所述第一資料方可以根據樣本資料和激勵函數取值的第一份額，所述第二資料方可以根據激勵函數取值的第二份額，秘密分享海森矩陣。所述第一資料方和所述第二資料方可以分別獲得所述海森矩陣的一份份額。為了便於描述，可以將所述第一資料方獲得的份額作為所述海森矩陣的第一份額，可以將所述第二資料方獲得的份額作為所述海森矩陣的第二份額。海森矩陣的第一份額和海森矩陣的第二份額的和等於海森矩陣。 具體地，所述第一資料方可以根據激勵函數取值的第一份額，所述第二資料方可以根據激勵函數取值的第二份額，秘密分享對角矩陣。所述第一資料方和所述第二資料方可以分別獲得所述對角矩陣的一份份額。為了便於描述，可以將所述第一資料方獲得的份額作為所述對角矩陣的第一份額，可以將所述第二資料方獲得的份額作為所述對角矩陣的第二份額。對角矩陣的第一份額和對角矩陣的第二份額的和等於對角矩陣。如此所述第一資料方可以根據樣本資料和所述對角矩陣的第一份額，所述第二資料方可以根據所述對角矩陣的第二份額，秘密分享海森矩陣。所述第一資料方可以獲得所述海森矩陣的第一份額，所述第二資料方可以獲得所述海森矩陣的第二份額。 延續前面的場景示例，所述第一資料方可以根據
Figure 02_image040
，所述第二資料方可以根據
Figure 02_image081
，秘密分享對角矩陣
Figure 02_image082
。所述第一資料方可以獲得對角矩陣的第一份額
Figure 02_image084
，所述第二資料方可以獲得對角矩陣的第二份額
Figure 02_image086
。 下面介紹所述第一資料方和所述第二資料方秘密分享對角矩陣
Figure 02_image082
的詳細過程。 所述第一資料方可以根據
Figure 02_image040
，所述第二資料方可以根據
Figure 02_image081
，秘密分享
Figure 02_image088
。所述第一資料方可以獲得
Figure 02_image090
，所述第二資料方可以獲得
Figure 02_image092
。
Figure 02_image094
。其中，
Figure 02_image096
表示按位相乘運算。例如，向量
Figure 02_image098
，向量
Figure 02_image100
。那麼，
Figure 02_image102
。 所述第一資料方可以計算
Figure 02_image104
，所述第二資料方可以計算
Figure 02_image106
。
Figure 02_image108
。
Figure 02_image110
、
Figure 02_image112
和
Figure 02_image114
分別為向量。因而所述第一資料方可以根據
Figure 02_image110
產生對角矩陣
Figure 02_image116
的第一份額
Figure 02_image118
，所述第二資料方可以根據
Figure 02_image112
產生對角矩陣
Figure 02_image116
的第二份額
Figure 02_image121
。
Figure 02_image123
。其中，對角矩陣
Figure 02_image125
的第一份額
Figure 02_image126
和第二份額
Figure 02_image128
均可以為一個對角矩陣。在實際處理過程中，所述第一資料方可以將
Figure 02_image110
中的資料元素作為
Figure 02_image130
主對角線上的資料元素，這樣便實現了根據
Figure 02_image110
產生
Figure 02_image126
；可以將
Figure 02_image112
中的資料元素作為
Figure 02_image128
主對角線上的資料元素，這樣便實現了根據
Figure 02_image112
產生
Figure 02_image128
。 所述第一資料方可以根據
Figure 02_image007
和
Figure 02_image131
，所述第二資料方可以根據
Figure 02_image132
，秘密分享海森矩陣
Figure 02_image011
。所述第一資料方可以獲得海森矩陣的第一份額
Figure 02_image134
，所述第二資料方可以獲得海森矩陣的第二份額
Figure 02_image136
。 下面介紹所述第一資料方和所述第二資料方秘密分享海森矩陣
Figure 02_image011
的詳細過程。 所述第一資料方可以根據
Figure 02_image007
，所述第二資料方可以根據
Figure 02_image138
，秘密分享
Figure 02_image139
。所述第一資料方可以獲得
Figure 02_image141
，所述第二資料方可以獲得
Figure 02_image143
。
Figure 02_image145
。 所述第一資料方還可以根據
Figure 02_image007
，所述第二資料方還可以根據
Figure 02_image143
，秘密分享
Figure 02_image147
。所述第一資料方可以獲得
Figure 02_image149
，所述第二資料方可以獲得
Figure 02_image151
。
Figure 02_image153
。 所述第一資料方可以計算
Figure 02_image155
作為海森矩陣
Figure 02_image011
的第一份額
Figure 02_image157
。所述第二資料方可以將
Figure 02_image158
作為海森矩陣
Figure 02_image011
的第二份額
Figure 02_image157
。
Figure 02_image160
。 在一些實施例中，第三方可以向第一資料方下發亂數矩陣的第一份額；可以向第二資料方下發亂數矩陣的第二份額。亂數矩陣的第一份額和亂數矩陣的第二份額的和等於亂數矩陣。所述第一資料方可以接收亂數矩陣的第一份額，所述第二資料方可以接收亂數矩陣的第二份額。如此在步驟S13中，所述第一資料方可以根據亂數矩陣的第一份額和海森矩陣的第一份額，所述第二資料方可以根據亂數矩陣的第二份額和海森矩陣的第二份額，秘密分享第二乘積。所述第一資料方和所述第二資料方可以分別獲得所述第二乘積的一份份額。為了便於描述，可以將所述第一資料方獲得的份額作為第二乘積的第一份額，可以將所述第二資料方獲得的份額作為第二乘積的第二份額。第二乘積的第一份額和第二乘積的第二份額的和等於第二乘積。 在本實施例的一些實施方式中，可以由所述第二資料方對所述第二乘積進行求逆處理。具體地，所述第一資料方可以向所述第二資料方發送第二乘積的第一份額。所述第二資料方可以接收第二乘積的第一份額；可以將第二乘積的第一份額與自身擁有的第二乘積的第二份額相加，得到第二乘積。鑒於所述第二乘積為方陣，因而所述第二資料方可以對所述第二乘積進行求逆處理，得到所述第二乘積的逆矩陣作為第二逆矩陣；可以向所述第一資料方發送所述第二逆矩陣。所述第一資料方可以接收所述第二逆矩陣。或者，在本實施例的另一些實施方式中，還可以由所述第一資料方對所述第二乘積進行求逆處理。具體地，所述第二資料方可以向所述第一資料方發送第二乘積的第二份額。所述第一資料方可以接收第二乘積的第二份額；可以將第二乘積的第二份額與自身擁有的第二乘積的第一份額相加，得到第二乘積。鑒於所述第二乘積為方陣，因而所述第一資料方可以對所述第二乘積進行求逆處理，得到所述第二乘積的逆矩陣作為第二逆矩陣；可以向所述第二資料方發送所述第二逆矩陣。所述第二資料方可以接收所述第二逆矩陣。 所述第一資料方可以將亂數矩陣的第一份額與所述第二逆矩陣相乘，得到第一逆矩陣的第一份額。所述第二資料方可以將亂數矩陣的第二份額與所述第二逆矩陣相乘，得到第一逆矩陣的第二份額。第一逆矩陣的第一份額和第一逆矩陣的第二份額的和等於第一逆矩陣。 延續前面的場景示例，亂數矩陣的第一份額可以表示為
Figure 02_image162
，亂數矩陣的第二份額可以表示為
Figure 02_image164
，
Figure 02_image166
。所述第一資料方可以根據
Figure 02_image162
和
Figure 02_image134
，所述第二資料方可以根據
Figure 02_image169
和
Figure 02_image171
，秘密分享第二乘積
Figure 02_image009
。所述第一資料方可以獲得第二乘積的第一份額
Figure 02_image174
，所述第二資料方可以獲得第二乘積第二份額
Figure 02_image176
。 下面介紹所述第一資料方和所述第二資料方秘密分享第二乘積
Figure 02_image009
的詳細過程。 所述第一資料方可以根據
Figure 02_image157
，所述第二資料方可以根據
Figure 02_image164
，秘密分享
Figure 02_image178
。所述第一資料方可以獲得
Figure 02_image180
，所述第二資料方可以獲得
Figure 02_image182
。
Figure 02_image184
。 所述第一資料方還可以根據
Figure 02_image162
，所述第二資料方還可以根據
Figure 02_image171
，秘密分享
Figure 02_image186
。所述第一資料方可以獲得
Figure 02_image188
，所述第二資料方可以獲得
Figure 02_image190
。
Figure 02_image192
。 所述第一資料方可以計算
Figure 02_image194
作為第二乘積的第一份額
Figure 02_image174
。所述第二資料方可以計算
Figure 02_image197
作為第二乘積的第二份額
Figure 02_image199
。
Figure 02_image201
。 這裡由所述第二資料方對第二乘積
Figure 02_image009
進行求逆處理。具體地，所述第一資料方可以向所述第二資料方發送第二乘積的第一份額
Figure 02_image174
。所述第二資料方可以接收第二乘積的第一份額
Figure 02_image174
；可以將第二乘積的第一份額
Figure 02_image174
與自身擁有的第二乘積的第二份額
Figure 02_image176
相加，得到第二乘積
Figure 02_image009
；可以對第二乘積
Figure 02_image009
進行求逆處理，得到第二逆矩陣
Figure 02_image206
；可以向所述第一資料方發送第二逆矩陣
Figure 02_image206
。所述第一資料方可以接收第二逆矩陣
Figure 02_image206
。 所述第一資料方可以將第二逆矩陣
Figure 02_image206
與亂數矩陣的第一份額
Figure 02_image162
相乘，得到第一逆矩陣
Figure 02_image017
的第一份額
Figure 02_image210
。所述第二資料方可以將第二逆矩陣
Figure 02_image206
與亂數矩陣的第二份額
Figure 02_image212
相乘，得到第一逆矩陣
Figure 02_image017
的第一份額
Figure 02_image214
。
Figure 02_image216
。 在一些實施例中，在步驟S15中，所述第一資料方可以根據第一逆矩陣的第一份額和損失函數梯度的第一份額，所述第二資料方可以根據第一逆矩陣的第二份額和損失函數梯度的第二份額，秘密分享第三乘積。所述第一資料方和所述第二資料方可以分別獲得所述第三乘積的一份份額。為了便於描述，可以將所述第一資料方獲得的份額作為第三乘積的第一份額，可以將所述第二資料方獲得的份額作為第三乘積的第二份額。第三乘積的第一份額和第三乘積的第二份額的和等於第三乘積。 所述第一資料方可以將原始模型參數的第一份額與第三乘積的第一份額相減，得到新的模型參數的第一份額。所述第二資料方可以將原始模型參數的第二份額與第三乘積的第二份額相減，得到新的模型參數的第二份額。 值得說明的是，在實際應用中，可以將新的模型參數作為新的原始模型參數，重複執行步驟S11、步驟S13和步驟S15。通過重複執行本實施例的模型參數確定方法，可以實現對資料處理模型的模型參數進行反覆運算最佳化調整。 延續前面的場景示例，所述第一資料方可以根據
Figure 02_image210
和
Figure 02_image052
，所述第二資料方可以根據
Figure 02_image219
和
Figure 02_image220
，秘密分享第三乘積
Figure 02_image222
。所述第一資料方可以獲得第三乘積的第一份額
Figure 02_image224
，所述第二資料方可以獲得第三乘積的第二份額
Figure 02_image226
。 下面介紹所述第一資料方和所述第二資料方秘密分享第三乘積
Figure 02_image222
的詳細過程。 所述第一資料方可以根據
Figure 02_image210
，所述第二資料方可以根據
Figure 02_image220
，秘密分享
Figure 02_image229
。所述第一資料方可以獲得
Figure 02_image231
，所述第二資料方可以獲得
Figure 02_image233
。
Figure 02_image235
。 所述第一資料方還可以根據
Figure 02_image052
，所述第二資料方還可以根據
Figure 02_image219
，秘密分享
Figure 02_image237
。所述第一資料方可以獲得
Figure 02_image239
，所述第二資料方可以獲得
Figure 02_image241
。
Figure 02_image243
。 所述第一資料方可以計算
Figure 02_image245
作為第三乘積的第一份額
Figure 02_image224
。所述第二資料方可以計算
Figure 02_image248
作為第三乘積的第二份額
Figure 02_image250
。
Figure 02_image252
所述第一資料方可以計算
Figure 02_image254
，所述第二資料方可以計算
Figure 02_image256
，
Figure 02_image258
表示新的模型參數的第一份額，
Figure 02_image260
表示新的模型參數的第二份額，
Figure 02_image262
表示新的模型參數。
Figure 02_image264
。 在本實施例中，第一資料方和第二資料方可以利用秘密分享演算法，在不洩漏自身所擁有的資料的前提下，協作確定資料處理模型的模型參數。另外，由於使用了牛頓法，因而本實施例的模型參數確定方法有較快的收斂速度，可以減少模型參數最佳化調整的次數，提高資料處理模型的訓練效率。 基於同樣的發明構思，本發明還提供另一種模型參數確定方法的實施例。該實施例以第一資料方為執行主體，所述第一資料方可以持有樣本資料和原始模型參數的份額。請參閱圖3。該實施例可以包括以下步驟。 步驟S21：根據樣本資料和激勵函數取值的份額與合作方秘密分享海森矩陣，得到海森矩陣的份額。 在一些實施例中，所述合作方可以理解為與所述第一資料方進行合作安全建模的資料方，具體可以為前面的第二資料方。所述第一資料方可以根據第一乘積的份額與合作方秘密分享多項式的取值，得到多項式取值的份額作為激勵函數取值的份額。所述第一乘積可以為原始模型參數和樣本資料之間的乘積。所述第一資料方可以根據樣本資料和原始模型參數的份額與合作方秘密分享第一乘積，得到第一乘積的份額。所述多項式用於擬合所述激勵函數。 所述第一資料方可以根據樣本資料和激勵函數取值的份額與合作方秘密分享損失函數的梯度，得到損失函數梯度的份額。 在一些實施例中，所述第一資料方可以根據激勵函數取值的份額與合作方秘密分享對角矩陣，得到對角矩陣的份額；可以根據樣本資料和對角矩陣的份額與合作方秘密分享海森矩陣，得到海森矩陣的份額。具體過程可以參見前面步驟S11中的相關描述，在此不再贅述。 步驟S23：根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，所述第一逆矩陣為海森矩陣的逆矩陣。 在一些實施例中，所述第一資料方可以根據亂數矩陣的份額和海森矩陣的份額與合作方秘密分享第二乘積，得到第二乘積的份額。所述第二乘積可以為亂數矩陣和海森矩陣之間的乘積。所述第一資料方可以向合作方發送第二乘積的份額；可以接收合作方回饋的第二逆矩陣，所述第二逆矩陣為所述第二乘積的逆矩陣；可以將第二逆矩陣與亂數矩陣的份額相乘，得到第一逆矩陣的份額。具體過程可以參見前面步驟S13中的相關描述，在此不再贅述。 或者，在另一些實施例中，所述第一資料方可以根據亂數矩陣的份額和海森矩陣的份額與合作方秘密分享第二乘積，得到第二乘積的第一份額。所述第二乘積可以為亂數矩陣和海森矩陣之間的乘積。所述第一資料方可以接收合作方發來的第二乘積的第二份額；可以根據第二乘積的第一份額和第二乘積的第二份額確定第二逆矩陣，所述第二逆矩陣為所述第二乘積的逆矩陣；可以將第二逆矩陣與亂數矩陣的份額相乘，得到第一逆矩陣的份額。具體過程可以參見前面步驟S13中的相關描述，在此不再贅述。 步驟S25：根據原始模型參數的份額、第一逆矩陣的份額和損失函數梯度的份額與合作方秘密分享新的模型參數，得到新的模型參數的份額。 在一些實施例中，所述第一資料方可以根據第一逆矩陣的份額和損失函數梯度的份額與合作方秘密分享第三乘積，得到第三乘積的份額。所述第三乘積可以為第一逆矩陣和損失函數梯度之間的乘積。所述第一資料方可以將原始模型參數的份額與第三乘積的份額相減，得到新的模型參數的份額。具體過程可以參見前面步驟S15中的相關描述，在此不再贅述。 在本實施例中，第一資料方可以利用秘密分享演算法，在不洩漏自身所擁有的資料的前提下，與合作方協作確定資料處理模型的模型參數，得到新的模型參數的份額。 基於同樣的發明構思，本發明還提供另一種模型參數確定方法的實施例。該實施例以第二資料方為執行主體，所述第二資料方可以持有標籤和原始模型參數的份額。請參閱圖4。該實施例可以包括以下步驟。 步驟S31：根據激勵函數取值的份額與合作方秘密分享海森矩陣，得到海森矩陣的份額。 在一些實施例中，所述合作方可以理解為與所述第二資料方進行合作安全建模的資料方，具體可以為前面的第一資料方。所述第二資料方可以根據第一乘積的份額與合作方秘密分享多項式的取值，得到多項式取值的份額作為激勵函數取值的份額。所述第一乘積可以為原始模型參數和樣本資料之間的乘積。所述第二資料方可以根據原始模型參數的份額與合作方秘密分享第一乘積，得到第一乘積的份額。所述多項式用於擬合所述激勵函數。 所述第二資料方可以根據標籤和激勵函數取值的份額與合作方秘密分享損失函數的梯度，得到損失函數梯度的份額。 在一些實施例中，所述第二資料方可以根據激勵函數取值的份額與合作方秘密分享對角矩陣，得到對角矩陣的份額；可以根據對角矩陣的份額與合作方秘密分享海森矩陣，得到海森矩陣的份額。具體過程可以參見前面步驟S11中的相關描述，在此不再贅述。 步驟S33：根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，所述第一逆矩陣為海森矩陣的逆矩陣。 在一些實施例中，所述第二資料方可以根據亂數矩陣的份額和海森矩陣的份額與合作方秘密分享第二乘積，得到第二乘積的份額。所述第二乘積可以為亂數矩陣和海森矩陣之間的乘積。所述第二資料方可以向合作方發送第二乘積的份額；可以接收合作方回饋的第二逆矩陣，所述第二逆矩陣為所述第二乘積的逆矩陣；可以將第二逆矩陣與亂數矩陣的份額相乘，得到第一逆矩陣的份額。具體過程可以參見前面步驟S13中的相關描述，在此不再贅述。 或者，在另一些實施例中，所述第二資料方可以根據亂數矩陣的份額和海森矩陣的份額與合作方秘密分享第二乘積，得到第二乘積的第一份額。所述第二乘積可以為亂數矩陣和海森矩陣之間的乘積。所述第二資料方可以接收合作方發來的第二乘積的第二份額；可以根據第二乘積的第一份額和第二乘積的第二份額確定第二逆矩陣，所述第二逆矩陣為所述第二乘積的逆矩陣；可以將第二逆矩陣與亂數矩陣的份額相乘，得到第一逆矩陣的份額。具體過程可以參見前面步驟S13中的相關描述，在此不再贅述。 步驟S35：根據原始模型參數的份額、第一逆矩陣的份額和損失函數梯度的份額與合作方秘密分享新的模型參數，得到新的模型參數的份額。 在一些實施例中，所述第二資料方可以根據第一逆矩陣的份額和損失函數梯度的份額與合作方秘密分享第三乘積，得到第三乘積的份額。所述第三乘積可以為第一逆矩陣和損失函數梯度之間的乘積。所述第二資料方可以將原始模型參數的份額與第三乘積的份額相減，得到新的模型參數的份額。具體過程可以參見前面步驟S15中的相關描述，在此不再贅述。 在本實施例中，第二資料方可以利用秘密分享演算法，在不洩漏自身所擁有的資料的前提下，與合作方協作確定資料處理模型的模型參數，得到新的模型參數的份額。 基於同樣的發明構思，本發明還提供一種模型參數確定裝置的實施例。請參閱圖5。該實施例可以應用於第一資料方，可以包括以下單元。 第一秘密分享單元41，用於根據樣本資料和激勵函數取值的份額與合作方秘密分享海森矩陣，得到海森矩陣的份額； 第二秘密分享單元43，用於根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，所述第一逆矩陣為海森矩陣的逆矩陣； 第三秘密分享單元45，用於根據原始模型參數的份額、第一逆矩陣的份額和損失函數梯度的份額與合作方秘密分享新的模型參數，得到新的模型參數的份額。 基於同樣的發明構思，本發明還提供一種模型參數確定裝置的實施例。請參閱圖6。該實施例可以應用於第二資料方，可以包括以下單元。 第一秘密分享單元51，用於根據激勵函數取值的份額與合作方秘密分享海森矩陣，得到海森矩陣的份額； 第二秘密分享單元53，用於根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，所述第一逆矩陣為海森矩陣的逆矩陣； 第三秘密分享單元55，用於根據原始模型參數的份額、第一逆矩陣的份額和損失函數梯度的份額與合作方秘密分享新的模型參數，得到新的模型參數的份額。 下面介紹本發明電子設備的一個實施例。圖7是該實施例中一種電子設備的硬體結構示意圖。如圖7所示，所述電子設備可以包括一個或多個(圖中僅示出一個)處理器、記憶體和傳輸模組。當然，本領域普通技術人員可以理解，圖7所示的硬體結構僅為示意，其並不對上述電子設備的硬體結構造成限定。在實際中所述電子設備還可以包括比圖7所示更多或者更少的元件單元；或者，具有與圖7所示不同的配置。 所述記憶體可以包括高速隨機記憶體；或者，還可以包括非揮發性記憶體，例如一個或者多個磁性儲存裝置、快閃記憶體、或者其他非揮發性固態記憶體。當然，所述記憶體還可以包括遠端設置的網路記憶體。所述遠端設置的網路記憶體可以通過諸如網際網路、企業內部網、區域網、移動通信網等網路連接至所述電子設備。所述記憶體可以用於儲存應用軟體的程式指令或模組，例如本發明圖3所對應實施例的程式指令或模組；和/或，本發明圖4所對應實施例的程式指令或模組。 所述處理器可以按任何適當的方式實現。例如，所述處理器可以採取例如微處理器或處理器以及儲存可由該(微)處理器執行的電腦可讀程式碼(例如軟體或韌體)的電腦可讀介質、邏輯閘、開關、專用積體電路(Application Specific Integrated Circuit，ASIC)、可程式化邏輯控制器和嵌入微控制器的形式等等。所述處理器可以讀取並執行所述記憶體中的程式指令或模組。 所述傳輸模組可以用於經由網路進行資料傳輸，例如經由諸如網際網路、企業內部網、區域網、移動通信網等網路進行資料傳輸。 需要說明的是，本發明中的各個實施例均採用遞進的方式描述，各個實施例之間相同或相似的部分互相參見即可，每個實施例重點說明的都是與其它實施例的不同之處。尤其，對於裝置實施例和電子設備實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。另外，可以理解的是，本領域技術人員在閱讀本發明檔之後，可以無需創造性勞動想到將本發明列舉的部分或全部實施例進行任意組合，這些組合也在本發明公開和保護的範圍內。 在20世紀90年代，對於一個技術的改進可以很明顯地區分是硬體上的改進(例如，對二極體、電晶體、開關等電路結構的改進)還是軟體上的改進(對於方法流程的改進)。然而，隨著技術的發展，當今的很多方法流程的改進已經可以視為硬體電路結構的直接改進。設計人員幾乎都通過將改進的方法流程程式設計到硬體電路中來得到相應的硬體電路結構。因此，不能說一個方法流程的改進就不能用硬體實體模組來實現。例如，可程式化邏輯裝置(Programmable Logic Device, PLD)(例如現場可程式化閘陣列(Field Programmable Gate Array，FPGA))就是這樣一種積體電路，其邏輯功能由使用者對裝置程式設計來確定。由設計人員自行程式設計來把一個數位系統“整合”在一片PLD上，而不需要請晶片製造廠商來設計和製作專用的積體電路晶片。而且，如今，取代手工地製作積體電路晶片，這種程式設計也多半改用“邏輯編譯器(logic compiler)”軟體來實現，它與程式開發撰寫時所用的軟體編譯器相類似，而要編譯之前的原始代碼也得用特定的程式設計語言來撰寫，此稱之為硬體描述語言(Hardware Description Language，HDL)，而HDL 也並非僅有一種，而是有許多種，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardware Description Language)等，目前最普遍使用的是VHDL(Very-High-Speed Integrated Circuit Hardware Description Language ) 與Verilog2。本領域技術人員也應該清楚，只需要將方法流程用上述幾種硬體描述語言稍作邏輯程式設計並程式設計到積體電路中，就可以很容易得到實現該邏輯方法流程的硬體電路。 上述實施例闡明的系統、裝置、模組或單元，具體可以由電腦晶片或實體實現，或者由具有某種功能的產品來實現。一種典型的實現設備為電腦。具體的，電腦例如可以為個人電腦、筆記型電腦、蜂巢式電話、相機電話、智慧型電話、個人數位助理、媒體播放機、導航設備、電子郵件設備、遊戲控制台、平板電腦、可穿戴設備或者這些設備中的任何設備的組合。 通過以上的實施方式的描述可知，本領域的技術人員可以清楚地瞭解到本發明可借助軟體加必需的通用硬體平臺的方式來實現。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品可以儲存在儲存介質中，如ROM/RAM、磁碟、光碟等，包括若干指令用以使得一台電腦設備(可以是個人電腦，伺服器，或者網路設備等)執行本發明各個實施例或者實施例的某些部分所述的方法。 本發明可用於眾多通用或專用的電腦系統環境或配置中。例如：個人電腦、伺服器電腦、手持設備或可攜式設備、平板型設備、多處理器系統、基於微處理器的系統、機頂盒、可程式化的消費電子設備、網路PC、小型電腦、大型電腦、包括以上任何系統或設備的分散式運算環境等等。 本發明可以在由電腦執行的電腦可執行指令的一般上下文中描述，例如程式模組。一般地，程式模組包括執行特定任務或實現特定抽象資料類型的常式、程式、物件、元件、資料結構等等。也可以在分散式運算環境中實踐本發明，在這些分散式運算環境中，由通過通信網路而被連接的遠端處理設備來執行任務。在分散式運算環境中，程式模組可以位於包括存放裝置在內的本地和遠端電腦儲存介質中。 雖然通過實施例描繪了本發明，本領域普通技術人員知道，本發明有許多變形和變化而不脫離本發明的精神，希望所附的申請專利範圍包括這些變形和變化而不脫離本發明的精神。
S11-S35:步驟 41:第一秘密分享單元 43:第二秘密分享單元 45:第三秘密分享單元 51:第一秘密分享單元 53:第二秘密分享單元 55:第三秘密分享單元
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅僅是本發明中記載的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些圖式獲得其他的圖式。 [圖1]為本發明實施例一種模型參數確定系統的示意圖； [圖2]為本發明實施例一種模型參數確定方法的流程圖； [圖3]為本發明實施例一種模型參數確定方法的流程圖； [圖4]為本發明實施例一種模型參數確定方法的流程圖； [圖5]為本發明實施例一種模型參數確定裝置的示意圖； [圖6]為本發明實施例一種模型參數確定裝置的示意圖； [圖7]為本發明實施例一種電子設備的功能結構圖。

Claims (20)

  1. 一種模型參數確定方法，應用於第一資料方，包括：根據樣本資料和激勵函數取值的份額與合作方秘密分享海森矩陣，得到該海森矩陣的份額；根據該海森矩陣的份額與該合作方秘密分享第一逆矩陣，得到該第一逆矩陣的份額，該第一逆矩陣為該海森矩陣的逆矩陣；根據原始模型參數的份額、該第一逆矩陣的份額和損失函數梯度的份額與該合作方秘密分享新的模型參數，得到新的模型參數的份額。
  2. 如請求項1所述的方法，該激勵函數取值的份額通過以下步驟獲得：根據第一乘積的份額與該合作方秘密分享多項式的取值，得到該多項式取值的份額作為該激勵函數取值的份額，該第一乘積為該原始模型參數和該樣本資料之間的乘積，該多項式用於擬合該激勵函數。
  3. 如請求項2所述的方法，該第一乘積的份額通過以下步驟獲得：根據該樣本資料和該原始模型參數的份額與該合作方秘密分享該第一乘積，得到該第一乘積的份額。
  4. 如請求項2所述的方法，該損失函數梯度的份額通過以下步驟獲得：根據該樣本資料和該激勵函數取值的份額與該合作方 秘密分享該損失函數的梯度，得到該損失函數梯度的份額。
  5. 如請求項1所述的方法，該根據樣本資料和激勵函數取值的份額與合作方秘密分享海森矩陣，得到該海森矩陣的份額，包括：根據該激勵函數取值的份額與該合作方秘密分享對角矩陣，得到該對角矩陣的份額；根據樣本資料和該對角矩陣的份額與該合作方秘密分享該海森矩陣，得到該海森矩陣的份額。
  6. 如請求項1所述的方法，該根據該海森矩陣的份額與該合作方秘密分享第一逆矩陣，得到該第一逆矩陣的份額，包括：根據亂數矩陣的份額和該海森矩陣的份額與該合作方秘密分享第二乘積，得到該第二乘積的份額，該第二乘積為該亂數矩陣和該海森矩陣之間的乘積；向該合作方發送該第二乘積的份額；接收該合作方回饋的第二逆矩陣，該第二逆矩陣為該第二乘積的逆矩陣；將該第二逆矩陣與該亂數矩陣的份額相乘，得到該第一逆矩陣的份額。
  7. 如請求項1所述的方法，該根據該海森矩陣的份額與該合作方秘密分享第一逆矩陣，得到該第一逆矩陣的份額，包括：根據亂數矩陣的份額和該海森矩陣的份額與該合作方 秘密分享第二乘積，得到該第二乘積的第一份額，該第二乘積為該亂數矩陣和該海森矩陣之間的乘積；接收該合作方發來的該第二乘積的第二份額；根據該第二乘積的該第一份額和該第二乘積的該第二份額確定第二逆矩陣，該第二逆矩陣為該第二乘積的逆矩陣；將該第二逆矩陣與該亂數矩陣的份額相乘，得到該第一逆矩陣的份額。
  8. 如請求項1所述的方法，該根據原始模型參數的份額、該第一逆矩陣的份額和損失函數梯度的份額與該合作方秘密分享新的模型參數，得到新的模型參數的份額，包括：根據該第一逆矩陣的份額和該損失函數梯度的份額與該合作方秘密分享第三乘積，得到該第三乘積的份額，該第三乘積為該第一逆矩陣和該損失函數梯度之間的乘積；將該原始模型參數的份額與該第三乘積的份額相減，得到該新的模型參數的份額。
  9. 一種模型參數確定裝置，應用於第一資料方，包括：第一秘密分享單元，用於根據樣本資料和激勵函數取值的份額與合作方秘密分享海森矩陣，得到該海森矩陣的份額；第二秘密分享單元，用於根據該海森矩陣的份額與該合作方秘密分享第一逆矩陣，得到該第一逆矩陣的份額， 該第一逆矩陣為該海森矩陣的逆矩陣；第三秘密分享單元，用於根據原始模型參數的份額、該第一逆矩陣的份額和損失函數梯度的份額與該合作方秘密分享新的模型參數，得到新的模型參數的份額。
  10. 一種電子設備，包括：記憶體，用於儲存電腦指令；處理器，用於執行該電腦指令以實現如請求項1-8中任一項所述的方法步驟。
  11. 一種模型參數確定方法，應用於第二資料方，包括：根據激勵函數取值的份額與合作方秘密分享海森矩陣，得到該海森矩陣的份額；根據該海森矩陣的份額與該合作方秘密分享第一逆矩陣，得到該第一逆矩陣的份額，該第一逆矩陣為該海森矩陣的逆矩陣；根據原始模型參數的份額、該第一逆矩陣的份額和損失函數梯度的份額與該合作方秘密分享新的模型參數，得到新的模型參數的份額。
  12. 如請求項11所述的方法，該激勵函數取值的份額通過以下步驟獲得：根據第一乘積的份額與該合作方秘密分享多項式的取值，得到該多項式取值的份額作為該激勵函數取值的份額，該第一乘積為該原始模型參數和該樣本資料之間的乘積，該多項式用於擬合該激勵函數。
  13. 如請求項12所述的方法，該第一乘積的份額通過以下步驟獲得：根據該原始模型參數的份額與該合作方秘密分享該第一乘積，得到該第一乘積的份額。
  14. 如請求項12所述的方法，該損失函數梯度的份額通過以下步驟獲得：根據標籤和該激勵函數取值的份額與該合作方秘密分享該損失函數的梯度，得到該損失函數梯度的份額。
  15. 如請求項11所述的方法，該根據激勵函數取值的份額與合作方秘密分享海森矩陣，得到海森矩陣的份額，包括：根據該激勵函數取值的份額與該合作方秘密分享對角矩陣，得到該對角矩陣的份額；根據該對角矩陣的份額與該合作方秘密分享該海森矩陣，得到該海森矩陣的份額。
  16. 如請求項11所述的方法，該根據海森矩陣的份額與合作方秘密分享第一逆矩陣，得到第一逆矩陣的份額，包括：根據亂數矩陣的份額和該海森矩陣的份額與該合作方秘密分享第二乘積，得到該第二乘積的份額，該第二乘積為該亂數矩陣和該海森矩陣之間的乘積；向該合作方發送該第二乘積的份額；接收該合作方回饋的第二逆矩陣，該第二逆矩陣為該第二乘積的逆矩陣； 將該第二逆矩陣與該亂數矩陣的份額相乘，得到該第一逆矩陣的份額。
  17. 如請求項11所述的方法，該根據該海森矩陣的份額與該合作方秘密分享第一逆矩陣，得到該第一逆矩陣的份額，包括：根據亂數矩陣的份額和該海森矩陣的份額與該合作方秘密分享第二乘積，得到該第二乘積的第一份額，該第二乘積為該亂數矩陣和該海森矩陣之間的乘積；接收該合作方發來的該第二乘積的第二份額；根據該第二乘積的該第一份額和該第二乘積的該第二份額確定第二逆矩陣，該第二逆矩陣為該第二乘積的逆矩陣；將該第二逆矩陣與該亂數矩陣的份額相乘，得到該第一逆矩陣的份額。
  18. 如請求項11所述的方法，該根據原始模型參數的份額、該第一逆矩陣的份額和損失函數梯度的份額與該合作方秘密分享新的模型參數，得到新的模型參數的份額，包括：根據該第一逆矩陣的份額和該損失函數梯度的份額與該合作方秘密分享第三乘積，得到該第三乘積的份額，該第三乘積為該第一逆矩陣和該損失函數梯度之間的乘積；將該原始模型參數的份額與該第三乘積的份額相減，得到該新的模型參數的份額。
  19. 一種模型參數確定裝置，應用於第二資 料方，包括：第一秘密分享單元，用於根據激勵函數取值的份額與合作方秘密分享海森矩陣，得到該海森矩陣的份額；第二秘密分享單元，用於根據該海森矩陣的份額與該合作方秘密分享第一逆矩陣，得到該第一逆矩陣的份額，該第一逆矩陣為該海森矩陣的逆矩陣；第三秘密分享單元，用於根據原始模型參數的份額、該第一逆矩陣的份額和損失函數梯度的份額與該合作方秘密分享新的模型參數，得到新的模型參數的份額。
  20. 一種電子設備，包括：記憶體，用於儲存電腦指令；處理器，用於執行該電腦指令以實現如請求項11-18中任一項所述的方法步驟。
TW109106897A 2019-08-09 2020-03-03 模型參數確定方法、裝置和電子設備 TWI761778B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910734775.4 2019-08-09
CN201910734775.4A CN110555315B (zh) 2019-08-09 2019-08-09 基于秘密分享算法的模型参数更新方法、装置和电子设备

Publications (2)

Publication Number Publication Date
TW202107313A TW202107313A (zh) 2021-02-16
TWI761778B true TWI761778B (zh) 2022-04-21

Family

ID=68737249

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109106897A TWI761778B (zh) 2019-08-09 2020-03-03 模型參數確定方法、裝置和電子設備

Country Status (3)

Country Link
CN (1) CN110555315B (zh)
TW (1) TWI761778B (zh)
WO (1) WO2021027254A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021027598A1 (zh) * 2019-08-09 2021-02-18 创新先进技术有限公司 模型参数确定方法、装置和电子设备
US10936960B1 (en) 2019-08-09 2021-03-02 Advanced New Technologies Co., Ltd. Determining model parameters using secret sharing
CN110569228B (zh) * 2019-08-09 2020-08-04 阿里巴巴集团控股有限公司 模型参数确定方法、装置和电子设备
US10803184B2 (en) 2019-08-09 2020-10-13 Alibaba Group Holding Limited Generation of a model parameter
CN110555315B (zh) * 2019-08-09 2021-04-09 创新先进技术有限公司 基于秘密分享算法的模型参数更新方法、装置和电子设备
US11995555B1 (en) * 2019-12-17 2024-05-28 Perceive Corporation Training a neural network with quantized weights
CN111737757B (zh) * 2020-07-31 2020-11-17 支付宝(杭州)信息技术有限公司 针对隐私数据进行安全运算的方法和装置
CN113407987B (zh) * 2021-05-24 2023-10-20 支付宝(杭州)信息技术有限公司 保护隐私的确定业务数据特征有效值的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030112969A1 (en) * 2001-10-24 2003-06-19 International Business Machines Corporation Method for reducing a value modulo a shared secret
CN101882992A (zh) * 2010-06-21 2010-11-10 中国农业大学 门限秘密信息分配、还原方法及装置
CN107784180A (zh) * 2017-11-13 2018-03-09 华南理工大学 一种时变凸二次规划求解器设计方法
US20180107926A1 (en) * 2016-10-19 2018-04-19 Samsung Electronics Co., Ltd. Method and apparatus for neural network quantization
CN109977694A (zh) * 2019-03-11 2019-07-05 暨南大学 一种基于协作深度学习的数据共享方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425902A (zh) * 2008-11-12 2009-05-06 电子科技大学 一个具有前向安全的门限数字签名方法与系统
JP5957120B1 (ja) * 2015-05-12 2016-07-27 日本電信電話株式会社 秘密分散方法、秘密分散システム、分散装置、およびプログラム
US9948460B2 (en) * 2015-08-28 2018-04-17 City University Of Hong Kong Multivariate cryptography based on clipped hopfield neural network
CN110569227B (zh) * 2019-08-09 2020-08-14 阿里巴巴集团控股有限公司 模型参数确定方法、装置和电子设备
CN110569228B (zh) * 2019-08-09 2020-08-04 阿里巴巴集团控股有限公司 模型参数确定方法、装置和电子设备
CN110555525B (zh) * 2019-08-09 2021-08-13 创新先进技术有限公司 模型参数确定方法、装置和电子设备
CN110580410B (zh) * 2019-08-09 2023-07-28 创新先进技术有限公司 模型参数确定方法、装置和电子设备
CN110555315B (zh) * 2019-08-09 2021-04-09 创新先进技术有限公司 基于秘密分享算法的模型参数更新方法、装置和电子设备
CN110472439B (zh) * 2019-08-09 2023-08-22 创新先进技术有限公司 模型参数确定方法、装置和电子设备
CN110580409B (zh) * 2019-08-09 2023-05-30 创新先进技术有限公司 模型参数确定方法、装置和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030112969A1 (en) * 2001-10-24 2003-06-19 International Business Machines Corporation Method for reducing a value modulo a shared secret
CN101882992A (zh) * 2010-06-21 2010-11-10 中国农业大学 门限秘密信息分配、还原方法及装置
US20180107926A1 (en) * 2016-10-19 2018-04-19 Samsung Electronics Co., Ltd. Method and apparatus for neural network quantization
CN107784180A (zh) * 2017-11-13 2018-03-09 华南理工大学 一种时变凸二次规划求解器设计方法
CN109977694A (zh) * 2019-03-11 2019-07-05 暨南大学 一种基于协作深度学习的数据共享方法

Also Published As

Publication number Publication date
CN110555315B (zh) 2021-04-09
WO2021027254A1 (zh) 2021-02-18
TW202107313A (zh) 2021-02-16
CN110555315A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
TWI761778B (zh) 模型參數確定方法、裝置和電子設備
TWI717221B (zh) 模型參數確定方法、裝置和電子設備
CN110569227B (zh) 模型参数确定方法、装置和电子设备
CN110555525B (zh) 模型参数确定方法、装置和电子设备
TWI740375B (zh) 資料交互方法、裝置和電子設備
US10936960B1 (en) Determining model parameters using secret sharing
US20200177364A1 (en) Determining data processing model parameters through multiparty cooperation
CN110580409A (zh) 模型参数确定方法、装置和电子设备
CN111967035B (zh) 模型训练方法、装置和电子设备
CN110580410A (zh) 模型参数确定方法、装置和电子设备
TWI710981B (zh) 損失函數取值的確定方法、裝置和電子設備
US10803184B2 (en) Generation of a model parameter
TWI737164B (zh) 資料互動方法、裝置、伺服器和電子設備
CN112507323A (zh) 基于单向网络的模型训练方法、装置和计算设备
CN112511361B (zh) 模型训练方法、装置和计算设备
US10924273B2 (en) Data exchange for multi-party computation
WO2021027598A1 (zh) 模型参数确定方法、装置和电子设备
CN113011459B (zh) 模型训练方法、装置和计算设备
CN111460514B (zh) 数据匹配方法、装置和电子设备