JP2020067688A - 分散処理システムおよび分散処理方法 - Google Patents
分散処理システムおよび分散処理方法 Download PDFInfo
- Publication number
- JP2020067688A JP2020067688A JP2018198231A JP2018198231A JP2020067688A JP 2020067688 A JP2020067688 A JP 2020067688A JP 2018198231 A JP2018198231 A JP 2018198231A JP 2018198231 A JP2018198231 A JP 2018198231A JP 2020067688 A JP2020067688 A JP 2020067688A
- Authority
- JP
- Japan
- Prior art keywords
- distributed processing
- node
- processing node
- distributed
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1031—Controlling of the operation of servers by a load balancer, e.g. adding or removing servers that serve requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/163—Interprocessor communication
- G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/022—Capturing of monitoring data by sampling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1027—Persistence of sessions during load balancing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1038—Load balancing arrangements to avoid a single path through a load balancer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/40—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass for recovering from a failure of a protocol instance or entity, e.g. service redundancy protocols, protocol state redundancy or protocol service redirection
Abstract
Description
近年、深層学習がより複雑な問題に適用されるようになってきており、重みの総数が増加する傾向にある。このため、分散データや集計データのデータ量が増大し、集約通信時間と分配通信時間が増大している。
以下、本発明の実施例について図面を参照して説明する。図1は本発明の第1の実施例に係る深層学習用分散処理システムの構成例を示すブロック図である。図1の分散処理システムは、N個(Nは2以上の整数)の分散処理ノード1[n](n=1,・・・,N)と、番号nの分散処理ノード1[n](n=1,・・・,N)が次の番号n+(n+=n+1、ただしn=Nの場合はn+=1)の分散処理ノード1[n+]と互いに双方向に通信するための通信路2[n](n=1,・・・,N)とを備えている。なお、任意の通信路2[n](n=1,・・・,N)には、伝送路の他に、通信を中継する中継処理ノードが任意に介在することも可能である。
図3、図4は分散処理ノード1[n]の集約通信処理とノード間集計処理と分配通信処理とを説明するフローチャートである。
Rt[m,1]=D[m,1] ・・・(2)
Rt[m,i]=Rt[m,i−1]+D[m,i] ・・・(3)
Rt[m,N]=Rt[m,N−1]+D[m,N] ・・・(4)
1番目の分散処理ノード1[1]は、分散処理ノード1[N]から中間集計データRt[m,N]を自ノードの通信ポート11および通信路2[N]を介して受信する(図4ステップS114,S115)。
また、1番目の分散処理ノード1[1]は、集計データR[m]を正常に受信できた場合、ステップS105で時間計測を開始した時点(中間集計データRt[m,1]を送信した時点)から集計データR[m]を受信した時点までの時間を集約分配通信時間として、集約分配通信時間の計測を終了する(図4ステップS126)。
次に、本発明の第2の実施例について説明する。本実施例は、第1の実施例をより具体的に説明するものである。図6は本実施例に係る分散処理ノード1[1]の構成例を示すブロック図、図7は本実施例に係る分散処理ノード1[k](k=2,・・・,N)の構成例を示すブロック図である。
分散処理ノード1[1]の集計遅延タイマ22は、集約通信時間の計測を開始する(図3ステップS105)。
分散処理ノード1[1]の警報発生部23は、集計遅延タイマ22によって計測された集約通信時間が所定の最大集計遅延時間を超えている場合(図4ステップS117においてYES)、システム管理者に対して警報を発する(図4ステップS118)。警報の出力方法としては、例えば警報発生を知らせる信号をシステム管理者の端末装置に送信する等の方法がある。
分散処理ノード1[1]の警報発生部23は、集計遅延タイマ22によって計測された集約分配通信時間が所定の最大集計遅延時間を超えている場合(図4ステップS127においてYES)、システム管理者に対して警報を発する(図4ステップS128)。
第1、第2の実施例では、集約通信時間が最大集計遅延時間を超過した場合、あるいは分配通信時間が最大集計遅延時間を超過した場合に集計遅延異常を示す警報を発するが、本実施例は、前記の最大集計遅延時間の値を小さくすることにより、集約通信や分配通信の途中で通信が途切れる分散処理システムの異常をより短時間で検出可能とする例である。
第1、第2の実施例において、最大集計遅延時間の値は、全分散処理ノード1[n](n=1,・・・,N)が分散データD[m,n](m=1,・・・,M)を集計する準備が完了した状態から、分散処理ノード1[1]が集約通信を開始した時点から分散処理ノード1[1]が分配通信を完了する時点までの時間に、各分散処理ノード1[n]が分散データD[m,n]を集計する準備が完了する時刻のばらつき分を加える必要がある。
図12は本実施例に係る分散処理ノード1[1]の構成例を示すブロック図、図13は本実施例に係る分散処理ノード1[k](k=2,・・・,N)の構成例を示すブロック図である。
Claims (6)
- リング状に配置され、隣接するノードと通信路を介して互いに接続されたN個(Nは2以上の整数)の分散処理ノードを備え、
n番目(n=1,・・・,N)の分散処理ノードは、n+番目(n+=n+1、ただしn=Nの場合はn+=1)の分散処理ノードと双方向の通信が同時に可能な第1の通信ポートと、n-番目(n-=n−1、ただしn=1の場合はn-=N)の分散処理ノードと双方向の通信が可能な同時に第2の通信ポートとを備え、
各分散処理ノードは、学習対象のニューラルネットワークのM個(Mは2以上の整数)の重みw[m]毎(m=1,・・・,M)の分散データを生成し、
N個の分散処理ノードのうち、予め指定された1番目の分散処理ノードは、自ノードで生成された分散データを第1の集計データとして、この第1の集計データを重みw[m]の番号mの順番にパケット化して、自ノードの前記第1の通信ポートから2番目の分散処理ノードに向けて送信し、
N個の分散処理ノードのうち、前記1番目を除くk番目(k=2,・・・,N)の分散処理ノードは、(k−1)番目の分散処理ノードから自ノードの前記第2の通信ポートを介して受信した第1の集計データと自ノードで生成された分散データとの和を、対応する重みw[m]毎に求めて更新後の第1の集計データを生成し、この第1の集計データを前記番号mの順番にパケット化して、自ノードの前記第1の通信ポートからk+番目(k+=k+1、ただしk=Nの場合はk+=1)の分散処理ノードに向けて送信し、
前記1番目の分散処理ノードは、N番目の分散処理ノードから自ノードの前記第2の通信ポートを介して受信した第1の集計データを第2の集計データとして、この第2の集計データを前記番号mの順番にパケット化して、自ノードの前記第2の通信ポートから前記N番目の分散処理ノードに向けて送信し、
前記k番目の分散処理ノードは、k+番目の分散処理ノードから自ノードの前記第1の通信ポートを介して受信した第2の集計データを前記番号mの順番にパケット化して、自ノードの前記第2の通信ポートから(k−1)番目の分散処理ノードに向けて送信し、
前記1番目の分散処理ノードは、2番目の分散処理ノードから自ノードの前記第1の通信ポートを介して第2の集計データを受信し、
各分散処理ノードは、受信した前記第2の集計データに基づいて前記ニューラルネットワークの重みw[m]を更新し、
前記1番目の分散処理ノードは、各分散処理ノードが前記分散データを集計するために要した集約通信時間、あるいは前記集約通信時間と各分散処理ノードが前記第2の集計データを分配するために要した時間との合計の集約分配通信時間が、所定の最大集計遅延時間を超過した場合に、集計遅延異常を示す警報を発することを特徴とする分散処理システム。 - 請求項1記載の分散処理システムにおいて、
各分散処理ノードは、
前記分散データを生成するノード内集計処理部と、
自ノードが前記1番目の分散処理ノードとして機能する場合に、前記第1の集計データを重みw[m]の番号mの順番にパケット化して、自ノードの前記第1の通信ポートから2番目の分散処理ノードに向けて送信し、自ノードが前記k番目の分散処理ノードとして機能する場合に、前記更新後の第1の集計データを前記番号mの順番にパケット化して、自ノードの前記第1の通信ポートからk+番目の分散処理ノードに向けて送信する第1の送信部と、
自ノードの前記第2の通信ポートから受信するパケットから前記第1の集計データを取得する第1の受信部と、
自ノードが前記1番目の分散処理ノードとして機能する場合に、前記第2の集計データを前記番号mの順番にパケット化して、自ノードの前記第2の通信ポートから前記N番目の分散処理ノードに向けて送信し、自ノードが前記k番目の分散処理ノードとして機能する場合に、受信した前記第2の集計データを前記番号mの順番にパケット化して、自ノードの前記第2の通信ポートから(k−1)番目の分散処理ノードに向けて送信する第2の送信部と、
自ノードの前記第1の通信ポートから受信するパケットから前記第2の集計データを取得する第2の受信部と、
自ノードが前記k番目の分散処理ノードとして機能する場合に、前記更新後の第1の集計データを生成する集計データ生成部と、
受信した前記第2の集計データに基づいて前記ニューラルネットワークの重みw[m]を更新する重み更新処理部と、
自ノードが前記1番目の分散処理ノードとして機能する場合に、前記第1の集計データを前記2番目の分散処理ノードに向けて送信した時点から、前記N番目の分散処理ノードから前記第1の集計データを受信した時点までの時間を前記集約通信時間として計測し、前記第1の集計データを前記2番目の分散処理ノードに向けて送信した時点から、前記2番目の分散処理ノードから前記第2の集計データを受信した時点までの時間を前記集約分配通信時間として計測するタイマと、
自ノードが前記1番目の分散処理ノードとして機能する場合に、前記集約通信時間あるいは前記集約分配通信時間が前記最大集計遅延時間を超過した場合に、集計遅延異常を示す警報を発する警報発生部とを備えることを特徴とする分散処理システム。 - 請求項1または2記載の分散処理システムにおいて、
前記1番目の分散処理ノードは、自ノードの前記第1の通信ポートから前記第1の集計データが送信される前に、前記分散データを集計する準備が完了したか否かを示す集計開始確認フラグを含む管理パケットを定期的に生成して、この管理パケットを自ノードの前記第1の通信ポートおよび前記第2の通信ポートのうち少なくとも一方から前記2番目の分散処理ノードおよび前記N番目の分散処理ノードのうち少なくとも一方に向けて送信し、
前記k番目の分散処理ノードは、前記(k−1)番目の分散処理ノードから自ノードの前記第2の通信ポートを介して前記管理パケットを受信するか、あるいは前記k+番目の分散処理ノードから自ノードの前記第1の通信ポートを介して前記管理パケットを受信し、自ノードにおいて前記分散データを集計する準備が未了の場合、受信した管理パケットに含まれる集計開始確認フラグを、分散データを集計する準備が完了していないことを示す値に更新した上で、更新後の管理パケットを前記第1、第2の通信ポートのうち管理パケットを受信したポートと異なる通信ポートから前記k+番目の分散処理ノードあるいは前記(k−1)番目の分散処理ノードに向けて送信し、自ノードにおいて前記分散データを集計する準備が完了している場合、受信した管理パケットを前記第1、第2の通信ポートのうち管理パケットを受信したポートと異なる通信ポートから前記k+番目の分散処理ノードあるいは前記(k−1)番目の分散処理ノードに向けて送信し、
前記1番目の分散処理ノードは、前記N番目の分散処理ノードから自ノードの前記第2の通信ポートを介して前記管理パケットを受信するか、あるいは前記2番目の分散処理ノードから自ノードの前記第1の通信ポートを介して前記管理パケットを受信し、受信した管理パケットに含まれる集計開始確認フラグが、前記分散データを集計する準備が完了したことを示す値である場合に、前記第1の集計データの送信を開始することを特徴とする分散処理システム。 - リング状に配置され、隣接するノードと通信路を介して互いに接続されたN個(Nは2以上の整数)の分散処理ノードを備え、n番目(n=1,・・・,N)の分散処理ノードが、n+番目(n+=n+1、ただしn=Nの場合はn+=1)の分散処理ノードと双方向の通信が同時に可能な第1の通信ポートと、n-番目(n-=n−1、ただしn=1の場合はn-=N)の分散処理ノードと双方向の通信が可能な同時に第2の通信ポートとを備えたシステムにおける分散処理方法であって、
各分散処理ノードが、学習対象のニューラルネットワークのM個(Mは2以上の整数)の重みw[m]毎(m=1,・・・,M)の分散データを生成する第1のステップと、
N個の分散処理ノードのうち、予め指定された1番目の分散処理ノードが、自ノードで生成された分散データを第1の集計データとして、この第1の集計データを重みw[m]の番号mの順番にパケット化して、自ノードの前記第1の通信ポートから2番目の分散処理ノードに向けて送信する第2のステップと、
N個の分散処理ノードのうち、前記1番目を除くk番目(k=2,・・・,N)の分散処理ノードが、(k−1)番目の分散処理ノードから自ノードの前記第2の通信ポートを介して受信した第1の集計データと自ノードで生成された分散データとの和を、対応する重みw[m]毎に求めて更新後の第1の集計データを生成し、この第1の集計データを前記番号mの順番にパケット化して、自ノードの前記第1の通信ポートからk+番目(k+=k+1、ただしk=Nの場合はk+=1)の分散処理ノードに向けて送信する第3のステップと、
前記1番目の分散処理ノードが、N番目の分散処理ノードから自ノードの前記第2の通信ポートを介して受信した第1の集計データを第2の集計データとして、この第2の集計データを前記番号mの順番にパケット化して、自ノードの前記第2の通信ポートから前記N番目の分散処理ノードに向けて送信する第4のステップと、
前記k番目の分散処理ノードが、k+番目の分散処理ノードから自ノードの前記第1の通信ポートを介して受信した第2の集計データを前記番号mの順番にパケット化して、自ノードの前記第2の通信ポートから(k−1)番目の分散処理ノードに向けて送信する第5のステップと、
前記1番目の分散処理ノードが、2番目の分散処理ノードから自ノードの前記第1の通信ポートを介して第2の集計データを受信する第6のステップと、
各分散処理ノードが、受信した前記第2の集計データに基づいて前記ニューラルネットワークの重みw[m]を更新する第7のステップと、
前記1番目の分散処理ノードが、各分散処理ノードが前記分散データを集計するために要した集約通信時間、および前記集約通信時間と各分散処理ノードが前記第2の集計データを分配するために要した時間との合計の集約分配通信時間を計測する第8のステップと、
前記集約通信時間あるいは前記集約分配通信時間が所定の最大集計遅延時間を超過した場合に、集計遅延異常を示す警報を発する第9のステップとを含むことを特徴とする分散処理方法。 - 請求項4記載の分散処理方法において、
前記第3のステップは、前記k番目の分散処理ノードが、自ノードの前記第2の通信ポートから受信するパケットから前記第1の集計データを取得するステップと、前記更新後の第1の集計データを生成するステップと、前記更新後の第1の集計データを前記番号mの順番にパケット化して、自ノードの前記第1の通信ポートからk+番目の分散処理ノードに向けて送信するステップとを含み、
前記第4のステップは、前記1番目の分散処理ノードが、自ノードの前記第2の通信ポートから受信するパケットから前記第1の集計データを取得するステップと、取得した第1の集計データを第2の集計データとして、この第2の集計データを前記番号mの順番にパケット化して、自ノードの前記第2の通信ポートから前記N番目の分散処理ノードに向けて送信するステップとを含み、
前記第5のステップは、前記k番目の分散処理ノードが、自ノードの前記第1の通信ポートから受信するパケットから前記第2の集計データを取得するステップと、受信した前記第2の集計データを前記番号mの順番にパケット化して、自ノードの前記第2の通信ポートから(k−1)番目の分散処理ノードに向けて送信するステップとを含み、
前記第6のステップは、前記1番目の分散処理ノードが、自ノードの前記第1の通信ポートから受信するパケットから前記第2の集計データを取得するステップを含み、
前記第8のステップは、前記1番目の分散処理ノードが、前記第1の集計データを前記2番目の分散処理ノードに向けて送信した時点から、前記N番目の分散処理ノードから前記第1の集計データを受信した時点までの時間を前記集約通信時間として計測し、前記第1の集計データを前記2番目の分散処理ノードに向けて送信した時点から、前記2番目の分散処理ノードから前記第2の集計データを受信した時点までの時間を前記集約分配通信時間として計測するステップを含むことを特徴とする分散処理方法。 - 請求項4または5記載の分散処理方法において、
前記1番目の分散処理ノードが、自ノードの前記第1の通信ポートから前記第1の集計データを送信する前に、前記分散データを集計する準備が完了したか否かを示す集計開始確認フラグを含む管理パケットを定期的に生成して、この管理パケットを自ノードの前記第1の通信ポートおよび前記第2の通信ポートのうち少なくとも一方から前記2番目の分散処理ノードおよび前記N番目の分散処理ノードのうち少なくとも一方に向けて送信する第10のステップと、
前記k番目の分散処理ノードが、前記(k−1)番目の分散処理ノードから自ノードの前記第2の通信ポートを介して前記管理パケットを受信するか、あるいは前記k+番目の分散処理ノードから自ノードの前記第1の通信ポートを介して前記管理パケットを受信し、自ノードにおいて前記分散データを集計する準備が未了の場合、受信した管理パケットに含まれる集計開始確認フラグを、分散データを集計する準備が完了していないことを示す値に更新した上で、更新後の管理パケットを前記第1、第2の通信ポートのうち管理パケットを受信したポートと異なる通信ポートから前記k+番目の分散処理ノードあるいは前記(k−1)番目の分散処理ノードに向けて送信し、自ノードにおいて前記分散データを集計する準備が完了している場合、受信した管理パケットを前記第1、第2の通信ポートのうち管理パケットを受信したポートと異なる通信ポートから前記k+番目の分散処理ノードあるいは前記(k−1)番目の分散処理ノードに向けて送信する第11のステップと、
前記1番目の分散処理ノードが、前記N番目の分散処理ノードから自ノードの前記第2の通信ポートを介して前記管理パケットを受信するか、あるいは前記2番目の分散処理ノードから自ノードの前記第1の通信ポートを介して前記管理パケットを受信し、受信した管理パケットに含まれる集計開始確認フラグが、前記分散データを集計する準備が完了したことを示す値である場合に、前記第2のステップによる前記第1の集計データの送信を開始する第12のステップとをさらに含むことを特徴とする分散処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018198231A JP7074018B2 (ja) | 2018-10-22 | 2018-10-22 | 分散処理システムおよび分散処理方法 |
PCT/JP2019/039450 WO2020085059A1 (ja) | 2018-10-22 | 2019-10-07 | 分散処理システムおよび分散処理方法 |
US17/287,063 US11240296B2 (en) | 2018-10-22 | 2019-10-07 | Distributed processing system and distributed processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018198231A JP7074018B2 (ja) | 2018-10-22 | 2018-10-22 | 分散処理システムおよび分散処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020067688A true JP2020067688A (ja) | 2020-04-30 |
JP7074018B2 JP7074018B2 (ja) | 2022-05-24 |
Family
ID=70330352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018198231A Active JP7074018B2 (ja) | 2018-10-22 | 2018-10-22 | 分散処理システムおよび分散処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11240296B2 (ja) |
JP (1) | JP7074018B2 (ja) |
WO (1) | WO2020085059A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04290155A (ja) * | 1991-03-19 | 1992-10-14 | Fujitsu Ltd | 並列データ処理方式 |
JPH09231182A (ja) * | 1996-02-22 | 1997-09-05 | Sharp Corp | データ処理装置及びデータ処理方法 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7266082B2 (en) * | 2002-08-30 | 2007-09-04 | Hewlett-Packard Development Company, L.P. | Expressway routing among peers |
US7554988B2 (en) * | 2002-09-10 | 2009-06-30 | Hewlett-Packard Development Company, L.P. | Creating expressway for overlay routing |
US7613796B2 (en) * | 2002-09-11 | 2009-11-03 | Microsoft Corporation | System and method for creating improved overlay network with an efficient distributed data structure |
US7379428B2 (en) * | 2002-10-31 | 2008-05-27 | Hewlett-Packard Development Company, L.P. | Autonomous system topology based auxiliary network for peer-to-peer overlay network |
US7454520B2 (en) * | 2002-11-20 | 2008-11-18 | Hewlett-Packard Development Company, L.P. | Method and apparatus for generating a routing table |
US7289520B2 (en) * | 2002-11-20 | 2007-10-30 | Hewlett-Packard Development Company, L.P. | Method, apparatus, and system for expressway routing among peers |
US7953858B2 (en) * | 2003-01-17 | 2011-05-31 | Hewlett-Packard Development Company, L.P. | Method and apparatus for mapping peers to an overlay network |
US20040205242A1 (en) * | 2003-03-12 | 2004-10-14 | Zhichen Xu | Querying a peer-to-peer network |
US7907544B2 (en) * | 2003-03-14 | 2011-03-15 | Hewlett-Packard Development Company, L.P. | Overlay network for location-independent communication between computer systems |
US7788400B2 (en) * | 2003-09-19 | 2010-08-31 | Hewlett-Packard Development Company, L.P. | Utilizing proximity information in an overlay network |
US7483391B2 (en) * | 2003-09-19 | 2009-01-27 | Hewlett-Packard Development Company, L.P. | Providing a notification including location information for nodes in an overlay network |
US20050108203A1 (en) * | 2003-11-13 | 2005-05-19 | Chunqiang Tang | Sample-directed searching in a peer-to-peer system |
US20080130516A1 (en) * | 2004-12-21 | 2008-06-05 | Electronics And Telecommunications Research Institute | P2p Overplay Network Construction Method and Apparatus |
DE602005019718D1 (de) * | 2005-07-28 | 2010-04-15 | Univ Berlin Tech | Kommunikationsnetz, Verfahren zur Leitweglenkung von Datenpaketen sowie Verfahren zum Lokalisieren und Sichern von Daten einer gewünschten Ressource in einem solchen Kommunikationsnetz |
US8208477B1 (en) * | 2005-08-24 | 2012-06-26 | Hewlett-Packard Development Company, L.P. | Data-dependent overlay network |
WO2007087363A2 (en) * | 2006-01-24 | 2007-08-02 | Brown University | Efficient content authentication in peer-to-peer networks |
US8069208B2 (en) * | 2006-04-21 | 2011-11-29 | Microsoft Corporation | Peer-to-peer buddy request and response |
US8041942B2 (en) * | 2006-09-05 | 2011-10-18 | Panasonic Corporation | Robust peer-to-peer networks and methods of use thereof |
US8233489B2 (en) * | 2006-11-27 | 2012-07-31 | Telefonaktiebolaget Lm Ericsson (Publ) | System, method, and router for routing data packets in an overlay network |
US8762542B2 (en) * | 2006-11-30 | 2014-06-24 | Red Hat, Inc. | Protocol for sharing information in a peer to peer service |
US8041773B2 (en) * | 2007-09-24 | 2011-10-18 | The Research Foundation Of State University Of New York | Automatic clustering for self-organizing grids |
KR101422213B1 (ko) * | 2007-11-23 | 2014-07-22 | 삼성전자 주식회사 | 단말의 능력을 기초로 역할을 설정하는 장치 및 그 방법 |
US7747777B2 (en) * | 2007-11-30 | 2010-06-29 | Cisco Technology, Inc. | Optimizing network resources usage within an administrative boundary |
EP2071809A1 (en) * | 2007-12-13 | 2009-06-17 | Alcatel Lucent | Method of establishing a connection in a peer-to-peer network with network address translation (NAT) |
JP4417997B2 (ja) * | 2007-12-13 | 2010-02-17 | 株式会社東芝 | オーバーレイネットワークシステム、同システムにおけるオーバーレイネットワーク構築・維持方法、及びプログラム |
US7870133B2 (en) * | 2008-01-14 | 2011-01-11 | Infosys Technologies Ltd. | Method for semantic based storage and retrieval of information |
EP2139178A1 (en) * | 2008-06-27 | 2009-12-30 | Alcatel, Lucent | Method of determining a routing path |
EP2139205B1 (en) * | 2008-06-27 | 2012-10-31 | Alcatel Lucent | Method of redundant data storage |
US8051205B2 (en) * | 2008-10-13 | 2011-11-01 | Applied Micro Circuits Corporation | Peer-to-peer distributed storage |
US8484382B2 (en) * | 2009-03-11 | 2013-07-09 | Qualcomm Incorporated | Methods and apparatus for merging peer-to-peer overlay networks |
US9686353B2 (en) * | 2009-06-26 | 2017-06-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and node for locating objects in a peer-to-peer network |
WO2011049491A1 (en) * | 2009-10-21 | 2011-04-28 | Telefonaktiebolaget L M Ericsson (Publ) | Method and arrangement for locating services in a peer-to-peer network |
CN102934092B (zh) * | 2009-12-14 | 2017-03-01 | 达伊阿斯帕纳有限公司 | 修订控制系统和方法 |
US8385267B2 (en) * | 2010-02-19 | 2013-02-26 | Research In Motion Limited | Client routing in a peer-to-peer overlay network |
US8701107B2 (en) * | 2011-06-14 | 2014-04-15 | Vmware, Inc. | Decentralized management of virtualized hosts |
US8856784B2 (en) * | 2011-06-14 | 2014-10-07 | Vmware, Inc. | Decentralized management of virtualized hosts |
WO2014001845A1 (en) * | 2012-06-28 | 2014-01-03 | Telefonaktiebolaget L M Ericsson (Publ) | Reputation reporting mechanism and method in peer-to-peer communication network |
-
2018
- 2018-10-22 JP JP2018198231A patent/JP7074018B2/ja active Active
-
2019
- 2019-10-07 WO PCT/JP2019/039450 patent/WO2020085059A1/ja active Application Filing
- 2019-10-07 US US17/287,063 patent/US11240296B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04290155A (ja) * | 1991-03-19 | 1992-10-14 | Fujitsu Ltd | 並列データ処理方式 |
JPH09231182A (ja) * | 1996-02-22 | 1997-09-05 | Sharp Corp | データ処理装置及びデータ処理方法 |
Non-Patent Citations (1)
Title |
---|
SERGEEV, ALEXANDER, DEL BALSO, MIKE: ""Horovod: fast and easy distributed deep learning in TensorFlow"", ARXIV, JPN7019003930, 21 February 2018 (2018-02-21), US, pages 1 - 10, ISSN: 0004661560 * |
Also Published As
Publication number | Publication date |
---|---|
US11240296B2 (en) | 2022-02-01 |
US20210377339A1 (en) | 2021-12-02 |
WO2020085059A1 (ja) | 2020-04-30 |
JP7074018B2 (ja) | 2022-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018187094A1 (en) | Systems and methods for networking and wirelessly routing communications | |
He et al. | Evaluating service disciplines for on-demand mobile data collection in sensor networks | |
CN104756084B (zh) | 操作管理装置和操作管理方法 | |
CN102112981A (zh) | 通信网络中的虚拟机的动态分布 | |
US20210357723A1 (en) | Distributed Processing System and Distributed Processing Method | |
WO2019239821A1 (ja) | 分散処理システムおよび分散処理方法 | |
Cantelmo et al. | Two-step approach for correction of seed matrix in dynamic demand estimation | |
CN101772012A (zh) | 网络节点信任度确定方法、系统及装置 | |
Guo et al. | Enabling coverage-preserving scheduling in wireless sensor networks for structural health monitoring | |
JP5695767B1 (ja) | トポロジ推定装置およびプログラム | |
Leone et al. | Stochastic models and adaptive algorithms for energy balance in sensor networks | |
JP7001004B2 (ja) | 分散深層学習システム、分散深層学習方法、およびコンピューティングインタコネクト装置 | |
WO2020085059A1 (ja) | 分散処理システムおよび分散処理方法 | |
JP6915562B2 (ja) | 分散処理システムおよび分散処理方法 | |
JP7192984B2 (ja) | 分散処理システムおよび分散処理方法 | |
JP7135468B2 (ja) | 分散処理システムおよび分散処理方法 | |
WO2020085058A1 (ja) | 分散処理システムおよび分散処理方法 | |
JP7420228B2 (ja) | 分散処理システムおよび分散処理方法 | |
JP6180369B2 (ja) | トポロジ推定装置およびプログラム | |
Soubra | Towards universal IoT metrics automation | |
CN110431824B (zh) | 通过对等消息彼此通信的节点的计算机网络以及关联的用于使节点之间互连的方法 | |
CN110309225A (zh) | 数据处理方法及系统 | |
Edelmann et al. | Nonparametric inference for queueing networks of GEOMX/G/∞ queues in discrete time | |
CN109634096A (zh) | 控制系统、控制方法及均衡装置 | |
JP7283577B2 (ja) | 分散深層学習システムおよび分散深層学習方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220425 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7074018 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |