JP2006120182A - 並列効率計算方法 - Google Patents
並列効率計算方法 Download PDFInfo
- Publication number
- JP2006120182A JP2006120182A JP2006001754A JP2006001754A JP2006120182A JP 2006120182 A JP2006120182 A JP 2006120182A JP 2006001754 A JP2006001754 A JP 2006001754A JP 2006001754 A JP2006001754 A JP 2006001754A JP 2006120182 A JP2006120182 A JP 2006120182A
- Authority
- JP
- Japan
- Prior art keywords
- parallel
- processing
- processing time
- computer system
- efficiency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
【解決手段】並列効率Ep(p)は、並列計算機システムに含まれる各プロセッサ間の負荷の均衡度合いを表すロードバランス寄与率Rb(p)と、並列計算機システムにおいて実施した処理のうち各プロセッサにより並列計算された部分の、時間についての割合を表す仮想並列化率Rp(p)と、並列計算機システムに含まれる全プロセッサの全処理時間に対する各並列性能阻害要因部分の処理時間の割合を表す並列性能阻害要因寄与率Rj(p)とを用いて以下のように計算される。
【選択図】なし
Description
"UXP/V アナライザ使用手引書 V20用",富士通株式会社,1999年9月30日,第2版,pp.13−31(マニュアル2004-00476-001)
本発明では、並列効率Ep(p)を並列性能評価指標で記述することにより、並列効率Ep(p)を並列性能阻害要因と定量的に結び付ける。図2のように、並列処理時間τi(p)は、並列計算部の処理時間γi(p)と、各並列性能阻害要因jの処理時間χi,j(p)との和で式(3)のように表わすことができる。ここで1≦j≦jOthersである。なお、図2においてiはプロセッサ番号であり、pはプロセッサ個数である。また、図2ではプロセッサiとプロセッサi+1についてのみ示されている。
各プロセッサが全く同じ処理を行うとき、ここではそれを冗長処理と呼ぶ。この処理は並列処理ではなく、プロセッサが増えても処理時間は減少しない。そこでj=1を冗長処理とし、その時間χ1,1(1)を式(12−1)乃至(12−4)のようにモデル化する。
実際に並列性能阻害要因による処理時間を測定すると、χ1,j(1)≠0の場合が存在する。この処理時間は並列処理しても減らないため、式(6−1)の仮想並列化率Rp(p)に反映され、式(6−2)の加速率Apが有限の値となり、処理に投入して意味があるプロセッサ数の上限値が決まる。そこで冗長処理以外の並列性能阻害要因による処理時間χ1,j(1)(2≦j≦jOthers)を、p=1の処理時間χ1,j(1)とp>1の処理時間を表わす式(13−2)で式(13−1)のようにモデル化し、χi,j(p)とp>1で発生し且つpに依存する並列性能阻害要因による処理時間Χi,j(p)を測定してχ1,j(1)を求める。すなわち、χ1,j(1)=χi,j(p)−Χi,j(p)であり、右辺の2項は両方とも測定により求めるものとする。
τ1=10+5+90+20+20=145
τ2=10+80+10=100
τ3=15+80+10=105
τ4=10+90+10=110
Rb(4)=(145+100+105+110)/(145×4)=0.7931
RC(4)=(25+20+25+20)/460=0.1957
Rp(4)=1(仮定)
Ep(4)=0.7931×1×(1-0.1957)=0.6379
τ1=10+5+90+20+20=145
τ2=5+10+80+10=105
τ3=10+15+80+10=115
τ4=15+10+90+10=125
Rb(4)=(145+105+115+125)/(145×4)=0.8448
RC(4)=(25+20+25+20)/490=0.1837
RTC(4)=(0+5+10+15)/490=0.0612
Rp(4)=1(仮定)
Ep(4)=0.8448×1×(1-0.1837-0.0612)=0.6379
(p)OPT=Ep(4)/(Ep)T・p
=0.4443/0.8×4=2.215
従って、最適なプロセッサの見積値は(p)OPT=2となる。
このように約23%のシステム増強となる。この値は従来の処理の並列効率を考慮しているという点で、増設に対して従来の稼働率より説得力がある値となる。システム増強に予測並列効率α(<1)をかけて加速率を算出すれば、より現実的な値となる。また、増強したプロセッサのCPU能力を10倍とするならば、α=10としてAsystemを求めることもできる。上記の例に当てはめると、Asystem=(39+10×10)/40=3.48となる。これにより異なるCPU性能のプロセッサの増設に対しても稼働率を基にした以上に根拠がある予測データを作成することが可能となる。
図19に本発明の一実施の形態に係るシステム概要図を示す。並列性能分析装置100は、並列計算機システム200の並列性能を分析する単一プロセッサのコンピュータであり、印刷装置や表示装置といった出力装置110と接続されている。但し、並列性能分析装置100は、並列計算機であってもよい。並列性能分析装置100は、データ取得部10と、ロードバランス寄与率計算部11と、仮想並列化率計算部12と、並列性能阻害要因寄与率計算部13と、並列効率計算部14と、補助指標計算部15と、プロセッサ数最適化処理部21と、プロセッサ増設見積処理部22と、システムリプレイスデータ処理部23と、運用効率データ処理部24と、チューニング処理部25と、アルゴリズム選定処理部26と、並列性能評価処理部27とを含む。並列性能分析装置100は、ログデータ格納部30に接続されている。並列計算機システム200は、測定部201を含む。例えば並列性能分析装置100は、並列計算機システム200とネットワークにて接続されている。
(1)τi(p)の部分
(a)処理の始めにおいて事象τi(p)のためのフラグをonにし、処理の終了においてoffにする。実行時に事象τi(p)のためのフラグのon/offを一定時間間隔で識別し、onと識別された回数をカウントしてサンプリング回数を得るものとする。
以下の方法のいずれかの記述と処理を、必要に応じて組み合わせて測定する。
・プログラマが、プログラム中処理の始め及び終わり、すなわち上記フラグをon/offすべき位置を検出し、当該フラグをon/offさせるための記述を行う。
・並列言語拡張やコンパイラ・ディレクティブ等が用いられている場合には、ツールが当該並列言語拡張やコンパイラ・ディレクティブ等を解釈して、上記フラグをon/offさせるための記述を行う。
・並列言語拡張やコンパイラ・ディレクティブ等が用いられている場合には、コンパイラが当該並列言語拡張やコンパイラ・ディレクティブ等を解釈して、上記フラグをon/offさせるための記述を行う。
・コンパイラが、プログラム中処理の始め及び終わり、すなわち上記フラグをon/offすべき位置を検出し、当該フラグをon/offさせるための記述を行う。
・OSが、プログラム中処理の始め及び終わり、すなわち上記フラグをon/offすべき位置を検出し、当該フラグをon/offさせるための記述を行う。
・ランタイム・ライブラリが、プログラム中処理の始め及び終わり、すなわち上記フラグをon/offすべき位置を検出し、当該フラグをon/offさせるための記述を行う。
・ハードウエアが、プログラム中処理の始め及び終わり、すなわち上記フラグをon/offすべき位置を検出し、当該フラグをon/offさせるための記述を行う。
・上記フラグがonであることを識別してその回数をカウントする処理のための記述を、コンパイラレベルで行う。
・上記フラグがonであることを識別してその回数をカウントする処理のための記述を、OSレベルで行う。
・上記フラグがonであることを識別してその回数をカウントする処理のための記述を、ランタイムライブラリ・レベルで行う。
・上記フラグがonであることを識別してその回数をカウントする処理のための記述を、ハードウェア・レベルで行う。
・上記フラグがonであることを識別してその回数をカウントする処理のための記述を、ツールレベルで行う。
・上記フラグがonであることを識別してその回数をカウントする処理のための記述を、プログラム・レベルで行う。
・上記フラグがonであることを識別してその回数をカウントする処理の実施を、ハードウェア・レベルで行う。
以下の方法のいずれかの名前生成法と、識別処理及びカウント処理とを必要に応じて組み合わせて測定する。
・コンパイラが、上記プログラム名又は実行モジュール名等を生成する。
・OSが、上記プログラム名又は実行モジュール名等を生成する。
・ランタイム・ライブラリが、上記プログラム名又は実行モジュール名等を生成する。
・ハードウエアが、上記プログラム名又は実行モジュール名等を生成する。
・並列言語拡張やコンパイラ・ディレクティブ等の記述により、上記プログラム名又は実行モジュール名等を生成する。
・プログラマの記述により、上記プログラム名又は実行モジュール名等を生成する。
・生成されたプログラム名又は実行モジュール名等の識別処理及びカウント処理のための記述を、コンパイラ・レベルで行う。
・生成されたプログラム名又は実行モジュール名等の識別処理及びカウント処理のための記述を、OSレベルで行う。
・生成されたプログラム名又は実行モジュール名等の識別処理及びカウント処理のための記述を、ランタイムライブラリ・レベルで行う。
・生成されたプログラム名又は実行モジュール名等の識別処理及びカウント処理のための記述を、ハードウェア・レベルで行う。
・生成されたプログラム名又は実行モジュール名等の識別処理及びカウント処理のための記述を、ツール・レベルで行う。
・生成されたプログラム名又は実行モジュール名等の識別処理及びカウント処理のための記述を、プログラム・レベルで行う。
・生成されたプログラム名又は実行モジュール名等の識別処理及びカウント処理の実施を、ハードウェア・レベルで行う。
(a)事象χi,j(p)、γi(p)が出現する毎にその処理の初めにそのためのフラグをonにし、その処理の終わりにそのためのフラグをoffにセットする。
実行時に各事象のためのフラグのon/offを一定時間間隔で識別し、onと識別された回数をカウントしてサンプリング回数を得るものとする。1つの方法では検出できない場合があるため、以下の方法のいずれかの記述と処理を必要に応じて組み合わせて測定する。
・プログラマが、プログラム中処理の始め及び終わり、すなわち上記フラグをon/offすべき位置を検出し、当該フラグをon/offさせるための記述を行う。
・並列言語拡張やコンパイラ・ディレクティブ等が用いられている場合には、ツールが当該並列言語拡張やコンパイラ・ディレクティブ等を解釈して、上記フラグをon/offさせるための記述を行う。
・並列言語拡張やコンパイラ・ディレクティブ等が用いられている場合には、コンパイラが当該並列言語拡張やコンパイラ・ディレクティブ等を解釈して、上記フラグをon/offさせるための記述を行う。
・コンパイラが、プログラム中処理の始め及び終わり、すなわち上記フラグをon/offすべき位置を検出し、当該フラグをon/offさせるための記述を行う。
・OSが、プログラム中処理の始め及び終わり、すなわち上記フラグをon/offすべき位置を検出し、当該フラグをon/offさせるための記述を行う。
・ランタイム・ライブラリが、プログラム中処理の始め及び終わり、すなわち上記フラグをon/offすべき位置を検出し、当該フラグをon/offさせるための記述を行う。
・ハードウエアが、プログラム中処理の始め及び終わり、すなわち上記フラグをon/offすべき位置を検出し、当該フラグをon/offさせるための記述を行う。
・上記フラグがonであることを識別してその回数をカウントする処理のための記述を、コンパイラレベルで行う。
・上記フラグがonであることを識別してその回数をカウントする処理のための記述を、OSレベルで行う。
・上記フラグがonであることを識別してその回数をカウントする処理のための記述を、ランタイムライブラリ・レベルで行う。
・上記フラグがonであることを識別してその回数をカウントする処理のための記述を、ハードウェア・レベルで行う。
・上記フラグがonであることを識別してその回数をカウントする処理のための記述を、ツールレベルで行う。
・上記フラグがonであることを識別してその回数をカウントする処理のための記述を、アプリケーションプログラム・レベルで行う。
・上記フラグがonであることを識別してその回数をカウントする処理の実施を、ハードウェア・レベルで行う。
・モジュール名の分類を、コンパイラレベルで行う。
・モジュール名の分類を、OSレベルで行う。
・モジュール名の分類を、ランタイムライブラリ・レベルで行う。
・モジュール名の分類を、ハードウェア・レベルで行う。
・モジュール名の分類を、並列言語拡張やコンパイラディレクティブ・レベルで行う。
・モジュール名の分類を、ユーザレベルで行う。
・上記モジュール名の識別処理及びカウント処理のための記述を、コンパイラ・レベルで行う。
・上記モジュール名の識別処理及びカウント処理のための記述を、OSレベルで行う。
・上記モジュール名の識別処理及びカウント処理のための記述を、ランタイムライブラリ・レベルで行う。
・上記モジュール名の識別処理及びカウント処理のための記述を、ハードウェア・レベルで行う。
・上記モジュール名の識別処理及びカウント処理のための記述を、ツール・レベルで行う。
・上記モジュール名の識別処理及びカウント処理のための記述を、プログラム・レベルで行う。
・上記モジュール名の識別処理及びカウント処理の実施をハードウェア・レベルで行う。
subroutine GSUM(Imax,F,FW,NP)
real*8 F(Imax),FW(Imax)
include 'mpif.h'
sampon(RED),1
nLOCAL=(Imax+NP-1)/NP
sampoff(RED),1
sampon(C),1
call MPI_ALLTOALL(F ,nLOCAL,MPI_DOUBLE_PRECISION,
& FW,nLOCAL,MPI_DOUBLE_PRECISION,
& MPI_COMM_WORLD,IERR)
sampoff(C),1
sampon(RED),2
do j=2,NP
k=(j-1)*nLOCAL
do i=1,nLOCAL
FW(i)=FW(i)+FW(i+k)
end do
end do
do j=2,NP
k=(j-1)*nLOCAL
do i=1,nLOCAL
FW(i+k)=FW(i)
end do
end do
sampoff(RED),2
sampon(C),2
call MPI_ALLTOALL(FW, nLOCAL,MPI_DOUBLE_PRECISION,
& F ,nLOCAL,MPI_DOUBLE_PRECISION,
& MPI_COMM_WORLD,IERR)
sampoff(C),2
return
end
(4−1)冗長処理の並列性能阻害要因寄与率
(4−1)冗長処理の並列性能阻害要因寄与率
プロセッサ数最適化処理部21による処理を図25及び図26を用いて説明する。プロセッサ数最適化処理部21は、ユーザによる目標並列効率(Ep)Tの値の設定入力を受け付ける(ステップS11)。そして、最適プロセッサ数の計算を以下の式に従って行い、記憶装置に格納する(ステップS13)。
(p)OPT=Ep(p)/(Ep)T・p
そして、計算された最適プロセッサ数を出力装置110に出力する(ステップS15)。これにより、ユーザは、次に同じ処理群に属する処理を実施する際に使用するプロセッサを必要最小限にすることができる。例えば、上でも説明しているが、図13のような計算結果が得られており、目標並列効率(Ep)T=0.8とすると、p=2.22になる。従って最適なプロセッサ数は2となる。
プロセッサ増設見積処理部22は、並列計算機システム200のプロセッサ増設に対して定量的な指針として、システム増強時の加速率Asystemを与えるための処理を実施する。図27に処理フローを示す。まず、プロセッサ増設見積処理部22は、システム増設時の増加分の稼働時間のデータ及びその予想並列効率のデータの設定入力を受け付ける(ステップS41)。そして、式(18)に従ってシステム増設時の加速率Asystemを計算し、記憶装置に格納する(ステップS43)。なお、現在使用中の各プロセッサの稼働時間等のデータについては、ログデータ格納部30に格納された過去の処理ログデータを用いて計算する。そして、計算されたシステム増設時の加速率Asystemを表示装置などの出力装置110に出力する(ステップS45)。
並列計算機システムの入れ替えに際して新しい並列計算機システムの性能決定のための定量的指針を提示するための処理を実施する。図28にそのための処理フローを示す。システムリプレイスデータ処理部23は、目標とする並列効率(Ep)T及び繰返回数icmaxの設定入力を受け付ける(ステップS51)。また、新しい並列計算機システムの性能として現行の並列計算機システムに対する性能倍率Aの設定入力を受け付ける(ステップS53)。性能倍率については、CPU性能の倍率ACPU、通信性能の倍率AC、I/O性能の倍率AI/O等の設定入力を受け付ける。定量的指針はこの倍率値で得られる。ほとんどの計算機システム入れ替えでは、CPU性能の改善によりシステムの性能向上を図るため、例えばまずACPUを設定し、他の性能倍率を1としてEpを計算する。そして(Ep)Tに近付くようにAC,AI/O等の値を繰り返し計算により求め、新しい並列計算機システムの性能決定のための指針を得るような方針で処理を行ってもよい。
例えば式(17)で示されたシステム運用効率Esystemという指標を基に、システムの運用効率を評価する。この指標向上のために、どの処理の並列効率をどの程度向上させる必要があるか等、運用効率の向上に関して具体的指針を出す。具体的には、図30の処理を実施する。
従来、並列アプリケーション・プログラムのチューニングによる性能向上作業は、達成目標が不明確であったためその作業時間の見積が容易でなかった。目標とした処理時間がチューニングでは到達不可能な場合もあり、チューニング作業を延々と続けて多大な作業時間を費やす場合も多々存在していた。そこで、図31に示すような処理を実施する。
(Ep)T=max(τi)×Ep(p)/(τ)T
従来、並列アプリケーション・プログラムの一部に用いるアルゴリズムを変えたもの同士の性能比較には処理時間を用いたが、処理時間減少の原因が並列処理の効果によるものか、機能の違いによる効果か(例えば演算数の減少か)判別できなかった。その結果、処理時間は短いがスケーラビリティが悪いアルゴリズムにたくさんのプロセッサをつぎ込む資源の無駄使いを見逃すこととなった。本実施の形態では、より並列効率の良いアルゴリズムを選定して、システム全体の運用効率を向上させる。ここではまず、並列処理に向かないアルゴリズムと並列処理に向くアルゴリズムを比較した例を示しておく。
例えば図33に示すような処理時間の測定がなされた場合を例に説明する。なお、χ1,C(1)=0とする。また式(12−1)から以下のように計算される。
図34に示すような処理時間が測定された場合の例を説明する。なお、χ1,C(1)=0とする。また式(12−1)から以下のように計算される。
(p)j=(τ)j/(τ)T/(Ep)j+(p)j
そして、(p)j<(p)minであり、且つ(Ap)j>(p)jであるか確認する(ステップS131)。すなわち、(p)jが最小であり、当該アルゴリズムの加速率(Ap)jより最適プロセッサ数が小さくなっているか、すなわち実現可能かを確認する。ステップS125及びS129では線形外挿で単純に(p)jを計算しているので、実現可能か否かをここで担保するものである。もし、(p)j<(p)minであり、且つ(Ap)j>(p)jである場合には、アルゴリズム番号jをjTに設定する。すなわち、jT=j。また、(p)T=INT((p)j+0.99)と設定する(ステップS133)。
本実施の形態においては、実運用における全処理の並列性能評価指標のログデータを作成することが可能となる。このログデータにおいてある特定の処理をターゲットにすれば専用並列計算機システムに必要な仕様書(CPU性能、通信性能、I/O性能、ランタイム・ライブラリの性能等)を求めることが可能となる。全アプリケーションによる処理をターゲットにすればそのログに対する汎用並列計算機システムに必要な仕様書を作成することも可能となる。
上で述べた実施の形態は全ての並列処理(メモリ、ネットワーク、CPU性能が同じホモ構成又は異なるヘテロ構成のグリッド、クラスタ又は分散メモリ、若しくはSMP(対称型マルチプロセッシング:Symmetric MultiProcessing)、SMP+分散メモリ、NUMA(NonUniform Memory Access)等)に適用可能である。以下では、代表的な態様について計算例を示しておく。
グリッドやクラスタで処理を行う場合、各プロセッサへの処理の割り付けや処理結果の回収にネットワークを用いるため通信が発生するが、これは1つのプロセッサで処理する場合には生じない。このような処理はχ1,j(1)=0の処理である。ここでは並列性能阻害要因を通信のみとし、χ1,C(1)=0であるような処理の並列性能を評価する。例えば図38のような経過時間の測定結果が得られた場合について説明する。
数値計算では、アプリケーション・プログラムを全てのプロセッサにコピーし、ループ処理のインデックス等を識別して各プロセッサで処理を分担する、いわゆるデータパラレルで並列処理する場合が多い。データパラレルでは、例えばループ間に並列処理できない処理が残る。この処理を全プロセッサが行うとき、内容が同じ処理であることからこれを冗長処理と呼ぶ。冗長処理の特徴は、並列処理でない場合も必要な処理のため必ずχ1,RED(1)≠0となることである。ここでは並列性能阻害要因を冗長処理のみとし、χ1,RED(1)≠0であるような処理の並列性能を評価する。例えば図40のような経過時間の測定結果が得られた場合について説明する。
例えば通信ライブラリの処理時間はネットワーク通信と演算で構成される。この演算時間をχ1,C(1)として扱う。ここでは並列性能阻害要因を通信のみとし、χ1,C(1)≠0であるような処理の並列性能を評価する。例えば図42のような経過時間の測定結果が得られた場合について説明する。
特定のプロセッサが処理し、結果を他のプロセッサが使う場合、その処理が終了するまで他のプロセッサは次の処理を開始できない。例えば特定のプロセッサのみがデータベース(DB)をアクセスできる場合がこれに当たる。図44ではプロセッサ#1でこの処理(γ')を行う。他のプロセッサはDB処理の間、待ち状態になる。このようにCPUを待たせておくアイドリング処理が存在する場合の並列性能を評価することができる。図44のような経過時間の測定結果が得られたものとする。
グリッドやクラスタで処理を行う場合、各プロセッサを自分の処理のみで使うことは希で、一般に複数の処理の中に共存することになる。その場合他の処理が割り込むことによる待ちが生じる。これを図46に示す。このように他の処理があるために待ちがある場合の並列性能を評価する。図46のような経過時間の測定結果が得られたものとする。
データパラレル処理は、例えば1000件のデータを4プロセッサで250件ずつ分割して処理するような、各プロセッサの手続きが同じでデータが異なる並列処理である。並列処理できない処理は、全プロセッサのデータを同じにする、すなわち冗長処理を行う場合と、あるプロセッサで処理して全プロセッサに放送する場合がある。ここでは両者の並列性能を評価する。
図48のような経過時間の測定結果が得られたものとする。また、χ1,C=0とする。
並列処理できない部分を冗長処理する代わりに、特定のプロセッサで処理する場合がある。図50は図48の冗長処理の代わりにプロセッサ#1でのみ処理を行い(γ'の部分)、結果を各プロセッサに放送した場合である。当然その間、他のプロセッサはプロセッサ#1の結果待ちとなる。またここではγ'を並列処理として取り扱ったが、逐次処理として並列処理阻害要因に加えれば、より詳細な並列性能評価ができる。しかしそのためにはγ'の処理が逐次処理か並列処理かの判別が必要となる。図50のような経過時間の測定結果が得られたものとする。また、χ1,C=0とする。
コントロールパラレル処理は、通常各プロセッサの手続きが異なる。このため各プロセッサの手続き時間がばらばらな並列処理となる場合が多い。ここではコントロールパラレルの並列性能を評価する。図52のような経過時間の測定結果が得られたものとする。また、χ1,C=0とする。
コントロールパラレル処理は、通常各プロセッサの手続きが異なる。マスタ・スレイブ処理の場合、1つのプロセッサが他のプロセッサの管理をするマスタとなり、その指示に従って複数のプロセッサが処理を実施する。ここではプロセッサ#1をマスタプロセッサとした場合の並列性能を評価する。図54のような経過時間の測定結果が得られたものとする。また、χ1,C=0とする。
データパラレルとコントロールパラレルを混在させた処理は、ロードバランスを保たせることが難しいため通常の業務では使用されない。本実施の形態ではこのような場合の並列性能評価も可能となる。本実施の形態は、処理のコントロールのための性能評価指標を提供するため、このような処理に対する実用的な評価方法を提供するものである。ここではプロセッサ#1乃至#4はコントロールパラレルで、プロセッサ#5乃至#8はデータパラレルで、プロセッサ#1をマスタプロセッサとした場合の並列性能を評価する。図56のような経過時間の測定結果が得られたものとする。また、χ1,C=0とする。
グリッドやクラスタでつながれたプロセッサは、CPUの能力が異なっている場合が多い。これをヘテロ構成と呼ぶ。本実施の形態では、ヘテロ構成の場合にも適用できる。ここでは実施例(2)においてプロセッサ#1が1/2の性能である場合の並列性能を評価する。図58のような経過時間の測定結果が得られたものとする。
並列計算機システムの並列効率を計算する並列効率計算方法であって、
前記並列計算機システムに含まれる各プロセッサ間の負荷の均衡度合いを表すロードバランス寄与率を計算し、記憶装置に格納するロードバランス寄与率計算ステップと、
前記並列計算機システムにおいて実施した処理のうち各プロセッサにより並列計算された部分の、時間についての割合を表す仮想並列化率を計算し、記憶装置に格納する仮想並列化率計算ステップと、
前記並列計算機システムに含まれる全プロセッサの全処理時間に対する各並列性能阻害要因部分の処理時間の割合を表す並列性能阻害要因寄与率を計算し、記憶装置に格納する並列性能阻害要因寄与率計算ステップと、
前記ロードバランス寄与率と前記仮想並列化率と前記並列性能阻害要因寄与率とを用いて並列効率を計算し、記憶装置に格納するステップと、
を含む並列効率計算方法。
並列計算機システムの並列効率を計算する並列効率計算方法であって、
前記並列計算機システムに含まれる各プロセッサ間の負荷の均衡度合いを表すロードバランス寄与率を計算し、記憶装置に格納するロードバランス寄与率計算ステップと、
前記並列計算機システムにおいて実施する処理の並列化による処理時間の短縮度合いの向上の限度を表す加速率を計算し、記憶装置に格納する加速率計算ステップと、
前記並列計算機システムに含まれる全プロセッサの全処理時間に対する各並列性能阻害要因部分の処理時間の割合を表す並列性能阻害要因寄与率を計算し、記憶装置に格納する並列性能阻害要因寄与率計算ステップと、
前記ロードバランス寄与率と前記加速率と前記並列性能阻害要因寄与率とを用いて並列効率を計算し、記憶装置に格納するステップと、
を含む並列効率計算方法。
並列計算機システムの並列効率を計算する並列効率計算方法であって、
前記並列計算機システムに含まれる各プロセッサ間の負荷の均衡度合いを表すロードバランス寄与率を計算し、記憶装置に格納するロードバランス寄与率計算ステップと、
前記並列計算機システムに含まれる全プロセッサの全処理時間に対する各並列性能阻害要因部分の処理時間の割合を表す並列性能阻害要因寄与率を計算し、記憶装置に格納する並列性能阻害要因寄与率計算ステップと、
前記ロードバランス寄与率と前記並列性能阻害要因寄与率とを用いて並列効率を計算し、記憶装置に格納するステップと、
を含む並列効率計算方法。
並列計算機システムの並列効率を計算する並列効率計算方法であって、
前記並列計算機システムに含まれる各プロセッサ間の負荷の均衡度合いを表すロードバランス寄与率を計算し、記憶装置に格納するロードバランス寄与率計算ステップと、
前記並列計算機システムにおいて実施する処理のうち各プロセッサにより並列計算される部分の、時間についての割合を表す仮想並列化率を計算し、記憶装置に格納する仮想並列化率計算ステップと、
前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち並列計算部分の処理時間の和と、前記各プロセッサにおいて実施された処理の処理時間の和と、前記ロードバランス寄与率と、前記仮想並列化率とを用いて並列効率を計算し、記憶装置に格納するステップと、
を含む並列効率計算方法。
並列計算機システムの並列効率を計算する並列効率計算方法であって、
1プロセッサにより処理を実施する場合において当該処理のうち並列性能阻害部分の全処理時間に相当する第1の処理時間を計算し、記憶装置に格納するステップと、
前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち並列計算部分の処理時間の和である第2の処理時間を計算し、記憶装置に格納するステップと、
前記並列計算機システムにおいて使用したプロセッサの数と、前記並列計算機システムに含まれる各プロセッサにおいて実施された処理の処理時間のうち最長の処理時間と、前記第1の処理時間と、前記第2の処理時間とを用いて並列効率を計算し、記憶装置に格納するステップと、
を含む並列効率計算方法。
前記ロードバランス寄与率計算ステップにおいて、
前記ロードバランス寄与率を、
前記並列計算機システムに含まれる全プロセッサにおいて実施された処理の全処理時間を、前記並列計算機システムに含まれる各プロセッサにおいて実施された処理の処理時間のうち最長の処理時間及び前記並列計算機システムにおいて使用したプロセッサ数により除することにより計算する
ことを特徴とする付記1乃至4のいずれか1つ記載の並列効率計算方法。
前記仮想並列化率計算ステップにおいて、
前記仮想並列化率を、
前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち並列計算部分の処理時間の和を、1プロセッサにより同一処理を実施した場合の第3の処理時間に相当する処理時間により除することにより計算する
ことを特徴とする付記1又は4記載の並列効率計算方法。
前記並列性能阻害要因寄与率計算ステップにおいて、
特定の並列性能阻害要因についての並列性能阻害要因寄与率を、
前記並列計算機システムに含まれる各プロセッサにおける前記特定の並列性能阻害要因部分の処理時間の和を、前記並列計算機算システムに含まれる各プロセッサの処理時間の和により除することにより計算する
ことを特徴とする付記1乃至3のいずれか1つ記載の並列効率計算方法。
前記加速率計算ステップにおいて、
前記加速率を、
前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち並列計算部分の処理時間の和を1プロセッサにより同一処理を実施した場合の第3の処理時間に相当する処理時間により除することにより計算される仮想並列化率を1から差し引いた値の逆数として計算する
ことを特徴とする付記2記載の並列効率計算方法。
前記処理時間が、対応する事象の確認回数で表されることを特徴とする付記1乃至9のいずれか1つ記載の並列効率計算方法。
計算された前記並列効率に前記並列計算機システムにおいて使用したプロセッサ数を乗じて補助指標を計算し、記憶装置に格納するステップ、
をさらに含む付記1乃至10のいずれか1つ記載の並列効率計算方法。
前記第3の処理時間を、
1プロセッサにより処理を実施する場合において当該処理のうち並列性能阻害部分の全処理時間に相当する第1の処理時間と前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち並列計算部分の処理時間の和である第2の処理時間との和により計算する
ことを特徴とする付記7又は9のいずれか1つ記載の並列効率計算方法。
前記第1の処理時間が、前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち冗長処理の処理時間の和をプロセッサ数で除した値、前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち冗長処理の処理時間の最大値、前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち冗長処理の処理時間の最小値、前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち並列処理の処理時間と並列性能阻害要因の処理時間の総和が最大となるプロセッサにおける冗長処理の処理時間の値のいずれかである
ことを特徴とする付記5又は12記載の並列効率計算方法。
前記第1の処理時間が、前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち冗長処理以外の並列性能阻害要因による処理時間から2以上のプロセッサ数で発生し且つプロセッサ数に依存する並列化阻害要因による処理時間を減じた第4の処理時間を全プロセッサについて加算した値をプロセッサ数で除した値、全プロセッサにおける前記第4の処理時間の最大値、全プロセッサにおける前記第4の処理時間の最小値のいずれかの値である
ことを特徴とする付記5又は12記載の並列効率計算方法。
目標並列効率を設定するステップと、
計算された前記並列効率とプロセッサ数の積を前記目標並列効率で除することにより最適プロセッサ数を計算し、記憶装置に格納するステップと、
をさらに含む付記1乃至14のいずれか1つ記載の並列効率計算方法。
システム増強時における増加分の稼働時間と予測並列効率とを設定するステップと、
前記並列計算機システムに現在含まれる各プロセッサにおいて実施された処理の処理時間の和と計算された前記並列効率との全処理についての積和と、前記増加分の稼働時間及び前記予測並列効率の積との和を、前記並列計算機システムに現在含まれる各プロセッサの稼働時間の和で除することにより、システム増強時の加速率を計算し、記憶装置に格納するステップと、
をさらに含む付記1乃至14のいずれか1つ記載の並列効率計算方法。
前記並列計算機システムに対する新たな並列計算機システムの性能倍率を設定するステップと、
前記新たな並列計算機システムの性能倍率を用いて見積並列効率を計算し、記憶装置に格納するステップと、
をさらに含む付記1乃至14のいずれか1つ記載の並列効率計算方法。
前記並列計算機システムに現在含まれる各プロセッサにおいて実施された処理の処理時間の和と計算された前記並列効率との全処理についての積和を、前記並列計算機システムに現在含まれる各プロセッサの全稼働時間で除することにより、システム運用効率を計算し、記憶装置に格納するステップと、
をさらに含む付記1乃至14のいずれか1つ記載の並列効率計算方法。
目標処理時間を設定するステップと、
前記目標処理時間を用いて目標並列効率を計算し、記憶装置に格納するステップと、
前記目標並列効率の妥当性を確認するステップと、
をさらに含む付記1乃至14のいずれか1つ記載の並列効率計算方法。
前記目標並列効率の妥当性が確認された場合には、チューニング実施後の並列効率を計算し、記憶装置に格納するステップと、
前記チューニング実施後の並列効率と前記目標並列効率とを比較するステップと、
をさらに含む付記19記載の並列効率計算方法。
目標処理時間を設定するステップと、
異なるアルゴリズム毎に当該アルゴリズムにおける並列効率を用いて必要となるプロセッサ数の見積値を計算し、記憶装置に格納するステップと、
前記プロセッサ数の見積値が前記並列計算機システムにおいて実施する当該アルゴリズムによる処理の並列化による処理時間の短縮度合いの向上の限度を表す加速率より小さく且つ異なるアルゴリズムについて計算された前記プロセッサ数の見積値のうち最小の値となるアルゴリズムを抽出するステップと、
をさらに含む付記1乃至14のいずれか1つ記載の並列効率計算方法。
付記1乃至21のいずれか1つ記載の並列効率計算方法をコンピュータに実行させるためのプログラム。
並列計算機システムの並列効率を計算する並列効率計算装置であって、
前記並列計算機システムに含まれる各プロセッサ間の負荷の均衡度合いを表すロードバランス寄与率を計算し、記憶装置に格納するロードバランス寄与率計算手段と、
前記並列計算機システムにおいて実施した処理のうち各プロセッサにより並列計算された部分の、時間についての割合を表す仮想並列化率を計算し、記憶装置に格納する仮想並列化率計算手段と、
前記並列計算機システムに含まれる全プロセッサの全処理時間に対する各並列性能阻害要因部分の処理時間の割合を表す並列性能阻害要因寄与率を計算し、記憶装置に格納する並列性能阻害要因寄与率計算手段と、
前記ロードバランス寄与率と前記仮想並列化率と前記並列性能阻害要因寄与率とを用いて並列効率を計算し、記憶装置に格納する手段と、
を有する並列効率計算装置。
並列計算機システムの並列効率を計算する並列効率計算装置であって、
前記並列計算機システムに含まれる各プロセッサ間の負荷の均衡度合いを表すロードバランス寄与率を計算し、記憶装置に格納するロードバランス寄与率計算手段と、
前記並列計算機システムにおいて実施する処理の並列化による処理時間の短縮度合いの向上の限度を表す加速率を計算し、記憶装置に格納する加速率計算手段と、
前記並列計算機システムに含まれる全プロセッサの全処理時間に対する各並列性能阻害要因部分の処理時間の割合を表す並列性能阻害要因寄与率を計算し、記憶装置に格納する並列性能阻害要因寄与率計算手段と、
前記ロードバランス寄与率と前記加速率と前記並列性能阻害要因寄与率とを用いて並列効率を計算し、記憶装置に格納する手段と、
を有する並列効率計算装置。
並列計算機システムの並列効率を計算する並列効率計算装置であって、
前記並列計算機システムに含まれる各プロセッサ間の負荷の均衡度合いを表すロードバランス寄与率を計算し、記憶装置に格納するロードバランス寄与率計算手段と、
前記並列計算機システムに含まれる全プロセッサの全処理時間に対する各並列性能阻害要因部分の処理時間の割合を表す並列性能阻害要因寄与率を計算し、記憶装置に格納する並列性能阻害要因寄与率計算手段と、
前記ロードバランス寄与率と前記並列性能阻害要因寄与率とを用いて並列効率を計算し、記憶装置に格納する手段と、
を有する並列効率計算装置。
並列計算機システムの並列効率を計算する並列効率計算装置であって、
前記並列計算機システムに含まれる各プロセッサ間の負荷の均衡度合いを表すロードバランス寄与率を計算し、記憶装置に格納するロードバランス寄与率計算手段と、
前記並列計算機システムにおいて実施する処理のうち各プロセッサにより並列計算される部分の、時間についての割合を表す仮想並列化率を計算し、記憶装置に格納する仮想並列化率計算手段と、
前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち並列計算部分の処理時間の和と、前記各プロセッサにおいて実施された処理の処理時間の和と、前記ロードバランス寄与率と、前記仮想並列化率とを用いて並列効率を計算し、記憶装置に格納する手段と、
を有する並列効率計算装置。
並列計算機システムの並列効率を計算する並列効率計算装置であって、
1プロセッサにより処理を実施する場合において当該処理のうち並列性能阻害部分の全処理時間に相当する第1の処理時間を計算し、記憶装置に格納する手段と、
前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち並列計算部分の処理時間の和である第2の処理時間を計算し、記憶装置に格納する手段と、
前記並列計算機システムにおいて使用したプロセッサの数と、前記並列計算機システムに含まれる各プロセッサにおいて実施された処理の処理時間のうち最長の処理時間と、前記第1の処理時間と、前記第2の処理時間とを用いて並列効率を計算し、記憶装置に格納する手段と、
を有する並列効率計算装置。
並列計算機システムの並列効率Ep(p)を計算する並列効率計算方法であって、
前記並列効率Ep(p)は、p個のプロセッサによって並列処理を行った場合における最長の処理時間が前記p個のプロセッサの各処理時間τi(p)に等しいと仮定した場合の総処理時間に対する、並列処理を行わない場合における処理時間の割合であり、
前記並列計算機システムにおいて、処理における並列計算部分の処理時間γi(p)(iはプロセッサ番号を示す)と、各並列性能阻害要因jの処理時間χi,j(p)とを測定し、前記並列計算機システムの記憶部に格納するステップと、
データ取得部とロードバランス寄与率計算部と仮想並列化率計算部と並列性能阻害要因寄与率計算部と並列効率計算部とログデータ格納部と記憶装置とを有するコンピュータの前記データ取得部により、前記並列計算機システムの前記記憶部から、前記並列計算部分の処理時間γi(p)及び前記各並列性能阻害要因jの処理時間χi,j(p)を取得し、前記ログデータ格納部に格納するステップと、
前記ロードバランス寄与率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムに含まれる各プロセッサ間の負荷の均衡度合いを表すロードバランス寄与率Rb(p)を計算し、前記記憶装置に格納するロードバランス寄与率計算ステップと、
前記仮想並列化率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムにおいて実施する処理のうち各プロセッサにより並列計算された部分の、時間についての割合を表す仮想並列化率Rp(p)を計算し、前記記憶装置に格納する仮想並列化率計算ステップと、
前記並列性能阻害要因寄与率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムに含まれる全プロセッサの全処理時間に対する各並列性能阻害要因部分jの処理時間χi,j(p)の割合を表す並列性能阻害要因寄与率Rj(p)を計算し、前記記憶装置に格納する並列性能阻害要因寄与率計算ステップと、
前記並列効率計算部により、前記記憶装置に格納された、前記ロードバランス寄与率Rb(p)と前記仮想並列化率Rp(p)と前記並列性能阻害要因寄与率Rj(p)とを用いて、並列効率Ep(p)を
を含む並列効率計算方法。
並列計算機システムの並列効率Ep(p)を計算する並列効率計算方法であって、
前記並列効率Ep(p)は、p個のプロセッサによって並列処理を行った場合における最長の処理時間が前記p個のプロセッサの各処理時間に等しいと仮定した場合の総処理時間に対する、並列処理を行わない場合における処理時間の割合であり、
前記並列計算機システムにおいて、処理における並列計算部分の処理時間γi(p)(iはプロセッサ番号を示す)と、各並列性能阻害要因jの処理時間χi,j(p)とを測定し、前記並列計算機システムの記憶部に格納するステップと、
データ取得部とロードバランス寄与率計算部と補助指標計算部と並列性能阻害要因寄与率計算部と並列効率計算部とログデータ格納部と記憶装置とを有するコンピュータの前記データ取得部により、前記並列計算機システムの前記記憶部から、前記並列計算部分の処理時間γi(p)及び前記各並列性能阻害要因jの処理時間χi,j(p)を取得し、前記ログデータ格納部に格納するステップと、
前記ロードバランス寄与率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムに含まれる各プロセッサ間の負荷の均衡度合いを表すロードバランス寄与率Rb(p)を計算し、前記記憶装置に格納するロードバランス寄与率計算ステップと、
前記補助指標計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムにおいて実施する処理の並列化による処理時間の短縮度合いの向上の限度を表す加速率Ap(p)を計算し、前記記憶装置に格納する加速率計算ステップと、
前記並列性能阻害要因寄与率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムに含まれる全プロセッサの全処理時間に対する各並列性能阻害要因部分jの処理時間χi,j(p)の割合を表す並列性能阻害要因寄与率Rj(p)を計算し、前記記憶装置に格納する並列性能阻害要因寄与率計算ステップと、
前記並列効率計算部により、前記記憶装置に格納された、前記ロードバランス寄与率Rb(p)と前記加速率Ap(p)と前記並列性能阻害要因寄与率Rj(p)とを用いて、並列効率Ep(p)を
を含む並列効率計算方法。
並列計算機システムの並列効率Ep(p)を計算する並列効率計算方法であって、
前記並列効率Ep(p)は、p個のプロセッサによって並列処理を行った場合における最長の処理時間が前記p個のプロセッサの各処理時間τi(p)に等しいと仮定した場合の総処理時間に対する、並列処理を行わない場合における処理時間の割合であり、
前記並列計算機システムにおいて、処理における並列計算部分の処理時間γi(p)(iはプロセッサ番号を示す)と、各並列性能阻害要因jの処理時間χi,j(p)とを測定し、前記並列計算機システムの記憶部に格納するステップと、
データ取得部とロードバランス寄与率計算部と並列性能阻害要因寄与率計算部と並列効率計算部とログデータ格納部と記憶装置とを有するコンピュータの前記データ取得部により、前記並列計算機システムの前記記憶部から、前記並列計算部分の処理時間γi(p)及び前記各並列性能阻害要因jの処理時間χi,j(p)を取得し、前記ログデータ格納部に格納するステップと、
前記ロードバランス寄与率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムに含まれる各プロセッサ間の負荷の均衡度合いを表すロードバランス寄与率Rb(p)を計算し、前記記憶装置に格納するロードバランス寄与率計算ステップと、
前記並列性能阻害要因寄与率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムに含まれる全プロセッサの全処理時間に対する各並列性能阻害要因部分jの処理時間χi,j(p)の割合を表す並列性能阻害要因寄与率Rj(p)を計算し、前記記憶装置に格納する並列性能阻害要因寄与率計算ステップと、
前記並列効率計算部により、前記記憶装置に格納された、前記ロードバランス寄与率Rb(p)と前記並列性能阻害要因寄与率Rj(p)とを用いて、並列効率Ep(p)を
を含む並列効率計算方法。
並列計算機システムの並列効率Ep(p)を計算する並列効率計算方法であって、
前記並列効率Ep(p)は、p個のプロセッサによって並列処理を行った場合における最長の処理時間が前記p個のプロセッサの各処理時間τi(p)に等しいと仮定した場合の総処理時間に対する、並列処理を行わない場合における処理時間の割合であり、
前記並列計算機システムにおいて、処理における並列計算部分の処理時間γi(p)(iはプロセッサ番号を示す)と、各並列性能阻害要因jの処理時間χi,j(p)とを測定し、前記並列計算機システムの記憶部に格納するステップと、
データ取得部とロードバランス寄与率計算部と仮想並列化率計算部と並列効率計算部と補助指標計算部とログデータ格納部と記憶装置とを有するコンピュータの前記データ取得部により、前記並列計算機システムの前記記憶部から、前記並列計算部分の処理時間γi(p)及び前記各並列性能阻害要因jの処理時間χi,j(p)を取得し、前記ログデータ格納部に格納するステップと、
前記ロードバランス寄与率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムに含まれる各プロセッサ間の負荷の均衡度合いを表すロードバランス寄与率Rb(p)を計算し、前記記憶装置に格納するロードバランス寄与率計算ステップと、
前記仮想並列化率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムにおいて実施する処理のうち各プロセッサにより並列計算された部分の、時間についての割合を表す仮想並列化率Rp(p)を計算し、前記記憶装置に格納する仮想並列化率計算ステップと、
前記補助指標計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち並列計算部分の処理時間γi(p)の和αと、前記各プロセッサにおいて実施された処理の処理時間の和βとを計算し、前記記憶装置に格納する補助指標計算ステップと、
前記並列効率計算部により、前記記憶装置に格納された、前記αと前記βと前記ロードバランス寄与率Rb(p)と前記仮想並列化率Rp(p)とを用いて、並列効率Ep(p)を
を含む並列効率計算方法。
並列計算機システムの並列効率Ep(p)を計算する並列効率計算方法であって、
前記並列効率Ep(p)は、p個のプロセッサによって並列処理を行った場合における最長の処理時間τ(p)が前記p個のプロセッサの各処理時間τi(p)に等しいと仮定した場合の総処理時間に対する、並列処理を行わない場合における処理時間の割合であり、
前記並列計算機システムにおいて、処理における並列計算部分の処理時間γi(p)(iはプロセッサ番号を示す)と、各並列性能阻害要因jの処理時間χi,j(p)と、冗長処理以外に並列性能阻害要因が存在する場合にはp>1で発生し且つpに依存する並列性能阻害要因jによる処理時間Xi,j(p)とを測定し、前記並列計算機システムの記憶部に格納するステップと、
データ取得部と補助指標計算部と並列効率計算部とログデータ格納部と記憶装置とを有するコンピュータの前記データ取得部により、前記並列計算機システムの前記記憶部から、前記並列計算部分の処理時間γi(p)と前記各並列性能阻害要因jの処理時間χi,j(p)と前記冗長処理以外に並列性能阻害要因が存在する場合には前記処理時間Xi,j(p)とを取得し、前記ログデータ格納部に格納するステップと、
前記補助指標計算部により、前記ログデータ格納部に格納されたデータを用いて、1プロセッサにより処理を実施する場合において当該処理のうち並列性能阻害部分の全処理時間に相当する第1の処理時間ρを計算し、前記記憶装置に格納するステップと、
前記補助指標計算部により、前記ログデータ格納部に格納されているデータを用いて、前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち並列計算部分の処理時間γi(p)の和である第2の処理時間αを計算し、前記記憶装置に格納するステップと、
前記並列効率計算部により、前記並列計算機システムにおいて使用したプロセッサの数pと、前記p個のプロセッサによって並列処理を行った場合における最長の処理時間τ(p)と、前記記憶装置に格納された、前記第1の処理時間ρ及び前記第2の処理時間αとを用いて、並列効率Ep(p)を
を含む並列効率計算方法。
前記ロードバランス寄与率計算ステップが、
前記ロードバランス寄与率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記各プロセッサにおいて実施された処理の処理時間の和βを算出し、前記記憶装置に格納するステップと、
前記ロードバランス寄与率計算部により、前記記憶装置及び前記ログデータ格納部に格納されているデータを用いて、前記ロードバランス寄与率Rb(p)を、前記各プロセッサにおいて実施された処理の処理時間の和βを、前記p個のプロセッサによって処理を行った場合における最長の処理時間τ(p)及び前記並列計算機システムにおいて使用したプロセッサ数pにより除することにより計算するステップと、
を含む付記28乃至31のいずれか1つ記載の並列効率計算方法。
前記仮想並列化率計算ステップが、
前記仮想並列化率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算部分の処理時間γi(p)の和を計算し、前記記憶装置に格納するステップと、
前記仮想並列化率計算部により、前記仮想並列化率を、前記ログデータ格納部及び前記記憶装置に格納されたデータを用いて、前記並列計算部分の処理時間γi(p)の和を、1プロセッサにより同一処理を実施した場合の処理時間に相当する第3の処理時間τ(1)により除することにより計算するステップと、
含む付記28又は31記載の並列効率計算方法。
前記並列性能阻害要因寄与率計算ステップが、
前記並列性能阻害要因寄与率計算部により、特定の並列性能阻害要因部分jの処理時間χi,j(p)の和と、前記各プロセッサにおいて実施された処理の処理時間の和βを計算し、前記記憶装置に格納するステップと、
前記並列性能阻害要因寄与率計算部により、前記特定の並列性能阻害要因についての並列性能阻害要因寄与率Rj(p)を、前記ログデータ格納部及び前記記憶装置に格納されたデータを用いて、前記特定の並列性能阻害要因部分jの処理時間χi,j(p)の和を、前記各プロセッサにおいて実施された処理の処理時間の和βにより除することにより計算するステップと、
を含む付記28乃至30のいずれか1つ記載の並列効率計算方法。
前記加速率計算ステップにおいて、
前記加速率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算部分の処理時間γi(p)の和を算出し、前記記憶装置に格納するステップと、
前記加速率計算部により、前記ログデータ格納部及び前記記憶装置に格納されているデータを用いて、前記加速率Apを、前記並列計算部分γi(p)の処理時間γi(p)の和を1プロセッサにより同一処理を実施した場合の処理時間に相当する第3の処理時間τ(1)により除することにより計算される仮想並列化率を1から差し引いた値の逆数として計算するステップと、
を含む付記29記載の並列効率計算方法。
前記並列性能阻害要因が冗長処理のみである場合には、前記ログデータ格納部に格納されているデータを用いて、前記冗長処理の処理時間Riから特定される並列阻害要因処理時間Rと前記並列計算部分の処理時間γi(p)の総和との和により、前記第3の処理時間に相当する処理時間τ(1)を算出し、前記記憶装置に格納するステップ
をさらに含む付記34又は36記載の並列効率計算方法。
前記並列性能阻害要因が前記冗長処理以外にも存在する場合には、前記並列計算機システムにおいてp>1で発生し且つpに依存する並列性能阻害要因jによる処理時間Xi,j(p)を測定し、前記並列計算機システムの前記記憶部に格納するステップと、
前記データ取得部により、前記並列計算機システムの前記記憶部から、前記処理時間Xi,j(p)とを取得し、前記ログデータ格納部に格納するステップと、
冗長処理以外の前記並列性能阻害要因jの処理時間χi,j(p)から前記並列性能阻害要因jによる前記処理時間Xi,j(p)を差し引いた時間を基に特定される並列性能阻害要因jのp=1時の処理時間χ1,jの全ての並列性能阻害要因についての総和と前記前記並列計算部分の処理時間γi(p)の総和との和により、前記第3の処理時間τ(1)を算出し、前記記憶装置に格納するステップと、
をさらに含む付記34又は36記載の並列効率計算方法。
前記処理時間が、対応する事象の確認回数で表されることを特徴とする請求項28乃至38のいずれか1つ記載の並列効率計算方法。
前記第1の処理時間ρ又は前記並列阻害要因処理時間Rが、前記冗長処理の処理時間Ri(p)の和をプロセッサ数で除した値、前記冗長処理の処理時間Ri(p)の最大値、前記冗長処理の処理時間Ri(p)の最小値、前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち並列計算部分の処理時間γi(p)と並列性能阻害要因の処理時間の総和が最大となるプロセッサにおける冗長処理の処理時間の値のいずれかである
ことを特徴とする付記32又は37記載の並列効率計算方法。
前記第1の処理時間ρ又は前記並列性能阻害要因jのp=1時の処理時間χ1,jが、前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち冗長処理以外の並列性能阻害要因jによる処理時間χi,j(p)からp>1で発生し且つpに依存する並列化阻害要因jによる処理時間Xi,j(p)を減じた第4の処理時間を全プロセッサについて加算した値をプロセッサ数で除した値、全プロセッサにおける前記第4の処理時間の最大値、全プロセッサにおける前記第4の処理時間の最小値のいずれかの値である
ことを特徴とする付記32又は38記載の並列効率計算方法。
12 仮想並列化率計算部 13 並列性能阻害要因寄与率計算部
14 並列効率計算部 15 補助指標計算部
21 プロセッサ数最適化処理部 22 プロセッサ増設見積処理部
23 システムリプレイスデータ処理部
24 運用効率データ処理部 25 チューニング処理部
26 アルゴリズム選定処理部 27 並列性能評価処理部
30 ログデータ格納部
100 並列性能分析装置 110 出力装置
200 並列計算機システム 201 測定部
Claims (10)
- 並列計算機システムの並列効率Ep(p)を計算する並列効率計算方法であって、
前記並列効率Ep(p)は、p個のプロセッサによって並列処理を行った場合における最長の処理時間が前記p個のプロセッサの各処理時間τi(p)に等しいと仮定した場合の総処理時間に対する、並列処理を行わない場合における処理時間の割合であり、
前記並列計算機システムにおいて、処理における並列計算部分の処理時間γi(p)(iはプロセッサ番号を示す)と、各並列性能阻害要因jの処理時間χi,j(p)とを測定し、前記並列計算機システムの記憶部に格納するステップと、
データ取得部とロードバランス寄与率計算部と仮想並列化率計算部と並列性能阻害要因寄与率計算部と並列効率計算部とログデータ格納部と記憶装置とを有するコンピュータの前記データ取得部により、前記並列計算機システムの前記記憶部から、前記並列計算部分の処理時間γi(p)及び前記各並列性能阻害要因jの処理時間χi,j(p)を取得し、前記ログデータ格納部に格納するステップと、
前記ロードバランス寄与率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムに含まれる各プロセッサ間の負荷の均衡度合いを表すロードバランス寄与率Rb(p)を計算し、前記記憶装置に格納するロードバランス寄与率計算ステップと、
前記仮想並列化率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムにおいて実施する処理のうち各プロセッサにより並列計算された部分の、時間についての割合を表す仮想並列化率Rp(p)を計算し、前記記憶装置に格納する仮想並列化率計算ステップと、
前記並列性能阻害要因寄与率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムに含まれる全プロセッサの全処理時間に対する各並列性能阻害要因部分jの処理時間χi,j(p)の割合を表す並列性能阻害要因寄与率Rj(p)を計算し、前記記憶装置に格納する並列性能阻害要因寄与率計算ステップと、
前記並列効率計算部により、前記記憶装置に格納された、前記ロードバランス寄与率Rb(p)と前記仮想並列化率Rp(p)と前記並列性能阻害要因寄与率Rj(p)とを用いて、並列効率Ep(p)を
を含む並列効率計算方法。 - 並列計算機システムの並列効率Ep(p)を計算する並列効率計算方法であって、
前記並列効率Ep(p)は、p個のプロセッサによって並列処理を行った場合における最長の処理時間が前記p個のプロセッサの各処理時間に等しいと仮定した場合の総処理時間に対する、並列処理を行わない場合における処理時間の割合であり、
前記並列計算機システムにおいて、処理における並列計算部分の処理時間γi(p)(iはプロセッサ番号を示す)と、各並列性能阻害要因jの処理時間χi,j(p)とを測定し、前記並列計算機システムの記憶部に格納するステップと、
データ取得部とロードバランス寄与率計算部と補助指標計算部と並列性能阻害要因寄与率計算部と並列効率計算部とログデータ格納部と記憶装置とを有するコンピュータの前記データ取得部により、前記並列計算機システムの前記記憶部から、前記並列計算部分の処理時間γi(p)及び前記各並列性能阻害要因jの処理時間χi,j(p)を取得し、前記ログデータ格納部に格納するステップと、
前記ロードバランス寄与率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムに含まれる各プロセッサ間の負荷の均衡度合いを表すロードバランス寄与率Rb(p)を計算し、前記記憶装置に格納するロードバランス寄与率計算ステップと、
前記補助指標計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムにおいて実施する処理の並列化による処理時間の短縮度合いの向上の限度を表す加速率Ap(p)を計算し、前記記憶装置に格納する加速率計算ステップと、
前記並列性能阻害要因寄与率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムに含まれる全プロセッサの全処理時間に対する各並列性能阻害要因部分jの処理時間χi,j(p)の割合を表す並列性能阻害要因寄与率Rj(p)を計算し、前記記憶装置に格納する並列性能阻害要因寄与率計算ステップと、
前記並列効率計算部により、前記記憶装置に格納された、前記ロードバランス寄与率Rb(p)と前記加速率Ap(p)と前記並列性能阻害要因寄与率Rj(p)とを用いて、並列効率Ep(p)を
を含む並列効率計算方法。 - 並列計算機システムの並列効率Ep(p)を計算する並列効率計算方法であって、
前記並列効率Ep(p)は、p個のプロセッサによって並列処理を行った場合における最長の処理時間が前記p個のプロセッサの各処理時間τi(p)に等しいと仮定した場合の総処理時間に対する、並列処理を行わない場合における処理時間の割合であり、
前記並列計算機システムにおいて、処理における並列計算部分の処理時間γi(p)(iはプロセッサ番号を示す)と、各並列性能阻害要因jの処理時間χi,j(p)とを測定し、前記並列計算機システムの記憶部に格納するステップと、
データ取得部とロードバランス寄与率計算部と並列性能阻害要因寄与率計算部と並列効率計算部とログデータ格納部と記憶装置とを有するコンピュータの前記データ取得部により、前記並列計算機システムの前記記憶部から、前記並列計算部分の処理時間γi(p)及び前記各並列性能阻害要因jの処理時間χi,j(p)を取得し、前記ログデータ格納部に格納するステップと、
前記ロードバランス寄与率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムに含まれる各プロセッサ間の負荷の均衡度合いを表すロードバランス寄与率Rb(p)を計算し、前記記憶装置に格納するロードバランス寄与率計算ステップと、
前記並列性能阻害要因寄与率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムに含まれる全プロセッサの全処理時間に対する各並列性能阻害要因部分jの処理時間χi,j(p)の割合を表す並列性能阻害要因寄与率Rj(p)を計算し、前記記憶装置に格納する並列性能阻害要因寄与率計算ステップと、
前記並列効率計算部により、前記記憶装置に格納された、前記ロードバランス寄与率Rb(p)と前記並列性能阻害要因寄与率Rj(p)とを用いて、並列効率Ep(p)を
を含む並列効率計算方法。 - 並列計算機システムの並列効率Ep(p)を計算する並列効率計算方法であって、
前記並列効率Ep(p)は、p個のプロセッサによって並列処理を行った場合における最長の処理時間が前記p個のプロセッサの各処理時間τi(p)に等しいと仮定した場合の総処理時間に対する、並列処理を行わない場合における処理時間の割合であり、
前記並列計算機システムにおいて、処理における並列計算部分の処理時間γi(p)(iはプロセッサ番号を示す)と、各並列性能阻害要因jの処理時間χi,j(p)とを測定し、前記並列計算機システムの記憶部に格納するステップと、
データ取得部とロードバランス寄与率計算部と仮想並列化率計算部と並列効率計算部と補助指標計算部とログデータ格納部と記憶装置とを有するコンピュータの前記データ取得部により、前記並列計算機システムの前記記憶部から、前記並列計算部分の処理時間γi(p)及び前記各並列性能阻害要因jの処理時間χi,j(p)を取得し、前記ログデータ格納部に格納するステップと、
前記ロードバランス寄与率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムに含まれる各プロセッサ間の負荷の均衡度合いを表すロードバランス寄与率Rb(p)を計算し、前記記憶装置に格納するロードバランス寄与率計算ステップと、
前記仮想並列化率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムにおいて実施する処理のうち各プロセッサにより並列計算された部分の、時間についての割合を表す仮想並列化率Rp(p)を計算し、前記記憶装置に格納する仮想並列化率計算ステップと、
前記補助指標計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち並列計算部分の処理時間γi(p)の和αと、前記各プロセッサにおいて実施された処理の処理時間の和βとを計算し、前記記憶装置に格納する補助指標計算ステップと、
前記並列効率計算部により、前記記憶装置に格納された、前記αと前記βと前記ロードバランス寄与率Rb(p)と前記仮想並列化率Rp(p)とを用いて、並列効率Ep(p)を
を含む並列効率計算方法。 - 前記ロードバランス寄与率計算ステップが、
前記ロードバランス寄与率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記各プロセッサにおいて実施された処理の処理時間の和βを算出し、前記記憶装置に格納するステップと、
前記ロードバランス寄与率計算部により、前記記憶装置及び前記ログデータ格納部に格納されているデータを用いて、前記ロードバランス寄与率Rb(p)を、前記各プロセッサにおいて実施された処理の処理時間の和βを、前記p個のプロセッサによって処理を行った場合における最長の処理時間τ(p)及び前記並列計算機システムにおいて使用したプロセッサ数pにより除することにより計算するステップと、
を含む請求項1乃至4のいずれか1つ記載の並列効率計算方法。 - 前記並列性能阻害要因寄与率計算ステップが、
前記並列性能阻害要因寄与率計算部により、特定の並列性能阻害要因部分jの処理時間χi,j(p)の和と、前記各プロセッサにおいて実施された処理の処理時間の和βを計算し、前記記憶装置に格納するステップと、
前記並列性能阻害要因寄与率計算部により、前記特定の並列性能阻害要因についての並列性能阻害要因寄与率Rj(p)を、前記ログデータ格納部及び前記記憶装置に格納されたデータを用いて、前記特定の並列性能阻害要因部分jの処理時間χi,j(p)の和を、前記各プロセッサにおいて実施された処理の処理時間の和βにより除することにより計算するステップと、
を含む請求項1乃至3のいずれか1つ記載の並列効率計算方法。 - 前記仮想並列化率計算ステップが、
前記仮想並列化率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算部分の処理時間γi(p)の和を計算し、前記記憶装置に格納するステップと、
前記仮想並列化率計算部により、前記仮想並列化率を、前記ログデータ格納部及び前記記憶装置に格納されたデータを用いて、前記並列計算部分の処理時間γi(p)の和を、1プロセッサにより同一処理を実施した場合の処理時間に相当する第3の処理時間τ(1)により除することにより計算するステップと、
含み、
前記並列性能阻害要因が冗長処理のみである場合には、前記ログデータ格納部に格納されているデータを用いて、前記冗長処理の処理時間Riから特定される並列阻害要因処理時間Rと前記並列計算部分の処理時間γi(p)の総和との和により、前記第3の処理時間に相当する処理時間τ(1)を算出し、前記記憶装置に格納するステップ
さらに含む請求項1又は4記載の並列効率計算方法。 - 前記仮想並列化率計算ステップが、
前記仮想並列化率計算部により、前記ログデータ格納部に格納されたデータを用いて、前記並列計算部分の処理時間γi(p)の和を計算し、前記記憶装置に格納するステップと、
前記仮想並列化率計算部により、前記仮想並列化率を、前記ログデータ格納部及び前記記憶装置に格納されたデータを用いて、前記並列計算部分の処理時間γi(p)の和を、1プロセッサにより同一処理を実施した場合の処理時間に相当する第3の処理時間τ(1)により除することにより計算するステップと、
含み、
前記並列性能阻害要因が前記冗長処理以外にも存在する場合には、前記並列計算機システムにおいてp>1で発生し且つpに依存する並列性能阻害要因jによる処理時間Xi,j(p)を測定し、前記並列計算機システムの前記記憶部に格納するステップと、
前記データ取得部により、前記並列計算機システムの前記記憶部から、前記処理時間Xi,j(p)とを取得し、前記ログデータ格納部に格納するステップと、
冗長処理以外の前記並列性能阻害要因jの処理時間χi,j(p)から前記並列性能阻害要因jによる前記処理時間Xi,j(p)を差し引いた時間を基に特定される並列性能阻害要因jのp=1時の処理時間χ1,jの全ての並列性能阻害要因についての総和と前記前記並列計算部分の処理時間γi(p)の総和との和により、前記第3の処理時間τ(1)を算出し、前記記憶装置に格納するステップと、
をさらに含む請求項1又は4記載の並列効率計算方法。 - 前記並列阻害要因処理時間Rが、前記冗長処理の処理時間Ri(p)の和をプロセッサ数で除した値、前記冗長処理の処理時間Ri(p)の最大値、前記冗長処理の処理時間Ri(p)の最小値、前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち並列計算部分の処理時間γi(p)と並列性能阻害要因の処理時間の総和が最大となるプロセッサにおける冗長処理の処理時間の値のいずれかである
ことを特徴とする請求項7記載の並列効率計算方法。 - 前記並列性能阻害要因jのp=1時の処理時間χ1,jが、前記並列計算機システムに含まれる各プロセッサにおいて実施された処理のうち冗長処理以外の並列性能阻害要因jによる処理時間χi,j(p)からp>1で発生し且つpに依存する並列化阻害要因jによる処理時間Xi,j(p)を減じた第4の処理時間を全プロセッサについて加算した値をプロセッサ数で除した値、全プロセッサにおける前記第4の処理時間の最大値、全プロセッサにおける前記第4の処理時間の最小値のいずれかの値である
ことを特徴とする請求項8記載の並列効率計算方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006001754A JP3821834B2 (ja) | 2006-01-06 | 2006-01-06 | 並列効率計算方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006001754A JP3821834B2 (ja) | 2006-01-06 | 2006-01-06 | 並列効率計算方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002212387A Division JP2004054680A (ja) | 2002-07-22 | 2002-07-22 | 並列効率計算方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006120182A true JP2006120182A (ja) | 2006-05-11 |
JP3821834B2 JP3821834B2 (ja) | 2006-09-13 |
Family
ID=36537941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006001754A Expired - Lifetime JP3821834B2 (ja) | 2006-01-06 | 2006-01-06 | 並列効率計算方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3821834B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102855180A (zh) * | 2011-06-30 | 2013-01-02 | 新奥特(北京)视频技术有限公司 | 竞速类体育项目成绩处理软件测试数据生成方法和测试方法 |
CN103514081A (zh) * | 2012-06-29 | 2014-01-15 | 上海宽带技术及应用工程研究中心 | 反映计算机设备运算能效的测试方法 |
CN103514083A (zh) * | 2012-06-29 | 2014-01-15 | 上海宽带技术及应用工程研究中心 | 计算机设备的能效测试方法 |
-
2006
- 2006-01-06 JP JP2006001754A patent/JP3821834B2/ja not_active Expired - Lifetime
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102855180A (zh) * | 2011-06-30 | 2013-01-02 | 新奥特(北京)视频技术有限公司 | 竞速类体育项目成绩处理软件测试数据生成方法和测试方法 |
CN103514081A (zh) * | 2012-06-29 | 2014-01-15 | 上海宽带技术及应用工程研究中心 | 反映计算机设备运算能效的测试方法 |
CN103514083A (zh) * | 2012-06-29 | 2014-01-15 | 上海宽带技术及应用工程研究中心 | 计算机设备的能效测试方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3821834B2 (ja) | 2006-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004054680A (ja) | 並列効率計算方法 | |
Alipourfard et al. | {CherryPick}: Adaptively unearthing the best cloud configurations for big data analytics | |
Azimi et al. | Online performance analysis by statistical sampling of microprocessor performance counters | |
US5857097A (en) | Method for identifying reasons for dynamic stall cycles during the execution of a program | |
Duan et al. | Versatile prediction and fast estimation of architectural vulnerability factor from processor performance metrics | |
US9430745B2 (en) | Pre-executing workflow preparation activities based on activity probabilities and system load and capacity threshold requirements | |
US6412105B1 (en) | Computer method and apparatus for compilation of multi-way decisions | |
EP2390790A1 (en) | Profiling of software applications | |
Cabezas et al. | Extending the roofline model: Bottleneck analysis with microarchitectural constraints | |
JP2010507146A (ja) | 分散システムの能力計画及びリソース最適化を行う方法と装置 | |
Anghel et al. | An instrumentation approach for hardware-agnostic software characterization | |
Friese et al. | Generating performance models for irregular applications | |
Moreira et al. | Vespa: static profiling for binary optimization | |
Escobar et al. | Performance prediction of parallel applications based on small-scale executions | |
Zhou et al. | GPA: A GPU performance advisor based on instruction sampling | |
Sarkar et al. | Resource requirement prediction using clone detection technique | |
Zhou et al. | An automated tool for analysis and tuning of gpu-accelerated code in hpc applications | |
JP3821834B2 (ja) | 並列効率計算方法 | |
He et al. | Developing graph-based co-scheduling algorithms on multicore computers | |
Alcaraz et al. | Hardware counters’ space reduction for code region characterization | |
Taha et al. | An instruction throughput model of superscalar processors | |
Neill et al. | Fuse: Accurate multiplexing of hardware performance counters across executions | |
Li et al. | Efficient microarchitectural vulnerabilities prediction using boosted regression trees and patient rule inductions | |
Zhang et al. | Getting more for less in optimized mapreduce workflows | |
Ting et al. | FEAST: An automated feature selection framework for compilation tasks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060620 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3821834 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100630 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110630 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120630 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120630 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130630 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130630 Year of fee payment: 7 |
|
EXPY | Cancellation because of completion of term |