JP2001154889A - Device and method for displaying graph of program performance - Google Patents

Device and method for displaying graph of program performance

Info

Publication number
JP2001154889A
JP2001154889A JP33498099A JP33498099A JP2001154889A JP 2001154889 A JP2001154889 A JP 2001154889A JP 33498099 A JP33498099 A JP 33498099A JP 33498099 A JP33498099 A JP 33498099A JP 2001154889 A JP2001154889 A JP 2001154889A
Authority
JP
Japan
Prior art keywords
measurement data
measurement
program
performance
tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP33498099A
Other languages
Japanese (ja)
Other versions
JP3721027B2 (en
Inventor
Takatomo Nishiyama
尚智 西山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP33498099A priority Critical patent/JP3721027B2/en
Publication of JP2001154889A publication Critical patent/JP2001154889A/en
Application granted granted Critical
Publication of JP3721027B2 publication Critical patent/JP3721027B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To solve a problem such that an operator who evaluates a program performance has to perform a predetermined data processing operation so as to evaluate a software component using this extracted parameter. SOLUTION: The performance of program modules 441-44n is evaluated by using an existing module evaluating tool 45 by a program module performance evaluating program 46, collected data 45a collected by the module evaluating tool 45 are obtained, the independent analysis is executed, and the analyzed result is automatically displayed so that the labor of the evaluating work can be reduced. Also, the relationship between feature values and measurement intervals valid for the evaluation of the program module is displayed by a graph of a three-dimensional coordinate system shown in Fig 6 so that the contents of evaluation can be immediately grasped and the efficiency of the analyzing work can be realized.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、プログラム性能グ
ラフ表示装置およびプログラム性能のグラフ表示方法に
関し、特に、コンピュータシステムによって動作するプ
ログラムモジュールの性能の測定データを収集する既存
のツールによって収集された測定データを所定の手法に
基づいて解析しつつ、所定のグラフ表示で表示するプロ
グラム性能グラフ表示装置およびプログラム性能のグラ
フ表示方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a program performance graph display device and a program performance graph display method, and more particularly, to a measurement performance collected by an existing tool for collecting performance measurement data of a program module operated by a computer system. The present invention relates to a program performance graph display device and a program performance graph display method for displaying data in a predetermined graph display while analyzing data based on a predetermined method.

【0002】[0002]

【従来の技術】従来、プログラム性能を評価する装置と
して、特表平10−510385号公報に開示されてい
るものが知られている。この公報において開示されてい
る技術は、大規模ソフトウェアシステムの現時点での技
術水準にあるシステムエンジニアリングを支援するソフ
トウェアツールに関する。このような、ソフトウェアツ
ールは、それぞれ独自に認識可能なソフトウェアコンポ
ーネントについて、過去のシステム調整や、今後計画さ
れているシステム調整も含む所定のソフトウェアシステ
ムについての多数の特性の観察に基づいて測定データを
収集する。
2. Description of the Related Art Conventionally, as an apparatus for evaluating program performance, an apparatus disclosed in Japanese Patent Publication No. Hei 10-510385 is known. The technology disclosed in this publication relates to a software tool that supports system engineering at the current state of the art for large-scale software systems. As such, software tools generate measurement data for each uniquely recognizable software component based on observations of a number of characteristics of a given software system, including past and future planned system adjustments. collect.

【0003】このとき、最初に測定データを収集し、同
様に各ソフトウェアコンポーネントの過去のデータを収
集する。そして、故障に関する測定データは、ソフトウ
ェアの計測された特性に対して統計的にマップされ、リ
スクインデックスを確立する。ここで、ソフトウェアの
特性はソフトウェアの性能を断定するか、あるいは、そ
の代わりに、リスクインデックスを使って、ソフトウェ
アコンポーネントを序列化して、リソースの節減に努め
るために、どのコンポーネントにどれほどの試験が必要
であるか否かを判断する。
At this time, measurement data is collected first, and similarly, past data of each software component is collected. The measured data for the failure is then statistically mapped to the measured characteristics of the software to establish a risk index. Here, the characteristics of the software determine the performance of the software, or alternatively, how many tests need to be performed on each component in order to use software risk indexes to rank software components and conserve resources. Is determined.

【0004】[0004]

【発明が解決しようとする課題】上述した従来のコンピ
ュータ性能を評価する装置においては、ソフトウェアコ
ンポーネントの性能を評価するに際して、この性能を評
価のためのパラメータの抽出を実行している。従って、
抽出されたパラメータを利用することにより、ソフトウ
ェアコンポーネントの性能を効率良く評価できる手法に
ついては開示していない。すなわち、性能を評価するパ
ラメータを抽出する技術を開示しているため、性能を評
価する作業者は、この抽出されたパラメータを使用し
て、ソフトウェアコンポーネントを評価することができ
るように所定のデータ加工作業を行なわなければならな
いため、作業が煩雑になっている。
In the above-described conventional apparatus for evaluating computer performance, when evaluating the performance of a software component, extraction of parameters for evaluating the performance is executed. Therefore,
It does not disclose a method for efficiently evaluating the performance of a software component by using the extracted parameters. That is, since the technology for extracting the parameter for evaluating the performance is disclosed, the operator for evaluating the performance can perform predetermined data processing so that the software component can be evaluated using the extracted parameter. Since the work must be performed, the work is complicated.

【0005】本発明は、上記課題にかんがみてなされた
もので、抽出されたパラメータを所定の態様で自動的に
グラフ表示することによって、より効果的にソフトウェ
アコンポーネントの評価を効率的に実施することが可能
なプログラム性能グラフ表示装置およびプログラム性能
のグラフ表示方法の提供を目的とする。
SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and has an object to perform software component evaluation more efficiently and efficiently by automatically displaying extracted parameters in a predetermined manner in a graph. It is an object of the present invention to provide a program performance graph display device and a program performance graph display method capable of performing the program.

【0006】なお、特開平1−93826号,同4−1
53742号及び同6−259245号公報等において
もソフトウェアの性能を評価するための技術が提案され
ている。しかし、これらも、上記特表平10−5103
85号と同様に性能評価のためのパラメータの抽出方法
に重点が置かれており、本発明のように、抽出したパラ
メータを如何に利用したらシステムモジュールの性能を
効率良く評価できるかといった観点からの技術的追求は
なされていない。
Incidentally, JP-A-1-93826, 4-1.
Techniques for evaluating the performance of software are also proposed in Japanese Patent Nos. 53742 and 6-259245. However, these are also described in the above-mentioned Japanese Translation of PCT International Publication No. 10-5103.
As in No. 85, the emphasis is placed on the method of extracting parameters for performance evaluation. As in the present invention, from the viewpoint of how to use the extracted parameters to efficiently evaluate the performance of the system module. There is no technical pursuit.

【0007】[0007]

【課題を解決するための手段】上記目的を達成するた
め、請求項1にかかる発明は、コンピュータシステムに
よって動作するプログラムモジュールの性能の測定デー
タを収集する所定のツールを備え、このツールによって
収集された測定データを利用して、所定のグラフ表示を
行なうるプログラム性能グラフ表示装置であって、上記
ツールに対してプログラムモジュールの測定ポイントを
指示する測定ポイント指示手段と、上記測定ポイントに
基づき上記ツールによって収集した測定データを取得す
る測定データ取得手段と、上記測定データ取得手段によ
って取得した測定データについて解析する測定データ解
析手段と、上記測定データ解析手段によって解析された
測定データに基づいて、プログラムモジュールの性能を
示す所定の特徴量を算出する特徴量算出手段と、上記特
徴量算出手段によって算出された特徴量を適宜利用し
て、各特徴量の相対的な関係を視覚的に把握可能な三次
元座標系のグラフ表示を実行する特徴量グラフ表示手段
とを具備する構成としてある。
In order to achieve the above object, the invention according to claim 1 includes a predetermined tool for collecting measurement data of the performance of a program module operated by a computer system. A program performance graph display device for performing a predetermined graph display using the measured data, wherein the measurement point instruction means for instructing the tool on a measurement point of a program module; and the tool based on the measurement point. Measurement data acquisition means for acquiring the measurement data collected by the measurement data analysis means for analyzing the measurement data acquired by the measurement data acquisition means; and a program module based on the measurement data analyzed by the measurement data analysis means. The predetermined feature quantity indicating the performance of By appropriately using the characteristic amount calculating means to be output and the characteristic amount calculated by the characteristic amount calculating means, a graph display of a three-dimensional coordinate system capable of visually grasping a relative relationship between the characteristic amounts is executed. And a feature graph display means.

【0008】上記のように構成した請求項1にかかる発
明においては、コンピュータシステムによって動作する
プログラムモジュールの性能の測定データを収集する所
定のツールを備え、この既存のツールによって収集され
る測定データを利用して、より効率的にプログラムモジ
ュールの性能を評価できるとともに、より効果的に評価
を確認可能なグラフ表示を実現することが可能なプログ
ラム性能グラフ表示装置を提供する。かかるグラフ表示
を実現するにあたり、測定ポイント指示手段は、最初
に、ツールに対してプログラムモジュールの測定ポイン
トを指示する。そして、測定データ取得手段によってこ
の測定ポイントに基づき、ツールによって収集された測
定データを取得する。
In the invention according to claim 1 configured as described above, a predetermined tool for collecting measurement data of performance of a program module operated by a computer system is provided, and the measurement data collected by the existing tool is provided. Provided is a program performance graph display device capable of more efficiently evaluating the performance of a program module and realizing a graph display capable of confirming the evaluation more effectively. In order to realize such a graph display, the measurement point designating means first designates a measurement point of a program module to a tool. Then, the measurement data acquired by the tool is acquired by the measurement data acquisition means based on the measurement points.

【0009】このように測定データが取得されると、測
定データ解析手段によってこの測定データについて所定
の手法に基づき解析を行なう。さらに、特徴量算出手段
が解析された測定データに基づいて、プログラムモジュ
ールの性能を示す所定の特徴量を算出する。そして、特
徴量グラフ表示手段は、特徴量算出手段によって算出さ
れた特徴量を適宜利用して、各特徴量の相対的関係を視
覚的に把握可能な三次元座標系のグラフを生成するとと
もに、所定の表示対象にグラフ表示を実行する。この特
徴量表示手段が表示を行なう表示対象は、コンピュータ
に接続されたディスプレイでもよいし、プリンタでもよ
い。すなわち、このコンピュータシステムの利用者が測
定データを生成されたグラフ表示にて確認できればよ
い。
When the measurement data is obtained as described above, the measurement data is analyzed by the measurement data analysis means based on a predetermined method. Further, the characteristic amount calculating means calculates a predetermined characteristic amount indicating the performance of the program module based on the analyzed measurement data. Then, the feature amount graph display unit generates a three-dimensional coordinate system graph capable of visually grasping the relative relationship of each feature amount by appropriately using the feature amount calculated by the feature amount calculation unit, A graph is displayed on a predetermined display target. The display target to be displayed by the feature display means may be a display connected to a computer or a printer. That is, it is only necessary that the user of this computer system can confirm the measurement data in the generated graph display.

【0010】通常、プログラムモジュールの性能は、こ
のプログラムモジュール単位で行われる。しかし、プロ
グラムモジュールが大きくなると、プログラムモジュー
ル内部にて複数の測定ポイントが設定可能になると好適
である。そこで、請求項2にかかる発明は、請求項1に
記載のプログラム性能グラフ表示装置において、上記測
定ポイント指示手段は、プログラムモジュール内で複数
の計測ポイントを設定可能であるとともに、上記ツール
は、この測定ポイントによって経路が形成される所定の
計測区間にて測定データを計測する構成としてある。
Normally, the performance of a program module is performed in units of the program module. However, when the size of the program module is increased, it is preferable that a plurality of measurement points can be set inside the program module. Therefore, according to a second aspect of the present invention, in the program performance graph display device according to the first aspect, the measurement point designating means can set a plurality of measurement points in a program module, and the tool includes The measurement data is measured in a predetermined measurement section where a path is formed by the measurement points.

【0011】上記のように構成した請求項2にかかる発
明においては、測定ポイント指示手段によってプログラ
ムモジュール内で複数の計測ポイントを設定する。そし
て、この計測ポイントをツールに指定し、この指定を受
けたツールは、この測定ポイントによって経路が形成さ
れる所定の計測区間にて測定データを計測する。
In the invention according to claim 2 configured as described above, a plurality of measurement points are set in the program module by the measurement point designating means. Then, the measurement point is designated as a tool, and the tool that has received the designation measures the measurement data in a predetermined measurement section where a path is formed by the measurement point.

【0012】測定データ解析手段によって実行される解
析内容の具体的な一例として、請求項3にかかる発明
は、請求項1または2に記載のプログラム性能グラフ表
示装置において、上記測定データ解析手段は、上記ツー
ルが測定した測定データに基づいて、経路を形成する計
測区間の通過回数を解析する構成としてある。
As a specific example of the analysis performed by the measurement data analysis means, the invention according to claim 3 is the program performance graph display device according to claim 1 or 2, wherein the measurement data analysis means Based on the measurement data measured by the tool, the number of times of passage in a measurement section forming a route is analyzed.

【0013】上記のように構成した請求項3にかかる発
明においては、測定データ解析手段によってツールが測
定した測定データに基づき、測定ポイントによって区分
された経路を形成する計測区間の通過回数を解析する。
これにより、例えば、プログラムの分岐点ごとに計測区
間を設定すると、プログラムモジュール内部にて、分岐
処理がどのように実行されているかを容易に把握するこ
とが可能になる。
[0013] In the invention according to claim 3 configured as described above, the number of times of passage in a measurement section forming a path divided by measurement points is analyzed based on the measurement data measured by the tool by the measurement data analysis means. .
Thus, for example, when a measurement section is set for each branch point of a program, it is possible to easily grasp how the branch processing is executed within the program module.

【0014】特徴量算出手段によって算出される特徴量
の具体的な態様として、請求項4にかかる発明は、請求
項1〜3のいずれかに記載のプログラム性能グラフ表示
装置おいて、上記特徴量算出手段は、上記測定データ取
得手段および測定データ解析手段によって取得および解
析された結果に基づいて、平均CPU使用時間を算出す
る構成としてある。
According to a fourth aspect of the present invention, in the program performance graph display device according to any one of the first to third aspects, as a specific mode of the feature amount calculated by the feature amount calculating means, The calculation means is configured to calculate the average CPU usage time based on the results obtained and analyzed by the measurement data obtaining means and the measurement data analyzing means.

【0015】上記のように構成した請求項4にかかる発
明において、特徴量算出手段は、測定データ取得手段お
よび測定データ解析手段によって取得および解析された
結果に基づいて、平均CPU使用時間を算出する。
[0015] In the invention according to claim 4 configured as described above, the characteristic amount calculating means calculates the average CPU usage time based on the results obtained and analyzed by the measurement data obtaining means and the measurement data analyzing means. .

【0016】特徴量表示手段によって表示される特徴量
の具体的な態様として、請求項5にかかる発明は、請求
項1〜4のいずれかに記載のプログラム性能グラフ表示
装置において、上記特徴量グラフ表示手段は、上記平均
CPU時間と、上記計測区間の通過回数と、該当する計
測区間とを各座標軸に設定し、三次元座標系のグラフ表
示を実行する構成としてある。
According to a fifth aspect of the present invention, in the program performance graph display device according to any one of the first to fourth aspects, as a specific mode of the feature amount displayed by the feature amount display means, The display means is configured to set the average CPU time, the number of passages in the measurement section, and the corresponding measurement section on each coordinate axis, and execute a graph display in a three-dimensional coordinate system.

【0017】上記のように構成した請求項5にかかる発
明において、特徴量グラフ表示手段は、平均CPU時間
と、計測区間の通過回数と、該当する計測区間とを各座
標軸に設定し、三次元座標系のグラフ表示を実行する。
これにより、コンピュータシステムの利用者は、効率
的、簡易にプログラムモジュールの性能を把握すること
が可能になる。
In the invention according to claim 5 configured as described above, the characteristic amount graph display means sets the average CPU time, the number of passes of the measurement section, and the corresponding measurement section on each coordinate axis, Executes the coordinate system graph display.
Thereby, the user of the computer system can efficiently and easily grasp the performance of the program module.

【0018】このように、コンピュータシステムによっ
て動作するプログラムモジュールの性能の測定データを
収集する所定のツールを備え、所定の手法に基づいて測
定データを収集し、所定のグラフ表示を行なう手法は必
ずしも実体のある装置に限られる必要はなく、その方法
としても機能することは容易に理解できる。
As described above, the method of providing the predetermined tool for collecting the measurement data of the performance of the program module operated by the computer system, collecting the measurement data based on the predetermined method, and displaying the predetermined graph is not necessarily a substantial method. It is easy to understand that the present invention is not limited to a device having a function, and also functions as a method.

【0019】このため、請求項6にかかる発明は、コン
ピュータシステムによって動作するプログラムモジュー
ルの性能の測定データを収集する所定のツールを備え、
このツールによって収集した所定の測定データを利用し
て所定のグラフ表示を行なうプログラム性能のグラフ表
示方法であって、上記ツールに対してプログラムモジュ
ールの測定ポイントを指示する測定ポイント指示工程
と、上記測定ポイントに基づき上記ツールによって収集
した測定データを取得する測定データ取得工程と、上記
測定データ取得工程によって取得した測定データについ
て解析する測定データ解析工程と、上記測定データ解析
工程によって解析された測定データに基づいて、プログ
ラムモジュールの性能を示す所定の特徴量を算出する特
徴量算出工程と、上記特徴量算出工程によって算出され
た特徴量を適宜利用して、各特徴量の相対的関係を視覚
的に把握可能な三次元座標系のグラフ表示を実行する特
徴量グラフ表示工程とを具備する構成としてある。すな
わち、必ずしも実体のある装置に限らず、その方法とし
ても有効であることに相違はない。
For this reason, the invention according to claim 6 includes a predetermined tool for collecting measurement data of performance of a program module operated by a computer system,
A program performance graph display method for displaying a predetermined graph using predetermined measurement data collected by the tool, comprising: a measurement point specifying step of specifying a measurement point of a program module to the tool; A measurement data acquisition step of acquiring measurement data collected by the tool based on the points, a measurement data analysis step of analyzing the measurement data acquired by the measurement data acquisition step, and a measurement data analyzed by the measurement data analysis step. Based on the characteristic amount calculation step of calculating a predetermined characteristic amount indicating the performance of the program module based on the characteristic amount, and the characteristic amount calculated in the characteristic amount calculation step, the relative relationship of each characteristic amount is visually determined. A feature graph display process for displaying a graspable three-dimensional coordinate system graph It is constituted comprising a. In other words, there is no difference in that the present invention is not necessarily limited to a substantial device and is also effective as a method.

【0020】[0020]

【発明の実施の形態】以下、図面にもとづいて本発明の
実施形態を説明する。図1は、本発明の一実施形態にか
かるプログラム性能グラフ表示装置を適用したコンピュ
ータ10のハードウェアの構成を示したブロック構成図
である。同図において、コンピュータ10は演算処理の
中枢をなすCPU11を備えており、このCPU11に
はCPUバス12を介して二次キャッシュ13やデータ
バスユニット14やシステムコントローラ15が接続さ
れている。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a hardware configuration of a computer 10 to which a program performance graph display device according to an embodiment of the present invention is applied. In FIG. 1, a computer 10 includes a CPU 11 which is a center of arithmetic processing, and a secondary cache 13, a data bus unit 14, and a system controller 15 are connected to the CPU 11 via a CPU bus 12.

【0021】近年のコンピュータでは、処理効率を向上
させるために、CPUバス12のクロックスピードを上
げており、遅いメモリ16はデータバスユニット14や
システムコントローラ15を介してCPU11によって
アクセスされるようになっている。なお、このメモリ1
6にはバイオスエリアなどのROM16aとともにRA
M16bも含まれている。
In recent computers, the clock speed of the CPU bus 12 is increased in order to improve the processing efficiency, and the slow memory 16 is accessed by the CPU 11 via the data bus unit 14 and the system controller 15. ing. Note that this memory 1
6 with ROM 16a such as bios area
M16b is also included.

【0022】同様にインターフェイス類も速いCPUバ
ス12と直に接続することはできず、データバスユニッ
ト14やシステムコントローラ15によって汎用高速バ
スであるPCIバス17が提供されている。このPCI
バス17には、コンピュータ10自体が直接持つ図示し
ないPS/2ポートやパラレルポートやシリアルポート
などの通信用インターフェイスとともに、フロッピーデ
ィスクを接続するための共通インターフェイス18が接
続されている。また、特に、高速性を要求されるハード
ディスクやCD−ROMを接続してDMA転送させるた
めのバスマスタ19も接続されている。PCIバス17
には、直にPCIデバイス21を接続できるほか、IS
Aブリッジ22を介してデータ幅の狭い旧式の汎用バス
であるISAバス23を提供しており、このISAバス
23を介してISAデバイス24を接続できるようにな
っている。
Similarly, interfaces cannot be directly connected to the fast CPU bus 12, and the data bus unit 14 and the system controller 15 provide a PCI bus 17 which is a general-purpose high-speed bus. This PCI
The bus 17 is connected to a common interface 18 for connecting a floppy disk, as well as communication interfaces such as a PS / 2 port, a parallel port, and a serial port (not shown) which the computer 10 itself has directly. In addition, a bus master 19 for connecting a hard disk or a CD-ROM, which requires high speed, to perform DMA transfer is also connected. PCI bus 17
Can connect PCI device 21 directly,
An ISA bus 23 which is an old general-purpose bus having a small data width is provided via an A-bridge 22, and an ISA device 24 can be connected via the ISA bus 23.

【0023】また、コンピュータ10は、補助記憶デバ
イス25として図示しないCD−ROMやフロッピーデ
ィスクドライブやハードディスクドライブなどを備えて
いる。かかるCD−ROMドライブやフロッピーディス
クドライブには、CD−ROMやフロッピーディスクな
どの情報記録媒体が挿入され、この情報記録媒体に格納
されているプログラムやデータなどがハードディスクド
ライブにインストールされることになる。従って、本発
明にかかるプログラム性能グラフ表示装置を実現可能な
機能をプログラムにて構成した場合には、この補助記憶
デバイス25を介してコンピュータ10にインストール
されることになる。
The computer 10 includes a CD-ROM, a floppy disk drive, a hard disk drive, and the like (not shown) as the auxiliary storage device 25. An information recording medium such as a CD-ROM or a floppy disk is inserted into the CD-ROM drive or the floppy disk drive, and programs and data stored in the information recording medium are installed in the hard disk drive. . Therefore, when the function capable of realizing the program performance graph display device according to the present invention is configured by a program, it is installed in the computer 10 via the auxiliary storage device 25.

【0024】以上がコンピュータ10のハードウェアの
概略構成であり、かかるハードウェアを前提として、コ
ンピュータ10上では、図2に示す態様によってハード
ディスクドライブに各種ソフトウェアが格納されてい
る。すなわち、上述した各種機能を実現するハードウェ
ア41を基礎としてBIOS42が実行され、その上層
においてオペレーティングシステム43とアプリケーシ
ョン44が実行される。基本的には、オペレーティング
システム43がBIOS42を介するか、直にハードウ
ェア41とアクセスし、アプリケーション44はこのオ
ペレーティングシステム43を介してハードウェア41
とデータなどのやりとりを行う。例えば、ハードディス
クからデータを読み込むには、オペレーティングシステ
ム43を介してハードウェア41にアクセスする。
The above is the schematic configuration of the hardware of the computer 10. On the premise of such hardware, on the computer 10, various software programs are stored in the hard disk drive in the manner shown in FIG. That is, the BIOS 42 is executed on the basis of the hardware 41 that realizes the various functions described above, and the operating system 43 and the application 44 are executed on the upper layer. Basically, the operating system 43 accesses the hardware 41 via the BIOS 42 or directly, and the application 44 communicates with the hardware 41 via the operating system 43.
And exchange data with others. For example, to read data from a hard disk, the user accesses the hardware 41 via the operating system 43.

【0025】この他、オペレーティングシステム43に
はハードウェア41を制御するための各種のドライバを
組み込むことが可能であり、組み込まれたドライバ類は
オペレーティングシステム43の一部となって各種の制
御を実行する。ドライバとしては、ビデオカードを介し
て外部のディスプレイへの表示を制御するディスプレイ
ドライバ43aであるとか、プリンタへの印字制御を実
行するプリンタドライバ43bなどが組み込まれてい
る。
In addition, various drivers for controlling the hardware 41 can be incorporated in the operating system 43, and the incorporated drivers execute various controls as a part of the operating system 43. I do. As the driver, a display driver 43a for controlling display on an external display via a video card, a printer driver 43b for controlling printing to a printer, and the like are incorporated.

【0026】以上の構成において、アプリケーション4
4には複数のプログラムモジュール441〜44nが含
まれ、所定の動作が実行可能になっている。このプログ
ラムモジュール441〜44nが実行される場合、ハー
ドウェア41として、CPU11やメモリ16などが逐
次利用されることになる。本実施形態においては、プロ
グラムモジュール441〜44nが実行される際のCP
U11の使用時間などを計測して、各プログラムモジュ
ールの性能を評価し、その評価結果を上述したディスプ
レイに表示したり、プリンタに印刷する。そして、この
表示や印刷にあたり、評価する測定データから所定の特
徴量を算出し、この特徴量を利用して三次元座標系に評
価結果を表現する。
In the above configuration, the application 4
4 includes a plurality of program modules 441 to 44n, and can execute a predetermined operation. When the program modules 441 to 44n are executed, the CPU 41, the memory 16, and the like are sequentially used as the hardware 41. In the present embodiment, when the program modules 441 to 44n are executed, the CP
By measuring the usage time of U11 and the like, the performance of each program module is evaluated, and the evaluation result is displayed on the above-described display or printed on a printer. In displaying or printing, a predetermined characteristic amount is calculated from the measured data to be evaluated, and the evaluation result is expressed in a three-dimensional coordinate system using the characteristic amount.

【0027】また、ハードディスクには、図3に示すよ
うに、プログラムモジュール441〜44nが実行され
たときに、CPU11の使用時間などを測定可能な既存
のモジュール評価ツール45が格納されるとともに、本
発明にかかるプログラムモジュール性能評価装置を実現
可能なプログラムモジュール性能評価プログラム46が
格納されている。そして、モジュール評価ツール45に
よって所定の収集データ45aが生成されると、プログ
ラムモジュール性能評価プログラム46は、この収集デ
ータ45aを取得して、所定の処理を実行する。このよ
うな所定の処理を実行するために、プログラムモジュー
ル性能評価プログラム46は、測定ポイント指示モジュ
ール46aと、測定データ取得モジュール46bと、測
定データ解析モジュール46cと、特徴量算出モジュー
ル46dと、特徴量グラフ表示モジュール46eとを備
えている。この各モジュール46a〜46eが本発明に
かかる各手段を構成する。
As shown in FIG. 3, an existing module evaluation tool 45 capable of measuring the usage time of the CPU 11 when the program modules 441 to 44n are executed is stored in the hard disk. A program module performance evaluation program 46 capable of realizing the program module performance evaluation device according to the present invention is stored. Then, when predetermined collection data 45a is generated by the module evaluation tool 45, the program module performance evaluation program 46 acquires the collection data 45a and executes predetermined processing. In order to execute such a predetermined process, the program module performance evaluation program 46 includes a measurement point instruction module 46a, a measurement data acquisition module 46b, a measurement data analysis module 46c, a feature amount calculation module 46d, and a feature amount And a graph display module 46e. Each of the modules 46a to 46e constitutes each unit according to the present invention.

【0028】図4は、モジュール評価ツール45によっ
て生成される収集データ45aの具体的な構成を示した
構成図である。本実施形態においては、このような形態
で生成された収集データ45aに基づき、プログラムモ
ジュール性能評価プログラム46によって実行される所
定の処理動作について、以下に説明する。
FIG. 4 is a configuration diagram showing a specific configuration of the collected data 45a generated by the module evaluation tool 45. In the present embodiment, a predetermined processing operation executed by the program module performance evaluation program 46 based on the collected data 45a generated in such a form will be described below.

【0029】図5は、測定ポイント指示モジュール46
aを動作させ、プログラムモジュール441〜44nの
いずれかについて、モジュール評価ツール45によって
計測する計測点を設定したプログラムモジュール441
〜44nの一例である。本実施形態においては、図に示
すように、計測ポイントとして計測点1〜4の4つ設定
する。
FIG. 5 shows a measuring point indicating module 46.
a, and sets a measurement point to be measured by the module evaluation tool 45 for any of the program modules 441 to 44n.
~ 44n. In the present embodiment, as shown in the figure, four measurement points 1 to 4 are set as measurement points.

【0030】すると計測点1−2、計測点2−3、計測
点1−3、計測点3−4および計測点3−1の経路が形
成されることになる。このような各経路について、図4
に示す形式の収集データ45aがモジュール評価ツール
45によって収集され、ハードディスクの所定の記憶領
域に格納される。次に、測定データ取得モジュール46
bは、この収集データ45aをハードディスクから読み
出す。これにより、プログラムモジュール性能評価モジ
ュール46は、収集データ45aを取得する。そして、
測定データ解析モジュール46cは、各経路毎にCPU
使用時間と、実行後経過時間と、経路通過回数とを集計
する。
Then, a path of the measurement point 1-2, the measurement point 2-3, the measurement point 1-3, the measurement point 3-4, and the measurement point 3-1 is formed. For each such route, FIG.
Is collected by the module evaluation tool 45 and stored in a predetermined storage area of the hard disk. Next, the measurement data acquisition module 46
b reads the collected data 45a from the hard disk. As a result, the program module performance evaluation module 46 acquires the collected data 45a. And
The measurement data analysis module 46c has a CPU for each path.
The usage time, the elapsed time after execution, and the number of times of route passage are totaled.

【0031】この集計結果は特徴量算出モジュール46
dに引き渡され、特徴量算出モジュール46dは、引き
渡された経路毎の総合CPU使用時間と、経路通過回数
とを利用して、経路毎の平均CPU使用時間を算出す
る。このように、特徴量が算出されると、特徴量グラフ
表示モジュール46eは、このプログラムモジュール4
41〜44nの評価に重要な特徴量(総合CPU使用時
間、平均CPU使用時間、経路通過回数)を、図6に示
した各特徴量を座標軸に設定した、三次元座標系の形式
によって、経路毎の特徴量の関係をグラフ表示化しディ
スプレイに表示する。
The result of the aggregation is calculated by the feature amount calculating module 46.
The feature amount calculation module 46d calculates the average CPU usage time for each route by using the total CPU usage time for each route and the number of times of passing the route. As described above, when the feature amount is calculated, the feature amount graph display module 46e uses the program module 4
The feature amounts (total CPU use time, average CPU use time, and the number of times of route passage) important for the evaluation of 41 to 44n are calculated by using a three-dimensional coordinate system in which each feature amount shown in FIG. The relationship between the feature amounts for each is displayed as a graph and displayed on a display.

【0032】ここで、図6(a)は計測点間の総合CP
U使用時間を表示し、図6(b)は計測点間の平均CP
U使用時間を表示し、図6(c)は計測点間の通過回数
を表現している。そして、図6(d)は計測区間と平均
CPU時間と通過回数とをそれぞれ座標軸に設定し、プ
ログラムモジュール441〜44nの性能を表示してい
る。
Here, FIG. 6A shows the total CP between the measurement points.
U usage time is displayed, and FIG. 6B shows an average CP between measurement points.
The U usage time is displayed, and FIG. 6C represents the number of passes between the measurement points. FIG. 6D illustrates the performance of the program modules 441 to 44n with the measurement section, the average CPU time, and the number of passes set on the respective coordinate axes.

【0033】このように、プログラムモジュール性能評
価プログラム46において既存のモジュール評価ツール
45を利用して、プログラムモジュール441〜44n
の性能を評価する。そして、このモジュール評価ツール
45によって収集された収集データ45aを取得して、
独自の解析を実行し、この解析結果の表示を自動的に行
うことによって、評価作業の負担を軽減するとともに、
プログラムモジュールの評価に有効な特徴量と計測区間
との関係を図6に示す三次元座標系のグラフ表示にて行
なうことにより、瞬時に評価内容を把握することがで
き、分析作業の効率化を実現することが可能になる。
As described above, the program module performance evaluation program 46 utilizes the existing module evaluation tool 45 to execute the program modules 441 to 44n.
Evaluate the performance of Then, the collected data 45a collected by the module evaluation tool 45 is obtained,
By performing an original analysis and automatically displaying the results of this analysis, the burden of evaluation work is reduced,
By displaying the relationship between the feature amount effective for the evaluation of the program module and the measurement section in a three-dimensional coordinate system graphical display shown in FIG. 6, the evaluation contents can be grasped instantaneously, and the analysis work can be made more efficient. It can be realized.

【0034】[0034]

【発明の効果】以上説明したように本発明は、プログラ
ムモジュールの性能を評価する既存のツールによって収
集された測定データを独自に解析し、この解析結果の表
示を自動的に行うことによって、評価作業の負担を軽減
するとともに、プログラムモジュールの評価に有効な特
徴量と計測区間との関係を三次元座標系のグラフ表示に
て行なうことにより、瞬時に評価内容を把握することが
でき、分析作業の効率化を実現することが可能なプログ
ラム性能グラフ表示装置を提供することができる。ま
た、請求項2にかかる発明によれば、プログラムモジュ
ール内部の動作態様を詳細に把握することが可能にな
る。さらに、請求項3にかかる発明によれば、経路を通
過した回数を把握することが可能になる。
As described above, the present invention independently analyzes the measurement data collected by the existing tool for evaluating the performance of the program module, and automatically displays the analysis result to evaluate the module. By reducing the work load and displaying the relationship between the feature values effective for program module evaluation and the measurement section on a three-dimensional coordinate system graph display, the evaluation contents can be grasped instantaneously and analysis work can be performed. A program performance graph display device capable of realizing the efficiency of the program can be provided. Further, according to the invention according to claim 2, it is possible to grasp the operation mode inside the program module in detail. Further, according to the third aspect of the invention, it is possible to grasp the number of times the vehicle has passed the route.

【0035】さらに、請求項4にかかる発明によれば、
平均CPU使用時間を把握することが可能になる。さら
に、請求項5にかかる発明によれば、三次元座標系によ
るグラフ表示の具体的態様を提示することが可能にな
る。さらに、請求項6にかかる発明によれば、プログラ
ムモジュールの性能を評価する既存のツールによって収
集された測定データを独自に解析し、この解析結果の表
示を自動的に行うことによって、評価作業の負担を軽減
するとともに、プログラムモジュールの評価に有効な特
徴量と計測区間との関係を三次元座標系のグラフ表示に
て行なうことにより、瞬時に評価内容を把握することが
でき、分析作業の効率化を実現することが可能なプログ
ラム性能のグラフ表示方法を提供することができる。
Further, according to the invention of claim 4,
The average CPU usage time can be ascertained. Further, according to the invention according to claim 5, it is possible to present a specific mode of the graph display in the three-dimensional coordinate system. Further, according to the invention of claim 6, by independently analyzing the measurement data collected by the existing tool for evaluating the performance of the program module and automatically displaying the analysis result, the evaluation work can be performed. By reducing the burden and displaying the relationship between the feature values effective for program module evaluation and the measurement section in a three-dimensional coordinate system graph display, the evaluation contents can be grasped instantaneously, and the efficiency of analysis work can be improved. It is possible to provide a method of displaying a graph of program performance capable of realizing the program.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の一実施形態にかかるコンピュータ10
のハードウェア構成を示したブロック構成図である。
FIG. 1 is a computer 10 according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a hardware configuration of the first embodiment.

【図2】ソフトウェア構成を示した構成図である。FIG. 2 is a configuration diagram showing a software configuration.

【図3】プログラムモジュール性能評価プログラム46
の構成を示した構成図である。
FIG. 3 is a program module performance evaluation program 46;
FIG. 2 is a configuration diagram showing the configuration of FIG.

【図4】モジュール評価ツール45の生成する収集デー
タ45aの態様の一例を示したデータ構成図である。
FIG. 4 is a data configuration diagram showing an example of a form of collected data 45a generated by a module evaluation tool 45.

【図5】測定ポイント指示モジュール46aによって計
測点を設定したプログラムモジュール441〜44nの
一例を示したフローチャートである。
FIG. 5 is a flowchart illustrating an example of program modules 441 to 44n in which measurement points are set by a measurement point instruction module 46a.

【図6】特徴量グラフ表示モジュール46eによってデ
ィスプレイに表示させる態様を示した図である。
FIG. 6 is a diagram showing a mode in which a feature amount graph display module 46e displays the image on a display.

【符号の説明】[Explanation of symbols]

45 モジュール評価ツール 45a 収集データ 46 プログラムモジュール性能評価プログラム 46a 測定ポイント指示モジュール 46b 測定データ取得モジュール 46c 測定データ解析モジュール 46d 特徴量算出モジュール 46e 特徴量グラフ表示モジュール 45 Module evaluation tool 45a Collected data 46 Program module performance evaluation program 46a Measurement point instruction module 46b Measurement data acquisition module 46c Measurement data analysis module 46d Feature calculation module 46e Feature graph display module

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 コンピュータシステムによって動作する
プログラムモジュールの性能の測定データを収集する所
定のツールを備え、このツールによって収集された所定
の測定データを利用して所定のグラフ表示を行なうプロ
グラム性能グラフ表示装置であって、 上記ツールに対してプログラムモジュールの測定ポイン
トを指示する測定ポイント指示手段と、 上記測定ポイントに基づき上記ツールによって収集した
測定データを取得する測定データ取得手段と、 上記測定データ取得手段によって取得した測定データに
ついて解析する測定データ解析手段と、 上記測定データ解析手段によって解析された測定データ
に基づいて、プログラムモジュールの性能を示す所定の
特徴量を算出する特徴量算出手段と、 上記特徴量算出手段によって算出された特徴量を適宜利
用して、各特徴量の相対的な関係を視覚的に把握可能な
三次元座標系のグラフとして表示する特徴量グラフ表示
手段とを具備することを特徴とするプログラム性能グラ
フ表示装置。
1. A program performance graph display comprising a predetermined tool for collecting measurement data of performance of a program module operated by a computer system, and displaying a predetermined graph using the predetermined measurement data collected by the tool. A measurement point instructing means for instructing the tool on a measurement point of a program module; a measurement data acquisition means for acquiring measurement data collected by the tool based on the measurement point; and a measurement data acquisition means Measurement data analysis means for analyzing the measurement data obtained by the measurement data analysis means; feature quantity calculation means for calculating a predetermined feature quantity indicating the performance of the program module based on the measurement data analyzed by the measurement data analysis means; Calculated by the quantity calculation means Characteristic graph display means for displaying, as appropriate, a three-dimensional coordinate system graph capable of visually grasping a relative relationship between the characteristic amounts by appropriately utilizing the characteristic amounts. Display device.
【請求項2】 上記請求項1に記載のプログラム性能グ
ラフ表示装置において、 上記測定ポイント指示手段は、プログラムモジュール内
で複数の計測ポイントを設定可能であるとともに、上記
ツールは、この測定ポイントによって経路が形成される
所定の計測区間にて測定データを計測することを特徴と
するプログラム性能グラフ表示装置。
2. The program performance graph display device according to claim 1, wherein said measurement point designating means is capable of setting a plurality of measurement points in a program module, and said tool is configured to control a path by said measurement points. A program performance graph display device for measuring measurement data in a predetermined measurement section in which is formed.
【請求項3】 上記請求項1または2に記載のプログラ
ム性能グラフ表示装置において、 上記測定データ解析手段は、上記ツールが測定した測定
データに基づいて、経路を形成する計測区間の通過回数
を解析することを特徴とするプログラム性能グラフ表示
装置。
3. The program performance graph display device according to claim 1, wherein the measurement data analysis means analyzes the number of passes of a measurement section forming a route based on the measurement data measured by the tool. A program performance graph display device.
【請求項4】 上記請求項1〜3のいずれかに記載のプ
ログラム性能グラフ表示装置において、 上記特徴量算出手段は、上記測定データ取得手段および
測定データ解析手段によって取得および解析された結果
に基づいて、平均CPU使用時間を算出することを特徴
とするプログラム性能グラフ表示装置。
4. The program performance graph display device according to claim 1, wherein said characteristic quantity calculating means is based on a result obtained and analyzed by said measurement data obtaining means and said measurement data analyzing means. And calculating an average CPU usage time.
【請求項5】 上記請求項1〜4のいずれかに記載のプ
ログラム性能グラフ表示装置において、 上記特徴量グラフ表示手段は、上記平均CPU時間と、
上記計測区間の通過回数と、該当する計測区間とを各座
標軸に設定し、三次元座標系のグラフ表示を実行するこ
とを特徴とするプログラム性能グラフ表示装置。
5. The program performance graph display device according to claim 1, wherein said characteristic amount graph display means comprises: an average CPU time;
A program performance graph display device, wherein the number of times of passing through the measurement section and the corresponding measurement section are set for each coordinate axis, and a graph display of a three-dimensional coordinate system is executed.
【請求項6】 コンピュータシステムによって動作する
プログラムモジュールの性能の測定データを収集する所
定のツールを備え、このツールによって収集した所定の
測定データを利用して所定のグラフ表示を行なうプログ
ラム性能のグラフ表示方法であって、 上記ツールに対してプログラムモジュールの測定ポイン
トを指示する測定ポイント指示工程と、 上記測定ポイントに基づき上記ツールによって収集した
測定データを取得する測定データ取得工程と、 上記測定データ取得工程によって取得した測定データに
ついて解析する測定データ解析工程と、 上記測定データ解析工程によって解析された測定データ
に基づいて、プログラムモジュールの性能を示す所定の
特徴量を算出する特徴量算出工程と、 上記特徴量算出工程によって算出された特徴量を適宜利
用して、各特徴量の相対的関係を視覚的に把握可能な三
次元座標系のグラフとして表示する特徴量グラフ表示工
程とを具備することを特徴とするプログラム性能のグラ
フ表示方法。
6. A graphic display of program performance, comprising a predetermined tool for collecting measurement data of performance of a program module operated by a computer system, and displaying a predetermined graph using the predetermined measurement data collected by the tool. A method, comprising: a measurement point indicating step of indicating a measurement point of a program module to the tool; a measurement data acquisition step of acquiring measurement data collected by the tool based on the measurement point; and a measurement data acquisition step. A measurement data analysis step of analyzing the measurement data obtained by the above, a feature quantity calculation step of calculating a predetermined feature quantity indicating the performance of the program module based on the measurement data analyzed by the measurement data analysis step, Calculated by the quantity calculation process A characteristic amount graph displaying step of displaying the relative relationship between the characteristic amounts as a graph in a three-dimensional coordinate system which can visually grasp the relative amounts of the characteristic amounts as appropriate. Display method.
JP33498099A 1999-11-25 1999-11-25 Program performance graph display apparatus and program performance graph display method Expired - Fee Related JP3721027B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33498099A JP3721027B2 (en) 1999-11-25 1999-11-25 Program performance graph display apparatus and program performance graph display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33498099A JP3721027B2 (en) 1999-11-25 1999-11-25 Program performance graph display apparatus and program performance graph display method

Publications (2)

Publication Number Publication Date
JP2001154889A true JP2001154889A (en) 2001-06-08
JP3721027B2 JP3721027B2 (en) 2005-11-30

Family

ID=18283388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33498099A Expired - Fee Related JP3721027B2 (en) 1999-11-25 1999-11-25 Program performance graph display apparatus and program performance graph display method

Country Status (1)

Country Link
JP (1) JP3721027B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7210123B2 (en) 2001-09-19 2007-04-24 Nec Corporation Software evaluation system having source code and function unit identification information in stored administration information
US7222269B2 (en) 2001-12-06 2007-05-22 Ns Solutions Corporation Performance evaluation device, performance evaluation information managing device, performance evaluation method, performance evaluation information managing method, performance evaluation system
WO2014050254A1 (en) * 2012-09-25 2014-04-03 日本電気株式会社 Bottleneck detection device, method and program
CN111061647A (en) * 2019-12-26 2020-04-24 行吟信息科技(上海)有限公司 Software performance automatic testing method and device and electronic equipment

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7210123B2 (en) 2001-09-19 2007-04-24 Nec Corporation Software evaluation system having source code and function unit identification information in stored administration information
US7222269B2 (en) 2001-12-06 2007-05-22 Ns Solutions Corporation Performance evaluation device, performance evaluation information managing device, performance evaluation method, performance evaluation information managing method, performance evaluation system
WO2014050254A1 (en) * 2012-09-25 2014-04-03 日本電気株式会社 Bottleneck detection device, method and program
JPWO2014050254A1 (en) * 2012-09-25 2016-08-22 日本電気株式会社 Bottleneck detection apparatus, method and program
US9652355B2 (en) 2012-09-25 2017-05-16 Nec Corporation Bottleneck detection device, method and recording medium storing program
CN111061647A (en) * 2019-12-26 2020-04-24 行吟信息科技(上海)有限公司 Software performance automatic testing method and device and electronic equipment

Also Published As

Publication number Publication date
JP3721027B2 (en) 2005-11-30

Similar Documents

Publication Publication Date Title
JP3188862B2 (en) Power consumption analysis method and device
CN1332314C (en) System for analysing figure contrller property
CN101587658A (en) Graphics rendering engine and physics engine-based three-dimension automobile driving simulation device
CN100385787C (en) DSP Chip-based excitation controller communication system and its method for realizing USB protocol
JP2001154889A (en) Device and method for displaying graph of program performance
CN106776252A (en) A kind of method and device of evaluation GPU performances
CN210466052U (en) Hardware-in-loop test system of hybrid power system
JP2001290860A (en) Hardware/software cooperation simulator
JP3132778B2 (en) Virtual computer system
JP3852636B2 (en) Status data collection method and control device
JP2004005198A (en) Computerized analysis display method and measurement analysis display device
JPH05158740A (en) Computer performance evaluating device
JP3257656B2 (en) Debug device
JP2002244892A (en) Benchmark execution method
JP2715904B2 (en) Computer system performance evaluation device
JPH10161891A (en) Interrupt controller
CN109144798B (en) Intelligent management system with machine learning function
CN116703028A (en) Automatic driving performance evaluation method, device, equipment and medium
JP2000331277A (en) Communication mechanism and communication method with measuring instrument in measuring system and recording medium recording measuring instrument collective management program
CN110502348A (en) Server is submitted in GPU instruction based on service
JP2004171443A (en) System and method for supporting energy-saving measure
JPH0328948A (en) Collection system for action state information on input/ output controller
CN117009164A (en) Method and device for evaluating artificial intelligence solution
JPH02108140A (en) Collection system for disk cache hit rate
JP2002288007A (en) Simulation analysis supporting device and program

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050909

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080916

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090916

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090916

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100916

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110916

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120916

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130916

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees