JP2009026020A - Load test system, load test data creation method, and program therefor - Google Patents

Load test system, load test data creation method, and program therefor Download PDF

Info

Publication number
JP2009026020A
JP2009026020A JP2007187787A JP2007187787A JP2009026020A JP 2009026020 A JP2009026020 A JP 2009026020A JP 2007187787 A JP2007187787 A JP 2007187787A JP 2007187787 A JP2007187787 A JP 2007187787A JP 2009026020 A JP2009026020 A JP 2009026020A
Authority
JP
Japan
Prior art keywords
user
load test
request
procedure
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007187787A
Other languages
Japanese (ja)
Other versions
JP4627539B2 (en
Inventor
Akinori Shinohara
晃規 篠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Information Systems Ltd
Original Assignee
Hitachi Information Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Information Systems Ltd filed Critical Hitachi Information Systems Ltd
Priority to JP2007187787A priority Critical patent/JP4627539B2/en
Publication of JP2009026020A publication Critical patent/JP2009026020A/en
Application granted granted Critical
Publication of JP4627539B2 publication Critical patent/JP4627539B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Test And Diagnosis Of Digital Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a load test system and a load test data creation method, which create data for load tests properly incorporating fluctuation of a machine load due to usage by a user. <P>SOLUTION: A load test system includes: a client terminal 100 used for normal operation; a GW server 120 for analyzing request information from the client terminal 100 to send back a reply; and a retrieval server 130, wherein normal data usable as load test data is only stored in a storage device 123 on the GW server 120. The GW server 120 has a means 125 which performs matching between the request information and information for managing a user-field, creates load test data suitable for a load test, and distributes the load test data 142 to a load test terminal 140. In a load test terminal 140, a virtual client is created for each of users designated on the load test terminal 140 by using the load test data 142 distributed from the GW server 120; and to the GW server 120, a request is made which is identical to a request transmitted from the client terminal 100 during the normal operation. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、ネットワーク上に存在する種々のネットワークサーバシステムに対して、様々なアクセスパターンをシミュレートして、負荷を発生させることにより、サーバ負荷テストを行うため、指定した複数の仮想クライアントを1台のテスト実行端末内に生成し、その仮想クライアントから様々な負荷テストを行うことにより、対象サーバへ負荷をかけ、パフォーマンステストを行うことができる負荷試験システム、および、実運用中のトランザクションを記録し、仮想クライアントがシミュレートするアクセスパターンへ使用することで、仮想クライアントで実行する負荷テスト動作の内容を実運用に近い状態に自動的に変化させることが可能な負荷試験データ作成方法ならびにそのプログラムに関する。   The present invention performs a server load test by simulating various access patterns and generating loads on various network server systems existing on the network. A load test system that can generate a test in a single test execution terminal and perform a load test on the target server by performing various load tests from the virtual client, and records transactions in actual operation And load test data creation method and program capable of automatically changing the content of the load test operation executed by the virtual client to a state close to the actual operation by using the access pattern simulated by the virtual client. About.

近年、ネットワーク技術の発達と共に、ネットワーク上でのサーバ/クライアントシステムとして実現されるアプリケーションが増加している。このようなアプリケーションのテストは、従来のスタンドアロン型のアプリケーションとは異なって、そのパフォーマンスの測定およびボトルネックの検出を行うためにはネットワークを含めたシステム全体の検査が必要となるので、非常に難しくなっている。   In recent years, with the development of network technology, applications implemented as server / client systems on the network are increasing. Testing such an application is very difficult because, unlike traditional stand-alone applications, the entire system, including the network, must be examined to measure its performance and detect bottlenecks. It has become.

従来のネットワークサーバへの負荷テストシステムでは、実際に複数のクライアント端末を用意し、クライアントアプリケーションを実行して、実際にサーバへのアクセスを行って負荷を発生させていた。
その解決手段として、例えば、特開2002−7232号公報(特許文献1参照)に記載のように、1台の端末上で複数のクライアント処理を生成してサーバにアクセスを発生させていた。すなわち、試験対象サーバとサーバ試験装置とを公衆データ通信網に代わる専用データ通信経路によって相互接続し、このサーバ試験装置により多数のユーザ・エージェントを偽装した大量のHTTPレスポンスを個別に認識して各レスポンス中に各HTTPリクエストにて指定したオブジェクトが誤りなく含まれているか否かを判別し、その判別結果を所定の報告形式で出力するものである。
また、負荷試験データも、実運用時のデータを取得し、試験データとすることで実運用に近い状態を想定したテストを行っていた。
In a conventional load test system for a network server, a plurality of client terminals are actually prepared, a client application is executed, and the server is actually accessed to generate a load.
As a solution, for example, as described in JP-A-2002-7232 (see Patent Document 1), a plurality of client processes are generated on one terminal to generate access to the server. That is, the test target server and the server test apparatus are interconnected by a dedicated data communication path instead of the public data communication network, and the server test apparatus recognizes a large number of HTTP responses disguised as many user agents individually, It is determined whether or not the object specified in each HTTP request is included in the response without error, and the determination result is output in a predetermined report format.
Moreover, the load test data was obtained by obtaining data at the time of actual operation and using it as test data to perform a test assuming a state close to actual operation.

また、例えば、特開2004−21523号公報(特許文献2参照)に記載のように、指定した複数の仮想クライアントを1台のテスト実行端末内に生成し、そのテスト実行端末を複数管理するテストマネージャ端末を1台用意し、そのテストマネージャ端末から生成した複数の仮想クライアントに対して様々な負荷テスト動作を行うものもあった。すなわち、設定手段で、設定/指示された負荷テスト動作情報、テスト用クライアントモジュールおよびテストデータを各テスト実行端末に配信する手段を備え、配信された負荷テスト動作情報に従って同じく配信されたクライアントモジュールを動作させ、配信されたテストデータを利用して指示されたテスト対象サーバに対して、負荷アクセスを発生することができるようにしたものである。   Also, for example, as described in JP-A-2004-21523 (see Patent Document 2), a plurality of designated virtual clients are generated in one test execution terminal, and a plurality of test execution terminals are managed. Some manager terminals are prepared, and various load test operations are performed on a plurality of virtual clients generated from the test manager terminal. That is, the setting means includes means for distributing the set / instructed load test operation information, the test client module and the test data to each test execution terminal, and the client module distributed in accordance with the distributed load test operation information The load access can be generated for the test target server that is operated and instructed using the distributed test data.

特開2002−7232号公報JP 2002-7232 A 特開2004−21523号公報JP 2004-21523 A

従来の技術では、負荷試験のデータを作成する際に、実運用のデータを使用することにより、より実運用に近い状態での試験を可能としているが、実運用のデータを無作為に抽出するため、ユーザによる使用方法の違いの偏りを考慮できていないという問題点がある。
具体的には、システムを使用するユーザ毎に、少量のマシン負荷が高い検索を行うユーザや、マシンへの負荷は小さものの、多数の検索を行うユーザもおり、様々なユーザの使用方法を考慮に入れた上での負荷試験が重要となる。特に、多種の機能を提供しているシステムでは、ユーザの使用方法によるマシン負荷の変動は非常に大きく、無視できるものではない。つまり、『同じユーザ機能を使用する場合でも、ユーザ毎に要求内容が大きく異る』、『ユーザ業務を行う上で、ユーザ毎に一連の操作(使用する機能の組合せ)の流れが異なる』点を踏まえ、試験データを作成することが望まれる。
In the conventional technology, when creating load test data, it is possible to test in a state closer to the actual operation by using the actual operation data, but the actual operation data is extracted at random. Therefore, there is a problem that the bias of the difference in the usage method by the user cannot be considered.
Specifically, for each user who uses the system, there are users who perform a search with a small amount of machine load and users who perform a large number of searches with a small load on the machine, and consider how to use various users. It is important to conduct a load test in In particular, in a system that provides various functions, a change in machine load due to a user's usage is very large and cannot be ignored. In other words, “Even if the same user function is used, the content of the request varies greatly from user to user.”, “The flow of a series of operations (combination of functions to be used) differs from user to user when performing user duties” Therefore, it is desirable to create test data.

(目的)
本発明の目的は、ユーザの使用方法によるマシン負荷の変動を適切に組み込んだ負荷試験のデータを作成することができる負荷試験システムおよび負荷試験データ作成方法、ならびにそのプログラムを提供することにある。
(the purpose)
An object of the present invention is to provide a load test system, a load test data creation method, and a program therefor, which can create load test data that appropriately incorporates machine load fluctuations according to the usage method of the user.

本発明の負荷試験システムは、通常運用時に使用されるクライアント端末と、クライアントからの要求情報を解析して応答を返すゲートウェイ(GW)サーバと、検索用サーバと、負荷試験データとして使用できる正常データのみGWサーバ上の記憶装置に保存する。前記GWサーバが、前記要求情報とユーザ・分野を管理している情報とのマッチングを行い、負荷試験に適した負荷試験データを作成し、負荷試験データを負荷試験端末へ配信する手段を備えることを特徴としている。   The load test system according to the present invention includes a client terminal used during normal operation, a gateway (GW) server that analyzes request information from the client and returns a response, a search server, and normal data that can be used as load test data. Only save to the storage device on the GW server. The GW server includes means for matching the request information with information managing users and fields, creating load test data suitable for a load test, and distributing the load test data to a load test terminal. It is characterized by.

また、前記負荷試験端末には、上記GWサーバから配信された負荷試験データを利用して、負荷試験端末上で指定されたユーザ数分の仮想クライアントを生成し、前記GWサーバに対して通常運用時のクライアント端末から送信される要求と同様の要求を行うことにより、通常業務手段を備えることを特徴としている。   In addition, the load test terminal generates virtual clients for the number of users specified on the load test terminal using the load test data distributed from the GW server, and performs normal operation on the GW server. It is characterized by comprising a normal business means by making a request similar to the request transmitted from the client terminal at the time.

本発明の負荷試験データ作成方法は、実運用のデータから試験データを抽出する点については、前記特許文献1の記載内容と同一であるが、ユーザによる使用方法の偏りを、使用方法の似通ったユーザをグループ分けし、グループ毎の偏りを考慮して実運用のデータを抽出し、試験データとすることで、ユーザの使用方法によるマシン負荷の変動を適切に組み込んだ負荷試験のデータを作成する方法である。   The load test data creation method of the present invention is the same as that described in Patent Document 1 in that the test data is extracted from the actual operation data, but the usage method bias by the user is similar to the usage method. Creates load test data that appropriately incorporates machine load fluctuations according to the user's usage by grouping users, extracting actual operation data in consideration of the bias of each group, and using it as test data Is the method.

本発明によれば、ユーザ毎の操作によりマシン負荷が大きく変動するシステムにおいて、実運用のデータを効果的に利用することで、適切な負荷試験データの作成を自動的に行うことが可能になる。   According to the present invention, it is possible to automatically create appropriate load test data by effectively using actual operation data in a system in which the machine load greatly fluctuates due to an operation for each user. .

以下、本発明のリクエストを収集する手段、および、試験データ作成手段の実施例を、図面により詳細に説明する。また、ここでは、高負荷試験を例として記載する。
図1は、本発明の一実施例に係る負荷テストシステムのブロック構成図である。
リクエスト収集手段および負荷試験データ作成手段を有するGWサーバ120では、クライアントアプリケーション111からのリクエストを収集するためにデータ収集部121、上記リクエストを格納するための要求情報管理DB部123、上記リクエスト中に含まれるユーザIDと上記ユーザIDをグループ化する分類を管理するユーザ・分類管理DB部124、および、負荷試験データを作成するための試験データ作成部125が設けられる。
Hereinafter, embodiments of the means for collecting requests and the test data creating means of the present invention will be described in detail with reference to the drawings. Here, a high load test is described as an example.
FIG. 1 is a block diagram of a load test system according to an embodiment of the present invention.
In the GW server 120 having a request collection unit and a load test data creation unit, a data collection unit 121 for collecting requests from the client application 111, a request information management DB unit 123 for storing the requests, A user / category management DB unit 124 for managing the user IDs included and the classification for grouping the user IDs, and a test data creation unit 125 for creating load test data are provided.

試験データ作成(生成)部125は、以下の機能を備えている。
生成対象操作先頭ログ決定機能と負荷試験データ生成機能であって、まず、ログ決定機能内のユーザ操作テーブル作成機能によりユーザ操作テーブルを生成し、全ユーザ数に対する分野毎の割合取得機能により割合を求め、抽出ユーザ操作決定機能により抽出ユーザ操作を決定する。次に、負荷試験データ生成機能のユーザ操作テーブル・要求情報管理DB部マッチング機能により、両者のマッチングを取り、最後に試験データ作成機能により試験データを作成する。
The test data creation (generation) unit 125 has the following functions.
Generation target operation start log determination function and load test data generation function. First, the user operation table is generated by the user operation table creation function in the log determination function, and the ratio is acquired by the ratio acquisition function for each field with respect to the total number of users. The extraction user operation is determined by the extraction user operation determination function. Next, the user operation table / request information management DB unit matching function of the load test data generation function is used to match the two, and finally, test data is generated using the test data generation function.

GWサーバ120は、まずデータ収集部121でクライアントアプリケーション111からのリクエストを編集し、バックエンドサーバ130へリクエストを送信する。次に、バックエンドサーバ130からのレスポンスの正常状態か否かを判定し、正常状態と判定した場合に上記クライアントからのリクエストを要求情報管理DB部123に登録する。このように、クライアント140からのリクエストを収集することにより、負荷試験を実施する場合に実運用で使用されたデータを使用することができる。   The GW server 120 first edits the request from the client application 111 by the data collection unit 121 and transmits the request to the back-end server 130. Next, it is determined whether or not the response from the back-end server 130 is in a normal state. In this manner, by collecting requests from the client 140, data used in actual operation can be used when performing a load test.

次に、試験データ作成部125で要求情報管理DB部123で有しているユーザIDと、ユーザ・分野管理DB部124で有しているユーザIDとの突合せを行うことにより、分野毎のクライアントリクエスト数を集計し、分野毎の割合に応じた数のリクエスト情報を要求情報管理DB部123から抽出して、負荷試験用のデータを作成することにより、実運用に近い状態で負荷試験を実施するためのデータを作成することができる。   Next, the test data creation unit 125 collates the user ID possessed by the request information management DB unit 123 with the user ID possessed by the user / field management DB unit 124, so that the client for each field Aggregate the number of requests, extract the number of request information according to the ratio for each field from the request information management DB unit 123, and create the data for load test. To create data for

以下、GWサーバ120の各構成部の詳細を説明する。
まず、データ収集部121は、クライアントアプリケーション111からのリクエストを編集し、バックエンドサーバ130へリクエストを送信する。次に、バックエンドサーバ130からのレスポンスが正常状態か否かを判定し、正常状態と判定した場合に上記クライアントからのリクエストを要求情報管理DB部123へ登録する。ここで、ユーザが要求するリクエストには、検索式不正、システム上限を超えるヒット件数が発生する検索式、および、存在しないデータの参照要求など、エラーを含むデータが含まれるが、バックエンドサーバ130のレスポンスに含まれるリターンコードには、正常に処理された要求と、不正に処理された要求との区別が含まれている。
Hereinafter, details of each component of the GW server 120 will be described.
First, the data collection unit 121 edits a request from the client application 111 and transmits the request to the backend server 130. Next, it is determined whether or not the response from the backend server 130 is in a normal state. If it is determined that the response is normal, the request from the client is registered in the request information management DB unit 123. Here, the request requested by the user includes data including an error such as an invalid search expression, a search expression in which the number of hits exceeding the upper limit of the system occurs, and a reference request for nonexistent data. The return code included in the response includes a distinction between a normally processed request and an illegally processed request.

そのため、バックエンドサーバ130からのレスポンスが正常状態か否かの判定では、バックエンドサーバ130からのリターンコードによる判定が行われる。これにより、ユーザ入力データ不備による、不要データを除外することが可能となる。この正常状態の判定手順、および、要求情報管理DB部123への登録内容は、図2以降を用いて詳細に説明する。
試験データ作成部125は、負荷試験で用いるデータ作成パラメータとしての時間範囲と抽出ユーザ数をパラメータとして受取ることにより、条件に一致するユーザ操作内容を要求情報管理DB部123から抽出し、負荷試験用のデータを作成する。この抽出方法およびデータ作成内容は、図4以降を用いて詳細に述べる。
Therefore, in determining whether the response from the back-end server 130 is in a normal state, the determination based on the return code from the back-end server 130 is performed. Thereby, unnecessary data due to incomplete user input data can be excluded. The determination procedure of the normal state and the contents registered in the request information management DB unit 123 will be described in detail with reference to FIG.
The test data creation unit 125 receives, as parameters, the time range and the number of extracted users as data creation parameters used in the load test, and extracts the user operation content that matches the conditions from the request information management DB unit 123 for the load test. Create data for. This extraction method and data creation contents will be described in detail with reference to FIG.

図2は、図1におけるGWサーバの本発明に係る第一の処理動作例を示すフローチャートである。また、図3は、図2における処理内容を詳細に示すデータ関連図である。
図1におけるデータ収集部121の目的は、バックエンドサーバ130で正常状態であるクライアントのリクエスト情報を収集することにある。そのための処理として、次の各ステップを実行する。まず、クライアントより送られたリクエストからデータを読み込む(ステップ202)。次に、リクエストデータを編集し、バックエンドサーバ130へ転送する(ステップ203)。この編集内容は、図3のクライアントリクエスト32をバックエンドサーバ130へのリクエスト37に編集する。次に、バックエンドサーバ130からレスポンスを受取る(ステップ204)。次に、バックエンドサーバ130からのリターンードを判定する(ステップ205)。
FIG. 2 is a flowchart showing a first processing operation example according to the present invention of the GW server in FIG. FIG. 3 is a data relation diagram showing details of the processing contents in FIG.
The purpose of the data collection unit 121 in FIG. 1 is to collect request information of clients in a normal state at the back-end server 130. As a process for that, the following steps are executed. First, data is read from the request sent from the client (step 202). Next, the request data is edited and transferred to the back-end server 130 (step 203). The edited content is edited from the client request 32 in FIG. 3 into a request 37 to the back-end server 130. Next, a response is received from the backend server 130 (step 204). Next, a return from the backend server 130 is determined (step 205).

ここで、図3のバックエンドサーバ130からのレスポンス38のリターンコードが0の場合、図1における要求情報管理DB部123へリクエストデータを登録する(ステップ206)。この登録内容は、レスポンス38のリターンコードを判定した時の時刻を要求情報管理DB35のタイムスタンプへ、クライアントリクエスト32の〈User Name〉タグの内容を要求情報管理DB35のユーザIDへ、クライアントリクエスト32の〈ns0.・・・〉タグの内容を要求情報管理DB35のサービスへ、クライアントリクエスト32の内容を要求情報管理DB35のリクエストデータへ、それぞれ格納する。
次に、バックエンドサーバ130からのレスポンスを編集し、クライアントへ応答する(ステップ207)。この編集内容は、図3のバックエンドサーバレスポンス38を、クライアントレスポンス33に編集する。
If the return code of the response 38 from the back-end server 130 in FIG. 3 is 0, the request data is registered in the request information management DB unit 123 in FIG. 1 (step 206). This registered content includes the time when the return code of the response 38 is determined as the time stamp of the request information management DB 35, the content of the <User Name> tag of the client request 32 as the user ID of the request information management DB 35, and the client request 32. <Ns0. ...> The contents of the tag are stored in the service of the request information management DB 35, and the contents of the client request 32 are stored in the request data of the request information management DB 35, respectively.
Next, the response from the backend server 130 is edited and the response is made to the client (step 207). This editing content is to edit the back-end server response 38 of FIG.

図4は、図1におけるGWサーバの本発明に係る第二の処理動作例を示すフローチャートである。
これ以降で、試験データ作成プログラムについて詳細に説明するが、ユーザ操作の概念について補足を加えておく。前述したように、試験データを作成するに当り、『ユーザ毎に要求内容が大きく異なる』点、および、『ユーザ毎に一連の操作の流れが異なる』点を考慮することが重要である。
『ユーザ毎に要求内容が大きく異なる』点については、以下で詳細に説明するが、分野毎の偏りを考慮して試験データを抽出することにより、これを満たすことができる。
一方、『ユーザ毎に一連の操作の流れが異なる』点については、ユーザがどのような順番で、どのような機能を使用したかが重要となる。ユーザの一連の操作としてログインに始まり、検索やその他の機能を使用した後、ログオフするという特徴がある。そのため、ユーザ毎に一連の操作の流れが異なる点については、特定のユーザの操作の履歴を追い、試験データとして抽出することで、満たすことができる。
FIG. 4 is a flowchart showing a second processing operation example of the GW server in FIG. 1 according to the present invention.
In the following, the test data creation program will be described in detail, but the concept of user operation will be supplemented. As described above, when creating test data, it is important to consider the point that “the request contents differ greatly from user to user” and “the flow of a series of operations differ from user to user”.
The point that “the content of the request varies greatly from user to user” will be described in detail below, but this can be satisfied by extracting test data in consideration of the bias for each field.
On the other hand, regarding the point that “the flow of a series of operations differs for each user”, it is important in what order and what functions the user has used. As a series of user operations, it begins with login, and after using search and other functions, it logs off. For this reason, the difference in the flow of a series of operations for each user can be satisfied by following the history of operation of a specific user and extracting it as test data.

ここで、図1の要求情報管理DB123には、全てのユーザ操作に関する情報が格納されている。そのため、ユーザ操作の一連の流れを特定する手段として、次の二つ処理を行う。その第一として、ユーザ操作の情報をユーザ毎に重複排除し、重複排除の際に先頭レコードを採用することで、ユーザの一連の操作の流れにおける、先頭レコードを決定する。
第二として、決定したユーザ操作の先頭レコード毎に、該当するユーザに関する後続操作情報を取得する。
Here, the request information management DB 123 of FIG. 1 stores information related to all user operations. Therefore, the following two processes are performed as means for specifying a series of user operations. First, the user operation information is deduplicated for each user, and the first record is determined in the flow of a series of user operations by adopting the first record at the time of deduplication.
Secondly, subsequent operation information regarding the corresponding user is acquired for each head record of the determined user operation.

図1における負荷試験データ作成プログラムの目的は、負荷試験のデータとして使用する実運用の時間帯および抽出するユーザ操作数を指定することにより、実運用で使用したデータをもとに負荷試験用のデータを作成することである。
図4では、まず、作成対象操作先頭ログ決定処理を行う(ステップ402)。この処理内容は、図5および図6により詳細に説明する。次に、負荷試験データ生成処理を行う(ステップ403)。この処理内容は、図7および図8により詳細に説明する。
The purpose of the load test data creation program in FIG. 1 is to specify the actual operation time zone used as load test data and the number of user operations to be extracted. Is to create data.
In FIG. 4, first, a creation target operation first log determination process is performed (step 402). The details of this processing will be described in detail with reference to FIGS. Next, load test data generation processing is performed (step 403). The details of this processing will be described in detail with reference to FIGS.

(作成対象操作先頭ログ決定処理)
図5および図6は、図4における作成対象操作先頭ログ決定処理(ステップ402)に係る処理動作例を示すフローチャートおよびデータ関連図である。
まず、ユーザIDとタイムスタンプを抽出する(ステップ502)。取得対象は、図6の要求情報管理DB601のタイムスタンプとユーザIDである。次に、ステップ502で抽出したデータについて、ユーザIDで重複排除を行い、図6のユーザ操作テーブル604を作成する(ステップ503)。ユーザIDでの重複排除を行う際に、重複データ中の先頭レコードを採用する。次に、図6のユーザ操作テーブル604のユーザIDで図6のユーザID・分野管理DB605のユーザIDを検索し、分野を取得して図6のユーザ操作テーブル604の分野を更新する(ステップ504)。
(Create target operation start log determination process)
FIG. 5 and FIG. 6 are a flowchart and data related diagrams showing an example of processing operation related to the creation target operation first log determination processing (step 402) in FIG.
First, a user ID and a time stamp are extracted (step 502). The acquisition target is the time stamp and user ID of the request information management DB 601 in FIG. Next, the data extracted in step 502 is deduplicated with the user ID, and the user operation table 604 in FIG. 6 is created (step 503). When deduplication is performed with the user ID, the first record in the duplicate data is adopted. Next, the user ID in the user ID / field management DB 605 in FIG. 6 is searched with the user ID in the user operation table 604 in FIG. 6, the field is acquired, and the field in the user operation table 604 in FIG. 6 is updated (step 504). ).

次に、ユーザ操作テーブル604を母体として、ユーザ操作テーブル604の分野毎の割合を取得する(ステップ505)。次に、上記負荷試験データ作成処理時のパラメータとして指定した抽出ユーザ数を母体として、ステップ505で取得した分野毎の割合から、分野毎の抽出ユーザ操作数を決定する(ステップ506)。
次に、図6のユーザ操作テーブル604からステップ506で決定したユーザ操作数分のユーザ操作を抽出する(ステップ507)。この際に、同一分野中からユーザ操作を抽出する点に関しては、平均的に抽出する。
Next, the ratio for each field of the user operation table 604 is acquired using the user operation table 604 as a base (step 505). Next, the number of extracted user operations for each field is determined from the ratio for each field acquired in step 505 using the number of extracted users specified as a parameter at the time of the load test data creation process as a base (step 506).
Next, user operations corresponding to the number of user operations determined in step 506 are extracted from the user operation table 604 in FIG. 6 (step 507). At this time, the user operations are extracted from the same field on the average.

(負荷試験データ生成処理)
図7および図8は、図4における負荷試験データ生成処理(ステップ403)に係る処理動作例を示すフローチャートおよびデータ関連図である。
まず、図8のユーザ操作テーブル801のレコード分、以下に説明する処理を繰り返す(ステップ701)。そして、図8のユーザ操作テーブル801を読込む(ステップ702)。図8のユーザ操作テーブル801のタイムスタンプおよびユーザIDにて、図8のユーザ情報管理DB802のタイムスタンプおよびユーザIDを検索する(ステップ703)。次に、負荷試験データを作成する(ステップ704)。負荷試験データは、図8のユーザ情報管理DB802のリクエストデータから取得した情報を出力する。次に、図8のユーザ情報管理DB802の次レコードを読込む(ステップ705)。
(Load test data generation processing)
7 and 8 are a flowchart and a data relation diagram showing an example of processing operation related to the load test data generation process (step 403) in FIG.
First, the process described below is repeated for the records in the user operation table 801 in FIG. 8 (step 701). Then, the user operation table 801 in FIG. 8 is read (step 702). The time stamp and user ID in the user information management DB 802 in FIG. 8 are searched using the time stamp and user ID in the user operation table 801 in FIG. 8 (step 703). Next, load test data is created (step 704). As the load test data, information acquired from the request data of the user information management DB 802 in FIG. 8 is output. Next, the next record of the user information management DB 802 of FIG. 8 is read (step 705).

次に、読込んだレコードのタイムスタンプが上記負荷試験データ作成処理時のパラメータとして指定した時間範囲内か否かの判定を行い、範囲外であれば、ステップ701のループ先頭に戻り、範囲内であれば、次のステップへ進む(ステップ706)。次に、読込んだレコードのユーザIDがユーザ操作テーブルから読込んだユーザIDと一致するか否かを比較する。同一の場合、後読ステップへ進み、異なる場合、ステップ705へ戻る(ステップ707)。次に、負荷試験データを作成する(ステップ708)。負荷試験データは、図8のユーザ情報管理DB802のリクエストデータから取得した情報を出力する。次に、図8の要求情報管理DB802から取得したサービスが“Logoff”か否かの判定を行う。一致する場合には、ステップ701のループ先頭に戻り、一致しない場合には、ステップ705へ戻る(ステップ709)。   Next, it is determined whether or not the time stamp of the read record is within the time range specified as the parameter at the time of the load test data creation process. If so, the process proceeds to the next step (step 706). Next, it is compared whether or not the user ID of the read record matches the user ID read from the user operation table. If they are the same, the process proceeds to the post-reading step, and if they are different, the process returns to step 705 (step 707). Next, load test data is created (step 708). As the load test data, information acquired from the request data of the user information management DB 802 in FIG. 8 is output. Next, it is determined whether or not the service acquired from the request information management DB 802 in FIG. 8 is “Logoff”. If they match, the process returns to the beginning of the loop in step 701. If they do not match, the process returns to step 705 (step 709).

以上、図1〜図8を用いて説明したように、本発明のGWサーバにおいては、収集の対象となるクライアントからのレスポンスを実運用中に収集する。また、実運用中の収集データから時間範囲、および、ユーザ操事数を指定することにより、実運用と同様の負荷試験データを作成する。このことにより、負荷試験実施に当たり、直近の実運用で使用されたデータを使用することが可能になり、ユーザの使用状況が変化しても、実運用を想定した負荷試験を行うことができる。
また、今回は負荷試験の試験データ作成を題材として説明したが、抽出する時間帯を負荷が低い時間帯を選択する、抽出ユーザ数を少なくする等、試験データ作成時のパラメータを変更することで、低負荷時の試験に関しても利用可能となる。
As described above with reference to FIGS. 1 to 8, in the GW server of the present invention, responses from clients to be collected are collected during actual operation. Also, by designating the time range and the number of user operations from the collected data during actual operation, the same load test data as in actual operation is created. This makes it possible to use data used in the most recent actual operation when performing the load test, and to perform a load test assuming actual operation even if the user usage status changes.
In addition, this time, the test data creation of the load test was explained as the subject, but by selecting the time zone to extract the time zone where the load is low, the number of extraction users is reduced, etc. It can also be used for tests at low loads.

なお、図2、図4、図5および図7の各フローの手順をプログラムに変換したものを、CD−ROMなどの記録媒体に格納し、この記録媒体を本発明の負荷試験システムのコンピュータに装着して、これをインストールした後、実行させれば、本発明を容易に実現できる。そして、上記プログラムを上記コンピュータからネットワークを介して他のコンピュータにダウンロードすれば、上記プログラムの汎用化も可能である。   2, FIG. 4, FIG. 5 and FIG. 7 converted into the program are stored in a recording medium such as a CD-ROM, and this recording medium is stored in the computer of the load test system of the present invention. The present invention can be easily realized if it is installed, installed, and executed. If the program is downloaded from the computer to another computer via a network, the program can be generalized.

本発明の一実施例に係る負荷試験システムの全体ブロック図である。1 is an overall block diagram of a load test system according to an embodiment of the present invention. 図1におけるGWサーバの本発明に係る第一の処理動作例を示すフローチャートである。It is a flowchart which shows the 1st processing operation example which concerns on this invention of the GW server in FIG. 図2における処理内容を示すデータ関連図である。It is a data related figure which shows the processing content in FIG. 図1におけるGWサーバの本発明に係る第二の処理動作例を示すフローチャートである。It is a flowchart which shows the 2nd processing operation example which concerns on this invention of the GW server in FIG. 図4における試験データ作成部に係る第一の処理動作例を示すフローチャートである。It is a flowchart which shows the 1st processing operation example which concerns on the test data preparation part in FIG. 図5における処理内容を示すデータ関連図である。FIG. 6 is a data relation diagram showing processing contents in FIG. 5. 図4における試験データ作成部に係る第二の処理動作例を示すフローチャートである。It is a flowchart which shows the 2nd processing operation example which concerns on the test data preparation part in FIG. 図7における処理内容を示すデータ関連図である。FIG. 8 is a data relation diagram showing processing contents in FIG. 7.

符号の説明Explanation of symbols

31 クライアント
32 クライアントリクエスト
33 クライアントリスポンス
34 データ編集部
35 要求情報管理DB
36 リクエストデータ
37 バックエンドサーバへのリクエスト
38 バックエンドサーバからのレスポンス
39 バックエンドサーバ
100 クライアント
111 クライアントアプリケーション
120 GWサーバ
121 データ収集部
123 要求情報管理DB部
124 ユーザ・分野管理DB部
125 試験データ作成部
130 バックエンドサーバ
131 検索部
132 検索用DB部
140 クライアント
141 クライアント負荷試験シミュレータ
142 試験データ
601 要求情報管理DB
602 リクエストデータの具体例
603 生成対象操作先頭ログ決定処理
604 ユーザ操作テーブル
605 ユーザID・分野管理DB
606 先頭ログ決定処理後のユーザ操作テーブル
801 ユーザ操作テーブル
802 ユーザ情報管理DB
803 ユーザ情報管理DBのリクエストデータから取得した情報
804 負荷試験データ生成
805 負荷試験データ生成部により生成されたデータ
31 Client 32 Client Request 33 Client Response 34 Data Editing Section 35 Request Information Management DB
36 Request data 37 Request to backend server 38 Response from backend server 39 Backend server 100 Client 111 Client application 120 GW server 121 Data collection unit 123 Request information management DB unit 124 User / field management DB unit 125 Test data creation Unit 130 Back-end server 131 Search unit 132 Search DB unit 140 Client 141 Client load test simulator 142 Test data 601 Request information management DB
602 Specific example of request data 603 Generation target operation first log determination processing 604 User operation table 605 User ID / field management DB
606 User operation table after first log determination processing 801 User operation table 802 User information management DB
803 Information acquired from request data in the user information management DB 804 Load test data generation 805 Data generated by the load test data generation unit

Claims (8)

クライアント・サーバシステムにおいて、
通常運用時に使用されるクライアント端末と、
検索用データベースを備え、受け取ったリクエストに対して前記検索用データベースに格納されているリクエストデータを検索・照合して、正常のリクエストであるか否かを判別するバックエンドサーバと、
前記クライアント端末からのリクエストを受け取り、該リクエストを編集し、前記バックエンドサーバへ編集された前記リクエストを転送し、該バックエンドサーバからのレスポンスを受け取り、該レスポンスを編集して、前記クライアント端末へ該レスポンスを応答し、前記クライアント端末からのリクエストを収集するデータ収集手段、および、前記バックエンドサーバからのレスポンスのリターンコードから正常状態を判定するとともに、正常状態と判定した場合には、リクエストデータを登録し、登録されたリクエストデータから試験データを作成する試験データ作成手段を備えたゲートウェイサーバと
を設けることを特徴とした負荷試験システム。
In a client / server system,
A client terminal used during normal operation;
A back-end server that includes a search database and that searches and collates the request data stored in the search database with respect to the received request to determine whether the request is a normal request;
Receives a request from the client terminal, edits the request, forwards the edited request to the backend server, receives a response from the backend server, edits the response, and sends it to the client terminal A data collection unit that responds to the response and collects a request from the client terminal, and determines a normal state from a return code of a response from the backend server. And a gateway server provided with a test data creation means for creating test data from the registered request data.
請求項1に記載の負荷試験システムにおいて、
前記試験データ作成手段は、前記バックエンドサーバからのレスポンスが正常と判断した場合に、収集したリクエスト情報から、負荷試験用のリクエスト情報を作成し、予め定義されたクライアント端末と分類の組み合わせを利用することにより、分類毎の傾向を分析し、通常運用と近いデータでの負荷試験を実施するための負荷試験データを作成することを特徴とする負荷試験システム。
The load test system according to claim 1,
The test data creation means creates a load test request information from the collected request information when the response from the back-end server is determined to be normal, and uses a predefined client terminal and classification combination A load test system that analyzes trends for each category and creates load test data for performing load tests with data close to normal operation.
負荷試験データを作成するためのデータ収集・編集処理方法において、
ゲートウェイサーバは、クライアント端末より送られたリクエストからデータを読み込み、リクエストデータを編集し、バックエンドサーバへ転送し、該バックエンドサーバからレスポンスを受取ると、該バックエンドサーバからのリターンードを判定し、リクエストデータを登録するため、該レスポンスのリターンコードを判定した時の時刻を要求情報管理DBのタイムスタンプへ、クライアントリクエストのユーザ名の内容を該要求情報管理DBのユーザIDへ、該クライアントリクエストのnsタグの内容を該要求情報管理DBのサービスへ、該クライアントリクエストの内容を該要求情報管理DBのリクエストデータへ、それぞれ格納し、該バックエンドサーバからのレスポンスを編集し、該クライアント端末へ応答することを特徴とする負荷試験データ作成方法。
In the data collection / edit processing method for creating load test data,
The gateway server reads the data from the request sent from the client terminal, edits the request data, transfers it to the backend server, receives a response from the backend server, determines the return from the backend server, To register the request data, the time when the return code of the response is determined is the time stamp of the request information management DB, the content of the user name of the client request is the user ID of the request information management DB, and the client request The contents of the ns tag are stored in the service of the request information management DB, the contents of the client request are stored in the request data of the request information management DB, the response from the backend server is edited, and the response to the client terminal Features to do Load test data generation method for.
負荷試験データを作成するための生成対象操作先頭ログ決定処理方法において、
ゲートウェイサーバは、要求情報管理DBからユーザIDとタイムスタンプを抽出し、抽出したデータについて、ユーザIDで重複排除を行い、ユーザ操作テーブルを作成し、該ユーザ操作テーブルのユーザIDでユーザID・分野管理DBのユーザIDを検索し、分野を取得し該てユーザ操作テーブルの分野を更新し、該ユーザ操作テーブルを母体として、該ユーザ操作テーブルの分野毎の割合を取得し、上記負荷試験データ作成処理時のパラメータとして指定した抽出ユーザ数を母体として、前記取得した分野毎の割合から、分野毎の抽出ユーザ操作数を決定し、ユーザ操作テーブルから先に決定したユーザ操作数分のユーザ操作を抽出することを特徴とする負荷試験データ作成方法。
In the generation target operation first log determination processing method for creating load test data,
The gateway server extracts the user ID and time stamp from the request information management DB, deduplicates the extracted data with the user ID, creates a user operation table, and uses the user ID / field of the user operation table with the user ID Search the user ID of the management DB, acquire the field, update the field of the user operation table, acquire the ratio for each field of the user operation table using the user operation table as a base, and create the load test data Based on the number of extracted users specified as a parameter at the time of processing, the number of extracted user operations for each field is determined from the ratio for each acquired field, and user operations corresponding to the number of user operations previously determined from the user operation table are performed. A load test data creation method characterized by extracting.
負荷試験データ作成方法において、
ゲートウェイサーバは、ユーザ操作テーブルを読込み、該ユーザ操作テーブルのタイムスタンプおよびユーザIDにて、ユーザ情報管理DBのタイムスタンプおよびユーザIDを検索し、負荷試験データを作成し、読込んだレコードのタイムスタンプが上記負荷試験データ作成処理時のパラメータとして指定した時間範囲内か否かの判定を行い、範囲外であれば、元に戻り、範囲内であれば、次に、読込んだレコードのユーザIDが該ユーザ操作テーブルから読込んだユーザIDと一致するか否かを比較し、同一の場合は次に進み、異なる場合は、元に戻り、次に、負荷試験データを作成することを特徴とする負荷試験データ生成方法。
In the load test data creation method,
The gateway server reads the user operation table, searches the time stamp and user ID of the user information management DB with the time stamp and user ID of the user operation table, creates load test data, and reads the time of the read record It is determined whether or not the stamp is within the time range specified as the parameter at the time of load test data creation processing. If it is out of the range, it returns to the original state. Compare whether or not the ID matches the user ID read from the user operation table. If the ID is the same, proceed to the next step. If the ID is different, return to the original state and then create load test data. Load test data generation method.
負荷試験データを作成するためのデータ収集・編集処理用プログラムであって、
ゲートウェイサーバ内のコンピュータに、クライアント端末より送られたリクエストからデータを読み込む手順、リクエストデータを編集する手順、バックエンドサーバへ転送する手順、該バックエンドサーバからレスポンスを受取る手順、該バックエンドサーバからのリターンコードを判定する手順、リクエストデータを登録する手順、該バックエンドサーバからのレスポンスを編集する手順、クライアント端末へ応答する手順、をそれぞれ実行させるためのデータ・編集処理用プログラム。
A data collection / editing program for creating load test data,
A procedure for reading data from a request sent from a client terminal to a computer in a gateway server, a procedure for editing request data, a procedure for transferring to a back-end server, a procedure for receiving a response from the back-end server, from the back-end server A program for data / editing processing for executing a procedure for determining a return code, a procedure for registering request data, a procedure for editing a response from the back-end server, and a procedure for responding to a client terminal.
負荷試験データを作成するための生成対象操作先頭ログ決定処理用プログラムであって、
ゲートウェイサーバ内のコンピュータに、ユーザIDとタイムスタンプを抽出する手順、抽出したデータについて、ユーザIDで重複排除を行う手順、ユーザ操作テーブルを作成する手順、該ユーザ操作テーブルのユーザIDでユーザID・分野管理DBのユーザIDを検索する手順、分野を取得して該ユーザ操作テーブルの分野を更新する手順、該ユーザ操作テーブルを母体として、該ユーザ操作テーブルの分野毎の割合を取得する手順、上記負荷試験データ作成処理時のパラメータとして指定した抽出ユーザ数を母体として、取得した分野毎の割合から、分野毎の抽出ユーザ操作数を決定する手順、該ユーザ操作テーブルから先に決定したユーザ操作数分のユーザ操作を抽出する手順を、それぞれ実行するための生成対象操作先頭ログ決定処理用プログラム。
A generation target operation log determination program for creating load test data,
A procedure for extracting a user ID and a time stamp to a computer in the gateway server, a procedure for performing deduplication with the user ID for the extracted data, a procedure for creating a user operation table, and a user ID / user ID with a user ID in the user operation table A procedure for searching for a user ID in the field management DB, a procedure for acquiring a field and updating the field of the user operation table, a procedure for acquiring a ratio for each field of the user operation table using the user operation table as a base, Procedure for determining the number of extracted user operations for each field from the ratio for each acquired field, based on the number of extracted users specified as a parameter at the time of load test data creation processing, the number of user operations previously determined from the user operation table Generation target operation start log decision to execute the procedure for extracting user operations for each minute Processing program.
負荷試験データ作成用プログラムであって、
ゲートウェイサーバ内のコンピュータに、ユーザ操作テーブルを読込む手順、該ユーザ操作テーブルのタイムスタンプおよびユーザIDにてユーザ情報管理DBのタイムスタンプおよびユーザIDを検索する手順、負荷試験データを作成する手順、読込んだレコードのタイムスタンプが上記負荷試験データ作成処理時のパラメータとして指定した時間範囲内か否かの判定を行う手順、範囲外であれば、ループ先頭に戻る手順、範囲内であれば、次に進む手順、読込んだレコードのユーザIDが該ユーザ操作テーブルから読込んだユーザIDと一致するか否かを比較する手順、同一の場合、後読ステップへ進む手順、異なる場合、元へ戻る手順、負荷試験データは、ユーザ情報管理DBのリクエストデータから取得した情報を出力する手順、要求情報管理DBから取得したサービスが“Logoff”か否かの判定を行う手順、一致する場合には、ループ先頭に戻り、一致しない場合には、元へ戻る手順を、それぞれ実行するための負荷試験データ作成用プログラム。
A program for creating load test data,
A procedure for reading the user operation table into the computer in the gateway server, a procedure for searching the time stamp and user ID in the user information management DB with the time stamp and user ID of the user operation table, a procedure for creating load test data, Procedure to determine whether the time stamp of the read record is within the time range specified as a parameter during the load test data creation process, if it is out of range, return to the top of the loop, if within the range, Next procedure, procedure for comparing whether or not the user ID of the read record matches the user ID read from the user operation table, if it is the same, proceed to the post-reading step, if different, return to the original The procedure for returning and the load test data are the procedure for outputting the information acquired from the request data in the user information management DB. A load test for executing a procedure for determining whether or not the service acquired from the information management DB is “Logoff”, if it matches, returning to the top of the loop; if not, returning to the original procedure Data creation program.
JP2007187787A 2007-07-19 2007-07-19 Load test system, load test data creation method, and program thereof Expired - Fee Related JP4627539B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007187787A JP4627539B2 (en) 2007-07-19 2007-07-19 Load test system, load test data creation method, and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007187787A JP4627539B2 (en) 2007-07-19 2007-07-19 Load test system, load test data creation method, and program thereof

Publications (2)

Publication Number Publication Date
JP2009026020A true JP2009026020A (en) 2009-02-05
JP4627539B2 JP4627539B2 (en) 2011-02-09

Family

ID=40397778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007187787A Expired - Fee Related JP4627539B2 (en) 2007-07-19 2007-07-19 Load test system, load test data creation method, and program thereof

Country Status (1)

Country Link
JP (1) JP4627539B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012048668A (en) * 2010-08-30 2012-03-08 Nifty Corp Management method and management device of load test for web system
JP2012048670A (en) * 2010-08-30 2012-03-08 Nifty Corp Management method and management device of load test for web system
JP2012048669A (en) * 2010-08-30 2012-03-08 Nifty Corp Management method and management device of load test for web system
JP2012123789A (en) * 2010-12-06 2012-06-28 Internatl Business Mach Corp <Ibm> Parallel work load simulation for application performance test
JP2012133414A (en) * 2010-12-17 2012-07-12 Fujitsu Ltd Testing device, testing method and testing program
JP2012190235A (en) * 2011-03-10 2012-10-04 Mitsubishi Electric Corp Information system verification device and information system verification method and program
CN113094290A (en) * 2021-05-21 2021-07-09 珠海金山网络游戏科技有限公司 Program test system and method
CN113300874A (en) * 2021-02-09 2021-08-24 阿里巴巴集团控股有限公司 Network performance detection system and method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6278633A (en) * 1985-10-02 1987-04-10 Hitachi Electronics Eng Co Ltd Load testing method
JP2004318454A (en) * 2003-04-16 2004-11-11 Hitachi Ltd Method and device for measuring critical performance of www system
JP2004348491A (en) * 2003-05-23 2004-12-09 Internatl Business Mach Corp <Ibm> Device, method, and program for adjusting request load, and method for collecting performance data
JP2005284418A (en) * 2004-03-26 2005-10-13 Fujitsu Ltd Terminal emulation program, recording medium, load testing method, load testing device
JP2006514345A (en) * 2002-06-28 2006-04-27 テスト アドバンテージ, インコーポレイテッド Method and apparatus for extending test processing
JP2006120130A (en) * 2004-09-21 2006-05-11 Software Partner:Kk System and method for managing access log

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6278633A (en) * 1985-10-02 1987-04-10 Hitachi Electronics Eng Co Ltd Load testing method
JP2006514345A (en) * 2002-06-28 2006-04-27 テスト アドバンテージ, インコーポレイテッド Method and apparatus for extending test processing
JP2004318454A (en) * 2003-04-16 2004-11-11 Hitachi Ltd Method and device for measuring critical performance of www system
JP2004348491A (en) * 2003-05-23 2004-12-09 Internatl Business Mach Corp <Ibm> Device, method, and program for adjusting request load, and method for collecting performance data
JP2005284418A (en) * 2004-03-26 2005-10-13 Fujitsu Ltd Terminal emulation program, recording medium, load testing method, load testing device
JP2006120130A (en) * 2004-09-21 2006-05-11 Software Partner:Kk System and method for managing access log

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012048668A (en) * 2010-08-30 2012-03-08 Nifty Corp Management method and management device of load test for web system
JP2012048670A (en) * 2010-08-30 2012-03-08 Nifty Corp Management method and management device of load test for web system
JP2012048669A (en) * 2010-08-30 2012-03-08 Nifty Corp Management method and management device of load test for web system
JP2012123789A (en) * 2010-12-06 2012-06-28 Internatl Business Mach Corp <Ibm> Parallel work load simulation for application performance test
US9823991B2 (en) 2010-12-06 2017-11-21 International Business Machines Corporation Concurrent workload simulation for application performance testing
JP2012133414A (en) * 2010-12-17 2012-07-12 Fujitsu Ltd Testing device, testing method and testing program
JP2012190235A (en) * 2011-03-10 2012-10-04 Mitsubishi Electric Corp Information system verification device and information system verification method and program
CN113300874A (en) * 2021-02-09 2021-08-24 阿里巴巴集团控股有限公司 Network performance detection system and method
CN113300874B (en) * 2021-02-09 2024-04-19 阿里巴巴集团控股有限公司 Network performance detection system and method
CN113094290A (en) * 2021-05-21 2021-07-09 珠海金山网络游戏科技有限公司 Program test system and method
CN113094290B (en) * 2021-05-21 2024-02-23 珠海金山数字网络科技有限公司 Program testing system and method

Also Published As

Publication number Publication date
JP4627539B2 (en) 2011-02-09

Similar Documents

Publication Publication Date Title
JP4627539B2 (en) Load test system, load test data creation method, and program thereof
CN111522922B (en) Log information query method and device, storage medium and computer equipment
CN106021079B (en) It is a kind of based on the Web application performance test methods for being frequently visited by the user series model
RU2756482C2 (en) Optimized browser playback process
CN112491602B (en) Behavior data monitoring method and device, computer equipment and medium
CN102067106A (en) Data quality tracking by determining metric values for child nodes and a parent node
CN110362727A (en) Third party for search system searches for application
US8682935B2 (en) System and method for application navigation
CN111125068A (en) Metadata management method and system
Bayir et al. Smart miner: a new framework for mining large scale web usage data
CN110188291A (en) Document process based on proxy log
CN105868956A (en) Data processing method and device
CN115333966A (en) Nginx log analysis method, system and equipment based on topology
CN110442653A (en) Method, apparatus, server and the storage medium of incremental build CUBE model
CN117539739A (en) User continuous behavior anomaly monitoring method based on double features
CN112540919A (en) Test equipment determination method and device
CN112764794A (en) Open source software information management system and method
US9824140B2 (en) Method of creating classification pattern, apparatus, and recording medium
CN115455059A (en) Method, device and related medium for analyzing user behavior based on underlying data
CN116126808A (en) Behavior log recording method, device, computer equipment and storage medium
CN109684220A (en) A kind of browser compatibility analysis method based on event replay
CN115712569A (en) Method and device for flow playback, electronic equipment and storage medium
JP6588598B1 (en) Data management apparatus and data management method
Gracia-Tinedo et al. BenchBox: A user-driven benchmarking framework for Fat-client storage systems
KR20140047219A (en) Contents providing method and contents server thereof

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101105

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4627539

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees