JP2017021406A - Evaluation result analysis system and evaluation result analysis method - Google Patents
Evaluation result analysis system and evaluation result analysis method Download PDFInfo
- Publication number
- JP2017021406A JP2017021406A JP2015136027A JP2015136027A JP2017021406A JP 2017021406 A JP2017021406 A JP 2017021406A JP 2015136027 A JP2015136027 A JP 2015136027A JP 2015136027 A JP2015136027 A JP 2015136027A JP 2017021406 A JP2017021406 A JP 2017021406A
- Authority
- JP
- Japan
- Prior art keywords
- evaluation result
- data
- result data
- format
- types
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
Description
本発明は、評価結果解析システム、及び評価結果解析方法に関し、例えば、ソフトウェア制御の動作テストにおける評価結果解析技術に関するものである。 The present invention relates to an evaluation result analysis system and an evaluation result analysis method, and, for example, relates to an evaluation result analysis technique in a software control operation test.
開発中の装置の動作確認をする際には、例えばシミュレータを用いたり、実機を用いたりしている。ところが、動作確認の結果は、シミュレータの種類や実機等によってテスト環境が異なり、出力データ形式が異なっている。このため、従来においては、動作確認結果のデータを評価する装置には機能や操作方法の異なる専用装置を使用していた。 When checking the operation of the device under development, for example, a simulator or a real machine is used. However, the result of the operation check is that the test environment differs depending on the type of simulator, the actual machine, etc., and the output data format differs. For this reason, conventionally, dedicated devices with different functions and operation methods have been used as devices for evaluating the data of the operation check results.
この点、例えば特許文献1には、出力すべきデータの選択、及び選択されたデータの出力形式についてのユーザの指示を受け付けると共に、その指示に従って、シミュレータ等のテストシステムから得られるデータの一部を選択し、所定の出力形式で出力する出力データ制御装置が開示されている。これによれば、テストシステムから得られるデータの選択、及び選択されたデータの出力形式をユーザが容易に設定することができるようになる。従って、出力データ形式が異なる複数の動作確認結果のデータ形式を揃えることが可能となる。
In this regard, for example,
特許文献1によれば、確かに出力データの形式を共通化することは可能である。しかしながら、特許文献1では、データ形式を共通化するだけであり、異なるテスト環境で測定した結果を比較することについては全く考慮されていない。これでは、動作確認結果を有効に評価することはできない。
According to
本発明はこのような状況に鑑みてなされたものであり、テスト環境が異なる複数の動作確認結果を比較評価できるようにするための技術を提供するものである。 The present invention has been made in view of such circumstances, and provides a technique for enabling comparative evaluation of a plurality of operation confirmation results in different test environments.
上記課題を解決するために、本発明による評価結果解析システムは、複数種類の評価結果データの形式を共通のデータ形式に変換する機能と、共通のデータ形式に変換された複数種類の評価結果データを比較する機能と、比較処理の結果を出力する機能と、を備えている。 In order to solve the above problems, an evaluation result analysis system according to the present invention includes a function for converting a plurality of types of evaluation result data into a common data format, and a plurality of types of evaluation result data converted into a common data format. And a function of outputting the result of the comparison process.
本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本発明の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。 Further features related to the present invention will become apparent from the description of the present specification and the accompanying drawings. The aspects of the present invention can be achieved and realized by elements and combinations of various elements and the following detailed description and appended claims.
本明細書の記述は典型的な例示に過ぎず、本発明の特許請求の範囲又は適用例をいかなる意味においても限定するものではない。 The descriptions in this specification are merely exemplary, and are not intended to limit the scope of the claims or the application of the invention in any way.
本発明によれば、異なるテスト環境からの、複数種類の動作確認結果(評価結果データ)を比較評価できるようになる。従って、例えばシミュレータによる動作確認結果と実機を使った動作確認結果とを比較することができるようになる。 According to the present invention, a plurality of types of operation confirmation results (evaluation result data) from different test environments can be compared and evaluated. Therefore, for example, it becomes possible to compare an operation confirmation result by a simulator and an operation confirmation result using an actual machine.
本発明は、同一評価項目について、複数種類の評価結果を比較することを可能とする技術を提供するものである。例えば、開発上流工程におけるシミュレータによる動作確認結果と、実機を使った動作確認結果との比較が可能となる技術を提供する。その他、異なるシミュレータによる複数種類の動作確認結果(評価結果データ)を比較することも可能である。 The present invention provides a technique that enables a plurality of types of evaluation results to be compared for the same evaluation item. For example, the present invention provides a technique that enables comparison between an operation confirmation result by a simulator in an upstream development process and an operation confirmation result using an actual machine. In addition, a plurality of types of operation confirmation results (evaluation result data) by different simulators can be compared.
以下、添付図面を参照して本発明の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In the accompanying drawings, functionally identical elements may be denoted by the same numbers. The attached drawings show specific embodiments and implementation examples based on the principle of the present invention, but these are for understanding the present invention and are not intended to limit the present invention. Not used.
本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。 This embodiment has been described in sufficient detail for those skilled in the art to practice the present invention, but other implementations and configurations are possible without departing from the scope and spirit of the technical idea of the present invention. It is necessary to understand that the configuration and structure can be changed and various elements can be replaced. Therefore, the following description should not be interpreted as being limited to this.
更に、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。 Furthermore, as will be described later, the embodiment of the present invention may be implemented by software running on a general-purpose computer, or may be implemented by dedicated hardware or a combination of software and hardware.
以下ではプログラムとしての各処理部(入力処理部、操作処理部、解析部、及び表示処理部)を主語(動作主体)として本発明の実施形態における各処理について説明を行うが、プログラムはプロセッサ(CPU)によって実行されることで定められた処理をメモリ及び通信ポート(通信制御装置)を用いながら行うため、プロセッサを主語とした説明としてもよい。また、プログラムを主語として開示された処理は管理サーバ等の計算機、情報処理装置が行う処理としてもよい。プログラムの一部または全ては専用ハードウェアで実現してもよく、また、モジュール化されていても良い。各種プログラムはプログラム配布サーバや記憶メディアによって各計算機にインストールされてもよい。 In the following, each processing unit (input processing unit, operation processing unit, analysis unit, and display processing unit) as a program will be described with each processing in the embodiment of the present invention as a subject (operation subject). Since the processing determined by being executed by the CPU is performed using the memory and the communication port (communication control device), the description may be made with the processor as the subject. Further, the processing disclosed with the program as the subject may be processing performed by a computer such as a management server or an information processing apparatus. Part or all of the program may be realized by dedicated hardware, or may be modularized. Various programs may be installed in each computer by a program distribution server or a storage medium.
<評価結果解析システムの構成>
図1は、本発明の実施形態による評価結果解析システム100の概略構成を示す図である。評価結果解析システム100は、異なるテスト環境下での複数の動作確認結果データ(評価結果データとも呼ぶこともある)を比較解析し、解析結果を出力するものである。
<Configuration of evaluation result analysis system>
FIG. 1 is a diagram showing a schematic configuration of an evaluation
評価結果解析システム100は、データを入力するための入力デバイス101と、各種
プログラムや情報を格納するメモリ102と、メモリ102から各種プログラムや情報を読み込み、当該プログラムを実行するCPU(プロセッサ)103と、処理結果を出力するための出力デバイス104と、処理結果を蓄積記憶するための記憶装置105と、を備えている。
The evaluation
入力デバイス101は、例えば、キーボード、マウス、タッチパネル、USBメモリやメモリカード等の携帯型メモリからデータを読み取る読取装置等が該当する。また、入力デバイス101は、ネットワークを介してデータを受信する通信装置であっても良い。
The
メモリ102は、それぞれプログラムとしての、入力された評価結果データ(出力データ)に対して入力処理(詳細は後述)を実行する入力処理部(入力処理プログラム)1021と、ユーザにGUIを提供するための処理を実行する操作処理部(操作処理プログラム)1022と、2つの評価結果データを比較演算する解析部(解析プログラム)1023と、比較結果等を表示画面に表示するための処理を実行する表示処理部(表示処理プログラム)1024と、を格納する。また、メモリ102は、各ツール(テスト環境)によって出力されるデータのファイルフォーマット情報(例えば、時間軸ラベルの解像度、信号ラベルの項目、及びその項目の並び順の情報等)を格納している。
The
出力デバイス104は、例えば、ディスプレイやプリンタ等が該当する。
The
記憶装置105は、例えば、HDD(ハードディスクドライブ)等が該当する。図1では、記憶装置105はシステム内部に設けられているが、ネットワークを介して評価結果解析システム100とは遠隔的に設置されていても良い。
The
評価結果解析システム100には、例えば、テスト環境Aによる動作確認結果である出力データ(評価結果データ)A_10と、テスト環境Aとは異なるテスト環境Bによる動作確認結果である出力データ(評価結果データ)B_20と、が入力される。出力データA_10と出力データB_20に関しては、データ形式は同一でも異なっていても良い。また、図1では入力される出力データは2つ(2種類)となっているが、3つ(3種類)以上であっても良い。出力データの形式としては、例えば、RAMScope(登録商標)フォーマット(拡張子:csv)、HEW Simulatorフォーマット(拡張子:txt)、CalDeskフォーマット(拡張子:csv)、INCAフォーマット(拡張子:dxl)、CANoeフォーマット(拡張子:asc)、vHILSフォーマット(拡張子:csv)等が挙げられるがこれに限定されるものではない。
The evaluation
<処理内容の詳細>
図2は、本発明の実施形態による評価結果解析システムにおける処理内容の詳細を説明するためのフローチャート例である。以下では、入力される解析対象の評価結果データ(動作確認結果)は2つ(2種類)として処理内容を説明するが、評価結果データが3つ(3種類)以上であっても同様である。
<Details of processing contents>
FIG. 2 is a flowchart for explaining details of processing contents in the evaluation result analysis system according to the embodiment of the present invention. Hereinafter, the processing contents will be described assuming that the input evaluation result data (operation check result) is two (two types), but the same applies to the case where there are three (three types) or more evaluation result data. .
(i)ステップ101
ユーザによって2種類の評価結果データ(動作確認結果)が出力データA_10及びB_20としてそれぞれ入力されると、入力処理部1021はこれらの評価結果データを受け取る。評価結果データの入力は、例えば、ユーザが携帯型メモリを評価結果解析システム100にセットし、当該携帯型メモリに格納されている出力データに対応するファイルを読み込み、ユーザが指定することによって実行されるようにしても良い。
(I)
When the user inputs two types of evaluation result data (operation check results) as output data A_10 and B_20, the
図3は、出力データ(解析対象の評価結果データ)の例を示している。図3Aが出力データA_10の例であり、図3Bが出力データB_20の例である。出力データは、シミュレータによる評価結果データ(動作確認結果)であっても良いし、実機による評価結果データ(動作確認結果)であっても良い。このように、ステップ101では、入力処理部1021は、ファイルフォーマットが異なる複数種類の出力データ(評価結果データ)を取得する。
FIG. 3 shows an example of output data (evaluation result data to be analyzed). 3A is an example of output data A_10, and FIG. 3B is an example of output data B_20. The output data may be evaluation result data (operation confirmation result) by a simulator, or evaluation result data (operation confirmation result) by an actual machine. As described above, in
(ii)ステップ102
入力処理部1021は、ステップ101で取得した出力データのデータ形式を解釈する。具体的には、入力処理部1021は、例えば、入力された出力データのヘッダ情報に含まれるツール名をチェックし、当該ツール名をキー情報としてメモリ102に保持しているファイルフォーマット情報を取得することにより、それぞれの出力データ(評価結果データ)の形式を解釈する。従って、ステップ102では、入力処理部1021は、各出力データの、時間解像度(どの程度の時間間隔で信号値が測定されているかを示す情報)、信号ラベルの項目及び項目の並び順がどのようになっているかについて認識する。
(Ii)
The
(iii)ステップ103
入力処理部1021は、データの名称(項目の名称)、データ値(信号値)、データ変化点の時間等の並べ替えやデータ補間や間引きをすることにより、出力データA_10及びB_20のデータ形式を共通化する。信号ラベルの並び方が異なる場合には出力データA_10の形式、出力データB_20の形式、或いは全データ共通の形式(出力データA及びBの形式とは別の形式)の何れに統一しても良い。例えば、2つの出力データA_10及びB_20間で時間解像度が異なる場合には、解像度が低い方の出力データ(例えば、図3A参照)の信号値を補間したり、解像度が高い方の出力データ(例えば、図3B参照)の信号値を間引いたりして時間スケールを共通化する。また、信号ラベルの並び順が出力データA_10及びB_20において異なる場合、データ(項目)を並び替えてデータの並び順を同一にする。そして、入力処理部1021は、それぞれ共通のデータ形式に変換したデータを解析部1023に提供する。
(Iii)
The
(iv)ステップ104
解析部1023は、取得した、形式が共通化された出力データA_10及びB_20のグラフを生成し、表示処理部1024と協働して表示装置の表示画面上に描画する(図4の401及び402参照)。また、解析部1023は、それぞれの出力データに対して描画すべきグラフが複数ある場合には、操作処理部1022を用いて、選択ボタン403及び404を生成し、表示画面上にUIとして描画する。
(Iv)
The
(v)ステップ105
解析部1023は、描画されたUIを用いてユーザによってなされた比較対象のグラフの選択を受け付ける。図4では、出力データAのグラフ群401及び出力データBのグラフ群402のそれぞれに対してユーザが選択できるようになっているが、グラフ4011とグラフ4021、グラフ4012とグラフ4022、グラフ4013とグラフ4023はそれぞれペア(同一の信号ラベル(項目)に対応するグラフ)であるため、ペアのどちらか一方が選択されると自動的にペアの他方のグラフが選択されるようにしても良い。
(V)
The
(vi)ステップ106
解析部1023は、入力処理部1021によって共通形式に変換された出力データA_10及びB_20と、ユーザによる選択情報から、比較対象となる出力データを識別する。また、解析部1023は、比較対象となる出力データを比較演算することにより両者の相違点を検出する。そして、表示処理部1024は、検出された相違点を表示画面上に表示する。これにより、ユーザは評価結果の比較情報を得ることができる。当該比較演算により出力データA及びBにおいてどこが相違するかを検出することができるため、表示処理部1024は、相違点のみを表示画面上に表示するようにしても良い。
(Vi) Step 106
The
図5は、評価結果の比較情報の表示形態例を示す図である。図5Aは、比較対象を並列表示する例である。図5Bは、比較対象の差分を表示する例である。並列表示では、出力データAのグラフと出力データBのグラフとを上下に対比表示し、ユーザが両者の違いを確認できるようにする(図5A参照)。また、解析部1023が実行する比較演算では、出力データA及びBの差分を取るようにしても良い。この場合には、出力データA及びBを重ね合わせ、差分が生じる部分(不一致箇所)を強調表示するようにしても良い(図5B参照)。
FIG. 5 is a diagram illustrating a display form example of comparison information of evaluation results. FIG. 5A is an example in which comparison targets are displayed in parallel. FIG. 5B is an example in which a difference to be compared is displayed. In the parallel display, the graph of the output data A and the graph of the output data B are displayed in a vertical contrast so that the user can confirm the difference between them (see FIG. 5A). Further, in the comparison operation executed by the
そして、解析部1023は、出力データA_10及びB_20であって形式が共通化される前のデータ及び形式が共通化された後のデータと、当該出力データを基に描画されたグラフデータと、を記憶装置105に格納する。
Then, the
<元データジャンプ機能>
図6は、元データジャンプ機能の概要を示す図である。ユーザは、比較グラフ601を画面に表示した状態において元データジャンプ機能を実行することができる。元データジャンプ機能は、比較グラフ上の特定箇所(ユーザによって選択された任意の時間)における各出力データの元データ(各項目の信号値)をフォーマットが共通化されたデータ(例えば、表形式)上で強調表示する機能である。
<Original data jump function>
FIG. 6 is a diagram showing an outline of the original data jump function. The user can execute the original data jump function in a state where the
ユーザが元データジャンプ機能を起動すると、比較グラフ601上にカーソル点線602が出力データA及びBに亘って縦方向に表示される。ユーザがカーソルを横軸(時間軸)方向に移動させると、カーソルの移動に対応してカーソル点線602も横軸方向を移動する。
When the user activates the original data jump function, a cursor dotted line 602 is displayed in the vertical direction over the output data A and B on the
また、元データジャンプ機能を起動させると、出力データA及びBに対応する元データ(表データ)603及び604が表示画面上に表示される。そして、カーソル点線602が位置する横軸値(時間値)に対応する元データが強調表示される。このような元データジャンプ機能を設けることにより、ユーザは、グラフによって視覚的に出力データを比較することができるだけでなく、数値を基に出力データを比較することができるようになる。 When the original data jump function is activated, original data (table data) 603 and 604 corresponding to the output data A and B are displayed on the display screen. Then, the original data corresponding to the horizontal axis value (time value) where the cursor dotted line 602 is located is highlighted. By providing such an original data jump function, the user can not only visually compare output data using a graph but also compare output data based on numerical values.
<蓄積データ比較機能>
本発明の実施形態では、上述したように、現に入力される複数の評価結果データ(動作確認結果)を比較する処理が実行されるが、これに限られない。これに加えてさらに、例えば、過去に解析したことがある評価結果データ(記憶装置105に蓄積された評価結果データ)同士を比較する処理、及び過去に解析したことのある評価結果データと新たに入力する評価結果データとを比較する処理を実行するようにしても良い。
<Stored data comparison function>
In the embodiment of the present invention, as described above, the process of comparing a plurality of evaluation result data (operation confirmation results) that are actually input is executed, but the present invention is not limited to this. In addition to this, for example, a process for comparing evaluation result data (evaluation result data accumulated in the storage device 105) that have been analyzed in the past, and evaluation result data that has been analyzed in the past, and new You may make it perform the process which compares with the evaluation result data input.
図7は、このような蓄積データ(過去データ)比較機能による処理内容を説明するためのフローチャート例である。 FIG. 7 is an example of a flowchart for explaining the processing content by such a stored data (past data) comparison function.
(i)ステップ201
ユーザの指示に従って蓄積データ比較機能が起動されると、入力処理部1021は、ユーザの指示が記憶装置105に記憶されているデータ同士の比較であるか、或いは蓄積データと新たに入力されるデータとの比較であるか判断する。蓄積データ同士の比較である場合、処理はステップ202に移行する。一方、蓄積データと新たな入力データとの比較である場合、処理はステップ203に移行する。
(I) Step 201
When the stored data comparison function is activated in accordance with a user instruction, the
(ii)ステップ202
入力処理部1021は、ユーザの指示に従い、比較対象の評価結果データを記憶装置105から取得する。データ取得後、処理はステップ206に移行する。なお、取得される評価結果データの形式は同一であっても良いし、異なっていても良い。ここでは異なっているものとして説明する。また、比較対象のデータは3つ(3種類)以上あっても良い。
(Ii)
The
(iii)ステップ203
入力処理部1021は、ユーザが入力する評価結果データ(あるテスト環境下での出力データ)を取得する。取得方法は、図2のステップ101で説明した通りである。なお、入力される評価結果データは1つ(1種類)以上であればよい。
(Iii) Step 203
The
(iv)ステップ204
入力処理部1021は、ステップ201で取得した出力データのデータ形式を解釈する。データ形式の解釈の具体的内容は、図2のステップ102で説明した通りである。
(Iv)
The
(v)ステップ205
入力処理部1021は、ユーザの指示に従い、比較対象の他方の評価結果データを記憶装置105から取得する。このとき、入力処理部1021は、記憶装置105から取得した評価結果データの形式も同時に解釈する。
(V) Step 205
The
(vi)ステップ206
入力処理部1021は、取得した評価結果データの形式を共通化する。データ形式の共通化の具体的内容は、図2のステップ103で説明した通りである。
(Vi)
The
(vii)ステップ207
解析部1023は、形式を共通化したデータのグラフを生成し、表示処理部1024と協働して表示装置の表示画面上に描画する。
(Vii) Step 207
The
(viii)ステップ208
解析部1023は、比較対象となる評価結果データを比較演算することにより両者の相違点を検出する。そして、表示処理部1024は、検出された相違点を表示画面上に表示する。比較の形態は、図5で示した通りである。また、蓄積データ比較機能による比較結果に対しても元データジャンプ機能(図6)を適用することは可能である。
(Viii) Step 208
The
当該蓄積データ比較機能は、例えば、ツール(テスト環境)のプログラムの一部を変更した場合に用いることができる。つまり、記憶装置105に蓄積されたプログラム変更前のツールによる評価結果データ(出力データA)と、プログラム変更後のツールによる評価結果データ(出力データA’)とを比較することにより、プログラム変更による影響を確認できるようになる。
The stored data comparison function can be used, for example, when a part of a tool (test environment) program is changed. That is, by comparing the evaluation result data (output data A) by the tool before the program change stored in the
<まとめ>
(i)本発明の実施形態による評価結果解析システムは、複数種類の評価結果データ(出力データA及びB)の形式を共通のデータ形式に変換し、共通のデータ形式に変換された複数種類の評価結果データを比較し、出力する。この際、共通のデータ形式に変換された複数種類の評価結果データをグラフに描画する処理を実行する。このようにすることにより、各ツール(テスト環境)の動作確認結果を有効に比較することができるようになる。
<Summary>
(I) The evaluation result analysis system according to the embodiment of the present invention converts a plurality of types of evaluation result data (output data A and B) into a common data format, and converts the plurality of types of conversion into the common data format. Compare and output the evaluation result data. At this time, a process of drawing a plurality of types of evaluation result data converted into a common data format on a graph is executed. By doing in this way, the operation check result of each tool (test environment) can be effectively compared.
また、動作確認結果(評価結果データ)のそれぞれは、少なくとも1つの信号項目とそれに対応する信号値の時間変化を情報として有している。複数の信号項目を含む場合には、評価結果解析システムは、複数種類の評価結果データのそれぞれについて、複数の信号項目に対応する信号値の時間的変化のグラフと共に、比較対象とするグラフを選択可能にするための選択表示を描画する。そして、比較対象のグラフの選択に応答して比較する処理を実行する。このようにすることにより、信号項目ごとに動作確認結果を比較することができるので、より詳細に動作確認結果を検証することができるようになる。 Each of the operation confirmation results (evaluation result data) includes at least one signal item and a time change of the corresponding signal value as information. When multiple signal items are included, the evaluation result analysis system selects a graph to be compared for each of multiple types of evaluation result data, along with a graph of signal value temporal changes corresponding to the multiple signal items. Draw a selection display to make it possible. Then, a comparison process is executed in response to selection of the comparison target graph. By doing in this way, since an operation check result can be compared for every signal item, it becomes possible to verify an operation check result in more detail.
さらに、本実施形態では、記憶装置に、入力された複数種類の評価結果データ(例えば、出力データA及びB)、共通のデータ形式に変換された複数の評価結果データ(例えば、データ形式を共通化した出力データA及びB)、及び比較処理の結果(出力データA及びBを並列表示等したグラフデータ)の少なくとも1つを格納しておく。そして、記憶装置から取得した少なくとも1つのデータと、新たに入力された評価結果データとを比較するようにしても良い。例えば、変更前のテスト環境(プログラム変更前のツール)から出力された評価結果データと、変更後のテスト環境(プログラム変更後の同一ツール)から出力された評価結果データとを比較する。これにより、プログラム変更による動作確認結果への影響をチェックすることができるようになる。 Furthermore, in this embodiment, a plurality of types of input evaluation result data (for example, output data A and B) and a plurality of evaluation result data converted into a common data format (for example, a common data format) are stored in the storage device. Output data A and B) and at least one of the results of comparison processing (graph data in which the output data A and B are displayed in parallel, for example) are stored. Then, at least one piece of data acquired from the storage device may be compared with newly inputted evaluation result data. For example, the evaluation result data output from the test environment before the change (tool before the program change) is compared with the evaluation result data output from the test environment after the change (the same tool after the program change). Thereby, it becomes possible to check the influence of the program change on the operation confirmation result.
(ii)本実施形態は、機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD−ROM、DVD−ROM、ハードディスク、光ディスク、光磁気ディスク、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。 (Ii) This embodiment can also be realized by a program code of software that realizes a function. In this case, a storage medium in which the program code is recorded is provided to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus reads the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing the program code constitute the present invention. As a storage medium for supplying such program code, for example, a flexible disk, CD-ROM, DVD-ROM, hard disk, optical disk, magneto-optical disk, CD-R, magnetic tape, nonvolatile memory card, ROM Etc. are used.
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。 Also, based on the instruction of the program code, an OS (operating system) running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing. May be. Further, after the program code read from the storage medium is written in the memory on the computer, the computer CPU or the like performs part or all of the actual processing based on the instruction of the program code. Thus, the functions of the above-described embodiments may be realized.
さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はCD−RW、CD−R等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ(又はCPUやMPU)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。 Further, by distributing the program code of the software that realizes the functions of the embodiment via a network, it is stored in a storage means such as a hard disk or memory of a system or apparatus, or a storage medium such as a CD-RW or CD-R And the computer (or CPU or MPU) of the system or apparatus may read and execute the program code stored in the storage means or the storage medium when used.
最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できることを理解する必要がある。更に、汎用目的の多様なタイプのデバイスがここで記述した教授に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益であることが判るかもしれない。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、C/C++、perl、Shell、PHP、Java(登録商標)等の広範囲のプログラム又はスクリプト言語で実装できる。 Finally, it should be understood that the processes and techniques described herein are not inherently related to any particular apparatus, and can be implemented by any suitable combination of components. In addition, various types of devices for general purpose can be used in accordance with the teachings described herein. It may prove useful to build a dedicated device to perform the method steps described herein. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined. Although the present invention has been described with reference to specific examples, these are in all respects illustrative rather than restrictive. Those skilled in the art will appreciate that there are numerous combinations of hardware, software, and firmware that are suitable for implementing the present invention. For example, the described software can be implemented in a wide range of programs or script languages such as assembler, C / C ++, perl, shell, PHP, Java (registered trademark).
さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。 Furthermore, in the above-described embodiment, control lines and information lines are those that are considered necessary for explanation, and not all control lines and information lines on the product are necessarily shown. All the components may be connected to each other.
10 出力データA
20 出力データB
100 評価結果解析システム
101 入力デバイス
102 メモリ
103 CPU(プロセッサ)
104 出力デバイス
105 記憶装置
1021 入力処理部
1022 操作処理部
1023 解析部
1024 表示処理部
10 Output data A
20 Output data B
100 Evaluation
104
Claims (6)
前記評価結果データを解析するためのプログラムを格納するメモリと、
前記メモリから前記プログラムを読み込み、入力された複数種類の評価結果データに対して解析処理を実行するプロセッサと、を備え、
前記プロセッサは、
前記複数種類の評価結果データの形式を共通のデータ形式に変換する処理と、
共通のデータ形式に変換された前記複数種類の評価結果データを比較する処理と、
前記比較処理の結果を出力する処理と、
を実行する、評価結果解析システム。 An evaluation result analysis system for analyzing evaluation result data output from a test environment,
A memory for storing a program for analyzing the evaluation result data;
A processor that reads the program from the memory and executes an analysis process on a plurality of types of input evaluation result data,
The processor is
A process of converting the format of the plurality of types of evaluation result data into a common data format;
A process of comparing the plurality of types of evaluation result data converted into a common data format;
A process of outputting a result of the comparison process;
An evaluation result analysis system that executes
前記プロセッサは、さらに、前記共通のデータ形式に変換された前記複数種類の評価結果データをグラフに描画する処理を実行し、前記比較する処理において、前記グラフに描画された前記複数種類の評価結果データを比較する、評価結果解析システム。 In claim 1,
The processor further executes a process of drawing the plurality of types of evaluation result data converted into the common data format on a graph, and the plurality of types of evaluation results drawn on the graph in the comparing process Evaluation result analysis system that compares data.
前記評価結果データのそれぞれは、複数の信号項目に対応する信号値の時間的変化を示しており、
前記プロセッサは、前記評価結果データのそれぞれについて、前記複数の信号項目に対応する信号値の時間的変化のグラフと共に、比較対象とするグラフを選択可能にするための選択表示を描画し、比較対象のグラフの選択に応答して前記比較する処理を実行する、評価結果解析システム。 In claim 2,
Each of the evaluation result data indicates temporal changes in signal values corresponding to a plurality of signal items,
For each of the evaluation result data, the processor draws a selection display for enabling selection of a graph to be compared together with a graph of a temporal change in signal values corresponding to the plurality of signal items. An evaluation result analysis system that executes the comparison process in response to selection of a graph.
前記プロセッサは、前記入力された複数種類の評価結果データ、前記共通のデータ形式に変換された前記複数の評価結果データ、及び前記比較処理の結果の少なくとも1つを記憶装置に格納し、
前記プロセッサは、前記記憶装置から取得した少なくとも1つのデータと、新たに入力された評価結果データとを比較する、評価結果解析システム。 In claim 1,
The processor stores at least one of the plurality of input evaluation result data, the plurality of evaluation result data converted into the common data format, and the result of the comparison processing in a storage device,
The processor compares the at least one data acquired from the storage device with the newly input evaluation result data.
前記記憶装置から取得した少なくとも1つのデータは、変更前の前記テスト環境から出力された評価結果データであり、前記新たに入力された評価結果データは、変更後の前記テスト環境から出力された評価結果データであり、前記テスト環境変更前後の評価結果データを比較可能とする、評価結果解析システム。 In claim 4,
At least one data acquired from the storage device is evaluation result data output from the test environment before the change, and the newly input evaluation result data is an evaluation output from the test environment after the change. An evaluation result analysis system, which is result data and enables comparison of evaluation result data before and after the test environment change.
前記評価結果データを解析するためのプログラムを格納するメモリから前記プログラムを読み込み、入力された複数種類の評価結果データに対して解析処理を実行するプロセッサが、前記複数種類の評価結果データの形式を共通のデータ形式に変換する処理を実行するステップと、
前記プロセッサが、共通のデータ形式に変換された前記複数種類の評価結果データを比較する処理を実行するステップと、
前記プロセッサが、前記比較処理の結果を表示画面上に表示する処理を実行するステップと、
を含む、評価結果解析方法。 An evaluation result analysis method for analyzing evaluation result data output from a test environment,
A processor that reads the program from a memory that stores a program for analyzing the evaluation result data and executes analysis processing on the plurality of types of input evaluation result data. Performing a process of converting to a common data format;
The processor executing a process of comparing the plurality of types of evaluation result data converted into a common data format;
The processor executing a process of displaying a result of the comparison process on a display screen;
Evaluation result analysis method including
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015136027A JP6430903B2 (en) | 2015-07-07 | 2015-07-07 | Evaluation result analysis system and evaluation result analysis method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015136027A JP6430903B2 (en) | 2015-07-07 | 2015-07-07 | Evaluation result analysis system and evaluation result analysis method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017021406A true JP2017021406A (en) | 2017-01-26 |
JP2017021406A5 JP2017021406A5 (en) | 2017-09-28 |
JP6430903B2 JP6430903B2 (en) | 2018-11-28 |
Family
ID=57888169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015136027A Active JP6430903B2 (en) | 2015-07-07 | 2015-07-07 | Evaluation result analysis system and evaluation result analysis method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6430903B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109324963A (en) * | 2018-08-22 | 2019-02-12 | 中国平安人寿保险股份有限公司 | The method and terminal device of automatic test profitable result |
US11232018B1 (en) | 2020-08-28 | 2022-01-25 | Coupang Corp. | Experiment platform engine |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11259288A (en) * | 1998-03-10 | 1999-09-24 | Nec Corp | Degrade check device |
JP2001101028A (en) * | 1999-09-30 | 2001-04-13 | Hitachi Ltd | Device and method for supportig parallel program development, and storage medium recording the method |
-
2015
- 2015-07-07 JP JP2015136027A patent/JP6430903B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11259288A (en) * | 1998-03-10 | 1999-09-24 | Nec Corp | Degrade check device |
JP2001101028A (en) * | 1999-09-30 | 2001-04-13 | Hitachi Ltd | Device and method for supportig parallel program development, and storage medium recording the method |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109324963A (en) * | 2018-08-22 | 2019-02-12 | 中国平安人寿保险股份有限公司 | The method and terminal device of automatic test profitable result |
CN109324963B (en) * | 2018-08-22 | 2024-03-15 | 中国平安人寿保险股份有限公司 | Method for automatically testing profit result and terminal equipment |
US11232018B1 (en) | 2020-08-28 | 2022-01-25 | Coupang Corp. | Experiment platform engine |
KR102359352B1 (en) * | 2020-08-28 | 2022-02-08 | 쿠팡 주식회사 | Experiment platform engine |
US11797423B2 (en) | 2020-08-28 | 2023-10-24 | Coupang Corp. | Experiment platform engine |
Also Published As
Publication number | Publication date |
---|---|
JP6430903B2 (en) | 2018-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9075918B1 (en) | System and method for creating change-resilient scripts | |
US10061552B2 (en) | Identifying the positioning in a multiple display grid | |
US8645912B2 (en) | System and method for use in replaying software application events | |
CN109739855B (en) | Method and system for realizing data sheet splicing and automatically training machine learning model | |
US10019346B2 (en) | Generating software test script from video | |
US10394579B2 (en) | Automatically fixing inaccessible widgets during mobile application execution | |
CN107547299B (en) | Test method and system | |
US20200050540A1 (en) | Interactive automation test | |
US20200019820A1 (en) | Learning device, learning method, and learning program | |
US9122799B1 (en) | System, method, and computer program for software testing project design and execution utilizing a mockup | |
US9703683B2 (en) | Software testing coverage | |
CN111881054B (en) | User interface automatic test method, system, equipment and storage medium | |
US20150261505A1 (en) | Method and system for generating stateflow models from software requirements | |
US10977169B2 (en) | Point of sale platform process crawler | |
JP6430903B2 (en) | Evaluation result analysis system and evaluation result analysis method | |
US20160359885A1 (en) | Unauthorized beacon detection | |
JP2015011653A (en) | Performance measuring method, performance measuring program, and performance measuring apparatus | |
US10152039B2 (en) | Method and apparatus for the display of multiple errors on a human-machine interface | |
WO2017049649A1 (en) | Technologies for automated application exploratory testing | |
US20140137023A1 (en) | Method for visually mapping network ports to network interface cards | |
KR20150048365A (en) | System and method for verifying application | |
JP6747161B2 (en) | Software quality judgment method | |
JP6645276B2 (en) | Test apparatus, test method, and test program | |
US9600161B2 (en) | Generating and displaying a specific area | |
CN114625663A (en) | Test method, test device, computer equipment and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170815 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170815 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6430903 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |