JP2008197988A - Application analysis support system and program - Google Patents
Application analysis support system and program Download PDFInfo
- Publication number
- JP2008197988A JP2008197988A JP2007033584A JP2007033584A JP2008197988A JP 2008197988 A JP2008197988 A JP 2008197988A JP 2007033584 A JP2007033584 A JP 2007033584A JP 2007033584 A JP2007033584 A JP 2007033584A JP 2008197988 A JP2008197988 A JP 2008197988A
- Authority
- JP
- Japan
- Prior art keywords
- application
- data
- analysis
- predetermined
- support system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3604—Software analysis for verifying properties of programs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
Description
本発明は、各種アプリケーションの開発時のテスト等において当該アプリケーションの分析に用いるデータを取得し処理加工する技術に関する。 The present invention relates to a technique for acquiring, processing and processing data used for analysis of an application in a test or the like during development of various applications.
アプリケーションソフトウェア（以下単に「アプリケーション」と称する。）等、ソフトウェアの開発工程においては、当該アプリケーションのリリース（販売）に先立ち、バグの発見や修正を行い品質を高めるために各種のテストが行われる。従来、アプリケーションのテストを行ったコンピュータ端末の動作環境等に関するデータを取得し、取得したデータの分析（特定の情報を形成する個々のデータや情報等を明らかにすることや、特定の情報を形成する個々のデータや情報等を集計することを指す。本明細書において同じ。）によってアプリケーションの動作状態を分析する発明が知られている（例えば、特許文献１、特許文献２参照）。
しかし、特許文献１、２に記載の発明において取得できるデータは、アプリケーションが異常終了した時点における当該アプリケーションが実装されたコンピュータの動作環境を個別に確認するためのデータのみであり、このデータのみによって、アプリケーションがどのような動作環境でどのような実行状態を呈するのかを多面的に分析することは困難であるという問題がある。また、開発工程のみならず、リリースし市場に出回ったアプリケーションについても、バグ修正や事後に開発される商品の品質向上のために、動作環境や実行状況に関する多面的なデータを分析する必要があるが、特許文献１、２に記載の発明によっては、このような目的においても多面的な分析に寄与するデータを提供するのが困難であるという問題がある。 However, the data that can be acquired in the inventions described in Patent Documents 1 and 2 is only data for individually confirming the operating environment of the computer on which the application is installed at the time of abnormal termination of the application. There is a problem that it is difficult to analyze in a multifaceted manner what execution state an application exhibits in what operating environment. In addition to the development process, applications that have been released and marketed need to analyze multifaceted data related to the operating environment and execution status in order to fix bugs and improve the quality of products developed after the fact. However, depending on the inventions described in Patent Documents 1 and 2, there is a problem that it is difficult to provide data that contributes to multifaceted analysis even for such purposes.
本発明は上記の問題に鑑みてなされたものであり、アプリケーションの実行時における当該アプリケーションの動作環境や実行状況に関する多面的なデータを取得してアプリケーションの多面的な分析を可能にし、当該アプリケーションの品質向上を図ることができるアプリケーション分析支援システムを提供することを課題としている。 The present invention has been made in view of the above-described problems, and obtains multifaceted data related to the operating environment and execution status of the application at the time of execution of the application to enable multifaceted analysis of the application. It is an object to provide an application analysis support system capable of improving quality.
かかる課題を達成するために、請求項１に記載の発明は、アプリケーション及び該アプリケーションが実装されたコンピュータのうち少なくとも何れか一方に関するデータを取得するデータ取得手段と、該データ取得手段が取得した前記データについて所定の分析を行うデータ分析手段とを備えたアプリケーション分析支援システムにおいて、前記データ取得手段は、前記アプリケーションに設けられた、該アプリケーションが特定の実行状態であることを示すモジュールとしてのエントリポイントが実行されたときに、前記アプリケーションの所定の実行状態において取得される所定のデータ及び該所定の実行状態において取得される前記アプリケーションの動作環境に関する所定のデータのうち少なくとも何れか一方を取得し、前記データ分析手段は前記データ取得手段が取得した前記所定のデータを複数取得して前記アプリケーションの実行状態及び前記アプリケーションの動作環境のうち少なくとも何れか一方についての分析を行うことを特徴とする。 In order to achieve such an object, the invention described in claim 1 includes a data acquisition unit that acquires data related to at least one of an application and a computer on which the application is installed, and the data acquisition unit that acquires the data. In an application analysis support system comprising data analysis means for performing predetermined analysis on data, the data acquisition means is an entry point provided as a module indicating that the application is in a specific execution state. Is executed, at least one of predetermined data acquired in the predetermined execution state of the application and predetermined data related to the operating environment of the application acquired in the predetermined execution state, The day Analysis means and performs analysis of at least one of the operating environment of the data acquisition means and acquires a plurality of the predetermined data is acquired execution state of the application and the application.
請求項２に記載の発明は、請求項１に記載の構成に加え、前記データ取得手段は前記アプリケーションが異常終了した状態を含む前記アプリケーションの複数の実行状態における前記データを取得し、前記データ分析手段は前記データ取得手段が取得した複数の前記データを元に前記アプリケーションの異常終了の実績の分析を行うことを特徴とする。 According to a second aspect of the present invention, in addition to the configuration of the first aspect, the data acquisition unit acquires the data in a plurality of execution states of the application including a state in which the application is abnormally terminated, and the data analysis The means analyzes the result of abnormal termination of the application based on the plurality of data acquired by the data acquisition means.
請求項３に記載の発明は、請求項１又は２に記載の構成に加え、前記データ取得手段は、前記アプリケーションの動作環境に関する所定のデータとして、前記アプリケーションの実行に使用されているＣＰＵ、前記アプリケーションの実行に使用されているメモリの容量、前記アプリケーションの実行に使用されているＯＳ、前記アプリケーションの実行に使用されているデフォルトブラウザのうち少なくとも何れか一つに関するデータを取得し、前記データ分析手段は前記データ取得手段が取得したデータに基づいて前記アプリケーションの動作環境についての分析を行うことを特徴とする。 According to a third aspect of the present invention, in addition to the configuration according to the first or second aspect, the data acquisition means includes a CPU used for executing the application as predetermined data relating to the operating environment of the application, Acquire data on at least one of the memory capacity used for executing the application, the OS used for executing the application, and the default browser used for executing the application, and the data analysis The means analyzes the operating environment of the application based on the data acquired by the data acquisition means.
請求項４に記載の発明は、請求項１乃至３の何れか一つに記載の構成に加え、前記データ取得手段は、一の前記アプリケーションにおいて複数設けられた前記エントリポイントにおいて前記所定のデータを取得し、前記データ分析手段は、前記アプリケーションに設けられた全ての前記エントリポイントにおける前記所定のデータが取得されたか否かに関する分析を行うことを特徴とする。 According to a fourth aspect of the present invention, in addition to the configuration according to any one of the first to third aspects, the data acquisition unit stores the predetermined data at a plurality of the entry points provided in one application. The data analysis means obtains and analyzes whether or not the predetermined data has been obtained at all the entry points provided in the application.
請求項５に記載の発明は、請求項１乃至４の何れか一つに記載の構成に加え、前記データ取得手段が取得した前記所定のデータを蓄積するデータ記憶手段を設け、前記データ分析手段は、前記分析において前記データ記憶手段に蓄積された前記所定のデータを用いることを特徴とする。 According to a fifth aspect of the present invention, in addition to the configuration according to any one of the first to fourth aspects, a data storage means for storing the predetermined data acquired by the data acquisition means is provided, and the data analysis means Is characterized in that the predetermined data stored in the data storage means in the analysis is used.
請求項６に記載の発明は、請求項１乃至５の何れか一つに記載の構成に加え、前記データ分析手段は、分析結果に基づいてグラフ等の画像データを形成し該画像データを表示手段に表示させることを特徴とする。 According to a sixth aspect of the present invention, in addition to the configuration according to any one of the first to fifth aspects, the data analysis unit forms image data such as a graph based on the analysis result and displays the image data. It is characterized by being displayed on the means.
請求項７に記載の発明は、請求項１乃至６の何れか一つに記載の構成に加え、前記データ取得手段はクライアント・サーバシステムを形成するクライアント端末に設けられ、前記データ分析手段及び前記データ記憶手段は前記クライアント・サーバシステムを形成するサーバに設けられたことを特徴とする。 According to a seventh aspect of the present invention, in addition to the configuration according to any one of the first to sixth aspects, the data acquisition unit is provided in a client terminal forming a client / server system, and the data analysis unit and the data analysis unit The data storage means is provided in a server forming the client / server system.
請求項８に記載の発明は、プログラムであって、コンピュータを請求項１乃至７の何れか一つに記載されたアプリケーション分析支援システムとして機能させることを特徴とする。 The invention described in claim 8 is a program that causes a computer to function as the application analysis support system described in any one of claims 1 to 7.
請求項１に記載の発明によれば、データ取得手段が、アプリケーションに設けられたエントリポイントが実行されたときに、アプリケーションの所定の実行状態において取得される所定のデータ及び所定の実行状態において取得されるアプリケーションの動作環境に関する所定のデータのうち少なくとも何れか一方を取得することにより、アプリケーションの実行時における当該アプリケーションの動作環境や実行状況に関する多面的なデータを取得できる。そして、データ分析手段が、データ取得手段が取得した所定のデータを複数取得してアプリケーションの実行状態及びアプリケーションの動作環境のうち少なくとも何れか一方についての分析を行うことにより、アプリケーションの多面的な分析を行うことが可能になる。これにより、アプリケーションの品質向上を図ることができる。 According to the first aspect of the present invention, when the entry point provided in the application is executed, the data acquisition unit acquires the predetermined data acquired in the predetermined execution state of the application and the predetermined execution state. By acquiring at least one of the predetermined data regarding the operating environment of the application to be executed, it is possible to acquire multifaceted data regarding the operating environment and execution status of the application at the time of executing the application. Then, the data analysis means acquires a plurality of predetermined data acquired by the data acquisition means and analyzes at least one of the execution state of the application and the operating environment of the application, thereby performing multifaceted analysis of the application. It becomes possible to do. Thereby, the quality of the application can be improved.
請求項２に記載の発明によれば、データ取得手段はアプリケーションが異常終了した状態を含むアプリケーションの複数の実行状態におけるデータを取得し、データ分析手段はデータ取得手段が取得した複数のデータを元にアプリケーションの異常終了の実績を分析することにより、複数の異常終了時のデータに基づいた、あるいは異常終了時と正常終了時とのデータに基づいた分析を行うことができる。これにより、異常終了に関する正確で多面的なデータに基づいて分析を行うことが可能になる。 According to the second aspect of the present invention, the data acquisition unit acquires data in a plurality of execution states of the application including a state in which the application is abnormally terminated, and the data analysis unit is based on the plurality of data acquired by the data acquisition unit. In addition, by analyzing the results of abnormal termination of the application, it is possible to perform analysis based on a plurality of abnormal termination data or based on data of abnormal termination and normal termination. This makes it possible to perform analysis based on accurate and multifaceted data regarding abnormal termination.
請求項３に記載の発明によれば、アプリケーションの実行に使用されているＣＰＵ、アプリケーションの実行に使用されているメモリの容量、アプリケーションの実行に使用されているＯＳ、アプリケーションの実行に使用されているデフォルトブラウザのうち少なくとも何れか一つに関するデータ、即ち、アプリケーションの実行状態に大きな影響を与える動作環境に関するデータの分析を行うことができるので、アプリケーションのより正確で多面的な分析を行うことが可能になる。 According to the third aspect of the present invention, the CPU used for executing the application, the memory capacity used for executing the application, the OS used for executing the application, and used for executing the application. It is possible to analyze data related to at least one of the default browsers, that is, data related to the operating environment that greatly affects the execution state of the application, so that more accurate and multifaceted analysis of the application can be performed. It becomes possible.
請求項４に記載の発明によれば、データ取得手段は、一のアプリケーションに複数設けられたエントリポイントの全てにおいて所定のデータが取得されたか否かを分析することにより、分析結果に基づいて、アプリケーションが実行すべき全てのモジュールやロジックを実行したか否かを分析することができる。これにより、分析結果に基づいてアプリケーションのより正確で多面的な分析を行うことが可能になる。 According to the invention of claim 4, the data acquisition means analyzes whether or not predetermined data has been acquired at all of the plurality of entry points provided in one application, and based on the analysis result, It is possible to analyze whether or not all modules and logic to be executed by the application have been executed. This makes it possible to perform a more accurate and multifaceted analysis of the application based on the analysis result.
請求項５に記載の発明によれば、データ取得手段が取得した所定のデータを蓄積するデータ記憶手段に蓄積された所定のデータを分析に用いることにより、過去に取得されたデータをも用いた、より正確で多面的なアプリケーションの分析を行うことが可能になる。 According to the invention described in claim 5, by using the predetermined data stored in the data storage means for storing the predetermined data acquired by the data acquisition means for the analysis, the data acquired in the past is also used. Enables more accurate and multi-faceted application analysis.
請求項６に記載の発明によれば、分析結果に基づいてグラフ等の画像データを形成して表示手段に表示させることにより、分析結果を視覚的に把握し易い態様で利用者に提示し、利用者の分析の利便性を向上させることができる。 According to the invention described in claim 6, by forming image data such as a graph based on the analysis result and displaying it on the display means, the analysis result is presented to the user in an easily understandable manner, The convenience of user analysis can be improved.
請求項７に記載の発明によれば、データ取得手段はクライアント・サーバシステムを形成するクライアント端末に設けられ、データ分析手段及びデータ記憶手段はクライアント・サーバシステムを形成するサーバに設けられたことにより、クライアント端末側で行ったアプリケーションのテストをサーバ側で分析するシステムにおいて本発明を適用できる。これにより、複数のクライアント端末において行われたアプリケーションの実行結果に基づいてデータ取得・分析するような使用が可能となり、アプリケーションのテストにおいて、あるいは市販された製品の使用態様において、多数のデータに基づいた、より正確で多面的なアプリケーションの分析を行うことが可能になる。 According to the invention described in claim 7, the data acquisition means is provided in the client terminal forming the client / server system, and the data analysis means and the data storage means are provided in the server forming the client / server system. The present invention can be applied to a system that analyzes an application test performed on the client terminal side on the server side. This makes it possible to use data acquisition and analysis based on the execution results of applications performed on multiple client terminals, and based on a large amount of data in application testing or in the usage of commercially available products. In addition, more accurate and multifaceted application analysis can be performed.
請求項８に記載の発明によれば、本発明のアプリケーション分析支援システムをプログラム化し、多様なコンピュータハードウェア上で実現させることができる。 According to the invention described in claim 8, the application analysis support system of the present invention can be programmed and realized on various computer hardware.
以下、この発明の実施形態について図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
〔発明の実施の形態１〕
図１乃至図７にこの発明の実施の形態１を示す。
Embodiment 1 of the Invention
1 to 7 show a first embodiment of the present invention.
図１は、この実施の形態のアプリケーション分析支援システムのシステム構成図及び機能ブロック図である。同図に示すとおり、アプリケーション分析支援システム１Ａは、アプリケーション分析支援装置１と、アプリケーション２２のテストが行われるｎ個（ｎ≧１）のクライアント端末２１，２２，・・・，２ｎとを備えたクライアント・サーバシステムであって、アプリケーション分析支援装置１とクライアント端末２１，２２，・・・，２ｎは、ＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）としてのネットワーク３を介して相互に交信可能である。なお、クライアント端末２１，２２，・・・，２ｎはいずれも同じ構成をとるので、説明の簡単のため、以下区別の必要がある場合を除きクライアント端末２と記載する。 FIG. 1 is a system configuration diagram and functional block diagram of an application analysis support system according to this embodiment. As shown in the figure, the application analysis support system 1A includes an application analysis support apparatus 1, the client terminal 2 1, 2 2 of n test application 22 is performed (n ≧ 1), · · ·, and 2 n , 2 n are a network 3 as a LAN (Local Area Network) or a WAN (Wide Area Network), which is a client / server system including the application analysis support apparatus 1 and the client terminals 2 1 , 2 2 ,. Can communicate with each other. Since the client terminals 2 1 , 2 2 ,..., 2 n all have the same configuration, for simplicity of explanation, they are hereinafter referred to as the client terminals 2 unless they need to be distinguished.
クライアント端末２はデータ通信機能を有するコンピュータ端末であって、プログラマ等やＳＥ等、アプリケーション２２のテストを行う担当者が使用する。図示しないが、クライアント端末２には少なくとも１のＣＰＵ（Central Processing Unit、中央処理装置）、及び、ＣＰＵの作業領域として機能するＲＡＭ（Random Access Memory）、起動用ブートプログラム等が記録されたＲＯＭ（Read Only Memory）、各種プログラムやデータ等が記録されるハードディスク等の補助記憶装置、データの送受信に用いる通信インターフェース等がそれぞれ設けられている。補助記憶装置には、ＯＳ（Operating System）用プログラム、各種アプリケーションプログラムやデータが記録されており、これらのプログラムやデータはＣＰＵの演算処理により、ハードウェア資源と協働し、各種機能を実現する。クライアント端末２には、プログラムの実行結果等により、機能手段として「データ取得手段」としてのログフォルダ生成部２１が形成されている（図１に図示しないが、クライアント端末２２，・・・，２ｎにもクライアント端末２１と同様に当該機能手段が形成される。）。ログフォルダ生成部２１は、アプリケーション２２のテストの結果データを取得し、当該結果データをもとにログファイル２５１，２５２，・・・，２５ｍ（ｍ＞１）（後述）を生成し、生成したログファイル２５１，２５２，・・・，２５ｍを複数含むログフォルダ２３（後述）を生成する。なお、ログファイル２５１，２５２，・・・，２５ｍはいずれも同じ構成をとるので、説明の簡単のため、以下区別の必要がある場合を除きログファイル２５と記載する。 The client terminal 2 is a computer terminal having a data communication function, and is used by a person in charge of testing the application 22 such as a programmer or SE. Although not shown, the client terminal 2 has at least one CPU (Central Processing Unit), a RAM (Random Access Memory) functioning as a work area of the CPU, a ROM (a boot program for booting, etc.) recorded therein. Read Only Memory), an auxiliary storage device such as a hard disk in which various programs and data are recorded, a communication interface used for data transmission / reception, and the like. The auxiliary storage device stores an OS (Operating System) program, various application programs, and data. These programs and data realize various functions in cooperation with hardware resources through arithmetic processing of the CPU. . In the client terminal 2, a log folder generation unit 21 as a “data acquisition unit” is formed as a function unit based on a program execution result or the like (not shown in FIG. 1, but the client terminal 2 2 ,... to 2 n is the client terminal 2 1 similarly to the function unit is formed.). The log folder generation unit 21 acquires the test result data of the application 22 and generates log files 25 1 , 25 2 ,..., 25 m (m> 1) (described later) based on the result data. A log folder 23 (described later) including a plurality of generated log files 25 1 , 25 2 ,..., 25 m is generated. Note that the log files 25 1 , 25 2 ,..., 25 m all have the same configuration. Therefore, for the sake of simplicity, the log files 25 1 , 25 2 ,.
ログフォルダ生成部２１は、テスト対象のアプリケーション２２に複数設けられた、アプリケーション２２が持つ特定の実行イベントに設けられたモジュールであるエントリポイント（以下単に「エントリポイント」と称する）２４１，２４２，・・・，２４７が実行された際に、当該アプリケーション２２の実行状態や当該アプリケーション２２の動作環境に関する所定のデータを取得する（詳しくは後述する）。 The log folder generation unit 21 includes a plurality of entry points (hereinafter simply referred to as “entry points”) 24 1 and 24 2 that are modules provided in a specific execution event of the application 22 provided in the application 22 to be tested. , ..., when the 24 7 is performed to obtain the predetermined data related to the operating environment of the execution state and the application 22 of the application 22 (which will be described in detail later).
アプリケーション分析支援装置１は、アプリケーション２２の開発を行う事業者又は個人が管理するサーバコンピュータシステムであって、クライアント端末２との間でデータ通信を行なうＷｅｂサーバとしての機能及びクライアント端末２から取得したデータを記録するデータベースサーバとしての機能を有する。図示しないが、アプリケーション分析支援装置１も少なくとも１のＣＰＵ、及び、ＲＡＭ、ＲＯＭ、補助記憶装置等を有している。そして、アプリケーション分析支援装置１は、プログラムの実行等によって形成される機能手段として、ログフォルダ取得部１１、及び「データ分析手段」としてのデータ分析部１２を有する。ログフォルダ取得部１１は、クライアント端末２から送信されたログフォルダ２３を取得し、当該ログフォルダ２３中のログファイル２５に含まれるデータを区分する。また、ログフォルダ取得部１１はデータコンバートアプリケーション等を備え、ログフォルダ２３中のログファイル２５に含まれるデータのファイル形式の変換も行う。データ分析部１２は、ログフォルダ２３中のログファイル２５から取得されたデータの各種分析を行う。 The application analysis support apparatus 1 is a server computer system managed by a business operator or an individual who develops the application 22, and is acquired from the client terminal 2 and the function as a Web server that performs data communication with the client terminal 2. It has a function as a database server for recording data. Although not shown, the application analysis support apparatus 1 also has at least one CPU, RAM, ROM, auxiliary storage device, and the like. The application analysis support apparatus 1 includes a log folder acquisition unit 11 and a data analysis unit 12 as “data analysis unit” as functional units formed by executing a program or the like. The log folder acquisition unit 11 acquires the log folder 23 transmitted from the client terminal 2 and classifies data included in the log file 25 in the log folder 23. In addition, the log folder acquisition unit 11 includes a data conversion application and the like, and also converts the file format of data included in the log file 25 in the log folder 23. The data analysis unit 12 performs various analyzes of data acquired from the log file 25 in the log folder 23.
また、アプリケーション分析支援装置１は、「データ記憶手段」としてのデータベース部１３が形成されている。データベース部１３は、コード網羅管理データベース１３１、利用結果管理データベース１３２、異常終了管理データベース１３３、バグ管理データベース１３４を有している。 Further, the application analysis support apparatus 1 is formed with a database unit 13 as “data storage means”. The database unit 13 includes a code coverage management database 131, a usage result management database 132, an abnormal termination management database 133, and a bug management database 134.
コード網羅管理データベース１３１にはログフォルダ２３中のログファイル２５から抽出されたコード網羅管理データ（後述）が蓄積される。利用結果管理データベース１３２にはログフォルダ２３中のログファイル２５から抽出された利用結果データ（後述）が蓄積される。異常終了管理データベース１３３にはログフォルダ２３中のログファイル２５から抽出された異常終了データ群（後述）が蓄積される。バグ管理データベース１３４には、異常終了データ群（後述）に含まれるバグデータが抽出されて蓄積される。 The code coverage management database 131 stores code coverage management data (described later) extracted from the log file 25 in the log folder 23. Usage result data (described later) extracted from the log file 25 in the log folder 23 is accumulated in the usage result management database 132. The abnormal termination management database 133 stores an abnormal termination data group (described later) extracted from the log file 25 in the log folder 23. In the bug management database 134, bug data included in the abnormal end data group (described later) is extracted and stored.
図２の（ａ）にコード網羅管理データベース１３１に蓄積されるコード網羅管理データのイメージ図、図２の（ｂ）に利用結果管理データベース１３２に蓄積される利用結果データとのイメージ図を示す。同図に示す通り、コード網羅管理データ１３１ａは、テストにおいてチェックすべきポイントとしてのチェックポイント（以下単に「チェックポイント」と称する。）を示すデータ群である基本データ１３１ｂと、テストにおいて実行されたチェックポイントを確認するためのデータ群である実績データ１３１ｃとからなる。利用結果データ１３２ａは、アプリケーション２２に搭載されている機能がどのように利用されているかを把握する為のデータ群である。 FIG. 2A shows an image diagram of code coverage management data stored in the code coverage management database 131, and FIG. 2B shows an image diagram of usage result data stored in the usage result management database 132. As shown in the figure, the code coverage management data 131a includes basic data 131b that is a data group indicating a checkpoint (hereinafter simply referred to as “checkpoint”) as a point to be checked in the test, and is executed in the test. It consists of record data 131c which is a data group for confirming a checkpoint. The usage result data 132a is a data group for grasping how the functions installed in the application 22 are used.
また、アプリケーション分析支援装置１は、操作部１４、及び「表示手段」としての表示部１５を有する。操作部１４はマウス、キーボード等であり、アプリケーション分析支援装置１の利用者が各種指示を入力するために用いられる。表示部１５はＬＣＤ（Liquid Crystal Display）等からなり操作部１４から入力された各種指示等や、データ分析部１２における分析結果等が画像として表示される。 In addition, the application analysis support apparatus 1 includes an operation unit 14 and a display unit 15 as a “display unit”. The operation unit 14 is a mouse, a keyboard, or the like, and is used by the user of the application analysis support apparatus 1 to input various instructions. The display unit 15 includes an LCD (Liquid Crystal Display) or the like, and displays various instructions input from the operation unit 14, analysis results in the data analysis unit 12, and the like as images.
図３は、この実施の形態のアプリケーション分析支援システム１Ａにおける動作手順を示すフローチャートである。以下このフローチャートに基づいてこの実施の形態のアプリケーション分析支援システム１Ａにおける動作について説明する。 FIG. 3 is a flowchart showing an operation procedure in the application analysis support system 1A of this embodiment. The operation in the application analysis support system 1A of this embodiment will be described below based on this flowchart.
まず、テスト対象のアプリケーション２２には、当該アプリケーション２２が特定の実行状態であることを示すモジュールとしてのエントリポイント２４１，・・・，２４７が設けられる（ステップＳ１）。エントリポイント２４１，・・・，２４７は、図１に模式を示す通り、テスト対象となるアプリケーション２２の起動・ロード時、終了・アンロード時、機能開始・終了時、イベント実行時、機能利用時、異常終了時、ユーザカスタマイズされた機能の実行時等、アプリケーション２２が持つ主要な実行イベントを行うためのモジュールやロジックの内部に設けられたモジュールであり、当該アプリケーション２２が如何なる実行状態にあるかを認識するデータ（例えば所定のフラグ）が含まれている。異常終了時であることを示すエントリポイント２４６は、例えばアプリケーション２２が起動してから一定時間の間に終了しなかった場合に起動するような態様で設けられている。エントリポイント２４１，・・・，２４７は、アプリケーション２２の開発者が当該アプリケーション２２の開発時に組み込んでもよいが、クライアント端末２にアプリケーション２２を実装した際に、クライアント端末２によって自動的にモジュールやロジックの内部に組み込まれる態様にするのが望ましい。なおエントリポイント２４１，・・・，２４７はいずれも同じ構成をとるので、説明の簡単のため、以下エントリポイント２４と記載する。 First, the application 22 to be tested, the entry point 24 1 as a module to indicate that the application 22 is a specific execution condition, ..., 24 7 is provided (step S1). Entry point 24 1, ..., 24 7, as shown in the schematic in Figure 1, the time of start-up and loading the application 22 to be tested, at the end and unloading, at the function start and end, when the event execution, function This is a module provided inside a logic or a module for performing a main execution event of the application 22 such as when used, abnormally terminated, or when a user-customized function is executed, and the application 22 is in any execution state. Data for recognizing the presence (for example, a predetermined flag) is included. Entry point 24 6 indicating the abnormal termination may, for example application 22 is provided in such a manner as to start when not completed during a predetermined time after starting. Entry points 24 1, ..., when the 24 7, but the application developer 22 may be incorporated during the development of the application 22, which implements the applications 22 to the client terminal 2 automatically module by the client terminal 2 It is desirable to have a mode that is incorporated in the logic. Note entry point 24 1, ..., so take the same configuration either 24 7, for simplicity of explanation, referred to as the entry point 24 below.
そして、当該テスト対象のアプリケーション２２がクライアント端末２に実装されたのち、当該クライアント端末２においてテストが開始され、アプリケーション２２が実行される（ステップＳ２）。テストは、出来る限り全てのモジュールやロジックが実行されるように、また、これらのモジュールやロジックのイベントができる限り全て実行されるように、ランダムに行われる。そして、エントリポイント２４が実行されると、クライアント端末２は、テストの結果データとして、アプリケーション２２の実行状態や動作環境に関するデータを取得する。このときクライアント端末２が取得するデータの内容は、各エントリポイント２４１，・・・，２４７のうちどれを実行したか（即ちアプリケーション２２がどのような実行状態にあるか）によって相違し、クライアント端末２は各エントリポイント２４１，・・・，２４７毎にそれぞれ定められた種類のデータを取得する。 Then, after the test target application 22 is mounted on the client terminal 2, the test is started on the client terminal 2, and the application 22 is executed (step S2). The tests are performed randomly so that all modules and logic are executed as much as possible, and all events of these modules and logic are executed as much as possible. When the entry point 24 is executed, the client terminal 2 acquires data relating to the execution state and operating environment of the application 22 as test result data. At this time the contents of data that the client terminal 2 is acquired, the entry point 24 1, ..., differs depending on whether run which of the 24 7 (i.e. whether the application 22 is in any running state), The client terminal 2 acquires data of a type determined for each entry point 24 1 ,..., 24 7 .
クライアント端末２においてアプリケーション２２の実行が終了すると、ログフォルダ生成部２１はステップＳ２において取得されたテストの結果データを取得する。そして、ログフォルダ生成部２１は取得されたテストの結果データの全てを一のファイルデータとしてまとめたログファイル２５を作成し、生成されたログファイル２５を複数含んだログフォルダ２３を生成する（ステップＳ３）。このとき、ログフォルダ２３はネットワーク３を介して交信可能なファイル形式に生成される。この実施の形態においてログファイル２５は、ＸＭＬ（Extensible Markup Language）形式で記述したファイルや、ＣＡＢ形式で圧縮したファイルとして生成される。ただし、ネットワークを介して交信可能な態様であればどのようなファイル形式に生成されてもよい。 When the execution of the application 22 is completed in the client terminal 2, the log folder generation unit 21 acquires the test result data acquired in step S2. Then, the log folder generation unit 21 creates a log file 25 in which all of the acquired test result data is collected as one file data, and generates a log folder 23 including a plurality of the generated log files 25 (steps). S3). At this time, the log folder 23 is generated in a file format that can be communicated via the network 3. In this embodiment, the log file 25 is generated as a file described in the XML (Extensible Markup Language) format or a file compressed in the CAB format. However, the file may be generated in any file format as long as it can be communicated via the network.
図４に、ログフォルダ生成部２１において作成された、ログフォルダ２３に含まれるログファイル２５の一部のデータイメージ図を示す。同図に示す通り、ログファイル２５には、アプリケーション２２の実行に使用されているＣＰＵのデータ、アプリケーション２２の実行に使用されているメモリの容量のデータ、アプリケーション２２の実行に使用されているＯＳのデータ、アプリケーション２２の実行に使用されているデフォルトブラウザのデータ等からなるアプリケーション２２の動作環境データ群２３ａ、アプリケーション２２のバージョン、動作状態、動作開始時間、動作終了時間等からなるアプリケーション２２の実行状況データ群２３ｂ、異常終了したアプリケーション２２のアプリケーション名、バージョン、異常終了が起こった日時、異常終了時のデータのＤＵＭＰファイル等からなるアプリケーション２２の異常終了データ群２３ｃが記録されている。このうち、動作環境データ群２３ａと実行状況データ群２３ｂとはアプリケーション２２の起動・ロード時、終了・アンロード時、機能開始・終了時、イベント実行時、機能利用時、ユーザカスタマイズされた機能の実行時のエントリポイント２４において取得されたデータに基づいて形成され、異常終了データ群２３ｃはアプリケーション２２の異常終了時に取得されたデータに基づいて形成される。なお、図４に示すデータイメージ図は一の動作環境データ群２３ａ、一の実行状況データ群２３ｂ、一の異常終了データ群２３ｃが表示されているが、実際には、一のデータ群を一のエントリポイント２４において取得されたデータによって形成し、このデータ群の集合体によって一のログファイル２５が形成される。 FIG. 4 shows a data image diagram of a part of the log file 25 included in the log folder 23 created in the log folder generation unit 21. As shown in the figure, the log file 25 includes CPU data used for execution of the application 22, data of memory capacity used for execution of the application 22, and OS used for execution of the application 22. Of the application 22 consisting of the operating environment data group 23a of the application 22, consisting of the data of the default browser used to execute the application 22, the version of the application 22, the operating state, the operation start time, the operation end time, etc. The status data group 23b, the application name and version of the application 22 that ended abnormally, the date and time when the abnormal termination occurred, the DUMP file of data at the time of abnormal termination, and the like are recorded. Among them, the operating environment data group 23a and the execution status data group 23b are the functions of user-customized functions when the application 22 is started / loaded, terminated / unloaded, function started / finished, event executed, function used, and so on. The abnormal end data group 23c is formed based on the data acquired at the abnormal end of the application 22, and is formed based on the data acquired at the entry point 24 at the time of execution. In the data image diagram shown in FIG. 4, one operating environment data group 23a, one execution status data group 23b, and one abnormal end data group 23c are displayed. A log file 25 is formed by a collection of data groups formed by data acquired at the entry point 24.
更に、ログフォルダ生成部２１はセキュリティ確保のためにログファイル２５を暗号化したのち、アプリケーション分析支援装置１に送信する（ステップＳ４）。 Further, the log folder generation unit 21 encrypts the log file 25 to ensure security, and then transmits it to the application analysis support apparatus 1 (step S4).
ログフォルダ２３を取得したアプリケーション分析支援装置１は、ログフォルダ取得部１１において当該ログフォルダ２３に含まれるログファイル２５を複号（ＣＡＢ形式の場合は解凍も）し、さらにコード網羅管理データベース１３１、利用結果管理データベース１３２、異常終了管理データベース１３３、バグ管理データベース１３４に該当するデータを蓄積する（ステップＳ５）。 The application analysis support apparatus 1 that has acquired the log folder 23 decodes the log file 25 included in the log folder 23 in the log folder acquisition unit 11 (and also decompresses it in the case of the CAB format), and further includes a code coverage management database 131, Data corresponding to the use result management database 132, the abnormal termination management database 133, and the bug management database 134 is accumulated (step S5).
データ分析部１２は、取得された複数のデータの分析を行う（ステップＳ６）。具体的には、ログフォルダ２３中のログファイル２５から取得されたデータに加え、データベース部１３のコード網羅管理データベース１３１、利用結果管理データベース１３２、異常終了管理データベース１３３、バグ管理データベース１３４に蓄積されたデータに基づいて、予め定められた分析処理を行う。データベース部１３に蓄積されたデータも用いて分析処理を行うことにより、過去のデータの蓄積をも用いた、より正確で多面的なアプリケーション２２の分析を行うことが可能になる。 The data analysis unit 12 analyzes a plurality of acquired data (step S6). Specifically, in addition to the data acquired from the log file 25 in the log folder 23, it is stored in the code coverage management database 131, the usage result management database 132, the abnormal termination management database 133, and the bug management database 134 of the database unit 13. Based on the obtained data, a predetermined analysis process is performed. By performing the analysis process using the data stored in the database unit 13, it is possible to perform a more accurate and multi-faceted analysis of the application 22 using the past data storage.
そして、データ分析部１２は分析処理の結果に基づいてグラフ等の画像データを形成し、表示部１５に表示する（ステップＳ７）。このとき表示部１５に表示される画像データは、アプリケーション２２の分析に有用なデータに基づいて形成されたグラフ等である（具体的には後述する）。これにより、分析結果を視覚的に把握し易い態様でアプリケーション分析支援装置１の利用者に提示できる。 Then, the data analysis unit 12 forms image data such as a graph based on the result of the analysis process and displays it on the display unit 15 (step S7). The image data displayed on the display unit 15 at this time is a graph or the like formed based on data useful for the analysis of the application 22 (specifically described later). Thereby, it is possible to present the analysis result to the user of the application analysis support apparatus 1 in a manner that makes it easy to visually grasp the analysis result.
アプリケーション分析支援装置１の利用者は、表示部１５に表示された画像に基づいて分析を行う。具体的には、利用者は、アプリケーション２２の機能の修正、バグの修正、異常終了の原因となったバグの修正等を行う。そして、分析の結果、クライアント端末２（又はクライアント端末２の利用者）に必要な指示を出すことができる。例えば、一のエントリポイント２４における結果データがグラフ上に全く表示されていなければ、クライアント端末２側には当該エントリポイント２４を含むモジュール等を実行するためのテストを行うように指示が出される。また、分析に必要な分量のデータが取得されていない場合には、クライアント端末２側にはもっと多くのテストを行うように指示が出され、ステップＳ２〜Ｓ７の処理が繰り返される。これらの指示は、アプリケーション分析支援装置１のデータ分析部１２からクライアント端末２に自動的に送信されるのが望ましいが、アプリケーション分析支援装置１の利用者の操作部１４の操作等によってクライアント端末２に送信されるものであってもよい。これらの手順はテスト終了まで行われる。 The user of the application analysis support apparatus 1 performs analysis based on the image displayed on the display unit 15. Specifically, the user corrects the function of the application 22, corrects the bug, corrects the bug that caused the abnormal termination, and the like. As a result of the analysis, necessary instructions can be issued to the client terminal 2 (or the user of the client terminal 2). For example, if no result data at one entry point 24 is displayed on the graph, the client terminal 2 is instructed to perform a test for executing a module or the like including the entry point 24. If the amount of data necessary for analysis has not been acquired, the client terminal 2 is instructed to perform more tests, and the processes in steps S2 to S7 are repeated. These instructions are preferably automatically transmitted from the data analysis unit 12 of the application analysis support apparatus 1 to the client terminal 2, but the client terminal 2 is operated by the operation of the operation unit 14 of the user of the application analysis support apparatus 1. It may be transmitted to. These procedures are performed until the end of the test.
図５乃至図７に、ステップＳ１〜Ｓ７の処理手順に基づいてデータ分析部１２によって表示部１５に表示されるグラフのイメージ図を示す。図５は、異常終了実績の分析結果を表したグラフのイメージ図である。同グラフは、ログファイル２５の異常終了データ群２３ｃ及び異常終了データ群２３ｃの集計比率に基づいて形成されたものである。同図において、棒グラフはアプリケーション２２が異常終了したポイント（箇所）毎の異常終了回数をポイントＩＤ毎に表したものであって、異常終了回数の多いポイント順に左から並べた表示となっている。折れ線グラフは当該箇所の棒グラフ及び当該箇所より左側の棒グラフの値（回数）が全異常終了回数に占める割合（％）を表示したものである。このグラフにより、アプリケーション分析支援装置１の利用者は異常終了全体の比率から修正すべき異常終了ポイントを明確にすることができる。具体的には、例えば図５においては、上位６番目までの異常終了ポイントを正常終了するように修正すれば全異常終了回数のうち８０％を占める異常終了ポイントの修正が完了したことになる（即ち、同図に示す折れ線グラフの点が所定品質ライン１００を下回る箇所を全て修正したことになる）。従って、アプリケーション２２の開発時（リリース後も）にデータ分析部１２によって定期的に同グラフを作成し表示部１５に表示させることにより、アプリケーション２２の安定性を向上させていくことができる。 5 to 7 show image diagrams of graphs displayed on the display unit 15 by the data analysis unit 12 based on the processing procedure of steps S1 to S7. FIG. 5 is an image diagram of a graph showing the analysis result of the abnormal termination results. The graph is formed based on the total ratio of the abnormal end data group 23c and the abnormal end data group 23c of the log file 25. In the figure, the bar graph represents the number of abnormal terminations for each point (location) where the application 22 terminated abnormally for each point ID, and is displayed in order from the left in order of the number of abnormal terminations. The line graph displays the ratio (%) of the bar graph of the relevant part and the value (number of times) of the bar graph on the left side of the relevant part to the total number of abnormal terminations. With this graph, the user of the application analysis support apparatus 1 can clarify the abnormal end point to be corrected from the ratio of all abnormal ends. Specifically, for example, in FIG. 5, if the upper sixth abnormal end point is corrected so as to end normally, the correction of the abnormal end point, which accounts for 80% of the total number of abnormal end points, is completed ( That is, all points where the points of the line graph shown in the figure are below the predetermined quality line 100 have been corrected). Therefore, the stability of the application 22 can be improved by periodically creating the graph by the data analysis unit 12 and displaying it on the display unit 15 during the development of the application 22 (even after the release).
図６は、アプリケーション２２の実行状況を表したグラフのイメージ図である。同グラフは、ログファイル２５の実行状況データ群２３ｂ、異常終了データ群２３ｃ、並びに異常終了管理データベース１３３に記録されたデータに基づいて形成されたものである。同図における棒グラフはアプリケーション２２の起動回数（＝実行回数）（回）をビルド番号（コンパイルの度に振られるＩＤのこと。本明細書において同じ。）毎に集計した結果であり、折れ線グラフはアプリケーション２２の起動回数に対する正常終了数の割合（％）をビルド番号毎に集計した結果である。このグラフにより、アプリケーション分析支援装置１の利用者はビルド毎のアプリケーション２２の安定性と利用度合いとを把握することができる。具体的には、例えば図６においては、最後の４つ（同図の右側４つ）のビルドにおいて、起動回数が増加している一方で正常終了数の割合も増加しているので、このアプリケーション２２は、当該最後の４つのビルドはリリース可能な程度に品質が安定していることが確認できる。 FIG. 6 is an image diagram of a graph representing the execution status of the application 22. The graph is formed based on the data recorded in the execution status data group 23b, the abnormal end data group 23c, and the abnormal end management database 133 of the log file 25. The bar graph in the figure is the result of counting the number of times the application 22 is started (= the number of executions) (number of times) for each build number (ID assigned for each compilation; the same applies in this specification), and the line graph is This is a result of totaling the ratio (%) of the number of normal ends with respect to the number of activations of the application 22 for each build number. From this graph, the user of the application analysis support apparatus 1 can grasp the stability and the degree of use of the application 22 for each build. Specifically, in FIG. 6, for example, in the last four builds (four on the right side in the figure), the number of startups has increased while the percentage of normal terminations has also increased. 22 confirms that the quality of the last four builds is stable enough to be released.
図７は、アプリケーション２２の平均稼働時間と異常終了とを示したグラフのイメージ図である。同グラフは、ログファイル２５の実行状況データ群２３ｂ、異常終了データ群２３ｃ、並びに異常終了管理データベース１３３に記録されたデータに基づいて形成されたものである。同図における一方の折れ線グラフはアプリケーション２２の稼働時間、即ちアプリケーション２２の終了時間から開始時間を減算した時間をビルド番号毎に集計した結果（回）であり、他方の折れ線グラフはアプリケーション２２の異常終了の回数（回）をビルド番号毎に集計した結果である。このグラフにより、アプリケーション分析支援装置１の利用者はアプリケーション２２の安定性を把握することができる。例えば図７においては、アプリケーション２２の異常終了の回数を示すグラフが右下がりの傾向（つまり後から形成されたビルドほど異常終了の回数が少ない）を示し、一方、異常終了アプリケーション２２の稼動時間を示すグラフが右上がりの傾向（つまり後から形成されたビルドほど稼動時間が長くなる傾向）を示している。これにより、このアプリケーション２２は開発が進むにつれて品質が安定していることが確認できる。更に、この図７のグラフを図６のグラフを同時又は交互に表示させることにより、アプリケーション分析支援装置１の利用者はアプリケーション２２の安定性を多面的に把握することができる。 FIG. 7 is an image diagram of a graph showing the average operation time and abnormal termination of the application 22. The graph is formed based on the data recorded in the execution status data group 23b, the abnormal end data group 23c, and the abnormal end management database 133 of the log file 25. One line graph in the figure is the result (times) of the operation time of the application 22, that is, the time obtained by subtracting the start time from the end time of the application 22 for each build number, and the other line graph is an abnormality of the application 22. This is the result of counting the number of times of completion (number of times) for each build number. From this graph, the user of the application analysis support apparatus 1 can grasp the stability of the application 22. For example, in FIG. 7, the graph indicating the number of abnormal terminations of the application 22 shows a downward trend (that is, the number of abnormal terminations decreases as the build is formed later). The graph shown shows an upward trend (that is, the build time formed later tends to increase the operation time). Thereby, it can be confirmed that the quality of the application 22 is stable as the development proceeds. Further, by displaying the graph of FIG. 7 simultaneously or alternately with the graph of FIG. 6, the user of the application analysis support apparatus 1 can grasp the stability of the application 22 from various angles.
アプリケーション分析支援装置１の利用者は、図５乃至図７に示されたようなグラフを分析することで、クライアント端末２におけるアプリケーション２２の実行状況や動作環境を把握することができる。 The user of the application analysis support apparatus 1 can grasp the execution status and operating environment of the application 22 in the client terminal 2 by analyzing the graphs as shown in FIGS.
以上、この実施の形態においては、ログフォルダ生成部２１はアプリケーション２２が異常終了した状態を含むアプリケーション２２の複数の実行状態におけるデータを取得し、データ分析部１２はデータ取得手段が取得した複数のデータを元にアプリケーション２２の異常終了の実績を分析することにより、複数の異常終了時のデータに基づいた、あるいは異常終了時と正常終了時とのデータに基づいた分析を行うことができる。これにより、正確で多面的なデータに基づいてアプリケーション２２の異常終了の分析を行うことが可能になる。 As described above, in this embodiment, the log folder generation unit 21 acquires data in a plurality of execution states of the application 22 including a state in which the application 22 has ended abnormally, and the data analysis unit 12 acquires a plurality of data acquired by the data acquisition unit. By analyzing the results of abnormal termination of the application 22 based on the data, it is possible to perform analysis based on a plurality of data at the time of abnormal termination or based on data at the time of abnormal termination and normal termination. This makes it possible to analyze the abnormal termination of the application 22 based on accurate and multifaceted data.
また、この実施の形態においては、アプリケーション２２の実行に使用されているＣＰＵ、アプリケーション２２の実行に使用されているメモリの容量、アプリケーション２２の実行に使用されているＯＳ、アプリケーション２２の実行に使用されているデフォルトブラウザのうち少なくとも何れか一つに関するデータ、即ち、アプリケーション２２の実行状態に大きな影響を与える動作環境に関するデータを分析することができるので、アプリケーション２２のより正確で多面的な分析を行うことが可能になる。 In this embodiment, the CPU used for executing the application 22, the memory capacity used for executing the application 22, the OS used for executing the application 22, and used for executing the application 22. Since it is possible to analyze data on at least one of the default browsers, that is, data on an operating environment that greatly affects the execution state of the application 22, more accurate and multifaceted analysis of the application 22 can be performed. It becomes possible to do.
〔発明の実施の形態２〕
図８に、この発明の実施の形態２を示す。
[Embodiment 2 of the Invention]
FIG. 8 shows a second embodiment of the present invention.
この実施の形態においても、テスト対象となるアプリケーション２２には複数のエントリポイント２４が設けられるが、この実施の形態において、エントリポイント２４はテスト対象となるアプリケーション２２を形成する全てのモジュール、あるいは全ての主要なロジックに設けられる。それ以外の構成は、実施の形態１と同じである。 Also in this embodiment, a plurality of entry points 24 are provided in the application 22 to be tested, but in this embodiment, the entry points 24 are all modules that form the application 22 to be tested or all of them. In the main logic. Other configurations are the same as those of the first embodiment.
そして、この実施の形態においては、基本的に、実施の形態１のステップＳ１〜Ｓ７と同じ手順でテストデータの取得と分析が行われるが、ステップＳ７において、データ分析部１２は、テスト対象となるアプリケーション２２に設けられた全てのエントリポイント２４における所定のデータが取得されたか否かに関する分析を行い、分析結果をグラフ化して表示部１５に表示する。即ち、この実施の形態において、エントリポイント２４はアプリケーション２２の実行過程において各モジュールや各ロジックが実行されたか否かを確認するためのチェックポイントとしての機能を果たす。 In this embodiment, the test data is acquired and analyzed basically in the same procedure as steps S1 to S7 in the first embodiment. In step S7, the data analysis unit 12 An analysis is performed as to whether or not predetermined data at all the entry points 24 provided in the application 22 is acquired, and the analysis result is graphed and displayed on the display unit 15. That is, in this embodiment, the entry point 24 functions as a check point for confirming whether or not each module or each logic has been executed in the execution process of the application 22.
そして、この実施の形態において、データ分析部１２は各モジュールや各ロジックが実行されたか否かを確認し分析するためのデータをグラフ化して表示する。図８は、モジュール又はロジックの実行状況の分析結果を表したグラフのイメージ図である。同グラフは、ログファイル２５の実行状況データ群２３ｂ、及びコード網羅管理データベース１３１に蓄積されたコード網羅管理データ１３１ａに基づいて形成されたものであり、棒グラフは１のアプリケーション２２に組み込まれたエントリポイント２４の通過回数（回）のビルド毎の集計結果であり、折れ線グラフはアプリケーション２２に組み込まれたエントリポイント２４の個数に対する通過したエントリポイント２４の個数の割合（％）のビルド毎の集計結果である。このグラフにより、アプリケーション分析支援装置１の利用者はビルド毎のアプリケーション２２の内部コードの利用状況を把握することができる。具体的には、例えば図８においては、エントリポイント２４の通過回数も通過したエントリポイント２４の割合も右上がりの傾向（つまり後から形成されたビルドほど通過ポイント数も通過の割合も増加している傾向）を示している。これにより、このアプリケーション２２は開発が進むにつれて通過するコードの数も割合も増加し、特に最後の３つ（同図の右側３つ）のビルドにおいてはアプリケーション全体のコードが利用されていることが確認できる。 In this embodiment, the data analysis unit 12 graphs and displays data for checking and analyzing whether each module or each logic has been executed. FIG. 8 is an image diagram of a graph showing the analysis result of the execution status of the module or logic. The graph is formed based on the execution status data group 23 b of the log file 25 and the code coverage management data 131 a stored in the code coverage management database 131, and the bar graph is an entry incorporated in one application 22. The number of passing points 24 (times) is a totaled result for each build, and the line graph is a totaled result for each build of the ratio (%) of the number of entry points 24 passed to the number of entry points 24 incorporated in the application 22. It is. From this graph, the user of the application analysis support apparatus 1 can grasp the usage status of the internal code of the application 22 for each build. Specifically, in FIG. 8, for example, the number of times the entry point 24 has passed and the percentage of the entry points 24 that have passed have a tendency to rise to the right. Tend to be). As a result, the number of code passing through the application 22 and the ratio thereof increase as the development progresses. In particular, the code of the entire application is used in the last three builds (the right three in the figure). I can confirm.
以上この実施の形態においては、データ分析部１２による分析結果に基づいて、テスト対象のアプリケーション２２が実行すべき全てのモジュールやロジックが現実に実行されたか否かを確認し分析することができる。 As described above, in this embodiment, it is possible to confirm and analyze whether or not all modules and logic to be executed by the test target application 22 are actually executed based on the analysis result by the data analysis unit 12.
〔発明の実施の形態３〕
図９乃至図１０に、この発明の実施の形態３を示す。
Embodiment 3 of the Invention
9 to 10 show a third embodiment of the present invention.
実施の形態１及び２におけるアプリケーション分析支援システム１Ａはアプリケーション２２のテストに用いるものであったが、本実施の形態において、アプリケーション分析支援システム１Ａは市販されたアプリケーション２２の実行状況や動作環境を確認するために用いられる。この実施の形態においては、図１に示すクライアント端末２はアプリケーション２２の購入者又は使用権限を有する者が使用するコンピュータ端末であり、アプリケーション分析支援装置１はアプリケーション２２の開発者等が使用するサーバコンピュータとなる。その他の構成は、実施の形態１と同じである。 The application analysis support system 1A in the first and second embodiments is used for testing the application 22, but in this embodiment, the application analysis support system 1A confirms the execution status and operating environment of the commercially available application 22. Used to do. In this embodiment, the client terminal 2 shown in FIG. 1 is a computer terminal used by a purchaser of the application 22 or a person who has usage authority, and the application analysis support apparatus 1 is a server used by the developer of the application 22 or the like. Become a computer. Other configurations are the same as those of the first embodiment.
そして、この実施の形態における、市販されたアプリケーション２２の実行状況や動作環境の確認においても、基本的に、実施の形態１のステップＳ１〜Ｓ７と同じ手順でデータの取得と分析が行われるが、ステップＳ７において、アプリケーション分析支援装置１のデータ分析部１２はアプリケーション２２の実行状況や動作環境の確認に適した分析を行い、分析結果をグラフ表示する。 And in the confirmation of the execution status and operating environment of the commercially available application 22 in this embodiment, data acquisition and analysis are basically performed in the same procedure as steps S1 to S7 in the first embodiment. In step S7, the data analysis unit 12 of the application analysis support apparatus 1 performs an analysis suitable for confirming the execution status and operating environment of the application 22, and displays the analysis result in a graph.
図９は、この実施の形態において表示部１５に表示される、アプリケーション２２の実行実績を表したグラフのイメージ図である。同グラフは、アプリケーション２２（この場合、表計算用アプリケーション）のログファイル２５の実行状況データ群２３ｂ及び利用結果管理データベース１３２に蓄積された利用結果データ１３２ａに基づいて形成されたものである。この場合、利用結果データ１３２ａのユーザアクションの値１３２ｂには、使用されたセルの個数に関するデータが記録される。棒グラフはアプリケーション２２の実行状況において使用されたユーザ数（人）の実績をセルの個数毎に集計したものであり、折れ線グラフは各棒グラフのセル数が使用される使用状況が全ての使用状況において占める割合（％）の実績をセルの個数毎に集計したものである。 FIG. 9 is an image diagram of a graph representing the execution performance of the application 22 displayed on the display unit 15 in this embodiment. The graph is formed based on the execution status data group 23 b of the log file 25 of the application 22 (in this case, the spreadsheet application) and the usage result data 132 a accumulated in the usage result management database 132. In this case, data relating to the number of used cells is recorded in the user action value 132b of the use result data 132a. The bar graph is obtained by counting the number of users (people) used in the execution status of the application 22 for each number of cells, and the line graph is used in all usage situations where the number of cells in each bar graph is used. The results of the percentage (%) are tabulated for each number of cells.
図９のグラフにより、ユーザがどのような実行状況や動作環境でアプリケーション２２を使用しているか、あるいはユーザの使用状況においてアプリケーション２２の所定の機能が開発者のプラン通りに動作しているかを視覚的に確認し分析することができ、また、将来的な機能の拡張の方向性を明確化することができる。例えば図９のグラフにおいては、当該アプリケーション２２は１０００個未満内のセルが使用される割合が非常に高いことが確認できるが、５００００個以上６５５３５個以内でセルが使用される割合も比較的高いことが確認できる。これにより、アプリケーション分析支援装置１の利用者は、アプリケーション２２を利用するユーザは、例えば、１０００個以内のセルを使用する場合が圧倒的に多いことを確認するとともに、将来的な機能拡張の際に使用可能なセルの数を６５５３５個以上に増やすことも重要課題であることを確認できる。 With the graph of FIG. 9, it is visually shown in what execution situation and operating environment the user is using the application 22 or whether a predetermined function of the application 22 is operating according to the developer's plan in the user's usage situation. Can be confirmed and analyzed, and the direction of future function expansion can be clarified. For example, in the graph of FIG. 9, it can be confirmed that the application 22 has a very high rate of use of cells within 1000, but the rate of use of cells within 50000 to 65535 is also relatively high. I can confirm that. As a result, the user of the application analysis support apparatus 1 confirms that the number of users using the application 22 is overwhelmingly large, for example, using 1000 or less cells. It can be confirmed that increasing the number of usable cells to 65535 or more is also an important issue.
なお、この実施の形態においてアプリケーション２２の実行実績を表したグラフとしては、他には例えばアプリケーション２２をＩＭＥ（Input Method Editor）とした場合の入力機能や変換機能の利用状況などが考えられる。これにより、かな文字から漢字への変換の効率の確認や、辞書機能やレイアウト配置等の将来的な拡張、変更等の方向性を明確化できる。 In addition, as a graph showing the execution performance of the application 22 in this embodiment, for example, the use status of the input function and conversion function when the application 22 is an IME (Input Method Editor) can be considered. As a result, it is possible to confirm the conversion efficiency from kana characters to kanji, and to clarify the direction of future expansion, change, etc., such as dictionary function and layout arrangement.
図１０の（ａ）〜（ｄ）は、アプリケーション２２の動作環境を表したグラフのイメージ図である。同グラフは、ログファイル２５の動作環境データ群２３ａに基づいて形成された、アプリケーション２２の開発において分析する重要性の高い所定のデータを集計したものであり、同図（ａ）〜（ｄ）に示す円グラフは、テストに用いられているクライアント端末２における（ａ）使用されているＣＰＵの種類と各ＣＰＵの使用比率、（ｂ）使用されているメインメモリの容量と各メインメモリの使用比率、（ｃ）デフォルトブラウザの種類と各デフォルトブラウザの使用比率、（ｄ）ＯＳの種類と各ＯＳの使用比率、をそれぞれ示している。 10A to 10D are image diagrams of graphs showing the operating environment of the application 22. The graph is a summary of predetermined highly important data to be analyzed in the development of the application 22 formed based on the operating environment data group 23a of the log file 25. FIGS. The pie chart shown in FIG. 4A is (a) the type of CPU used and the usage ratio of each CPU in the client terminal 2 used in the test, and (b) the capacity of the main memory used and the usage of each main memory. (C) Default browser type and usage ratio of each default browser, (d) OS type and usage ratio of each OS.
図１０のグラフにより、テストに使用するＣＰＵ等のハードウェア環境やＯＳ等のソフトウェア環境を構築する際に参照価値の高い資料を提供できる。また、上記（ａ）〜（ｄ）に示すグラフ以外にも、ＯＳ言語、修正プログラムの使用状況、Ｗｅｂブラウザの使用状況、データベースアクセスのためのプログラム部品の使用状況、ＩＭＥのバージョン情報、ハードディスクフォーマット情報、ＣＰＵ等のハードウェアの製造元情報等をログフォルダ２３から取得してグラフを作成し、分析に用いることもできる。 The graph of FIG. 10 can provide materials with high reference value when building a hardware environment such as a CPU used for a test or a software environment such as an OS. In addition to the graphs shown in (a) to (d) above, the OS language, the usage status of the correction program, the usage status of the Web browser, the usage status of the program parts for accessing the database, the IME version information, the hard disk format It is also possible to acquire information, hardware manufacturer information such as a CPU from the log folder 23, create a graph, and use it for analysis.
以上、上記各実施の形態においては、ログフォルダ生成部２１が、アプリケーション２２に設けられたエントリポイント２４が実行されたときに、アプリケーション２２の所定の実行状態において取得される所定のデータ及び所定の実行状態において取得されるアプリケーション２２の動作環境に関する所定のデータのうち少なくとも何れか一方を取得することにより、アプリケーション２２の実行時における当該アプリケーション２２の動作環境や実行状況に関する多面的なデータを取得できる。そして、データ分析部１２が、ログフォルダ取得部１１が取得した所定のデータを複数取得してアプリケーション２２の実行状態及びアプリケーション２２の動作環境のうち少なくとも何れか一方についての分析を行うことにより、アプリケーション２２の多面的な分析が可能になる。 As described above, in each of the above embodiments, when the log folder generation unit 21 executes the entry point 24 provided in the application 22, the predetermined data acquired in the predetermined execution state of the application 22 and the predetermined data By acquiring at least one of the predetermined data regarding the operating environment of the application 22 acquired in the execution state, it is possible to acquire multifaceted data regarding the operating environment and execution status of the application 22 when the application 22 is executed. . Then, the data analysis unit 12 acquires a plurality of predetermined data acquired by the log folder acquisition unit 11 and analyzes at least one of the execution state of the application 22 and the operating environment of the application 22, thereby 22 multi-faceted analyzes are possible.
なお、上記各実施の形態においては、アプリケーション分析支援システム１Ａはアプリケーション分析支援装置１とクライアント端末２のクライアント・サーバシステムによって形成したが、スタンドアロンのコンピュータシステムによって形成してもよい。 In the above embodiments, the application analysis support system 1A is formed by the client / server system of the application analysis support device 1 and the client terminal 2, but may be formed by a stand-alone computer system.
また、上記各実施の形態においては、ログフォルダ生成部２１、ログフォルダ取得部１１、データ分析部１２をプログラムの実行結果による機能手段として形成したが、これらの一部又は全部をハードウェアロジックによって形成し、動作の高速化と安定化を図ってもよい。 Further, in each of the above embodiments, the log folder generation unit 21, the log folder acquisition unit 11, and the data analysis unit 12 are formed as functional means based on the execution results of the program. It may be formed to speed up and stabilize the operation.
上記実施の形態は本発明の例示であり、本発明が上記実施の形態に限定されることを意味するものではないことは、いうまでもない。 The above embodiment is an exemplification of the present invention, and it is needless to say that the present invention is not limited to the above embodiment.
１Ａ・・・アプリケーション分析支援システム
２、２１〜，２２，・・・，２ｎ・・・クライアント端末
１２・・・データ分析部（データ分析手段）
１３・・・データベース部（データ記憶手段）
１５・・・表示部（表示手段）
２１・・・ログフォルダ生成部（データ取得手段）
２２・・・アプリケーション
２４，２４１，・・・，２４７・・・エントリポイント
DESCRIPTION OF SYMBOLS 1A ... Application analysis support system 2, 2 1- , 2 2 , ..., 2 n ... Client terminal 12 ... Data analysis unit (data analysis means)
13 ... Database section (data storage means)
15 ... Display section (display means)
21... Log folder generation unit (data acquisition means)
22... Application 24, 24 1 ,..., 24 7.
Claims (8)
前記データ取得手段は、前記アプリケーションに設けられた、該アプリケーションが特定の実行状態であることを示すモジュールとしてのエントリポイントが実行されたときに、前記アプリケーションの所定の実行状態において取得される所定のデータ及び該所定の実行状態において取得される前記アプリケーションの動作環境に関する所定のデータのうち少なくとも何れか一方を取得し、
前記データ分析手段は前記データ取得手段が取得した前記所定のデータを複数取得して前記アプリケーションの実行状態及び前記アプリケーションの動作環境のうち少なくとも何れか一方についての分析を行うことを特徴とするアプリケーション分析支援システム。 Application analysis support comprising data acquisition means for acquiring data related to at least one of an application and a computer on which the application is installed, and data analysis means for performing predetermined analysis on the data acquired by the data acquisition means In the system,
The data acquisition unit is configured to execute a predetermined acquisition state in a predetermined execution state of the application when an entry point provided as a module indicating that the application is in a specific execution state is executed. Acquiring at least one of data and predetermined data related to the operating environment of the application acquired in the predetermined execution state;
The data analysis means acquires a plurality of the predetermined data acquired by the data acquisition means and performs analysis on at least one of the execution state of the application and the operating environment of the application Support system.
前記データ分析手段は前記データ取得手段が取得したデータに基づいて前記アプリケーションの動作環境についての分析を行うことを特徴とする請求項１又は２に記載のアプリケーション分析支援システム。 The data acquisition means is used as predetermined data relating to the operating environment of the application, a CPU used for execution of the application, a memory capacity used for execution of the application, and execution of the application OS, obtain data on at least one of the default browsers used to execute the application,
3. The application analysis support system according to claim 1, wherein the data analysis unit analyzes an operation environment of the application based on the data acquired by the data acquisition unit.
前記データ分析手段は、前記アプリケーションに設けられた全ての前記エントリポイントにおける前記所定のデータが取得されたか否かに関する分析を行うことを特徴とする請求項１乃至３の何れか一つに記載のアプリケーション分析支援システム。 The data acquisition means acquires the predetermined data at a plurality of entry points provided in one application,
The said data analysis means performs the analysis regarding whether the said predetermined data in all the said entry points provided in the said application was acquired, The one of Claim 1 thru | or 3 characterized by the above-mentioned. Application analysis support system.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007033584A JP2008197988A (en) | 2007-02-14 | 2007-02-14 | Application analysis support system and program |
| PCT/JP2008/052349 WO2008099848A1 (en) | 2007-02-14 | 2008-02-13 | Application analysis support system and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007033584A JP2008197988A (en) | 2007-02-14 | 2007-02-14 | Application analysis support system and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008197988A true JP2008197988A (en) | 2008-08-28 |
Family
ID=39690076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007033584A Pending JP2008197988A (en) | 2007-02-14 | 2007-02-14 | Application analysis support system and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2008197988A (en) |
| WO (1) | WO2008099848A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011070245A (en) * | 2009-09-24 | 2011-04-07 | Hitachi Solutions Ltd | Application use state measurement system |
| JP2019185711A (en) * | 2018-04-17 | 2019-10-24 | オニコム株式会社 | Application performance monitoring device and method |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120117227A1 (en) * | 2010-11-10 | 2012-05-10 | Sony Corporation | Method and apparatus for obtaining feedback from a device |
| CN112181442B (en) * | 2019-06-17 | 2023-05-16 | 腾讯科技（深圳）有限公司 | Unloading page display method, device, terminal, server and storage medium |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0546435A (en) * | 1991-08-19 | 1993-02-26 | Matsushita Electric Ind Co Ltd | Method and device for automatic test |
| JPH06161825A (en) * | 1992-11-20 | 1994-06-10 | Toshiba Corp | Test coverage measuring instrument for software program |
| JPH06195242A (en) * | 1992-12-25 | 1994-07-15 | Hitachi Ltd | Comfirmation method for travel step of program |
| JPH11224211A (en) * | 1998-02-06 | 1999-08-17 | Fuji Xerox Co Ltd | Software inspection support device |
| JP2005038152A (en) * | 2003-07-14 | 2005-02-10 | Sony Corp | Method of providing operation information for application software, information terminal device, and method of processing operation information for application software |
| JP2005234987A (en) * | 2004-02-20 | 2005-09-02 | Toshiba Microelectronics Corp | Development source server, software trouble responding system and software trouble responding method |
| JP4021874B2 (en) * | 2004-06-04 | 2007-12-12 | 新日鉄ソリューションズ株式会社 | Fault management device |
| US7681181B2 (en) * | 2004-09-30 | 2010-03-16 | Microsoft Corporation | Method, system, and apparatus for providing custom product support for a software program based upon states of program execution instability |
-
2007
- 2007-02-14 JP JP2007033584A patent/JP2008197988A/en active Pending
-
2008
- 2008-02-13 WO PCT/JP2008/052349 patent/WO2008099848A1/en active Application Filing
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011070245A (en) * | 2009-09-24 | 2011-04-07 | Hitachi Solutions Ltd | Application use state measurement system |
| JP2019185711A (en) * | 2018-04-17 | 2019-10-24 | オニコム株式会社 | Application performance monitoring device and method |
| JP7170256B2 (en) | 2018-04-17 | 2022-11-14 | オニコム株式会社 | App performance monitoring device and method |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2008099848A1 (en) | 2008-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gil et al. | On the correlation between size and metric validity | |
| JP5018768B2 (en) | Applied patch sorting apparatus and applied patch sorting method | |
| Chillarege | Orthogonal defect classification | |
| Do et al. | Supporting controlled experimentation with testing techniques: An infrastructure and its potential impact | |
| Hassan et al. | Using decision trees to predict the certification result of a build | |
| US11055153B2 (en) | Quantification of compute performance across multiple independently executed microservices with a state machine supported workflow graph | |
| US20120102458A1 (en) | Generating documentation from tests | |
| CA2701969A1 (en) | Systems and methods for identifying a relationship between multiple interrelated applications in a mainframe environment | |
| US8448147B2 (en) | Heterogenic Coverage Analysis | |
| Mäder et al. | Enabling automated traceability maintenance through the upkeep of traceability relations | |
| US20130205280A1 (en) | Debugging code visually on a canvas | |
| EP3470988A1 (en) | Method for replicating production behaviours in a development environment | |
| Langhammer et al. | Automated extraction of rich software models from limited system information | |
| Wang et al. | Analyzing and predicting software integration bugs using network analysis on requirements dependency network | |
| US20130152042A1 (en) | Automated and heuristically managed solution to quantify cpu and path length cost of instructions added, changed or removed by a service team | |
| Laranjeiro et al. | A robustness testing approach for SOAP Web services | |
| Mansoury et al. | Automating recommender systems experimentation with librec-auto | |
| JP2008197988A (en) | Application analysis support system and program | |
| Samalikova et al. | Toward objective software process information: experiences from a case study | |
| Brown et al. | Reducing the cost of it operations-is automation always the answer? | |
| Decan et al. | On the outdatedness of workflows in the GitHub Actions ecosystem | |
| Vince et al. | The effect of hoisting on variants of Hierarchical Delta Debugging | |
| Fedorova et al. | Performance comprehension at WiredTiger | |
| Smith et al. | Slicing event traces of large software systems | |
| Devine et al. | An empirical study of pre-release software faults in an industrial product line |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080604 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080604 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090202 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090331 |