JP2021135541A - Model generator, model generation method, and model generation program - Google Patents

Model generator, model generation method, and model generation program Download PDF

Info

Publication number
JP2021135541A
JP2021135541A JP2020028749A JP2020028749A JP2021135541A JP 2021135541 A JP2021135541 A JP 2021135541A JP 2020028749 A JP2020028749 A JP 2020028749A JP 2020028749 A JP2020028749 A JP 2020028749A JP 2021135541 A JP2021135541 A JP 2021135541A
Authority
JP
Japan
Prior art keywords
program
model
history information
operation history
abnormality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020028749A
Other languages
Japanese (ja)
Inventor
秀朗 伊藤
Hideo Ito
秀朗 伊藤
万寿実 小関
Masumi Koseki
万寿実 小関
菜月 小宮
Natsuki Komiya
菜月 小宮
久視 堀田
Hisami Hotta
久視 堀田
康之 鈴木
Yasuyuki Suzuki
康之 鈴木
信治 伊藤
Shinji Ito
信治 伊藤
健人 滝澤
Kento Takizawa
健人 滝澤
敏幸 草刈
Toshiyuki Kusakari
敏幸 草刈
洋行 佐藤
Hiroyuki Sato
洋行 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020028749A priority Critical patent/JP2021135541A/en
Publication of JP2021135541A publication Critical patent/JP2021135541A/en
Pending legal-status Critical Current

Links

Images

Abstract

To provide a model generator, a model generation method and a model generation program for generating a model to detect a point that is "different from a usual trend" in the time series of a business index that behaves unsteadily.SOLUTION: Provided is a model generator for generating a model to detect abnormality of business that is realized by a program that an analysis object system executes. The model generator: holds operation history information that indicates the program executed by the analysis object system and a time point when the program was executed, and starting work information that indicates starting work which can be a starting point of one or more programs, among the programs executable by the analysis object system, that execute a series of processes; divides the programs rearranged in sequence of time points indicated by the operation history information into program groups that begin with starting work; and calculates, for at least some of the program groups, the time-series data of statistical quantity in the operation history information that indicates an operating state, as said model.SELECTED DRAWING: Figure 4

Description

本発明は、モデル生成装置、モデル生成方法、及びモデル生成プログラムに関する。 The present invention relates to a model generator, a model generator, and a model generator.

企業は自社業務を効率的に推進するためにITシステムを導入してきた。業務は企業の内外環境に合わせてしばしば変化し、業務とITシステムの間にギャップが生じると、システムが業務の阻害要因になる可能性がある。当該ギャップの例として、ITシステムが帳票を旧フォーマットでしか出力できないために、職員が新フォーマットに人手で転記したり、法制度などが変更され使われなくなった必須入力項目が旧フォーマットに残存していたりする例がある。そのため、システムを運用保守するシステムエンジニアは業務分析を実施することで、業務の変化を捉え、システムを業務に追随させる必要がある。 Companies have introduced IT systems to promote their business efficiently. Businesses often change according to the internal and external environment of the company, and if there is a gap between the business and the IT system, the system can become a hindrance to the business. As an example of this gap, because the IT system can only output the form in the old format, the staff manually posted it to the new format, and the required input items that are no longer used due to changes in the legal system etc. remain in the old format. There is an example of being there. Therefore, the system engineer who operates and maintains the system needs to grasp the change in the business by performing the business analysis and make the system follow the business.

業務分析においてITシステムの稼働履歴情報を分析する技術として、特開2008−225814号公報(特許文献1)及び特開2008−146591号公報(特許文献2)がある。特許文献1に記載の技術は、業務データベースの更新履歴情報を元に作業フローを可視化するとともに、分析期間を指定した上で各作業の作業量を可視化する。特許文献2に記載の技術は、コンピュータの監視項目の時系列データからコンピュータの異常を検知する。 As a technique for analyzing the operation history information of an IT system in business analysis, there are Japanese Patent Application Laid-Open No. 2008-225814 (Patent Document 1) and Japanese Patent Application Laid-Open No. 2008-146591 (Patent Document 2). The technique described in Patent Document 1 visualizes the work flow based on the update history information of the business database, and also visualizes the work amount of each work after designating the analysis period. The technique described in Patent Document 2 detects an abnormality in a computer from time-series data of monitoring items of the computer.

特開2008−225814号公報Japanese Unexamined Patent Publication No. 2008-225814 特開2008−146591号公報Japanese Unexamined Patent Publication No. 2008-146591

特許文献1に記載の技術において、可視化した作業量の時系列グラフから「いつもの傾向と異なる」などの変化を捉えるのは、特許文献1に記載の装置の利用者に一任されている。また、分析の対象となる業務数が多くなれば利用者が目を通す時系列グラフも当然多くなるが、特許文献1は、分析を効率的に実施する施策を開示していない。また、一般的な業務データベースの更新履歴情報はプログラムレベルで出力される。システムの利用者の作業に直接由来する処理と、当該作業に伴うアプリケーション内部処理とを識別し、予め前者だけを抽出するなどの前処理が実際には必要であるが、特許文献1ではこのような前処理が考慮されていない。 In the technique described in Patent Document 1, it is left to the user of the apparatus described in Patent Document 1 to capture changes such as "different from the usual tendency" from the visualized time series graph of the amount of work. In addition, as the number of operations to be analyzed increases, the number of time-series graphs that users read naturally increases, but Patent Document 1 does not disclose measures for efficiently performing analysis. In addition, update history information of a general business database is output at the program level. Preprocessing such as identifying the processing directly derived from the work of the system user and the internal processing of the application associated with the work and extracting only the former in advance is actually required. Pretreatment is not considered.

特許文献2に記載の技術は、各監視項目の時系列データは定常的であることが暗黙的に前提とされている。一般に、企業における様々な業務の作業量などの時系列データは、季節性などの時系列特性を有するために、非定常的な振舞いを示すことが多い。従って、特許文献2に記載の技術は、このような時系列データに対して、「いつもの傾向と異なる」箇所、即ち異常を適切に検知できない。 The technique described in Patent Document 2 implicitly assumes that the time series data of each monitoring item is stationary. In general, time-series data such as the amount of work of various operations in a company often shows non-stationary behavior because it has time-series characteristics such as seasonality. Therefore, the technique described in Patent Document 2 cannot appropriately detect a portion "different from the usual tendency", that is, an abnormality in such time series data.

そこで、本発明の一態様は、非定常的な振舞いをする業務指標の時系列において「いつもの傾向と異なる」箇所を検知するためのモデルを生成することを目的とする。 Therefore, one aspect of the present invention is to generate a model for detecting a portion "different from the usual tendency" in the time series of the business index having non-stationary behavior.

上記課題を解決するために本発明の一態様は以下の構成を採用する。分析対象システムが実行するプログラムによって実現される業務の異常を検知するためのモデル、を生成するモデル生成装置であって、プロセッサとメモリとを含み、前記メモリは、前記分析対象システムが実行したプログラムと、前記プログラムが実行された時刻と、を示す稼働履歴情報と、前記分析対象システムが実行可能なプログラムのうち、一連の処理を実行する1以上のプログラムの起点となり得るプログラムである開始作業を示す開始作業情報と、を保持し、前記プロセッサは、前記稼働履歴情報が示す時刻の順序に並び替えられたプログラムを、前記開始作業を先頭とするプログラム群に分割し、前記プログラム群に含まれる少なくとも一部のプログラム群について、前記稼働履歴情報における稼働状況を示す統計量である業務指標の時系列データを、前記モデルとして算出する、モデル生成装置。 In order to solve the above problems, one aspect of the present invention adopts the following configuration. A model generator that generates a model for detecting business abnormalities realized by a program executed by the analysis target system, including a processor and a memory, and the memory is a program executed by the analysis target system. And the operation history information indicating the time when the program was executed, and the start work which is a program that can be the starting point of one or more programs that execute a series of processes among the programs that can be executed by the analysis target system. Retaining the start work information shown, the processor divides the programs rearranged in the order of the time indicated by the operation history information into a program group starting with the start work, and includes the programs in the program group. A model generator that calculates time-series data of business indicators, which are statistics indicating the operation status in the operation history information, as the model for at least a part of the program group.

本発明の一態様によれば、非定常的な振舞いをする業務指標の時系列グラフにおいて「いつもの傾向と異なる」箇所を検知するためのモデルを生成することができる。 According to one aspect of the present invention, it is possible to generate a model for detecting a portion "different from the usual tendency" in a time series graph of a business index having non-stationary behavior.

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。 Issues, configurations and effects other than those described above will be clarified by the following description of the embodiments.

実施例1における業務異常検知システムの構成例を示すブロック図である。It is a block diagram which shows the configuration example of the business abnormality detection system in Example 1. FIG. 実施例1における業務異常検知装置の機能構成例を示すブロック図である。It is a block diagram which shows the functional structure example of the business abnormality detection apparatus in Example 1. FIG. 実施例1における稼働履歴情報の一例である。This is an example of operation history information in the first embodiment. 実施例1における稼働履歴情報抽象化処理の一例を示すフローチャートである。It is a flowchart which shows an example of the operation history information abstraction process in Example 1. FIG. 実施例1における開始作業情報抽出処理の一例を示すフローチャートである。It is a flowchart which shows an example of the start work information extraction processing in Example 1. FIG. 実施例1におけるテーブル形式の遷移情報の一例である。This is an example of the transition information in the table format in the first embodiment. 実施例1におけるグラフ形式の遷移情報の一例である。This is an example of transition information in graph format in the first embodiment. 実施例1における実行プログラム間関連情報の一例である。This is an example of information related to the execution programs in the first embodiment. 実施例1における開始作業情報の一例である。This is an example of start work information in the first embodiment. 実施例1における並び替えられたレコード群を分割する処理の一例を示す説明図である。It is explanatory drawing which shows an example of the process of dividing the sorted record group in Example 1. FIG. 実施例1における抽象稼働履歴情報の一例である。This is an example of abstract operation history information in the first embodiment. 実施例1における業務指標時系列データ生成処理の一例を示すフローチャートである。It is a flowchart which shows an example of the business index time series data generation processing in Example 1. FIG. 実施例1における実務作業「B」の作業時間の日別平均を示すテーブルである。It is a table which shows the daily average of the working hours of the practical work "B" in Example 1. 実施例1における実務作業「B」の作業回数の日別合計を示すテーブルである。It is a table which shows the daily total of the number of times of work of the practical work "B" in Example 1. 実施例1における推定時系列データ生成処理の一例を示すフローチャートである。It is a flowchart which shows an example of the estimated time series data generation processing in Example 1. FIG. 実施例1における異常判定処理の一例を示すフローチャートである。It is a flowchart which shows an example of the abnormality determination processing in Example 1. FIG. 実施例1における業務異常の表示画面の一例である。This is an example of a business abnormality display screen in the first embodiment.

以下、本発明の実施形態を図面に基づいて詳細に説明する。本実施形態において、同一の構成には原則として同一の符号を付け、繰り返しの説明は省略する。なお、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, in principle, the same components are designated by the same reference numerals, and the repeated description will be omitted. It should be noted that the present embodiment is merely an example for realizing the present invention and does not limit the technical scope of the present invention.

図1は、業務異常検知システムの構成例を示すブロック図である。業務異常検知システムは、分析対象システム100と業務異常検知装置300を含む。分析対象システム100は、業務分析の対象となるIT(Information Technology)システムであり、例えば、受発注管理システム、請求書発行システム、販売管理システム、在庫管理システム、経理/財務システム、又は店舗管理システム等である。 FIG. 1 is a block diagram showing a configuration example of a business abnormality detection system. The business abnormality detection system includes an analysis target system 100 and a business abnormality detection device 300. The analysis target system 100 is an IT (Information Technology) system that is a target of business analysis, and is, for example, an ordering management system, an invoicing system, a sales management system, an inventory management system, an accounting / financial system, or a store management system. And so on.

分析対象システム100は、ユーザによって操作される複数の端末102とサーバ104とを含む。端末102それぞれは、通信ネットワーク103(例えば、インターネット、公衆通信網、又は専用回線等)を介してサーバ104と通信可能に接続されている。サーバ104は、プログラムを実行し、通信ネットワーク103を介してサービス(業務)を端末102に提供する。 The analysis target system 100 includes a plurality of terminals 102 and a server 104 operated by the user. Each of the terminals 102 is communicably connected to the server 104 via a communication network 103 (for example, the Internet, a public communication network, or a dedicated line). The server 104 executes a program and provides a service (business) to the terminal 102 via the communication network 103.

サーバ104は、サービスの提供に際して生成される、サーバ104の稼働履歴を示す稼働履歴情報200を管理する。業務異常検知装置300は、サーバ104が生成した稼働履歴情報200に基づいて分析対象システム100を分析し、分析対象システム100における業務の変化に関する情報を取得する。 The server 104 manages the operation history information 200 indicating the operation history of the server 104, which is generated when the service is provided. The business abnormality detection device 300 analyzes the analysis target system 100 based on the operation history information 200 generated by the server 104, and acquires information on changes in business in the analysis target system 100.

業務異常検知装置300は、例えば、プロセッサ11、メモリ12、補助記憶装置13、入力装置14、出力装置15、及び通信装置16を含む計算機によって構成される。なお、図示しないが、これらはバスなどの通信手段を介して互いに通信可能に接続されている。 The business abnormality detection device 300 includes, for example, a computer including a processor 11, a memory 12, an auxiliary storage device 13, an input device 14, an output device 15, and a communication device 16. Although not shown, these are connected to each other so as to be able to communicate with each other via a communication means such as a bus.

プロセッサ11は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)によって構成される。プロセッサ11が、メモリ12に格納されているプログラムを実行することにより、業務異常検知装置300の様々な機能が実現される。 The processor 11 is composed of, for example, a CPU (Central Processing Unit) and an MPU (Micro Processing Unit). When the processor 11 executes the program stored in the memory 12, various functions of the business abnormality detection device 300 are realized.

メモリ12は、プログラムやデータを記憶する。メモリ12は、例えば、不揮発性の記憶素子であるROM(Read Only Memory)及び不揮発性半導体メモリ(NVRAM(Non Volatile RAM))、並びに揮発性の記憶素子であるRAM(Random Access Memory)等を含む。 The memory 12 stores programs and data. The memory 12 includes, for example, a ROM (Read Only Memory) which is a non-volatile storage element, a non-volatile semiconductor memory (NVRAM (Non Volatile RAM)), a RAM (Random Access Memory) which is a volatile storage element, and the like. ..

ROMは、不変のプログラム(例えば、BIOS(Basic Input/Output System))などを格納する。RAMは、DRAM(Dynamic Random Access Memory)のような高速かつ揮発性の記憶素子であり、プロセッサ11が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。 The ROM stores an invariant program (for example, BIOS (Basic Input / Output System)) and the like. The RAM is a high-speed and volatile storage element such as a DRAM (Dynamic Random Access Memory), and temporarily stores a program executed by the processor 11 and data used when the program is executed.

補助記憶装置13は、例えば、ハードディスクドライブ、SSD(Solid State Drive)、光学式記憶装置(CD(Compact Disc)、DVD(Digital Versatile Disc)等)、ストレージシステム、ICカード、SDメモリカードや光学式記録媒体等の記録媒体の読取/書込装置、クラウドサーバの記憶領域等の大容量かつ不揮発性の記憶装置であり、プロセッサ11が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。 The auxiliary storage device 13 includes, for example, a hard disk drive, an SSD (Solid State Drive), an optical storage device (CD (Compact Disc), DVD (Digital Versaille Disc), etc.), a storage system, an IC card, an SD memory card, or an optical type. It is a large-capacity, non-volatile storage device such as a reading / writing device for a recording medium such as a recording medium and a storage area for a cloud server, and stores a program executed by the processor 11 and data used when the program is executed.

すなわち、プログラムは、補助記憶装置13から読み出されて、メモリ12にロードされて、プロセッサ11によって実行される。なお、補助記憶装置13は、例えば、ネットワークストレージのように通信手段を介して、業務異常検知装置300に接続されるものであってもよい。 That is, the program is read from the auxiliary storage device 13, loaded into the memory 12, and executed by the processor 11. The auxiliary storage device 13 may be connected to the business abnormality detection device 300 via a communication means such as network storage.

業務異常検知装置300は、入力インタフェース及び出力インタフェースを有してもよく、入力インタフェースには例えば、キーボード、マウス、タッチパネル、及び可搬型記録媒体の読取装置等の外部入力を受け付けるユーザインタフェースである入力装置14が接続される。 The business abnormality detection device 300 may have an input interface and an output interface, and the input interface is an input that is a user interface that accepts external inputs such as a keyboard, a mouse, a touch panel, and a reader of a portable recording medium. The device 14 is connected.

出力インタフェースには、例えば、画面表示装置(LCD(Liquid Crystal Display)、グラフィックカード等)、印字装置、可搬型記録媒体の書込装置等の、プログラムの実行経過や実行結果等の各種情報を出力するユーザインタフェースである出力装置15が接続される。 The output interface outputs various information such as program execution progress and execution results of, for example, a screen display device (LCD (Liquid Crystal Display), graphic card, etc.), a printing device, a writing device for a portable recording medium, and the like. The output device 15 which is the user interface to be used is connected.

なお、業務異常検知装置300は、例えば、通信装置16を介して他の装置との間で情報の入出力を行ってもよい、即ち通信装置16が入力装置14や出力装置15として機能してもよい。通信装置16は、所定のプロトコルに従って、他の装置との通信を制御する有線方式又は無線方式の通信インタフェースであり、例えば、NIC(Network Interface Card)や無線通信モジュール等である。 The business abnormality detection device 300 may input / output information to / from another device via the communication device 16, that is, the communication device 16 functions as an input device 14 or an output device 15. May be good. The communication device 16 is a wired or wireless communication interface that controls communication with another device according to a predetermined protocol, and is, for example, a NIC (Network Interface Card), a wireless communication module, or the like.

プロセッサ11が実行するプログラムは、リムーバブルメディア(CD−ROM、フラッシュメモリなど)又はネットワークを介して業務異常検知装置300に提供され、非一時的記憶媒体である不揮発性の補助記憶装置13に格納される。このため、業務異常検知装置300は、リムーバブルメディアからデータを読み込むインタフェースを有するとよい。 The program executed by the processor 11 is provided to the business abnormality detection device 300 via a removable medium (CD-ROM, flash memory, etc.) or a network, and is stored in the non-volatile auxiliary storage device 13 which is a non-temporary storage medium. NS. Therefore, the business abnormality detection device 300 may have an interface for reading data from the removable media.

なお、図示を省略しているが、端末102及びサーバ104も、業務異常検知装置300と同様に、例えば、プロセッサ、メモリ、補助記憶装置、入力装置、出力装置、及び通信装置を含む計算機によって構成される。 Although not shown, the terminal 102 and the server 104 are also configured by a computer including, for example, a processor, a memory, an auxiliary storage device, an input device, an output device, and a communication device, similarly to the business abnormality detection device 300. Will be done.

なお、業務異常検知システムに含まれる各装置は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。 Each device included in the business abnormality detection system is a computer system composed of physically one computer or a plurality of computers logically or physically configured, and is on the same computer. It may run in a separate thread, or it may run on a virtual computer built on multiple physical computer resources.

図2は、業務異常検知装置300の機能構成例を示すブロック図である。業務異常検知装置300は、例えば、それぞれ機能部であり、プロセッサ11に含まれる、稼働履歴情報抽象化部310と、業務指標時系列データ生成部320と、推定時系列データ生成部340と、異常判定部350と、を有する。 FIG. 2 is a block diagram showing a functional configuration example of the business abnormality detection device 300. The business abnormality detection device 300 is, for example, a functional unit, and includes an operation history information abstraction unit 310, a business index time series data generation unit 320, an estimated time series data generation unit 340, and an abnormality included in the processor 11. It has a determination unit 350 and.

稼働履歴情報抽象化部310は、分析対象システム100の稼働履歴情報200について、実行プログラムの粒度で出力される稼働履歴情報200を、分析対象システム100の利用者の作業の粒度に抽象化する。 The operation history information abstraction unit 310 abstracts the operation history information 200 output at the granularity of the execution program for the operation history information 200 of the analysis target system 100 to the granularity of the work of the user of the analysis target system 100.

業務指標時系列データ生成部320は、稼働履歴情報抽象化部310が抽象化した稼働履歴情報に基づいて、業務の稼働状況を示す指標である業務指標の時系列データを生成する。推定時系列データ生成部340は、業務指標時系列データに基づいて、業務指標の推定時系列データを生成する。異常判定部350は、推定時系列データ生成部340が生成した推定時系列データと、業務指標時系列データ生成部320が生成した業務指標時系列データと、を比較して業務異常の有無を判定する。 The business index time-series data generation unit 320 generates time-series data of the business index, which is an index indicating the business operation status, based on the operation history information abstracted by the operation history information abstraction unit 310. The estimated time series data generation unit 340 generates the estimated time series data of the business index based on the business index time series data. The abnormality determination unit 350 compares the estimated time series data generated by the estimated time series data generation unit 340 with the business index time series data generated by the business index time series data generation unit 320 to determine the presence or absence of a business abnormality. do.

例えば、プロセッサ11は、メモリ12にロードされた稼働履歴情報抽象化プログラムに従って動作することで、稼働履歴情報抽象化部310として機能し、メモリ12にロードされた業務指標時系列データ生成プログラムに従って動作することで、業務指標時系列データ生成部320として機能する。プロセッサ11に含まれる他の機能部とプログラムとの関係も同様である。 For example, the processor 11 functions as the operation history information abstraction unit 310 by operating according to the operation history information abstraction program loaded in the memory 12, and operates according to the business index time series data generation program loaded in the memory 12. By doing so, it functions as a business index time-series data generation unit 320. The same applies to the relationship between the program and other functional units included in the processor 11.

なお、業務異常検知装置300に含まれる機能部による機能の一部又は全部が、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field−Programmable Gate Array)等のハードウェアによって実現されてもよい。 In addition, a part or all of the functions by the functional part included in the business abnormality detection apparatus 300 may be realized by hardware such as ASIC (Application Specific Integrated Circuit) and FPGA (Field-Programmable Gate Array).

また、業務指標時系列データ330を保持する。業務指標時系列データ330は、メモリ12又は補助記憶装置13に格納されている。業務指標時系列データ330は、業務指標時系列データ生成部320が生成した業務指標時系列データを保持する。 It also holds business index time series data 330. The business index time series data 330 is stored in the memory 12 or the auxiliary storage device 13. The business index time series data 330 holds the business index time series data generated by the business index time series data generation unit 320.

図3は、稼働履歴情報200の一例である。本実施形態において、業務異常検知システムが使用する情報は、データ構造に依存せずどのようなデータ構造で表現されていてもよい。本実施形態ではテーブル形式で情報が表現されているが、例えば、リスト、データベース又はキューから適切に選択したデータ構造体が、情報を格納することができる。
稼働履歴情報200は、分析対象システム100のユーザが端末102を用いた操作を起点に、サーバ104内で実行されたプログラムの実行履歴を示す。
FIG. 3 is an example of the operation history information 200. In the present embodiment, the information used by the business abnormality detection system may be represented by any data structure regardless of the data structure. In this embodiment, the information is expressed in a table format, but for example, a data structure appropriately selected from a list, a database, or a queue can store the information.
The operation history information 200 shows the execution history of the program executed in the server 104 starting from the operation by the user of the analysis target system 100 using the terminal 102.

図3は、稼働履歴情報200の一例である。稼働履歴情報200は、例えば、ユーザ欄201、セッション欄202、実行プログラム欄203、及び時刻欄204を含む。ユーザ欄201は、セッションが実行されたときに端末102を操作したユーザを識別する識別子を保持する。セッション欄202は、実行されたセッションを識別する識別子を保持する。実行プログラム欄203は、実行されたプログラムの識別子を保持する。時刻欄204は、実行プログラム欄203が示すプログラムが実行された時刻204を保持する。 FIG. 3 is an example of the operation history information 200. The operation history information 200 includes, for example, a user column 201, a session column 202, an execution program column 203, and a time column 204. The user field 201 holds an identifier that identifies the user who operated the terminal 102 when the session was executed. The session field 202 holds an identifier that identifies the session that was executed. The execution program column 203 holds the identifier of the executed program. The time field 204 holds the time 204 when the program indicated by the execution program field 203 is executed.

セッションは、同じユーザによる一連の操作によって実行されたプログラムからなる。つまり、セッションは同じユーザの操作に基づいて連続して実行される1以上のプログラムからなる。従って、セッションを実行する起点となる入力をするユーザが異なれば、セッション識別子が異なるものとする。セッション識別子は、ユーザが端末102を用いてサーバ104に対してサービス提供依頼した際に、サーバ104によって付与される。セッションは、Webアプリケーションシステムのように、複数のユーザが同時に利用するサービスにおいて、個々のユーザのサービス提供依頼を管理する機構として一般的である。 A session consists of a program executed by a series of operations by the same user. That is, a session consists of one or more programs that are executed consecutively based on the operation of the same user. Therefore, if the input user that is the starting point for executing the session is different, the session identifier will be different. The session identifier is assigned by the server 104 when the user requests the server 104 to provide a service by using the terminal 102. A session is generally used as a mechanism for managing service provision requests of individual users in a service used by a plurality of users at the same time, such as a Web application system.

図4は、稼働履歴情報抽象化処理の一例を示すフローチャートである。稼働履歴情報抽象化処理は任意のタイミングで開始してよく、具体的には、例えば、定期的に(例えば、分析対象システム100の始業前に日次で)開始してもよいし、業務異常検知装置300の利用者が利用を開始したタイミングで開始してもよい。 FIG. 4 is a flowchart showing an example of the operation history information abstraction process. The operation history information abstraction process may be started at an arbitrary timing, and specifically, for example, it may be started periodically (for example, daily before the start of the analysis target system 100), or a business abnormality. It may be started at the timing when the user of the detection device 300 starts using it.

まず、稼働履歴情報抽象化部310は、サーバ104から送信された稼働履歴情報200から開始作業情報を抽出する(S110)。開始作業は、作業と作業の切れ目となる(一連の処理を実行するための1以上のプログラムの起点となり得る)実行プログラムであり、例えば業務メニューを呼び出すプログラムなどが挙げられる。 First, the operation history information abstraction unit 310 extracts start work information from the operation history information 200 transmitted from the server 104 (S110). The start work is an execution program (which can be the starting point of one or more programs for executing a series of processes) that is a break between the works, and examples thereof include a program that calls a business menu.

図5は、ステップS110における開始作業情報抽出処理の一例を示すフローチャートである。稼働履歴情報抽象化部310は、稼働履歴情報200に含まれるセッションのうち未選択のセッションを1つ選択し、セッション欄202の値が選択したセッションであるレコードを抽出する(S111)。 FIG. 5 is a flowchart showing an example of the start work information extraction process in step S110. The operation history information abstraction unit 310 selects one unselected session from the sessions included in the operation history information 200, and extracts a record in which the value in the session column 202 is the selected session (S111).

稼働履歴情報抽象化部310は、ステップS111で抽出したレコードを時刻204欄が示す時刻の昇順に並び替え(S112)、遷移情報を抽出して更新する(S113)。遷移情報とは、レコード群における実行プログラム欄203が示すプログラムのステップS112で並び替えによって得られる実行順序のことである。 The operation history information abstraction unit 310 sorts the records extracted in step S111 in ascending order of the time indicated by the time 204 column (S112), extracts the transition information, and updates it (S113). The transition information is an execution order obtained by sorting in step S112 of the program indicated by the execution program column 203 in the record group.

図6A及び図6Bは遷移情報の一例である。図6Aはテーブル形式の遷移情報の一例であり、図6Bはグラフ形式の遷移情報の一例である。ステップS112において並び替えられたレコード群において、プログラムAの次にプログラムBが実行されていたとする。このとき、図6Aのテーブル形式で遷移情報が記憶されるのであれば、稼働履歴情報抽象化部310は、図6Aのテーブルの1行目のように遷移前の実行プログラムとしてプログラムAを、遷移後の実行プログラムとしてプログラムBを対応付けて格納する。また、このとき、図6Aのグラフ形式で遷移情報が記憶されるのであれば、稼働履歴情報抽象化部310は、プログラムAを示すノードとプログラムBを示すノードとを生成し、プログラムAを示すノードからプログラムBを示すノードへのエッジを生成する。 6A and 6B are examples of transition information. FIG. 6A is an example of transition information in a table format, and FIG. 6B is an example of transition information in a graph format. It is assumed that the program B is executed next to the program A in the record group sorted in step S112. At this time, if the transition information is stored in the table format of FIG. 6A, the operation history information abstraction unit 310 transitions the program A as the execution program before the transition as in the first row of the table of FIG. 6A. Program B is associated and stored as a later execution program. Further, at this time, if the transition information is stored in the graph format of FIG. 6A, the operation history information abstraction unit 310 generates a node indicating the program A and a node indicating the program B, and indicates the program A. Generate an edge from the node to the node showing program B.

稼働履歴情報抽象化部310は、稼働履歴情報200内に未選択のセッションがあるかを判定する(S114)。稼働履歴情報抽象化部310は、未選択のセッションがあると判定した場合(S114:YES)、ステップS111に戻り、新たに選択したセッションについて、ステップS112及びステップS113の処理を実行する。 The operation history information abstraction unit 310 determines whether or not there is an unselected session in the operation history information 200 (S114). When the operation history information abstraction unit 310 determines that there is an unselected session (S114: YES), the operation history information abstraction unit 310 returns to step S111 and executes the processes of steps S112 and S113 for the newly selected session.

稼働履歴情報抽象化部310は、稼働履歴情報200の全てのセッションを選択済みであるか場合(S114:NO)、遷移情報に含まれる各実行プログラムについて、遷移前の実行プログラムの種類数と遷移後の実行プログラムの種類数と、を集計する(S115)。以下、実行プログラムそれぞれに対して、遷移前の実行プログラムの種類数と遷移後の実行プログラムの種類数と、を示すこの情報を実行プログラム間関連情報とも呼ぶ。 When all the sessions of the operation history information 200 have been selected (S114: NO), the operation history information abstraction unit 310 indicates the number of types of execution programs before the transition and the transition for each execution program included in the transition information. The number of types of execution programs to be executed later and the number of types are totaled (S115). Hereinafter, this information indicating the number of types of execution programs before the transition and the number of types of execution programs after the transition for each execution program is also referred to as inter-execution program-related information.

図7は、実行プログラム間関連情報の一例である。図6Bの遷移情報によれば、例えば、プログラムAからはプログラムB、プログラムC、又はプログラムDのいずれかに遷移可能である。従って、図7の実行プログラム間関連情報において、プログラムAの遷移後のプログラムの種類数は3である。 FIG. 7 is an example of information related to the execution programs. According to the transition information of FIG. 6B, for example, the transition from the program A to the program B, the program C, or the program D is possible. Therefore, in the inter-execution program-related information in FIG. 7, the number of program types after the transition of the program A is 3.

また、図6Bの遷移情報によれば、プログラムAへと遷移可能なプログラムはプログラムS及びプログラムGである。従って、従って、図7の実行プログラム間関連情報において、プログラムAの遷移前のプログラムの種類数は2である。 Further, according to the transition information of FIG. 6B, the programs that can transition to the program A are the program S and the program G. Therefore, in the inter-execution program-related information in FIG. 7, the number of program types before the transition of the program A is 2.

図5の説明に戻る。ステップS115に続いて、稼働履歴情報抽象化部310は、実行プログラム間関連情報から遷移前及び遷移後の実行プログラムの種類数がともに1より大きい実行プログラムを抽出する(S116)。最後に、稼働履歴情報抽象化部310は、ステップS116で抽出した実行プログラムの出現順序及びプロセス(処理)モデルから、ステップS116で抽出した実行プログラムに順序情報を付与する(S117)。 Returning to the description of FIG. Following step S115, the operation history information abstraction unit 310 extracts an execution program in which the number of types of execution programs before and after the transition is greater than 1 from the information related to the execution programs (S116). Finally, the operation history information abstraction unit 310 adds order information to the execution program extracted in step S116 from the appearance order and process (processing) model of the execution program extracted in step S116 (S117).

ITシステムのログなどの稼働履歴データからプロセスモデルを推定する手法はプロセスマイニングと呼ばれ、例えば、α(アルファ)アルゴリズムが良く知られている。稼働履歴情報抽象化部310は、ステップS116で抽出した実行プログラムの処理構造(並列に処理される、分岐している等)を、上記プロセスモデルを用いて明らかにすることができるため、ステップS116で抽出した実行プログラムの順序関係を抽出することができる。 The method of estimating the process model from the operation history data such as the log of the IT system is called process mining, and for example, the α (alpha) algorithm is well known. Since the operation history information abstraction unit 310 can clarify the processing structure (processed in parallel, branched, etc.) of the execution program extracted in step S116 by using the above process model, step S116 The order relationship of the execution programs extracted in step 3 can be extracted.

図8は、ステップS110の処理結果として得られる開始作業情報の一例である。図8の開始作業情報は、開始作業を示すプログラムと、当該プログラム間の順序関係を示す。例えば、稼働履歴情報抽象化部310は、ステップS116において、図7の実行プログラム間関連情報から開始作業として実行プログラム「R」、「A」、及び「H」を抽出する。 FIG. 8 is an example of start work information obtained as a result of the processing in step S110. The start work information in FIG. 8 shows a program indicating the start work and an order relationship between the programs. For example, in step S116, the operation history information abstraction unit 310 extracts execution programs “R”, “A”, and “H” as start work from the inter-execution program-related information of FIG. 7.

そして、稼働履歴情報抽象化部310は、上記プロセスモデルにより「R」と「A」、及び「R」と「H」はそれぞれこの順で処理されることを特定することができるため、図8の開始作業情報において、「R」を第1位、「A」を第2位とするレコードと、「R」を第1位、「H」を第2位とするレコードと、を追加する。なお、稼働履歴情報抽象化部310は、上記プロセスモデルにより「A」と「H」の間には順序関係がないことを特定したために、図8の開始作業情報は、「A」と「H」の順序を示すレコードを含まない。 Then, since the operation history information abstraction unit 310 can specify that "R" and "A" and "R" and "H" are processed in this order by the above process model, FIG. In the start work information of, a record in which "R" is the first place and "A" is the second place, and a record in which "R" is the first place and "H" is the second place are added. Since the operation history information abstraction unit 310 has identified that there is no order relationship between "A" and "H" by the above process model, the start work information in FIG. 8 is "A" and "H". Does not include records indicating the order of.

例えば、順序関係にある順位が下の開始作業が実行されるためには、当該順序関係において順位がより上の開始作業が実行される必要がある。つまり、図8の例では、「R」を第1位、「A」を第2位とする順序関係があるため、「R」が実行されることなく、「A」が実行されることはない。 For example, in order to execute the start work having a lower rank in the order relation, it is necessary to execute the start work having a higher rank in the order relation. That is, in the example of FIG. 8, since there is an order relation in which "R" is the first place and "A" is the second place, "A" may not be executed without "R" being executed. No.

なお、図8の例では、開始作業情報が示す順序は、第1位と第2位の2つの順位のみからなるが、第3位以下の順位が定義されてもよいし、第1位のみ(即ち順序関係が定義されていない)からなってもよい。また、開始作業情報のレコードごとに順位数が異なってもよい。なお、開始作業情報は、補助記憶装置13に保存されてもよいし、メモリ12に一時的に保存されてもよい。また、開始作業情報は、例えば、分析対象システム100の仕様書等に記載されている情報から特定可能である場合もあるため、業務異常検知装置300のユーザ等による直接入力や、業務異常検知装置300が仕様書の情報を読み込むことによって、開始作業情報が生成されてもよい。 In the example of FIG. 8, the order indicated by the start work information consists of only two ranks, the first rank and the second rank, but the ranks of the third rank and below may be defined, and only the first rank may be defined. It may consist of (ie, an order relationship is not defined). Further, the number of ranks may be different for each record of start work information. The start work information may be stored in the auxiliary storage device 13 or may be temporarily stored in the memory 12. Further, since the start work information may be identifiable from the information described in the specifications of the analysis target system 100, for example, the start work information may be directly input by the user of the business abnormality detection device 300 or the business abnormality detection device. The start work information may be generated by the 300 reading the information in the specifications.

図4の説明に戻る。ステップS110の処理に続いて、稼働履歴情報抽象化部310は、ステップS120において未選択、のセッションを1つ選択し、稼働履歴情報200からセッション欄202の値が選択したセッションであるレコードを抽出する(S120)。 Returning to the description of FIG. Following the process in step S110, the operation history information abstraction unit 310 selects one unselected session in step S120, and extracts a record from the operation history information 200 in which the value in the session column 202 is the selected session. (S120).

稼働履歴情報抽象化部310は、ステップS120で抽出したレコードを時刻204欄の時刻の昇順に並び替える(S130)。稼働履歴情報抽象化部310は、ステップS110で得た開始作業情報の上位の実行プログラムから順に、実行プログラムを先頭にして処理S130で得たレコード群を分割する(S140)。稼働履歴情報抽象化部310は、ステップS140で分割したレコード列から、抽象稼働履歴情報を生成する(S150)。なお、抽象稼働履歴情報は、補助記憶装置13に保存されてもよいし、メモリ12に一時的に保存されてもよい。 The operation history information abstraction unit 310 sorts the records extracted in step S120 in ascending order of the time in the time 204 column (S130). The operation history information abstraction unit 310 divides the record group obtained in the process S130 in order from the execution program higher in the start work information obtained in step S110 (S140). The operation history information abstraction unit 310 generates abstract operation history information from the record string divided in step S140 (S150). The abstract operation history information may be stored in the auxiliary storage device 13 or may be temporarily stored in the memory 12.

稼働履歴情報抽象化部310は、ステップS120において未選択のセッションがあるかを判定する(S160)。稼働履歴情報抽象化部310は、未選択のセッションがあると判定した場合(S160:YES)、ステップS120へ遷移し、全てのセッションを選択済みであると判定した場合(S160:NO)、稼働履歴情報抽象化処理を終了する。 The operation history information abstraction unit 310 determines whether or not there is an unselected session in step S120 (S160). When the operation history information abstraction unit 310 determines that there is an unselected session (S160: YES), the process proceeds to step S120, and when it is determined that all the sessions have been selected (S160: NO), the operation history information abstraction unit 310 operates. End the history information abstraction process.

図9は、並び替えられたレコード群を分割する処理の一例を示す説明図である。図9に示されているテーブルは、セッション「S001」のレコードのみを含み、これらのレコードが時刻の昇順に並び替えられたものである。図8の開始作業情報によれば、プログラム「R」、「A」、「H」は開始作業であり、「R」を第1位「A」を第2位とする順序と、「R」を第1位「H」を第2位とする順序と、がある。 FIG. 9 is an explanatory diagram showing an example of a process of dividing the sorted record group. The table shown in FIG. 9 contains only the records for session "S001", and these records are sorted in ascending order of time. According to the start work information of FIG. 8, the programs "R", "A", and "H" are start work, and the order in which "R" is the first place and "A" is the second place, and "R" There is an order in which the first place "H" is the second place.

例えば、ステップS140において、稼働履歴情報抽象化部310は、第1位の開始作業でレコード群を分割する。つまり、稼働履歴情報抽象化部310は、開始作業「R」を先頭とするレコード群ができるように、レコード群を分割する。そして、稼働履歴情報抽象化部310は、第1位の下位である第2位の開始作業でレコード群を分割する。つまり、稼働履歴情報抽象化部310は、開始作業「R」を先頭とするレコード群をさらに、開始作業「A」又は「H」を先頭とするレコード群ができるように、分割する。 For example, in step S140, the operation history information abstraction unit 310 divides the record group at the first start operation. That is, the operation history information abstraction unit 310 divides the record group so that the record group starting with the start work "R" is created. Then, the operation history information abstraction unit 310 divides the record group by the start work of the second place, which is lower than the first place. That is, the operation history information abstraction unit 310 further divides the record group starting with the start work "R" so that the record group starting with the start work "A" or "H" can be formed.

図10は、抽象稼働履歴情報の一例である。抽象稼働履歴情報250は、例えば、実務作業欄251、開始時刻欄252、ユーザ欄253、及び作業時間欄254を含む。実務作業欄251は、ステップS140で分割されたレコード群の代表的なプログラムを示す。具体的には、例えば、ステップS140で分割されたレコード群における開始作業の次のレコード(つまり2番目のレコード)が、当該レコード群における実務作業として、実務作業欄251に格納される。 FIG. 10 is an example of abstract operation history information. The abstract operation history information 250 includes, for example, a practical work column 251, a start time column 252, a user column 253, and a work time column 254. The practical work column 251 shows a representative program of the record group divided in step S140. Specifically, for example, the record next to the start work (that is, the second record) in the record group divided in step S140 is stored in the work work column 251 as the work work in the record group.

なお、稼働履歴情報抽象化部310は、ステップS150において、開始作業情報における順序が最下位の(但し、開始作業情報のレコードごとに順位数が異なる場合は、当該レコードごとにおける順序が最下位の)レコード群のみについて開始作業の次のレコードを、当該レコード群における実務作業として実務作業欄251に格納してもよい。 In step S150, the operation history information abstraction unit 310 has the lowest order in the start work information (however, if the number of ranks is different for each record of the start work information, the order in each record is the lowest. ) Only the record group The record next to the start work may be stored in the work work column 251 as the work work in the record group.

開始時刻欄252はステップS140で分割されたレコード群の1番目のレコードの時刻を保持する。ユーザ欄253は当該1番目のレコードのユーザを保持する。作業時間欄254は、ステップS140で分割されたレコード群の1番目のレコードの時刻と、当該レコード群の最後のレコード(つまり次の開始作業の直前のプログラム)の時刻と、の差を保持する。 The start time field 252 holds the time of the first record of the record group divided in step S140. The user field 253 holds the user of the first record. The work time column 254 holds the difference between the time of the first record of the record group divided in step S140 and the time of the last record of the record group (that is, the program immediately before the next start work). ..

図9の例では、第2位(最下位)の開始作業としてプログラム「A」を先頭とするレコード群が3つ存在する。当該3つのレコード群の「A」の次に実行されるプログラムは、それぞれ、「B」、「C」、「D」であるため、抽象稼働履歴情報250の実務作業欄251には、「B」、「C」、「D」が格納される。 In the example of FIG. 9, there are three record groups starting with the program "A" as the start work of the second place (lowest rank). Since the programs executed after "A" in the three record groups are "B", "C", and "D", respectively, "B" is displayed in the practical work column 251 of the abstract operation history information 250. , "C", "D" are stored.

そして、例えば、実務作業「B」に対しては、「B」の直前に実行される開始作業「A」の時刻が開始時刻欄252に、「B」を実行するユーザ名がユーザ欄253に、「B」の直前に実行される「A」の時刻と、この「B」を含むレコード群の最後のプログラムである「G」の時刻と、の差が作業時間欄254に、それぞれ格納される。 Then, for example, for the practical work "B", the time of the start work "A" executed immediately before "B" is in the start time column 252, and the user name for executing "B" is in the user column 253. , The difference between the time of "A" executed immediately before "B" and the time of "G" which is the last program of the record group including this "B" is stored in the working time column 254, respectively. NS.

図11は、業務指標時系列データ生成処理の一例を示すフローチャートである。業務指標時系列データ生成処理は、図4の稼働履歴情報抽象化処理が終了すると開始する。まず、業務指標時系列データ生成部320は、抽象稼働履歴情報250に含まれる未選択の実務作業を1つ選択し、実務作業欄251の値が当該選択した実務作業であるレコードを抽象稼働履歴情報250から抽出する(S210)。 FIG. 11 is a flowchart showing an example of business index time series data generation processing. The business index time-series data generation process starts when the operation history information abstraction process of FIG. 4 is completed. First, the business index time series data generation unit 320 selects one unselected practical work included in the abstract operation history information 250, and abstracts the record in which the value in the practical work column 251 is the selected practical work. Extract from information 250 (S210).

業務指標時系列データ生成部320は、ステップS210で抽出したレコード群に対して、作業回数の日別合計(即ち日別のレコード数合計)を算出し、業務指標時系列データ330に格納する(S220)。業務指標時系列データ生成部320は、ステップS210で抽出したレコード群に対して、作業時間欄254が示す作業時間の日別平均を算出し、業務指標時系列データ330に格納する(S230)。 The business index time-series data generation unit 320 calculates the daily total of the number of operations (that is, the total number of records by day) for the record group extracted in step S210, and stores it in the business index time-series data 330 ( S220). The business index time-series data generation unit 320 calculates the daily average of the work hours shown in the work time column 254 for the record group extracted in step S210, and stores it in the business index time-series data 330 (S230).

実務作業の作業回数の日別合計及び作業時間の日別平均は、いずれも実務作業の稼働状況を示す統計量であるため、いずれも業務指標の一例である。なお、ステップS220及びステップS230で算出された業務指標に加えて又は代えて、抽象稼働履歴情報250に含まれる実務作業の他の統計量が算出されてもよい。 The daily total of the number of work operations and the daily average of the work hours are both statistics showing the operating status of the practical work, and are therefore examples of business indicators. In addition to or in place of the business index calculated in steps S220 and S230, other statistics of practical work included in the abstract operation history information 250 may be calculated.

業務指標時系列データ生成部320は、ステップS210において未選択の実務作業があるかを判定する(S240)。業務指標時系列データ生成部320は、未選択の実務作業があると判定した場合(S240:YES)、ステップS210へ遷移し、全ての実務作業を選択済みであると判定した場合(S240:NO)、稼働履歴情報抽象化処理を終了する。 The business index time series data generation unit 320 determines in step S210 whether or not there is unselected practical work (S240). When the business index time series data generation unit 320 determines that there is unselected practical work (S240: YES), it transitions to step S210 and determines that all the practical work has been selected (S240: NO). ), End the operation history information abstraction process.

図12A及び図12Bは、いずれも業務指標時系列データ330の一例である。業務指標時系列データ330は、実務作業と業務指標との組み合わせごとに管理できれば、図12A及び図12Bのように複数のテーブルによって表現されてもよいし、1つのテーブルによって表現されてもよい。 12A and 12B are both examples of business index time series data 330. The business index time series data 330 may be represented by a plurality of tables as shown in FIGS. 12A and 12B, or may be represented by one table, as long as it can be managed for each combination of the business work and the business index.

なお、図12Aの業務指標時系列データ330は、実務作業「B」の作業時間の日別平均を示すテーブルであり、図12Bの業務指標時系列データ330は、実務作業「B」の作業回数の日別合計を示すテーブルである。 The business index time-series data 330 of FIG. 12A is a table showing the daily average of the work hours of the practical work “B”, and the business index time-series data 330 of FIG. 12B is the number of work of the practical work “B”. It is a table showing the daily total of.

図13は、推定時系列データ生成処理の一例を示すフローチャートである。推定時系列データ生成処理は、任意のタイミングで開始すればよく、例えば、業務異常検知装置300の利用者が利用を開始したタイミングで開始すればよい。 FIG. 13 is a flowchart showing an example of the estimated time series data generation process. The estimated time-series data generation process may be started at an arbitrary timing, for example, it may be started at the timing when the user of the business abnormality detection device 300 starts using the data.

推定時系列データ生成部340は、業務指標時系列データ330を取得し、取得した業務指標時系列データから時系列モデルのパラメータを推定する(S310)。例えば、自己回帰(Auto−Regressive)モデルや、状態空間モデルと呼ばれる、時系列データも取り扱うことが可能な統計モデルが上記時系列モデルとして用いることができる。 The estimation time series data generation unit 340 acquires the business index time series data 330, and estimates the parameters of the time series model from the acquired business index time series data (S310). For example, an auto-regressive model or a statistical model called a state-space model, which can handle time-series data, can be used as the time-series model.

推定時系列データ生成部340は、複数の時系列モデル候補があるかを判定する(S320)。時系列モデル候補は、例えば、予め補助記憶装置13に格納されている、又は推定時系列データ生成プログラム内に予め記述されている。推定時系列データ生成部340は、時系列モデル候補が複数あると判定した場合には(S320:YES)、ステップS310でパラメータを推定した時系列モデル以外の時系列モデルについても、パラメータを推定する(S330)。 The estimation time series data generation unit 340 determines whether or not there are a plurality of time series model candidates (S320). The time series model candidate is stored in the auxiliary storage device 13 in advance, or is described in advance in the estimated time series data generation program, for example. When the estimation time series data generation unit 340 determines that there are a plurality of time series model candidates (S320: YES), the estimation time series data generation unit 340 estimates the parameters for the time series models other than the time series model for which the parameters were estimated in step S310. (S330).

推定時系列データ生成部340は、ステップS310及びステップS320でパラメータを推定した複数の時系列モデルそれぞれに対して情報量基準を算出し、算出した情報量基準が最小である時系列モデルを代表時系列モデルに決定する(S340)。情報量基準とは統計モデルの良さを評価する指標であり、例えば、赤池情報量基準(Akaike Information Criterion)等がある。 The estimated time-series data generation unit 340 calculates an information criterion for each of the plurality of time-series models whose parameters have been estimated in steps S310 and S320, and represents the time-series model having the smallest calculated information criterion. Determined as a series model (S340). The information criterion is an index for evaluating the goodness of the statistical model, and for example, there is Akaike Information criterion.

次に、推定時系列データ生成部340は、代表時系列モデルの推定したパラメータを当該代表時系列モデルに設定することにより、推定時系列データを算出し、算出した推定時系列データを異常判定部350に送信し(S350)、推定時系列データ生成処理を終了する。 Next, the estimated time series data generation unit 340 calculates the estimated time series data by setting the estimated parameters of the representative time series model in the representative time series model, and the calculated estimated time series data is used as the abnormality determination unit. It is transmitted to 350 (S350), and the estimated time series data generation process is completed.

なお、推定時系列データ生成部340は、時系列モデル候補が1つしかない、即ちステップS310でパラメータを推定した時系列モデルのみが候補として存在すると判定した場合には(S320:NO)、当該時系列モデルを代表時系列モデルに決定した上で、ステップS350へ遷移する。 When the estimation time series data generation unit 340 determines that there is only one time series model candidate, that is, only the time series model whose parameters are estimated in step S310 exists as a candidate (S320: NO), the said time series data generation unit 340. After deciding the time series model as the representative time series model, the process proceeds to step S350.

図14は、異常判定処理の一例を示すフローチャートである。異常判定処理は、推定時系列データ生成処理が終了する(即ち異常判定部350が推定時系列データを受信する)と開始する。 FIG. 14 is a flowchart showing an example of the abnormality determination process. The abnormality determination process starts when the estimated time series data generation process ends (that is, the abnormality determination unit 350 receives the estimated time series data).

異常判定部350は、受信した推定時系列データX’(t)に対応する実績時系列データX(t)を業務指標時系列データ330から取得する(S410)。ここで、ここでX’(t)に対応する実績時系列データX(t)とは、X’(t)の実務作業と業務指標とが同じ、異常判定対象の実績時系列データである。 The abnormality determination unit 350 acquires the actual time series data X (t) corresponding to the received estimated time series data X'(t) from the business index time series data 330 (S410). Here, the actual time-series data X (t) corresponding to X'(t) is the actual time-series data of the abnormality determination target in which the practical work of X'(t) and the business index are the same.

次に、異常判定部350は、推定時系列データX’(t)と実績時系列データX(t)との差(以降では残差と呼び、R(t)と表記する)を算出する(S420)。異常判定部350は、ステップS420で算出した残差の平均値(以降ではμと表記)と標準偏差(以降ではσと表記)とを算出する(S430)。 Next, the abnormality determination unit 350 calculates the difference between the estimated time series data X'(t) and the actual time series data X (t) (hereinafter referred to as residual and referred to as R (t)) ( S420). The abnormality determination unit 350 calculates the average value of the residuals (hereinafter referred to as μ) and the standard deviation (hereinafter referred to as σ) calculated in step S420 (S430).

異常判定部350は、μとσを用いて残差を正規化する(S440)。なお、例えば、正規化された残差はa(t)=(R(t)−μ)/σであり、これを異常度とも呼ぶ。異常判定部350は、異常度の絶対値が所定の閾値(例えば慣例として3が設定されることが多いがこれに限らない)を超える時刻tが存在すると判定した場合に、業務異常ありと判定し(S450)、異常判定処理を終了する。異常判定部350は、ステップS450において業務異常ありと判定した場合には、図15に示す表示画面を出力装置15に表示する。 The abnormality determination unit 350 normalizes the residual using μ and σ (S440). For example, the normalized residual is a (t) = (R (t) −μ) / σ, which is also referred to as an abnormality degree. The abnormality determination unit 350 determines that there is a business abnormality when it is determined that there is a time t in which the absolute value of the degree of abnormality exceeds a predetermined threshold value (for example, 3 is often set by convention, but is not limited to this). (S450), and the abnormality determination process is terminated. When the abnormality determination unit 350 determines in step S450 that there is a business abnormality, the abnormality determination unit 350 displays the display screen shown in FIG. 15 on the output device 15.

上記した処理により、業務異常検知装置300は、分析対象システム100の非定常的な振舞いをみせる業務指標の時系列における「いつもの傾向と異なる」箇所を提示することができ、ひいては分析対象システム100を運用保守するシステムエンジニアが、分析対象システム100が実行する業務の変化に気付くことができ、効率的に業務分析を実施することができる。 By the above processing, the business abnormality detection device 300 can present a part "different from the usual tendency" in the time series of the business index showing the non-stationary behavior of the analysis target system 100, and by extension, the analysis target system 100. The system engineer who operates and maintains the system can notice the change in the business executed by the analysis target system 100, and can efficiently carry out the business analysis.

図15は、業務異常の表示画面の一例である。表示画面900は、例えば、作業時間タブ901及び作業回数タブ906を含む。つまり、表示画面900は、異常判定部350が受信した推定時系列データに用いられる業務指標のタブを含み、タブの切り替えによって業務指標事の業務異常を表示することができる。図15の例では、作業時間タブ901が選択されている状態である。 FIG. 15 is an example of a business abnormality display screen. The display screen 900 includes, for example, a work time tab 901 and a work count tab 906. That is, the display screen 900 includes a tab of the business index used for the estimated time series data received by the abnormality determination unit 350, and the business abnormality of the business index can be displayed by switching the tab. In the example of FIG. 15, the working time tab 901 is selected.

表示画面900は、業務指標時系列データ330に格納されている全ての実務作業と業務指標との組み合わせの時系列データについて、推定時系列データ生成処理及び異常判定処理の処理結果表示する。また、表示画面900は、例えば、実務作業欄902、最大異常度欄903、異常検知数欄904、及びチェックボックス905を含む。実務作業欄902には、異常判定部350が業務異常を検知した実務作業が表示される。 The display screen 900 displays the processing results of the estimated time-series data generation processing and the abnormality determination processing for the time-series data of the combination of all the practical work and the business index stored in the business index time-series data 330. Further, the display screen 900 includes, for example, a practical work column 902, a maximum abnormality degree column 903, an abnormality detection number column 904, and a check box 905. In the practical work column 902, the practical work in which the abnormality determination unit 350 has detected a business abnormality is displayed.

最大異常度欄903には、異常判定部350が算出した、業務異常の最大の異常度が実務作業ごとに表示される。異常検知数欄904には、異常判定部350が検知した業務異常の検知数(つまり、異常度が所定の閾値を超えた回数)が、実務作業ごとに表示される。チェックボックス905が選択されると、実務作業欄902、最大異常度欄903、及び異常検知数欄904からなるテーブルのレコードを並び替えることができる。図15の例では、「Max(異常度)」のチェックボックスにチェックが入っているため、当該テーブルのレコードは最大異常度欄903の値の降順にソートされている。 In the maximum abnormality degree column 903, the maximum abnormality degree of the business abnormality calculated by the abnormality determination unit 350 is displayed for each practical work. In the abnormality detection number column 904, the number of detections of business abnormalities detected by the abnormality determination unit 350 (that is, the number of times the abnormality degree exceeds a predetermined threshold value) is displayed for each practical work. When the check box 905 is selected, the records in the table including the practical work column 902, the maximum abnormality degree column 903, and the abnormality detection number column 904 can be rearranged. In the example of FIG. 15, since the "Max (abnormality)" check box is checked, the records in the table are sorted in descending order of the value in the maximum abnormality column 903.

本実施例の業務異常検知装置300のユーザは、業務指標時系列データ330に格納された、大量の時系列データを1つ1つ確認することなく業務異常を発見することができる。さらに表示画面900において、業務分析の目的に合わせて検知した業務異常を並び替えることができるため、業務異常検知装置300のユーザにとって優先順位の高い業務異常から詳細調査に取り掛かることができるため、効率的に業務分析を実施することができる。 なお、上述した実施形態において、例えば、業務異常検知装置300は、単体の計算機で構築されてもよいし、クライアント−サーバシステムとして構築されてもよい。業務異常検知装置300がクライアント−サーバシステムとして構築される場合、例えば、サーバが業務異常検知装置300の主な処理を実行し、クライアントが表示処理を実行する。 The user of the business abnormality detection device 300 of this embodiment can discover a business abnormality without checking a large amount of time-series data stored in the business index time-series data 330 one by one. Further, on the display screen 900, the business abnormalities detected can be sorted according to the purpose of the business analysis, so that the user of the business abnormality detection device 300 can start the detailed investigation from the business abnormality having a high priority, which is efficient. Business analysis can be carried out. In the above-described embodiment, for example, the business abnormality detection device 300 may be constructed by a single computer or as a client-server system. When the business abnormality detection device 300 is constructed as a client-server system, for example, the server executes the main processing of the business abnormality detection device 300, and the client executes the display processing.

また、上述した実施形態における具体的な値は、あくまで説明のための例であり、これらの値に限定されるものではない。また、本実施形態では、業務異常検知装置300は、業務を行う分析対象システム100の業務異常を検知しているが、任意のシステムが実行する一連の処理の異常を検知してもよい。 Further, the specific values in the above-described embodiment are merely examples for explanation, and are not limited to these values. Further, in the present embodiment, the business abnormality detection device 300 detects the business abnormality of the analysis target system 100 that performs the business, but may detect an abnormality in a series of processes executed by any system.

また、上記した実施形態では業務異常検知装置300が、業務異常を検知するための基準モデルである推定時系列データを生成し、生成した推定時系列データを用いて業務異常を検知しているが、業務異常検知装置300から独立したモデル生成装置が推定時系列データ生成処理を行い、業務異常検知装置300はモデル生成装置から受信した推定時系列データを用いて業務異常を検知してもよい。 Further, in the above-described embodiment, the business abnormality detection device 300 generates estimated time-series data which is a reference model for detecting the business abnormality, and detects the business abnormality using the generated estimated time-series data. The model generation device independent of the business abnormality detection device 300 may perform the estimated time series data generation processing, and the business abnormality detection device 300 may detect the business abnormality using the estimated time series data received from the model generation device.

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 The present invention is not limited to the above-described examples, and includes various modifications. For example, the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to those having all the described configurations. It is also possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Further, it is possible to add / delete / replace a part of the configuration of each embodiment with another configuration.

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。 Further, each of the above configurations, functions, processing units, processing means and the like may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。 In addition, control lines and information lines are shown as necessary for explanation, and not all control lines and information lines are necessarily shown in the product. In practice, it can be considered that almost all configurations are interconnected.

11 プロセッサ、12 メモリ、13 補助記憶装置、14 入力装置、15 出力装置、100 分析対象システム、200 稼働履歴情報、250 抽象稼働履歴情報、300 業務異常検知装置、310 稼働履歴情報抽象化部、320 業務指標時系列データ生成部、330 業務指標時系列データ、340 推定時系列データ生成部、350 異常判定部 11 Processor, 12 Memory, 13 Auxiliary Storage Device, 14 Input Device, 15 Output Device, 100 Analysis Target System, 200 Operation History Information, 250 Abstract Operation History Information, 300 Business Abnormality Detection Device, 310 Operation History Information Abstraction Unit, 320 Business index time series data generation unit, 330 Business index time series data, 340 Estimated time series data generation unit, 350 Abnormality judgment unit

Claims (10)

分析対象システムが実行するプログラムによって実現される業務の異常を検知するためのモデル、を生成するモデル生成装置であって、
プロセッサとメモリとを含み、
前記メモリは、
前記分析対象システムが実行したプログラムと、前記プログラムが実行された時刻と、を示す稼働履歴情報と、
前記分析対象システムが実行可能なプログラムのうち、一連の処理を実行する1以上のプログラムの起点となり得るプログラムである開始作業を示す開始作業情報と、を保持し、
前記プロセッサは、
前記稼働履歴情報が示す時刻の順序に並び替えられたプログラムを、前記開始作業を先頭とするプログラム群に分割し、
前記プログラム群に含まれる少なくとも一部のプログラム群について、前記稼働履歴情報における稼働状況を示す統計量である業務指標の時系列データを、前記モデルとして算出する、モデル生成装置。
It is a model generator that generates a model for detecting business abnormalities realized by a program executed by the system to be analyzed.
Including processor and memory
The memory is
Operation history information indicating the program executed by the analysis target system, the time when the program was executed, and
Among the programs that can be executed by the analysis target system, the start work information indicating the start work, which is a program that can be the starting point of one or more programs that execute a series of processes, is retained.
The processor
The programs sorted in the order of the time indicated by the operation history information are divided into a group of programs starting with the start work.
A model generation device that calculates, as the model, time-series data of business indexes, which are statistics indicating the operation status in the operation history information, for at least a part of the program groups included in the program group.
請求項1に記載のモデル生成装置であって、
前記開始作業情報は、開始作業間の実行可能順序を示し、
前記少なくとも一部のプログラム群は、前記開始作業情報が示す実行順序が最下位の開始作業を先頭とするプログラム群である、モデル生成装置。
The model generator according to claim 1.
The start work information indicates the order in which the start work can be performed.
The at least a part of the program group is a model generation device in which the start work having the lowest execution order indicated by the start work information is the first program group.
請求項1に記載のモデル生成装置であって、
前記業務指標は、前記稼働履歴情報における前記少なくとも一部のプログラム群の所定の長さの期間ごとの実行回数、及び前記稼働履歴情報における前記少なくとも一部のプログラム群の所定の長さの期間における実行時間と、の少なくとも一方を含む、モデル生成装置。
The model generator according to claim 1.
The business index is the number of times of execution of the at least a part of the program group in the operation history information for each predetermined length period, and in the operation history information of the at least a part of the program group in a predetermined length period. A model generator that includes at least one of the execution times.
請求項1に記載のモデル生成装置であって、
前記プロセッサは、
前記稼働履歴情報が示す時刻の順序に並び替えられたプログラムそれぞれについて、当該プログラムの実行直前及び実行直後に実行可能な他のプログラムがそれぞれ複数種類あるプログラムを特定し、
前記特定したプログラムを前記開始作業に決定して、前記開始作業情報に格納する、モデル生成装置。
The model generator according to claim 1.
The processor
For each of the programs sorted in the order of the time indicated by the operation history information, a program having a plurality of types of other programs that can be executed immediately before and immediately after the execution of the program is specified.
A model generator that determines the specified program as the start work and stores it in the start work information.
請求項1に記載のモデル生成装置であって、
前記メモリは、異常検知対象期間における、前記分析対象システムが実行したプログラムと、当該プログラムが実行された時刻と、を示す異常検知対象履歴情報を保持し、
前記プロセッサは、
前記異常検知対象履歴情報が示す時刻の順序に並び替えられたプログラムを、前記開始作業で分割して、前記開始作業を先頭とする異常検知対象プログラム群を生成し、
前記稼働履歴情報における前記異常検知対象プログラム群の前記業務指標の時系列データを、異常検知対象時系列データとして、生成し、
前記モデルと、前記異常検知対象時系列データと、を比較して、前記異常検知対象期間における前記異常検知対象プログラム群のプログラムの稼働状況に異常が発生したかを判定する、モデル生成装置。
The model generator according to claim 1.
The memory holds the abnormality detection target history information indicating the program executed by the analysis target system and the time when the program was executed during the abnormality detection target period.
The processor
The programs rearranged in the order of the time indicated by the abnormality detection target history information are divided by the start work to generate an abnormality detection target program group starting from the start work.
The time-series data of the business index of the abnormality detection target program group in the operation history information is generated as the abnormality detection target time-series data.
A model generation device that compares the model with the time-series data of the abnormality detection target, and determines whether or not an abnormality has occurred in the operating status of the programs of the abnormality detection target program group during the abnormality detection target period.
請求項5に記載のモデル生成装置であって、
前記プロセッサは、
前記モデルと、前記異常検知対象時系列データと、の残差を算出し、
前記残差の平均値及び標準偏差を用いて、前記残差を正規化した異常度を算出し、
前記異常検知対象期間において異常度が所定の閾値以上である期間がある場合、前記異常が発生したと判定する、モデル生成装置。
The model generator according to claim 5.
The processor
The residual of the model and the time series data to be detected by the abnormality is calculated.
Using the average value and standard deviation of the residuals, the degree of anomaly obtained by normalizing the residuals was calculated.
A model generation device that determines that the abnormality has occurred when there is a period in which the degree of abnormality is equal to or higher than a predetermined threshold value in the abnormality detection target period.
請求項6に記載のモデル生成装置であって、
表示装置に接続され、
前記プロセッサは、前記異常が発生していると判定した場合、前記異常が発生した検知対象プログラム群を示す情報と、前記異常度の最大値と、前記異常度が前記所定の閾値以上である期間と、を前記表示装置に出力する、モデル生成装置。
The model generator according to claim 6.
Connected to the display device,
When the processor determines that the abnormality has occurred, the information indicating the detection target program group in which the abnormality has occurred, the maximum value of the abnormality degree, and the period during which the abnormality degree is equal to or more than the predetermined threshold value. And, a model generator that outputs to the display device.
請求項7に記載のモデル生成装置であって、
前記プロセッサは、前記異常が発生していると判定した場合、前記異常が発生した検知対象プログラム群のプログラムを、前記異常度が所定の閾値以上である期間の総数が多い順又は少ない順に、前記表示装置に出力する、モデル生成装置。
The model generator according to claim 7.
When the processor determines that the abnormality has occurred, the program of the detection target program group in which the abnormality has occurred is described in the order of increasing or decreasing the total number of periods during which the abnormality degree is equal to or higher than a predetermined threshold value. A model generator that outputs to the display device.
モデル生成装置が、分析対象システムが実行するプログラムによって実現される業務の異常を検知するためのモデルを生成するモデル生成方法であって、
前記モデル生成装置は、プロセッサとメモリとを含み、
前記メモリは、
前記分析対象システムが実行したプログラムと、前記プログラムが実行された時刻と、を示す稼働履歴情報と、
前記分析対象システムが実行可能なプログラムのうち、一連の処理を実行する1以上のプログラムの起点となり得るプログラムである開始作業を示す開始作業情報と、を保持し、
前記モデル生成方法は、
前記プロセッサが、前記稼働履歴情報が示す時刻の順序に並び替えられたプログラムを、前記開始作業を先頭とするプログラム群に分割し、
前記プロセッサが、前記プログラム群に含まれる少なくとも一部のプログラム群について、前記稼働履歴情報における稼働状況を示す統計量である業務指標の時系列データを、前記モデルとして算出する、モデル生成方法。
The model generation device is a model generation method that generates a model for detecting business abnormalities realized by a program executed by the analysis target system.
The model generator includes a processor and a memory.
The memory is
Operation history information indicating the program executed by the analysis target system, the time when the program was executed, and
Among the programs that can be executed by the analysis target system, the start work information indicating the start work, which is a program that can be the starting point of one or more programs that execute a series of processes, is retained.
The model generation method is
The processor divides the programs sorted in the order of the time indicated by the operation history information into a group of programs starting with the start operation.
A model generation method in which the processor calculates time-series data of a business index, which is a statistic indicating an operation status in the operation history information, as the model for at least a part of the program groups included in the program group.
分析対象システムが実行するプログラムによって実現される業務の異常を検知するためのモデル、を生成する処理をモデル生成装置に実行させるモデル生成プログラムであって、
前記モデル生成装置は、プロセッサとメモリとを含み、
前記メモリは、
前記分析対象システムが実行したプログラムと、前記プログラムが実行された時刻と、を示す稼働履歴情報と、
前記分析対象システムが実行可能なプログラムのうち、一連の処理を実行する1以上のプログラムの起点となり得るプログラムである開始作業を示す開始作業情報と、を保持し、
前記モデル生成プログラムは、
前記稼働履歴情報が示す時刻の順序に並び替えられたプログラムを、前記開始作業を先頭とするプログラム群に分割する処理と、
前記プログラム群に含まれる少なくとも一部のプログラム群について、前記稼働履歴情報における稼働状況を示す統計量である業務指標の時系列データを、前記モデルとして算出する処理と、を前記プロセッサに実行させるモデル生成プログラム。
It is a model generation program that causes the model generation device to execute the process of generating the model for detecting the business abnormality realized by the program executed by the analysis target system.
The model generator includes a processor and a memory.
The memory is
Operation history information indicating the program executed by the analysis target system, the time when the program was executed, and
Among the programs that can be executed by the analysis target system, the start work information indicating the start work, which is a program that can be the starting point of one or more programs that execute a series of processes, is retained.
The model generator
A process of dividing the programs sorted in the order of the time indicated by the operation history information into a group of programs starting from the start work, and
A model in which the processor executes a process of calculating time-series data of a business index, which is a statistic indicating an operation status in the operation history information, as the model for at least a part of the program groups included in the program group. Generation program.
JP2020028749A 2020-02-21 2020-02-21 Model generator, model generation method, and model generation program Pending JP2021135541A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020028749A JP2021135541A (en) 2020-02-21 2020-02-21 Model generator, model generation method, and model generation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020028749A JP2021135541A (en) 2020-02-21 2020-02-21 Model generator, model generation method, and model generation program

Publications (1)

Publication Number Publication Date
JP2021135541A true JP2021135541A (en) 2021-09-13

Family

ID=77661152

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020028749A Pending JP2021135541A (en) 2020-02-21 2020-02-21 Model generator, model generation method, and model generation program

Country Status (1)

Country Link
JP (1) JP2021135541A (en)

Similar Documents

Publication Publication Date Title
US11263071B2 (en) Enabling symptom verification
US8452761B2 (en) Apparatus for and method of implementing system log message ranking via system behavior analysis
JP6233411B2 (en) Fault analysis apparatus, fault analysis method, and computer program
US10423624B2 (en) Event log analysis
US9424157B2 (en) Early detection of failing computers
US7676695B2 (en) Resolution of computer operations problems using fault trend analysis
US9071510B2 (en) Determining root causes of network issues
US20160283362A1 (en) Software Component Recommendation Based on Multiple Trace Runs
US10452627B2 (en) Column weight calculation for data deduplication
WO2013042789A1 (en) Operations management device, operations management method, and program
JP6420524B2 (en) Analysis server device, data analysis system, and data analysis method
JP6260130B2 (en) Job delay detection method, information processing apparatus, and program
US9959197B2 (en) Automated bug detection with virtual machine forking
US11080126B2 (en) Apparatus and method for monitoring computer system
JP6823265B2 (en) Analytical instruments, analytical systems, analytical methods and analytical programs
CN109933502B (en) Electronic device, user operation record processing method and storage medium
JP6242540B1 (en) Data conversion system and data conversion method
US8543552B2 (en) Detecting statistical variation from unclassified process log
US10346450B2 (en) Automatic datacenter state summarization
JP7218797B2 (en) Information processing device and API usage history display program
JP2019219848A (en) Source code analysis method and source code analysis device
US20220398255A1 (en) Intelligent application clustering for scalable graph visualization using machine learning
JP6845657B2 (en) Management server, management method and its program
JP2021135541A (en) Model generator, model generation method, and model generation program
JP2018063518A5 (en)