JP2008210073A - ログデータサイズ削減装置及びログデータサイズ削減装置のログデータサイズ削減方法 - Google Patents

ログデータサイズ削減装置及びログデータサイズ削減装置のログデータサイズ削減方法 Download PDF

Info

Publication number
JP2008210073A
JP2008210073A JP2007044879A JP2007044879A JP2008210073A JP 2008210073 A JP2008210073 A JP 2008210073A JP 2007044879 A JP2007044879 A JP 2007044879A JP 2007044879 A JP2007044879 A JP 2007044879A JP 2008210073 A JP2008210073 A JP 2008210073A
Authority
JP
Japan
Prior art keywords
log data
conversion
nth
data
character string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007044879A
Other languages
English (en)
Inventor
Shiro Sugihara
史朗 杉原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007044879A priority Critical patent/JP2008210073A/ja
Publication of JP2008210073A publication Critical patent/JP2008210073A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

【課題】シミュレーションの実行により出力されるログデータのサイズを削減し、パラメータの変化により生じたシミュレーション結果への影響を分かりやすくすることを目的とする。
【解決手段】抽出管理部101が、各ログデータに含まれる全ての文字列データを抽出して当該文字列データが一意に定まる識別子を対応させて文字列変換対応表102を作成し、変換部103が、各ログデータに含まれる文字列データを文字列変換対応表102に基づいて識別子に変換してそれぞれ変換後ログデータとして記憶し、冗長箇所削減部104は、1回目変換後ログデータ201aとN回目変換後ログデータ20Naとを比較して、比較した結果に基づいてN回目変換後ログデータ20Naの冗長箇所を処理装置により判別し、判別した冗長箇所に対して削減処理を行いN回目変換後ログデータ20Naのサイズを削減してN回目削減後ログデータ20Nbとして記憶装置200に記憶する。
【選択図】図3

Description

本発明は、例えば、パラメトリックスタディによるシミュレーション結果として出力されるログデータのサイズを削減するログデータサイズ削減装置及びログデータサイズ削減装置のログデータサイズ削減方法に関する。
近年の演算性能の向上に伴い、計算機上の仮想空間における大規模なシミュレーションが各分野にて行われているが、この結果として出力される大量のログデータに対して、より効率的な利用方法が検討されている(特許文献1参照)。
こういった大規模なシミュレーション手法の1つとして、同じ内容のシミュレーションにおいてパラメータを一定の間隔で変化させながら繰り返し実施し、パラメータの変化により生じるシミュレーション結果への影響について調べるパラメトリックスタディがある。
このパラメトリックスタディにおいては、同一シミュレーションを何千回何万回と繰返し実行する必要がある。ここで、シミュレーション結果を解析するために、シミュレーションに登場する各オブジェクト等の振る舞いを記録したログデータが出力されるが、シミュレーションの繰り返しによりこのログデータの量は膨大なものとなり、これにより計算機のハードディスク容量も非常に大きなものが必要とされる。
特開2002−024053号公報
パラメトリックスタディによるシミュレーションでは、パラメータが変化してもシミュレーション結果に影響しない事も多く、これにより2回目以降のシミュレーションの各ログデータの出力内容の大部分が1回目と同じ内容となり、結果としてログに冗長な内容が多く含まれることとなる。さらに、冗長なログが出力されることにより、パラメータの変化により生じたシミュレーション結果への影響について分かり難くなるといった課題も発生する。
この発明は、このような課題を解決するためになされたものであり、シミュレーションの実行により出力されるログデータのサイズを削減すること、また、パラメータの変化により生じたシミュレーション結果への影響を分かりやすくすることを目的とする。
本発明に係るログデータサイズ削減装置は、
複数回のシミュレーションの実行により出力される複数のログデータのサイズを削減するログデータサイズ削減装置であって、
上記複数のログデータに含まれる文字列データを抽出し、抽出した文字列データと当該文字列データが一意に定まる識別子とを対応させて対応表ファイルとして記憶装置に記憶する抽出管理部と、
ログデータに含まれる文字列データを上記対応表ファイルに基づいて対応する識別子に置き換えることにより、上記複数のログデータを変換して複数の変換後ログデータとして記憶装置に記憶する変換部と、
1回目のシミュレーションの実行により出力された1回目ログデータを上記変換部が変換した1回目変換後ログデータと、N回目(Nは2以上かつシミュレーションの実行回数以下の整数)のシミュレーションの実行により出力されたN回目ログデータを上記変換部が変換したN回目変換後ログデータとを処理装置により比較して、比較した結果に基づいてN回目変換後ログデータの冗長箇所を処理装置により判別して、判別した前記冗長箇所を削減することによりN回目変換後ログデータのサイズを処理装置により削減して、N回目削減後ログデータとして記憶装置に記憶する冗長箇所削減部と
を備えたことを特徴とする。
本発明によれば、抽出管理部が、各ログデータに含まれる全ての文字列データを抽出して一意に定まる識別子を対応させて対応表ファイルを作成し、変換部が、各ログデータに含まれる文字列データを対応表ファイルに基づいて識別子に変換してそれぞれ変換後ログデータとして記憶し、冗長箇所削減部は、1回目変換後ログデータとN回目変換後ログデータとを比較して、比較した結果に基づいてN回目変換後ログデータの冗長箇所を判別し、判別した冗長箇所に対して削減処理を行いN回目変換後ログデータのサイズを削減してN回目削減後ログデータとして記憶するので、複数の各ログデータのサイズを削減することができ、全ログデータを記憶するための記憶領域が少なくてすむという効果を奏する。
図1は、実施の形態1に係るログデータサイズ削減装置100の外観の一例を示す図である。
図1において、ログデータサイズ削減装置100は、システムユニット910、CRT(Cathode・Ray・Tube)やLCD(液晶)の表示画面を有する表示装置901、キーボード902(Key・Board:K/B)、マウス903、FDD904(Flexible・Disk・ Drive)、コンパクトディスク装置905(CDD)、プリンタ装置906、スキャナ装置907などのハードウェア資源を備え、これらはケーブルや信号線で接続されている。
システムユニット910は、コンピュータであり、ファクシミリ機932、電話器931とケーブルで接続され、また、ローカルエリアネットワーク942(LAN)、ゲートウェイ941を介してインターネット940に接続されている。
図2は、実施の形態1に係るログデータサイズ削減装置100のハードウェア資源の一例を示す図である。
図2において、ログデータサイズ削減装置100は、プログラムを実行するCPU911(Central・Processing・Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう)を備えている。CPU911は、バス912を介してROM913、RAM914、通信ボード915、表示装置901、キーボード902、マウス903、FDD904、CDD905、プリンタ装置906、スキャナ装置907、磁気ディスク装置920と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置920の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
RAM914は、揮発性メモリの一例である。ROM913、FDD904、CDD905、磁気ディスク装置920の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置あるいは記憶部の一例である。
通信ボード915、キーボード902、スキャナ装置907、FDD904などは、入力部、入力装置の一例である。
また、通信ボード915、表示装置901、プリンタ装置906などは、出力部、出力装置の一例である。
通信ボード915は、ファクシミリ機932、電話器931、LAN942等に接続されている。通信ボード915は、LAN942に限らず、インターネット940、ISDN等のWAN(ワイドエリアネットワーク)などに接続されていても構わない。インターネット940或いはISDN等のWANに接続されている場合、ゲートウェイ941は不用となる。
磁気ディスク装置920には、オペレーティングシステム921(OS)、ウィンドウシステム922、プログラム群923、ファイル群924が記憶されている。プログラム群923のプログラムは、CPU911、オペレーティングシステム921、ウィンドウシステム922により実行される。
上記プログラム群923には、以下に述べる実施の形態の説明において「〜部」、「〜手段」として説明する機能を実行するプログラムが記憶されている。プログラムは、CPU911により読み出され実行される。
ファイル群924には、以下に述べる実施の形態の説明において、「〜の判定結果」、「〜の計算結果」、「〜の処理結果」として説明する情報やデータや信号値や変数値やパラメータが、「〜ファイル」、「〜データベース」、「〜データ」の各項目として記憶されている。「〜ファイル」、「〜データベース」、「〜データ」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリになどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してCPU911によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのCPUの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のCPUの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、以下に述べる実施の形態の説明において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、RAM914のメモリ、FDD904のフレキシブルディスク、CDD905のコンパクトディスク、磁気ディスク装置920の磁気ディスク、その他光ディスク、ミニディスク、DVD(Digital・Versatile・Disk)等の記録媒体に記録される。また、データや信号は、バス912や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
また、以下に述べる実施の形態の説明において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」、「手段」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ROM913に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等の記録媒体に記憶される。プログラムはCPU911により読み出され、CPU911により実行される。すなわち、プログラムは、以下に述べる「〜部」としてコンピュータを機能させるものである。あるいは、以下に述べる「〜部」の手順や方法をコンピュータに実行させるものである。
実施の形態1.
本実施の形態では、上述したパラメトリックスタディによる複数回のシミュレーションの実行により出力される複数のログデータについて、各ログデータのサイズを削減するログデータサイズ削減装置100及びログデータサイズ削減装置100のログデータサイズ削減方法について説明する。各ログデータのサイズを削減するとは、各ログデータのデータ量を削減することである。これにより、複数のログデータを記憶するための記憶装置の記憶領域の使用量が少なくてすむので、ハードウェア資源の使用効率が向上することとなる。
実施の形態1に係るログデータサイズ削減装置100の機能について図3〜4を用いて説明する。
図3は、実施の形態1に係るログデータサイズ削減装置100の機能ブロック図である。図4は、実施の形態1に係る各機能ブロックによるログデータへの作用を模式的に示した図である。
図3において、ログデータサイズ削減装置100は、抽出管理部101、文字列変換対応表102、変換部103、冗長箇所削減部104、ログデータ復元部105、記憶装置200を備えている。
記憶装置200には、パラメトリックスタディによる複数回のシミュレーションの実行により出力される複数のログデータが記憶されている。1回目ログデータ201は1回目のシミュレーションの実行結果として出力されるログデータである。シミュレーションの実行回数をK回とすると、記憶装置200には、1回目のシミュレーションによる実行結果である1回目ログデータ201、2回目のシミュレーションによる実行結果である2回目ログデータ202、・・・、K回目(Kは2以上の整数)のシミュレーションの実行結果であるK回目ログデータ20Kが記憶されることになる。すなわち、実行回数がK回のシミュレーションの場合は、記憶装置200には、1回目ログデータからK回目ログデータまでのK個のログデータが存在する。ここで、2回目以降のシミュレーションの実行結果であるログデータをN回目ログデータ20Nとする(Nは2以上かつシミュレーションの実行回数K以下の整数)。すなわち、N回目ログデータ20Nは、2回目以降で、かつK回目以下のいずれかであるN回目のシミュレーションの実行結果として出力されるログデータである。
抽出管理部101は、複数の各ログデータ(201から20K)に含まれる文字列データを処理装置により抽出し、抽出した文字列データと当該文字列データが一意に定まる数字(識別子の一例)とを対応させて文字列変換対応表(対応表ファイルの一例)102を作成して記憶装置に記憶して管理する。抽出管理部101の処理により、各ログデータ内に一度でも出力される全ての文字列データは、一意に定まる数字と対応して文字列変換対応表102に記憶されることになる。文字列変換対応表102を記憶する記憶装置は、上述した複数のログデータが記憶されている記憶装置200でもよいし、ログデータサイズ削減装置100が備えているその他の記憶機器でも構わない。抽出管理部101の処理(抽出管理処理)の詳細については、後述する。
文字列変換対応表102は、対応表ファイルの一例であり、複数の各ログデータ(201から20K)において少なくとも1回以上は出力されている文字列データのすべてに対して、当該文字列データが一意に定まる数字(識別子の一例)をそれぞれ対応させて記憶するものである。
変換部103は、各ログデータ(201から20K)に含まれる文字列データを、文字列変換対応表102に基づいて当該文字列データに対応する数字に置き換えることにより複数のログデータを変換して複数の変換後ログデータ(1回目変換後ログデータ201a、2回目変換後ログデータ202a・・・K回目変換後ログデータ20Ka)として記憶装置200に記憶する。変換部103は、1回目ログデータ201からK回目ログデータ20Kまでの全てのログデータについて、各ログデータ内の文字列データを当該文字列データに対応する数字に変換する。すなわち、1回目ログデータ201を変換して1回目変換後ログデータ201aとして記憶装置200に記憶し、2回目ログデータに対しても同様の処理を行い、N回目ログデータ20N(Nは2回目以上K回目以下)を変換してN回目変換後ログデータ20Naとして記憶装置200に記憶する。これにより、各ログデータ(201から20K)内の全ての文字列データが数字に変換されて、それぞれ変換後ログデータ(201aから20Ka)として記憶され、記憶装置200におけるログデータ全体のサイズが削減されることになる。変換部103の処理(変換処理)の詳細については、後述する。
冗長箇所削減部104は、1回目のシミュレーションの実行により出力された1回目ログデータ201を変換部103が変換した1回目変換後ログデータ201aと、2回目以降のN回目(Nは2以上かつシミュレーションの実行回数K以下の整数)のシミュレーションの実行により出力されたN回目ログデータ20Nを上記変換部が変換したN回目変換後ログデータ20Naとを処理装置により比較する。冗長箇所削減部104は、比較した結果に基づいてN回目変換後ログデータ20Naの冗長箇所を処理装置により判別する。そして、冗長箇所削減部104は、判別したN回目変換後ログデータ20Naにおける冗長箇所を削減し、N回目変換後ログデータ20Naのサイズ(データ量)を処理装置により削減して、N回目削減後ログデータ20Nbとして記憶装置200に記憶する。すなわち、冗長箇所削減部104は、2回目以降の全ての変換後ログデータ(202aから20Ka)に対して、冗長箇所削減処理を行い、2回目削減後ログデータ202b、・・・、K回目削減後ログデータ20Kbとして記憶装置200に記憶する。冗長箇所削減部104の処理(冗長箇所削減処理)の詳細については、後述する。
ログデータ復元部105は、文字列変換対応表102と1回目変換後ログデータ201aとに基づいて、処理装置を用いてN回目削減後ログデータ20NbをN回目ログデータ20Nに復元する。ログデータ復元部105の処理(ログデータ復元処理)の詳細については、後述する。
次に、図5〜8を用いて、実施の形態1におけるログデータサイズ削減装置100のログデータサイズ削減方法の動作について説明する。
図5は、実施の形態1に係る抽出管理処理におけるログデータの一例を示した図である。
まず、図5を用いて、本実施の形態におけるパラメトリックスタディによるシミュレーションの実行により出力されるログデータの一例について説明する。
図5において、1回目ログデータ201、N回目ログデータ20N(Nは2以上シミュレーション実行回数K以下の整数)は本実施の形態におけるパラメトリックスタディによるシミュレーションの実行結果として出力されたログデータの一例を示している。
各ログデータにおいて、「L/N」2011は、ログデータの各行(各ライン、各レコード)の番号が出力される項目である。「object」2012及び「attribute」2013は、予めユーザが設定したログデータ内の項目を示す。「value」2014は、シミュレーションの結果により出力される項目名称に対応する値が出力される項目である。
1回目ログデータ201、N回目ログデータ20Nともに、「object」2012の項目には、“tank”や“airplane”や“ship”といった文字列データ(名称)が繰り返し出力されている。また、「attribute」2013の項目には、“speed”、“angle”及び“acceleration”といった文字列データ(名称)が繰り返し出力されている。このように、同一文字列データ(同一名称)が繰り返し出力されており、これについては冗長である。
また、N回目ログデータ20Nの「1行目から4行目」と「8行目から11行目」の箇所は、1回目ログデータ201の内容と同じであり、冗長箇所である。さらに、N回目ログデータ20Nの12行目に示されるように、パラメータの変化によりシミュレーション結果への影響が生じている箇所が出力されているが、分かりづらいものとなっている。
図6は、実施の形態1に係るログデータサイズ削減装置100のログデータサイズ削減方法の動作を示すフロー図である。図7は、実施の形態1に係るログデータサイズ削減方法が備える冗長箇所削減処理の動作を示すフロー図である。図8は、実施の形態1に係る変換処理及び冗長箇所削減処理におけるログデータの一例を示した図である。図9は、実施の形態1に係るログデータ復元処理におけるログデータの一例を示した図である。
ログデータサイズ削減装置100は、以下に説明するログデータサイズ削減方法(ログデータサイズ削減処理)を実行するために、ログデータサイズ削減プログラムに従い、処理装置(CPU)を用いて、各機能ブロックを制御する。
図6を用いて、ログデータサイズ削減装置100のログデータサイズ削減方法の動作について説明する。
本実施の形態では、シミュレーションの実行回数はK回とし、N回目は2回目以降K回目以下のいずれかの回を表すものとする(2≦N≦K)。
<S501:抽出管理処理>
まず、抽出管理処理S501において、抽出管理部101が、1回目ログデータ201からK回目ログデータ20Kまでの全てのログデータからログデータに出力された全ての文字列データを処理装置により抽出し、抽出した文字列データと当該文字列データが一意に定まる数字とを対応させて文字列変換対応表102を作成して、記憶装置に記憶する。
図5に示すように、抽出管理部101は、予めユーザにより定められた項目「object」2012に対応する文字列データ(名称ともいう)“tank”及び“airplane”を1回目ログデータから抽出し、更にN回目ログデータから“ship”を抽出する。同様に、抽出管理部101は、項目「attribute」2013に対応する文字列データ(名称ともいう)“speed”及び“angle”を1回目ログデータから抽出し、さらに、N回目ログデータから“acceleration”を抽出する。次に、抽出された各文字列データに対し一意に定まる数字を対応させ、この対応関係を文字列変換対応表102として出力する。図5において、文字列変換対応表102は、項目(「object」2012及び「attribute」2013)毎に、文字列データと数字を対応させて記憶する構成となっているが、項目にかかわらずシーケンシャルに文字列データを数字と対応させる構成としても構わない。
<S502:変換処理>
次に、変換処理S502では、変換部103が、文字列変換対応表102に基づいて、各ログデータ(1回目ログデータ201からK回目ログデータ20K)内の各文字列データ(各名称)を対応する数字に置き換えて、各ログデータを変換後ログデータ(1回目変換後ログデータ201aからK回目変換後ログデータ20Ka)として記憶装置200に記憶する。具体的には、図8に示すように、1回目ログデータの文字列データ部分は、すべて対応する数字に置き換わり、1回目変換後ログデータ201aとして記憶される。同様に、N回目ログデータ20Nの文字列データ部分は、すべて対応する数字に置き換わり、N回目変換後ログデータ20Naとして記憶される。
<S503:冗長箇所削減処理>
次に、冗長箇所削減処理S503では、冗長箇所削減部104が、1回目変換後ログデータ201aと、N回目変換後ログデータ20Naとを処理装置により比較して、比較した結果に基づいてN回目変換後ログデータ20Naの冗長箇所を処理装置により判別して、判別した冗長箇所を削減することによりN回目変換後ログデータ20Naのサイズを処理装置により削減して、N回目削減後ログデータ20Nbとして記憶装置200に記憶する。
図7を用いて、冗長箇所削減処理S503の詳細について説明する。
冗長箇所削減部104は、1回目変換後ログデータ201aとN回目変換後ログデータ20Naとを処理装置により比較する(S5031)。N回目変換後ログデータ20Naに1回目変換後ログデータ201aが有しないデータが追加されている場合は、冗長箇所削減部104は、1回目変換後ログデータ201aが有しないデータが追加された情報を示す追加箇所情報をN回目変換後ログデータ20Naに設定する(S5032)。また、N回目変換後ログデータ20Naにおいて1回目変換後ログデータ201aが有するデータが削除されている場合は、冗長箇所削減部104は、1回目変換後ログデータ201aが有するデータが削除された情報を示す削除箇所情報をN回目変換後ログデータ20Naに設定する(S5033)。また、N回目変換後ログデータ20Naが1回目変換後ログデータ201aが有するデータと同一のデータを有する場合は、1回目変換後ログデータ201aが有するデータと同一のデータをN回目変換後ログデータ20Naから削除する(S5034)。冗長箇所削減部104は、N回目変換後ログデータ20Naに対してS5032〜S5033の処理を行い、N回目削減後ログデータ20Nbとして記憶装置200に記憶する(S5035)。
ここで、図8を用いて、さらに具体的な冗長箇所削減処理について説明する。
冗長箇所削減部104は、1回目変換後ログデータ201aとN回目変換後ログデータ20Naとを比較して、N回目変換後ログデータ20Naの「1行目から4行目」、「8行目から9行目」及び「10行目から11行目」の箇所は、1回目変換後ログデータ201aの「1行目から4行目」、「5行目から6行目」及び「9行目から10行目」の箇所に対応しており同一の内容が出力されている。このため、冗長箇所削減部104は、N回目変換後ログデータ20Naの「1行目から4行目」、「8行目から9行目」及び「10行目から11行目」の箇所が冗長箇所であると処理装置を用いて判別する。そして、冗長箇所削減部104は、1回目変換後ログデータ201aの内容と同じであり冗長箇所であると判別したN回目変換後ログデータ20Naの「1行目から4行目」、「8行目から9行目」及び「10行目から11行目」の箇所を、N回目変換後ログデータ20Naから削除する。
また、冗長箇所削減部104は、1回目変換後ログデータ201aとN回目変換後ログデータ20Naとを比較して、N回目変換後ログデータ20Naの「5行目から7行目」は1回目変換後ログデータ201aと比較して追加されている箇所(追加箇所3)であると処理装置を用いて判断する。冗長箇所削減部104は、この追加箇所3が1回目変換後ログデータ201aのどの箇所に追加されているかを“+”符号を付記した行番号を用いて記述を行う。すなわち、N回目変換後ログデータ20Naの「5行目から7行目」の追加箇所3の3行は、1回目変換後ログデータ201aの「4行目と5行目の間」に位置することになるので、冗長箇所削減部104は、追加箇所3の3行のうちの1行目のL/Nに“+4”を記述し、最後の行に“+5”を記述し、その中間の行については“0”を記述することで、1回目変換後ログデータ201aの4行目と5行目の間にこの3行が追加されたことを示す(追加箇所情報5)。
さらに、冗長箇所削減部104は、1回目変換後ログデータ201aとN回目変換後ログデータ20Naとを比較して、1回目変換後ログデータ201aの「7行目と8行目」がN回目変換後ログデータでは出力されておらず、1回目変換後ログデータ201aの「7行目と8行目」は削除箇所であると処理装置により判断する。冗長箇所削減部104は、1回目変換後ログデータ201aのどの箇所がN回目変換後ログデータ20Naでは削除されているかを“−”符号を付記した行番号を用いて記述を行う(削除箇所情報6)。冗長箇所削減部104は、「“−7”及び“−8”」(削除箇所情報6)をN回目変換後ログデータ20Naに記述することで、N回目変換後ログデータ20Naでは1回目変換後ログデータ201aの7行目と8行目に該当する箇所(4a部分)が削除されていることを示す。
また、冗長箇所削減部104は、1回目変換後ログデータ201aとN回目変換後ログデータ20Naとを比較して、N回目変換後ログデータ20Naの「12行目と13行目」は1回目変換後ログデータ201aの「11行目と12行目」に対応し、パラメータの変化によりシミュレーション結果への影響が生じている箇所であると処理装置を用いて判断する。この場合は、冗長箇所削減部104は、N回目変換後ログデータ20Naにおいて、行番号のみをその箇所(パラメータの変化によりシミュレーション結果への影響が生じている箇所)が対応する1回目変換後ログデータ201aにおける行番号に変更して出力する。すなわち、冗長箇所削減部104は、パラメータの変化によりシミュレーション結果への影響が生じている箇所であるN回目変換後ログデータ20Naの「12行目と13行目」の行番号を、対応する1回目変換後ログデータ201aの「11行目と12行目」に変更する(変更箇所情報7)。これにより、パラメータの変化により生じたシミュレーション結果への影響を分かりやすくすることができる。
<S504:ログデータ復元処理>
ログデータ復元処理S504では、ログデータ復元部105が、文字列変換対応表102と1回目変換後ログデータ201aとに基づいて、N回目削減後ログデータ20NbをN回目ログデータ20Nに復元する。すなわち、冗長な箇所が削減されたログデータに対しては、ログデータ復元部105により元のログデータへの復元が可能である。また、変換部103により数字(数値)に変換された箇所については、抽出管理部101により作成された文字列変換対応表102を基に元の文字列データ(名称)への復元を行い、さらに、1回目変換後ログデータ201aの内容とN回目削減後ログデータ20Nbの内容から、冗長な箇所として削除された行を復元する。
図9を用いて、さらに具体的にログデータ復元処理S504の一例について説明する。
ここでは、ログデータ復元部105が、1回目変換後ログデータ201aとN回目削減後ログデータ20Nbとから、N回目変換後ログデータ20Naを復元する処理について説明する。
まず、ログデータ復元部105は、N回目削減後ログデータ20Nbの追加箇所情報5の内容に基づいて、1回目変換後ログデータ201aに対して追加箇所復元処理を行う。図9において、追加箇所情報5は、「N回目変換後ログデータ20Naでは1回目変換後ログデータ201aの4行目と5行目の間に追加箇所情報5に示す3行が追加されている」という情報である。したがって、1回目変換後ログデータ201aの5a部分(4行目と5行目の間)に追加箇所情報5に示されている3行を追加する(追加箇所3)。このとき、ログデータ復元部105は、追加する3行の行番号(L/N2011)は追加箇所情報5の行番号(L/N2011)のままで追加してよい。
次に、ログデータ復元部105は、N回目削減後ログデータ20Nbの削除箇所情報6の内容に基づいて、1回目変換後ログデータ201aに対して削除箇所復元処理を行う。図9において、削除箇所情報6は、「N回目変換後ログデータ20Naでは1回目変換後ログデータ201aの7行目と8行目に対応する行が削除されている」という情報である。したがって、1回目変換後ログデータ201aの7行目と8行目と(削除箇所4)を削除する。
次に、ログデータ復元部105は、N回目削減後ログデータ20Nbの変更箇所情報7の内容に基づいて、1回目変換後ログデータ201aに対して変更箇所復元処理を行う。図9においては、変更箇所情報7は、「N回目変換後ログデータ20Naでは、1回目変換後ログデータ201aの11行目と12行目に対応する行の値が変更箇所情報7に示す値に変更されている」いう情報である。これは、パラメータの変化により生じたシミュレーション結果への影響を検出したものである。したがって、ログデータ復元部105は、1回目変換後ログデータ201aの11行目と12行目との値を、変更箇所情報7の示す値に置き換えて変更する(値変更箇所8)。
以上の処理により、1回目変換後ログデータ201aの「object」2012、「attribute」2013及び「value」2014の項目に設定された数字(数値、値)は、N回目変換後ログデータ20Naの「object」2012、「attribute」2013及び「value」2014の項目に設定された数字(数値、値)を復元したものとなる。このとき、行番号以外の項目の数字(数値、値)を復元した1回目変換後ログデータ201aの行番号(L/N2011)は、まだ、「1,2,3,4,+4,0,+5,5,6,9,10,11,12・・・」のままである。したがって、ログデータ復元部105は、行番号(L/N2011)をリナンバーして「1,2,3,4,5,6,7,8,9,10,11,12,13・・・」とすることにより、N回目変換後ログデータ20Naを、完全に復元することができる。
ログデータ復元部105は、復元したN回目変換後ログデータ20Naと文字列変換対応表102とから、N回目ログデータ20Nを復元する。すなわち、ログデータ復元部105は、N回目変換後ログデータ20Naの項目「object」2012及び「attribute」2013に設定されているすべての数字(数値)を、文字列変換対応表102に基づいて、当該数字に対応する文字列データに置き換える。これにより、ログデータ復元部105は、N回目ログデータ20Nを完全に復元することができる。同様に、ログデータ復元部105は、1回目変換後ログデータ201aと文字列変換対応表102とから、1回目ログデータ201を復元する。
実施の形態1において、以下のような特徴を有するログデータサイズ削減手法について説明した。
実施の形態1に係るログデータサイズ削減装置(ログデータサイズ削減手法)は、シミュレーション実行により出力された全てのログデータ内から、予めユーザが定めた項目において出力されている全ての名称を抽出し、この各名称に対し一意に定まる数字を対応させ、その対応関係をファイルとして出力し管理する抽出管理部(抽出管理機能)と、ログデータ内の各名称を抽出管理部により対応づけられた数字に置き換える変換部(変換機能)と、2回目以降の各ログデータと1回目のログデータの内容を比較し、2回目以降の各ログデータ内の冗長な箇所を削減する冗長箇所削減部(冗長箇所削減機能)と、変換部及び冗長箇所削減部により冗長な箇所を削減されたログデータの内容を復元するログデータ復元部(ログデータ復元機能)を有することを特徴とする。
実施の形態1に係るログデータサイズ削減装置において、冗長箇所削減部は、2回目以降の各ログデータの内容において、1回目のログデータの内容から追加されている箇所については追加箇所及びその内容が分かるように修正し、削除されている箇所については削除箇所が分かるようにログデータの内容を修正し、同一箇所については削除することを特徴とする。
以上のように、実施の形態1に係るログデータサイズ削減装置によれば、シミュレーションの実行により出力されるログデータのサイズを削減し、また、パラメータの変化により生じたシミュレーション結果への影響を分かりやすくすることができるという効果を奏する。
実施の形態1に係るログデータサイズ削減装置により削減することができるログデータは、パラメトリックスタディによるシミュレーションに限られるわけではなく、他の手法によるシミュレーションの実行結果として出力されるログデータに対して適用しても構わない。
また、実施の形態1の説明において、ログデータサイズ削減装置100における抽出管理部101、変換部103、冗長箇所削減部104、ログデータ復元部105は、それぞれ独立した機能ブロックとして構成されているが、ひとつの機能ブロックとしてもよい。あるいは、抽出管理部101と変換部103とをまとめてひとつの機能ブロックとし、冗長箇所削減部104、ログデータ復元部105を独立した機能ブロックとしてもよい。あるいは、これらの機能ブロックを、他のどのような組み合わせで構成しても構わない。
実施の形態1に係るログデータサイズ削減装置及びログデータサイズ削減装置のログデータサイズ削減方法は、処理装置、記憶装置等のハードウェアが用いられており、ソフトウェアによる情報処理がハードウェアを用いて具体的に実現されたものである。すなわち、上述した実施の形態1のログデータサイズ削減装置及びログデータサイズ削減装置のログデータサイズ削減方法は、自然法則を利用したハードウェアの動作によりログデータサイズ削減装置及びログデータサイズ削減装置のログデータサイズ削減方法の実現を図っているものであり、自然法則を利用した技術的創作に該当するものである。
実施の形態1に係るログデータサイズ削減装置100の外観の一例を示す図である。 実施の形態1に係るログデータサイズ削減装置100のハードウェア資源の一例を示す図である。 実施の形態1に係るログデータサイズ削減装置100の機能ブロック図である。 実施の形態1に係る各機能ブロックによるログデータへの作用を模式的に示した図である。 実施の形態1に係る抽出管理処理におけるログデータの一例を示した図である。 実施の形態1に係るログデータサイズ削減装置100のログデータサイズ削減方法の動作を示すフロー図である。 実施の形態1に係るログデータサイズ削減方法が備える冗長箇所削減処理の動作を示すフロー図である。 実施の形態1に係る変換処理及び冗長箇所削減処理におけるログデータの一例を示した図である。 実施の形態1に係るログデータ復元処理におけるログデータの一例を示した図である。
符号の説明
3 追加箇所、4 削除箇所、5 追加箇所情報、6 削除箇所情報、7 変更箇所情報、8 値変更箇所、100 ログデータサイズ削減装置、101 抽出管理部、102 文字列変換対応表、103 変換部、104 冗長箇所削減部、105 ログデータ復元部、200 記憶装置、201 1回目ログデータ、202 2回目ログデータ、20N N回目ログデータ、20K K回目ログデータ、201a 1回目変換後ログデータ、202a 2回目変換後ログデータ、20Na N回目変換後ログデータ、20Ka K回目変換後ログデータ、202b 2回目削減後ログデータ、20Nb N回目削減後ログデータ、20Kb K回目削減後ログデータ、901 表示装置、902 キーボード、903 マウス、904 FDD、905 CDD、906 プリンタ装置、907 スキャナ装置、910 システムユニット、911 CPU、912 バス、913 ROM、914 RAM、915 通信ボード、920 磁気ディスク装置、921 OS、922 ウィンドウシステム、923 プログラム群、924 ファイル群、931 電話器、932 ファクシミリ機、940 インターネット、941 ゲートウェイ、942 LAN。

Claims (4)

  1. 複数回のシミュレーションの実行により出力される複数のログデータのサイズを削減するログデータサイズ削減装置であって、
    上記複数のログデータに含まれる文字列データを抽出し、抽出した文字列データと当該文字列データが一意に定まる識別子とを対応させて対応表ファイルとして記憶装置に記憶する抽出管理部と、
    ログデータに含まれる文字列データを上記対応表ファイルに基づいて対応する識別子に置き換えることにより、上記複数のログデータを変換して複数の変換後ログデータとして記憶装置に記憶する変換部と、
    1回目のシミュレーションの実行により出力された1回目ログデータを上記変換部が変換した1回目変換後ログデータと、N回目(Nは2以上かつシミュレーションの実行回数以下の整数)のシミュレーションの実行により出力されたN回目ログデータを上記変換部が変換したN回目変換後ログデータとを処理装置により比較して、比較した結果に基づいてN回目変換後ログデータの冗長箇所を処理装置により判別して、判別した前記冗長箇所を削減することによりN回目変換後ログデータのサイズを処理装置により削減して、N回目削減後ログデータとして記憶装置に記憶する冗長箇所削減部と
    を備えたことを特徴とするログデータサイズ削減装置。
  2. 上記ログデータサイズ削減装置は、さらに、
    上記対応表ファイルと上記1回目変換後ログデータとに基づいて、処理装置を用いてN回目削減後ログデータをN回目ログデータに復元するログデータ復元部
    を備えたことを特徴とする請求項1記載のログデータサイズ削減装置。
  3. 上記冗長箇所削減部は、
    1回目変換後ログデータとN回目変換後ログデータとを比較して、上記N回目変換後ログデータにおいて上記1回目変換後ログデータが有しないデータが追加されている場合は、上記1回目変換後ログデータが有しないデータが追加された情報を示す追加箇所情報を上記N回目変換後ログデータに設定し、
    1回目変換後ログデータとN回目変換後ログデータとを比較して、上記N回目変換後ログデータにおいて上記1回目変換後ログデータが有するデータが削除されている場合は、上記1回目変換後ログデータが有するデータが削除された情報を示す削除箇所情報を上記N回目変換後ログデータに設定し、
    1回目変換後ログデータとN回目変換後ログデータとを比較して、上記N回目変換後ログデータが上記1回目変換後ログデータが有するデータと同一のデータを有する場合は、上記1回目変換後ログデータが有するデータと同一のデータを上記N回目変換後ログデータから削除し、
    N回目削減後ログデータとして記憶装置に記憶することを特徴とする請求項1または2に記載のログデータサイズ削減装置。
  4. 複数回のシミュレーションの実行により出力される複数のログデータのサイズを削減するログデータサイズ削減装置のログデータサイズ削減方法であって、
    抽出管理部が、上記複数のログデータに含まれる文字列データを抽出し、抽出した文字列データと当該文字列データが一意に定まる識別子とを対応させて対応表ファイルとして記憶装置に記憶する抽出管理処理と、
    変換部が、ログデータに含まれる文字列データを上記対応表ファイルに基づいて対応する識別子に置き換えることにより、上記複数のログデータを変換して複数の変換後ログデータとして記憶装置に記憶する変換処理と、
    冗長箇所削減部が、1回目のシミュレーションの実行により出力された1回目ログデータを上記変換部が変換した1回目変換後ログデータと、N回目(Nは2以上かつシミュレーションの実行回数以下の整数)のシミュレーションの実行により出力されたN回目ログデータを上記変換部が変換したN回目変換後ログデータとを処理装置により比較して、比較した結果に基づいてN回目変換後ログデータの冗長箇所を処理装置により判別して、判別した前記冗長箇所を削減することによりN回目変換後ログデータのサイズを処理装置により削減して、N回目削減後ログデータとして記憶装置に記憶する冗長箇所削減処理と、
    ログデータ復元部が、上記対応表ファイルと上記1回目変換後ログデータとに基づいて、処理装置を用いてN回目削減後ログデータをN回目ログデータに復元するログデータ復元処理と
    を備えたことを特徴とするログデータサイズ削減装置のログデータサイズ削減方法。
JP2007044879A 2007-02-26 2007-02-26 ログデータサイズ削減装置及びログデータサイズ削減装置のログデータサイズ削減方法 Pending JP2008210073A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007044879A JP2008210073A (ja) 2007-02-26 2007-02-26 ログデータサイズ削減装置及びログデータサイズ削減装置のログデータサイズ削減方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007044879A JP2008210073A (ja) 2007-02-26 2007-02-26 ログデータサイズ削減装置及びログデータサイズ削減装置のログデータサイズ削減方法

Publications (1)

Publication Number Publication Date
JP2008210073A true JP2008210073A (ja) 2008-09-11

Family

ID=39786331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007044879A Pending JP2008210073A (ja) 2007-02-26 2007-02-26 ログデータサイズ削減装置及びログデータサイズ削減装置のログデータサイズ削減方法

Country Status (1)

Country Link
JP (1) JP2008210073A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097417A (ja) * 2008-10-16 2010-04-30 Nec Corp メッセージ管理システム、監視対象装置、監視装置、メッセージ管理方法およびそのプログラム
JP2011123752A (ja) * 2009-12-11 2011-06-23 Fujitsu Ltd ログ収集装置、ログ収集プログラム、ログ収集方法及びログ収集システム
JP2012190219A (ja) * 2011-03-10 2012-10-04 Fujitsu Ltd 情報処理装置、およびトレースログ取得方法
JP2012243269A (ja) * 2011-05-24 2012-12-10 Ricoh Co Ltd 画像形成装置、情報処理装置、プログラム
JP2013171431A (ja) * 2012-02-21 2013-09-02 Fujitsu Telecom Networks Ltd ログ記録装置、ログ記録方法及び記録媒体
US20190182100A1 (en) * 2017-12-12 2019-06-13 Fujitsu Limited Information processing apparatus and information processing system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097417A (ja) * 2008-10-16 2010-04-30 Nec Corp メッセージ管理システム、監視対象装置、監視装置、メッセージ管理方法およびそのプログラム
JP2011123752A (ja) * 2009-12-11 2011-06-23 Fujitsu Ltd ログ収集装置、ログ収集プログラム、ログ収集方法及びログ収集システム
JP2012190219A (ja) * 2011-03-10 2012-10-04 Fujitsu Ltd 情報処理装置、およびトレースログ取得方法
JP2012243269A (ja) * 2011-05-24 2012-12-10 Ricoh Co Ltd 画像形成装置、情報処理装置、プログラム
JP2013171431A (ja) * 2012-02-21 2013-09-02 Fujitsu Telecom Networks Ltd ログ記録装置、ログ記録方法及び記録媒体
US20190182100A1 (en) * 2017-12-12 2019-06-13 Fujitsu Limited Information processing apparatus and information processing system
US11153153B2 (en) 2017-12-12 2021-10-19 Fujitsu Limited Information processing apparatus and information processing system

Similar Documents

Publication Publication Date Title
JP3230677B1 (ja) 自動集計方法、自動集計装置および記録媒体
US20030034989A1 (en) Application editing apparatus and data processing method and program
US9501377B2 (en) Generating and implementing data integration job execution design recommendations
JP2008210073A (ja) ログデータサイズ削減装置及びログデータサイズ削減装置のログデータサイズ削減方法
US9535691B1 (en) Tracking changes within Javascript object notation
US10891178B2 (en) Method and device for identifying problematic component in storage system
JP2008009861A (ja) システム構成管理方式
JP6700554B2 (ja) 分散処理管理方法、分散処理管理プログラム、および分散処理管理装置
JP2017045080A (ja) 業務フロー仕様再生方法
CH718167A2 (it) Sistemi e metodi per il riferimento incrociato di istantanee forensi nel tempo per l'analisi delle cause alla radice
JP5171211B2 (ja) データ形式変換装置
US8489537B2 (en) Segmenting sequential data with a finite state machine
US9082104B2 (en) Method and apparatus for managing system specifications
US10257055B2 (en) Search for a ticket relevant to a current ticket
US10310927B2 (en) Operating a trace procedure for a computer program
JP2007200047A (ja) アクセスログ表示システムおよび方法
JP6873332B2 (ja) 点数化装置、点数化プログラム及び点数化方法
US9858113B2 (en) Creating execution flow by associating execution component information with task name
JP2018124901A (ja) プログラム分析装置、プログラム分析方法及びプログラム分析プログラム
JP5219543B2 (ja) 情報処理装置及び情報処理方法及びプログラム
US10726363B2 (en) Ticket event modification for a problem tracking system ticket
JP2008210068A (ja) データ処理装置及びデータ処理方法及びプログラム
US10482133B2 (en) Creating and editing documents using word history
US11921620B2 (en) Generating a visualization of blocks of code statements related to errors in a log file
US11321225B2 (en) Reducing the memory load time for logic simulator by leveraging architecture simulator