JP2010224705A - ログ検索システム - Google Patents

Abstract

【課題】ＯＳ、ＤＢ等のシステムログだけでなくネットワーク機器やミドルウェア、アプリケーションログを一元的に保管し透過的に検索する。
【解決手段】複数のシステムから収集したフォーマットの異なるログファイルに対して、利用者端末から特定の項目を指定して任意のキーワードで検索して抽出結果を出力するシステムであって、利用者端末からの検索要求を受け付ける検索受付手段と検索項目に対応した項目名称データをログファイル基本情報データベースとログファイル項目対応データベースから読み出し、キーワードと合わせてログレコードを読み出す抽出処理手段とファイル出力処理手段を備える。新たなシステム又はログが発生した場合、属性情報と項目情報を追加して、複数ログとの紐付けを行う。
【選択図】図１

Description

本発明は、複数のログの検索を効率的に行い、なおかつフォーマットの異なるログを共通のフォーマットで出力するようにしたログ検索システムに関するものである。

従来、保管されているログファイルに対して、予め登録してあるキーワードと比較して、関連するキーワードを含むログレコードを抽出する技術がある。

例えば、特許文献１に開示しているシステムでは、トラブル関連キーワードを検索前にキーワードファイルに設定し、検索時に検索対象とするログファイルを選択することにより、トラブル関連キーワードを含むログレコードを表示するようにしている。また、検索対象はログファイルの各レコードの文字列全体に対して行われている。

特開２００８−１４０２４８号公報

一方、ログを利用する場面はトラブル時の原因究明以外にも、アクセスログの証跡確認やセキュリティ管理における兆候監視等ニーズが多様化している。しかしながら、多様化するニーズに応えるためには、ＯＳ、ＤＢ等のシステムログだけでなくネットワーク機器やミドルウェア、アプリケーションログを一元的に保管し透過的に検索できる必要がある。

上記の従来の技術では、トラブルキーワードを含むログのみが抽出可能であり、トラブル対応以外の用途に応じた検索ができない。また、ログレコード全体に対するキーワードの部分一致検索のため、キーワード自体は存在するもののトラブル事象と関係のないログレコードを抽出してしまう可能性もある。さらに、検索結果はフォーマットの異なるログレコードが時系列にソートされて表示されるため、どのログファイルから出力されたログレコードかをフォーマット又はメッセージ内容から判断する必要がある。

本発明の目的は、予め登録されたトラブルキーワードによる検索ではなく、検索したい項目に対して任意のキーワードを入力して、フォーマットの異なる複数のログファイルの項目を紐付けして検索し、検索結果のフォーマットを統一化してシステム名やログ種別を付加情報として出力することで、検索操作の柔軟性と検索結果の参照時の効率性を向上することができるログ検索システムを提供することにある。

上記課題を解決するために本発明は、複数のシステムから収集したフォーマットの異なるログファイルに対して、利用者端末から特定の項目を指定して任意のキーワードで検索して抽出結果を出力するシステムであって、
前記利用者端末からの検索項目と検索対象期間の検索要求を受け付ける検索受付手段と前記検索要求された前記検索項目に対応した項目名称データをログファイル基本情報データベースとログファイル項目対応データベースから読み出し、前記検索要求された前記キーワードと合わせて抽出文生成処理手段と抽出文に対応したログレコードをログファイル保管データベースから読み出す抽出処理手段と前記抽出結果を要求元の前記利用者端末に前記抽出結果を回答するためのファイル出力処理手段を備える。

また、管理者端末で検索対象とする新たなシステム又は新たなログが発生した場合、属性情報と項目情報を追加して、複数ログとの紐付けを行うために、ログファイル基本情報データベースとログファイル共通項目対応データベースを更新する登録処理手段を備える。

また、前記抽出結果の項目の種類と名称と並び順とソート順を組み替えできる手段を備える。

また、前記抽出結果の項目に、前記ログファイルを保有していたシステム名とログの種別を組み込んで出力する手段を備える。

本発明によれば、利用者は予め登録されたキーワードだけで検索するのではなく、検索時に任意のキーワードを入力してログレコードを取得することが可能になる。

フォーマットの異なるログファイルの同義の項目同士を、予め紐付け定義することで、任意のキーワードで複数のログファイルに対する一括した横串検索が可能となる。

また、特定の項目を指定したキーワード検索を行うことで、ログレコード内での対象範囲を絞り込めるため、意図しない項目からの誤抽出の防止に繋がる。

また、検索結果である抽出結果の出力フォーマットを統一化することで、同義項目が同一列に表示され、またソート条件を設定することにより、利用者にとって検索結果の参照が容易となり、ログ種類の異なるログレコード間の相関関係の解釈及び分析を容易にすることが可能となる。

本発明に係る第１の実施形態におけるシステム構成図である。 種類別ログファイルの具体例を示す図である。 検索結果出力ファイルの共通項目の具体例を示すテーブル図である。 ログ収集対象システムごとのログ種別と区切り文字の紐付けの具体例を示すテーブル図である。 ログファイル個別の項目と共通項目との紐付けの具体例を示すテーブル図である。 ログファイル個別の項目設定の概要を示すフローチャートである。 ログ検索条件の入力から検索結果出力までの概要を示すフローチャートである。 ログファイル個別の項目設定画面の具体例を示す図である。 ログ検索条件画面の具体例を示す図である。 検索結果出力内容の具体例を示す図である。

以下、本発明を実施する場合の第１の実施形態を、図面を用いて詳細に説明する。

図１は、本発明に係る第１の実施形態におけるログ検索システム構成図である。

コンピュータ１において、ログ検索システムのデータ処理部１００は、ログファイル情報登録処理部１０１と、検索条件入力処理部１０２と、抽出条件文生成処理部１０３と、検索抽出処理部１０４と、検索結果出力処理部１０５の各処理部から構成されている。データ処理部１００を構成する各部１０１，１０２，１０３，１０４，１０５はいずれもコンピュータ１のＣＰＵ（中央処理装置）が必要なコンピュータプログラムを読み込んで実行することにより実現される手段である。

またログ検索処理に必要な情報として、予め定義されている共通項目テーブル１１１（詳細は図３を参照しつつ後述する）と、ログファイル基本情報テーブル１１２（詳細は図４を参照しつつ後述する）と、ログファイル共通項目対応テーブル１１３（詳細は図５を参照しつつ後述する）を設けており、また、予めログ収集対象システムから収集しているログファイルを格納しているログファイル格納部１１４を備えている。これらの情報１１１，１１２，１１３，１１４はいずれもコンピュータ１の記憶装置に記憶され、必要に応じて主記憶装置に読み込まれて用いられる。

ログファイル格納部１１４には、定期的にログ収集対象システムからログを収集して、ログ収集対象システムごとにログファイルを格納する。また、ログファイルのファイル名は予め重複しないルールとして、ログフォーマットの異なるファイルが複数格納できる。保管期間については、一定期間経過したログファイルは、自動削除する仕組みとしてもよい。

ログファイル情報登録処理部１０１は、管理者が管理者端末１３１においてログファイルの種類ごとに入力したログファイル情報１２１を取得してログファイル基本情報テーブル１１２と、ログファイル共通項目対応テーブル１１３に書き込む。

検索条件入力処理部１０２は、利用者が利用者端末１３２においてログ検索を行う時に入力する検索条件１２２を取得する。例えば、特定のシステム名、ユーザＩＤ、期間を検索条件として設定する等絞り込み条件を設定することが可能である。
なお、管理者端末１３１及び利用者端末１３２は、いずれもコンピュータ１とネットワークで接続されている。

抽出条件文生成処理部１０３は、検索条件入力処理部１０２から取得した検索条件を元に、ログファイル基本情報テーブル１１２からの区切り文字の特定と、ログファイル共通項目対応テーブル１１３からの検索項目位置の特定を行い、対象となるログファイルに対する抽出条件文を生成する。例えば、システム名、ユーザＩＤ、期間に特定の値を入力した検索の場合、システム名で格納ディレクトリの絞り込みを行う条件文、ユーザＩＤで指定されたユーザＩＤの絞り込みを行う条件文、期間で開始日時と終了日時を絞り込む条件文を生成する。

検索抽出処理部１０４は、抽出条件文生成処理部１０３で生成した条件文を元にログファイル格納部１１４から対象となるログデータを抽出する。

検索結果出力処理部１０５は、検索抽出処理部１０４で抽出したログデータを検索結果１２３として利用者に出力する。

図２は、種類別ログファイルの具体例を示す図である。ログ収集対象のシステムからは、定期的にログファイルが受け渡される。ログのフォーマットは各システムやログの種類であるＯＳ、ＤＢ、ＡＰごとに異なる。例えば、システムＡのＯＳログ２０１とシステムＢのＤＢログ２０２とシステムＣのＡＰログ２０３では、項目名称、項目の並び順、項目の数が異なっている。

以下、本実施の形態に係るログ検索システムの詳細について説明する。

図３は、検索結果出力ファイルの共通項目の具体例を示すテーブル図である。図に示すように共通項目テーブル１１１は、項目名称３０１、共通項目番号３０２、ソート順３０３の各項目から構成され、項目名称別に、共通項目番号とソート順を定義する。検索結果出力時には、共通項目番号の並び順に従い項目を揃えて出力する。また、ソート順の定義は必須としなくてもよい。

図４は、ログ収集対象システムごとのログ種別と区切り文字の具体例を示すテーブル図である。図４に示すようにログファイル基本情報テーブル１１２は、システム名４０１、ログ種別４０２、区切り文字４０３の各項目から構成され、システム名とログ種別の組み合せごとに、区切り文字４０３が登録される。

図５は、ログファイル個別の項目と共通項目との紐付けの具体例を示すテーブル図である。図に示すようにログファイル共通項目対応テーブル１１３は、システム名とログ種別の組み合せごとにテーブルを別に設けて構成する。各テーブルは、項目名称５０１、個別項目番号５０２、共通項目番号５０３の各項目から構成され、項目の名称ごとに個別項目番号と共通項目番号を紐付けて登録される。

図６は、ログファイル個別の項目設定の概要を示すフローチャートである。ログファイル登録情報画面を表示（ステップ６０１）して、管理者がログファイル基本情報８０１と項目対応情報８１１を入力（ステップ６０２）する。ログファイル基本情報では、システム名８０２、ログ種別８０３、文字区切り８０４を入力し、項目対応情報では、ログ項目８１２と共通項目８１３の紐付けを行えるようにする。ログの項目数に応じて（ステップ６０３）項目行を追加（ステップ６０４）できるようにし、項目行が不要であれば（ステップ６０５）削除（ステップ６０６）できるようにする。

区切り文字は、ログの種類によって異なるためカンマ、タブ、スペース以外にも任意に登録できるものとする。項目の紐付けは、項目名称の意味が同義であることを条件とする。例えば、“Ｓｅｒｖｅｒ”と“サーバ名”、“ｃｌｉｅｎｔ”と“操作端末”等のように意味合いが同じ項目を紐付ける。この紐付けにより、項目名称が異なるログであっても検索時の条件項目を統一することができる。共通項目は、予め図３に示す共通項目テーブル１１１を参照して、項目名称３０１の一覧を読み出し選択できるようにしてもよい。また、本画面では過去登録済みのログファイル登録情報を読み出して項目数や紐付け関係を修正、変更できるようにしてもよい。

登録ボタンの押下（ステップ６０７）により、ログファイル基本情報を図４に示すログファイル基本情報テーブル１１２へ書き込み（ステップ６０８）、項目対応情報をログファイル共通項目対応テーブル１１３に書き込む（ステップ６０９）。

図７は、ログ検索条件の入力から検索結果出力までの概要を示すフローチャートである。利用者が任意のタイミングでログ検索条件入力画面を表示（ステップ７０１）して、検索条件と検索対象期間を入力（ステップ７０２）する。

検索ボタンの押下（ステップ７０３）により、対象のログファイルの数分、検索処理ループが実行（ステップ７０４）される。例えば、検索条件でシステム名に“システムＡ”と入力された場合は、システムＡディレクトリに格納されているログファイル全てが対象となり、システム名に“ＡＬＬ”と入力された場合は、全てのログファイルが対象となる。

次に図５に示すログファイル共通項目対応テーブル１１３を参照して、検索条件で入力された項目の共通項目番号５０３と紐付く個別項目番号５０２を取得（ステップ７０５）する。また、図４に示すログファイル基本情報テーブル１１２からシステム名とログ種別に対応する文字区切り４０３の値を取得（ステップ７０６）する。

条件文はシステム名、ログ種別、個別項目番号、検索条件のキーワードを組み合わせて生成する（ステップ７０７）。例えば、検索項目とキーワードが、ユーザＩＤと“Ｕ００１”の場合、ユーザＩＤが共通項目番号４番であるため、図５を例とするとシステムＡのＯＳログでは個別項目番号２番、システムＢのＤＢログでは個別項目番号３番、システムＣのＡＰログでは個別項目番号４番が紐付くこととなる。システム名とログ種別の組み合わせごとに、個別項目番号を一時記憶して、個別項目番号列の文字列に対してキーワードが含まれているか判定する。特定の項目を指定した部分一致検索を行うことで、ログレコード内での対象範囲を絞り込めるため、レコード全体に対する部分一致検索が不要となり、また、意図しない項目からの誤抽出の防止に繋がる。

ログファイル格納部１１４から、対象ログファイルを取得して１レコードずつ読み出す（ステップ７０９）。読み出したレコードは、ステップ７０６で取得している文字区切りで列ごとに値を切り出し、配列に格納する。

検索条件文を実行して対象配列の文字列にキーワードが含まれているか判定する（ステップ７１０）。合致した場合は出力ファイルにレコードを書き出す（ステップ７１１）。合致しない場合は、参照するログファイルを切り替える（ステップ７０８に戻って、ステップ７０９に進む）。

１つのログファイルでレコード数分検索ループした後、出力ファイルの項目を図３に示す共通項目テーブル１１１の共通項目番号３０２に従い並び順を組み替える（ステップ７１２）。また、このタイミングで抽出結果出力ファイルの区切り文字を切り替えできるようにしてもよい。

ログファイル数分検索ループした後、全てのログファイルの出力ファイルを１つのファイルに結合して図３に示す共通項目テーブル１１１のソート順３０３に従いソートする（ステップ７１３）。ソートは、共通項目テーブルで昇順と降順を指定できるようにしてもよい。

ソートが完了したファイル（ステップ７１４）を利用者に画面出力する。ヘッダ項目として、図３に示す共通項目テーブル１１１の項目名称３０１を１行目に表示する。

図８は、ログファイル個別の項目設定画面の具体例を示す図である。ログファイル情報登録画面８００は、ログファイル基本情報８０１と共通項目対応情報８１１で構成されている。ログファイル基本情報は、さらに、システム名８０２、ログ種別８０３、区切り文字８０４で構成されている。共通項目対応情報は、さらに、ログファイル個別のログ項目８１２と紐付けのための共通項目８１３で構成されている。また、ログの項目数に合わせ調整するための項目追加ボタンと削除ボタンを配置しており、変更に対する柔軟性を確保している。登録ボタンにより、ログファイル基本情報テーブルとログファイル共通項目対応テーブルへの書き込みを行う。

図９は、ログ検索条件画面の具体例を示す図である。ログ検索条件画面９００は、検索条件９０１と検索対象期間９１１で構成されている。検索条件は、さらに、システム名、ログ種別、ユーザＩＤ、サーバ名、操作結果等、共通項目テーブルで定義されている項目が表示される。検索条件が複数ある場合は、ＡＮＤまたはＯＲの設定切り替えができるようにしてもよい。検索対象期間は、さらに、開始日時９１２と終了日時９１３で構成される。開始日時だけ入力された場合は、開始日時以降全ての期間を対象とし、終了日時だけ入力された場合は、終了日時以前全ての期間を対象とする。

図１０は、検索結果出力内容の具体例を示す図である。共通項目テーブルの定義に従って項目名称と並び順が構成される。利用者には検索条件入力の結果として画面表示される。出力フォーマットを共通化することで、利用者にとって検索結果の参照が容易となり、ログ種類の異なるログレコード間の相関関係の解釈を容易にすることが可能となる。

複数のシステム、複数のフォーマットのログが存在する環境に利用可能である。特に、企業システムにおけるアクセス状況の兆候確認やセキュリティ事故の追跡などにおいて関連するログを横断的に検索確認したい用途に有効である。このログ検索システムを単独で製品化することもできるが、既存のパッケージソフトにアドインして用いることもできる。

１ コンピュータ
１００ データ処理部
１０１ ログファイル情報登録処理部
１０２ 検索条件入力処理部
１０３ 抽出条件文生成処理部
１０４ 検索抽出処理部
１０５ 検索結果出力処理部
１１１ 共通項目テーブル
１１２ ログファイル基本情報テーブル
１１３ ログファイル共通項目対応テーブル
１１４ ログファイル格納部
１２１ ログファイル情報
１２２ 検索条件
１２３ 検索結果
１３１ 管理者端末
１３２ 利用者端末
２０１ システムＡのＯＳログ
２０２ システムＢのＤＢログ
２０３ システムＣのＡＰログ
３０１ 項目名称
３０２ 共通項目番号
３０３ ソート順
４０１ システム名
４０２ ログ種別
４０３ 区切り文字
５０１ 項目名称
５０２ 個別項目番号
５０３ 共通項目番号
８００ ログファイル個別の項目設定画面
８０１ ログファイル基本情報
８０２ システム名
８０３ ログ種別
８０４ 区切り文字
８１１ 共通項目対応情報
８１２ ログ項目
８１３ 共通項目
８２０ 削除ボタン
８２１ 項目追加ボタン
８２２ 登録ボタン
９００ ログ検索条件画面
９１１ 開始日時
９１２ 終了日時
９２０ 検索ボタン

Claims (4)

1. 複数のシステムから収集したフォーマットの異なるログファイルを格納したログファイル格納部と、該異なるフォーマットのログファイルに共通する項目の項目名称別に共通項目番号とソート順を定義する共通項目テーブルと、前記異なるフォーマットのログファイルのシステム名とログ種別の組み合わせごとに区切り文字を登録するログファイル基本情報テーブルと、前記異なるフォーマットのログファイルのシステム名とログ種別の組み合わせごとに別に設けられ項目名称ごとに個別項目番号と共通項目番号とを紐付けて登録するログファイル共通項目対応テーブルと、コンピュータにおけるデータ処理部とを有し、前記ログファイル格納部に格納されたログファイルに対して前記コンピュータに接続された利用者端末から特定の項目を指定して任意のキーワードで検索して抽出結果を出力するログ検索システムであって、
   前記データ処理部が、
   前記利用者端末からの検索項目と検索対象期間の検索要求を受け付ける検索条件入力処理部と、
   該検索条件入力処理部が受け付けた前記検索項目に対応した項目名称データを前記ログファイル基本情報テーブルと前記ログファイル共通項目対応テーブルとから読み出し、前記検索要求された前記キーワードと合わせて抽出条件文を生成する抽出条件文生成処理部と、
   該抽出条件文生成処理部が生成した抽出条件文に対応したログレコードを前記ログファイル格納部から読み出す検索抽出処理部と、
   該検索抽出処理部が抽出した抽出結果を要求元の前記利用者端末に回答する検索結果出力処理部と
   を備えるログ検索システム。
2. 請求項１に記載したログ検索システムであって、
   前記データ処理部は、
   前記ログファイル基本情報テーブルと前記ログファイル共通項目対応テーブルとを更新するログファイル情報登録処理部
   をさらに備えて、
   検索対象とする新たなシステム又は新たなログが発生した場合、前記コンピュータに接続された管理者端末を用いて、属性情報と項目情報を追加して、複数ログとの紐付けを行って、前記ログファイル基本情報テーブルと前記ログファイル共通項目対応テーブルとを更新することを特徴とするログ検索システム。
3. 請求項２に記載したログ検索システムであって、
   前記検索結果出力処理部は、前記抽出結果の項目の種類と名称と並び順とソート順を組み替える手段を備えることを特徴とするログ検索システム。
   
4. 請求項１，２又は３のいずれか一に記載のログ検索システムであって、
   前記検索結果出力処理部は、前記抽出結果の項目に、前記ログファイルを保有していたシステム名とログの種別を組み込んで出力する手段を備えることを特徴とするログ検索システム。

Images