JP2006004129A - 日次バッチ処理連動方法取引仲介システム - Google Patents

Abstract

【課題】
データウェアハウスの如く過去分の集計データを持つシステムにおいて、過去分データの再集計作業が発生した場合の、対象となる日次バッチ処理内の集計処理の実行回避、日次バッチ処理と過去分データの反映処理の常時監視、実行回避分の集計処理再実行の各々の処理を連携させ、開発担当者の夜間時作業工数の削減と、人為的ミスの防止を実現する。
【解決手段】
上記課題を解決する為に、手動で行っていた対象DB（テーブル）実行回避化、日次バッチ／対象DB（テーブル）の過去分データ反映処理の常時監視・完了確認、実行回避分再実行の各処理を簡略化したマンマシンインターフェイス組み込みにより自動制御する。
【選択図】 図２

Description

本発明は、ソフトウエアを含む製品の取引を、ネットワークを利用して仲介するための技術に関する。その中でも特に、取引において、製品を供給する者（組織）もしくはこの製品を特定するための技術に関する。

データウェアハウス（以下、DWHと略す）は、日々の業務活動を支える基幹系システムのデータベースとは違い、時間の切り口でキー情報を保存した長期的なデータベース（以下、DBと略す）である。

通常の業務運用としては、１回／日程度、基幹系システムで発生する日々のトランザクションデータを、オンライン終了後に実行される日次バッチ処理によりDWHの集計DBに反映させ、過去との売上／受注実績データ対比等の時系列分析、分析結果をベースとした未来予測を行っている。

以下、図１にて従来技術と運用方式を説明する
基幹系システムのマスタレコード変更等により、DWHの過去分データの再集計作業が発生した場合、オンライン時間内に、過去分データ修正装置にて対象DB（テーブル）のデータの再生成を行い、再生成されたテーブルからの入力により、オンライン終了後、実機環境への変更データ反映を実施する。

図１では、再集計対象となるDB（テーブル）を対象テーブルA、対象テーブルB、対象外となるテーブルを対象外テーブルNとして記載している。

実機環境では、通常運用にて日次バッチ処理が定時刻に実行されるため、開発担当者は、日次バッチ待ち時間内に、同一DB（テーブル）に対して変更データ反映処理と日次バッチ処理が競合しない様日次
バッチ処理内の関連する個々の集計処理の一時的な実行回避を行う。

日次バッチ処理では、実行回避した集計処理がパスされ、対象外のDB（テーブル）の集計処理のみが実行される。

実行回避作業の終了後、変更データ反映処理と日次バッチ処理を常時監視し、双方の処理の終了確認を行い、実行回避した集計処理の再実行を行う。実行した集計処理の処理完了にてオンライン開始待ち状態となる。データウエアハウスシステムとしては、特許文献１がある。

特開平１０−２５４７４３号公報

従来の技術・運用では、過去分データ反映処理と日次バッチ処理において、同一のDB（テーブル）使用する場合、手動により対象となる日次バッチ処理内の集計処理の実行回避を行い、過去分データ反映処理と日次バッチ処理を常時監視し、双方の処理完了後に実行回避分の集計処理の再実行を行っている。

つまり、開発担当者の夜間時の作業発生により作業工数を増幅させ、また夜間故に人為的ミスも伴っていた。

上記課題を解決する為に、手動で行っていた対象DB（テーブル）実行回避化、日次バッチ／対象DB（テーブル）の過去分データ反映処理の完了確認、実行回避分再実行の各処理を簡略化したマンマシンインターフェイス組み込みにより自動制御する。

この方式により、オンライン終了後の開発担当者の作業が抑制され、作業工数削減とそれに伴う人為的ミスの防止が図れる。
さらに、過去分データ反映処理の完了後、即座に実行回避分の集計処理を再実行させることにより、処理時間が短縮し、性能面での改善も実現する。

マンマシンインターフェイス組み込みによる自動制御方式により、オンライン終了後の開発担当者の作業が抑制され、作業工数削減とそれに伴う人為的ミスの防止が図れる。

さらに、過去分データ反映処理の完了後、即座に実行回避分の集計処理を再実行させることにより、処理時間が短縮し、性能面での改善も実現する。

図２に本発明の実施例を説明する。本実施例によるシステムは、過去分データ再集計作業発生の際、変更対象となるテーブルに格納されたデータの修正処理を目的とした過去分データ修正装置（３００）、本発明による自動制御方式を組み込んだDWHシステム（１００）ならびに、過去分データ反映処理登録・実行端末（４００）、マスタデータ、トランザクションデータの生成・管理を行う基幹系システム装置（２００）で構成されている。各装置、端末は、インターネット回線にて接続され、データの送受信が容易に行える動作環境となっている。

基幹系システムでのマスタデータ変更により、DWHシステム（１００）に格納された過去分データの再集計が必要となった場合、過去分データ修正装置（３００）にて対象となるテーブル毎に過去分データ再集計処理（３００−１）を実行する。

この処理により過去分の集計データが更新され、更新済みのデータファイルが生成される。
実施例では、集計テーブルＡ（３００−１０）、集計テーブルＢ（３００−２０）を再集計対象、集計テーブルＮ（３００−３０）を再集計対象外として説明している。

過去分データ再集計処理（３００−１）にて修正済みとなったデータは、ファイルとしてDWHシステム（１００）に転送され、DWHシステム（１００）にて一時保管する。
オンライン終了後、過去分データ反映処理登録・実行端末（４００）からの操作により、保管された
ファイルから実機集計テーブルA（１００−1）、B（１００−2）へ過去分データの反映を行う。

それとともに、過去分データ反映処理状態ファイル（１００−１０）へ過去分データ反映処理（７００）の実行状態（実行、完了、未実行）が記録される。

通常運用では、基幹系システム（２００）のユーザアプリケーション処理（２００−１）によって生成された日々の変更・追加分データ（２００−２）が日次バッチ処理（６００）の開始前に、基幹系システム（２００）からDWHシステム（１００）送信され、一時保管される。日次バッチ処理（６００）は、過去分データ反映処理状態ファイル（１００−１０）より、過去分データ反映処理の有無を検出し、有り場合は、対象となる集計テーブルの日次処理の実行を回避する。

実施例では、日次処理の実行回避となる対象テーブルを実機集計テーブルA、実機集計テーブルBとしている。

実行回避分再実行処理（５００）は、日次バッチ処理（６００）と同時に起動され、一定周期で過去分データ反映処理状態ファイル（１００−１０）より、過去分データ反映処理（７００）の実行状態（実行、完了、未実行）を読込み、処理の完了検出時、実行回避分の集計テーブルの日次処理を実行する。

図３に過去分データ反映処理登録・実行端末（４００）のデータ入力画面フォーマットを説明する。入力画面は、「テーブル名称」、「過去分データ反映処理有無」、「実行状態」、「プログラム名称」、「登録」、「実行」、「削除」の各部位により構成される。

「テーブル名称」は、DWHシステム（１００）で使用する全てのテーブルのテーブル名称を出力する。

「過去分データ反映処理有無」は、過去分データ反映処理用のプログラムを実行させるか否かの判断入力として使用し、プログラムを実行させる場合、‘有’のエリアを押下する。押下すると左側の□のエリアにチェックマークを出力する。

初期状態では、全て‘無’の左側の四角のエリアにチェックマークが出力された状態となっている。「実行状態」は、過去分データ反映用のプログラムが実行中となっている場合、‘実行中’のメッセージを出力し、実行待ち状態の場合、‘実行待ち’のメッセージを出力する。また、プログラムの動作完了時は、‘完了’のメッセージを出力する。「プログラム名称」は、過去分データ反映処理の際に実行するプログラムの名称であり、対象となるテーブル毎に入力する。「登録」は、指定エリア内の押下により、入力した情報がDWHシステム（１００）のハードディスクに格納される。「削除」は、登録によりハードディスク内に格納された情報を全て削除する。「実行」は、ハードディスク内に登録された情報に基づいてプログラムを実行する。

図４に過去分データ反映処理の実行状態を格納するファイルの内部フォーマットを説明する。
ファイル内は、‘：’（半角コロン）で区切られたデータ構造となっており、‘テーブル名称’、‘過去分データ反映処理’、‘状態’、‘プログラム名称’の各情報が、過去分データ反映処理登録・実行端末（４００）より入力されたデータに基づいて生成される。‘テーブル名称’には、DWHシステム（１００）にて使用する全てのテーブルのテーブル名称を格納
する。‘過去分データ反映処理’は、‘０’または‘１’が格納され、‘０’の場合は過去分データ反映処理が未登録状態、‘１’の場合は、過去分データ反映処理が登録されていることを意味する。

‘状態’は、‘０’、‘１’、‘２’、‘３’の何れかが格納され、‘０’の場合は、過去分データ反映処理が未登録（初期化状態）の状態、‘１’の場合は、登録により実行中の状態、‘２’の場合は、登録により実行待ちの状態、‘３’の場合は、プログラムが動作完了していること意味する。‘プログラム名称’には、各テーブルに対応した過去分データ反映処理のプログラムの名称が格納される。

図５は、日次バッチ処理（６００）と過去分データ反映処理状態ファイル（１００−１０）のデータリンケージを示す処理フローである。ステップ６００−１により日次バッチ処理が定時刻に起動される。ステップ６００−２で過去分データ反映処理状態ファイル（１００−１０）に格納された全レコードを読み込み、主メモリ上にロードする。

ステップ６００−３はロ−ドしたレコードの内、‘過去分反映処理’の値が‘１’のレコードが存在するか否かをチェックする。‘１’のレコードが無い場合、ステップ６００−５の過去分反映処理が未登録と判定し、通常運用である対象外テーブルの日次処理を実行する。‘１’のレコードが有る場合、ステップ６００−４で対象テーブルの日次処理の実行回避を行う。実行回避処理の完了後、対象外テーブルの日次処理を実行する。
上記、処理完了後にステップ６００−６で日次バッチ処理の終了となる。

図６は、実行回避分再実行処理（５００）と過去分データ反映処理状態ファイル（１００−１０）のデータリンケージを示す処理フローである。

ステップ５００−１により、実行回避分再実行処理（５００）が定時刻に起動される。ステップ５００−２で過去分データ反映処理状態ファイル（１００−１０）に格納されたレコードの内、‘過去分反映処理’の値が‘１’のレコードを読み込み、主メモリ上にロードする。

ステップ５００−３は、ステップ５００−２で読み込んだレコードの判定処理である。読み込んだレコードが無い場合、過去分データ反映処理の登録・実行が無しと判定し本処理を終了する。

読み込んだレコードがある場合、ステップ５００−４でレコード内のプログラム名称から対象となるプログラムが実行中か否かを判定する。実行中の場合、一定のインターバルをとって再度ステップ５００−４を実行する。完了の場合、ステップ５００−５で日次バッチ処理（６００）において、実行回避となった日次処理を実行する。

次に、ステップ５００−６で残り分の‘過去反映処理’の値が‘１’のレコードの有無を判定する。無しの場合、ステップ５００−７の処理終了となる。有りの場合、再度、ステップ５００−４、５００−５、５００−６を実行する。

図７は、過去分データ反映処理登録・実行端末（４００）と過去分データ反映処理のデータリンケージを示す処理フローである。

ステップ７００−１により過去分データ反映処理登録・実行端末（４００）からのデータ入力操作を開始する。

ステップ７００−２で入力されたデータを過去分データ反映処理状態ファイル（１００−１０）に図４で示すフォーマットに基づき格納する。格納されたデータにてステップ７００−３で、過去分データ反映処理のプログラムを実行する。

ステップ７００−４は、ステップ７００−３で実行されたプログラムが実行中か否かの判定処理である。

実行中の場合、一定のインターバルをとって再度ステップ７００−４の処理を実行する。完了した場合、ステップ７００―５にて過去分データ反映処理状態ファイル（１００−１０）内の対象となるプログラムの‘実行状態’に、完了を示す‘３’の値を設定する。

ステップ７００−６は、他の対象テーブルの過去分データ反映処理プログラムが動作中か否かの判定処理である。

未だ、動作中のプログラムが有る場合、再度ステップ７００−４、７００−５、７００−６を実行する。無い場合、本処理を終了する。

本発明は、データウエアハウスのデータ更新を実行可能になる。

従来技術と運用方式 本発明による実施例 過去分データ反映処理 データ入力画面フォーマット 過去分データ反映処理 実行状態格納ファイルフォーマット 日次バッチ処理 処理フロー図 実行回避分再実行処理 処理フロー図 過去分データ反映処理 処理フロー図

符号の説明

１００ ：DWHシステム
１００−１ ：実機集計テーブルA
１００−２ ：実機集計テーブルB
１００−３ ：実機集計テーブルN
１００−１０：過去分データ反映処理状態ファイル
２００ ：基幹システム
２００−１ ：ユーザアプリケーション処理
２００−２ ：日々の変更・追加分データ
３００ ：過去分データ修正装置
３００−１０：集計テーブルA
３００−２０：集計テーブルB
３００−３０：集計テーブルN
４００ ：過去分データ反映処理登録・実行端末
５００ ：実行回避分再実行処理
６００ ：日次バッチ処理
７００ ：過去分データ反映処理

Claims (1)

1. データウエアハウスにおけるデータ処理方法において、
   前記データウエアハウスのオフライン中の過去分集計データ更新処理を実行し、
   前記過去分集計データ更新処理に並行して、日次バッチ処理の実行することを特徴とするデータ処理方法。
   

Images