JP2001028005A - データウェアハウスにおける検索・集計高速化を実現するデータ格納、更新、検索、集計方法 - Google Patents

Abstract

(57)【要約】 【課題】データウェアハウスにおける検索・集計対象デ
ータは非常に件数が多く、処理に時間がかかる。ユーザ
が要求する処理における演算回数を低減しレスポンスを
向上させる。 【解決手段】データウェアハウスでは基幹システムサー
バより受信した明細更新データ、実績更新データ、マス
タ変更データを受信し、基本データ、サマリデータ、マ
スタを更新し、基本データ、サマリデータにおいてはマ
スタ更新データで各レコードのマスタ項目を更新する。
またサマリデータを特定のキー項目で集計し新たなサマ
リテーブルｎを作成する。クライアントは検索・集計実
行時に管理テーブルを参照し、最適なサマリテーブルを
選択する機能を持つ。これらによりテーブル間の結合処
理がなくなり、検索・集計に必要な最小限の演算回数で
処理結果が返りレスポンスが向上する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はデータウェアハウス
システムにおいて、ユーザの要求に応じて高速にデータ
を検索・集計する為の処理方法・データ保持方法に関す
る。

【０００２】

【従来の技術】データベースを設計する際、各テーブル
間のデータの項目に着目し同意のデータ項目を排除し、
繰り返しとなるデータ項目や階層化した従属関係を排除
するためにテーブルを分離する正規化を行うことが一般
的になっている。しかしある目的の情報を得るために特
定の業務に関連するいくつかのデータ項目を参照しよう
としたとき、テーブルのキー項目により複数のテーブル
を結合させるジョインを多用することが多い。一方、企
業情報システムで取り扱うデータウェアハウスシステム
のデータ量は数十万〜数千万件と非常に多く、これらの
データの中から必要なデータを検索・集計するには非常
に多くの時間がかかる。

【０００３】従来、データウェアハウスシステムにおけ
るテーブル設計は、例えば「Ｏｒａｃｌｅ＆ＵＮＩＸパ
フォーマンスチューニング」（プレンティスホール出
版）に記述があるが、ビジネスアナリストからの問合せ
に対する回答を素早く獲得できるよう構築することが重
要であり、通常はやや非正規化したテーブル構造をも
つ。商品や得意先といった明細データの属性に関するテ
ーブルを作成し非正規化するデータベース設計技法を
「スタースキーマ」と呼びデータウェアハウスを構築す
る際に採用されてきた。

【０００４】

【発明が解決しようとする課題】データウェアハウスと
は意志決定支援に最適化したデータベース、またはその
ようなデータベースを核にした意志決定支援システムそ
のものやシステムの構築概念を指す。できるだけ加工し
ていないデータを長期間にわたって保持し業務上の問題
点を発見したり、原因の究明を可能にするのが特長であ
る。例えば販売、預金等の明細データとそのサマリデー
タをデータウェアハウスサーバ上のデータベースに保持
し、さまざまな切口からデータを分析（非定型分析）
し、スタッフ部門の分析作業効率を上げ、業務戦略の策
定の支援を行うことが目的である。データウェアハウス
では主に以下の３つの情報を必要とする。

【０００５】（１）基本データ 基幹業務処理にて投入されたデータ。業務上「明細」に
分類されるデータ。

【０００６】（２）サマリデータ ある特定の目的にそって編成されたデータの集りであ
り、時間軸を意識した構成となっているデータ。取引先
別や単品別、商品群別などさまざまな切口で集計したデ
ータであり、例えば店舗別商品別売上実績等が月別に管
理されたデータなどがあげられる。

【０００７】（３）マスタデータ 基本データの特性を表すデータ（販売管理システムにお
ける商品マスタファイル等）。基幹システムにおけるレ
イアウト構成と同一であるが、ジョイン回数を低減させ
るため、非正規化構成（スタースキーマ構成）をしてい
ることがある。

【０００８】また従来、データベースの設計には正規化
と呼ばれる手法によってデータが整理されている。これ
はデータの冗長性を排除し、データ間の整合性を保持す
ることを目的とする。

【０００９】データを多角的に分析（非定型分析）する
場合、その視点となるデータ項目と明細データやサマリ
データとを突き合わせてデータを検索・集計することが
多い。視点となるデータ項目がサマリデータ中に存在す
る場合は当該データの検索・集計で目的は達成される
が、マスタデータ上に存在する場合は、マスタとの結合
処理が発生するため下記に示す演算処理が行われ、ユー
ザが要求する処理結果が得られるまでに時間がかかか
る。

【００１０】演算処理回数＝サマリデータ件数×マスタ
データ件数×マスタの数（対象データがサマリデータの
場合）。

【００１１】

【課題を解決するための手段】本発明はユーザが要求す
る多角的な分析作業に高速に対応するため、データウェ
アハウス内で保持する基本データ、及びサマリデータ構
造を見直し演算上の無駄を排除することによって高速に
応答が返るデータ格納・更新・検索・集計方法である。
具体的には、サマリデータを作成する際にマスタファイ
ルのデータ項目をサマリデータレコード項目として保持
することによって、最小限の演算回数でユーザが要求す
る処理結果を導き出す方式である。

【００１２】

【発明の実施の形態】以下この発明の実施の形態を図面
を参照して説明する。図１はこの発明の実施の形態に係
るデータウェアハウスシステムの構成を模式的に示して
いる。

【００１３】図１に示すデータウェアハウスシステムは
ネットワークに互いに接続されたクライアント（投入
系）１、基幹システムサーバ２、及びデータウェアハウ
スサーバ３、クライアント（情報検索系）４により構成
されている。

【００１４】クライアントはデータ投入部（伝票投入
部）１０２、データ生成部１０１を具備している。

【００１５】データ生成部１０１は入力伝票などの情報
を基に画面に対し、データが入力される機能を持つ。

【００１６】入力された商品コード、得意先コード等の
情報より、マスタ２０３を参照し商品コードに対する商
品名、各種区分等の属性項目を付加し、基幹システムサ
ーバ２に送信する電文を作成する。

【００１７】さらにトランザクション情報を一括して基
幹システムサーバ２に送信する。

【００１８】またデータ生成部１０２はマスタ変更情報
等を基に画面に対し、マスタ変更情報が入力される機能
を持つ。

【００１９】マスタは図４に示す商品マスタ１５、得意
先マスタ１６を保持している。

【００２０】既存マスタ情報の変更データが作成される
と、基幹システムサーバに送信する電文を作成する。電
文を作成する際、修正年月日１５０１、及び修正年月日
１６０１に修正された日付をセットする。

【００２１】マスタ変更情報を一括して基幹システムサ
ーバ２に送信する。

【００２２】基幹システムサーバ２はクライアント１か
ら送られてきた電文を基に明細テーブル２０２にデータ
を追加する。

【００２３】マスタ変更情報が送られてきた場合は、該
当のマスタテーブル２０３に変更処理を行う。

【００２４】明細テーブルのテーブルレイアウトを図
４、明細テーブル１４に示す。

【００２５】データ抽出部２０４では、当日の夜間処理
において実績値として成立するレコードを明細更新デー
タ２０５として抽出する。

【００２６】また明細更新データ２０５からデータウェ
アハウスのサマリデータ更新用データを実績更新データ
２０６として作成する。

【００２７】またマスタの修正年月日を参照し、当日変
更されたマスタレコードを抽出し、マスタ変更データ２
０７を作成する。

【００２８】データ送信部２０８は前記データ抽出部２
０４にて抽出された明細更新データ２０５、及び実績更
新データ２０６、マスタ変更データ２０７をデータウェ
アハウスサーバ３に送信する。

【００２９】データウェアハウスサーバ３では基幹シス
テムサーバ２より送られてきたデータを受信する受信部
３０１、明細更新データ３０２、実績更新データ３０
３、マスタ変更データ３０４、更新部３０５、テーブル
３０６、検索集計部３０７を具備している。

【００３０】図２にデータウェアハウスのデータ格納、
更新処理を示すシステムブロック図を示す。図３にデー
タウェアハウスサーバフローチャートを示す。

【００３１】データ受信８では基幹システムサーバ２よ
り送られてきた明細変更データ３０２、実績更新データ
３０３、マスタ変更データ３０４を受信する。

【００３２】データウェアハウスサーバでは、図５に示
すテーブルレイアウトを持つ基本データ１７を具備して
いる。

【００３３】これは基幹システムにおける明細テーブル
１４の項目に加え、商品コード１７０１と一致する商品
マスタ項目１８０２、得意先コード１７０２と一致する
得意先マスタ項目１８０２、及び得意先コード１７０２
と一致する得意先マスタ項目１９０２を保持することを
特徴とする。

【００３４】但し、明細テーブルが作成された際にマス
タより取り込まれた項目については対象外とする（図の
例では商品名、得意先名等は重複して保持しない）。

【００３５】更新処理９にて前記明細更新データ６０１
により基本データ６０３にデータを挿入する。

【００３６】データウェアハウスサーバでは、図５に示
す商品マスタ１８、得意先マスタ１９に示すレイアウト
を持つマスタを持つ。基幹システムサーバにおける商品
マスタ１５、得意先マスタ１６と同一レイアウトである
ことを特徴とする。

【００３７】基幹システムサーバにおいてマスタ間の関
連付けがされている場合は関連するマスタを一つにまと
めスタースキーマ構成としても良い。

【００３８】更新処理９では前記受信したマスタ変更デ
ータ６１１と基本データ６０４のキーマッチングを行
い、基本データ１７中のマスタデータ項目１７０３、１
７０４を更新する。

【００３９】データウェアハウスサーバ６では、サマリ
テーブル６０５を具備しており、ユーザの要望に応じた
切り口で用意される。図５に示すテーブルレイアウトは
「得意先別商品別売上実績」２０であり、以下この例を
用いて説明する。

【００４０】これは基幹システムサーバにおいて日々発
生したエントリ業務のデータから売上に関連するデータ
（売上数量、売上金額、売上原価）を得意先別商品別に
集計抽出し、月別にレコード項目として保持することを
特徴とする。

【００４１】図５では当年、前年、前々年の３年分のサ
マリデータを保持している。

【００４２】サマリデータに加え、商品コード２００２
に対する商品マスタ項目１８０２、得意先コード２００
１に対する得意先マスタ項目１９０２をそれぞれ２００
３、２００４に保持していることを特徴とする。

【００４３】サマリテーブルの分析角度によっては他の
マスタ項目を保持することもありうる（「仕入先別商品
別仕入実績」では商品マスタと仕入マスタ項目が保持さ
れることになる）。

【００４４】更新処理９では、前記受信した実績変更デ
ータ６０２の値と、サマリテーブルの該当月の値を加算
した値で各月のサマリデータを更新する（「得意先別商
品別売上実績」２０の例では売上数量、売上金額、売上
原価）。

【００４５】更新処理１０では前記受信したマスタ変更
データ６１１とサマリデータ６０５のキーマッチングを
行い、サマリデータ中のマスタ属性項目２００３、２０
０４を更新する。

【００４６】データウェアハウスサーバは日次集計処理
部６０７を具備しており、集計処理１１にて前記実績変
更データ６０２により更新されたサマリテーブル６０５
を入力として新たなサマリテーブルｎ６０９を作成す
る。

【００４７】図６の例では「得意先別商品別売上実績」
２０を販社区分２００５で集計した場合、「販社別売上
実績テーブル」２１が作成される。

【００４８】この場合、マスタに関連する項目（商品、
得意先）はレコードの性質上意味を持たなくなるので、
レコード項目から除外する。

【００４９】「得意先別商品別売上実績」２０を担当者
コード２００６、及び商品コード２００２別に集計した
場合、「担当者別商品別売上実績テーブル」２２が作成
される。この場合、マスタに関連する項目（得意先）は
レコードの性質上意味を持たなくなるので、レコード項
目から削除する。代わりに担当者に関連するマスタ項目
をレコード項目として取り込んでも良い。

【００５０】集計キーとなる項目は、ユーザの要望に応
じた切り口で用意される。

【００５１】日次集計処理６０７にて集計され新規に作
成されるサマリデータｎ６０９は前記サマリデータ６０
５をベースとしてユーザの要求に応じて複数用意されて
も良い。

【００５２】この場合集計キー１２がなくなるまで集計
処理１１を繰り返し実行する。

【００５３】前記サマリデータ６０５はユーザの要求に
応じて複数容易されても良い。

【００５４】この場合サマリテーブル１３がなくなるま
で更新処理９、更新処理１０、集計処理１１、集計キー
１２を繰り返し実行する。

【００５５】検索・集計条件投入部７０１を備えたクラ
イアント７から検索・集計条件が入力される。

【００５６】検索・集計条件が入力されると、テーブル
選択部７０２においてデータウェアハウス内の管理テー
ブル６１０より検索・集計条件が一致する検索パターン
を選択する。

【００５７】管理テーブル６１０は図７管理テーブルレ
イアウト２３に示すレイアウトを具備している。管理テ
ーブルレイアウト２３には検索パターン２３０１とそれ
に対応した最も高速な検索・集計処理ができるテーブル
を格納した対象テーブル２３０２を具備している。テー
ブル選択部７０２にて投入された検索・集計条件と検索
パターン２３０１とのマッチングを行い、最も高速な検
索・集計処理が可能なテーブルを選択し、電文（ＳＱＬ
文）を生成する。

【００５８】前記電文（ＳＱＬ文）をデータウェアハウ
スサーバ６に送信する。

【００５９】データウェアハウスサーバ６ではクライア
ント７から送られてきた検索・集計条件を解析し、デー
タの検索・加工処理を施し、結果をクライアント７に送
信する。

【００６０】検索条件のみがクライアント７から入力さ
れた場合は入力された検索キーで基本データ、サマリデ
ータからデータの検索を行い、結果をクライアントに送
信する。

【００６１】この際、検索条件となるキー項目は全て基
本データ、サマリデータ中に保持しているためマスタと
のマッチングが発生せず基本データ、またはサマリデー
タからのデータ検索処理のみで処理が完結する。

【００６２】集計条件がクライアントから入力された場
合は入力された集計キーで基本データ、サマリデータを
集計し、結果をクライアントに送信する。

【００６３】この際、集計キーとなる項目は全て基本デ
ータ、サマリデータ中に保持しているため、基本デー
タ、またはサマリデータからの集計処理のみで処理が完
結する。

【００６４】さらに目的別に集計されたサマリテーブル
ｎ６０９からの集計処理が可能となるため、高速に処理
が行われる。

【００６５】検索条件・集計条件がクライアント７から
同時に入力された場合、対象となるテーブルから検索条
件に基づきデータの抽出を行いその結果に対し集計を行
い結果をクライアント７に送信する。

【００６６】この際、検索条件となるキー項目、及び集
計キーとなる項目は全て基本データ、サマリデータ中に
保持しているため、マスタとのマッチングが発生せず基
本データ、またはサマリデータからのデータ検索、及び
その結果に対する集計処理で処理が完結する。

【００６７】クライアント７ではデータウェアハウス６
から送られてきたデータを結果表示部７０３に表示す
る。

【００６８】

【発明の効果】以上説明したように、この発明に係わる
データウェアハウスにおける検索・集計高速化を実現す
るデータ格納、更新、検索、集計方法は目的別サマリテ
ーブルを予め用意し、売上金額等の実績データを月別に
データ項目として保持し、キー項目に関するマスタ情報
をデータ項目として保持し、検索処理要求回数に応じ
て、新たなサマリデータｎを作成し、画面より入力され
た検索・集計条件を基に最適なテーブルを検索するテー
ブル選択機能を備えている。

【００６９】このシステムではユーザの多角的な分析要
求に対し、予め集計されたサマリテーブルが複数用意さ
れており、従来のようなテーブル間の結合処理（ジョイ
ン）がなくなり、さらに最適な対象データを自動的に判
別する機能を備えているため、従来の検索・集計方法と
比べると演算回数が格段に減少し、顕著に処理速度が高
速化できる。

【図面の簡単な説明】

【図１】システム構成を模式的に示すブロック図であ
る。

【図２】データウェアハウスのデータ格納・更新処理を
示すシステムブロック図である。

【図３】データウェアハウスデータ作成フローチャート
（日次夜間更新処理）である。

【図４】基幹システムファイルレイアウト例を示す図で
ある。

【図５】データウェアハウスファイルレイアウト例１を
示す図である。

【図６】データウェアハウスファイルレイアウト例２を
示す図である。

【図７】管理テーブルファイルレイアウト例を示す図で
ある。

【符号の説明】

１…クライアント（投入系）、１０１…データ生成部、
１０２…データ投入部、２…基幹システムサーバ、２０
１…データ更新部、２０２…マスタ、２０３…明細テー
ブル、２０４…データ抽出部、２０５…明細変更デー
タ、２０６…実績変更データ、２０７…マスタ変更デー
タ、２０８…送信部、３…データウェアハウスサーバ、
３０１…受信部、３０２…明細変更データ、３０３…実
績変更データ、３０４…マスタ変更データ、３０５…更
新部、３０６…テーブル（基本・サマリ）、３０７…検
索・集計部、４…クイニアント（情報検索系）、４０１
…検索・集計条件投入部、４０２…検索・集計結果表示
部、５…基幹システムサーバ、６…データウェアハウス
サーバ、６０１…明細更新データ、６０２…実績更新デ
ータ、６０３…日次更新処理、６０４…基本データ、６
０５…サマリデータ、６０６…日次更新処理、６０７…
日次集計処理、６０８…日次更新処理、６０９…サマリ
データｎ、６１０…管理テーブル、６１１…マスタ変更
データ、６１２…マスタ、７…クライアント、７０１…
検索・集計条件投入部、７０２…テーブル選択部、７０
３…結果表示部、８…データ受信処理、９…更新処理
（追加・更新）、１０…更新処理（マスタ属性取込
み）、１１…集計処理、１２…集計キー判定、１３…サ
マリテーブルｎ判定、１４…明細テーブル、１５…商品
マスタ、１５０１修正年月日、１６…得意先マスタ、１
６０１修正年月日、１７…基本データ、１７０１…商品
コード、１７０２…得意先コード、１７０３…商品マス
タ属性、１７０４…得意先マスタ属性、１８…商品マス
タ、１８０１…商品コード、１８０２…商品マスタ属
性、１９…得意先マスタ、１９０１得意先コード、１９
０２…得意先マスタ属性、２０…サマリデータ（得意先
別商品別売上実績）、２００１…得意先コード、２００
２…商品コード、２００３…商品マスタ属性、２００４
…得意先マスタ属性、２００５…販社コード、２００６
…担当者コード、２１…サマリデータｎ（販社別売上実
績）、２２…サーマリデータｎ（担当者別商品別売上実
績）、２３…管理テーブル、２３０１…検索パターン、
２３０２…対象テーブル。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 クライアントとクライアントに接続され
   たサーバにより構成されるクライアントサーバシステム
   において、前記クライアントは必要なデータを抽出・集
   計する情報を入力する入力手段と入力された情報をサー
   バに対し送信する手段を備え、前記サーバはデータベー
   ス管理システムを備え、前記クライアントから送られた
   情報を受信する手段と前記受信した情報に基づきデータ
   を抽出・集計する手段と前記抽出・集計されたデータを
   クライアントに対し送信する手段と基幹業務システムで
   当日発生した売上実績等のデータを一括して受信する手
   段と前記受信したデータをトランザクションデータとし
   て基本テーブル、及び各種サマリテーブルを更新する手
   段と各種サマリテーブルを特定の集計キーに基づいて集
   計する手段と集計したデータにより新たなサマリテーブ
   ルｎを作成する手段と基幹システムサーバで発生したマ
   スタ変更データを受信する手段とマスタ変更データをト
   ランザクションデータとして前記サマリテーブルのマス
   タ項目を更新する手段を備えることを特徴とするデータ
   ウェアハウスシステム。