JP2003150594A - データウェアハウスシステム - Google Patents

データウェアハウスシステム

Info

Publication number
JP2003150594A
JP2003150594A JP2001345520A JP2001345520A JP2003150594A JP 2003150594 A JP2003150594 A JP 2003150594A JP 2001345520 A JP2001345520 A JP 2001345520A JP 2001345520 A JP2001345520 A JP 2001345520A JP 2003150594 A JP2003150594 A JP 2003150594A
Authority
JP
Japan
Prior art keywords
data
database
management device
stored
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001345520A
Other languages
English (en)
Inventor
Norifumi Nishikawa
記史 西川
Yuichi Yagawa
雄一 矢川
Yasuharu Nanba
康晴 難波
Shoichi Minami
章一 南
Masahiro Watabiki
昌洋 綿引
Akinori Ono
晃範 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2001345520A priority Critical patent/JP2003150594A/ja
Priority to US10/277,628 priority patent/US20030093429A1/en
Publication of JP2003150594A publication Critical patent/JP2003150594A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】分析業務等で基幹系データベースの現在のデー
タの値を参照したい場合、バッチを用いた方法では、デ
ータウェアハウスのデータが基幹系データベースのデー
タより古く、データウェアハウスから基幹系データベー
スのデータの現在の値を得ることができないという問題
がある。 【解決手段】オペレーショナルデータストア102と、
基幹系データベース104からリアルタイムでデータを
抽出する即時型データ抽出ステップと、該即時型データ
抽出ステップにより抽出されたデータを該オペレーショ
ナルデータストアに格納する即時型データ反映ステップ
を設ける。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、業務でデータベー
スに入力されたデータについて精査を行い、精査済のデ
ータをデータウェアハウスに格納するデータウェアハウ
スシステムとその運用方法に関するものである。
【0002】
【従来の技術】基幹系データベースのデータを、分析業
務などの情報系アプリケーションから参照する場合、基
幹系データベースに対する非定型問合せにより基幹系デ
ータベースの負荷が高まることを避けるためにデータウ
ェアハウスが用いられる。従来、データウェアハウスへ
のデータの格納は、夜間のバッチ等バッチ処理により行
われている。
【0003】このようなバッチ処理の例としては、例え
ば特開07−306828に示す技術がある。この従来
技術は、送信側サーバから送信されたデータに基づき複
数の受信側サーバとデータ連携を行うことを目的とした
データ連携装置に関する技術である。この技術では、デ
ータ連携装置のデータ配布部に受信側サーバが希望する
配布タイミングを記憶しておき、そのタイミングが満た
されると、入力されたトランザクションの情報を受信側
サーバに送信する機能を有することを特徴とする。配布
のタイミングとして、送信側サーバから入力されたトラ
ンザクションの件数、決められた時刻、及び時間間隔を
指定することが可能である。
【0004】
【発明が解決しようとする課題】上記従来技術に示すよ
うに、バッチ処理でデータをデータウェアハウスに格納
する方法では、データウェアハウス内のデータはバッチ
処理のタイミングでしか更新されない。バッチ処理が夜
間バッチの場合、データウェアハウス内のデータの更新
は一日一回である。これは、データウェアハウス内のデ
ータが基幹系データベースのデータより古いデータであ
ることを意味している。
【0005】分析業務等で基幹系データベースの現在の
データの値を参照したい場合、上記のようなバッチを用
いた方法では、データウェアハウスのデータが基幹系デ
ータベースのデータより古く、データウェアハウスから
基幹系データベースのデータの現在の値を得ることがで
きないという問題がある。
【0006】本発明の第一の目的は、データウェアハウ
スシステムに、基幹系のデータをリアルタイムに格納す
るオペレーショナルデータストアを設けることにより、
基幹系データベースの現在のデータの値を参照すること
を可能とする、データウェアハウスシステムを提供する
ことである。ここで、リアルタイムとは、上記のバッチ
の間隔よりも短い遅延時間を意味する。
【0007】本発明の第二の目的は、データウェアハウ
スへのバッチを契機として、オペレーショナルデータス
トアに格納されているデータのうちバッチでデータウェ
アハウスに反映されたデータを削除するステップを設け
ることにより、データウェアハウスとオペレーショナル
データストアとの間のデータの整合性を確保することを
可能とするデータウェアハウスシステムを提供すること
である。
【0008】本発明の第三の目的は、分析業務アプリケ
ーションからの要求に対して、いつまでのデータがデー
タウェアハウスに格納されているかを返却することによ
り、分析業務アプリケーションが、自分が使用するデー
タベースを選択できることを可能とする、データウェア
ハウスシステムを提供することである。
【0009】
【課題を解決するための手段】本発明の特徴は、データ
ウェアハウスシステムであって、取り扱われるデータを
入力し、格納する第1のデータベースと、取り扱われる
データに対して、審査など所定の処理が施されたデータ
が入力され格納される第2のデータベースを有し、それ
ぞれのデータベースに格納されたデータを矛盾なく検索
可能にするものである。
【0010】本発明には、データ検索要求に応じて、第
1のデータベースおよび第2のデータベースのいずれ
に、検索要求を出力する管理装置を備えたものも態様も
含まれる。
【0011】また、第1のデータベースに格納された所
定のデータのうち、少なくとも一部を削除して、所定の
データに含まれるデータについては、第1のデータベー
スと第2のデータベースのいずれか一方に格納されるよ
う制御する態様も含まれる。
【0012】また、第2のデータベースへの所定のデー
タの格納状況を検知し、検知の結果に応じて、第1のデ
ータベースに格納されている所定のデータの少なくとも
一部を削除する態様も含まれる。
【0013】また、管理装置が、前記第2のデータベー
スから当該第2のデータベースに入力されたデータを特
定する情報を受信し、受信された前記情報に基づいて、
前記格納状況を検知する態様も含まれる。
【0014】また、前記第1のデータベースは、単位デ
ータを単位として、前記所定のデータを格納し、前記管
理装置は、予め定められた時間毎に、前記第1のデータ
ベースに格納された前記所定のデータの少なくとも一部
を削除する態様も含まれる。
【0015】また、前記管理装置が、前記第1のデータ
ベースに格納された前記所定のデータのうち、最も早く
格納された単位データを削除する態様も含まれる。
【0016】また、以下の態様も本発明に含まれる。本
発明の第一の目的は、オペレーショナルデータストア
と、基幹系データベースからリアルタイムでデータを抽
出する即時型データ抽出ステップと、該即時型データ抽
出ステップにより抽出されたデータを該オペレーショナ
ルデータストアに格納する即時型データ反映ステップを
設けることにより達成される。
【0017】本発明の第二の目的は、データウェアハウ
スへのバッチを起動、監視するバッチ起動・監視ステッ
プと、バッチの完了を検出するとデータウェアハウスサ
ーバにキー情報を要求するキー情報取得要求ステップ
と、データウェアハウスからキー情報を検索するキー情
報検索ステップと、データウェアハウスサーバから取得
したキー情報を記憶するキー情報記憶領域と、該キー情
報記憶領域に格納されたキー情報を用いてオペレーショ
ナルデータストアに対してデータの削除を要求するデー
タ削除要求ステップと、該データ削除要求ステップから
送られたキー情報より古いデータをオペレーショナルデ
ータストアから削除するデータ削除ステップを設けるこ
とにより達成される。
【0018】本発明の第三の目的は、キー情報格納領域
に格納されたキー情報を返却するキー情報返却ステップ
と、問合せに日時に関する条件があると該キー情報返却
ステップからキー情報を取得し、該取得したキー情報と
該日時に関する条件に含まれる日時を参照して、どのデ
ータベースにアクセスすればよいかを決定するデータベ
ース特定ステップを設けることにより達成される。
【0019】
【発明の実施の形態】以下、図1〜図11を用いて本発
明の実施の形態について説明する。図1は、本発明の実
施の形態であるデータウェアハウスシステムの構成例で
ある。該データウェアハウスシステムは、問合せを行う
クライアント101、オペレーショナルデータストア
(以下ODSと称す)が稼動するODSサーバ102、
データウェアハウスシステム内のジョブを管理するジョ
ブ管理サーバ103、預金業務とその精査業務を行う預
金業務サーバ104、データウェアハウス(以下DWH
と称す)が稼動するDWHサーバ105、及びこれらを
接続するネットワーク106から構成される。
【0020】預金業務サーバ104には、預金業務プロ
グラム116より入力されたデータを格納する預金業務
DB118、預金業務DBに入力されたデータの精査を
行う精査業務プログラム117、預金業務DBから精査
済みのデータを抽出し、定期的にDWHサーバ105に
転送するバッチ型データ抽出ステップ119、預金業務
DB118に入力されたデータを、該バッチ型データ抽
出ステップ119がデータを転送する間隔よりも短い間
隔でデータを抽出し、ODSサーバに転送する即時型デ
ータ抽出ステップ120が存在する。
【0021】DWHサーバ105には、DWH123、
預金業務サーバからデータを受け取り、DWH123に
反映するバッチ型データ反映ステップ121、DWHか
らキー情報を検索するキー情報検索ステップ122が存
在する。
【0022】ODSサーバ102には、ODS109、
預金業務サーバ104からデータを受け取りODSに反
映する即時型データ反映ステップ111、及びジョブ管
理サーバ103からキー情報を受け取りODSからデー
タを削除するデータ削除ステップ110が存在する。
【0023】ジョブ管理サーバ103には、定期的(例
えば毎晩午前1:00など)にバッチ型データ抽出ステ
ップ103を起動し、該バッチ型データ抽出ステップ1
03の終了を監視するバッチ起動・監視ステップ11
2、DWHサーバ105に対して、キー情報の取得を要
求し、要求したキー情報をキー情報記憶領域115に格
納するキー情報取得要求ステップ113、キー情報記憶
領域115からキー情報を取得し、ODSサーバ102
に対してデータの削除を要求するデータ削除要求ステッ
プ114、及びクライアント101からの要求に応じ
て、キー情報記憶領域115からキー情報を取得しクラ
イアント101に返却するキー情報返却ステップ124
が存在する。なお、ジョブ管理サーバでは、バッチ起動
・監視ステップ112の終了後キー情報取得ステップ1
13が動作し、キー情報取得ステップ113の終了後デ
ータ削除要求ステップ114が動作するよう構成する。
【0024】クライアント101には、融資審査業務を
行う融資審査プログラム107が存在し、該融資審査プ
ログラム107にはジョブ管理サーバ103に対してキ
ー情報を要求し、融資審査プログラムからアクセスする
データベースを決定するDB特定ステップ108が存在
する。
【0025】図4は、預金業務DB118に格納される
データを格納するテーブルの例である。該テーブル40
1は、トランザクション識別子411、口座番号41
2、取引金額413、取引日時414、及び精査済みフ
ラグ415のフィールドを持つ。図4の例では、レコー
ド402a〜402dが該テーブル401に格納されて
おり、そのうちレコード402a及び402bは精査済
み、402cと402dは精査がまだ終わっていないこ
とを示している。
【0026】図5は、DWH123に格納されるテーブ
ルの例である。テーブル501は、トランザクション識
別子511、口座番号512、取引金額513、及び取
引日時514の各フィールドから構成される。また、テ
ーブル501のデータ形式は、バッチ型データ抽出ステ
ップ119からバッチ型データ反映ステップ121に渡
されるデータ形式でもある。
【0027】図6は、ODS109に格納されるテーブ
ルの例である。テーブル601は、トランザクション識
別子611、口座番号612、取引金額613、及び取
引日時614の各フィールドから構成される。また、テ
ーブル601のデータ形式は、即時型データ抽出ステッ
プ120から即時型データ反映ステップ111に渡され
るデータ形式でもある。
【0028】図7は、ジョブ管理サーバ103のキー情
報記憶領域115に格納されるデータの形式を示してい
る。テーブル701はトランザクション識別子711と
日時フィールド712から構成される。また、該データ
形式は、キー情報検索ステップ122がDWH123か
ら検索するデータの形式、キー情報検索ステップ122
からキー情報取得要求ステップ113に渡されるデータ
の形式、データ削除要求ステップ114からデータ削除
ステップ110に渡すデータの形式、及びキー情報返却
ステップ124からDB特定ステップ108に渡される
データの形式でもある。
【0029】図2は、本発明の実施の形態で行われる、
預金業務、精査業務、預金業務DB118からODS1
09及びDWH123へのデータの転送、及びODS1
18とDWH109の同期処理のフローの例である。
【0030】まず、預金業務プログラム116が、預金
業務DB118に図4の401に示す構造のレコード4
02を追加する。追加するレコード402は、精査済み
フラグ415の値はOFFである。図4の例では、レコ
ード402c及び402dが預金業務DBに追加された
レコードである。その後、即時型データ抽出ステップ1
20は預金業務DB118に格納された該データ402
を抽出し、ODSサーバ102の即時型データ反映ステ
ップ111に転送する。転送するデータは、図6の60
1に示すように、ODS109に格納するデータを含ん
でいればよい。
【0031】即時型データ抽出ステップ120は、例え
ば預金業務DB118が出力するログを監視し、該ログ
が追加されると該ログに追加されたデータから変更分を
抽出するなどの方法で預金業務プログラム116が預金
業務DB118に入力したデータを抽出する。該データ
を受け取った即時型データ反映ステップ111は、OD
Sに該データを挿入する。
【0032】例えば、図4に示すレコード402c、4
02dが預金業務DB118に追加された場合、預金業
務DB118はその更新ログを出力する。即時型データ
抽出ステップ120は、該出力された更新ログを参照
し、追加されたレコード402c、402dのデータを
取得する。該データには、該追加されたレコード402
のトランザクション識別子411、口座番号412、取
引金額413、取引日時414の情報が含まれる。その
後、即時型データ抽出ステップ120は、該データを即
時型データ反映ステップ111に転送する。該情報を受
け取った即時型反映ステップ111は、該データをOD
S109に追加する。図6は、該データが追加された後
のODS109の様子を示しているが、レコード602
c、602dが新たに追加されたレコードである。レコ
ードを追加する際には、トランザクション識別子411
を同611に、口座番号412を同612に、取引金額
413を同613に、取引日時414を同614にそれ
ぞれ格納する。
【0033】一方、精査業務プログラム117は、預金
業務プログラム116が預金業務DB118に投入した
データ402の精査を行い、精査が完了すると預金業務
DB118内の該データ402のフィールド415の値
をONに更新する。図4に示す預金業務DB118のテ
ーブルの例では、レコード402aと402bが既に精
査済みである。この時、データ抽出ステップ120が該
データ402を抽出する処理と、精査業務プログラム1
17が該データ402のフィールド415を更新する処
理は、どちらを先に行っても良い。これらの処理によ
り、預金業務DB118に格納されたレコード402
は、例えば毎夜間に起動されるバッチ型データ抽出ステ
ップ119によりDWH123に精査済みレコードを反
映するよりも短い間隔(リアルタイム)でODS109
に格納される。この結果、本発明の第一の目的である、
基幹系データベースの現在のデータをODS109から
参照することが可能となることがわかる。
【0034】次に、バッチ処理によって、預金業務DB
118に格納されたデータ402をDWH105に反映
する処理、およびDWH109とODS123の同期を
取る処理のフローについて説明する。まず、ジョブ管理
サーバ103が予め決められた契機でバッチ起動・監視
ステップ112を起動する。バッチ起動・監視ステップ
112は、預金業務サーバ104に存在するバッチ型デ
ータ抽出ステップ119を起動し、該ステップ119の
終了を監視する。
【0035】バッチ型データ抽出ステップ119は、図
4のテーブル401のデータ402のうち、精査済みフ
ラグ415がONであるデータを全て抽出し、該データ
をDWHサーバ105のバッチ型データ反映ステップ1
21に転送する。図4の例では、レコード402aと4
02bがONであるので、これらのレコードからデータ
を抽出する。抽出するデータは、該レコードのトランザ
クション識別子411、口座番号412、取引金額41
3、及び取引日時414のデータである。該データを受
け取ったバッチ型データ反映ステップ121は、該デー
タをDWH123のテーブル501に追加する。図9
は、データ追加後のDWH123のテーブルの例であ
る。
【0036】図4に示す預金業務DB118のテーブル
のレコード402a、402bに対応するデータが、そ
れぞれレコード502b、502cとしてDWH123
に追加される。このとき、トランザクション識別子41
1を同トランザクション識別子511に、口座番号41
2を同512に、取引金額413を同513に、取引日
時414を同514にそれぞれ格納する。
【0037】所定のデータ(例えば全て、もしくは所定
の顧客のデータなど)のデータの追加が完了すると、バ
ッチ型データ反映ステップ121は、処理が完了したこ
とを示す完了データをバッチ型データ抽出ステップ11
9に転送する。該完了データを受け取ったバッチ型デー
タ抽出ステップ119は、該完了データをバッチ起動・
監視ステップ112に転送する。バッチ起動・監視ステ
ップ112は、該完了データを受け取ることにより、バ
ッチ型データ抽出ステップ119の完了を検知する。バ
ッチ起動・監視ステップ112の完了後、ジョブ管理サ
ーバ103はキー情報取得要求ステップ113を起動す
る。
【0038】キー情報取得要求ステップ113は、DW
Hサーバ105のキー情報検索ステップ122にキー情
報の検索を要求する。キー情報検索ステップ122は、
図7の701に示すキー情報をDWH123から検索
し、該キー情報をキー情報取得要求ステップ113に転
送する。
【0039】ここで、キー情報として、DWH123に
追加された最後のレコード502のトランザクション識
別子511と取引日時514を用いる。バッチ完了後の
DWH123のテーブルが図9に示す状態の場合、キー
情報として取得されるのは、レコード502cのトラン
ザクション識別子511と取引日時514の値であり、
それぞれT000012と2001−07−05 1
6:19という値である。キー情報検索ステップ122
は、該値をDWH123から検索し、キー情報取得要求
ステップ113に転送する。キー情報を受け取ったキー
情報取得要求ステップ113は、該値をキー情報記憶領
域115に格納する。
【0040】この時、トランザクション識別子511を
図7の同711に、取引日時を日時712にそれぞれ格
納する。この結果、キー情報記憶領域115の値は図1
1に示すようにトランザクション識別子711の値がT
000012、日時712が2001−07−05 1
6:19にそれぞれ更新される。
【0041】該キー情報を受け取ったキー情報取得要求
ステップ113は、該キー情報をキー情報記憶領域11
5に格納し、その後データ削除要求ステップ114を起
動する。データ削除要求ステップ114は、該キー情報
記憶領域115からキー情報を取得し、該キー情報をO
DSサーバ102のデータ削除ステップ110に渡す。
【0042】本例では、キー情報記憶領域115のトラ
ンザクション識別子711と日時712は図11に示す
ようになっているので、トランザクション識別子711
の値としてT000012を、日時712の値として2
001−07−05 16:19をデータ削除ステップ
110に渡す。
【0043】データ削除ステップ110は、該キー情報
からトランザクション識別子フィールド711の値を取
り出し、該値より古いトランザクション識別子の値を持
つレコード602を、ODS109のテーブル601か
ら削除する。
【0044】本例では、トランザクション識別子フィー
ルド711の値はT000012であるので、データ削
除ステップ110は、ODS109からトランザクショ
ン識別子611の値がT000012以下のレコード6
02を削除する。データ削除ステップ110起動直前の
ODS109のテーブルは図6に示す状態であるが、デ
ータ削除ステップ110によりレコード602aと60
2bが削除される。この結果、ODS109のテーブル
は図10に示すように、該バッチ型データ抽出ステップ
119、及びバッチ型データ反映ステップ121により
DWH123に反映されたレコードが削除され、本発明
の第二の目的であるデータウェアハウスとオペレーショ
ナルデータストアとの間のデータの整合性を確保するこ
とが可能となることがわかる。
【0045】図3は、融資審査プログラム107が行う
処理のフローの例である。融資審査プログラム107
は、問合せが入力されるとDB特定ステップ108を起
動する。DB特定ステップはジョブ管理サーバ103の
キー情報返却ステップ124に対してキー情報の取得を
要求する。キー情報返却ステップは、キー情報記憶領域
115からキー情報を取得し、該キー情報をDB特定ス
テップに返却する。DB特定ステップは、該取得したキ
ー情報の値に応じてODSサーバ102のODS10
9、DWHサーバ105のDWH123にアクセスし結
果を得る。
【0046】図8は、図1のDB特定ステップ108で
行われる処理フローの例である。まず、融資審査プログ
ラム107に入力された問合せに日時の条件があるかど
うかを判定する(ステップ801)。日時の条件がある
か否かは、取引日時に関する条件の有無で判定し、取引
日時に関する条件があれば日時の条件がある、なければ
ないと判断する。日時の条件がある場合(ステップ80
1の結果がYの場合)、ジョブ管理サーバ103からキ
ー情報(図7のレコード701)を取得、さらに該キー
情報から日時領域712を取得する(ステップ80
2)。
【0047】次に、該領域712の値が、問合せで求め
る全レコードの日時が、ステップ802で取得した日時
より大きいかどうかを判定する(ステップ803)。該
判定結果がYの場合、ODSサーバ102のODS10
9にアクセスし結果を得る(ステップ806)。該判定
結果がNの場合、問合せで求める全レコードの日時が、
ステップ802で取得した日時より小さいかどうかを判
定する(ステップ804)。該判定がYの場合、DWH
サーバ105のDWH123にアクセスし結果を得る
(ステップ807)。該判定がNの場合、DWH123
とODS109の両方にアクセスして結果を得る(ステ
ップ805)。ステップ801の判定結果がNの場合
(すなわち、問合せに日時に関する条件がない場合)
は、ステップ805を実行する。
【0048】以下、ODS109が図10に示す状態、
DWH123が図9に示す状態、キー情報記憶領域11
5が図11に示す状態の場合の問合せの例とその処理に
ついて説明する。
【0049】まず、「取引日時が2001−07−05
21:00以降の取引を全て求める」という問合せに
ついて説明する。なお、実際には問合せは例えばSQL
など融資審査プログラム107およびDB特定ステップ
108が理解できる言語として与えられるものとする。
この問合せは、融資審査プログラム107からDB特定
ステップ108に渡される。DB特定ステップ108で
は、まず該問合せに日時の条件を含むか否かを判定する
が、該問い合わせでは「取引日時≧2001−07−0
5 21:00」という日時条件があるためステップ8
01の判定結果はYとなり、ステップ802が実行され
る。ステップ802は、ジョブ管理サーバ103からキ
ー情報を取得するが、キー情報記憶領域701の値は図
11に示すようにトランザクション識別子711がT0
00012、日時712が2001−07−05 1
6:19であるのでジョブ管理サーバ103からこの値
が返却される。
【0050】該ステップでは該返却された値から日時7
12の値「2001−07−0516:19」を取得す
る。その後、ステップ803で、問合せで求める全レコ
ードの日時が日時712より大きいかどうかを判定する
が、該問合せで求めるレコードは2001−07−05
21:00より大きい日時を持つもののみであり、こ
れは日時712の日時より大きいので、判定結果はYと
なる。
【0051】この結果、DB特定ステップ108はOD
Sサーバ102にアクセスし結果を得る。この問合せの
例では、ODS109のレコード602c及び602d
が検索結果レコードとなる。
【0052】次に、「取引日時が2001−07−04
21:00以前の取引を全て求める」という問合せに
ついて説明する。この場合、ステップ801で日時条件
があると判断されるので、ステップ802でキー情報記
憶領域115の日時712の値「2001−07−05
16:19」を取得する。
【0053】該問合せで求めるレコードの取引日時の値
は日時713の値より小さいのでステップ803は、N
となり、次にステップ804で問合せが必要とするレコ
ードの取引日時が日時712の値「2001−07−0
5 16:19」より小さいかどうかを判定するが、こ
の場合「取引日時が2001−07−04 21:00
以前」であり求めるレコードの取引日時は全て日時71
2より小さいと判断され結果はYとなる。
【0054】この結果、ステップ807でDWH123
にアクセスし結果を取得する。この問合せの例では、図
9の取引日時514の値が「2001−07−04 2
1:00」より小さいレコード502aが検索結果とし
て求まる。
【0055】次に、「取引日時が2001−07−05
1:00から2001−07−05 23:00の間
の取引を全て求める」という問合せについて説明する。
この問合せでも、取引日時に関する条件があるためステ
ップ801はYとなる。ステップ802では、先の例と
同じく日時712の値として「2001−07−051
6:19」を取得する。次にステップ803で求めるレ
コードが全て日時712の値より大きいかどうかを判定
するが、この場合求めるレコードは日時712の値「2
001−07−05 16:19」を包含しており、該
ステップ803の判定結果はNとなる。ステップ804
の判定結果も同じくNとなるため、ステップ805でO
DS109とDWH123の両方にアクセスして結果を
得る。本例では、図9の取引日時514が2001−0
7−05 1:00より大きく2001−07−05
23:00より小さいレコード502b、502cをD
WH123から、図10の取引日時614の値が200
1−07−05 1:00より大きく2001−07−
05 23:00より小さいレコード602cをODS
109からそれぞれ取得する。
【0056】最後に、「口座番号がA10000である
レコードを全て取得する」という問合せについて説明す
る。この場合、取引日時に関する条件は存在しないため
ステップ801の判定結果はNとなり、ステップ805
でODS109とDWH123の両方から結果を取得す
る。本例では図9の口座番号512がA10000であ
るレコード502a、502bをDWH123から、図
10の口座番号612がA10000であるレコード6
02cをそれぞれ取得する。以上示したように、融資審
査プログラム107が、自分が使用するデータベースを
選択することが可能となり、本発明の第三の目的を達成
できることがわかる。
【0057】本実施の形態によれば、バッチにより精査
済みのデータを基幹系データベースから抽出しデータウ
ェアハウスに反映するデータウェアハウスシステムに、
オペレーショナルデータストアと、基幹系データベース
に入力されたデータをリアルタイムで抽出するステップ
と該抽出したデータを該オペレーショナルデータストア
に格納するステップを設けることにより、基幹系データ
ベースに負荷をかけることなく基幹系データベースの現
在の値を参照することが可能になる。
【0058】本発明の第二の形態によれば、データウェ
アハウスへのバッチを起動、監視するバッチ起動・監視
ステップと、バッチの完了を検出するとデータウェアハ
ウスサーバにキー情報を要求するキー情報取得要求ステ
ップと、データウェアハウスからキー情報を検索するキ
ー情報検索ステップと、データウェアハウスサーバから
取得したキー情報を記憶するキー情報記憶領域と、該キ
ー情報記憶領域に格納されたキー情報を用いてオペレー
ショナルデータストアに対してデータの削除を要求する
データ削除要求ステップと、該データ削除要求ステップ
から送られたキー情報より古いデータをオペレーショナ
ルデータストアから削除するデータ削除ステップを設け
ることにより、データウェアハウスとオペレーショナル
データストアの間のデータの重複を取除くことにより整
合性を確保することが可能となる。
【0059】この結果、アプリケーションはデータの重
複を意識することなくデータベース(データウェアハウ
ス及びオペレーショナルデータストア)に問合せを行う
ことが可能となる。
【0060】本発明の第三の形態によれば、キー情報格
納領域に格納されたキー情報を返却するキー情報返却ス
テップと、問合せに日時に関する条件があると該キー情
報返却ステップからキー情報を取得し、該取得したキー
情報と該日時に関する条件に含まれる日時を参照して、
どのデータベースにアクセスすればよいかを決定するデ
ータベース特定ステップを設けることにより分析業務ア
プリケーションが、自分が使用するデータベースを選択
することが可能となるため、データベース(データウェ
アハウス及びオペレーショナルデータストア)への不要
な問合せを減らすことができ問合せの性能を向上させる
ことが可能となる。
【0061】
【発明の効果】本発明によれば、従来技術に比較して2
以上のデータベースの整合性を高めることが可能にな
る。
【図面の簡単な説明】
【図1】本データウェアハウスシステムが稼動するシス
テムの構成例である。
【図2】預金業務、審査業務、預金業務DBとODSの
同期、預金業務DBとDWHの同期、及びODSとDW
Hの同期のフローの例である。
【図3】融資審査プログラムが行うフローの例である。
【図4】預金業務DBのテーブルの例である。
【図5】バッチ実行前のDWHのテーブルの例である。
【図6】バッチ実行前のODSのテーブルの例である。
【図7】バッチ実行前の木−情報記憶領域の例である。
【図8】DB特定ステップで行われる処理の例である。
【図9】バッチ後のDWHのテーブルの例である。
【図10】バッチ後のODSのテーブルの例である。
【図11】バッチ後のキー情報記憶領域の例である。
【符号の説明】
101…クライアント 102…ODSサーバ 103…ジョブ管理サーバ 104…預金業務サーバ 105…DWHサーバ 106…ネットワーク 107…融資審査プログラム 108…DB特定ステップ 109…オペレーショナルデータストア 110…データ削除ステップ 111…即時型データ反映ステップ 112…バッチ起動・監視ステップ 113…キー情報取得要求ステップ 114…データ削除要求ステップ 115…キー情報記憶領域 116…預金業務プログラム 117…精査業務プログラム 118…預金業務DB 119…バッチ型データ抽出ステップ 120…即時型データ抽出ステップ 121…バッチ型データ反映ステップ 122…キー情報検索ステップ 123…データウェアハウス 124…キー情報返却ステップ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 難波 康晴 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 (72)発明者 南 章一 神奈川県川崎市幸区鹿島田890番地 株式 会社日立製作所金融システム事業部内 (72)発明者 綿引 昌洋 神奈川県川崎市幸区鹿島田890番地 株式 会社日立製作所金融システム事業部内 (72)発明者 小野 晃範 神奈川県横浜市戸塚区戸塚町5030番地 株 式会社日立製作所ソフトウェア事業部内 Fターム(参考) 5B075 NK02 NK04 NR03 5B082 GA03

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】所定のデータを入力し、利用者からの指示
    に従って出力するデータウェアハウスシステムにおい
    て、 前記所定のデータが入力され、格納する第1のデータベ
    ースと、 予め定められた処理が実行された前記所定のデータが入
    力され、格納する第2のデータベースと、 前記第1のデータベースおよび前記第2のデータベース
    に対してデータ検索要求を出力する利用者装置と、 前記データ検索要求に応じて、前記第1のデータベース
    および前記第2のデータベースのいずれに、検索要求を
    出力する管理装置とを有することを特徴とするデータウ
    ェアハウスシステム。
  2. 【請求項2】請求項1に記載のデータウェアハウスシス
    テムにおいて、 前記管理装置は、前記第1のデータベースに格納された
    所定のデータのうち、少なくとも一部を削除して、前記
    所定のデータに含まれるデータについては、前記第1の
    データベースと前記第2のデータベースのいずれか一方
    に格納されるよう制御することを特徴とするデータウェ
    アハウスシステム。
  3. 【請求項3】請求項2に記載のデータウェアハウスシス
    テムにおいて、 前記管理装置は、前記第2のデータベースへの前記所定
    のデータの格納状況を検知し、前記検知の結果に応じ
    て、前記第1のデータベースに格納されている前記所定
    のデータの少なくとも一部を削除することを特徴とする
    データウェアハウスシステム。
  4. 【請求項4】請求項3に記載のデータウェアハウスシス
    テムにおいて、 前記管理装置は、 前記第2のデータベースから当該第2のデータベースに
    入力されたデータを特定する情報を受信し、 受信された前記情報に基づいて、前記格納状況を検知す
    ることを特徴とするデータウェアハウスシステム。
  5. 【請求項5】請求項2に記載のデータウェアハウスシス
    テムにおいて、 前記第1のデータベースは、単位データを単位として、
    前記所定のデータを格納し、 前記管理装置は、予め定められた時間毎に、前記第1の
    データベースに格納された前記所定のデータの少なくと
    も一部を削除することを特徴とするデータウェアハウス
    システム。
  6. 【請求項6】請求項5に記載のデータウェアハウスシス
    テムにおいて、 前記管理装置は、前記第1のデータベースに格納された
    前記所定のデータのうち、最も早く格納された単位デー
    タを削除することを特徴とするデータウェアハウスシス
    テム。
  7. 【請求項7】所定のデータが入力され、格納する第1の
    データベースと、予め定められた処理が実行された前記
    所定のデータが入力され、格納する第2のデータベース
    と、前記第1のデータベースおよび前記第2のデータベ
    ースに対してデータ検索要求を出力する利用者装置ネッ
    トワークを介して接続されたデータウェアハウスシステ
    ムの管理装置において、 前記利用者装置から前記データ検索要求を受信する手段
    と、 前記データ検索要求に応じて、前記第1のデータベース
    および前記第2のデータベースのいずれに、検索要求を
    送信するかを決定する手段と、 前記決定の結果に応じたデータベースに、前記検索要求
    を送信する手段とを有し、 前記第1のデータベースおよび前記第2のデータベース
    システムのいずれかから前記利用者装置に、前記データ
    検索要求に対応したデータが送信されることを特徴とす
    る管理装置。
  8. 【請求項8】請求項7に記載の管理装置において、 前記第1のデータベースに格納された所定のデータのう
    ち、少なくとも一部を削除して、前記所定のデータに含
    まれるデータについては、前記第1のデータベースと前
    記第2のデータベースのいずれか一方に格納されるよう
    制御する手段をさらに有することを特徴とする管理装
    置。
  9. 【請求項9】請求項8に記載の管理装置、 前記制御する手段は、前記第2のデータベースへの前記
    所定のデータの格納状況を検知し、前記検知の結果に応
    じて、前記第1のデータベースに格納されている前記所
    定のデータの少なくとも一部を削除することを特徴とす
    る管理装置。
  10. 【請求項10】請求項9に記載の管理装置において、 さらに、 前記第2のデータベースから当該第2のデータベースに
    入力されたデータを特定する情報を受信する手段と、 受信された前記情報に基づいて、前記格納状況を検知す
    る手段とを有することを特徴とする管理装置。
  11. 【請求項11】請求項8に記載の管理装置において、 前記制御する手段は、予め定められた時間毎に、前記第
    1のデータベースに格納された前記所定のデータの少な
    くとも一部を削除することを特徴とする管理装置。
  12. 【請求項12】請求項11に記載の管理装置において、 前記第1のデータベースは、単位データを単位として、
    前記所定のデータを格納し、 前記制御する手段は、前記第1のデータベースに格納さ
    れた前記所定のデータのうち、最も早く格納された単位
    データを削除することを特徴とする管理装置。
JP2001345520A 2001-11-12 2001-11-12 データウェアハウスシステム Pending JP2003150594A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001345520A JP2003150594A (ja) 2001-11-12 2001-11-12 データウェアハウスシステム
US10/277,628 US20030093429A1 (en) 2001-11-12 2002-10-21 Data warehouse system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001345520A JP2003150594A (ja) 2001-11-12 2001-11-12 データウェアハウスシステム

Publications (1)

Publication Number Publication Date
JP2003150594A true JP2003150594A (ja) 2003-05-23

Family

ID=19158840

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001345520A Pending JP2003150594A (ja) 2001-11-12 2001-11-12 データウェアハウスシステム

Country Status (2)

Country Link
US (1) US20030093429A1 (ja)
JP (1) JP2003150594A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007535764A (ja) * 2004-04-26 2007-12-06 ライト90,インコーポレイテッド リアルタイムのデータ予測
JP2010165004A (ja) * 2009-01-13 2010-07-29 Nec Corp データ蓄積システムおよびデータ管理方法
WO2012169807A2 (ko) * 2011-06-07 2012-12-13 Baek Seung Ho 데이터 웨어하우스를 이용한 데이터베이스 구축 방법 및 그 시스템

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6836777B2 (en) * 2001-11-15 2004-12-28 Ncr Corporation System and method for constructing generic analytical database applications
US7487173B2 (en) * 2003-05-22 2009-02-03 International Business Machines Corporation Self-generation of a data warehouse from an enterprise data model of an EAI/BPI infrastructure
US8036907B2 (en) * 2003-12-23 2011-10-11 The Dun & Bradstreet Corporation Method and system for linking business entities using unique identifiers
CA2557406A1 (en) * 2004-02-18 2005-09-01 Clark Yennie Time-addressed database management system
JP2005321849A (ja) * 2004-05-06 2005-11-17 Fujitsu Ltd データ分析支援プログラム、データ分析支援方法、およびデータ分析支援装置
US7304586B2 (en) 2004-10-20 2007-12-04 Electro Industries / Gauge Tech On-line web accessed energy meter
US9080894B2 (en) 2004-10-20 2015-07-14 Electro Industries/Gauge Tech Intelligent electronic device for receiving and sending data at high speeds over a network
US7747733B2 (en) 2004-10-25 2010-06-29 Electro Industries/Gauge Tech Power meter having multiple ethernet ports
US8930153B2 (en) 2005-01-27 2015-01-06 Electro Industries/Gauge Tech Metering device with control functionality and method thereof
US8620608B2 (en) 2005-01-27 2013-12-31 Electro Industries/Gauge Tech Intelligent electronic device and method thereof
US8190381B2 (en) 2005-01-27 2012-05-29 Electro Industries/Gauge Tech Intelligent electronic device with enhanced power quality monitoring and communications capabilities
US8160824B2 (en) 2005-01-27 2012-04-17 Electro Industries/Gauge Tech Intelligent electronic device with enhanced power quality monitoring and communication capabilities
GB0513375D0 (en) 2005-06-30 2005-08-03 Retento Ltd Computer security
US8515348B2 (en) 2005-10-28 2013-08-20 Electro Industries/Gauge Tech Bluetooth-enable intelligent electronic device
US7920976B2 (en) 2007-03-27 2011-04-05 Electro Industries / Gauge Tech. Averaging in an intelligent electronic device
US20130275066A1 (en) 2007-04-03 2013-10-17 Electro Industries/Gaugetech Digital power metering system
US11307227B2 (en) 2007-04-03 2022-04-19 Electro Industries/Gauge Tech High speed digital transient waveform detection system and method for use in an intelligent electronic device
US10845399B2 (en) 2007-04-03 2020-11-24 Electro Industries/Gaugetech System and method for performing data transfers in an intelligent electronic device
US9989618B2 (en) 2007-04-03 2018-06-05 Electro Industries/Gaugetech Intelligent electronic device with constant calibration capabilities for high accuracy measurements
US8452636B1 (en) * 2007-10-29 2013-05-28 United Services Automobile Association (Usaa) Systems and methods for market performance analysis
US9482555B2 (en) 2008-04-03 2016-11-01 Electro Industries/Gauge Tech. System and method for improved data transfer from an IED
US8321873B2 (en) * 2009-06-09 2012-11-27 Yahoo! Inc. System and method for offline data generation for online system analysis
US10574630B2 (en) 2011-02-15 2020-02-25 Webroot Inc. Methods and apparatus for malware threat research
US10275840B2 (en) 2011-10-04 2019-04-30 Electro Industries/Gauge Tech Systems and methods for collecting, analyzing, billing, and reporting data from intelligent electronic devices
US10303860B2 (en) 2011-10-04 2019-05-28 Electro Industries/Gauge Tech Security through layers in an intelligent electronic device
US10862784B2 (en) 2011-10-04 2020-12-08 Electro Industries/Gauge Tech Systems and methods for processing meter information in a network of intelligent electronic devices
US10771532B2 (en) 2011-10-04 2020-09-08 Electro Industries/Gauge Tech Intelligent electronic devices, systems and methods for communicating messages over a network
US11816465B2 (en) 2013-03-15 2023-11-14 Ei Electronics Llc Devices, systems and methods for tracking and upgrading firmware in intelligent electronic devices
US9189641B2 (en) * 2014-02-06 2015-11-17 Google Inc. Methods and systems for deleting requested information
US11734396B2 (en) 2014-06-17 2023-08-22 El Electronics Llc Security through layers in an intelligent electronic device
US9897461B2 (en) 2015-02-27 2018-02-20 Electro Industries/Gauge Tech Intelligent electronic device with expandable functionality
US11009922B2 (en) 2015-02-27 2021-05-18 Electro Industries/Gaugetech Wireless intelligent electronic device
US10048088B2 (en) 2015-02-27 2018-08-14 Electro Industries/Gauge Tech Wireless intelligent electronic device
US10958435B2 (en) 2015-12-21 2021-03-23 Electro Industries/ Gauge Tech Providing security in an intelligent electronic device
US10430263B2 (en) 2016-02-01 2019-10-01 Electro Industries/Gauge Tech Devices, systems and methods for validating and upgrading firmware in intelligent electronic devices
US10389693B2 (en) * 2016-08-23 2019-08-20 Hewlett Packard Enterprise Development Lp Keys for encrypted disk partitions
CN107958048A (zh) * 2017-11-27 2018-04-24 安徽经邦软件技术有限公司 一种基于财务数据分析的多维数据库系统及实现方法
US11734704B2 (en) 2018-02-17 2023-08-22 Ei Electronics Llc Devices, systems and methods for the collection of meter data in a common, globally accessible, group of servers, to provide simpler configuration, collection, viewing, and analysis of the meter data
US11754997B2 (en) 2018-02-17 2023-09-12 Ei Electronics Llc Devices, systems and methods for predicting future consumption values of load(s) in power distribution systems
US11686594B2 (en) 2018-02-17 2023-06-27 Ei Electronics Llc Devices, systems and methods for a cloud-based meter management system
US11863589B2 (en) 2019-06-07 2024-01-02 Ei Electronics Llc Enterprise security in meters
CN110795509B (zh) * 2019-09-29 2024-02-09 北京淇瑀信息科技有限公司 一种数据仓库的指标血缘关系图的构建方法、装置和电子设备
US11909859B2 (en) * 2020-06-02 2024-02-20 Sap Se Removing access to blockchain data

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870746A (en) * 1995-10-12 1999-02-09 Ncr Corporation System and method for segmenting a database based upon data attributes
US6714945B1 (en) * 1995-11-17 2004-03-30 Sabre Inc. System, method, and article of manufacture for propagating transaction processing facility based data and for providing the propagated data to a variety of clients
US6052718A (en) * 1997-01-07 2000-04-18 Sightpath, Inc Replica routing
US6105027A (en) * 1997-03-10 2000-08-15 Internet Dynamics, Inc. Techniques for eliminating redundant access checking by access filters
US5794246A (en) * 1997-04-30 1998-08-11 Informatica Corporation Method for incremental aggregation of dynamically increasing database data sets
US6714979B1 (en) * 1997-09-26 2004-03-30 Worldcom, Inc. Data warehousing infrastructure for web based reporting tool
US6442533B1 (en) * 1997-10-29 2002-08-27 William H. Hinkle Multi-processing financial transaction processing system
US6167405A (en) * 1998-04-27 2000-12-26 Bull Hn Information Systems Inc. Method and apparatus for automatically populating a data warehouse system
US6178418B1 (en) * 1998-07-28 2001-01-23 Noetix Corporation Distributed data warehouse query and resource management system
AU5797599A (en) * 1998-08-31 2000-03-21 Aprisma Management Technologies, Inc. Method and apparatus for managing data for use by data applications
US20020143862A1 (en) * 2000-05-19 2002-10-03 Atitania Ltd. Method and apparatus for transferring information between a source and a destination on a network
US6591266B1 (en) * 2000-07-14 2003-07-08 Nec Corporation System and method for intelligent caching and refresh of dynamically generated and static web content

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007535764A (ja) * 2004-04-26 2007-12-06 ライト90,インコーポレイテッド リアルタイムのデータ予測
JP2012164318A (ja) * 2004-04-26 2012-08-30 Right90 Inc リアルタイムのデータ予測
JP2010165004A (ja) * 2009-01-13 2010-07-29 Nec Corp データ蓄積システムおよびデータ管理方法
WO2012169807A2 (ko) * 2011-06-07 2012-12-13 Baek Seung Ho 데이터 웨어하우스를 이용한 데이터베이스 구축 방법 및 그 시스템
WO2012169807A3 (ko) * 2011-06-07 2013-03-28 Baek Seung Ho 데이터 웨어하우스를 이용한 데이터베이스 구축 방법 및 그 시스템

Also Published As

Publication number Publication date
US20030093429A1 (en) 2003-05-15

Similar Documents

Publication Publication Date Title
JP2003150594A (ja) データウェアハウスシステム
US9229940B2 (en) Method and apparatus for improving the integration between a search engine and one or more file servers
JP4318741B2 (ja) データベースシステム、データベース検索方法及び記録媒体
US7058663B2 (en) Automatic data update
CN111797121B (zh) 读写分离架构业务系统的强一致性查询方法、装置及系统
US7328213B2 (en) Transaction processing method, transaction control apparatus and program thereof
US20060288056A1 (en) File version management device, method, and program
JP2002099454A (ja) ファイル管理システムおよび方法
JP3347914B2 (ja) データ管理装置
JP2001282593A (ja) データベース−ファイル連携方法及び装置
US20040111417A1 (en) Data manipulation persisting method in transaction processing system and data manipulating program for remote database
US6480887B1 (en) Method of retaining and managing currently displayed content information in web server
JPH09204442A (ja) ドキュメントデータ検索システム
JPH06187213A (ja) ファイルアクセス履歴管理方式
US7340516B2 (en) Method and apparatus for conducting a transaction between transaction processing systems
JPH0773085A (ja) データ処理システムおよびメタデータの先読み方法
KR102415155B1 (ko) 데이터 검색 장치 및 방법
JP2001184355A (ja) 情報収集システム、コンテンツサーバ、情報収集装置及び記録媒体
EP1265141A2 (en) System, method and computer program for data-management
JPH10289135A (ja) 検索結果のキャッシュ機能を有するデータベース検索方式
JP2004252789A (ja) 情報検索装置、情報検索方法、情報検索プログラム及びそのプログラムを記録した記録媒体
JP2000235514A (ja) 情報検索方法及び情報検索システム並びに情報検索処理プログラムを記録した記録媒体
JPH10312393A (ja) 文書管理システム
JP3630547B2 (ja) データベースシステム及び検索データ返却方法
JPH09204345A (ja) 分散データベース検索方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060530

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061031

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070403