JP2003177948A - データの変換・流通を行うデータ管理機構 - Google Patents

データの変換・流通を行うデータ管理機構

Info

Publication number
JP2003177948A
JP2003177948A JP2001374564A JP2001374564A JP2003177948A JP 2003177948 A JP2003177948 A JP 2003177948A JP 2001374564 A JP2001374564 A JP 2001374564A JP 2001374564 A JP2001374564 A JP 2001374564A JP 2003177948 A JP2003177948 A JP 2003177948A
Authority
JP
Japan
Prior art keywords
data
conversion
management mechanism
trigger
data management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001374564A
Other languages
English (en)
Inventor
Kunio Minagawa
邦夫 皆川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2001374564A priority Critical patent/JP2003177948A/ja
Priority to US10/098,417 priority patent/US20030110155A1/en
Priority to EP02251946A priority patent/EP1318465A3/en
Publication of JP2003177948A publication Critical patent/JP2003177948A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 ファイルシステム内のデータを含むデータの
変換・流通などのデータ管理と業務アプリケーションと
を分離、独立化させる。 【解決手段】 データ変換ポリシーを含むデータ属性を
管理する手段2と、データ変換および/または流通を行
うべきタイミングをトリガとして検出する手段3と、ト
リガが検出された時、手段2によって管理されているデ
ータ属性に対応して、データ変換および/または流通の
処理を行う手段4とを備え、ファイルシステムを管理す
るオペレーティングシステムによって管理され、アプリ
ケーションプログラムと独立に動作する。

Description

【発明の詳細な説明】
【0001】
【発明の属する利用分野】本発明はデータの管理方式に
係り、更に詳しくはデータの属性と共に、データ変換の
論理、データ変換のタイミングをファイルの属性、すな
わちポリシーとして管理することによって、業務アプリ
ケーションとデータとを独立させることができるデータ
管理機構に関する。
【0002】
【従来の技術と発明が解決しようとする課題】従来のデ
ータ管理機構の1つとしてのファイルシステムでは、フ
ァイルとしてのデータの所在管理と、データへのアクセ
ス法が提供されるが、データの内容や構造についてはフ
ァイルシステムは基本的に無関係であり、データ処理の
論理はユーザがアプリケーションプログラムによって定
義してきた。
【0003】図18は従来のファイルシステムの説明図
である。ファイルシステム側ではデータの物理的な属性
が管理されているにすぎず、データ構造、ファイルに対
する処理の起動タイミング、および処理の論理について
は、全てアプリケーションプログラム(業務アプリ)側
で管理されている。
【0004】図19は従来のデータベースマネージメン
トシステム(DBMS)の説明図である。同図において
DBMS側では、データの物理的な属性と共にデータ構
造についても管理しており、アプリケーションプログラ
ムの作成労力はある程度削減されるが、データ入出力の
起動タイミングやデータ処理の論理についてはアプリケ
ーションプログラム側で管理されている。また一般のこ
れらのシステムでは、データの管理は業務アプリ(ケー
ション)が動作しているシステムによって行われてい
る。
【0005】以上説明したような従来のデータ管理方式
では、業務アプリケーション側でデータの入出力だけで
なく、データ処理の起動のタイミングや、その処理の論
理の全てをプログラムとして記述しなければならず、業
務アプリケーションの開発に手間がかかるという問題点
があった。
【0006】またデータ自体を含むデータ処理の全てが
業務アプリケーションが動作しているシステムのサーバ
に従属しているために、サーバの負荷が増加した場合に
も業務アプリケーションを別のサーバに単純に移行する
ことができず、負荷のバランス制御が困難であるという
問題点があった。
【0007】更に業務アプリケーションを追加したい場
合にも、業務アプリケーションが動作しているシステム
の資源の状況を考えながら行われなければならないとい
う問題点があった。
【0008】本発明の課題は、上述の問題点に鑑み、業
務アプリケーションとデータの変換・流通などの管理と
を独立化させることができるデータ管理機構を提供する
ことである。
【0009】
【課題を解決するための手段】図1は本発明のデータ管
理機構1の原理構成ブロック図である。同図はファイル
システム内のデータを含むデータの管理を行うデータ管
理機構、すなわちデータの変換・流通を行うデータ管理
機構の原理構成ブロック図である。
【0010】図1において属性管理手段2は、データの
変換ポリシー、例えば変換元と変換先の対応関係や、変
換の開始から終了までの一連の処理などの変換ポリシー
を含むデータ属性を管理するものである。
【0011】トリガ検出手段3は、データの変換および
/または流通を行うべきタイミングをトリガとして検出
するものであり、このトリガを検出すべき条件として
は、例えばファイルに関してはオープン、クローズ、作
成、削除など、ディレクトリについては作成、削除など
の条件があり、更にファイル属性の変更などの条件があ
る。
【0012】データ変換・流通手段4はトリガが検出さ
れた時、属性管理手段2によって管理されているデータ
属性に対応して、データの変換および/または流通の処
理を行うものである。
【0013】本発明においては、このデータ管理機構1
はファイルシステムを管理するオペレーティングシステ
ムによって管理され、アプリケーションプログラムとは
独立に動作するものである。
【0014】発明の実施の形態においてはデータ管理機
構はファイルシステム内に組み込まれることもでき、ま
たこのファイルシステムはアプリケーションプログラム
が動作するシステム内に組み込まれることもできる。こ
の場合、データ管理機構がアプリケーションプログラム
が動作するシステム上のミドルウエアとの間での処理の
連携のための情報交換を行う操作インタフェース手段を
更に備えることもできる。
【0015】また実施の形態においては、データ管理機
構はアプリケーションプログラムが動作する1つ以上の
システムとの間で、ネットワークを介したストレージの
集中管理を実現するネットワークアタッチドストレージ
システム内に組み込まれることもできる。
【0016】この場合、データ管理機構はネットワーク
アタッチドストレージシステム上のファイルシステムレ
イヤに実装されることもでき、あるいはネットワークア
タッチドストレージシステム上のアプリケーションレイ
ヤに実装されると共に、ファイルのオープン、クロー
ズ、リネーム、クリエイト、リムーブ、リンクなどを含
み、前記データの変換および/または流通を行うための
システムコールの実行前に呼び出されるシステムコール
を監視し、その呼び出されるシステムコールの検出をト
リガとしてトリガ検出手段3に与えるシステムコール監
視手段を更に備えることもできる。
【0017】次にファイルシステム内のデータを含むデ
ータの管理を行うデータ管理システムにおいて、データ
の変換ポリシーを含むデータ属性を管理する属性管理手
段と、データの変換および/または流通を行うべきタイ
ミングをトリガとして検出するトリガ検出手段と、該ト
リガが検出された時、前記属性管理手段によって管理さ
れているデータ属性に対応して、データの変換および/
または流通の処理を行うデータ変換・流通手段とが2つ
以上のサーバに分散して備えられ、アプリケーションプ
ログラムと独立に動作する。
【0018】なお、発明の実施の形態においては、以上
に述べたデータ管理機構1、属性管理手段2、トリガ検
出手段3、データ変換・流通手段4、操作インタフェー
ス手段、およびシステムコール監視手段はいずれもソフ
トウェアとして実現される。
【0019】また本発明において、データの変換および
/または流通を行うデータ管理機構を備える計算機によ
って使用されるプログラムとして、データの変換および
/または流通を行うべきタイミングとしてのトリガを検
出する手順と、該トリガが検出された時、データの変換
および/または流通のポリシーを参照する手順と、該ポ
リシーの内容に対応してデータの変換および/または流
通の処理を行う手順とを計算機に実行させるためのプロ
グラムが用いられる。
【0020】また本発明において、データの変換および
/または流通を行うデータ管理機構を備える計算機によ
って使用される記憶媒体として、データの変換および/
または流通を行うべきタイミングとしてのトリガを検出
するステップと、該トリガが検出された時、データの変
換および/または流通のポリシーを参照するステップ
と、該ポリシーの内容に対応してデータの変換および/
または流通の処理を行うステップとを計算機に実行させ
るためのプログラムを格納した計算機読み出し可能可搬
型記憶媒体が用いられる。
【0021】以上のように本発明によればデータの変換
および流通がアプリケーションプログラムと独立に実行
可能となり、業務アプリケーションとデータ管理との分
離が実現される。
【0022】
【発明の実施の形態】図2は本発明の原理的な概念の説
明図である。同図において業務アプリケーション10と
ファイルシステム11とは、例えば図18におけると同
様のインタフェースによって接続されているが、図18
と異なってデータの物理的な属性、データ構造、ファイ
ルの起動タイミング、および処理論理などは全てファイ
ルシステム11側で管理される。
【0023】図3は本発明の実施形態におけるデータ変
換動作の基本的な説明図である。同図において、業務ア
プリ(ケーション)12によって作成されたデータが変
換されて、業務アプリ(ケーション)19に与えられる
ものとする。
【0024】業務アプリケーション12から与えられ
た、例えばファイル名“a.xml”のデータ13に対
するデータ変換の起動条件がトリガ管理部14によって
検出されると、その検出結果は変換管理部15に与えら
れる。変換管理部15は、ポリシー管理部16によって
管理されているファイルに対する変換ポリシーを参照
し、与えられたトリガに対応してデータ変換とコピーを
行うべきことを検出すると、変換部品17を駆動する。
変換部品17はデータ13に対する変換を行い、その処
理結果としてのファイル名“a.html”のデータ1
8を業務アプリケーション19に与える。
【0025】ここで図3のトリガ管理部14、変換管理
部15、ポリシ管理部16、および変換部品17はいず
れもソフトウェアである。図4は図3のポリシー管理部
16によって管理されているファイルに対するポリシー
の説明図である。同図においてポリシーは制約条件、関
係、手続き、例外処理、およびスキーマ定義の5つに分
類されるが、これらのうち制約条件は図2で説明した起
動タイミングに、関係、手続き、例外処理の3つは処理
論理に、スキーマ定義はデータ構造に相当する。
【0026】まず起動タイミングに対応する制約条件
は、変換処理を起動するためにファイルが満たすべき条
件であり、その項目はファイルの状態に対応するトリガ
IDである。
【0027】変換が起動されるためのトリガ指定条件と
してはファイルに対してはオープン、クローズ、名称変
更(リネーム)、作成(クリエイト)、削除(リムー
ブ)、リンクなどがディレクトリに対しては作成、削除
などがある。さらにファイル属性、すなわちスキーマ定
義の変更などの他に、一般的なトリガ条件として、例え
ば毎日定められた時刻や、ファイルそのものの存在など
についても指定可能である。
【0028】処理論理、すなわち変換論理としての関係
は変換元と変換先の対応関係を示すものであり、変換先
は複数であることもできる。その項目はパス名や、手続
きIDに対応する関係IDである。
【0029】手続きは変換の開始から終了までの一連の
処理の手続きを示し、アダプタの指定や、XML(エク
ステンシブルマークアップランゲージ)文書の構造を別
の形式に変換するための変換ルールを記述するXSLT
(XMLスタイルシートランゲージトランスフォーム)
などに相当する手続きIDである。
【0030】例外処理はファイルの変換などでエラーが
発生した場合のエラー通知方法を示し、その項目はエラ
ーの通知先を示すEメールアドレスや、エラーの記録を
残すためのログファイル名などである。
【0031】スキーマ定義は変換元と変換先のデータ構
造であり、例えばXMLスキーマ言語でシンタックス/
セマンティクスが記述されるものであり、その項目はX
MLスキーマ、またはノンXMLファイル情報である。
このノンXMLファイル情報は、変換後のXML文書の
スキーマ定義としても使用され、独自のボキャブラリを
提供するものである。
【0032】図5は本実施形態におけるデータ管理機構
のコンポーネント構成を示すブロック図である。同図に
おいてデータ管理機構は全体制御部20、トリガ制御部
21、ポリシー管理部22、ファイルポリシー23、変
換処理制御部24、変換機能部品25、例外処理部2
6、および操作インタフェース27によって構成されて
いる。
【0033】ここで全体制御部20、トリガ制御部2
1、ポリシ管理部22、変換処理制御部24、変換機能
部品25、例外処理部26、および操作インタフェース
27はいずれも基本的にソフトウェアによって実現され
る。
【0034】全体制御部20は、データ管理機構全体を
制御するために処理の振り分けを行うものであり、必要
情報のコーディネイトと、対称コンポーネントの呼び出
しを行うものである。
【0035】ポリシー管理部22は、ファイルに対して
指定されたポリシー情報の管理を行うものであり、図4
で説明したポリシーの登録、削除、参照、および更新を
制御するものである。
【0036】変換処理制御部24は、ファイルに対して
指定されたポリシー情報をもとにして必要な変換機能部
品25を選択し、処理に必要なパラメータを設定して変
換機能部品25を起動し、その処理完了を待ち合わせて
完了状態を判断し、必要な後処理、例えば例外処理など
を行わせるものである。
【0037】トリガ制御部21は、ポリシーによって指
定されたトリガ条件、すなわち前述の制約条件を検出
し、その結果を全体制御部20に通知する。トリガ制御
部21の実装方法としては、第1にファイルシステム内
部に組み込むパターン、すなわちファイルシステムから
トリガに関する情報を獲得するパターンと、第2のパタ
ーンとしてファイルのオープンやクローズなどのシステ
ムコールの実行前に呼び出されるシステムコールとして
のフック、第3のパターンとして一般アプリケーション
として一定時間間隔で起動され、システムの状態を調査
するパターンなどが考えられる。
【0038】操作インタフェース27は、ポリシー情報
に対するユーザとのインタフェースを受け持つものであ
る。コマンドレベルのインタフェースとウェブインタフ
ェースが装備され、また手動でのユーザからのデータ変
換依頼や、ミドルウエアとの個別インタフェースについ
ても、ここで受付処理が行われる。
【0039】変換機能部品(群)25は、実際にファイ
ル内のデータの変換を行う部品であり、XMLであれば
XSLTプロセッサなどである。ノンXMLの場合に
は、一般のETLツール、すなわち分散してしまったデ
ータを統合するためのエクストラクト、トランスフォー
ム、およびローディングを行うツールなどのように既存
のファイル変換機能である。
【0040】例外処理部26は、データ変換処理など様
々な処理の後処理を受け持つものである。処理結果のロ
ギングやエラーなどの例外に対するメッセージ出力や、
メール通知などを行うものである。
【0041】図6、および図7は本実施形態における処
理のフローチャートである。これらのフローチャート
は、本発明に直接関係のある処理のみについて説明する
ものであり、例えば処理結果の業務アプリケーションへ
の受渡しなど、後述するようにファイルシステムとして
の従来処理についてはその説明を省略する。
【0042】図6はユーザからのポリシー操作、すなわ
ちポリシーの登録、更新、削除、または参照などの要求
などに対する処理のフローチャートである。同図におい
て、まず操作インタフェース27がステップS1でユー
ザからの操作を受付け、ステップS2で全体制御部20
にその処理を依頼する。
【0043】全体制御部20はステップS3で処理の依
頼を受付け、ステップS4で処理内容をチェックし、ポ
リシー操作の処理であると判定した場合には、ステップ
S5でポリシー管理部22に処理を依頼する。ポリシー
操作の処理でない場合には、その他の処理に移行する。
【0044】ポリシー管理部22は、ステップS6で依
頼された処理を受付け、ステップS7で処理内容をチェ
ックし、ステップS8でポリシーの参照、登録、または
削除を行い、ステップS9で全体制御部10に対して処
理結果を通知する。
【0045】全体制御部20はこの結果を受け取り、ス
テップS10で処理結果が例外か否かをチェックし、例
外でないときはデータの変換処理が必要となったか否か
を判定するためにステップS11で変換条件をチェック
し、変換条件が満足されている場合には、再帰的な呼び
出しとして、ステップS3において変換処理制御部24
を呼び出すための処理が受付けられ、ステップS4以降
の処理が行われる。ここではその他の処理としてデータ
の変換処理が依頼されることになる。
【0046】全体制御部20によるステップS10の処
理において処理結果がチェックされ、例外処理を行うべ
きものと判定されると、ステップS12で例外処理部2
6に処理が依頼される。
【0047】例外処理部26はステップS13でこの依
頼を受付け、ステップS14で例外処理を実行し、ステ
ップS15で全体制御部20に対して処理結果を通知す
る。全体制御部20はこの処理結果をステップS16で
受け取り、またステップS11で変換条件が満足されて
いない時には、ステップS17で操作インタフェース2
7に対して処理結果を通知する。
【0048】操作インタフェース部27はステップS1
8でその処理結果を受け取り、ステップS19でその結
果をユーザに通知する。図7はデータの変換・流通の自
動処理のフローチャートである。同図において、トリガ
制御部21がデータ変換を行うためのトリガをステップ
S21で検出すると、トリガ制御部21は全体制御部2
0にステップS22で処理を依頼する。
【0049】全体制御部20はステップS23この依頼
を受付け、ステップS24で処理内容をチェックし、変
換のためのトリガに対する処理であると判定すると、ス
テップS25でポリシー管理部22に対して処理を依頼
する。
【0050】ポリシー管理部22はステップS26でこ
の依頼を受付け、ステップS27で処理内容をチェック
し、ステップS28でファイルポリシー(ポリシー格納
ファイル)23の内容を参照し、ステップS29で全体
制御部20に対して処理結果を通知する。
【0051】全体制御部20はステップS30でこの処
理結果を受け取り、ステップS31でデータ変換条件が
満足されているか否かを判定し、満足されている時には
ステップS32で変換処理制御部24に処理を依頼した
後に、変換条件が満足されていない場合には直ちに、ス
テップS33でトリガ制御部21に処理結果を通知す
る。変換処理制御部24にデータ変換処理を依頼した場
合には、一般的に変換に時間がかかるため、処理を依頼
したことだけがトリガ制御部21に通知される。
【0052】トリガ制御部21はステップS34でこの
処理結果を受け取り、ステップS35でトリガ検出待ち
の状態に復帰する。変換処理制御部24はステップS3
6で全体制御部20からのデータ変換処理依頼を受付
け、ステップS37で変換に必要なパラメータを組み立
て、ステップS38で変換機能部品25を呼び出して処
理を行わせ、その結果を受け取り、ステップS39で全
体制御部20に処理結果を通知する。
【0053】全体制御部20はこのデータ変換の処理結
果をステップS23で受付け、例えば図3で説明したよ
うにその変換結果のデータ18を業務アプリ19に渡す
ことになるが、その処理の説明は省略する。また全体制
御部20はこのデータ変換結果をステップS24でチェ
ックした時、データ変換結果の通知であると判定した場
合にはステップS40で処理結果をチェックするが、そ
のチェックの結果例えば変換エラーが生じた場合には、
ステップS41で例外処理部26を呼び出して処理を終
了する。
【0054】ユーザから手動でデータの変換・流通処理
が要求される場合には図7のトリガが制御部21に代わ
って、その要求は操作インタフェース27に入力され、
操作インタフェース27から全体制御部20に処理が依
頼され、ステップS23以降の処理が実行される。最終
的な変換結果などは操作インタフェース27を介してユ
ーザに与えられる。
【0055】次に本実施形態のデータ管理機構が組み込
まれたデータ処理システムの構成例について説明する。
図8はそのようなシステムの第1の構成例である。この
第1の構成例においては図5で説明したデータ管理機構
がファイルシステムレイヤに実装され、業務アプリケー
ションが動作する1つのシステム内に組み込まれた例で
ある。同図においては、ファイルシステム30の内部
に、従来の処理としてのファイルの入出力制御などを行
うファイルシステム31に加えて、データ管理機構を構
成する全体制御部20から例外処理部26までの各コン
ポーネントが実装されている。すなわち、データ管理機
構はファイルシステムを管理するオペレーティングシス
テムによって管理されるが、同一システム内であっても
アプリケーションプログラムとは独立して動作する。な
おファイルシステム31も基本的にはソフトウェアによ
って実現されている。
【0056】図8においては、例えば業務アプリ12に
よって作成されたファイルが、従来の処理としてファイ
ルの入出力制御などを行うファイルシステム31を介し
て入力され、変換結果はファイルシステム31を介して
業務アプリ19に与えられる。このように業務アプリケ
ーションが動作するシステム上に組み込むことによっ
て、データとアプリケーションとの独立化が達成され
る。
【0057】また図8においてミドルウエア32は、直
接に操作インタフェース27との間でデータ交換が可能
なものである。すなわち従来処理を行うファイルシステ
ム31を介することなく、業務システム上のミドルウエ
アとの連携によって、ミドルウエアによって行われる処
理の一部をデータ管理機構が代行することが可能とな
る。
【0058】例えばミドルウエア32側で行われるべき
XML処理機能との連携として、ウェブページの内容お
よびそれらの配置やスタイルをオブジェクトとして扱
い、スクリプト言語を使って制御するためのドキュメン
トオブジェクトモデル(DOM)展開ファイル化、シリ
アライズ化、部分参照機能、およびXMLとHTTPな
どをベースとした他のコンピュータにあるデータやサー
ビスを呼び出すための通信規約であるシンプル・オブジ
ェクト・アクセス・プロトコル(SOAP)複合ドキュ
メントの展開・合成(封筒の出し入れ)などを代行する
ことが可能となる。
【0059】またミドルウエア側で動作するパッケージ
との連携処理として、クリックログ分析、企業内で業務
に使用される複数のコンピュータシステムを有機的に連
携させ、データやプロセスの効率的な統合を図るエンタ
ープライズ・アプリケーション・インテグレーション
(EAI)の性能管理、ポイント・オブ・セールス(P
OS)のデータ解析、SOAP利用パッケージの処理な
どが代行可能となる。
【0060】図9は本実施形態のデータ処理機構を用い
るシステムの第2の例の構成ブロック図である。この例
はネットワーク経由でサーバとストレージ機器とを通信
させて、ストレージの集中管理を実現するネットワーク
・アタッチド・ストレージ(NAS)サーバのファイル
システムレイヤにデータ管理機構を実装した例であり、
業務アプリケーションが動作するシステムとは別のシス
テムにデータ管理機構が組み込まれる。
【0061】すなわち、この第2の例ではデータ管理機
構はファイルシステムを管理するオペレーティングシス
テムによって管理されるが、別のシステム上のアプリケ
ーションプログラムとは当然独立して動作する。
【0062】図9においてNASサーバ内で、ファイル
システム30の内部に、従来処理を行うファイルシステ
ム31に加えて、全体制御部20から操作インタフェー
ス27までのコンポーネントが実装されている。そして
ストレージに対するアクセス要求の仲介を行うNASヘ
ッド37を介して、業務システム36によって作成され
たファイルが入力され、変換結果はNASヘッド37か
ら他の業務システム38内の業務アプリケーションに与
えられる。
【0063】この例ではデータ管理と業務アプリケーシ
ョンの独立化と共に、業務システム側でのメモリやCP
Uなどの使用資源の削減が実現される。図10はデータ
管理機構が組み込まれるシステムの第3の例である。本
実施形態のデータ管理機構が、NASサーバ35上の一
般アプリケーションレイヤに実装される。
【0064】図8,図9で説明した第1、第2の例で
は、前述のトリガ制御の実装方法として、従来処理を行
うファイルシステム31の内部に組み込むパターンが使
用されるが、第3の例においてはデータ管理機構が一般
アプリケーションレイヤに実装されるため、前述の第2
のパターン、すなわちシステムコールとしてのフックが
利用され、その監視を行うためにシステムコールフック
自前監視部40が追加されている。
【0065】なお図9、図10におけるNASヘッド3
7、およびシステムコールフック自前監視部40もソフ
トウェアとして実現される。図11は本実施形態のデー
タ管理機構を用いるシステムの第4の例の構成ブロック
図である。この例においては1つのシステム、または1
つのサーバ内にデータ管理機構全体が組み込まれるので
はなく、図5で説明した各コンポーネントが各種のサー
バに分散して組み込まれる点に特徴がある。
【0066】すなわちNASヘッド37、およびトリガ
制御部21はNASサーバ45に、全体制御部20、お
よび例外処理部26は制御サーバ46に、ポリシー管理
部22、操作インタフェース27、およびファイルポリ
シー23はポリシーサーバ47に、変換処理制御部2
4、および変換機能部品25は変換サーバ48に、また
ファイルシステム31はディスクサーバ49にそれぞれ
組み込まれる。
【0067】NASサーバ45、ポリシーサーバ47は
それぞれ故障に備えて二重化構成とされ、片方はスタン
バイとして用いられる。制御サーバ46、変換サーバ4
8、およびディスクサーバ49はそれぞれn個備えら
れ、並列実行のためのロードシェア、およびファイルシ
ステム全体としての容量確保が実現される。
【0068】次に本実施形態のデータ管理機構の適用例
について、従来方式と比較しながら図12〜図16を用
いて説明する。図12および図13は複数の業務サーバ
の間でデータを交換する業務への適用例であり、図12
は従来方式、図13は本発明の方式の説明図である。
【0069】このデータ交換業務において本発明を用い
る場合には、利用者が作成したデータはそのまま保存さ
れると共にそのデータから変換されるデータは自動的
に、かつ最初にデータを作成した業務サーバの資源を利
用せずに作成される。この例では全社のデータから各部
門単位のデータが作成され、各部門のサーバに公開され
る業務が実行される。
【0070】図12において、まず本社サーバにおいて
アプリケーションプログラムを用いて会社データの作
成、およびそのデータの分割が行われ、各部門のデー
タ、すなわち部門1から部門3のデータが作成される。
その結果はファイル転送によって部門1から部門3まで
の各サーバに付属するそれぞれのファイルに転送され
る。
【0071】図13においては本社サーバ51によって
作成された全社データは、例えばNASサーバ52に送
られ、NASサーバ52内のデータ管理機構によって部
門1から部門3のデータに分割され、ネットワークスト
レージを利用して部門1から部門3の各サーバ53に提
供される。これによって全社データファイルの作成完了
をトリガとして、各部門のデータへの分割を行うことが
できる。
【0072】図13においてNASサーバ52に接続さ
れている各サーバの間で、オペレーティングシステム
(OS)が異なる場合が考えられる。例えば本社サーバ
51のOSはUNIX(登録商標)系であり、各部門サ
−バ53のOSはWindowsNT(登録商標)とな
っているような場合が考えられる。このようにOSの異
なる各サーバがNASサーバ52を利用するシステム構
成も可能であり、この場合にはNASサーバ52に対す
るUNIX(登録商標)系サーバと、Windows
(登録商標)系サーバとの間ではアクセス方法が異なっ
てくる。
【0073】図14は上述のように本社サーバ51がU
NIX(登録商標)系であり、部門サーバ53がWin
dows(登録商標)系である場合のシステム構成を示
す。UNIX(登録商標)系のサーバは、ネットワーク
・ファイル・システム(NFS)プロトコルによってフ
ァイルに対するリモートアクセスを行い、Window
s(登録商標)系のサーバはコモン・インターネット・
ファイル・システム(CIFS)プロトコルによってフ
ァイルに対するリモートアクセスを行う。そこでNAS
ヘッドの中にNFSプロトコルに対するサーバとCIF
Sプロトコルに対するサーバとの両方を用意しておく必
要がある。
【0074】またUNIX(登録商標)系のシステムと
Windows(登録商標)系システムでは、文字のコ
ードや、データ表現も異なってくる。UNIX(登録商
標)系で扱われるデータの文字コードは拡張UNIX
(登録商標)コード(EUC)が標準であり、Wind
ows(登録商標)系ではシフトJIS(SJIS)が
標準として用いられる。
【0075】図14のシステムでは、これらの文字コー
ド情報、データ表現情報もスキーマ定義(ポリシーの1
つ)として扱われ、文字コードやデータ表現形式の変換
もあわせて行うことができる。そこでユーザは文字コー
ドやデータ表現の違いを意識することなく、変換結果を
利用することが可能となる。
【0076】図15および、図16は、複数のウェブサ
ーバを利用してコンテンツの提供業務を行うインターネ
ットサービスプロバイダにおいて、ウェブコンテンツに
対するクリックログをコンテンツの提供者単位に集計し
て、その集計結果をそれぞれのコンテンツ提供者に報告
する業務に対して適用した例である。
【0077】図15の従来方式では、ウェブサーバ1か
らウェブサーバ3のそれぞれにおいて記録されたクリッ
クログがファイル転送によって収集・分析サーバに与え
られ、アプリケーションプログラムを用いて収集・分析
サーバ内でデータが集計されて全ログデータが得られた
後に、データ振り分けが行われ、コンテンツ1からコン
テンツ4にそれぞれ対応するクリックログの集計結果が
得られ、それぞれのコンテンツ提供者に報告される。
【0078】図16においてはネットワークストレージ
形態が用いられ、それぞれのウェブサーバ1からウェブ
サーバ3までのクリックログはNASサーバ55内のそ
れぞれのログファイルに格納され、データ管理機構によ
って全ログデータとして集計され、コンテンツ毎に振り
分けが行われて各コンテンツ提供者56に報告される。
【0079】以上において本発明のデータ管理機構につ
いてその詳細を説明したが、このデータ管理機構を備え
るシステムは当然一般的なコンピュータシステムとして
構成することが可能である。図17はそのようなコンピ
ュータシステム、すなわちハードウェア環境の構成ブロ
ック図である。
【0080】図17においてコンピュータシステムは中
央処理装置(CPU)70、リードオンリメモリ(RO
M)71、ランダムアクセスメモリ(RAM)72、通
信インタフェース73、記憶装置74、入出力装置7
5、可搬型記憶媒体の読取り装置76、およびこれらの
全てが接続されたバス77によって構成されている。
【0081】記憶装置74としてはハードディスク、磁
気ディスクなど様々な形式の記憶装置を使用することが
でき、このような記憶装置74、またはROM71に図
6,図7のフローチャートに示されたプログラムや、本
発明の特許請求の範囲の請求項9,10のプログラムな
どが格納され、そのようなプログラムがCPU70によ
って実行されることにより、本実施形態におけるデータ
管理、データとアプリケーションとの独立化などが可能
となる。
【0082】このようなプログラムは、プログラム提供
者78側からネットワーク79、および通信インタフェ
ース73を介して、例えば記憶装置74に格納されるこ
とも、また市販され、流通している可搬型記憶媒体80
に格納され、読取り装置76にセットされて、CPU7
0によって実行されることも可能である。可搬型記憶媒
体80としてはCD−ROM、フレキシブルディスク、
光ディスク、光磁気ディスクなど様々な形式の記憶媒体
を使用することができ、このような記憶媒体に格納され
たプログラムが読取り装置76によって読取られること
により、本実施形態におけるデータの変換や流通などが
可能となる。
【0083】
【発明の効果】以上詳細に説明したように本発明によれ
ば、データの変換をデータ管理機構側で管理・実行する
ことにより、業務アプリケーションが動作するシステム
におけるメモリやCPU資源などが削減され、またデー
タの変換・流通処理と業務アプリケーションとを同期化
することなく、独立して実行することが可能となる。
【0084】すなわち本発明によれば、業務アプリケー
ションとデータ管理との真の独立化が可能となる。第1
に業務アプリケーションはどのシステムでも実行可能と
なり、業務アプリケーションの配置の自由度が拡大し、
システムの負荷に応じて業務アプリケーションを自由に
配置することが可能となる。
【0085】第2にデータの変換や流通を意識する必要
がなくなり、業務システム毎に独立した運用が可能とな
る。第3に業務アプリケーション側ではどんなデータが
欲しいかというデータ構造の設計を行い、データ入出力
処理を行うだけであり、データの変換や流通の論理をア
プリケーションに組み込む必要がなくなり、業務アプリ
ケーションの設計が容易となる。
【図面の簡単な説明】
【図1】本発明の原理構成ブロック図である。
【図2】本発明におけるデータ管理の概念の説明図であ
る。
【図3】本発明の実施形態におけるデータ変換動作の基
本的説明図である。
【図4】ファイルに対するポリシーの説明図である。
【図5】データ管理機構のコンポーネント構成を示すブ
ロック図である。
【図6】ユーザからのポリシー操作に対する処理のフロ
ーチャートである。
【図7】データの変換・流通の自動処理のフローチャー
トである。
【図8】データ管理機構が組み込まれたシステムの第1
の構成例である。
【図9】データ管理機構が組み込まれたシステムの第2
の構成例である。
【図10】データ管理機構が組み込まれたシステムの第
3の構成例である。
【図11】データ管理機構が組み込まれたシステムの第
4の構成例である。
【図12】複数の業務サーバの間におけるデータ交換の
従来方式の説明図である。
【図13】複数の業務サーバの間における本発明の方式
の説明図である。
【図14】本社サーバ51がUNIX(登録商標)系で
あり、部門サーバ53がWindows(登録商標)系
である場合のシステム構成図である。
【図15】コンテンツに対するクリックログの集計結果
の報告業務の従来方式の説明図である。
【図16】コンテンツに対するクリックログの本発明の
方式の説明図である。
【図17】本発明を実現するためのプログラムのコンピ
ュータへのローディングを説明する図である。
【図18】ファイルシステムの従来例の説明図である。
【図19】データベースマネージメントシステムの従来
例の説明図である。
【符号の説明】
1 データ管理機構 2 属性管理手段 3 トリガ検出手段 4 データ変換・流通手段 12,19 業務アプリケーション 13,18 データ 14 トリガ管理部 15 変換管理部 16,22 ポリシー管理部 17 変換部品 20 全体制御部 21 トリガ制御部 23 ファイルポリシー 24 変換処理制御部 25 変換機能部品 26 例外処理部 27 操作インタフェース 30 ファイルシステム 31 従来処理を行うファイルシステム 32 ミドルウエア 35 NASサーバ 36,38 業務システム 37 NASヘッド 40 システムコールフック自前監視部

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 ファイルシステム内のデータを含むデー
    タの管理を行うデータ管理機構において、 データの変換ポリシーを含むデータ属性を管理する属性
    管理手段と、 データの変換および/または流通を行うべきタイミング
    をトリガとして検出するトリガ検出手段と、 該トリガが検出された時、前記属性管理手段によって管
    理されているデータ属性に対応して、データの変換およ
    び/または流通の処理を行うデータ変換・流通手段とを
    備え、 前記ファイルシステムを管理するオペレーティングシス
    テムによって管理され、アプリケーションプログラムと
    独立に動作することを特徴とするデータの変換・流通を
    行うデータ管理機構。
  2. 【請求項2】 前記データ管理機構が、前記ファイルシ
    ステム内に組み込まれることを特徴とする請求項1記載
    のデータの変換・流通を行うデータ管理機構。
  3. 【請求項3】 前記データ管理機構が組み込まれたファ
    イルシステムが、アプリケーションプログラムが動作す
    るシステム内に組み込まれることを特徴とする請求項2
    記載のデータの変換・流通を行うデータ管理機構。
  4. 【請求項4】 前記データ管理機構が、前記アプリケー
    ションプログラムが動作するシステム上のミドルウエア
    との間での処理の連携のための情報交換を行う操作イン
    タフェース手段を更に備えることを特徴とする請求項1
    記載のデータの変換・流通を行うデータ管理機構。
  5. 【請求項5】 前記データ管理機構が、前記アプリケー
    ションプログラムが動作する1つ以上のシステムとの間
    でネットワークを介したストレージの集中管理を実現す
    るネットワークアタッチドストレージシステム内に組み
    込まれることを特徴とする請求項1記載のデータの変換
    ・流通を行うデータ管理装置。
  6. 【請求項6】 前記データ管理機構が、前記ネットワー
    クアタッチドストレージシステム上のファイルシステム
    レイヤに実装されることを特徴とする請求項5記載のデ
    ータの変換・流通を行うデータ管理機構。
  7. 【請求項7】 前記データ管理機構が、前記ネットワー
    クアタッチドストレージシステム上のアプリケーション
    レイヤに実装されると共に、ファイルのオープン、クロ
    ーズ、リネーム、クリエイト、リムーブ、リンクを含む
    前記データの変換および/または流通を行うためのシス
    テムコールの実行前に呼び出されるシステムコールを監
    視し、該呼び出されるシステムコールの検出を前記トリ
    ガとしてトリガ検出手段に与えるシステムコール監視手
    段を更に備えることを特徴とする請求項5記載のデータ
    の変換・流通を行うデータ管理機構。
  8. 【請求項8】 ファイルシステム内のデータを含むデー
    タの管理を行うデータ管理機構を構成し、 データの変換ポリシーを含むデータ属性を管理する属性
    管理手段と、 データの変換および/または流通を行うべきタイミング
    をトリガとして検出するトリガ検出手段と、 該トリガが検出された時、前記属性管理手段によって管
    理されている属性に対応して、データの変換および/ま
    たは流通の処理を行うデータ変換・流通手段とが2つ以
    上のサーバに分散して備えられ、アプリケーションプロ
    グラムと独立に動作することを特徴とするデータ管理シ
    ステム。
  9. 【請求項9】 データの変換および/または流通を行う
    データ管理機構を備える計算機によって使用されるプロ
    グラムにおいて、 前記データの変換および/または流通を行うべきタイミ
    ングとしてのトリガを検出する手順と、 該トリガが検出された時、データの変換および/または
    流通のポリシーを参照する手順と、 該ポリシーの内容に対応して、データの変換および/ま
    たは流通の処理を行う手順とを計算機に実行させるため
    のプログラム。
  10. 【請求項10】 データの変換および/または流通を行
    うデータ管理機構を備える計算機によって使用される記
    憶媒体において、 前記データの変換および/または流通を行うべきタイミ
    ングとしてのトリガを検出するステップと、 該トリガが検出された時、データの変換および/または
    流通のポリシーを参照するステップと、 該ポリシーの内容に対応して、データの変換および/ま
    たは流通の処理を行うステップとを計算機に実行させる
    ためのプログラムを格納した計算機読み出し可能可搬型
    記憶媒体。
JP2001374564A 2001-12-07 2001-12-07 データの変換・流通を行うデータ管理機構 Pending JP2003177948A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001374564A JP2003177948A (ja) 2001-12-07 2001-12-07 データの変換・流通を行うデータ管理機構
US10/098,417 US20030110155A1 (en) 2001-12-07 2002-03-18 Data management mechanism for converting and distributing data
EP02251946A EP1318465A3 (en) 2001-12-07 2002-03-19 Data management mechanism for converting and distributing data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001374564A JP2003177948A (ja) 2001-12-07 2001-12-07 データの変換・流通を行うデータ管理機構

Publications (1)

Publication Number Publication Date
JP2003177948A true JP2003177948A (ja) 2003-06-27

Family

ID=19183109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001374564A Pending JP2003177948A (ja) 2001-12-07 2001-12-07 データの変換・流通を行うデータ管理機構

Country Status (3)

Country Link
US (1) US20030110155A1 (ja)
EP (1) EP1318465A3 (ja)
JP (1) JP2003177948A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8316063B2 (en) 2008-01-11 2012-11-20 Rsun Corporation Data-driven database processor
JP2013533995A (ja) * 2010-05-27 2013-08-29 マイクロソフト コーポレーション データ統合のためのスキーマコントラクト
JP2020515088A (ja) * 2017-05-23 2020-05-21 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited ブロックチェーンベースのデータ処理方法およびデバイス

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7299237B1 (en) * 2004-08-19 2007-11-20 Sun Microsystems, Inc. Dynamically pipelined data migration
US20090210461A1 (en) * 2008-02-14 2009-08-20 Mcchord Austin Network Attached Storage System and Method
US8615792B2 (en) 2009-12-29 2013-12-24 International Business Machines Corporation Method and system for policy driven data disclosure
US9043342B2 (en) 2009-12-29 2015-05-26 International Business Machines Corporation Method and system for policy driven data distribution
US9342536B2 (en) 2012-07-31 2016-05-17 International Business Machines Corporation Intent based automation of data management operations by a data management engine
US8949195B1 (en) * 2012-09-26 2015-02-03 Emc Corporation Method and system for multi-dimensional logging for enterprise applications
US9077765B2 (en) * 2012-10-09 2015-07-07 Microsoft Technology Licensing, Llc Content management and delivery

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5911776A (en) * 1996-12-18 1999-06-15 Unisys Corporation Automatic format conversion system and publishing methodology for multi-user network
JP4035872B2 (ja) * 1997-10-27 2008-01-23 株式会社日立製作所 ファイルフォーマット変換方法とこれを用いたファイルシステム及び情報システム及び電子商取引システム
US6085199A (en) * 1997-11-24 2000-07-04 International Business Machines Corporation Method for distributing a file in a plurality of different file formats
US6324551B1 (en) * 1998-08-31 2001-11-27 Xerox Corporation Self-contained document management based on document properties
US6389432B1 (en) * 1999-04-05 2002-05-14 Auspex Systems, Inc. Intelligent virtual volume access
US6643635B2 (en) * 2001-03-15 2003-11-04 Sagemetrics Corporation Methods for dynamically accessing, processing, and presenting data acquired from disparate data sources

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8316063B2 (en) 2008-01-11 2012-11-20 Rsun Corporation Data-driven database processor
JP2013533995A (ja) * 2010-05-27 2013-08-29 マイクロソフト コーポレーション データ統合のためのスキーマコントラクト
JP2020515088A (ja) * 2017-05-23 2020-05-21 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited ブロックチェーンベースのデータ処理方法およびデバイス
US11379803B2 (en) 2017-05-23 2022-07-05 Advanced New Technologies Co., Ltd. Blockchain-based data processing method and device

Also Published As

Publication number Publication date
US20030110155A1 (en) 2003-06-12
EP1318465A3 (en) 2005-09-14
EP1318465A2 (en) 2003-06-11

Similar Documents

Publication Publication Date Title
US7437375B2 (en) System and method for communicating file system events using a publish-subscribe model
CN1906613B (zh) 产生可扩展的文件系统元数据和文件系统内容处理的系统和方法
US7174557B2 (en) Method and apparatus for event distribution and event handling in an enterprise
US8055907B2 (en) Programming interface for a computer platform
US7657530B2 (en) System and method for file system content processing
US6859834B1 (en) System and method for enabling application server request failover
US7950015B2 (en) System and method for combining services to satisfy request requirement
US7698479B2 (en) User interface to a data storage system and rule store
US20030093403A1 (en) System and method for implementing an event adapter
WO2008152515A2 (en) Migration of legacy applications
EP1687745A2 (en) System and method for generating extensible file system metadata and file system content processing
US20070268822A1 (en) Conformance control module
US20050262119A1 (en) Data processing systems and methods
US20060294141A1 (en) Smart business object proxy
US7937712B2 (en) Systems and methods for providing a generic audit trail service
Baker et al. GridRM: an extensible resource monitoring system
EP1444609A1 (en) Application view component for system integration
JP2003177948A (ja) データの変換・流通を行うデータ管理機構
US8626716B1 (en) Service broker enhancements
US20060085423A1 (en) Rules of engagement for deterministic Web services
US7421714B1 (en) System and method for cooperative application quiescence in a computing environment
GB2456201A (en) Notification of a background processing event in an enterprise resource planning system
US8136087B2 (en) In-line processing of standardized text values
US20080163264A1 (en) Directory Service that Provides Information from a Plurality of Disparate Data Sources
KR20050055240A (ko) 메타데이터 통합관리 시스템 및 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060808

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061226