JP2011186853A - データ処理装置及びシステム及び方法及びプログラム - Google Patents
データ処理装置及びシステム及び方法及びプログラム Download PDFInfo
- Publication number
- JP2011186853A JP2011186853A JP2010052267A JP2010052267A JP2011186853A JP 2011186853 A JP2011186853 A JP 2011186853A JP 2010052267 A JP2010052267 A JP 2010052267A JP 2010052267 A JP2010052267 A JP 2010052267A JP 2011186853 A JP2011186853 A JP 2011186853A
- Authority
- JP
- Japan
- Prior art keywords
- csv
- data
- log
- external
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】 本発明は、データベースシステムに構造情報を持たないCSVデータのみを格納する外部表CSVファイルを備え、データロード要求手段からリンク要求を取得すると、外部表CSVファイルのテーブル名とCSVサービスログの形式を対応付けてデータロード要求手段に結果を返却する。ログ集計手段からログ集計のためのデータ問い合わせを取得すると、該問い合わせに含まれるテーブル名に基づいて、外部表CSVファイルを検索した結果を返却する。ログ集計手段からログ集計結果の登録要求を取得すると、追記用のレコードを生成し、外部CSVファイルに追記する。
【選択図】 図1
Description
入力されるCSV(Comma Separated Value format)形式のサービスログ(以下、「CSVサービスログ」と記す)をデータベースシステムに登録する際に、該データベースシステムに対して、該データベースシステムのディスク装置内のCSV形式のデータファイルのみを格納する外部表CSVファイルのテーブル名と該CSVサービスログの形式を対応付けるように変換する要求を送信するデータロード要求手段と、
データベースシステムに対して、外部表CSVファイルのテーブル名を含むログ集計のためのデータ問い合わせを送信し、問い合わせ結果に基づいてログ集計処理を行い、集計結果の登録要求をデータベースシステムに対して送信するログ集計手段と、を有する。
ディスク装置50は、CSV形式のデータファイルのみを格納する外部表CSVファイル53を有し、
クエリ処理手段41は、外部表CSVファイル53への参照及び挿入のアクセスを実現する外部データアクセス手段410を有し、
データロード手段20は、CSV形式のサービスログ(以下、「CSVサービスログ」と記す)をディスク装置50に登録する際に、データベースシステム40に対して、外部表CSVファイル53のテーブル名と該CSVサービスログの形式を対応付けるように変換するリンク要求を送信する手段を有し、
ログ集計手段30は、外部表CSVファイル53のテーブル名を含むログ集計のためのデータ問い合わせを行い、問い合わせ結果に基づいてログ集計処理を行い、集計結果の登録要求をデータベースシステムに対して送信する手段を有し、
外部データアクセス手段410は、
データロード要求手段20からリンク要求を取得すると、外部表CSVファイル53のテーブル名と該CSVサービスログの形式を対応付ける手段と、
ログ集計手段30からログ集計のためのデータ問い合わせを取得すると、該問い合わせに含まれるテーブル名に基づいて、外部表CSVファイル53を検索した結果を返却する手段と、
ログ集計手段30からログ集計結果の登録要求を取得すると、追記用のレコードを生成し、外部CSVファイルに追記する手段とを含む。
データロード手段が、入力されるCSV形式のサービスログ(以下、「CSVサービスログ」と記す)をデータベースシステムに登録する際に、該データベースシステムに対して、該データベースシステムのディスク装置内のCSV形式のデータファイルのみを格納する外部表CSVファイルのテーブル名と該CSVサービスログの形式を対応付けるように変換する要求を送信し、
ログ集計手段が、データベースシステムに対して、外部表CSVファイルのテーブル名を含むログ集計のためのデータ問い合わせを行い、
データベースシステムからの問い合わせ結果に基づいてログ集計処理を行い、集計結果の登録要求をデータベースシステムに対して送信する。
CSV形式のデータファイルのみを格納する外部表CSVファイルを有するディスク装置と、
外部表CSVファイルへの参照及び挿入のアクセスを実現する外部データアクセス手段と、を有するデータベースシステムと、
CSV形式のサービスログ(以下、「CSVサービスログ」と記す)をディスク装置に登録する際に、データベースシステムに対して、外部表CSVファイルのテーブル名と該CSVサービスログの形式を対応付けるように変換するリンク要求を送信するデータロード手段と、
データベースシステムに対して、外部表CSVファイルのテーブル名を含むログ集計のためのデータ問い合わせを行い、問い合わせ結果に基づいてログ集計処理を行い、集計結果の登録要求をデータベースシステムに対して送信するログ集計手段を有するシステムにおいて、
外部データアクセス手段が、
データロード要求手段からリンク要求を取得する(ステップ1)と、外部表CSVファイルのテーブル名と該CSVサービスログの形式を対応付け(ステップ2)、
ログ集計手段からログ集計のためのデータ問い合わせを取得する(ステップ3)と、該問い合わせに含まれるテーブル名に基づいて、外部表CSVファイルを検索した結果を返却し(ステップ4)、
ログ集計手段からログ集計結果の登録要求を取得すると、追記用のレコードを生成し、外部CSVファイルに追記する(ステップ5)。
ロード対象テーブル名とCSVサービスログをリンクさせるためのリンク要求を取得すると、ディスク装置内のCSV形式のデータファイルのみを格納する外部表CSVファイルのテーブル名とCSVサービスログの形式を対応付けるように変換するステップと、
ログ集計のためのデータ問い合わせを取得すると、該問い合わせに含まれるテーブル名に基づいて、外部表CSVファイルを検索した結果を返却するステップと、
ログ集計結果の登録要求を取得すると、追記用のレコードを生成し、外部CSVファイルに追記するステップと、
をコンピュータに実行させるデータ処理プログラムである。
20 データロード手段、データロード部
30 ログ集計手段、ログ集計部
40 データベースシステム
41 クエリ処理手段、クエリ処理部
42 カタログ情報管理手段、カタログ情報管理部
50 ディスク装置
51 更新履歴記憶部
52 データ記憶部
53 外部表データファイル
60 結果出力部
53 外部表CSVファイル
100 データ処理システム
200 オンラインシステム
210 オンライン処理部
410 外部データアクセス手段
Claims (6)
- データベースを用いてサービスログの集計を行うデータ処理装置であって、
入力されるCSV(Comma Separated Value format)形式のサービスログ(以下、「CSVサービスログ」と記す)をデータベースシステムに登録する際に、該データベースシステムに対して、該データベースシステムのディスク装置内のCSV形式のデータファイルのみを格納する外部表CSVファイルのテーブル名と該CSVサービスログの形式を対応付けるように変換する要求を送信するデータロード要求手段と、
データベースシステムに対して、外部表CSVファイルのテーブル名を含むログ集計のためのデータ問い合わせを送信し、問い合わせ結果に基づいてログ集計処理を行い、集計結果の登録要求をデータベースシステムに対して送信するログ集計手段と、
を有することを特徴とするデータ処理装置。 - データベースを用いてサービスログの集計を行うためのデータロード手段、ログ集計手段、データベースシステムのディスク装置とクエリ処理手段と、を有するデータ処理システムであって、
前記ディスク装置は、CSV形式のデータファイルのみを格納する外部表CSVファイルを有し、
前記クエリ処理手段は、外部表CSVファイルへの参照及び挿入のアクセスを実現する外部データアクセス手段を有し、
前記データロード手段は、CSV形式のサービスログ(以下、「CSVサービスログ」と記す)をディスク装置に登録する際に、前記データベースシステムに対して、前記外部表CSVファイルのテーブル名と該CSVサービスログの形式を対応付けるように変換するリンク要求を送信する手段を有し、
前記ログ集計手段は、前記外部表CSVファイルのテーブル名を含むログ集計のためのデータ問い合わせを行い、問い合わせ結果に基づいてログ集計処理を行い、集計結果の登録要求をデータベースシステムに対して送信する手段を有し、
前記外部データアクセス手段は、
前記データロード要求手段から前記リンク要求を取得すると、前記外部表CSVファイルのテーブル名と前記CSVサービスログの形式を対応付ける手段と、
前記ログ集計手段から前記ログ集計のためのデータ問い合わせを取得すると、該問い合わせに含まれるテーブル名に基づいて、前記外部表CSVファイルを検索した結果を返却する手段と、
前記ログ集計手段から前記ログ集計結果の登録要求を取得すると、追記用のレコードを生成し、前記外部CSVファイルに追記する手段とを含む
ことを特徴とするデータ処理システム。 - データベースシステムのデータベースを用いてサービスログの集計を行うデータ処理方法であって、
データロード手段が、入力されるCSV形式のサービスログ(以下、「CSVサービスログ」と記す)をデータベースシステムに登録する際に、該データベースシステムに対して、該データベースシステムのディスク装置内のCSV形式のデータファイルのみを格納する外部表CSVファイルのテーブル名と該CSVサービスログの形式を対応付けるように変換する要求を送信し、
ログ集計手段が、データベースシステムに対して、外部表CSVファイルのテーブル名を含むログ集計のためのデータ問い合わせを行い、
データベースシステムからの問い合わせ結果に基づいてログ集計処理を行い、集計結果の登録要求をデータベースシステムに対して送信する
ことを特徴とするデータ処理方法。 - データベースを用いてサービスログの集計を行うデータ処理方法であって、
CSV形式のデータファイルのみを格納する外部表CSVファイルを有するディスク装置と、
外部表CSVファイルへの参照及び挿入のアクセスを実現する外部データアクセス手段と、を有するデータベースシステムと、
CSV形式のサービスログ(以下、「CSVサービスログ」と記す)をディスク装置に登録する際に、データベースシステムに対して、外部表CSVファイルのテーブル名と該CSVサービスログの形式を対応付けるように変換するリンク要求を送信するデータロード手段と、
データベースシステムに対して、外部表CSVファイルのテーブル名を含むログ集計のためのデータ問い合わせを行い、問い合わせ結果に基づいてログ集計処理を行い、集計結果の登録要求をデータベースシステムに対して送信するログ集計手段と、
を有するシステムにおいて、
前記外部データアクセス手段が、
前記データロード要求手段からリンク要求を取得すると、前記外部表CSVファイルのテーブル名と前記CSVサービスログの形式を対応付け、
前記ログ集計手段からログ集計のためのデータ問い合わせを取得すると、該問い合わせに含まれるテーブル名に基づいて、外部表CSVファイルを検索した結果を返却し、
前記ログ集計結果の登録要求を取得すると、追記用のレコードを生成し、外部CSVファイルに追記する
ことを特徴とするデータ処理方法。 - 請求項1に記載のデータ処理装置を構成する各手段としてコンピュータを機能させるためのデータ処理プログラム。
- データベースシステム内で実行されるログ集計のためのプログラムであって、
ロード対象テーブル名とCSVサービスログをリンクさせるためのリンク要求を取得すると、ディスク装置内のCSV形式のデータファイルのみを格納する外部表CSVファイルのテーブル名とCSVサービスログの形式を対応付けるように変換するステップと、
ログ集計のためのデータ問い合わせを取得すると、該問い合わせに含まれるテーブル名に基づいて、外部表CSVファイルを検索した結果を返却するステップと、
ログ集計結果の登録要求を取得すると、追記用のレコードを生成し、外部CSVファイルに追記するステップと、
をコンピュータに実行させるデータ処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010052267A JP5546909B2 (ja) | 2010-03-09 | 2010-03-09 | データ処理システム及び方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010052267A JP5546909B2 (ja) | 2010-03-09 | 2010-03-09 | データ処理システム及び方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011186853A true JP2011186853A (ja) | 2011-09-22 |
JP5546909B2 JP5546909B2 (ja) | 2014-07-09 |
Family
ID=44793030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010052267A Active JP5546909B2 (ja) | 2010-03-09 | 2010-03-09 | データ処理システム及び方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5546909B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021009528A (ja) * | 2019-06-30 | 2021-01-28 | 大 益滿 | データベースと情報処理システム |
CN118113380A (zh) * | 2024-04-30 | 2024-05-31 | 安徽华云安科技有限公司 | Csv文件的数据加载方法、装置、设备以及存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7495625B2 (ja) | 2021-10-26 | 2024-06-05 | ダイキン工業株式会社 | 空気調和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001344147A (ja) * | 2000-05-31 | 2001-12-14 | Dainippon Printing Co Ltd | 汎用データベースアクセス装置 |
JP2002251500A (ja) * | 2001-02-22 | 2002-09-06 | Nippon Telegr & Teleph Corp <Ntt> | ログ情報収集システム及びログ情報収集方法 |
JP2002268927A (ja) * | 2001-03-13 | 2002-09-20 | Nippon Steel Corp | データアクセスシステム、装置、方法、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム |
WO2008063974A2 (en) * | 2006-11-13 | 2008-05-29 | Exegy Incorporated | Method and system for high performance integration, processing and searching of structured and unstructured data using coprocessors |
-
2010
- 2010-03-09 JP JP2010052267A patent/JP5546909B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001344147A (ja) * | 2000-05-31 | 2001-12-14 | Dainippon Printing Co Ltd | 汎用データベースアクセス装置 |
JP2002251500A (ja) * | 2001-02-22 | 2002-09-06 | Nippon Telegr & Teleph Corp <Ntt> | ログ情報収集システム及びログ情報収集方法 |
JP2002268927A (ja) * | 2001-03-13 | 2002-09-20 | Nippon Steel Corp | データアクセスシステム、装置、方法、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム |
WO2008063974A2 (en) * | 2006-11-13 | 2008-05-29 | Exegy Incorporated | Method and system for high performance integration, processing and searching of structured and unstructured data using coprocessors |
Non-Patent Citations (1)
Title |
---|
土田正士 ほか2名: "SQLの20年と現状および今後の展開(後編)", 情報処理, vol. 第45巻 第6号, JPN6013036369, 15 June 2004 (2004-06-15), JP, pages 624 - 630, ISSN: 0002589987 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021009528A (ja) * | 2019-06-30 | 2021-01-28 | 大 益滿 | データベースと情報処理システム |
CN118113380A (zh) * | 2024-04-30 | 2024-05-31 | 安徽华云安科技有限公司 | Csv文件的数据加载方法、装置、设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP5546909B2 (ja) | 2014-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9582541B2 (en) | Systems, methods, and computer program products to ingest, process, and output large data | |
JP7018516B2 (ja) | データクエリ | |
WO2018052908A1 (en) | Graph generation for a distributed event processing system | |
US20150120643A1 (en) | Triplestore replicator | |
US20110137864A1 (en) | High throughput, reliable replication of transformed data in information systems | |
WO2022063284A1 (zh) | 数据同步方法、装置、设备及计算机可读介质 | |
CN111352902A (zh) | 日志处理方法、装置、终端设备及存储介质 | |
US10904316B2 (en) | Data processing method and apparatus in service-oriented architecture system, and the service-oriented architecture system | |
US9930113B2 (en) | Data retrieval via a telecommunication network | |
JP2014502762A (ja) | データストアにおけるクエリーデータのフィルタリング | |
US20170212930A1 (en) | Hybrid architecture for processing graph-based queries | |
JP2012174096A (ja) | 計算機システム及びデータ管理方法 | |
JP5011311B2 (ja) | Xml文書をメモリにロードする方法及びメカニズム | |
KR102253841B1 (ko) | 대용량 분산 파일 시스템에서 데이터의 수정을 포함하는 트랜잭션 처리 장치 및 컴퓨터로 읽을 수 있는 기록매체 | |
US8539492B1 (en) | Managing data dependencies among multiple jobs using separate tables that store job results and dependency satisfaction | |
JP5546909B2 (ja) | データ処理システム及び方法及びプログラム | |
CN116501700A (zh) | 一种app格式化文件离线存储方法、装置、设备及存储介质 | |
US11157506B2 (en) | Multiform persistence abstraction | |
CN106934044B (zh) | 一种数据处理方法及装置 | |
US9659041B2 (en) | Model for capturing audit trail data with reduced probability of loss of critical data | |
EP2990960A1 (en) | Data retrieval via a telecommunication network | |
US10503722B2 (en) | Log management apparatus and log management method | |
JP5696280B1 (ja) | 用語統一システム及び用語統一プログラム、並びに用語統一方法 | |
US11609909B2 (en) | Zero copy optimization for select * queries | |
US9208196B2 (en) | Configuration information management apparatus and retrieval method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120309 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130730 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130930 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20131004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140514 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5546909 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |