JP2010122880A - データ集計処理方法及びシステム - Google Patents
データ集計処理方法及びシステム Download PDFInfo
- Publication number
- JP2010122880A JP2010122880A JP2008295586A JP2008295586A JP2010122880A JP 2010122880 A JP2010122880 A JP 2010122880A JP 2008295586 A JP2008295586 A JP 2008295586A JP 2008295586 A JP2008295586 A JP 2008295586A JP 2010122880 A JP2010122880 A JP 2010122880A
- Authority
- JP
- Japan
- Prior art keywords
- data
- information
- processing process
- data processing
- appropriate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【解決手段】バッチ処理のプロセスメタデータ207を再編成し、適宜処理が実行可能な情報を保持することにより、各業務システム101において更新情報が発生するタイミングで適宜データ加工プロセス309を実行し、プレ集計結果を管理・公開可能とする。
【選択図】図1
Description
該当処理を含まないデータ加工プロセスメタデータについてはそのまま適宜データ加工プロセスメタデータとして再利用可能と判断し、適宜データ加工プロセスメタデータとして格納し、
該当処理を含むメタデータについては該当処理を行う単位で切り分けを行い、当該処理間のデータ加工処理を適宜データ加工プロセスメタデータとして格納すると同時に、適宜データ加工プロセスを実行した際に得られる中間データを、中間テーブルとしてプレ集計情報格納部に保存するため、中間テーブルを作成する定義情報(SQL文)を生成すると共に中間テーブルを作成し、各適宜データ加工プロセスメタデータと中間テーブル定義の情報の関連を適宜データ加工プロセス実行部が処理できる形で格納するようにしている。
102 本部集計システム
103 通信インタフェース
104 プロセッサ
105 ディスクインターフェース
106 データベース
107 メモリ
201 業務テーブル
202 集計情報テーブル
203 適宜集計情報テーブル
204 推移情報テーブル
205 ランキング情報テーブル
206 マスタテーブル
207 データ加工プロセスメタデータ
208 適宜データ加工プロセスメタデータ
301 業務プログラム
302 差分読出部
304 更新情報作成部
306 データクレンジング(名寄せ)部
307 情報公開部
308 適宜データ加工プロセスメタデータ生成部
309 適宜データ加工プロセス実行部
310 データ加工プロセス実行部
311 推移情報管理部
312 ランキング情報管理部
313 適宜集計情報管理部
314 集計情報管理部
Claims (8)
- 各種の業務システムのそれぞれの定められた期間の集計情報を、本部集計システムで定めた期限までに収集及び集計するデータ集計処理方法において、
前記本部集計システムは、適宜データ加工プロセスメタデータ生成手段と、適宜データ加工プロセス実行手段と、更新情報作成手段とを備え、
前記適宜データ加工プロセスメタデータ生成手段は、前記業務システムのそれぞれから提供されるデータの一括処理を前提としたデータ加工プロセスメタデータを取得し、適宜データ加工プロセスの実行を行うことができるように、既存のデータ加工プロセスを解析して適宜実行できる単位のデータ加工プロセスに再編成し、前記適宜データ加工プロセス実行手段は、前記業務システムから前記更新情報作成手段が取得した差分更新情報に対して適宜実行した集計情報を適宜データ加工プロセスメタデータとして格納して管理することを特徴とするデータ集計処理方法。 - 請求項1記載のデータ集計処理方法において、前記適宜データ加工プロセス実行手段は、前記業務システムのそれぞれから差分更新情報が提供されるタイミングで、適宜データ加工プロセスメタデータを利用し、前記差分更新情報を即時にデータ加工すると共に、データ加工結果を、前記蓄積されている適宜データ加工プロセスメタデータに反映させることを特徴とするデータ集計処理方法。
- 請求項1記載のデータ集計処理方法において、前記更新情報作成手段は、前記各業務システムのそれぞれから提供される差分更新情報が、単位時間の差分更新情報である場合、その情報を複数のレコード単位で利用し、データベースのログ情報である場合、ログ情報から差分更新情報を再生成してレコード単位で利用し、ストリームデータの場合、その情報をレコード単位に利用し、提供される差分更新情報の種別により、差分更新情報を取得した後の適宜データ加工プロセスで利用できる最適な状態へのデータ整形を行うことを特徴とするデータ集計処理方法。
- 請求項1記載のデータ集計処理方法において、前記本部集計システムは、データクレンジング(名寄せ)手段を備え、該データクレンジング手段は、前記業務システムのそれぞれから提供される差分更新情報を、差分更新情報の単位で、マスタデータを複写したマスタデータコピーと適宜名寄せ処理を行い、IDや他の情報の不備・不整合の確認・補正を行うことを特徴とするデータ集計処理方法。
- 請求項4記載のデータ集計処理方法において、前記データクレンジング手段は、データクレンジングを行った結果、マスタデータコピーに合致する情報がない場合、新規情報と判断し、仮IDを採番・付与し、マスタデータを管理するシステムに対して仮IDの正式登録を依頼することを特徴とするデータ集計処理方法。
- 企業内における各種の業務システムのそれぞれの定められた期間の集計情報を、本部集計システムで定めた期限までに収集・集計するデータ集計処理システムにおいて、
前記本部集計システムは、適宜データ加工プロセスメタデータ生成手段と、適宜データ加工プロセス実行手段と、更新情報作成手段とを備え、
前記適宜データ加工プロセスメタデータ生成手段は、前記業務システムのそれぞれから提供されるデータの一括処理を前提としたデータ加工プロセスメタデータを取得し、適宜データ加工プロセスの実行を行うことができるように、既存のデータ加工プロセスを解析して適宜実行できる単位のデータ加工プロセスに再編成し、前記適宜データ加工プロセス実行手段は、前記業務システムから前記更新情報作成手段が取得した差分更新情報に対して適宜実行した集計情報を適宜データ加工プロセスメタデータとして格納、管理することを特徴とするデータ集計処理システム。 - 請求項6記載のデータ集計処理システムにおいて、前記本部集計システムは、適宜集計情報の状態を定期的に退避、蓄積する推移情報格納管理手段を備えることを特徴とするデータ集計処理システム。
- 請求項7記載のデータ集計処理システムにおいて、前記本部集計システムは、前記推移情報格納管理手段により管理されている適宜集計情報のランキング情報を作成・蓄積するランキング情報格納管理手段を備えることを特徴とするデータ収集処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008295586A JP5117355B2 (ja) | 2008-11-19 | 2008-11-19 | データ集計処理方法及びシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008295586A JP5117355B2 (ja) | 2008-11-19 | 2008-11-19 | データ集計処理方法及びシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010122880A true JP2010122880A (ja) | 2010-06-03 |
JP5117355B2 JP5117355B2 (ja) | 2013-01-16 |
Family
ID=42324168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008295586A Expired - Fee Related JP5117355B2 (ja) | 2008-11-19 | 2008-11-19 | データ集計処理方法及びシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5117355B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4869448B1 (ja) * | 2011-07-08 | 2012-02-08 | 株式会社ぐるなび | 名寄せ管理システム |
JP5497947B1 (ja) * | 2013-06-26 | 2014-05-21 | 前田建設工業株式会社 | 表形式データ処理プログラム、方法及び装置 |
JP5497948B1 (ja) * | 2013-06-26 | 2014-05-21 | 前田建設工業株式会社 | 表形式データ処理プログラム、方法及び装置 |
JP2017033330A (ja) * | 2015-08-03 | 2017-02-09 | 富士通株式会社 | 情報処理プログラム、情報処理装置およびレコードデータ処理方法 |
KR101744317B1 (ko) * | 2016-10-13 | 2017-06-20 | (주)스파코사 | 서버 장치 및 위치 변화를 관리하는 방법 |
JP6432893B1 (ja) * | 2017-10-04 | 2018-12-05 | 株式会社シマント | データベース処理装置、グループマップファイル生産方法及びプログラム |
JP2020053051A (ja) * | 2018-09-24 | 2020-04-02 | セールスフォース ドット コム インコーポレイティッド | 分散システムにわたる統合エンティティビュー |
JP2020052644A (ja) * | 2018-09-26 | 2020-04-02 | 富士通株式会社 | 学習方法、学習装置および学習プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0635938A (ja) * | 1992-07-20 | 1994-02-10 | Seiji Kouhou Center:Kk | 選挙端末装置 |
JP2001195662A (ja) * | 2000-01-14 | 2001-07-19 | Sanyo Electric Co Ltd | 店舗管理システム |
JP2002297882A (ja) * | 2001-03-29 | 2002-10-11 | Daiwa Securities Group Inc | 監査情報モニタリング方法およびその装置、並びに集計処理装置および閲覧用端末装置、並びにプログラム |
JP2005011049A (ja) * | 2003-06-19 | 2005-01-13 | Nec Soft Ltd | データベース統合装置 |
JP2007272518A (ja) * | 2006-03-31 | 2007-10-18 | Mitsubishi Electric Information Systems Corp | 顧客データベース管理装置及び顧客データベース管理プログラム |
-
2008
- 2008-11-19 JP JP2008295586A patent/JP5117355B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0635938A (ja) * | 1992-07-20 | 1994-02-10 | Seiji Kouhou Center:Kk | 選挙端末装置 |
JP2001195662A (ja) * | 2000-01-14 | 2001-07-19 | Sanyo Electric Co Ltd | 店舗管理システム |
JP2002297882A (ja) * | 2001-03-29 | 2002-10-11 | Daiwa Securities Group Inc | 監査情報モニタリング方法およびその装置、並びに集計処理装置および閲覧用端末装置、並びにプログラム |
JP2005011049A (ja) * | 2003-06-19 | 2005-01-13 | Nec Soft Ltd | データベース統合装置 |
JP2007272518A (ja) * | 2006-03-31 | 2007-10-18 | Mitsubishi Electric Information Systems Corp | 顧客データベース管理装置及び顧客データベース管理プログラム |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4869448B1 (ja) * | 2011-07-08 | 2012-02-08 | 株式会社ぐるなび | 名寄せ管理システム |
JP5497947B1 (ja) * | 2013-06-26 | 2014-05-21 | 前田建設工業株式会社 | 表形式データ処理プログラム、方法及び装置 |
JP5497948B1 (ja) * | 2013-06-26 | 2014-05-21 | 前田建設工業株式会社 | 表形式データ処理プログラム、方法及び装置 |
JP2017033330A (ja) * | 2015-08-03 | 2017-02-09 | 富士通株式会社 | 情報処理プログラム、情報処理装置およびレコードデータ処理方法 |
US10445336B2 (en) | 2015-08-03 | 2019-10-15 | Fujitsu Limited | Apparatus and method to process pieces of collected data based on data arrival states |
KR101744317B1 (ko) * | 2016-10-13 | 2017-06-20 | (주)스파코사 | 서버 장치 및 위치 변화를 관리하는 방법 |
WO2019069941A1 (ja) * | 2017-10-04 | 2019-04-11 | 株式会社シマント | データベース処理装置、グループマップファイル生産方法及び記録媒体 |
JP2019067304A (ja) * | 2017-10-04 | 2019-04-25 | 株式会社シマント | データベース処理装置、グループマップファイル生産方法及びプログラム |
JP6432893B1 (ja) * | 2017-10-04 | 2018-12-05 | 株式会社シマント | データベース処理装置、グループマップファイル生産方法及びプログラム |
JP2020053051A (ja) * | 2018-09-24 | 2020-04-02 | セールスフォース ドット コム インコーポレイティッド | 分散システムにわたる統合エンティティビュー |
US11803555B2 (en) | 2018-09-24 | 2023-10-31 | Salesforce, Inc. | Integrated entity view across distributed systems |
JP7500175B2 (ja) | 2018-09-24 | 2024-06-17 | セールスフォース インコーポレイテッド | 分散システムにわたる統合エンティティビュー |
JP2020052644A (ja) * | 2018-09-26 | 2020-04-02 | 富士通株式会社 | 学習方法、学習装置および学習プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5117355B2 (ja) | 2013-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5117355B2 (ja) | データ集計処理方法及びシステム | |
US9262260B2 (en) | Information processing apparatus, information processing method, and recording medium | |
US8122123B2 (en) | System and method for monitoring business performance using monitoring artifacts | |
JP4890794B2 (ja) | ネットワークを監査するためのシステムおよび方法 | |
RU2691595C2 (ru) | Конструируемый поток данных для улучшенной обработки событий | |
JP4832523B2 (ja) | 業務プロセス分析のための情報処理方法及び装置 | |
US20070168696A1 (en) | System for inventing computer systems and alerting users of faults | |
JP5245211B2 (ja) | 監視システム | |
US20070288459A1 (en) | Stream data processing method cooperable with reference external data | |
US10452666B2 (en) | Sensor data search system, sensor data search method and management computer | |
JP2013140510A (ja) | データ処理方法、分散処理システムおよびプログラム | |
CN112152823B (zh) | 网站运行错误监控方法、装置及计算机存储介质 | |
EP3015937B1 (en) | Monitoring control system and control method | |
JP2014102661A (ja) | 適用判定プログラム、障害検出装置および適用判定方法 | |
US8244644B2 (en) | Supply chain multi-dimensional serial containment process | |
JPWO2012029500A1 (ja) | 運用管理装置、運用管理方法、及びプログラム | |
US20020103620A1 (en) | Apparatus management method, apparatus management system, and apparatus management program product | |
CN113190426A (zh) | 一种大数据评分系统稳定性监控方法 | |
JP2003216457A (ja) | エラーログ収集解析エージェントシステム | |
US20100274601A1 (en) | Supply chain perameter optimization and anomaly identification in product offerings | |
CN117149909A (zh) | 数据同步方法、装置、存储介质及处理器 | |
JP2006331026A (ja) | メッセージ分析システム及びメッセージ分析プログラム | |
US9009073B1 (en) | Product availability check using image processing | |
JP6142881B2 (ja) | 不具合通知システム、不具合通知方法、不具合通知装置、不具合通知プログラム及び記録媒体 | |
JP3982470B2 (ja) | 車両管理情報提供システム及び方法並びに車両管理情報提供用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120731 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120925 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121017 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151026 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |