JP4871980B2 - データ処理方法とデータ処理プログラムおよびデータ処理システム - Google Patents
データ処理方法とデータ処理プログラムおよびデータ処理システム Download PDFInfo
- Publication number
- JP4871980B2 JP4871980B2 JP2009185725A JP2009185725A JP4871980B2 JP 4871980 B2 JP4871980 B2 JP 4871980B2 JP 2009185725 A JP2009185725 A JP 2009185725A JP 2009185725 A JP2009185725 A JP 2009185725A JP 4871980 B2 JP4871980 B2 JP 4871980B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- batch
- updated
- storage unit
- storage device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
Description
2 ネットワーク
3A 実行系
3B 待機系
31A インタフェース
32A CPU
33A 主記憶装置
31B インタフェース
32B CPU
33B 主記憶装置
41A バッチ実行制御部
42A データ更新部
43A バッチ実行状態部
51A データ参照部
52A データベース
53A 更新バッファ
41B バッチ実行制御部
42B データ更新部
43B バッチ実行状態部
51B データ参照部
52B データベース
53B 更新バッファ
521A 行ID
522A 行データ
523A 更新状態
531A 行ID
532A 更新後データ
Claims (16)
- データを格納する複数の記憶部を有する記憶装置と、前記記憶装置のデータを処理するデータ処理装置とを含むユニットとして、複数のユニットを備え、
前記複数のユニットのうち少なくとも1つのユニットに属する前記データ処理装置は、
処理の要求元となる端末装置からバッチ実行要求を受けたときに、前記記憶装置のデータに対して、更新を伴うバッチ処理を実行する第1のバッチ実行ステップを実行し、
前記各ユニットに属する前記各データ処理装置は、
前記第1のバッチ実行ステップで更新された更新後データを前記各記憶装置の第2の記憶部に格納する第1の格納ステップと、
前記各記憶装置の第2の記憶部に前記更新後データを格納する処理が完了したことを条件に、前記各記憶装置の第2の記憶部に格納された前記更新後データを前記各記憶装置の第1の記憶部に同時に反映を開始し、反映を実行する第1の反映ステップと、
前記バッチ実行要求の後、前記端末装置から参照要求を受けたときに、前記第1のバッチ実行ステップにおける前記バッチ処理の実行状態を判定する第1の判定ステップと、
前記第1の判定ステップの判定結果に従って前記各記憶装置の第1の記憶部の内容または前記各記憶装置の第2の記憶部の内容を参照結果として前記端末装置に送信する第1の送信ステップを実行する、データ処理方法。 - 前記複数のデータ処理装置のうち前記バッチ処理を実行したデータ処理装置は、前記第1のバッチ実行ステップでは、前記バッチ処理を実行していないデータ処理装置に前記バッチ処理で更新された前記更新後データを転送し、
前記バッチ処理を実行していないデータ処理装置は、前記第1の格納ステップでは、前記バッチ処理を実行したデータ処理装置から転送された前記更新後データを受信したときに、前記受信した前記更新後データを、前記バッチ処理を実行していないデータ処理装置と同じユニットに属する前記記憶装置の第2の記憶部に格納する、請求項1に記載のデータ処理方法。 - 前記各データ処理装置は、
前記第1のバッチ実行ステップでは、それぞれ前記バッチ処理を実行し、
前記第1の格納ステップでは、前記各バッチ処理で更新された前記更新後データを前記各記憶装置の第2の記憶部に格納する、請求項1に記載のデータ処理方法。 - 前記各データ処理装置は、
前記第1の判定ステップでは、前記各記憶装置の第2の記憶部に前記更新後データを格納する処理が完了したか否かを判定し、
前記第1の送信ステップでは、前記第1の判定ステップで肯定の判定結果を得たときには、前記各記憶装置の第2の記憶部の内容として、前記更新後データを前記端末装置に送信し、
前記第1の判定ステップで否定の判定結果を得たときには、前記各記憶装置の第1の記憶部の内容として、前記バッチ処理で更新される前のデータを前記端末装置に送信する、請求項1に記載のデータ処理方法。 - 前記各データ処理装置は、
前記バッチ処理の実行状態を示すデータとして、前記第1の格納ステップと前記第1の反映ステップにおける処理結果を前記各記憶装置の第3の記憶部に格納する第2の格納ステップを実行し、
前記第1の判定ステップでは、前記各記憶装置の第3の記憶部を参照して、前記バッチ処理の実行状態を判定する、請求項1に記載のデータ処理方法。 - 前記各データ処理装置は、
前記第1の判定ステップでは、前記バッチ処理で更新された前記更新後データを前記各記憶装置の第2の記憶部に格納した後の処理として、前記各記憶装置の第1の記憶部に前記更新後データを反映する処理を完了したか否かを判定し、
前記第1の送信ステップでは、前記第1の判定ステップで前記更新後データを反映する処理を完了したとの肯定の判定結果を得たときには、前記各記憶装置の第1の記憶部または第2の記憶部の内容として、前記更新後データを前記端末装置に送信し、
前記第1の判定ステップで前記更新後データを前記各記憶装置の第1の記憶部に反映する処理を完了していないとの否定の判定結果を得たときには、前記各記憶装置の第2の記憶部の内容として、前記更新後データを前記端末装置に送信する、請求項1に記載のデータ処理方法。 - 前記各データ処理装置は、
前記第1の格納ステップでは、前記各記憶装置の第2の記憶部に前記更新後データが格納されたことを条件に、前記各記憶装置の第1の記憶部に、前記バッチ処理に伴う更新状態として更新済みを示すデータを格納し、
前記第1の判定ステップでは、前記バッチ処理の実行状態を判定するに先立って、前記各記憶装置の第1の記憶部に、前記バッチ処理に伴う更新状態として更新済みを示すデータが格納されているか否かを判定し、かつ、前記各記憶装置の第1の記憶部に、前記バッチ処理に伴う更新状態として更新済みを示すデータが格納されているとの肯定の判定結果を得たときに、前記各記憶装置の第2の記憶部に前記更新後データを格納する処理が完了したか否かを判定し、
前記第1の送信ステップでは、前記第1の判定ステップで、前記各記憶装置の第1の記憶部に、前記バッチ処理に伴う更新状態として更新済みを示すデータが格納されているとともに、前記各記憶装置の第2の記憶部に前記更新後データを格納する処理が完了したとの肯定の判定結果を得たときには、前記各記憶装置の第2の記憶部の内容として、前記更新後データを前記端末装置に送信し、
前記第1の判定ステップで、前記各記憶装置の第1の記憶部に、前記バッチ処理に伴う更新状態として更新済みを示すデータが格納されていない、または前記各記憶装置の第1の記憶部に、前記バッチ処理に伴う更新状態として更新済みを示すデータが格納されているが、前記各記憶装置の第2の記憶部に前記更新後データを格納する処理が完了していないとの否定の判定結果を得たときには、前記各記憶装置の第1の記憶部の内容として、前記バッチ処理で更新される前のデータを前記端末装置に送信する、請求項1に記載のデータ処理方法。 - 前記各データ処理装置は、
前記第1の格納ステップでは、前記各記憶装置の第2の記憶部に前記更新後データが格納されたことを条件に、前記各記憶装置の第1の記憶部に、前記バッチ処理に伴う更新状態として更新済みを示すデータを格納し、
前記第1の判定ステップでは、前記バッチ処理の実行状態を判定するに先立って、前記バッチ実行要求は、全てのデータ処理装置で一致する参照結果を必要としているか否かを判定し、かつ、当該判定で、前記バッチ実行要求は、全てのデータ処理装置で一致する参照結果を必要としているとの肯定の結果を得たときに、前記各記憶装置の第1の記憶部に、前記バッチ処理に伴う更新状態として更新済みを示すデータが格納されているか否かを判定し、さらに、当該判定で、前記各記憶装置の第1の記憶部に、前記バッチ処理に伴う更新状態として更新済みを示すデータが格納されているとの肯定の結果を得たときに、前記各記憶装置の第2の記憶部に前記更新後データを格納する処理が完了したか否かを判定し、
前記第1の送信ステップでは、前記第1の判定ステップで、前記バッチ実行要求は、全てのデータ処理装置で一致する参照結果を必要としていて、前記各記憶装置の第1の記憶部に、前記バッチ処理に伴う更新状態として更新済みを示すデータが格納されているとともに、前記各記憶装置の第2の記憶部に前記更新後データを格納する処理が完了したとの肯定の結果を得たときには、前記各記憶装置の第2の記憶部の内容として、前記更新後データを前記端末装置に送信し、
前記第1の判定ステップで、前記バッチ実行要求は、全てのデータ処理装置で一致する参照結果を必要としていない、または、前記各記憶装置の第1の記憶部に、前記バッチ処理に伴う更新状態として更新済みを示すデータが格納されていない、あるいは前記各記憶装置の第1の記憶部に、前記バッチ処理に伴う更新状態として更新済みを示すデータが格納されているが、前記各記憶装置の第2の記憶部に前記更新後データを格納する処理が完了していないとの否定の結果を得たときには、前記各記憶装置の第1の記憶部の内容として、前記バッチ処理で更新される前のデータを前記端末装置に送信する、請求項1に記載のデータ処理方法。 - 請求項1〜8のうちいずれか1項に記載のデータ処理方法における各ステップを、コンピュータで構成された前記各データ処理装置に実行させるためのデータ処理プログラム。
- データを格納する複数の記憶部を有する記憶装置と、前記記憶装置のデータを処理するデータ処理装置とを含むユニットとして、複数のユニットを備え、
前記複数のユニットのうち少なくとも1つのユニットに属する前記データ処理装置は、
処理の要求元となる端末装置からバッチ実行要求を受けたときに、バッチ処理に関連する指示を生成して出力するバッチ実行制御部を備え、
前記各ユニットに属する各データ処理装置は、
前記バッチ実行制御部からの指示を基に前記各記憶装置に対する処理を実行するとともに、前記各記憶装置に対する処理の結果を前記バッチ実行制御部に通知するデータ更新部と、
前記端末装置から参照要求を受けたときに、前記参照要求に従って前記各記憶装置を参照し、前記参照結果を前記端末装置に送信するデータ参照部を備え、
前記バッチ実行制御部は、
前記端末装置からバッチ実行要求を受けたときにバッチ実行開始を前記各データ更新部に指示し、前記各データ更新部からバッチ実行完了通知を全て受けたことを条件に、前記各データ更新部に更新内容反映を指示し、前記各データ更新部から更新内容反映完了通知を全て受けたことを条件に、前記各データ更新部にバッチ終了を指示し
前記バッチ実行制御部から前記バッチ実行開始の指示を受けた前記各データ更新部のうち少なくとも1つのデータ更新部は、前記記憶装置のデータに対して、バッチ処理を実行し、
前記各データ更新部は、
前記バッチ実行制御部から前記バッチ実行開始の指示を受けたときに、前記バッチ処理で更新された更新後データを前記各記憶装置の第2の記憶部に格納し、前記バッチ実行完了を前記バッチ実行制御部に通知し、
前記バッチ実行制御部から前記更新内容反映の指示を受けたときに、前記各記憶装置の第2の記憶部に格納された前記更新後データを前記各記憶装置の第1の記憶部に反映するとともに、前記更新内容反映完了を前記バッチ実行制御部に通知し、
前記バッチ処理の実行状態を示すデータを前記各記憶装置の第1の記憶部または第2の記憶部に対する処理に対応付けて前記各記憶装置の第3の記憶部に格納し、
前記各データ参照部は、
前記端末装置から参照要求を受けたときに、前記各記憶装置の第3の記憶部を参照して、前記バッチ処理の実行状態を判定し、前記判定結果に従って前記各記憶装置の第1の記憶部の内容または前記各記憶装置の第2の記憶部の内容を参照結果として前記端末装置に送信してなる、データ処理システム。 - 前記複数のデータ更新部のうち前記バッチ処理を実行したデータ更新部は、前記バッチ処理を実行していないデータ更新部に前記バッチ処理で更新された更新後データを転送し、
前記バッチ処理を実行していないデータ更新部は、
前記バッチ処理を実行したデータ更新部から転送された前記更新後データを受信したときに、前記受信した前記更新後データを、前記記憶装置の第2の記憶部に格納してなる、請求項10に記載のデータ処理システム。 - 前記各データ更新部は、
それぞれ前記バッチ処理を実行し、
前記各バッチ処理で更新された前記更新後データを前記各記憶装置の第2の記憶部に格納してなる、請求項10に記載のデータ処理システム。 - 前記各データ参照部は、
前記各記憶装置の前記第3の記憶部を参照して、前記第3の記憶部に、前記更新後データが前記各記憶装置の第1の記憶部に反映される前の状態であって、前記更新後データが前記各記憶装置の第2の記憶部に格納されていることを示すデータが存在するか否かを判定し、
前記判定で肯定の結果を得たときには、前記各記憶装置の第2の記憶部の内容として、前記更新後データを前記端末装置に送信し、
前記判定で否定の結果を得たときには、前記各記憶装置の第1の記憶部の内容として、前記バッチ処理で更新される前のデータを前記端末装置に送信してなる、請求項10、11または12にのうちいずれか1項に記載のデータ処理システム。 - 前記各データ参照部は、
前記各記憶装置の前記第3の記憶部を参照して、前記第3の記憶部に、前記更新後データが前記各記憶装置の第2の記憶部に格納された後の状態であって、前記更新後データが前記各記憶装置の第1の記憶部に反映されたことを示すデータが存在するか否かを判定し、
前記判定で肯定の結果を得たときには、前記各記憶装置の第1の記憶部または第2の記憶部の内容として、前記更新後データを前記端末装置に送信し、
前記判定で否定の結果を得たときには、前記各記憶装置の第2の記憶部の内容として、前記更新後データを前記端末装置に送信してなる、請求項10、11または12にのうちいずれか1項に記載のデータ処理システム。 - 前記各記憶装置の第1の記憶部は、データベースで構成されてなる、請求項10、11、12、13または14にのうちいずれか1項に記載のデータ処理システム。
- 前記各記憶装置の第1の記憶部は、メモリデータベースで構成されてなる、請求項10、11、12、13または14にのうちいずれか1項に記載のデータ処理システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009185725A JP4871980B2 (ja) | 2009-08-10 | 2009-08-10 | データ処理方法とデータ処理プログラムおよびデータ処理システム |
US12/714,243 US8595728B2 (en) | 2009-08-10 | 2010-02-26 | System for judging an execution status of batch processing, and based on judgement result to send post-update data to terminal device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009185725A JP4871980B2 (ja) | 2009-08-10 | 2009-08-10 | データ処理方法とデータ処理プログラムおよびデータ処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011039733A JP2011039733A (ja) | 2011-02-24 |
JP4871980B2 true JP4871980B2 (ja) | 2012-02-08 |
Family
ID=43535764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009185725A Expired - Fee Related JP4871980B2 (ja) | 2009-08-10 | 2009-08-10 | データ処理方法とデータ処理プログラムおよびデータ処理システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8595728B2 (ja) |
JP (1) | JP4871980B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8266126B2 (en) * | 2010-03-24 | 2012-09-11 | Matrixx Software, Inc. | System with multiple conditional commit databases |
US9158767B2 (en) * | 2011-04-08 | 2015-10-13 | Microsoft Technology Licensing, Llc | Lock-free indexing of documents |
US8990612B2 (en) | 2011-04-08 | 2015-03-24 | Microsoft Technology Licensing, Llc | Recovery of a document serving environment |
US9185163B2 (en) * | 2011-04-08 | 2015-11-10 | Microsoft Technology Licensing, Llc | Receiving individual documents to serve |
US9971595B1 (en) * | 2016-01-15 | 2018-05-15 | Jpmorgan Chase Bank, N.A. | Techniques for automated database deployment |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0991249A (ja) * | 1995-09-26 | 1997-04-04 | Hitachi Software Eng Co Ltd | 水平分散処理におけるバッチ処理方法 |
US6560614B1 (en) * | 1999-11-12 | 2003-05-06 | Xosoft Inc. | Nonintrusive update of files |
JP4516649B2 (ja) * | 1999-12-27 | 2010-08-04 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ワークフロー制御方法、システム、記憶媒体及びサーバ装置 |
US6542962B2 (en) * | 2001-03-21 | 2003-04-01 | Hitachi, Ltd. | Multiple processor data processing system with mirrored data for distributed access |
JP2002132531A (ja) * | 2000-10-23 | 2002-05-10 | Nec Corp | 二重化システムにおけるデータメンテナンス方式および方法 |
JP2002278820A (ja) * | 2001-03-21 | 2002-09-27 | Ricoh Co Ltd | データベース管理システム |
US6745303B2 (en) * | 2002-01-03 | 2004-06-01 | Hitachi, Ltd. | Data synchronization of multiple remote storage |
JP3974538B2 (ja) * | 2003-02-20 | 2007-09-12 | 株式会社日立製作所 | 情報処理システム |
US7191299B1 (en) * | 2003-05-12 | 2007-03-13 | Veritas Operating Corporation | Method and system of providing periodic replication |
JP4124348B2 (ja) * | 2003-06-27 | 2008-07-23 | 株式会社日立製作所 | 記憶システム |
JP4434838B2 (ja) * | 2004-05-28 | 2010-03-17 | 株式会社東芝 | 分散データ等価方法とシステム、およびプログラム |
JP4575059B2 (ja) * | 2004-07-21 | 2010-11-04 | 株式会社日立製作所 | ストレージ装置 |
US8103714B2 (en) * | 2008-08-15 | 2012-01-24 | International Business Machines Corporation | Transactional quality of service in event stream processing middleware |
-
2009
- 2009-08-10 JP JP2009185725A patent/JP4871980B2/ja not_active Expired - Fee Related
-
2010
- 2010-02-26 US US12/714,243 patent/US8595728B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20110035748A1 (en) | 2011-02-10 |
JP2011039733A (ja) | 2011-02-24 |
US8595728B2 (en) | 2013-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4871980B2 (ja) | データ処理方法とデータ処理プログラムおよびデータ処理システム | |
US8745063B2 (en) | Hashing with hardware-based reorder using duplicate values | |
US9069835B2 (en) | Organizing data in a distributed storage system | |
US9549025B2 (en) | Protocol optimization for client and server synchronization | |
US7693969B2 (en) | Program distributing apparatus and program distributing system | |
US8191058B2 (en) | Computer processing system for realizing data upgrade and a data upgrading method | |
RU2632125C1 (ru) | Способ и система обработки задач в облачном сервисе | |
WO2011091720A1 (zh) | 一种分布式缓存控制方法、装置及系统 | |
KR102038527B1 (ko) | 분산 클러스터 관리 시스템 및 그 방법 | |
US10127054B2 (en) | Bootstrapping server using configuration file stored in server-managed storage | |
US8261026B2 (en) | Application cache population from peer application | |
US8856365B2 (en) | Computer-implemented method, computer system and computer readable medium | |
US9390156B2 (en) | Distributed directory environment using clustered LDAP servers | |
US10754843B2 (en) | Method and apparatus for information management | |
US20200153889A1 (en) | Method for uploading and downloading file, and server for executing the same | |
CN115801699A (zh) | 一种cdn调度方法、设备及系统 | |
WO2012114889A1 (ja) | アプリケーション構築配置システム、アプリケーション構築配置方法、およびプログラム | |
US7885995B2 (en) | Processing service requests in a distributed environment | |
JP2009289161A (ja) | クラスタ型ストレージシステム、そのノード装置、データの読み出しおよび書き込み制御方法およびそのプログラム | |
WO2012164735A1 (ja) | 情報処理装置、データ管理方法およびデータ管理プログラム | |
US20150135004A1 (en) | Data allocation method and information processing system | |
US20180052846A1 (en) | Data processing method, data processing device, storage system, and method for controlling storage system | |
JP2009151655A (ja) | データ処理方法及びシステム | |
KR20090004324A (ko) | 클라이언트 시스템 및 그의 소프트웨어 버전 관리 방법 | |
CN107707620B (zh) | 处理io请求的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110512 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111025 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111121 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141125 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |