JP2011215924A - 分散処理装置、分散処理プログラムおよび分散処理方法 - Google Patents
分散処理装置、分散処理プログラムおよび分散処理方法 Download PDFInfo
- Publication number
- JP2011215924A JP2011215924A JP2010083901A JP2010083901A JP2011215924A JP 2011215924 A JP2011215924 A JP 2011215924A JP 2010083901 A JP2010083901 A JP 2010083901A JP 2010083901 A JP2010083901 A JP 2010083901A JP 2011215924 A JP2011215924 A JP 2011215924A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- nodes
- attribute name
- record
- transaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 160
- 238000003672 processing method Methods 0.000 claims description 10
- 230000006866 deterioration Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 239000000203 mixture Substances 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 239000012141 concentrate Substances 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24532—Query optimisation of parallel queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】ネットワークシステム100において、分散処理装置101は、データベース110に対する処理をクライアント装置Cから受け付ける。分散処理装置101は、受け付けた処理群をノードN1〜Nnに分散処理させる際に、同じ属性名のレコードを処理対象とする処理同士を同一タイミングでノードN1〜Nnに割り当てないように調整する。これにより、データベース110内の同一レコードへの同時アクセスを防ぎ、データベース110に対するアクセスの排他制御にともなうロック解放待ちを減らして、ネットワークシステム100の性能劣化を回避する。
【選択図】図1
Description
図2は、分散処理装置のハードウェア構成を示すブロック図である。図2において、分散処理装置101は、CPU(Central Processing Unit)201と、ROM(Read‐Only Memory)202と、RAM(Random Access Memory)203と、磁気ディスクドライブ204と、磁気ディスク205と、光ディスクドライブ206と、光ディスク207と、ディスプレイ208と、I/F(Interface)209と、キーボード210と、マウス211と、スキャナ212と、プリンタ213と、を備えている。また、各構成部はバス200によってそれぞれ接続されている。
つぎに、実施の形態にかかる分散処理装置101の機能的構成について説明する。図3は、本実施の形態にかかる分散処理装置の機能的構成を示すブロック図である。図3において、分散処理装置101は、受付部301と、検出部302と、生成部303と、選択部304と、検索部305と、決定部306と、割当部307と、を含む構成である。各機能部(受付部301〜割当部307)は、具体的には、たとえば、図2に示したROM202、RAM203、磁気ディスク205、光ディスク207などの記憶装置に記憶されたプログラムをCPU201に実行させることにより、または、I/F209により、その機能を実現する。なお、各機能部(受付部301〜割当部307)の処理結果は、たとえば、RAM203、磁気ディスク205、光ディスク207などの記憶装置に記憶される。
つぎに、本実施の形態にかかる分散処理装置101の分散処理手順について説明する。図4は、本実施の形態にかかる分散処理装置の分散処理手順の一例を示すフローチャートである。図4のフローチャートにおいて、まず、選択部304により、データベース110に対する処理群T1〜TKの中から第1の処理を選択する(ステップS401)。
ここで、フォワードプロキシ装置600による負荷分散処理の説明に入る前に、フォワードプロキシ装置600に入力されるトランザクションデータのデータ構成について説明する。フォワードプロキシ装置600では、取得したトランザクションデータに含まれている情報に基づいて、トランザクションデータを処理する際にアクセスするレコードが特定される。上述したように、各処理ノードが共通のデータベースに対して並列処理を行う場合には、各処理ノードがそれぞれ処理を実行する際に、アクセスするレコードが重複しないようなトランザクションデータを振り分けなければならない。
教職員構成に関する属性812→排他アイテム名B
収入に関する属性813 →排他アイテム名C
支出に関する属性814 →排他アイテム名D
その他の任意の属性 →排他アイテム名E
図9は、トランザクション取得処理部の処理手順を示すフローチャートである。図9のフローチャートに示すように、トランザクション取得処理部610は、共通のデータベースを処理対象とするトランザクションデータを取得する機能を有する。トランザクション取得処理部610は、オンラインクライアントやバッチジョブからのトランザクションデータ(たとえば、電文601や順編成ファイル602)の入力をトリガに処理を開始する。
図10は、排他アイテム追加処理部の処理手順を示すフローチャートである。排他アイテム追加処理部620は、トランザクション取得処理部610によってあらたに取得したトランザクションデータを各処理ノードによって実行させるトランザクションデータとして、排他アイテムビット列とともに、トラン・アイテムキャッシュテーブルに追加する機能を有する。
図12−1は、検索処理部の処理手順を示すフローチャートである。検索処理部630は、排他識別レジスタを利用して、トラン・アイテムキャッシュテーブルに格納されているトランザクションIDの中から、処理ノード「ア」、「イ」、「ウ」によって並列処理を実行させるトランザクションデータのトランザクションIDを検索する機能を有する。
1)排他識別レジスタに既に設定されている排他アイテムビット列と共通の排他アイテム名のビットが立っていない(「0」が設定されている)。
2)トラン・アイテムキャッシュテーブルに格納されている排他アイテムビット列の中でもっとも古い。
図13は、格納処理部の処理手順を示すフローチャートである。格納処理部640は、検索処理部630からの通知結果に基づいて、振分前データテーブル604に格納されたトランザクション(電文601や順編成ファイル602)をデータキュー605に格納する機能を有する。
図14は、ディスパッチ処理部の処理手順を示すフローチャートである。ディスパッチ処理部650では、データキュー605に格納されたトランザクションを対象となる処理ノードによって実行させるディスパッチ機能を有する。
以上説明したように、本実施の形態にかかる分散処理方法は、ニアリアルタイム性を求められるマスタ系データの更新処理において、特にその効果を発揮する。具体的には、たとえば、ホテル、乗り物、その他イベントなどのチケットのオンライン予約システムへの適用が挙げられる。
101 分散処理装置
110 データベース
301 受付部
302 検出部
303 生成部
304 選択部
305 検索部
306 決定部
307 割当部
600 フォワードプロキシ装置
601 電文
602 順編成ファイル
603 トラン・アイテムテーブル
604 振分前データテーブル
605 データキュー
610 トランザクション取得処理部
620 排他アイテム追加処理部
630 検索処理部
640 格納処理部
650 ディスパッチ処理部
C クライアント装置
N1〜Nn ノード
Claims (7)
- 複数のレコードを格納するデータベースに対する処理を並列に実行可能な複数のノードに、前記データベースに対する処理群を割り当てる分散処理装置であって、
前記各レコードを特定するための属性名に基づいて、前記処理群から選ばれた第1の処理の処理要求に含まれる属性名とは異なる他の属性名のレコードを処理対象とする第2の処理を前記処理群から検索する検索手段と、
前記検索手段によって前記第2の処理が検索された場合、前記第1および第2の処理を前記複数のノードに実行させる実行対象に決定する決定手段と、
前記決定手段によって決定された実行対象を前記複数のノードに割り当てる割当手段と、
を備えることを特徴とする分散処理装置。 - 前記検索手段は、
さらに、前記決定手段によって決定された実行対象の処理要求に含まれる属性名とは異なる他の属性名のレコードを処理対象とする第3の処理を前記処理群から検索し、
前記決定手段は、
前記検索手段によって前記第3の処理が検索された場合、さらに、前記第3の処理を前記実行対象に決定することを特徴とする請求項1に記載の分散処理装置。 - 前記割当手段は、
前記検索手段によって前記第3の処理が検索されなかった場合、前記決定手段によって決定された実行対象を前記複数のノードに割り当てることを特徴とする請求項2に記載の分散処理装置。 - 前記データベースに対する処理の処理要求を受け付ける受付手段と、
前記各レコードを特定するための属性名ごとに、前記受付手段によって受け付けた処理要求に当該属性名が含まれているか否かを示すビット列を生成する生成手段と、をさらに備え、
前記検索手段は、
前記生成手段によって生成された前記処理要求ごとのビット列に基づいて、前記第1の処理の処理要求に含まれる属性名が含まれているか否かを示すビットの値が前記第1の処理の処理要求とは異なる処理を前記第2の処理として前記処理群から検索することを特徴とする請求項2または3に記載の分散処理装置。 - 前記検索手段は、
前記処理要求ごとのビット列に基づいて、前記実行対象の処理要求に含まれる属性名が含まれているか否かを示すビットの値が前記実行対象の処理要求とは異なる処理を前記第3の処理として前記処理群から検索することを特徴とする請求項4に記載の分散処理装置。 - 複数のレコードを格納するデータベースに対する処理を並列に実行可能な複数のノードに、前記データベースに対する処理群を割り当てるコンピュータを、
前記各レコードを特定するための属性名に基づいて、前記処理群から選ばれた第1の処理の処理要求に含まれる属性名とは異なる他の属性名のレコードを処理対象とする第2の処理を前記処理群から検索する検索手段、
前記検索手段によって前記第2の処理が検索された場合、前記第1および第2の処理を前記複数のノードに実行させる実行対象に決定する決定手段、
前記決定手段によって決定された実行対象を前記複数のノードに割り当てる割当手段、
として機能させることを特徴とする分散処理プログラム。 - 複数のレコードを格納するデータベースに対する処理を並列に実行可能な複数のノードに、前記データベースに対する処理群を割り当てるコンピュータが、
前記各レコードを特定するための属性名に基づいて、前記処理群から選ばれた第1の処理の処理要求に含まれる属性名とは異なる他の属性名のレコードを処理対象とする第2の処理を前記処理群から検索する検索工程と、
前記検索工程によって前記第2の処理が検索された場合、前記第1および第2の処理を前記複数のノードに実行させる実行対象に決定する決定工程と、
前記決定工程によって決定された実行対象を前記複数のノードに割り当てる割当工程と、
を実行することを特徴とする分散処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010083901A JP5640432B2 (ja) | 2010-03-31 | 2010-03-31 | 分散処理装置、分散処理プログラムおよび分散処理方法 |
US13/073,083 US8560560B2 (en) | 2010-03-31 | 2011-03-28 | Device and method for distributed processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010083901A JP5640432B2 (ja) | 2010-03-31 | 2010-03-31 | 分散処理装置、分散処理プログラムおよび分散処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011215924A true JP2011215924A (ja) | 2011-10-27 |
JP5640432B2 JP5640432B2 (ja) | 2014-12-17 |
Family
ID=44710877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010083901A Expired - Fee Related JP5640432B2 (ja) | 2010-03-31 | 2010-03-31 | 分散処理装置、分散処理プログラムおよび分散処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8560560B2 (ja) |
JP (1) | JP5640432B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014026321A (ja) * | 2012-07-24 | 2014-02-06 | Fujitsu Ltd | ストレージ装置、情報処理装置、情報処理システム、アクセス制御方法、およびアクセス制御プログラム |
JP2015045996A (ja) * | 2013-08-28 | 2015-03-12 | Kddi株式会社 | 分散クエリ処理装置、処理方法及び処理プログラム |
JP2018200585A (ja) * | 2017-05-29 | 2018-12-20 | 富士通株式会社 | スケールイン管理プログラム、スケールイン管理装置及びスケールイン管理方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5625450B2 (ja) * | 2010-03-31 | 2014-11-19 | 富士通株式会社 | 分散処理装置、分散処理プログラムおよび分散処理方法 |
EP2465605A3 (en) | 2010-12-20 | 2014-04-30 | Sachtleben Chemie GmbH | Titania-supported hydrotreating catalysts |
CN104850394B (zh) * | 2015-04-17 | 2018-04-17 | 北京大学 | 分布式应用程序的管理方法和分布式系统 |
CN114911583A (zh) * | 2022-04-27 | 2022-08-16 | 中信百信银行股份有限公司 | 信息处理的方法、装置及分布式系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006293852A (ja) * | 2005-04-13 | 2006-10-26 | Hitachi Ltd | 情報処理装置、情報処理装置の制御方法、及びプログラム |
JP2008102795A (ja) * | 2006-10-19 | 2008-05-01 | Fuji Xerox Co Ltd | ファイル管理装置、システム及びプログラム |
JP2010039948A (ja) * | 2008-08-07 | 2010-02-18 | Bank Of Tokyo-Mitsubishi Ufj Ltd | データ処理装置及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2586219B2 (ja) | 1990-12-20 | 1997-02-26 | 日本電気株式会社 | 高速媒体優先解放型排他方式 |
US7689560B2 (en) * | 2000-10-13 | 2010-03-30 | Miosoft Corporation | Persistent data storage techniques |
US6745198B1 (en) * | 2001-06-11 | 2004-06-01 | Ncr Corporation | Parallel spatial join index |
US7024414B2 (en) * | 2001-08-06 | 2006-04-04 | Sensage, Inc. | Storage of row-column data |
US6957215B2 (en) * | 2001-12-10 | 2005-10-18 | Hywire Ltd. | Multi-dimensional associative search engine |
US8131700B2 (en) * | 2008-09-25 | 2012-03-06 | Microsoft Corporation | Transitioning clone data maps and synchronizing with a data query |
US9171044B2 (en) * | 2010-02-16 | 2015-10-27 | Oracle International Corporation | Method and system for parallelizing database requests |
-
2010
- 2010-03-31 JP JP2010083901A patent/JP5640432B2/ja not_active Expired - Fee Related
-
2011
- 2011-03-28 US US13/073,083 patent/US8560560B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006293852A (ja) * | 2005-04-13 | 2006-10-26 | Hitachi Ltd | 情報処理装置、情報処理装置の制御方法、及びプログラム |
JP2008102795A (ja) * | 2006-10-19 | 2008-05-01 | Fuji Xerox Co Ltd | ファイル管理装置、システム及びプログラム |
JP2010039948A (ja) * | 2008-08-07 | 2010-02-18 | Bank Of Tokyo-Mitsubishi Ufj Ltd | データ処理装置及びプログラム |
Non-Patent Citations (1)
Title |
---|
渡辺 榮一, C/Sパワーシステムシリーズ オープンOLTPシステム入門, vol. 第1版, JPN6014000686, 7 December 1995 (1995-12-07), JP, pages 218 - 223, ISSN: 0002721555 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014026321A (ja) * | 2012-07-24 | 2014-02-06 | Fujitsu Ltd | ストレージ装置、情報処理装置、情報処理システム、アクセス制御方法、およびアクセス制御プログラム |
US9336093B2 (en) | 2012-07-24 | 2016-05-10 | Fujitsu Limited | Information processing system and access control method |
JP2015045996A (ja) * | 2013-08-28 | 2015-03-12 | Kddi株式会社 | 分散クエリ処理装置、処理方法及び処理プログラム |
JP2018200585A (ja) * | 2017-05-29 | 2018-12-20 | 富士通株式会社 | スケールイン管理プログラム、スケールイン管理装置及びスケールイン管理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20110246510A1 (en) | 2011-10-06 |
US8560560B2 (en) | 2013-10-15 |
JP5640432B2 (ja) | 2014-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5640432B2 (ja) | 分散処理装置、分散処理プログラムおよび分散処理方法 | |
KR102198680B1 (ko) | 확장 가능한 멀티-스테이지 데이터 처리 시스템들에서의 효율적인 데이터 캐싱 관리 | |
US8438282B2 (en) | Information processing system and load sharing method | |
US10417248B2 (en) | Field extension in database system | |
US20200364246A1 (en) | Relationship Retrieval in a Partitioned List of Records | |
JP6135509B2 (ja) | 情報システム、その管理方法およびプログラム、データ処理方法およびプログラム、ならびに、データ構造 | |
JP5844895B2 (ja) | データの分散検索システム、データの分散検索方法及び管理計算機 | |
US12088656B2 (en) | Method and system for enforcing governance across multiple content repositories using a content broker | |
JP7174377B2 (ja) | データベース管理システム、および、匿名加工処理方法 | |
US20160378864A1 (en) | Cloud-native documents integrated with legacy tools | |
CN111858151B (zh) | 用于在备份操作期间优先处理关键数据对象存储的方法和系统 | |
JP5625450B2 (ja) | 分散処理装置、分散処理プログラムおよび分散処理方法 | |
US20060136438A1 (en) | Process server array for processing documents and document components and a method related thereto | |
JP5637501B2 (ja) | 文書管理システム、及び文書管理方法 | |
JP6402537B2 (ja) | 更新処理プログラム、装置、及び方法 | |
US6778978B1 (en) | Determining a workbasket identification for an item in a data store | |
CN111782834A (zh) | 图像检索的方法、装置、设备及计算机可读存储介质 | |
JP2002157386A (ja) | ワークフロー管理方法および装置並びにその処理プログラム並びにその処理プログラムを格納した記録媒体 | |
JP6674871B2 (ja) | 異種データベース管理装置、方法及びプログラム | |
US20090144256A1 (en) | Workflow control in a resource hierarchy | |
JP5673224B2 (ja) | 情報管理装置、情報管理方法、及びプログラム | |
Preston | Development of a scalable online booking system for SME Car Rental Systems through the implementation of the MERN Stack | |
US11922328B1 (en) | Generating machine-learning model for document extraction | |
US20230281214A1 (en) | Actor-based information system | |
US8171017B2 (en) | Book of business mechanism |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140930 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141013 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5640432 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |