JP2012190078A - 処理装置、分散処理システム、及び処理プログラム - Google Patents
処理装置、分散処理システム、及び処理プログラム Download PDFInfo
- Publication number
- JP2012190078A JP2012190078A JP2011050745A JP2011050745A JP2012190078A JP 2012190078 A JP2012190078 A JP 2012190078A JP 2011050745 A JP2011050745 A JP 2011050745A JP 2011050745 A JP2011050745 A JP 2011050745A JP 2012190078 A JP2012190078 A JP 2012190078A
- Authority
- JP
- Japan
- Prior art keywords
- key
- data
- aggregation
- processing
- unused
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 233
- 238000004220 aggregation Methods 0.000 claims abstract description 150
- 230000002776 aggregation Effects 0.000 claims abstract description 149
- 238000000034 method Methods 0.000 claims abstract description 119
- 230000008569 process Effects 0.000 claims abstract description 115
- 230000004931 aggregating effect Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 description 11
- 230000000052 comparative effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】Reduce処理部における集約キーの更新ができなくなるまで、Map処理部が複数のデータそれぞれが有するキーを、集約キー、未使用キー、及び使用済みキーとして関連付けてMapデータを生成する処理と、Reduce処理部が、集約キーを用いてMapデータを集約するとともに、集約後のMapデータのグループに含まれる各Mapデータの未使用キーを全て取得し、取得された未使用キーのうちの1つで、集約後のMapデータのグループに含まれる各Mapデータの集約キーを更新する(ステップS38)処理と、を繰り返す。これにより、関係データベースを用いなくとも、処理対象のデータを参照するのみで、複数のMapデータを集約することができる。
【選択図】図10
Description
ここで、比較例(従来法を用いて、図7のデータを集約する場合)について説明する。なお、以下の処理は、各処理サーバ10が行うものとする。
以下、図7とは異なる例について、図27〜図32に基づいて説明する。なお、図28〜図32では、Mapデータの近傍に、集約処理に用いるキー一覧リスト16を併記するものとする(一点鎖線で示す箱)。
(付記1) 複数のキー種を用いて分類された複数のデータの中から関連のあるデータを集約してデータ群を生成する処理を実行する処理装置であって、前記複数のキー種を用いて分類された複数のデータを記憶する記憶部に記憶された、前記複数のデータのそれぞれについて、該データが有する前記複数のキー種のキーを、前記集約に用いる集約キーと未使用キーのいずれかに分類して、各データに関連付けて前記記憶部に記憶する関連付け部と、前記記憶部に記憶された前記複数のデータのうち、同一の集約キーに関連付けられたデータを取得し、取得した前記データに含まれる未使用キーを全て取得し、該取得した未使用キーのうちの1つを次の集約キーとして決定し、前記取得した前記データに関連付けて前記記憶部に記憶された前記集約キーを前記次の集約キーに更新し、取得した前記データに関連付けて前記記憶部に記憶された前記未使用キーを取得した前記未使用キーから前記次の集約キーを除いた残りの未使用キーに更新する集約部と、を備え、前記集約キーの更新ができなくなるまで、前記関連付け部と前記集約部による処理を繰り返すことを特徴とする処理装置。
(付記2) 前記集約部は、前記更新を行う前の前記集約キーを集約キーとし、取得した前記未使用キーのすべてを未使用キーとする、データとしての実体のないデータを新たな処理対象のデータとして生成して前記記憶部に記憶することを特徴とする付記1に記載の処理装置。
(付記3) 前記関連付け部は、前記処理対象のデータに、既に集約に用いた使用済みキーを関連付け、前記集約部は、前記集約キーの更新ができなくなったデータに対応付けて前記記憶部に記憶された集約キーを、前記データに前記使用済みキーとして関連付けられているキーのうち、親子関係の最上位にあるキー種のキーで更新し、当該データに対応付けて前記集約キーの更新を禁止する情報を前記記憶部に記憶し、前記記憶部に格納された前記複数のデータのうち、同一の集約キーに関連付けられ、且つ、前記集約キーの更新を禁止する情報が関連付けられていないデータを取得し、取得した前記データに含まれる未使用キーを全て取得し、前記取得した未使用キーのうちの1つを次の集約キーとして決定し、取得した前記データに対応付けて前記記憶部に記憶された前記集約キーを前記次の集約キーに更新し、取得した前記データに対応付けて前記記憶部に記憶された前記未使用キーを取得した前記未使用キーから前記次の集約キーを除いた残りの未使用キーに更新することを特徴とする付記1又は2に記載の処理装置。
(付記4) 付記1〜3のいずれかに記載の処理装置を複数備え、複数の処理対象のデータを前記複数の処理装置に分散して、当該複数の処理装置において並行処理を実行することを特徴とする分散処理システム。
(付記5) 複数のキー種を用いて複数のデータの中から関連のあるデータを集約してデータ群を生成する処理を、コンピュータに実行させる処理プログラムであって、前記複数のキー種を用いて分類された複数のデータを記憶する記憶部に記憶された前記複数のデータのそれぞれについて、該データが有する前記複数のキー種のキーを、前記集約に用いる集約キーと、未使用キーのいずれかに分類して、各データに関連付けて前記記憶部に記憶し、前記記憶部に記憶された前記複数のデータのうち、同一の集約キーに関連付けられたデータを取得し、取得した前記データに含まれる未使用キーを全て取得し、取得した前記未使用キーのうちの1つを次の集約キーとして決定し、取得した前記データに関連付けて前記記憶部に記憶された前記集約キーを、前記次の集約キーに更新し、取得した前記データに関連付けて前記記憶部に記憶された前記未使用キーを、取得した前記未使用キーから前記次の集約キーを除いた残りの未使用キーに更新する処理を、前記未使用キーの更新ができなくなるまで、コンピュータに繰り返し実行させることを特徴とする処理プログラム。
(付記6) 前記集約する処理では、前記更新を行う前の前記集約キーを集約キーとし、取得した前記未使用キーのすべてを未使用キーとする、データとしての実体のないデータを新たな処理対象のデータとして生成して前記記憶部に記憶する処理をコンピュータに実行させることを特徴とする付記5に記載の処理プログラム。
(付記7) 前記関連付ける処理では、前記処理対象のデータに、既に集約に用いた使用済みキーを関連付ける処理をコンピュータに実行させ、前記集約する処理では、前記集約キーの更新ができなくなったデータに対応付けて前記記憶部に記憶された集約キーを、前記データに前記使用済みキーとして関連付けられているキーのうち、親子関係の最上位にあるキー種のキーで更新し、当該データに対応付けて前記集約キーの更新を禁止する情報を前記記憶部に記憶し、前記記憶部に格納された前記複数のデータのうち、同一の集約キーに関連付けられ、且つ、前記集約キーの更新を禁止する情報が関連付けられていないデータを取得し、取得した前記データに含まれる未使用キーを全て取得し、前記取得した未使用キーのうちの1つを次の集約キーとして決定し、取得した前記データに対応付けて前記記憶部に記憶された前記集約キーを前記次の集約キーに更新し、取得した前記データに対応付けて前記記憶部に記憶された前記未使用キーを取得した前記未使用キーから前記次の集約キーを除いた残りの未使用キーに更新する処理を、コンピュータに実行させることを特徴とする付記5又は6に記載の処理プログラム。
12 Map処理部(関連付け部)
14 Reduce処理部(集約部)
90 CPU(コンピュータ)
96 HDD(記憶部)
100 分散処理システム
Claims (5)
- 複数のキー種を用いて分類された複数のデータの中から関連のあるデータを集約してデータ群を生成する処理を実行する処理装置であって、
前記複数のキー種を用いて分類された複数のデータを記憶する記憶部に記憶された、前記複数のデータのそれぞれについて、該データが有する前記複数のキー種のキーを、前記集約に用いる集約キーと未使用キーのいずれかに分類して、各データに関連付けて前記記憶部に記憶する関連付け部と、
前記記憶部に記憶された前記複数のデータのうち、同一の集約キーに関連付けられたデータを取得し、取得した前記データに含まれる未使用キーを全て取得し、該取得した未使用キーのうちの1つを次の集約キーとして決定し、前記取得した前記データに関連付けて前記記憶部に記憶された前記集約キーを前記次の集約キーに更新し、取得した前記データに関連付けて前記記憶部に記憶された前記未使用キーを取得した前記未使用キーから前記次の集約キーを除いた残りの未使用キーに更新する集約部と、
を備え、
前記集約キーの更新ができなくなるまで、前記関連付け部と前記集約部による処理を繰り返すことを特徴とする処理装置。 - 前記集約部は、前記更新を行う前の前記集約キーを集約キーとし、取得した前記未使用キーのすべてを未使用キーとする、データとしての実体のないデータを新たな処理対象のデータとして生成して前記記憶部に記憶することを特徴とする請求項1に記載の処理装置。
- 前記関連付け部は、前記処理対象のデータに、既に集約に用いた使用済みキーを関連付け、
前記集約部は、前記集約キーの更新ができなくなったデータに対応付けて前記記憶部に記憶された集約キーを、前記データに前記使用済みキーとして関連付けられているキーのうち、親子関係の最上位にあるキー種のキーで更新し、当該データに対応付けて前記集約キーの更新を禁止する情報を前記記憶部に記憶し、前記記憶部に格納された前記複数のデータのうち、同一の集約キーに関連付けられ、且つ、前記集約キーの更新を禁止する情報が関連付けられていないデータを取得し、取得した前記データに含まれる未使用キーを全て取得し、前記取得した未使用キーのうちの1つを次の集約キーとして決定し、取得した前記データに対応付けて前記記憶部に記憶された前記集約キーを前記次の集約キーに更新し、取得した前記データに対応付けて前記記憶部に記憶された前記未使用キーを取得した前記未使用キーから前記次の集約キーを除いた残りの未使用キーに更新することを特徴とする請求項1又は2に記載の処理装置。 - 請求項1〜3のいずれか一項に記載の処理装置を複数備え、
複数の処理対象のデータを前記複数の処理装置に分散して、当該複数の処理装置において並行処理を実行することを特徴とする分散処理システム。 - 複数のキー種を用いて複数のデータの中から関連のあるデータを集約してデータ群を生成する処理を、コンピュータに実行させる処理プログラムであって、
前記複数のキー種を用いて分類された複数のデータを記憶する記憶部に記憶された前記複数のデータのそれぞれについて、該データが有する前記複数のキー種のキーを、前記集約に用いる集約キーと、未使用キーのいずれかに分類して、各データに関連付けて前記記憶部に記憶し、
前記記憶部に記憶された前記複数のデータのうち、同一の集約キーに関連付けられたデータを取得し、
取得した前記データに含まれる未使用キーを全て取得し、
取得した前記未使用キーのうちの1つを次の集約キーとして決定し、
取得した前記データに関連付けて前記記憶部に記憶された前記集約キーを、前記次の集約キーに更新し、
取得した前記データに関連付けて前記記憶部に記憶された前記未使用キーを、取得した前記未使用キーから前記次の集約キーを除いた残りの未使用キーに更新する処理を、
前記未使用キーの更新ができなくなるまで、コンピュータに繰り返し実行させることを特徴とする処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011050745A JP5659880B2 (ja) | 2011-03-08 | 2011-03-08 | 処理装置、分散処理システム、及び処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011050745A JP5659880B2 (ja) | 2011-03-08 | 2011-03-08 | 処理装置、分散処理システム、及び処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012190078A true JP2012190078A (ja) | 2012-10-04 |
JP5659880B2 JP5659880B2 (ja) | 2015-01-28 |
Family
ID=47083198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011050745A Expired - Fee Related JP5659880B2 (ja) | 2011-03-08 | 2011-03-08 | 処理装置、分散処理システム、及び処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5659880B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101540012B1 (ko) * | 2013-11-22 | 2015-07-28 | 한국과학기술정보연구원 | 불변 데이터를 자동 검출하는 맵리듀스 순환 처리 장치 및 방법 |
JP2016066142A (ja) * | 2014-09-24 | 2016-04-28 | 富士通株式会社 | ストレージ装置、ストレージ制御方法およびストレージ制御プログラム |
US9535743B2 (en) | 2014-07-18 | 2017-01-03 | Fujitsu Limited | Data processing control method, computer-readable recording medium, and data processing control device for performing a Mapreduce process |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6061692A (en) * | 1997-11-04 | 2000-05-09 | Microsoft Corporation | System and method for administering a meta database as an integral component of an information server |
JP2001229060A (ja) * | 2000-02-17 | 2001-08-24 | Nec Corp | ディレクトリ検索システム及び方法、ディレクトリ検索プログラムを記録したコンピュータ読取可能な記録媒体 |
JP2008009966A (ja) * | 2006-05-31 | 2008-01-17 | Mitsubishi Electric Corp | 業務プロセス設定装置及び業務プロセス設定方法 |
JP2010092222A (ja) * | 2008-10-07 | 2010-04-22 | Internatl Business Mach Corp <Ibm> | 更新頻度に基づくキャッシュ機構 |
-
2011
- 2011-03-08 JP JP2011050745A patent/JP5659880B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6061692A (en) * | 1997-11-04 | 2000-05-09 | Microsoft Corporation | System and method for administering a meta database as an integral component of an information server |
JP2001229060A (ja) * | 2000-02-17 | 2001-08-24 | Nec Corp | ディレクトリ検索システム及び方法、ディレクトリ検索プログラムを記録したコンピュータ読取可能な記録媒体 |
JP2008009966A (ja) * | 2006-05-31 | 2008-01-17 | Mitsubishi Electric Corp | 業務プロセス設定装置及び業務プロセス設定方法 |
JP2010092222A (ja) * | 2008-10-07 | 2010-04-22 | Internatl Business Mach Corp <Ibm> | 更新頻度に基づくキャッシュ機構 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101540012B1 (ko) * | 2013-11-22 | 2015-07-28 | 한국과학기술정보연구원 | 불변 데이터를 자동 검출하는 맵리듀스 순환 처리 장치 및 방법 |
US9535743B2 (en) | 2014-07-18 | 2017-01-03 | Fujitsu Limited | Data processing control method, computer-readable recording medium, and data processing control device for performing a Mapreduce process |
JP2016066142A (ja) * | 2014-09-24 | 2016-04-28 | 富士通株式会社 | ストレージ装置、ストレージ制御方法およびストレージ制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5659880B2 (ja) | 2015-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12056583B2 (en) | Target variable distribution-based acceptance of machine learning test data sets | |
Elkin | Streaming and fully dynamic centralized algorithms for constructing and maintaining sparse spanners | |
TW201837720A (zh) | 用於多串流儲存裝置之串流選擇 | |
JP6281225B2 (ja) | 情報処理装置 | |
TW201842454A (zh) | 合併樹廢棄項目指標 | |
TW201841123A (zh) | 用於維護操作之合併樹修改 | |
CN111324577B (zh) | 一种Yml文件读写的方法及装置 | |
US20180144061A1 (en) | Edge store designs for graph databases | |
JP2007011548A (ja) | データ集合分割プログラム、データ集合分割装置、およびデータ集合分割方法 | |
JP2005285127A5 (ja) | ||
JP2011170774A (ja) | 決定木生成装置、決定木生成方法、及びプログラム | |
US10700934B2 (en) | Communication control device, communication control method, and computer program product | |
Bala et al. | P-ETL: Parallel-ETL based on the MapReduce paradigm | |
US20200341965A1 (en) | Data Tokenization System Maintaining Data Integrity | |
CN105446952B (zh) | 用于处理语义片段的方法和系统 | |
JP5659880B2 (ja) | 処理装置、分散処理システム、及び処理プログラム | |
US20180075074A1 (en) | Apparatus and method to correct index tree data added to existing index tree data | |
US20170170958A1 (en) | Communication control device, communication control method, and computer program product | |
US10983997B2 (en) | Path query evaluation in graph databases | |
JP5637071B2 (ja) | 処理プログラム、処理方法及び処理装置 | |
US20180144060A1 (en) | Processing deleted edges in graph databases | |
CN110851515A (zh) | 一种基于Spark分布式环境下的大数据ETL模型执行方法及介质 | |
Raj et al. | PartEclat: an improved Eclat-based frequent itemset mining algorithm on spark clusters using partition technique | |
JP2008065716A (ja) | データ管理装置、データ管理方法及びデータ管理プログラム | |
WO2021171457A1 (ja) | 制御方法、情報処理装置及び制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140430 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140805 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5659880 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |