JP2016128978A - 振り分け装置、データ処理システム、振り分け方法、および、プログラム - Google Patents
振り分け装置、データ処理システム、振り分け方法、および、プログラム Download PDFInfo
- Publication number
- JP2016128978A JP2016128978A JP2015003404A JP2015003404A JP2016128978A JP 2016128978 A JP2016128978 A JP 2016128978A JP 2015003404 A JP2015003404 A JP 2015003404A JP 2015003404 A JP2015003404 A JP 2015003404A JP 2016128978 A JP2016128978 A JP 2016128978A
- Authority
- JP
- Japan
- Prior art keywords
- key
- data
- section
- input data
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】 振り分け装置は、キー値の範囲長の数値リングが分割された各区間と、処理手段とを、関連付ける振り分け表を記憶する振り分け表記憶手段と、取得した入力データを、当該入力データから得られたキー値に関連付けられている処理部に、振り分ける振り分け手段と、区間のキーの区間を、区間の各々に振り分けられた入力データ数から求めたシフト量分ずらすキー範囲変更手段と、を備える。
【選択図】 図1
Description
<概要>
図1は、第1の実施の形態にかかるデータ処理システム30の構成図である。データ処理システム30は、振り分け装置10と、当該振り分け装置10にネットワーク31で接続された複数台のデータ処理装置20を包含する。
図1が示すように、振り分け装置10は、振り分け表記憶部12、振り分け部13、および、キー範囲変更部14を包含する。
図2は、振り分け装置10の振り分け部13の動作フローチャートである。
本実施の形態の振り分け装置10は、効率よく分散データベースのアクセス均等化を図ることができる。その理由は、キー範囲変更部14が、各データ処理装置20に割り振られる入力データ量の偏り具合が小さくなるように、各データ処理装置20に割り当てられるキーの区間をシフトするからである。
本実施形態の振り分け装置10は、各データ処理装置20が処理データ表を保持していない場合にも適用することが出来る。この場合、キー範囲変更部14は、キー範囲変更要求および、キー範囲変更応答の受信(図3のS14及びS15)は行わなくて良い。また、データ処理装置20の処理部21は、この関連の処理、例えば、移動データの送受信(図5のS26乃至S30)を行わなくて良い。
図8は、第2の実施の形態にかかる振り分け装置10の構成図である。本実施の形態の振り分け装置10は、振り分け表記憶部12、振り分け部13、および、キー範囲変更部14を備える。
12 振り分け表記憶部
13 振り分け部
14 キー範囲変更部
20 データ処理装置
21 処理部
22 処理データ記憶部
30 データ処理システム
31 ネットワーク
Claims (10)
- キー値の範囲長の数値リングが分割された各区間と、処理手段とを、関連付ける振り分け表を記憶する振り分け表記憶手段と、
取得した入力データを、当該入力データから得られたキー値に関連付けられている前記処理部に、振り分ける振り分け手段と、
前記区間のキーの区間を、前記区間の各々に振り分けられた前記入力データ数から求めたシフト量分ずらすキー範囲変更手段と、を備える振り分け装置。 - 前記キー範囲変更手段は、所定値以下のシフト量候補値のうち、前記区間の各々の範囲をシフト量候補値分ずらした場合に前記区間の各々に割り振られる過去の前記入力データ数の偏り度合いが最小となるシフト量候補値を選択して、前記区間の各々のキーの区間をずらす請求項1の振り分け装置。
- 前記偏り度合いは、前記区間の各々に割り振られる過去の入力データ数の最大値と最小値の差である、請求項1乃至2の何れか1項の振り分け装置。
- 請求項1乃至3の何れか1項の振り分け装置と、
関連付けられた前記区間の範囲に属するキー値を持つ前記入力データを前記振り分け装置から受信して、所定の処理を行う前記処理手段をおのおの備える複数のデータ処理装置と、を包含するデータ処理システム。 - 前記振り分け装置の前記キー範囲変更手段は、前記シフト量の通知を前記データ処理装置の各々に送信し、
前記データ処理装置の各々は、関連付けられた前記区間のキー値に対応するデータを格納する処理データ表を記憶する処理データ記憶手段を、さらに備え、
前記処理部は、前記通知を受信すると、関連付けられた前記区間の範囲の第1の境界側のシフト量分のデータである第1の部分を、前記第1の境界側に隣接する前記区間に関連付けられた第1の他の前記データ処理装置に送信し、第2の他の前記データ処理装置から自装置に関連付けられた前記区間の範囲の第2の境界側のシフト量分のデータである第2の部分を受信して、自装置が備える処理データ表に対して前記第1の部分の削除、前記第2の部分の追加を実行する請求項4のデータ処理システム。 - 前記データ処理装置の前記処理部は、前記振り分け装置から入力データを受信して、受信した入力データのキー値が自装置に関連付けられた区間の範囲内でなければ、入力データを前記振り分け装置に戻す、請求項4乃至5の何れか1項のデータ処理システム。
- キー値の範囲長の数値リングが分割された各区間と、処理手段とを、関連付ける振り分け表を記憶し、
取得した入力データを、当該入力データから得られたキー値に関連付けられている前記処理部に振り分け、
前記区間のキーの区間を、前記区間の各々に振り分けられた前記入力データ数から求めたシフト量分ずらす、振り分け方法。 - 所定値以下のシフト量候補値のうち、前記区間の各々の範囲をシフト量候補値分ずらした場合に前記区間の各々に割り振られる過去の前記入力データ数の偏り度合いが最小となるシフト量候補値を選択して、前記区間の各々のキーの区間をずらす請求項1の振り分け方法。
- 前記偏り度合いは、前記区間の各々に割り振られる過去の入力データ数の最大値と最小値の差である、請求項1乃至2の何れか1項の振り分け方法。
- コンピュータに、請求項7乃至9の何れか1項の振り分け方法を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015003404A JP6447147B2 (ja) | 2015-01-09 | 2015-01-09 | 振り分け装置、データ処理システム、振り分け方法、および、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015003404A JP6447147B2 (ja) | 2015-01-09 | 2015-01-09 | 振り分け装置、データ処理システム、振り分け方法、および、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016128978A true JP2016128978A (ja) | 2016-07-14 |
JP6447147B2 JP6447147B2 (ja) | 2019-01-09 |
Family
ID=56384345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015003404A Active JP6447147B2 (ja) | 2015-01-09 | 2015-01-09 | 振り分け装置、データ処理システム、振り分け方法、および、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6447147B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012123544A (ja) * | 2010-12-07 | 2012-06-28 | Nippon Hoso Kyokai <Nhk> | 負荷分散装置及びプログラム |
JP2013045378A (ja) * | 2011-08-26 | 2013-03-04 | Fujitsu Ltd | ストレージ制御方法、情報処理装置およびプログラム |
WO2013046664A1 (ja) * | 2011-09-27 | 2013-04-04 | 日本電気株式会社 | 情報システム、管理装置、データ処理方法、データ構造、プログラム、および記録媒体 |
-
2015
- 2015-01-09 JP JP2015003404A patent/JP6447147B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012123544A (ja) * | 2010-12-07 | 2012-06-28 | Nippon Hoso Kyokai <Nhk> | 負荷分散装置及びプログラム |
JP2013045378A (ja) * | 2011-08-26 | 2013-03-04 | Fujitsu Ltd | ストレージ制御方法、情報処理装置およびプログラム |
WO2013046664A1 (ja) * | 2011-09-27 | 2013-04-04 | 日本電気株式会社 | 情報システム、管理装置、データ処理方法、データ構造、プログラム、および記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP6447147B2 (ja) | 2019-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107450979B (zh) | 一种区块链共识方法及装置 | |
US9645756B2 (en) | Optimization of in-memory data grid placement | |
US10360199B2 (en) | Partitioning and rebalancing data storage | |
JP5625998B2 (ja) | 情報処理システム | |
CN106817408B (zh) | 一种分布式服务器集群调度方法及装置 | |
EP3295629B1 (en) | Query plan and operation-aware communication buffer management | |
KR101928529B1 (ko) | 코드 분산 해쉬테이블 기반의 맵리듀스 시스템 및 방법 | |
CN104750690A (zh) | 一种查询处理方法、装置及系统 | |
US11157501B2 (en) | Database caching | |
EP4198861A1 (en) | Information processing method and apparatus for blockchain network, and device and storage medium | |
CN102934412A (zh) | 服务器集群 | |
CN110620722A (zh) | 一种订单处理的方法和装置 | |
JPWO2017169471A1 (ja) | 処理システムおよび処理方法 | |
US11301255B2 (en) | Method, apparatus, device, and storage medium for performing processing task | |
CN110413427B (zh) | 订阅数据拉取方法、装置、设备及存储介质 | |
JP6447147B2 (ja) | 振り分け装置、データ処理システム、振り分け方法、および、プログラム | |
JP2009116780A (ja) | 生産計画立案システムおよび生産計画立案方法 | |
CN109831385B (zh) | 一种消息处理方法、装置及电子设备 | |
US9705985B1 (en) | Systems and methods for cross protocol automatic sub-operation scheduling | |
CN104539661A (zh) | 消息队列处理方法和装置 | |
CN111274042A (zh) | 一种fpga异构加速系统及其同步调度方法和相关设备 | |
US20170168873A1 (en) | Method, device, and system for deciding on a distribution path of a task | |
US11379728B2 (en) | Modified genetic recombination operator for cloud optimization | |
US20180020046A1 (en) | Dynamic hierarchy based message distribution | |
JP2015166961A (ja) | 情報処理システム、情報処理方法、および、スケジューリングプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6447147 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |