JP2019204433A - 演算システムおよび演算方法 - Google Patents
演算システムおよび演算方法 Download PDFInfo
- Publication number
- JP2019204433A JP2019204433A JP2018100858A JP2018100858A JP2019204433A JP 2019204433 A JP2019204433 A JP 2019204433A JP 2018100858 A JP2018100858 A JP 2018100858A JP 2018100858 A JP2018100858 A JP 2018100858A JP 2019204433 A JP2019204433 A JP 2019204433A
- Authority
- JP
- Japan
- Prior art keywords
- arithmetic
- arithmetic device
- storage
- information
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 42
- 238000003860 storage Methods 0.000 claims abstract description 86
- 238000012545 processing Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 28
- 230000008859 change Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 14
- 230000010365 information processing Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013523 data management Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Hardware Redundancy (AREA)
- Multi Processors (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
〔1−1.演算システムの一例〕
まず、図1を用いて、演算システム1が実行する演算処理の一例について説明する。なお、以下の説明では、演算システム1が複数の演算装置100a〜100e(以下、「演算装置100」と総称する場合がある。)を用いて所定の処理を実行する処理の一例について説明する。
図1に示す演算システム1において、各演算装置100は、所定のファイルを分割したデータを冗長性を保持した状態で管理する。そして、各演算装置100は、各演算装置ごとに保持する情報を用いた演算処理を実行し、実行結果を集約することで、所定のファイルに対する演算処理を実現する。また、各演算装置100は、このようなデータの管理および演算を、内部の論理回路を定義することにより実現する。
以下、上記した演算処理を実現する演算装置100が有する機能構成の一例について説明する。図2は、実施形態に係る演算装置の構成例を示す図である。図2に示す例では、マスタとして動作する演算装置の一例について記載した。
次に、図7を用いて、演算装置100が実行するメモリアクセスの一例について説明する。図7は、実施形態に係る演算装置が実行するメモリアクセスの一例を示す図である。例えば、演算装置100は、図7中(A)に示すように、キー値から算出されたアドレス「0x1000」、「0x4000」、「0x8000」、「0x1800」を記憶領域「V0」に格納する。このような場合、演算装置100は、アドレス「0x1000」が示す記憶領域に登録されたデータ「X」、「0x4000」が示す記憶領域に登録されたデータ「Z」、「0x8000」が示す記憶領域に登録されたデータ「W」、「0x1800」が示す記憶領域に登録されたデータ「Y」を読み出す。そして、演算装置100は、読み出したデータ「X」、「Z」、「W」、「Y」を記憶領域「V1」に格納する。
次に、図8を用いて、演算システム1が実行する処理の一例について説明する。図8は、実施形態に係る演算システムが実行する処理の流れの一例を示すフローチャートである。例えば、演算システム1は、処理対象となるファイルを分割し(ステップS101)、分割データの保存先となる演算装置100を決定する(ステップS102)。そして、演算システム1は、分割データを冗長化して分割保存し(ステップS103)、各演算装置100が有するFPGAを用いて、分割データの分散管理を実行する(ステップS104)。
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文章中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
上述したように、演算システム1は、異なる種類の論理回路の組み合わせを変更可能な演算装置であって、追加可能な演算装置100と、演算装置100がアクセス可能な記憶装置(例えば、記憶部140)との組を複数含む演算システムであって、演算装置100は、論理回路を組み合わせることで、処理対象となる情報を示す指示情報に基づいて、自装置がアクセス可能な記憶装置が有する記憶領域のうち情報を格納する記憶領域のアドレスを特定する。そして、演算装置100は、特定されたアドレスを用いて、記憶装置にアクセスする。
110 プロセッサ
111 プロセッサコア
112 キャッシュメモリ
120 入出力装置
130 メモリコントローラ
140 記憶部
141 ファイルデータベース
142 演算装置データベース
150 FPGA
161 取得部
162 通信部
163 判定部
164 特定部
165 演算制御部
Claims (4)
- 異なる種類の論理回路の組み合わせを変更可能な演算装置であって、追加可能な演算装置と、当該演算装置がアクセス可能な記憶装置との組を複数含む演算システムであって、
前記演算装置は、前記論理回路を組み合わせることで、
処理対象となる情報を示す指示情報に基づいて、自装置がアクセス可能な記憶装置が有する記憶領域のうち当該情報を格納する記憶領域のアドレスを特定する処理と、
特定されたアドレスを用いて、前記記憶装置にアクセスする処理と
を実行することを特徴とする演算システム。 - 前記複数の記憶装置は、所定のファイルを分割した分割情報をそれぞれ記憶し、
前記演算装置は、前記論理回路を組み合わせることで、
自装置がアクセス可能な記憶装置に格納された分割情報を用いて、所定の演算を行う処理と、
各演算処理による前記所定の演算の結果を収集する処理と
を実行することを特徴とする請求項1に記載の演算システム。 - 前記複数の記憶装置は、所定のファイルを分割した分割情報を冗長性を担保するように記憶し、
前記演算装置のうち、所定の演算装置は、前記論理回路を組み合わせることで、
他の演算装置に故障が生じたか否かを判定する処理と、
他の演算装置に故障が生じたと判定された場合は、当該演算装置がアクセス可能な記憶装置に格納された分散情報を特定する処理と、
特定された分散情報と同じ分散情報が格納された記憶装置にアクセス可能な演算装置を特定する処理と、
特定された演算装置に対し、故障が生じたと判定された他の演算装置が実行していた演算を実行させる処理と
を実行することを特徴とする請求項1または2に記載の演算システム。 - 異なる種類の論理回路の組み合わせを変更可能な演算装置であって、追加可能な演算装置と、当該演算装置がアクセス可能な記憶装置との組を複数含む演算システムが実行する演算方法であって、
前記演算装置が前記論理回路を組み合わせることで、
処理対象となる情報を示す指示情報に基づいて、自装置がアクセス可能な記憶装置が有する記憶領域のうち当該情報を格納する記憶領域のアドレスを特定する処理と、
特定されたアドレスを用いて、前記記憶装置にアクセスする処理と
を実行することを特徴とする演算方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018100858A JP7313123B2 (ja) | 2018-05-25 | 2018-05-25 | 演算システムおよび演算方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018100858A JP7313123B2 (ja) | 2018-05-25 | 2018-05-25 | 演算システムおよび演算方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019204433A true JP2019204433A (ja) | 2019-11-28 |
JP7313123B2 JP7313123B2 (ja) | 2023-07-24 |
Family
ID=68727096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018100858A Active JP7313123B2 (ja) | 2018-05-25 | 2018-05-25 | 演算システムおよび演算方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7313123B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016509294A (ja) * | 2013-01-07 | 2016-03-24 | フェイスブック,インク. | 分散型データベースクエリ・エンジン用のシステムおよび方法 |
JP2017518561A (ja) * | 2014-04-17 | 2017-07-06 | アビニシオ テクノロジー エルエルシー | 複数ソースからのデータの処理 |
-
2018
- 2018-05-25 JP JP2018100858A patent/JP7313123B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016509294A (ja) * | 2013-01-07 | 2016-03-24 | フェイスブック,インク. | 分散型データベースクエリ・エンジン用のシステムおよび方法 |
JP2017518561A (ja) * | 2014-04-17 | 2017-07-06 | アビニシオ テクノロジー エルエルシー | 複数ソースからのデータの処理 |
Non-Patent Citations (1)
Title |
---|
田澤 孝之 他, はじめてのHADOOP 〜分散データ処理の基本から実践まで, vol. 初版, JPN6021034999, pages 12 - 19, ISSN: 0004884816 * |
Also Published As
Publication number | Publication date |
---|---|
JP7313123B2 (ja) | 2023-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10169413B2 (en) | Scalable acceleration of database query operations | |
Kachris et al. | A survey on reconfigurable accelerators for cloud computing | |
US10114682B2 (en) | Method and system for operating a data center by reducing an amount of data to be processed | |
CN108431796B (zh) | 分布式资源管理系统和方法 | |
US10127275B2 (en) | Mapping query operations in database systems to hardware based query accelerators | |
JP6031196B2 (ja) | 分散データストレージ・処理システムのためのチューニング | |
CN107111517B (zh) | 针对归约器任务的虚拟机优化分配和/或生成 | |
WO2018010654A1 (zh) | 一种虚拟机热迁移的方法、装置及系统 | |
US20180024863A1 (en) | Task Scheduling and Resource Provisioning System and Method | |
US8898422B2 (en) | Workload-aware distributed data processing apparatus and method for processing large data based on hardware acceleration | |
WO2018058998A1 (zh) | 一种数据加载方法、终端和计算集群 | |
KR102043276B1 (ko) | 워크 로드에 따라 동적 자원 할당 가능한 상호 연결 패브릭 스위칭 장치 및 방법 | |
US10120798B1 (en) | Dynamic FPGA re-configuration using a virtual FPGA controller | |
Cong et al. | CPU-FPGA coscheduling for big data applications | |
US11188532B2 (en) | Successive database record filtering on disparate database types | |
JP6668993B2 (ja) | 並列処理装置及びノード間通信方法 | |
Tran et al. | A new data layout scheme for energy-efficient MapReduce processing tasks | |
KR102238600B1 (ko) | 스케쥴러 컴퓨팅 장치, 그것을 포함하는 분산 컴퓨팅 시스템의 데이터 노드 및 그것의 방법 | |
CN116257471A (zh) | 一种业务处理方法及装置 | |
Anwar et al. | Customizable scale-out key-value stores | |
JP2019204433A (ja) | 演算システムおよび演算方法 | |
Geyer et al. | Working with Disaggregated Systems. What are the Challenges and Opportunities of RDMA and CXL? | |
US9092205B2 (en) | Non-interrupting performance tuning using runtime reset | |
US20190171584A1 (en) | Access control device, access control method, and recording medium containing access control program | |
Zarrin et al. | Dynamic, scalable and flexible resource discovery for large-dimension many-core systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200917 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211104 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220704 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220704 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220713 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220719 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20221007 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20221018 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20221108 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20221206 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20230104 |
|
C28A | Non-patent document cited |
Free format text: JAPANESE INTERMEDIATE CODE: C2838 Effective date: 20230104 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230306 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20230314 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230515 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230711 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7313123 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |