JP2022531075A - データ処理 - Google Patents
データ処理 Download PDFInfo
- Publication number
- JP2022531075A JP2022531075A JP2021557465A JP2021557465A JP2022531075A JP 2022531075 A JP2022531075 A JP 2022531075A JP 2021557465 A JP2021557465 A JP 2021557465A JP 2021557465 A JP2021557465 A JP 2021557465A JP 2022531075 A JP2022531075 A JP 2022531075A
- Authority
- JP
- Japan
- Prior art keywords
- heap
- data
- unit
- units
- storage unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 claims description 88
- 230000008569 process Effects 0.000 claims description 69
- 238000013500 data storage Methods 0.000 claims description 32
- 238000007781 pre-processing Methods 0.000 claims description 23
- 238000012216 screening Methods 0.000 claims description 19
- 238000013473 artificial intelligence Methods 0.000 claims description 9
- 238000013459 approach Methods 0.000 claims description 2
- 208000033748 Device issues Diseases 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 101100481876 Danio rerio pbk gene Proteins 0.000 description 1
- 101100481878 Mus musculus Pbk gene Proteins 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/22—Arrangements for sorting or merging computer data on continuous record carriers, e.g. tape, drum, disc
- G06F7/24—Sorting, i.e. extracting data from one or more carriers, rearranging the data in numerical or other ordered sequence, and rerecording the sorted data on the original carrier or on a different carrier or set of carriers sorting methods in general
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Radar Systems Or Details Thereof (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
Description
Claims (21)
- データ処理装置であって、
それぞれ、ヒープの1組のノードのデータを記憶するための、複数のヒープストレージユニットと、
それぞれ、少なくとも2つのヒープストレージユニットをアクセスして、入力された元のデータおよび前記少なくとも2つのヒープストレージユニットに記憶されたデータをソートするための、複数のヒープ調整ユニットと、を備え、
前記1組のノードは、前記ヒープの同じ層のノードの中の少なくとも一部のノードを含む
ことを特徴とするデータ処理装置。 - 各ヒープ調整ユニットによってアクセスされた前記少なくとも2つのヒープストレージユニットは、前記ヒープの隣接層のノードのデータを記憶し、および/または、
前記複数のヒープ調整ユニットの中の各ヒープ調整ユニットは、前記入力された元のデータを取得し、前記取得した元のデータおよびアクセスした前記少なくとも2つのヒープストレージユニットの中の少なくとも1つのヒープストレージユニット内のデータをソートする
ことを特徴とする請求項1に記載のデータ処理装置。 - 前記複数のヒープ調整ユニットの中2つの隣接するヒープ調整ユニットによってそれぞれアクセスされた2つのヒープストレージユニットは、1つの同じヒープストレージユニットを含み、および/または、
前記複数のヒープ調整ユニットの中の少なくとも2つのヒープ調整ユニットは、並行してソートを実行し、前記少なくとも2つのヒープ調整ユニットによってアクセスされたヒープストレージユニットは、互いに異なる
ことを特徴とする請求項1または2に記載のデータ処理装置。 - 隣接する2つのデータのヒープ入りタイミングの間には、2つのヒープストレージユニットの処理サイクルがある
ことを特徴とする請求項1~3のいずれか1項に記載のデータ処理装置。 - 前記ヒープの同じノードの各々のサブノードのデータは、同じヒープストレージユニットの同じアドレスに記憶されている
ことを特徴とする請求項1~4のいずれか1項に記載のデータ処理装置。 - データ記憶装置から取得した元のデータに対して前スクリーニング処理を実行するための前処理ユニットをさらに備え、
前スクリーニング処理を通じたデータは、前記複数のヒープ調整ユニットに入力される
ことを特徴とする請求項1~5のいずれか1項に記載のデータ処理装置。 - 前記前処理ユニットは、前記ヒープストレージユニットに記憶されたデータが所定の数量に達した場合、新たに取得した前記元のデータに対して前記前スクリーニング処理を実行する
ことを特徴とする請求項6に記載のデータ処理装置。 - 前記前処理ユニットは、前記元のデータと前記ヒープのルートノードのデータとを比較して、前記元のデータに対して前記前スクリーニング処理を実行することによって、前記元のデータをヒープ入りする必要があるか否かを事前に判定する
ことを特徴とする請求項6または7に記載のデータ処理装置。 - 前記前処理ユニットの数は、複数であり、複数の前記前処理ユニットは、並行して取得した前記元のデータに対して前記前スクリーニング処理を実行する
ことを特徴とする請求項6~8のいずれか1項に記載のデータ処理装置。 - 前記前処理ユニットは、
前記元のデータをヒープ入りする必要があると判定された場合、前記元のデータをキャッシュユニットまたは前記複数のヒープ調整ユニットに伝送し、また、
前記元のデータをヒープ入りする必要がないと判定された場合、前記元のデータを削除するかまたは前記データ記憶装置に返す
ことを特徴とする請求項6~9のいずれか1項に記載のデータ処理装置。 - 前記複数のヒープ調整ユニットは、さらに、
ソート過程で絞り出された元のデータを前記データ記憶装置に返し、
前記複数のヒープストレージユニット内のデータのソートがいずれも完了された場合、前記データ記憶装置に返した元のデータを再ソートする
ことを特徴とする請求項10に記載のデータ処理装置。 - 前記前処理ユニットから取得した前記前スクリーニング処理を通じた元のデータをキャッシュするための第1キャッシュユニットをさらに備え、
前記複数のヒープ調整ユニットは、前記第1キャッシュユニットから取得した元のデータおよび前記複数のヒープストレージユニット内のデータをソートする
ことを特徴とする請求項6~11のいずれか1項に記載のデータ処理装置。 - データ記憶装置から取得した元のデータをキャッシュするための第2キャッシュユニットをさらに備え、
前記複数のヒープ調整ユニットは、前記第2キャッシュユニットから取得した元のデータおよび前記複数のヒープストレージユニット内のデータをソートする
ことを特徴とする請求項1~5のいずれか1項に記載のデータ処理装置。 - 前記ヒープストレージユニットは、いずれもフラグビットを含み、
前記フラグビットは、前記ヒープストレージユニット内の対応する位置のデータが有効であるか否かを指示する
ことを特徴とする請求項1~13のいずれか1項に記載のデータ処理装置。 - 前記ヒープストレージユニットは、さらに、
前記ヒープストレージユニット内の各々のフラグビットに対して初期化処理を実行し、および/または、
1つのフラグビットの対応する位置に有効なにデータを書き込んだことが確定された場合、当該フラグビットを更新する
ことを特徴とする請求項14に記載のデータ処理装置。 - 前記複数のヒープ調整ユニットの中の各ヒープ調整ユニットは、さらに、
当該ヒープ調整ユニットによってアクセスされた第1ヒープストレージユニットのフラグビットが、対応する位置のデータがいずれも有効なにデータであると指示する場合、当該ヒープ調整ユニットに入力した元のデータおよび前記有効なにデータをソートし、
ここで、前記第1ヒープストレージユニットは、当該ヒープ調整ユニットによってアクセスされた前記少なくとも2つのヒープストレージユニット内のルートノードに接近するヒープストレージユニットであり、また、
前記第1ヒープストレージユニットのフラグビットが、対応する位置のデータが任意の無効データを含むと指示する場合、当該ヒープ調整ユニットに入力した前記元のデータを前記無効データに対応する位置に書き込む
ことを特徴とする請求項14または15に記載のデータ処理装置。 - 前記複数のヒープ調整ユニットの中の各ヒープ調整ユニットは、
少なくとも2つのヒープストレージユニットの中の少なくとも1つのヒープストレージユニットに記憶されたデータを読み取り、
当該ヒープ調整ユニットに入力する元のデータと前記読み取ったデータをソートし、また、
ソートの要件に従って、前記ソート結果中のより大きいまたはより小さいデータを前記少なくとも2つのヒープストレージユニットの中のもう1つのヒープストレージユニットに書き込み、
ここで、前記もう1つのヒープストレージユニットと前記少なくとも1つのヒープストレージユニットは、同じヒープストレージユニットではない
ことを特徴とする請求項1~16のいずれか1項に記載のデータ処理装置。 - ヒープ制御ユニットをさらに備え、
前記ヒープ制御ユニットは、
初期化命令を受信した場合、前記複数のヒープストレージユニットが同じクロックサイクル内で初期化を実行するように制御することと、
ヒープ入り命令を受信した場合、データ記憶装置から元のデータを読み取り、読み取った前記元のデータを前記複数のヒープ調整ユニットに伝送することによって、前記複数のヒープ調整ユニッがト前記元のデータおよび複数のヒープストレージユニット内のデータをソートするようにすることと、
ヒープ出し命令を受信した場合、前記複数のヒープ調整ユニットが特定の順序に従って前記複数のヒープストレージユニット内のデータをヒープ頂から出力するように制御することと、の中の少なくとも1つを実行する
ことを特徴とする請求項1~17のいずれか1項に記載のデータ処理装置。 - 集積回路であって、
前記集積回路は、請求項1~18のいずれか1項に記載のデータ処理装置を含む
ことを特徴とする集積回路。 - 前記集積回路は、コントローラーをさらに備え、
前記コントローラーは、
前記複数のヒープストレージユニットが初期化を実行するように指示するための初期化命令と、
前記複数のヒープ調整ユニットが、元のデータを取得し、前記元のデータおよび前記複数のヒープストレージユニットに記憶されたデータをソートするように指示するためのヒープ入り命令と、
前記複数のヒープ調整ユニットが、特定の順序に従って前記複数のヒープストレージユニットに記憶されたデータを出力するように指示するためのヒープ出し命令と、の中の少なくとも1つの命令を、前記データ処理装置に送信する
ことを特徴とする請求項19に記載の集積回路。 - 人工知能(AI)アクセラレータであって、
前記AIアクセラレータは、請求項19または20に記載の集積回路を含む
ことを特徴とするAIアクセラレータ。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010244150.2A CN113467702A (zh) | 2020-03-31 | 2020-03-31 | 数据处理装置、集成电路和ai加速器 |
CN202010244150.2 | 2020-03-31 | ||
PCT/CN2020/136960 WO2021196745A1 (zh) | 2020-03-31 | 2020-12-16 | 数据处理装置、集成电路和ai加速器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022531075A true JP2022531075A (ja) | 2022-07-06 |
Family
ID=77865417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021557465A Pending JP2022531075A (ja) | 2020-03-31 | 2020-12-16 | データ処理 |
Country Status (5)
Country | Link |
---|---|
JP (1) | JP2022531075A (ja) |
KR (1) | KR20210129715A (ja) |
CN (1) | CN113467702A (ja) |
TW (1) | TWI773051B (ja) |
WO (1) | WO2021196745A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115932532B (zh) * | 2023-03-09 | 2023-07-25 | 长鑫存储技术有限公司 | 故障存储单元的物理地址的存储方法、装置、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6116327A (ja) * | 1984-07-03 | 1986-01-24 | Agency Of Ind Science & Technol | デ−タ処理装置 |
JPS6154536A (ja) * | 1984-08-24 | 1986-03-18 | Hitachi Ltd | デ−タ整順化回路 |
JPS61150055A (ja) * | 1984-12-25 | 1986-07-08 | Panafacom Ltd | Dmaデ−タ転送方式 |
US20060004897A1 (en) * | 2000-11-28 | 2006-01-05 | Paul Nadj | Data structure and method for sorting using heap-supernodes |
JP2020027616A (ja) * | 2018-08-10 | 2020-02-20 | 北京百度网▲訊▼科技有限公司Beijing Baidu Netcom Science And Technology Co.,Ltd. | コマンド実行方法及び装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7007021B1 (en) * | 2000-11-28 | 2006-02-28 | Altera Corporation | Data structure and method for pipeline heap-sorting |
US8032561B1 (en) * | 2001-08-16 | 2011-10-04 | Altera Corporation | System and method for scheduling and arbitrating events in computing and networking |
US10268410B2 (en) * | 2014-10-20 | 2019-04-23 | Netapp, Inc. | Efficient modification of storage system metadata |
US10761979B2 (en) * | 2016-07-01 | 2020-09-01 | Intel Corporation | Bit check processors, methods, systems, and instructions to check a bit with an indicated check bit value |
CN107402741A (zh) * | 2017-08-04 | 2017-11-28 | 电子科技大学 | 一种适宜于fpga实现的排序方法 |
CN108319454B (zh) * | 2018-03-27 | 2021-02-09 | 武汉中元华电电力设备有限公司 | 一种基于硬件fpga快速实现最优二叉树的方法 |
CN109375989B (zh) * | 2018-09-10 | 2022-04-08 | 中山大学 | 一种并行后缀排序方法及系统 |
-
2020
- 2020-03-31 CN CN202010244150.2A patent/CN113467702A/zh active Pending
- 2020-12-16 JP JP2021557465A patent/JP2022531075A/ja active Pending
- 2020-12-16 WO PCT/CN2020/136960 patent/WO2021196745A1/zh active Application Filing
- 2020-12-16 KR KR1020217031349A patent/KR20210129715A/ko not_active Application Discontinuation
- 2020-12-24 TW TW109146076A patent/TWI773051B/zh active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6116327A (ja) * | 1984-07-03 | 1986-01-24 | Agency Of Ind Science & Technol | デ−タ処理装置 |
JPS6154536A (ja) * | 1984-08-24 | 1986-03-18 | Hitachi Ltd | デ−タ整順化回路 |
JPS61150055A (ja) * | 1984-12-25 | 1986-07-08 | Panafacom Ltd | Dmaデ−タ転送方式 |
US20060004897A1 (en) * | 2000-11-28 | 2006-01-05 | Paul Nadj | Data structure and method for sorting using heap-supernodes |
JP2020027616A (ja) * | 2018-08-10 | 2020-02-20 | 北京百度网▲訊▼科技有限公司Beijing Baidu Netcom Science And Technology Co.,Ltd. | コマンド実行方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
TW202138994A (zh) | 2021-10-16 |
WO2021196745A1 (zh) | 2021-10-07 |
KR20210129715A (ko) | 2021-10-28 |
CN113467702A (zh) | 2021-10-01 |
TWI773051B (zh) | 2022-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10942673B2 (en) | Data processing using resistive memory arrays | |
US20190114499A1 (en) | Image preprocessing for generalized image processing | |
KR20160140394A (ko) | 신경망을 실행하는 방법 및 장치 | |
JP2018116469A (ja) | 演算システムおよびニューラルネットワークの演算方法 | |
JP7381429B2 (ja) | ストレージ周辺の階層的ソート加速のためのストレージシステム及び方法 | |
JP7087825B2 (ja) | 学習装置および学習方法 | |
WO2020073801A1 (zh) | 一种3d图像处理中数据读写方法及系统、存储介质及终端 | |
JP2021072107A5 (ja) | ||
JP2022531075A (ja) | データ処理 | |
TWI537980B (zh) | 用於寫入經遮罩資料至緩衝器之裝置及方法 | |
KR101117145B1 (ko) | 데이터 저장 장치, 데이터 저장 제어 장치 및, 데이터 저장 제어 방법 | |
CN113127407A (zh) | 基于nvm进行ai计算的芯片架构 | |
CN108920097B (zh) | 一种基于交织存储的三维数据处理方法 | |
JP7363145B2 (ja) | 学習装置および学習方法 | |
US10997497B2 (en) | Calculation device for and calculation method of performing convolution | |
US11556765B2 (en) | Neuromorphic system and operating method thereof | |
CN111047029A (zh) | 具有存储器内运算架构的存储器及其操作方法 | |
CN113642724B (zh) | 一种高带宽存储的cnn加速器 | |
US20230153583A1 (en) | Compilation of neural networks into subgraphs for processing by multiple compute circuits | |
US20220327180A1 (en) | Generic image resizer using matrix multiplier accelerator | |
CN113095503B (zh) | 一种实现检测模型高效的系统 | |
US11442643B2 (en) | System and method for efficiently converting low-locality data into high-locality data | |
JP7200765B2 (ja) | 学習装置および学習方法 | |
CN112017714A (zh) | 具有嵌入式内联运算逻辑的非易失性存储器组 | |
AU627520B2 (en) | Memory structure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210927 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230601 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231226 |