JP2021111882A - ストレージシステム、及び、記憶制御方法 - Google Patents
ストレージシステム、及び、記憶制御方法 Download PDFInfo
- Publication number
- JP2021111882A JP2021111882A JP2020002919A JP2020002919A JP2021111882A JP 2021111882 A JP2021111882 A JP 2021111882A JP 2020002919 A JP2020002919 A JP 2020002919A JP 2020002919 A JP2020002919 A JP 2020002919A JP 2021111882 A JP2021111882 A JP 2021111882A
- Authority
- JP
- Japan
- Prior art keywords
- data set
- scale
- dimension
- data
- multidimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000008569 process Effects 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims description 82
- 230000000875 corresponding effect Effects 0.000 claims description 64
- 230000006870 function Effects 0.000 claims description 28
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 230000015556 catabolic process Effects 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 5
- 238000006731 degradation reaction Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 description 25
- 238000007906 compression Methods 0.000 description 25
- 238000006243 chemical reaction Methods 0.000 description 16
- 230000004044 response Effects 0.000 description 10
- 230000006866 deterioration Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- SFZBBUSDVJSDGR-XWFYHZIMSA-N beta-D-Galp-(1->4)-[alpha-L-Fucp-(1->3)]-beta-D-GlcpNAc-(1->3)-beta-D-Galp Chemical compound O[C@H]1[C@H](O)[C@H](O)[C@H](C)O[C@H]1O[C@H]1[C@H](O[C@H]2[C@@H]([C@@H](O)[C@@H](O)[C@@H](CO)O2)O)[C@@H](CO)O[C@@H](O[C@H]2[C@H]([C@@H](CO)O[C@@H](O)[C@@H]2O)O)[C@@H]1NC(C)=O SFZBBUSDVJSDGR-XWFYHZIMSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0661—Format or protocol conversion arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0495—Quantised networks; Sparse networks; Compressed networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6041—Compression optimized for errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Complex Calculations (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
[実施形態1]
・当該仮想空間61Eについて、モデル群が生成され生成されたモデル群が物理空間60Eに格納された又は格納済の場合、当該モデル群の物理アドレス情報が格納されたレコード210P1を含むレコード群220が、レコード210Lに関連付けられる。
・当該多次元データセットが符号化されて符号化データセット(例えば、特徴量マップ)が物理空間60Eに格納された場合、当該符号化データセットの物理アドレス情報がレコード210P2に格納される。当該多次元データセットは符号化されているため、レコード210P3はヌルとなる。
・当該仮想空間61Eについてモデル群が未生成である又はその他の理由により、当該多次元データセットが符号化されずに物理空間60Eに格納された場合、当該未符号化データセットの物理アドレス情報がレコード210P3に格納される。当該多次元データセットは符号化されていないため、レコード210P2はヌルとなる。
・多次元データセットが次元数及びサイズを表す情報を保持している場合(例えば、多次元データセットがnpy(テンソル)形式のファイルの場合)、制御器71Eが、次元間のアドレス(値)の相関係数が閾値以上か否かに応じて、属性が“連続”か“離散”かを決定し、決定された属性が反映された次元設定テーブルを作成してよい。例えば、相関係数が閾値以上であれば、属性が“連続”であり、相関係数が閾値未満であれば、属性が“離散”である。その他、スケールや名称等の情報は、プリセットの値から適宜設定してもよいし、ユーザの使用履歴の統計を基に適宜設定されてもよい。
・多次元データセットの次元構造が失われている場合(例えば、多次元データセットが一般バイナリ形式のファイルの場合)、制御器71Eが、多次元データセットの次元数と次元毎のサイズ、属性等の次元設定テーブルの情報項目をパラメータとした強化学習(例えば、圧縮率を報酬とした強化学習)により決定し、決定されたパラメータが反映された次元設定テーブルを作成してよい。その他、スケールや名称等の情報は、プリセットの値から適宜設定してもよいし、ユーザの使用履歴の統計を基に適宜設定されてもよい。
・制御器71Eが、仮想空間IDを指定した圧縮器生成要求(圧縮器を生成することの要求)を受信する。圧縮器生成要求は、例えば、ユーザシステム115E(又は、ストレージシステム110Eの管理システム(図示せず))から送信される。
・制御器71Eが、定期的又は不定期的に、仮想空間61E毎に、モデル群を作成済か否かチェックすることで(例えば、論物変換テーブル200を参照することで)、モデル群が未作成の仮想空間61Eが見つかる。
・圧縮器が、スケール毎に、当該スケールに対応した処理ユニットを含む。各処理ユニットは、符号化器、復号器、及び、エントロピー見積器(当該符号化器により符号化された多次元データセットに基づく特徴量マップを基に、当該符号化器に入力された多次元データセットのエントロピーを見積もる見積器)を含む。
・各スケールの処理ユニットについて得られる誤差が、圧縮器全体の誤差の要素である。
・各スケールに関し、当該スケールの処理ユニットについて得られる誤差は、劣化度とビットレートとに基づく。
・スケールnが最小スケールの場合、スケールnについての劣化度は、(A)と(B)との誤差に基づく。
(A)は、入力された多次元データセットがスケールn向けにダウンサンプリングされたデータセットである。
(B)は、(A)がスケールnの符号化器に入力されることでスケールnの復号器から出力されたデータセットである。
・スケールnが最小スケール以外のいずれかのスケールの場合、スケールnについての劣化度は、(C)と(D)との誤差に基づく。
(C)は、入力された多次元データセット、又は、当該多次元データセットがスケールn向けにダウンサンプリングされたデータセットである。
(D)は、(d1)と(d2)との和である。
(d1)は、スケールnが2番目に小さいスケールの場合、(d11)であり、スケールnが2番目に小さいスケール以外のいずれかのスケールの場合、(d12)である。
(d11)は、(B)がスケールn向けにアップサンプリングされたデータセットである。
(d12)は、スケール(n−1)に対応した(D)がスケールn向けにアップサンプリングされたデータセットである。
(d2)スケールnの差分データセットがスケールnの符号化器に入力されることでスケールnの復号器から出力されたデータセット。スケールnの差分データセットは、(C)と(d1)との差分である。
・各スケールに関し、当該スケールの処理ユニットについて得られるビットレートは、(A)又は(C)に基づく特徴量マップと、当該特徴量マップに基づき当該スケールのエントロピー見積器により算出されたエントロピーとに基づく。
[実施形態2]
[実施形態3]
[実施形態4]
(x)圧縮器70Eに入力されたスケール3のデータセットがスケールn向けにダウンサンプリングされたデータセット(又は、圧縮器70Eに入力されたスケール3のデータセット)。
(y)スケール(n−1)に対応した処理ユニット601−(n−1)から出力されたデータセットがスケールn向けにアップサンプリングされたデータセット(又は、スケール(n−1)に対応した処理ユニット601−(n−1)から出力されたデータセットと、スケール(n−2)に対応した処理ユニット601−(n−2)から出力されたデータセットがスケール(n−1)向けにアップサンプリングされたデータセットとの和が、スケールn向けにアップサンプリングされたデータセット)。
Claims (16)
- 記憶装置と、メモリと、データ入出力を制御するプロセッサと、を有するストレージシステムにおいて、
前記メモリが、多次元データセットのデータ次元毎の属性を表す情報である次元設定情報を格納し、
前記プロセッサが、前記次元設定情報を基に圧縮器を生成する処理である圧縮器生成処理を行い、
前記プロセッサが、ライト処理を行い、
前記ライト処理は、前記生成された圧縮器を用いてライト対象の多次元データセットを圧縮し、圧縮されたデータを前記記憶装置に書き込む処理である、
ストレージシステム。 - データ次元毎の属性は、当該次元に属する値が連続した値であることを意味する連続と、当該次元に属する値が離散した値であることを意味する離散とのいずれかであり、
前記圧縮器は、処理ユニットを含み、
前記処理ユニットは、入力されたデータセットを符号化する符号化器と、当該符号化器から出力されたデータが量子化されることにより生成された特徴量マップを基にデータセットを復号する復号器と、特徴量マップを基にエントロピーを見積もるエントロピー見積器とのうち、少なくともエントロピー見積器を含み、
前記圧縮器生成処理は、前記次元設定情報が表す、データ次元毎の属性を基に、処理ユニットを構成することを含む、
請求項1に記載のストレージシステム。 - 前記次元設定情報は、更に、データ次元毎に、データサイズを表し、
前記処理ユニットにおけるエントロピー見積器のモデルは、畳み込みニューラルネットワークであり、
前記処理ユニットが符号化器及び復号器を含んでいる場合、符号化器及び復号器の各々のモデルは、畳み込みニューラルネットワークであり、
前記圧縮器生成処理は、チャネル数及びカーネル次元数を決定することを含み、
前記プロセッサは、
属性が離散である一つ以上のデータ次元があれば、当該一つ以上のデータ次元の各々についてのデータサイズを基に、チャネル数を決定し、
属性が連続であるデータ次元があれば、属性が連続であるデータ次元の数に基づいて、カーネル次元数を決定する、
請求項2に記載のストレージシステム。 - 前記圧縮器生成処理は、前記処理ユニットを、多次元データセットの取り得る複数のスケールの各々について構成することを含む、
請求項2記載のストレージシステム。 - 前記複数のスケールのうちの最小のスケールに対応した入力データセットは、入力された多次元データセットが当該最小のスケール向けにダウンサンプリングされた後のデータセットであり、
前記複数のスケールのうちの最小のスケール以外の一つ以上のスケールの各々について、当該スケールに対応した入力データセットは、入力された多次元データセットが当該スケール向けにダウンサンプリングされたデータセットと、当該スケールより一つ小さいスケールに対応した復号器から出力されたデータセットが当該スケール向けにアップサンプリングされたデータセットとの差分としてのデータセットである、
請求項4に記載のストレージシステム。 - 前記圧縮器生成処理は、処理ユニットの学習であって、誤差を最小にする学習であるネットワーク学習を含む、
請求項2に記載のストレージシステム。 - 前記圧縮器生成処理は、前記処理ユニットを、多次元データセットの取り得る複数のスケールの各々について構成することを含み、
前記ネットワーク学習は、スケール毎の処理ユニットの学習であって、スケール毎の誤差を要素とした全体誤差を最小にする学習であり、
各スケールについて、誤差は、入力された多次元データセットに関し、劣化度及びビットレートに基づく関数から得られ、
各スケールについて、劣化度は、当該スケールについての入力データセットと、当該入力データセットの当該スケールに対応した符号化器及び復号器を通じて得られた出力データセットとの差分に基づき、
各スケールについて、ビットレートは、当該スケールについて得られた特徴量マップと、当該特徴量マップに基づき当該スケールに対応したエントロピー見積器により算出されたエントロピーとの差分に基づく、
請求項6に記載のストレージシステム。 - 前記ライト処理は、ライト要求を前記プロセッサが受け付けた場合に行われ、
前記ライト要求は、ライト対象の多次元データセットを書き込むことの要求であって、スケールと当該多次元データセットのデータ次元毎のアドレスとが指定された要求であり、
前記ライト処理は、
前記複数のスケールうちの最大のスケールよりも小さい一つ以上のスケールの各々について、前記ライト対象の多次元データセットを、当該スケール向けにダウンサンプリングすることと、
前記ライト要求で指定されたスケールについて、前記ライト対象の多次元データセットに関し当該スケールについて得られた特徴量マップと、当該特徴量マップに基づき当該スケールに対応したエントロピー見積器により算出されたエントロピーとをエンコーディング処理することにより得られたデータである符号化データセットを書き込むことと、
前記ライト要求で指定されたスケールとデータ次元毎のアドレスと、符号化データセットの書込み先の記憶領域の物理アドレスとの関連付けを表す論物情報を生成することと
を含む、
請求項2に記載のストレージシステム。 - 前記プロセッサが、リード要求を受け付けた場合に、リード処理を行い、
前記リード要求は、リード対象の多次元データセットを読み出すことの要求であって、スケールと当該多次元データセットのデータ次元毎のアドレスとが指定された要求であり、
前記リード処理は、
前記論物情報を基に、前記リード要求で指定されたスケールとデータ次元毎のアドレスとに対応した物理アドレスを特定することと、
前記特定された物理アドレスが表す記憶領域から、符号化データセットを読み出すことと、
読み出された符号化データをデコーディング処理することにより得られたデータセットに従う、前記リード要求で指定されたスケールでの多次元データセットを返すことと
を含む、
請求項8に記載のストレージシステム。 - 前記プロセッサが、データパターンの特徴量マップが関連付いたパターン検索要求を受け付けた場合、パターン検索処理を行い、
前記パターン検索処理は、
前記パターン検索要求に関連付いた特徴量マップを符号化処理することにより得られた符号化データセットのパターンに一致するパターンを持つ符号化データセットを前記記憶装置から探すことと、
見つかった符号化データセットの物理アドレスに関連付いている、スケールとデータ次元毎のアドレスとを、返すことと
を含む、
請求項8に記載のストレージシステム。 - 前記ネットワーク学習において、前記プロセッサは、
特徴量マップを、チャネル方向に複数の部分特徴量マップに分割し、
当該複数の部分特徴量マップの各々について、当該部分特徴量マップを所定の確率でゼロにし、前記誤差を最小にする学習を行い、
前記プロセッサは、ライト処理において、
ライト対象の多次元データセットに基づく入力データセットの特徴量マップを、チャネル方向に複数の部分特徴量マップに分割し、
当該複数の部分特徴量マップにそれぞれ対応した複数の符号化データセットをそれぞれ複数の記憶装置に書き込み、
前記プロセッサは、リード処理において、
前記複数の記憶装置のうち障害のある記憶装置がある場合、当該記憶装置以外の一つ以上の記憶装置からそれぞれ一つ以上の符号化データセットを読み出し、当該読み出された一つ以上の符号化データセットの各々を復号処理することにより得られたデータセットに基づくデータセットを、返す、
請求項6に記載のストレージシステム。 - 前記プロセッサは、前記次元設定情報を基に、複数のデータ次元グループを決定し、
前記プロセッサは、前記符号化器及び前記復号器の少なくとも一つについて、
前記決定した複数のデータ次元グループにそれぞれ対応した複数のカーネルを構成し、
前記複数のカーネルにそれぞれ対応した複数のコンボリューション層をシーケンシャルとし、
前記複数のデータ次元グループの各々は、相関の高い一つ以上のデータ次元が属するグループである、
請求項3に記載のストレージシステム。 - 前記圧縮器生成処理は、前記処理ユニットを、多次元データセットの取り得る複数のスケールの各々について構成することを含み、
前記ネットワーク学習は、スケール毎の処理ユニットの学習であって、スケール毎の誤差を要素とした全体誤差を最小にする学習であり、
前記ネットワーク学習は、超解像学習を含み、
前記超解像学習は、
前記圧縮器に入力される多次元データセットのスケールよりも大きいスケール向けにアップサンプリングされたデータセットを、当該大きいスケールに対応した処理ユニットに対する入力とした学習と、
前記圧縮器に入力される多次元データセットのスケール以外の一つ以上のスケールの各々について、当該スケール向けにアップサンプリングされたデータを当該スケールに対応した処理ユニットに対する入力とした学習と
のうちの少なくとも一つである、
請求項6に記載のストレージシステム。 - 前記処理ユニットは、前記符号化器に入力されるデータセットと前記復号器から出力されたデータセットとの差のエントロピーを見積もる別のエントロピー見積器を含み、
前記ネットワーク学習は、ロス関数が最小となるよう前記符号化器、前記復号器及び前記エントロピー見積器を学習し、当該ロス関数が最大となるように前記別のエントロピー見積器を学習することを含む、
請求項6に記載のストレージシステム。 - 前記プロセッサは、
入力された多次元データセットの統計を解析し、
当該解析の結果を基に、データ次元数と、データ次元毎の属性とを特定し、
特定されたデータ次元数と、データ次元毎の属性とを基に、前記次元設定情報を作成又は更新する、
請求項1に記載のストレージシステム。 - 多次元データセットのデータ次元毎の属性を表す情報である次元設定情報を参照し、
当該次元設定情報が表す、データ次元毎の属性を表す情報を基に、圧縮器を生成する、
方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020002919A JP7336995B2 (ja) | 2020-01-10 | 2020-01-10 | ストレージシステム、及び、記憶制御方法 |
US17/761,782 US11922018B2 (en) | 2020-01-10 | 2020-12-18 | Storage system and storage control method including dimension setting information representing attribute for each of data dimensions of multidimensional dataset |
PCT/JP2020/047314 WO2021140867A1 (ja) | 2020-01-10 | 2020-12-18 | ストレージシステム、及び、記憶制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020002919A JP7336995B2 (ja) | 2020-01-10 | 2020-01-10 | ストレージシステム、及び、記憶制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021111882A true JP2021111882A (ja) | 2021-08-02 |
JP7336995B2 JP7336995B2 (ja) | 2023-09-01 |
Family
ID=76787962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020002919A Active JP7336995B2 (ja) | 2020-01-10 | 2020-01-10 | ストレージシステム、及び、記憶制御方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11922018B2 (ja) |
JP (1) | JP7336995B2 (ja) |
WO (1) | WO2021140867A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102492906B1 (ko) * | 2021-10-29 | 2023-01-30 | 한국전자기술연구원 | 강화학습 기반 인메모리 스토리지의 압축 최적화 방법 및 시스템 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114091085B (zh) * | 2022-01-10 | 2022-04-15 | 北京一流科技有限公司 | 用于二元操作的数据访问控制系统及其方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011530234A (ja) * | 2008-07-31 | 2011-12-15 | マイクロソフト コーポレーション | 大規模なデータストレージのための効率的な列ベースデータの符号化 |
WO2016163025A1 (ja) * | 2015-04-10 | 2016-10-13 | 株式会社日立製作所 | データ量削減機能に関する課金額を算出する方法及び管理システム |
JP2018074604A (ja) * | 2017-12-19 | 2018-05-10 | 株式会社高速屋 | データ圧縮符号化方法、復号化方法、その装置、及び、そのプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3952518B2 (ja) * | 1996-03-29 | 2007-08-01 | 株式会社日立製作所 | 多次元データ処理方法 |
US7698285B2 (en) * | 2006-11-09 | 2010-04-13 | International Business Machines Corporation | Compression of multidimensional datasets |
US10360240B2 (en) * | 2016-08-08 | 2019-07-23 | International Business Machines Corporation | Providing multidimensional attribute value information |
JP6826021B2 (ja) | 2017-11-20 | 2021-02-03 | 株式会社日立製作所 | ストレージシステム |
US11334280B2 (en) * | 2020-06-30 | 2022-05-17 | Western Digital Technologies, Inc. | Storage device feature extraction optimization |
-
2020
- 2020-01-10 JP JP2020002919A patent/JP7336995B2/ja active Active
- 2020-12-18 US US17/761,782 patent/US11922018B2/en active Active
- 2020-12-18 WO PCT/JP2020/047314 patent/WO2021140867A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011530234A (ja) * | 2008-07-31 | 2011-12-15 | マイクロソフト コーポレーション | 大規模なデータストレージのための効率的な列ベースデータの符号化 |
WO2016163025A1 (ja) * | 2015-04-10 | 2016-10-13 | 株式会社日立製作所 | データ量削減機能に関する課金額を算出する方法及び管理システム |
JP2018074604A (ja) * | 2017-12-19 | 2018-05-10 | 株式会社高速屋 | データ圧縮符号化方法、復号化方法、その装置、及び、そのプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102492906B1 (ko) * | 2021-10-29 | 2023-01-30 | 한국전자기술연구원 | 강화학습 기반 인메모리 스토리지의 압축 최적화 방법 및 시스템 |
Also Published As
Publication number | Publication date |
---|---|
US20220382459A1 (en) | 2022-12-01 |
JP7336995B2 (ja) | 2023-09-01 |
US11922018B2 (en) | 2024-03-05 |
WO2021140867A1 (ja) | 2021-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11508095B2 (en) | Hierarchical point cloud compression with smoothing | |
US11010928B2 (en) | Adaptive distance based point cloud compression | |
US11461935B2 (en) | Point cloud compression | |
US10897269B2 (en) | Hierarchical point cloud compression | |
US20200111236A1 (en) | Point cloud compression using fixed-point numbers | |
US20210103780A1 (en) | Trimming Search Space For Nearest Neighbor Determinations in Point Cloud Compression | |
US8990217B2 (en) | Lossless compression of high nominal-range data | |
US11604584B2 (en) | Storage system | |
WO2021140867A1 (ja) | ストレージシステム、及び、記憶制御方法 | |
US20070233477A1 (en) | Lossless Data Compression Using Adaptive Context Modeling | |
WO2012049863A1 (ja) | 操作ログ格納システム、装置、およびプログラム | |
US20220365699A1 (en) | Storage system and storage cost optimization method | |
CN111727445A (zh) | 局部熵编码的数据压缩 | |
Hooda et al. | A survey on 3D point cloud compression using machine learning approaches | |
Fan et al. | Deep geometry post-processing for decompressed point clouds | |
CN107231556B (zh) | 一种图像云储存设备 | |
US20230086264A1 (en) | Decoding method, encoding method, decoder, and encoder based on point cloud attribute prediction | |
JP7233875B2 (ja) | 作成方法、コンピュータ及びプログラム | |
US20220392117A1 (en) | Data compression and decompression system and method thereof | |
Mamatha et al. | Significance of pre-processing and its impact on lossless hyperspectral image compression | |
US11256422B2 (en) | Storage system and compressed sensor data recording method for sensors grouped based on parameters | |
US20230274465A1 (en) | Information compression system and information compression method | |
US20240070927A1 (en) | Image compression performance optimization for image compression | |
WO2023070424A1 (zh) | 一种数据库数据的压缩方法及存储设备 | |
JP2022127884A (ja) | 演算装置、圧縮方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230815 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7336995 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |