JP2015090615A5 - - Google Patents

Download PDF

Info

Publication number
JP2015090615A5
JP2015090615A5 JP2013230608A JP2013230608A JP2015090615A5 JP 2015090615 A5 JP2015090615 A5 JP 2015090615A5 JP 2013230608 A JP2013230608 A JP 2013230608A JP 2013230608 A JP2013230608 A JP 2013230608A JP 2015090615 A5 JP2015090615 A5 JP 2015090615A5
Authority
JP
Japan
Prior art keywords
key
data
area
size
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013230608A
Other languages
English (en)
Other versions
JP6025149B2 (ja
JP2015090615A (ja
Filing date
Publication date
Application filed filed Critical
Priority to JP2013230608A priority Critical patent/JP6025149B2/ja
Priority claimed from JP2013230608A external-priority patent/JP6025149B2/ja
Priority to US14/491,337 priority patent/US9659048B2/en
Priority to CN201410643041.2A priority patent/CN104636417B/zh
Publication of JP2015090615A publication Critical patent/JP2015090615A/ja
Publication of JP2015090615A5 publication Critical patent/JP2015090615A5/ja
Application granted granted Critical
Publication of JP6025149B2 publication Critical patent/JP6025149B2/ja
Priority to US15/491,417 priority patent/US10740308B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (8)

  1. データを管理するシステムであって、
    データと当該データに対して一意に対応付けられたキーとの組を格納して管理するデータ管理部と、
    前記キーを指定して行われた、当該キーに対応付けられた前記データにアクセスするためのアクセス要求を受け付けるアクセス管理部と、を備え、
    前記データ管理部は、
    アクセス対象となるデータの保存場所の情報を含む第1キーを当該データに対して一意に対応付けられたキーとして、当該データと当該第1キーとの組を格納した第1記憶部と、
    前記第1キーをデータとし、当該第1キーが対応付けられたデータにアクセスする際に前記アクセス要求において指定されるキーである第2キーを当該第1キーに対して一意に対応付けられたキーとして、当該第1キーと当該第2キーとの組を格納した第2記憶部と、
    所定の実行条件を満たした場合に、前記第1記憶部における前記データと前記第1キーとの組を当該第1記憶部の異なる領域に再配置する再配置部と、を備え、
    前記第1記憶部は、
    前記データと前記第1キーとの組における一つの組を格納するレコードのサイズが、予め定められた特定のサイズである第1領域と、
    前記データと前記第1キーとの組における一つの組を格納するレコードのサイズが、当該組のデータ・サイズに応じて設定されたサイズである第2領域と、を備え、
    前記再配置部は、再配置対象の前記データと前記第1キーとの組を当該組のデータ・サイズに適合するレコード・サイズを有する前記第2領域に再配置する、システム。
  2. 前記再配置部は、再配置しようとする前記データと前記第1キーとの組のデータ・サイズに適合するレコード・サイズを有する前記第2領域が存在しない場合は、当該レコード・サイズを有する第2領域を増設し、増設した当該第2領域のレコードに当該組を格納する、請求項1に記載のシステム。
  3. 前記再配置部は、前記実行条件として、前記第1記憶部の前記第1領域または前記第2領域に格納された前記データと前記キーとの組のうち、当該組のデータ・サイズが、当該組が格納されている当該第1領域または当該第2領域に対して設定された閾値よりも大きい場合に、当該組を他の第2領域に再配置する、請求項1に記載のシステム。
  4. 前記再配置部は、前記実行条件として、前記第1記憶部の前記第1領域における前記データと前記キーとの組の保存場所を示すハッシュ値のコリジョンの重複度が予め設定された閾値よりも大きい場合に、当該組を前記第2領域に再配置する、請求項1に記載のシステム。
  5. 前記アクセス要求に基づいて、新規の前記データと前記第2キーとを取得し、前記第1記憶部の前記第1領域における当該データの保存場所を特定して、当該保存場所の情報を含む前記第1キーを生成し、当該第1キーと当該データとの組を特定された当該保存場所に保存し、取得した当該第2キーと作成した当該第1キーとの組を作成し、前記第2記憶部に保存する保存制御部をさらに備える、請求項1に記載のシステム。
  6. 前記再配置部は、前記データと前記第1キーとの組の再配置を行った場合に、当該第1キーに含まれる当該組の保存場所の情報を再配置後の保存場所の情報に置き換えて当該第1キーを更新し、前記第2記憶部に保存されている、再配置された前記データに対応する前記第2キーと前記第1キーとの組における当該第1キーを、再配置後の保存場所に基づいて更新した内容に置き換える、請求項5に記載のシステム。
  7. コンピュータによりデータを管理するためのプログラムであって、
    前記コンピュータが実行することにより、当該コンピュータに、
    第1の実行条件として、記憶部の第1領域または第2領域に格納されたデータとキーとの組のうち、当該組のデータ・サイズが、当該組が格納されている当該第1領域または当該第2領域に対して設定された閾値よりも大きいか否かを判断する処理と、
    第2の実行条件として、前記記憶部の前記第1領域における前記データと前記キーとの組の保存場所を示すハッシュ値のコリジョンの重複度が予め設定された閾値よりも大きいか否かを判断する処理と、
    前記第1の実行条件または前記第2の実行条件の何れかを満たす前記データと前記キーとの組が存在する場合に、当該組を前記第2領域に再配置する処理と、
    を実行させる、プログラム。
  8. コンピュータにより、データを管理する方法であって、
    前記コンピュータが、実行条件として、第1記憶部の第1領域または第2領域に格納されたデータキーとの組のうち、当該組のデータ・サイズが、当該組が格納されている当該第1領域または当該第2領域に対して設定された閾値よりも大きいか否かを判断するステップと、
    前記コンピュータが、前記実行条件として、前記第1記憶部の前記第1領域における前記データと前記キーとの組の保存場所を示すハッシュ値のコリジョンの重複度が予め設定された閾値よりも大きいか否かを判断するステップと、
    前記コンピュータが、前記実行条件の何れかを満たす前記データと前記キーとの組が存在する場合に当該組を前記第2領域に再配置するステップと、
    を含む、方法。
JP2013230608A 2013-11-06 2013-11-06 データを管理するシステムおよび方法 Active JP6025149B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013230608A JP6025149B2 (ja) 2013-11-06 2013-11-06 データを管理するシステムおよび方法
US14/491,337 US9659048B2 (en) 2013-11-06 2014-09-19 Key-Value data storage system
CN201410643041.2A CN104636417B (zh) 2013-11-06 2014-11-06 管理数据的系统和方法
US15/491,417 US10740308B2 (en) 2013-11-06 2017-04-19 Key_Value data storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013230608A JP6025149B2 (ja) 2013-11-06 2013-11-06 データを管理するシステムおよび方法

Publications (3)

Publication Number Publication Date
JP2015090615A JP2015090615A (ja) 2015-05-11
JP2015090615A5 true JP2015090615A5 (ja) 2016-03-31
JP6025149B2 JP6025149B2 (ja) 2016-11-16

Family

ID=53007842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013230608A Active JP6025149B2 (ja) 2013-11-06 2013-11-06 データを管理するシステムおよび方法

Country Status (3)

Country Link
US (2) US9659048B2 (ja)
JP (1) JP6025149B2 (ja)
CN (1) CN104636417B (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6034512B2 (ja) * 2013-12-25 2016-11-30 株式会社日立製作所 計算機システム及びデータ管理方法
JP6508208B2 (ja) * 2014-07-11 2019-05-08 日本電気株式会社 配置装置、配置方法及び配置プログラム
US10089089B2 (en) * 2015-06-03 2018-10-02 The Mathworks, Inc. Data type reassignment
KR102416004B1 (ko) * 2015-09-02 2022-07-04 삼성전자주식회사 인터페이스 회로들, 메모리 모듈들 및 인터페이스 회로들과 메모리 모듈들을 연결하는 스위치 회로를 포함하는 서버 장치
US10437809B1 (en) * 2015-09-28 2019-10-08 Amazon Technologies, Inc. Projection-based updates
CN105354315B (zh) * 2015-11-11 2018-10-30 华为技术有限公司 分布式数据库中子表分裂的方法、子表节点和系统
US10356174B2 (en) * 2016-05-06 2019-07-16 Masergy Communications, Inc. Multi-layer data storage system
US10198461B2 (en) 2016-05-06 2019-02-05 Masergy Communications, Inc. Data storage system
US10846024B2 (en) 2016-05-16 2020-11-24 Commvault Systems, Inc. Global de-duplication of virtual disks in a storage platform
US10425483B2 (en) 2016-05-16 2019-09-24 International Business Machines Corporation Distributed client based cache for keys using demand fault invalidation
US10795577B2 (en) 2016-05-16 2020-10-06 Commvault Systems, Inc. De-duplication of client-side data cache for virtual disks
US10248174B2 (en) 2016-05-24 2019-04-02 Hedvig, Inc. Persistent reservations for virtual disk using multiple targets
US11169706B2 (en) 2016-05-26 2021-11-09 Nutanix, Inc. Rebalancing storage I/O workloads by storage controller selection and redirection
US10706106B2 (en) 2017-02-09 2020-07-07 Micron Technology, Inc. Merge tree modifications for maintenance operations
US10706105B2 (en) * 2017-02-09 2020-07-07 Micron Technology, Inc. Merge tree garbage metrics
US10725988B2 (en) 2017-02-09 2020-07-28 Micron Technology, Inc. KVS tree
US10719495B2 (en) * 2017-02-09 2020-07-21 Micron Technology, Inc. Stream selection for multi-stream storage devices
US10579612B2 (en) * 2017-04-03 2020-03-03 Citrix Systems, Inc. Enforcing uniqueness of property-value pairs in a schemaless data store
CN107145522B (zh) * 2017-04-11 2019-12-31 南京南瑞集团公司 一种数据库数据内容比对方法
US10609172B1 (en) 2017-04-27 2020-03-31 Chicago Mercantile Exchange Inc. Adaptive compression of stored data
WO2019144214A1 (en) * 2017-10-10 2019-08-01 Phemi Systems Corporation Methods and systems for context-specific data set derivation from unstructured data in data storage devices
US10848468B1 (en) 2018-03-05 2020-11-24 Commvault Systems, Inc. In-flight data encryption/decryption for a distributed storage platform
US10915546B2 (en) 2018-10-10 2021-02-09 Micron Technology, Inc. Counter-based compaction of key-value store tree data block
US11100071B2 (en) 2018-10-10 2021-08-24 Micron Technology, Inc. Key-value store tree data block spill with compaction
US10922142B2 (en) 2018-10-31 2021-02-16 Nutanix, Inc. Multi-stage IOPS allocation
US11048755B2 (en) 2018-12-14 2021-06-29 Micron Technology, Inc. Key-value store tree with selective use of key portion
US10852978B2 (en) 2018-12-14 2020-12-01 Micron Technology, Inc. Key-value store using journaling with selective data storage format
US10936661B2 (en) 2018-12-26 2021-03-02 Micron Technology, Inc. Data tree with order-based node traversal
US11580162B2 (en) 2019-04-18 2023-02-14 Samsung Electronics Co., Ltd. Key value append
KR20210017268A (ko) * 2019-08-07 2021-02-17 삼성전자주식회사 사용자 데이터에 대해 암호화 동작을 수행하는 전자 장치
US11507555B2 (en) * 2019-10-13 2022-11-22 Thoughtspot, Inc. Multi-layered key-value storage
US20210342098A1 (en) * 2020-05-03 2021-11-04 Ionir Systems Ltd. System and method for storing and retrieving data
US20220092046A1 (en) * 2020-09-18 2022-03-24 Kioxia Corporation System and method for efficient expansion of key value hash table
US11853563B1 (en) * 2022-06-17 2023-12-26 Western Digital Technologies, Inc. Key value data storage device with tiers
US11966630B2 (en) 2022-06-27 2024-04-23 Western Digital Technologies, Inc. Key-to-physical table optimization for key value data storage devices

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04206586A (ja) 1990-11-30 1992-07-28 Fujitsu Ltd 半導体発光装置及びその製造方法
JP4206586B2 (ja) 1999-11-12 2009-01-14 株式会社日立製作所 データベース管理方法および装置並びにデータベース管理プログラムを記録した記憶媒体
CN101483605B (zh) * 2009-02-25 2011-04-06 北京星网锐捷网络技术有限公司 数据报文的存储、查找方法和装置
CN102147798A (zh) * 2010-02-10 2011-08-10 华为技术有限公司 处理哈希查找冲突问题的方法和装置
US8756199B2 (en) * 2010-03-01 2014-06-17 Hitachi, Ltd. File level hierarchical storage management system, method, and apparatus
US8694703B2 (en) * 2010-06-09 2014-04-08 Brocade Communications Systems, Inc. Hardware-accelerated lossless data compression
JP2013033345A (ja) 2011-08-01 2013-02-14 Internatl Business Mach Corp <Ibm> トランザクション処理システム、方法及びプログラム
JP2013045378A (ja) 2011-08-26 2013-03-04 Fujitsu Ltd ストレージ制御方法、情報処理装置およびプログラム
JP2013050836A (ja) 2011-08-31 2013-03-14 Nec Corp ストレージシステムとデータ・インテグリティのチェック方法並びにプログラム
JP5733124B2 (ja) * 2011-09-12 2015-06-10 富士通株式会社 データ管理装置、データ管理システム、データ管理方法、及びプログラム
JP2013088920A (ja) 2011-10-14 2013-05-13 Hitachi Ltd 計算機システム及びデータ管理方法
US9489429B2 (en) * 2011-11-16 2016-11-08 Hitachi, Ltd. Computer system, data management method, and program
CN102402622B (zh) * 2011-12-27 2015-09-09 北京人大金仓信息技术股份有限公司 嵌入式内存数据库的内存页面管理调度方法
CN102880628B (zh) * 2012-06-15 2015-02-25 福建星网锐捷网络有限公司 哈希数据存储方法和装置

Similar Documents

Publication Publication Date Title
JP2015090615A5 (ja)
US8719237B2 (en) Method and apparatus for deleting duplicate data
JP2015521310A5 (ja)
JP2014529126A5 (ja)
KR101599177B1 (ko) 복합식 비휘발성 저장 디바이스를 위한 데이터 이송
JP2015524592A5 (ja)
JP2018022529A5 (ja)
GB2550800A (en) Managing data in storage according to a log structure
JP2018514028A5 (ja)
JP2017500670A5 (ja)
JP2011165164A (ja) サービス品質に基づくストレージ階層化及び移動技法のためのシステム及び方法
JP2017518594A5 (ja)
JP2017502435A5 (ja)
JP2016536667A5 (ja)
JP2009505255A5 (ja)
JP2018503154A5 (ja)
JP2012530292A5 (ja)
JP2011186915A5 (ja)
JP2016514880A5 (ja)
US20160335199A1 (en) Extending a cache of a storage system
JP2015072542A5 (ja)
KR101350132B1 (ko) Nvram을 맵핑 테이블 저장 장치로 사용하는 중복 데이터 제거 시스템 및 방법
JP2014191398A5 (ja)
JP2015057696A5 (ja)
CN104516929A (zh) 用于文件系统的方法和装置