CN112083877B - 一种车辆物联网云存储系统数据分组方法 - Google Patents

一种车辆物联网云存储系统数据分组方法 Download PDF

Info

Publication number
CN112083877B
CN112083877B CN202010507955.1A CN202010507955A CN112083877B CN 112083877 B CN112083877 B CN 112083877B CN 202010507955 A CN202010507955 A CN 202010507955A CN 112083877 B CN112083877 B CN 112083877B
Authority
CN
China
Prior art keywords
data
access
cache
sequence
storage system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010507955.1A
Other languages
English (en)
Other versions
CN112083877A (zh
Inventor
朱东杰
杜海文
王大方
杨博文
刘学
胡浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Xuandun Automobile Technology Co ltd
Harbin Institute of Technology Weihai
Original Assignee
Suzhou Xuandun Automobile Technology Co ltd
Harbin Institute of Technology Weihai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Xuandun Automobile Technology Co ltd, Harbin Institute of Technology Weihai filed Critical Suzhou Xuandun Automobile Technology Co ltd
Priority to CN202010507955.1A priority Critical patent/CN112083877B/zh
Publication of CN112083877A publication Critical patent/CN112083877A/zh
Application granted granted Critical
Publication of CN112083877B publication Critical patent/CN112083877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种车辆物联网云存储系统数据分组方法，涉及分布式数据管理技术领域，从车辆物联网分布式存储系统的访问特征入手，根据云存储系统数据访问的时间空间局部性，将具有强访问关联关系的数据进行分组。首先，通过模拟有限缓存空间下的数据的访问，获得缓存快照并建立缓存事务。其次，建立基于缓存事务的向量化数据访问特征，对数据进行初步分组。最后，以初步分组为点，数据间访问强度为边，按照访问强度从高到低的顺序建立关系图，动态的将形成的完全子图合并成数据分组。当数据分组中任何数据被访问时，其所在分组将被一起预取到缓存中。此方法减少了数据访问时的I/O次数和访问延时，整体上提升了车辆物联网云存储系统的数据读取效率。

Description

一种车辆物联网云存储系统数据分组方法
技术领域
本发明涉及分布式数据管理技术领域，详细讲是一种I/O访问次数低，延时小的车辆物联网云存储系统数据分组方法。
背景技术
我们知道，车辆物联网分布式存储系统中保存着大量非结构化传感器数据，此类数据以独立的小文件形式存储在HDD中。针对车辆物联网数据在存储系统中的频繁读写导致的高延时，数据预取技术通过将具有访问关联性的数据提前加载至缓存，减少了数据读取过程中的磁盘I/O延时消耗。针对磁盘存储系统导致HDD设备I/O访问频率过高，数据合并存储技术通过将非结构化数据合并存储成大文件，减少了数据访问的I/O数量，从而提升存储系统数据访问并发量影响。但数据预取技术运算过程产生额外延时消耗，数据合并存储技术合并后的文件中数据关联性较低。现有车辆物联网存储系统的存储效率低。
发明内容
本发明的目的是解决上述现有技术的不足，提供一种I/O访问次数低，延时小的车辆物联网云存储系统数据分组方法。
本发明解决上述现有技术的不足所采用的技术方案是：
一种车辆物联网云存储系统数据分组方法，其特征在于包括如下步骤：
步骤一，收集车辆物联网云存储系统的(当前(10-50分钟)时刻起优选15分钟前的) 数据访问日志，得到数据历史访问序列；
步骤二，在车辆物联网云存储系统中建立FIFO缓存；
步骤三，按照(车辆物联网云存储系统的)数据历史访问序列顺序，将(车辆物联网云存储系统的数据)数据加入FIFO缓存，当FIFO缓存中替出数据总量不小于FIFO缓存空间时，将FIFO缓存中所有数据的块地址集合记为一次缓存事务，将替出数据总量重置为0，直到数据历史访问序列所对应的数据全部通过FIFO缓存，为(每次的)缓存事务((按产生的顺序) 依次)标记序号；
步骤四，分别查找数据访问日志中每个数据的块地址出现过的缓存事务，为每个数据构造数据访问特征的向量；
步骤五，计算全部数据间的访问特征的向量距离，如果两个数据间的向量距离小于两个向量的模的平均值的10％，将它们合并成一个初步分组；
步骤六，计算初步分组间访问关联关系强度，建立并初始化数据访问关系图；初始化的数据访问关系图为以初步分组为点的图；
步骤七，以初步分组间访问关联关系为边，将边依次加入初始化的数据访问关系图中(将全部初步分组的点连接成点线图)；如果将边依次加入初始化的数据访问关系图的过程中出现完全子图，立即将完全子图中的全部点合并成新的点，直到所有边全部加入初始化的数据访问关系图。
本发明中所述的FIFO缓存空间大小为存储节点运行时缓存空间大小的10％-100％；优选 40％-60％。
本发明步骤四中所述的分别查找数据访问日志中每个数据的块地址出现过的缓存事务的方法为：为缓存事务中的每个数据块地址建立倒排索引；获得每个数据块地址所在的缓存事务序号集合；所述为每个(任意一个)数据构造数据访问特征的向量的方法为：构造一个维数为缓存事务总数量的列向量，列向量的维度与缓存事务一一对应，列向量的维度的顺序与缓存事务序号顺序相同，出现该数据的块地址缓存事务所对应的列向量的维度的值设为1，列向量的其他维数的值记为0。
本发明步骤五中所述的向量的模的计算方式为：向量中每个向量值的平方值相加后的正平方根值。
本发明步骤六中所述的初步分组间访问关联关系强度的计算方法为：分别找到每一个缓存事务中每一个数据的块地址所在的初步分组，得到该缓存事务对应的初步分组集合，将集合中的初步分组两两建立一次访问关联关系；统计得到的初步分组间建立访问关联关系的总数量为初步分组间访问关联关系强度。
本发明步骤七中所述的将边依次加入初始化的数据访问关系图中的顺序为，按照初步分组间访问关联关系总数量从高到低的顺序。所述出现完全子图的条件为：点之间相互有边连接的数量超过点数*(点数-1)*0.4。
所述数据历史访问序列格式包括数据逻辑块地址和数据块大小。缓存事务(依次)标记序号是根据数据进入FIFO缓存的顺序依次标记序号，序号从1开始以1为间隔递增。
本发明从车辆物联网分布式存储系统的访问特征入手，根据云存储系统数据访问的时间空间局部性，将具有强访问关联关系的数据进行分组。首先，通过模拟有限缓存空间下的数据的访问，获得缓存快照并建立缓存事务。其次，建立基于缓存事务的向量化数据访问特征，对数据进行初步分组。最后，以初步分组为点，数据间访问强度为边，按照访问强度从高到低的顺序建立关系图，动态的将形成的完全子图合并成数据分组。当数据分组中任何数据被访问时，其所在分组将被一起预取到缓存中。此方法采用离线关联性分析方法，将具有稳定的访问关联关系的数据聚合成互斥的数据分组，即对任意数据，其不会出现在两个数据分组中。通过将数据分组中的数据合并存储至车联网云平台存储节点，使得预取与当前访问数据具有访问关联性数据到缓存的过程，可以通过一次I/O读取合并存储后的大文件实现。这将数据预取的多次I/O变成了一次I/O，大幅减少了数据访问过程I/O次数，提高了云平台数据访问并发量。同时，此方法在查找与当前访问数据具有访问关联性数据的过程中，无需额外计算，只需获取合并存储后的大文件中的数据索引即可。这减少了数据预取过程中关系运算所产生的额外延时，减少了车联网云平台数据访问延时。实验结果表明，在使用车辆物联网分布式存储系统实际运行数据集，且模拟缓存空间大小取存储节点运行时缓存空间50％的情况下，本发明所提出的方法与Mithril预取算法相比，减少了43％的I/O次数和12％的访问延时。因此，本发明的提出可以有效减少数据访问的I/O次数和访问延时，整体上提升了车辆物联网云存储系统的数据读取效率。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
为了更好说明本实施例，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
一种车辆物联网云存储系统数据分组方法，包括以下步骤：
步骤S10，收集车辆物联网云存储系统的数据访问日志，通常收集当前时刻起10-50分钟(优选15分钟)前的数据访问日志，得到数据历史访问序列；
在本实施例中，车辆物联网云存储系统数据访问日志使用Linux系统下blktrace工具进行采集，使用blkparse工具取出当前时刻起15分钟前的数据访问日志中的每一次访问的数据逻辑块地址和数据块大小。
步骤S20，在车辆物联网云存储系统中建立FIFO缓存；FIFO缓存的空间大小为存储节点运行时缓存空间大小的50％。
在得到数据历史访问序列后，存储结点建立模拟缓存(FIFO缓存)，模拟缓存空间不超过存储结点部署时为数据读写准备的缓存空间即可，模拟缓存(FIFO缓存)空间初始时不包含任何数据。
步骤S30，按照车辆物联网云存储系统的数据历史访问序列顺序，将车辆物联网云存储系统的数据加入FIFO缓存，当FIFO缓存中替出数据总量不小于FIFO缓存空间时，将FIFO缓存中所有数据的块地址集合记为一次缓存事务，将替出数据总量重置为0，直到数据历史访问序列所对应的车辆物联网云存储系统的数据全部通过FIFO缓存，为每次的缓存事务按产生的顺序依次标记序号；
按照数据访问日志的顺序将数据加入FIFO缓存的过程中，当FIFO缓存中存储的数据大于等于模拟缓存空间大小后，会将最先加入FIFO缓存的数据Dx替出，累计Dx所占空间大小， Dx所占空间大小的累计值大于等于模拟缓存空间时，将FIFO缓存中当前所有数据的块地址集合记为一次缓存事务，标记缓存事务序号，将Dx所占空间大小的累计值重置为0。所述的模拟缓存空间为FIFO缓存的空间，Dx为被替出的数据。
步骤S40，分别查找数据访问日志中每个数据的块地址出现过的缓存事务，为每个数据构造数据访问特征的向量。
分别查找数据访问日志中每个数据的块地址出现过的缓存事务的方法为：为缓存事务中的每个数据块地址建立倒排索引；获得每个数据块地址所在的缓存事务序号集合；所述为任意一个数据构造数据访问特征的向量的方法为：构造一个维数为缓存事务总数量的列向量，列向量的维度与缓存事务一一对应，列向量的维度的顺序与缓存事务序号顺序相同，出现该数据的块地址的缓存事务所对应的列向量的维度的值设为1，列向量的其他维度的值记为0。
步骤S50，计算车辆物联网云存储系统的全部数据间的访问特征的向量距离，如果两个数据间的向量距离小于两个向量的模的平均值的10％，将它们合并成一个初步分组；
对于任意两个数据Di和Dj，计算其平均模长为如果|Di-Dj|<|Dij|*0.1，则将Di和Dj合并成一个初步分组。向量的模的计算方式为：向量中每个(维度的)向量值的平方值相加后的正平方根值。
步骤S60，计算初步分组间访问关联关系强度，建立并初始化数据访问关系图；初始化的数据访问关系图为以初步分组为点的点图；初始化的数据访问关系图只有离散的、没有任何边相连的点图。
初步分组间访问关联关系强度的计算方法为：分别找到每一个缓存事务中每一个数据的块地址所在的初步分组，得到该缓存事务对应的初步分组集合，将集合中的初步分组两两建立一次访问关联关系；统计得到的初步分组间建立访问关联关系的总数量为初步分组间访问关联关系强度。
步骤S70，以初步分组间访问关联关系为边，将边依次加入初始化的数据访问关系图中，将全部初步分组的点连接成点线图；如果将边依次加入初始化的数据访问关系图的过程中出现完全子图，立即将完全子图中的全部点合并成新的点，直到所有边(初步分组间访问关联关系)全部加入初始化的数据访问关系图。
所述的将边依次加入初始化的数据访问关系图中的顺序为，按照初步分组间访问关联关系总数量从高到低的顺序。所述出现完全子图的条件为：点之间相互有边连接的数量超过点数*(点数-1)*0.4。
本发明中所述数据历史访问序列格式包括数据逻辑块地址和数据块大小。缓存事务(依次)标记序号是根据数据进入FIFO缓存的顺序依次标记序号，序号从1开始以1为间隔递增。
进一步地，所述步骤S10的具体过程如下：
步骤S11，在车辆物联网云存储系统的存储节点上启动blktrace，监听所有数据存储磁盘。
步骤S12，15分钟后停止blktrace。
步骤S13，将blktrace输出文件作为blkparse的输入，启动blkparse。
步骤S14，将blkparse输出的文本文件中，数据存储磁盘对应的文件系统块层访问日志部分，将访问日志的逻辑块地址和读取长度提取，作为数据历史访问序列文件。
进一步地，所述步骤S20的具体过程如下：
步骤S21，在车辆物联网云存储系统中输入指定模拟缓存大小。
步骤S22，构造模拟缓存，以FIFO缓存形式实现。
步骤S23，清空模拟缓存中的所有数据。
进一步地，所述步骤S30的具体过程如下：
步骤S31，FIFO缓存的替出数据总量置为0。
步骤S32，打开数据访问日志文件。
步骤S33，将数据访问日志逐条读取，判断当前条日志的块地址是否存在于模拟缓存集合中，如果不存在，执行步骤S34，否则执行S37。
步骤S34，将当前条日志对应数据加入模拟缓存。
步骤S35，如果模拟缓存中的数据超过模拟缓存大小，将最先加入模拟缓存的数据在模拟缓存中删除，同时将最先加入模拟缓存集合的数据的块大小累计入FIFO缓存的替出数据，直到模拟缓存中的数据小于等于模拟缓存大小。
步骤S36，如果FIFO缓存的替出数据大于等于模拟缓存大小，将模拟缓存中的数据对应块地址的集合记为一次缓存事务。对其进行以1位间隔的递增标号。将FIFO缓存的替出数据重置为0。
步骤S37，回到步骤S33，直到数据访问日志读取完毕。
进一步地，所述步骤S40的具体过程如下：
步骤S41，为缓存事务中的每个数据块地址建立倒排索引；得到每个数据块地址出现的缓存事务集合。
步骤S42，为每一个数据构造访问特征的向量，其为维度为缓存事务总数量的列向量。列向量的维度与缓存事务一一对应，列向量的维度的顺序与缓存事务序号顺序相同，
步骤S43，对于(任意一)数据Dy，其访问特征向量中，包含数据Dy的缓存事务所对应的列向量的维度的值设为1，列向量的其他维度的值记为0。
进一步地，所述步骤S50的具体过程如下：
步骤S51，对于任意两个数据Di和Dj，计算其平均模长为
步骤S52，如果|Di-Dj|<|Dij|*0.1，则将Di和Dj合并成一个初步分组。
进一步地，所述步骤S60的具体过程如下：
步骤S61，按缓存事务序号顺序读取缓存事务，找到当前缓存事务中每一个数据所在的初步分组。
步骤S62，得到该缓存事务对应的初步分组集合，将集合中的初步分组两两建立一次访问关联关系。
步骤S63，回到步骤S61，直到全部缓存事务读取完毕。
步骤S64，统计得到初步分组间建立访问关联关系的总数量。
步骤S65，以初步分组间访问关联关系为边，初步分组为点，建立数据访问关系图。初始化的数据访问关系图只有离散的，没有任何边相连的点。
进一步地，所述步骤S70的具体过程如下：
步骤S71，按照初步分块间访问关联关系总数量从高到低，将边依次加入图中。
步骤S72，对于当前欲加入图中边的两个端点，其各自所在的完全子图Ci和Cj之间的关系数量加1。
步骤S73，判断当前欲加入图中边的两个端点，统计其各自所在完全子图Ci和Cj之间的关系数量。设Ci中有Pi个点，Cj中有Pj个点，如果其关系数量超过(Pi+Pj)*(Pi+Pj-1)*0.4，则将完全子图Ci和Cj中的所有点组成一个新的完全子图。
步骤S74，回到步骤S71，直到所有初步分块间访问关联关系全部加入关系图。
本发明从车辆物联网分布式存储系统的访问特征入手，根据云存储系统数据访问的时间空间局部性，将具有强访问关联关系的数据进行分组。首先，通过模拟有限缓存空间下的数据的访问，获得缓存快照并建立缓存事务。其次，建立基于缓存事务的向量化数据访问特征，对数据进行初步分组。最后，以初步分组为点，数据间访问强度为边，按照访问强度从高到低的顺序建立关系图，动态的将形成的完全子图合并成数据分组。当数据分组中任何数据被访问时，其所在分组将被一起预取到缓存中。此方法采用离线关联性分析方法，将具有稳定的访问关联关系的数据聚合成互斥的数据分组，即对任意数据，其不会出现在两个数据分组中。通过将数据分组中的数据合并存储至车联网云平台存储节点，使得预取与当前访问数据具有访问关联性数据到缓存的过程，可以通过一次I/O读取合并存储后的大文件实现。这将数据预取的多次I/O变成了一次I/O，大幅减少了数据访问过程I/O次数，提高了云平台数据访问并发量。同时，此方法在查找与当前访问数据具有访问关联性数据的过程中，无需额外计算，只需获取合并存储后的大文件中的数据索引即可。这减少了数据预取过程中关系运算所产生的额外延时，减少了车联网云平台数据访问延时。实验结果表明，在使用车辆物联网分布式存储系统实际运行数据集，且模拟缓存空间大小取存储节点运行时缓存空间50％的情况下，本发明所提出的方法与Mithril预取算法相比，减少了43％的I/O次数和12％的访问延时。因此，本发明的提出可以有效减少数据访问的I/O次数和访问延时，整体上提升了车辆物联网云存储系统的数据读取效率。

Claims (1)

1.一种车辆物联网云存储系统数据分组方法，其特征在于包括如下步骤：
步骤一，收集车辆物联网云存储系统的数据访问日志，得到数据历史访问序列；
步骤二，在车辆物联网云存储系统中建立FIFO缓存；
步骤三，按照数据历史访问序列顺序，将数据加入FIFO缓存，当FIFO缓存中替出数据总量不小于FIFO缓存空间时，将FIFO缓存中所有数据的块地址集合记为一次缓存事务，将替出数据总量重置为0，直到数据历史访问序列中的数据全部通过FIFO缓存，为缓存事务依次记序号；
步骤四，分别查找数据访问日志中每个数据的块地址出现过的缓存事务，为每个数据构造数据访问特征的向量；
步骤五，计算全部数据间的数据访问特征的向量距离，如果两个数据间的数据访问特征的向量距离小于两个数据访问特征的向量的模的平均值的10%，将它们合并成一个初步分组；
步骤六，计算初步分组间访问关联关系强度，建立并初始化数据访问关系图；初始化的数据访问关系图为以初步分组为点的图；
步骤七，以初步分组间访问关联关系为边，将边依次加入初始化的数据访问关系图中；如果将边依次加入初始化的数据访问关系图的过程中出现完全子图，立即将完全子图中的全部点合并成新的点，直到所有边全部加入初始化的数据访问关系图；
所述的FIFO缓存空间大小为存储节点运行时缓存空间大小的10%-100%；
步骤四中所述的分别查找数据访问日志中每个数据的块地址出现过的缓存事务的方法为：为缓存事务中的每个数据块地址建立倒排索引；获得每个数据块地址所在的缓存事务序号集合；所述为每个数据构造数据访问特征的向量的方法为：构造一个维数为缓存事务总数量的列向量，列向量的维度与缓存事务一一对应，列向量的维度的顺序与缓存事务序号顺序相同，出现该数据的块地址的缓存事务所对应的列向量的维度的值设为1，列向量的其他维度的值记为0；
步骤五中所述的向量的模的计算方式为：向量中每个向量值的平方值相加后的正平方根值；
步骤六中所述的初步分组间访问关联关系强度的计算方法为：分别找到每一个缓存事务中每一个数据的块地址所在的初步分组，得到该缓存事务对应的初步分组集合，将集合中的初步分组两两建立一次访问关联关系；统计得到的初步分组间建立访问关联关系的总数量为初步分组间访问关联关系强度；
步骤七中所述的将边依次加入初始化的数据访问关系图中的顺序为，按照初步分组间访问关联关系总数量从高到低的顺序。
CN202010507955.1A 2020-06-05 2020-06-05 一种车辆物联网云存储系统数据分组方法 Active CN112083877B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010507955.1A CN112083877B (zh) 2020-06-05 2020-06-05 一种车辆物联网云存储系统数据分组方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010507955.1A CN112083877B (zh) 2020-06-05 2020-06-05 一种车辆物联网云存储系统数据分组方法

Publications (2)

Publication Number Publication Date
CN112083877A CN112083877A (zh) 2020-12-15
CN112083877B true CN112083877B (zh) 2023-05-09

Family

ID=73736138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010507955.1A Active CN112083877B (zh) 2020-06-05 2020-06-05 一种车辆物联网云存储系统数据分组方法

Country Status (1)

Country Link
CN (1) CN112083877B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788628B1 (en) * 2011-11-14 2014-07-22 Panzura, Inc. Pre-fetching data for a distributed filesystem
CN106528451A (zh) * 2016-11-14 2017-03-22 哈尔滨工业大学（威海） 针对小文件的二级缓存预取的云存储框架及构建方法
US9632936B1 (en) * 2014-12-09 2017-04-25 Parallel Machines Ltd. Two-tier distributed memory

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665755B2 (en) * 2000-12-22 2003-12-16 Nortel Networks Limited External memory engine selectable pipeline architecture
US10168912B2 (en) * 2016-02-17 2019-01-01 Panzura, Inc. Short stroking and data tiering for a distributed filesystem

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788628B1 (en) * 2011-11-14 2014-07-22 Panzura, Inc. Pre-fetching data for a distributed filesystem
US9632936B1 (en) * 2014-12-09 2017-04-25 Parallel Machines Ltd. Two-tier distributed memory
CN106528451A (zh) * 2016-11-14 2017-03-22 哈尔滨工业大学（威海） 针对小文件的二级缓存预取的云存储框架及构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向移动通信大数据的云存储系统优化;杨洪章;罗圣美;施景超;王志坤;季一木;;计算机应用(第S1期);全文 *

Also Published As

Publication number Publication date
CN112083877A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN103577339B (zh) 一种数据存储方法及系统
Lim et al. Towards Accurate and Fast Evaluation of {Multi-Stage} Log-structured Designs
Cheng et al. LRU-SP: a size-adjusted and popularity-aware LRU replacement algorithm for web caching
CN107526550B (zh) 一种基于日志结构合并树的两阶段合并方法
CN112131140B (zh) 基于ssd的支持高效存储空间管理的键值分离存储方法
CN113626431A (zh) 一种基于lsm树的延迟垃圾回收的键值分离存储方法及系统
CN113867627B (zh) 一种存储系统性能优化方法及系统
CN104077242A (zh) 一种缓存管理方法和装置
CN102880615A (zh) 一种数据存储方法和装置
CN114780530A (zh) 基于lsm树键值分离的时序数据存储方法及系统
CN112148217B (zh) 全闪存储系统的重删元数据的缓存方法、装置及介质
CN110795042A (zh) 一种全闪存储系统元数据写缓存刷盘方法及相关组件
CN109144431B (zh) 数据块的缓存方法、装置、设备及存储介质
CN117235088B (zh) 一种存储系统的缓存更新方法、装置、设备、介质及平台
CN112083877B (zh) 一种车辆物联网云存储系统数据分组方法
CN113641681A (zh) 一种空间自适应的海量数据查询方法
US11789639B1 (en) Method and apparatus for screening TB-scale incremental data
CN114896250B (zh) 一种键值分离的键值存储引擎索引优化方法及装置
CN115981555A (zh) 一种数据处理方法、装置、电子设备及介质
CN112328630B (zh) 数据查询方法、装置、设备及存储介质
CN114461635A (zh) 一种MySQL数据库数据存储方法、装置和电子设备
CN107506156B (zh) 一种块设备的io优化方法
CN113326262A (zh) 基于键值数据库的数据处理方法、装置、设备及介质
CN112446490A (zh) 一种网络训练的数据集缓存方法、装置、设备及存储介质
JP5349193B2 (ja) 言語モデル圧縮装置、言語モデルのアクセス装置、言語モデル圧縮方法、言語モデルのアクセス方法、言語モデル圧縮プログラム、言語モデルのアクセスプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant