CN111382162B - 一种基于ai数据的结构化存储介质及其介质的读写方法 - Google Patents

一种基于ai数据的结构化存储介质及其介质的读写方法 Download PDF

Info

Publication number
CN111382162B
CN111382162B CN202010256191.3A CN202010256191A CN111382162B CN 111382162 B CN111382162 B CN 111382162B CN 202010256191 A CN202010256191 A CN 202010256191A CN 111382162 B CN111382162 B CN 111382162B
Authority
CN
China
Prior art keywords
data
area
index
pointer
backup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010256191.3A
Other languages
English (en)
Other versions
CN111382162A (zh
Inventor
胡健
王大勇
夏同飞
夏豪
黄垒
邵善阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Ruiji Intelligent Technology Co ltd
Original Assignee
Anhui Ruiji Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Ruiji Intelligent Technology Co ltd filed Critical Anhui Ruiji Intelligent Technology Co ltd
Priority to CN202010256191.3A priority Critical patent/CN111382162B/zh
Publication of CN111382162A publication Critical patent/CN111382162A/zh
Application granted granted Critical
Publication of CN111382162B publication Critical patent/CN111382162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于AI数据的结构化存储介质及其介质的读写方法，涉及AI数据读写技术领域。本发明包括基本信息区、索引区、数据块位图区、数据区、备份数据块位图区、备份索引区和备份基本信息区，基本信息区用于记录全局的基本信息；索引区用于记录所有AI数据的索引信息；数据块位图区用于记录每个数据块是否被占用；数据区用于记录所有AI数据。本发明通过设计一种紧凑的磁盘存储格式，能充分利用存储介质的磁盘空间，适合在嵌入式设备上进行深度学习相关的AI数据的结构化存储，长期运行也不会产生磁盘碎片和浪费磁盘空间；并采用数据备份恢复机制，在设备异常断电和重启时，不会丢失AI数据，提高了存储介质利用率。

Description

一种基于AI数据的结构化存储介质及其介质的读写方法
技术领域
本发明属于AI数据读写技术领域，特别是涉及一种基于AI数据的结构化存储介质及其介质的读写方法。
背景技术
随着人工智能的兴起，基于深度学习的AI算法已经广泛运用于各行各业。深度学习相关的应用会产生大量的AI数据，比如：人脸识别的应用，需要存储成千上万的人脸底库信息，包括人的姓名、民族、身份证号和人脸照片等；又比如：车牌识别的应用，需要存储海量的车辆信息，包括：车牌号、车主信息和车辆照片等。在后台服务器中，由于CPU性能较强，且磁盘容量足够，这些AI数据往往以数据库的形式进行存储。但在嵌入式设备中，CPU性能较弱，存储介质的容量有限，采用数据库存储AI数据，无法充分利用磁盘空间。另外，嵌入式设备经常会遇到异常断电和重启等恶劣环境，可能会导致数据库损坏，从而造成AI数据丢失。
为了解决这些问题，需要设计一种更为紧凑的存储格式，以充分利用磁盘的存储空间。同时，该存储格式在设备异常断电和重启时，不能丢失任何AI数据。更为关键的是，需要在CPU性能较弱的嵌入式设备上，提供快速读写多种不同类型的AI数据的方法。
发明内容
本发明的目的在于提供一种基于AI数据的结构化存储介质及其介质的读写方法，通过设计一种紧凑的磁盘存储格式，能充分利用存储介质的磁盘空间，适合于在嵌入式设备上进行深度学习相关的AI数据的结果存储，解决了现有的AI数据容易丢失、存储介质利用率不高的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为一种基于AI数据的结构化存储介质，包括基本信息区、索引区、数据块位图区、数据区、备份数据块位图区、备份索引区和备份基本信息区；
所述基本信息区用于记录全局的基本信息；所述索引区用于记录所有AI数据的索引信息；所述数据块位图区用于记录每个数据块是否被占用；所述数据区用于记录所有AI数据；
所述备份数据块位图区、备份索引区和备份基本信息区分别与基本信息区、索引区、数据块位图区相对应。
优选地，所述基本信息区、索引区、数据块位图区、备份数据块位图区、备份索引区和备份基本信息区开头均设有一固定长度的校验码；所述校验码用于校验后面的数据是否完整和正确。
优选地，所述索引信息结构为已占用标志位、AI数据类型、AI元信息；其中，已占用标志位用于表示该索引是否已被占用；所述AI数据类型表示存储的AI数据的具体类型；所述AI元信息用于记录AI数据的基本属性。
优选地，所述数据区记录的AI数据由多个数据块构成；所述数据块的个数与数据块位图区的位图的位数相同，一个数据块对应位图中字节的一位。
优选地，所述索引信息中保存着指向数据块的指针；所述指针使用四个字节表示，共有四种类型；所述类型包括直接指针、间接指针、双重间接指针、三重间接指针。
本发明为一种基于AI数据的结构化存储介质的读写方法，包括AI数据的写入和AI数据的读取；
所述AI数据的写入包括如下步骤：
步骤X1：读取索引区，找出空闲的索引；
步骤X2：读取数据块位图区，找出空闲的数据块；
步骤X3：将AI数据中的信息按大小进行分类，并保存到各自数据指针所指向的空闲数据块中；
步骤X4：将上述空闲数据块对应的数据块位图区中位图的标志位置为1，表示这些数据块已被占用；
步骤X5：将数据类型、数据指针、数据大小信息保存到索引的元信息中，并将索引的已占用标志位置为1；
所述AI数据的读取包括如下步骤：
步骤D1：读取索引区，对于索引区中的每一个索引，判断是否已被占用；
若是，则获取得到AI数据类型和AI数据元信息；
若否，则该索引中没有存储AI数据；
步骤D2：读取索引区进行校验；
若校验失败，则写入时发生了异常断电和重启的情况，则继续读取备份索引区，并以备份索引区中的索引信息为准；
步骤D3：根据AI数据元信息中的数据指针和数据大小读取数据区中的数据块，并进行合成。
优选地，所述步骤X3中，若数据指针为直接指针，则直接写入指针指向的数据块中；若数据指针为间接指针，则根据AI数据的大小在数据区找到合适数量的数据块，即AI数据的直接写入地址，然后将直接写入地址存储到间接指针所指向的数据块中，最后将数据依次写入这些直接写入地址所指向的数据块中。
优选地，所述步骤D2中，还需要备份的索引区中的数据恢复到索引区中；若读取备份索取区时校验失败，则将索引区中的数据恢复到备份索引区中。
优选地，所述步骤D3中，当进行数据库的合成时；若数据指针为直接指针，则将直接指针转换为数据区中数据块的物理地址，从该物理地址处读取指定大小的数据；若数据指针为间接指针，则将间接指针转换为数据区中数据块的物理地址，从该物理地址处读取数据块后根据数据大小得到一定数量的直接读取指针，再从这些直接读取指针所指向的数据块中读取数据进行合成。
本发明具有以下有益效果：
本发明通过设计一种紧凑的磁盘存储格式，能充分利用存储介质的磁盘空间，适合在嵌入式设备上进行深度学习相关的AI数据的结构化存储，长期运行也不会产生磁盘碎片和浪费磁盘空间；并采用数据备份恢复机制，在设备异常断电和重启时，不会丢失AI数据，提高了存储介质利用率。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的存储介质的整体结构图。
图2是本发明的基本信息区的结构图。
图3是本发明的索引区的结构图。
图4是本发明的单个索引的结构图。
图5是本发明的人脸AI数据元信息的结构图。
图6是本发明的数据块位图区的结构图。
图7是本发明的数据区的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种基于AI数据的结构化存储介质，存储介质将磁盘划分为七个物理区域，包括基本信息区、索引区、数据块位图区、数据区、备份数据块位图区、备份索引区和备份基本信息区；
请参阅图2所示，基本信息区用于记录全局的基本信息，如版本号、索引总数等；
请参阅图3所示，索引区用于记录所有AI数据的索引信息，包含了多个索引，每一条索引记录一条AI数据的元信息，可以根据这些元信息，在数据区找到对应的AI数据。比如，如果需要存储最多5万条人脸AI数据和3万条车辆AI数据，则索引总数应为50000+30000＝80000；数据块位图区用于记录每个数据块是否被占用；数据区用于记录所有AI数据；
由于不同AI数据需要保存的信息不一样，为了方便查找和扩展，索引信息中只保存数据的类型，具体的数据通过不同类型的元信息中的指针进行查找。对于一些描述性的信息，比如人的姓名、身份证号、车牌号等，可以采用xml、json等格式进行合成后再存储，以便于存储和扩展。需要读取这些信息时，再从xml、json中进行解析即可。比如：对于人脸，可采用xml报文的格式存储人脸描述信息：
<F Name＝""ID＝""Nation＝""/>
其中，Name为姓名，ID为身份证号，Nation为民族。
备份基本信息区、备份索引区和备份数据块位图区分别与基本信息区、索引区、数据块位图区相对应，主要是为了备份数据，并避免异常断电和重启导致的数据丢失。
其中，基本信息区、索引区、数据块位图区、备份数据块位图区、备份索引区和备份基本信息区开头均设有一个16字节长度的校验码；校验码用于校验后面的数据是否完整和正确；当写入AI数据时，会按照一定算法计算后面所有数据的校验码并更新；当读取AI数据时，会按照相同算法计算后面所有数据的校验码，并与开头的校验码进行比较，如果相等，则说明后面的数据是完整和正确的。
请参阅图4所示，每个索引占用36个字节的固定长度，索引信息结构为已占用标志位、AI数据类型、AI元信息；其中，已占用标志位用于表示该索引是否已被占用；AI数据类型表示存储的AI数据的具体类型；AI元信息用于记录AI数据的基本属性，比如：1表示人脸AI数据，2表示车辆AI数据；AI元信息用于记录AI数据的基本属性，比如：数据大小、数据指针等。
以人脸为例，如图5所示，其元信息的结构如下：
描述信息直接指针：4个字节，人脸描述信息所指向的指针。由于描述信息不会很大，因此使用直接指针即可。
人脸图片大小：4个字节。
人脸图片间接指针：4个字节，指向人脸图片数据的间接指针，大小不超过256KB。
人脸特征值大小：4个字节。
人脸特征值间接指针：4个字节，指向人脸特征值的间接指针，大小不超过256KB。
保留：12个字节，用于保留和扩展。
请参阅图7所示，数据区记录的AI数据由多个数据块构成；数据块的个数与数据块位图区的位图的位数相同，一个数据块对应位图中字节的一位。每个数据块的大小为1KB，数据块是否空闲，由数据块位图区进行判定。
请参阅图6所示，数据块位图区记录每个数据块是否已被占用，每个数据块占用1位，0表示未被占用，1表示已被占用。
其中，索引信息中保存着指向数据块的指针；指针使用四个字节表示，共有四种类型；类型包括直接指针、间接指针、双重间接指针、三重间接指针。
在本实施例中，将一个数据块的大小固定为1K字节。直接指针直接指向一个数据块，可以表示最多1K字节的数据。间接指针先指向一个数据块，数据块里全部都是指针，每个指针再指向各自的数据块，可以表示最多(1K/4)*1K＝256KB字节的数据。双重间接指针，与间接指针类似，可以表示最多(1K/4)*(1K/4)*1K＝64MB字节的数据。三重间接指针，可以表示最多(1K/4)*(1K/4)*(1K/4)*1K＝16GB字节的数据。
索引中还保存着对应数据的大小，根据数据大小就能确定使用了多少个指针，以及最后一个指针指向的数据的实际大小。
本发明为一种基于AI数据的结构化存储介质的读写方法，包括AI数据的写入和AI数据的读取；
AI数据的写入包括如下步骤：
步骤X1：读取索引区，找出空闲的索引；如果没有找到空闲的索引，则写入失败；
步骤X2：读取数据块位图区，找出空闲的数据块；找到空闲的数据块后，还需判断空闲数据块的大小是否小于写入的AI数据的大小，如果是，则写入失败。当使用间接指针时，空闲数据块还需要包括间接指针所指向的数据块包含的指针指向的数据块。
步骤X3：将AI数据中的信息按大小进行分类，并保存到各自数据指针所指向的空闲数据块中；
步骤X4：将上述空闲数据块对应的数据块位图区中位图的标志位置为1，表示这些数据块已被占用；为了防止设备异常断电和重启导致的数据丢失，需要对备份数据块位图区进行同样的操作；
步骤X5：将数据类型、数据指针、数据大小信息保存到索引的元信息中，并将索引的已占用标志位置为1；为了防止设备异常断电和重启导致的数据丢失，需要对备份索引区进行同样的操作；
AI数据的读取包括如下步骤：
步骤D1：读取索引区，对于索引区中的每一个索引，判断是否已被占用；
若是，则获取得到AI数据类型和AI数据元信息；
若否，则该索引中没有存储AI数据；
步骤D2：读取索引区进行校验；
若校验失败，则写入时发生了异常断电和重启的情况，则继续读取备份索引区，并以备份索引区中的索引信息为准；
步骤D3：根据AI数据元信息中的数据指针和数据大小读取数据区中的数据块，并进行合成。
其中，步骤X3中，若数据指针为直接指针，则直接写入指针指向的数据块中；若数据指针为间接指针，则根据AI数据的大小在数据区找到合适数量的数据块，即AI数据的直接写入地址，然后将直接写入地址存储到间接指针所指向的数据块中，最后将数据依次写入这些直接写入地址所指向的数据块中。双重间接指针和三重间接指针的写入方法与此类似。
比如，对于人脸AI数据，假设人脸图片大小为12.6KB，需要在数据区找到12.6K/1K向上取整共计13个空闲数据块，然后将这13个数据块的地址存储到人脸图片间接指针所指向的数据块中，最后将人脸图片数据依次写入这13个数据块中。
其中，步骤D2中，还需要备份的索引区中的数据恢复到索引区中；若读取备份索取区时校验失败，则将索引区中的数据恢复到备份索引区中，从而形成一个相互备份的恢复机制。
其中，步骤D3中，当进行数据库的合成时；若数据指针为直接指针，则将直接指针转换为数据区中数据块的物理地址，从该物理地址处读取指定大小的数据；若数据指针为间接指针，则将间接指针转换为数据区中数据块的物理地址，从该物理地址处读取数据块后根据数据大小得到一定数量的直接读取指针，再从这些直接读取指针所指向的数据块中读取数据进行合成，双重间接指针和三重间接指针的读取方法与此类似。
比如，对于人脸AI数据，假设人脸图片大小为12.6KB，将人脸图片间接指针转换为数据区中数据块的物理地址，从该物理地址处读取数据块后得到12.6K/1K向上取整共计13个直接读取指针，再从这13个指针所指向的数据块中读取数据，其中，前12个指针读取整个数据块，第13个数据块读取0.6KB大小的数据，最后进行合成即可。
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (8)

1.一种基于AI数据的结构化存储介质，包括基本信息区、索引区、数据块位图区、数据区、备份数据块位图区、备份索引区和备份基本信息区，其特征在于：
所述基本信息区用于记录全局的基本信息；所述索引区用于记录所有AI数据的索引信息；所述数据块位图区用于记录每个数据块是否被占用；所述数据区用于记录所有AI数据；
所述备份数据块位图区、备份索引区和备份基本信息区分别与基本信息区、索引区、数据块位图区相对应；
所述索引信息结构为已占用标志位、AI数据类型、AI元信息；其中，已占用标志位用于表示该索引是否已被占用；所述AI数据类型表示存储的AI数据的具体类型；所述AI元信息用于记录AI数据的基本属性。
2.根据权利要求1所述的一种基于AI数据的结构化存储介质，其特征在于，所述基本信息区、索引区、数据块位图区、备份数据块位图区、备份索引区和备份基本信息区开头均设有一固定长度的校验码；所述校验码用于校验后面的数据是否完整和正确。
3.根据权利要求1所述的一种基于AI数据的结构化存储介质，其特征在于，所述数据区记录的AI数据由多个数据块构成；所述数据块的个数与数据块位图区的位图的位数相同，一个数据块对应位图中字节的一位。
4.根据权利要求1或3所述的一种基于AI数据的结构化存储介质，其特征在于，所述索引信息中保存着指向数据块的指针；所述指针使用四个字节表示，共有四种类型；所述类型包括直接指针、间接指针、双重间接指针、三重间接指针。
5.一种基于AI数据的结构化存储介质的读写方法，包括AI数据的写入和AI数据的读取,其特征在于：
所述AI数据的写入包括如下步骤：
步骤X1：读取索引区，找出空闲的索引；
步骤X2：读取数据块位图区，找出空闲的数据块；
步骤X3：将AI数据中的信息按大小进行分类，并保存到各自数据指针所指向的空闲数据块中；
步骤X4：将上述空闲数据块对应的数据块位图区中位图的标志位置为1，表示这些数据块已被占用；
步骤X5：将数据类型、数据指针、数据大小信息保存到索引的元信息中，并将索引的已占用标志位置为1；
所述AI数据的读取包括如下步骤：
步骤D1：读取索引区，对于索引区中的每一个索引，判断是否已被占用；
若是，则获取得到AI数据类型和AI数据元信息；
若否，则该索引中没有存储AI数据；
步骤D2：读取索引区进行校验；
若校验失败，则写入时发生了异常断电和重启的情况，则继续读取备份索引区，并以备份索引区中的索引信息为准；
步骤D3：根据AI数据元信息中的数据指针和数据大小读取数据区中的数据块，并进行合成。
6.根据权利要求5所述的一种基于AI数据的结构化存储介质的读写方法，其特征在于，所述步骤X3中，若数据指针为直接指针，则直接写入指针指向的数据块中；若数据指针为间接指针，则根据AI数据的大小在数据区找到合适数量的数据块，即AI数据的直接写入地址，然后将直接写入地址存储到间接指针所指向的数据块中，最后将数据依次写入这些直接写入地址所指向的数据块中。
7.根据权利要求5所述的一种基于AI数据的结构化存储介质的读写方法，其特征在于，所述步骤D2中，还需要备份的索引区中的数据恢复到索引区中；若读取备份索取区时校验失败，则将索引区中的数据恢复到备份索引区中。
8.根据权利要求5所述的一种基于AI数据的结构化存储介质的读写方法，其特征在于，所述步骤D3中，当进行数据库的合成时；若数据指针为直接指针，则将直接指针转换为数据区中数据块的物理地址，从该物理地址处读取指定大小的数据；若数据指针为间接指针，则将间接指针转换为数据区中数据块的物理地址，从该物理地址处读取数据块后根据数据大小得到一定数量的直接读取指针，再从这些直接读取指针所指向的数据块中读取数据进行合成。
CN202010256191.3A 2020-04-02 2020-04-02 一种基于ai数据的结构化存储介质及其介质的读写方法 Active CN111382162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010256191.3A CN111382162B (zh) 2020-04-02 2020-04-02 一种基于ai数据的结构化存储介质及其介质的读写方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010256191.3A CN111382162B (zh) 2020-04-02 2020-04-02 一种基于ai数据的结构化存储介质及其介质的读写方法

Publications (2)

Publication Number Publication Date
CN111382162A CN111382162A (zh) 2020-07-07
CN111382162B true CN111382162B (zh) 2023-09-05

Family

ID=71220172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010256191.3A Active CN111382162B (zh) 2020-04-02 2020-04-02 一种基于ai数据的结构化存储介质及其介质的读写方法

Country Status (1)

Country Link
CN (1) CN111382162B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591947A (zh) * 2010-12-28 2012-07-18 微软公司 用于数据去重复的快速且低ram占用的索引
US8583838B1 (en) * 2010-09-27 2013-11-12 Emc Corporation Techniques for statistics collection in connection with data storage performance
CN104408041A (zh) * 2014-10-13 2015-03-11 深圳市德传技术有限公司 一种gps数据的保存方法
US9047017B1 (en) * 2011-12-20 2015-06-02 Emc Corporation Techniques for automated evaluation and movement of data between storage tiers
CN107544873A (zh) * 2017-08-28 2018-01-05 郑州云海信息技术有限公司 一种存放备份数据的备份系统和方法
WO2018013378A1 (en) * 2016-07-14 2018-01-18 Microsoft Technology Licensing, Llc Online repair of corrupted data blocks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8583838B1 (en) * 2010-09-27 2013-11-12 Emc Corporation Techniques for statistics collection in connection with data storage performance
CN102591947A (zh) * 2010-12-28 2012-07-18 微软公司 用于数据去重复的快速且低ram占用的索引
US9047017B1 (en) * 2011-12-20 2015-06-02 Emc Corporation Techniques for automated evaluation and movement of data between storage tiers
CN104408041A (zh) * 2014-10-13 2015-03-11 深圳市德传技术有限公司 一种gps数据的保存方法
WO2018013378A1 (en) * 2016-07-14 2018-01-18 Microsoft Technology Licensing, Llc Online repair of corrupted data blocks
CN107544873A (zh) * 2017-08-28 2018-01-05 郑州云海信息技术有限公司 一种存放备份数据的备份系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
翁海星 ; 宫学庆 ; 朱燕超 ; 胡华梁 ; .集群环境下分布式索引的实现.计算机应用.2016,(01),全文. *

Also Published As

Publication number Publication date
CN111382162A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
US6691136B2 (en) Fast data retrieval based upon contiguous consolidation of records according to frequency of access
US20090037646A1 (en) Method of using a flash memory for a circular buffer
US6636941B1 (en) Enhanced stable disk storage
CN109496292B (zh) 一种磁盘管理方法、磁盘管理装置及电子设备
CN112380071B (zh) 一种快速备份ntfs文件系统的方法
CN112115002B (zh) 从损坏或不可信机械硬盘恢复文件的方法及装置
CN114089915B (zh) 基于flash存储器的文件追加写操作方法及装置
CN111143116A (zh) 一种磁盘坏块处理的方法及装置
CN113986824B (zh) 一种高效存储和检索时序数据的方法
CN111984651A (zh) 一种基于持久性内存的列式存储方法、装置及设备
CN107894875B (zh) 一种rtu数据存储方法
CN111382162B (zh) 一种基于ai数据的结构化存储介质及其介质的读写方法
CN111913890B (zh) 一种基于安全模组的非易失存储器随机化读写方法
CN112698866A (zh) 一种基于Git的代码行生命周期追溯方法及电子装置
CN111737058A (zh) Ic卡及其防掉电数据备份方法或数据恢复方法
CN113032348A (zh) 一种空间数据管理方法、系统及计算机可读存储介质
CN114217741A (zh) 存储装置的存储方法及存储装置
CN113553003A (zh) 一种数据存储装置及停车场数据存储系统
CN112286725A (zh) 数据处理方法、装置及电子设备
JP3231448B2 (ja) Ｉｃカード
CN116610269B (zh) 数据存储方法、装置、存储介质和控制器
CN113342751B (zh) 元数据处理方法、装置、设备和可读存储介质
US8103623B2 (en) Method for accessing data stored in storage medium of electronic device
KR100577518B1 (ko) 어드레스인덱스를 이용한 파일 백업 및 검색 방법
JP2605624B2 (ja) 光ディスク装置のファイルアロケート方式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant