CN112000589A - 一种数据写入方法、数据读取方法、装置及电子设备 - Google Patents

一种数据写入方法、数据读取方法、装置及电子设备 Download PDF

Info

Publication number
CN112000589A
CN112000589A CN202010671510.7A CN202010671510A CN112000589A CN 112000589 A CN112000589 A CN 112000589A CN 202010671510 A CN202010671510 A CN 202010671510A CN 112000589 A CN112000589 A CN 112000589A
Authority
CN
China
Prior art keywords
target
data
memory space
space
disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010671510.7A
Other languages
English (en)
Inventor
王甲
鞠鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202010671510.7A priority Critical patent/CN112000589A/zh
Publication of CN112000589A publication Critical patent/CN112000589A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/06—Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G06F12/0646—Configuration or reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/06—Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G06F12/0615—Address space extension
    • G06F12/063—Address space extension for I/O modules, e.g. memory mapped I/O
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools

Abstract

本发明实施例提供了一种数据写入方法、数据读取方法、装置及电子设备，该数据写入方法包括：获取待写入磁盘的目标数据；将所述目标数据写入目标内存空间；根据预先建立的内存空间与磁盘空间的映射关系，确定与所述目标内存空间对应的目标磁盘空间；将所述目标数据写入所述目标磁盘空间。可见，通过本发明实施例提供的技术方案，预先建立了内存空间与磁盘空间的映射关系，这样，在将目标数据从内存写入磁盘时，通过目标内存空间与目标磁盘空间的映射关系，即可以实现目标数据的写入，而不像相关技术那样，文件I/O读写过于频繁，从而可以减少目标数据的丢失，并可以高效地将目标数据写入磁盘。

Description

一种数据写入方法、数据读取方法、装置及电子设备
技术领域
本发明涉及计算机技术领域，特别是涉及一种数据写入方法、数据读取方法、装置及电子设备。
背景技术
随着计算机技术的迅速发展，手机等智能终端越来越普及，安装在智能终端中的应用程序也越来越多。应用程序在运行过程中会产生大量的数据，为了将所产生的数据存储起来，以便后续进行数据采集和分析，需要将所产生的数据从内存写入磁盘中。
由于应用程序在运行过程中产生的数据量通常比较大，相关技术中，应用程序在将所产生的数据从内存写入磁盘的过程中，文件I/O读写过于频繁，可能会导致数据丢失，从而对后续的数据采集和分析产生影响。
发明内容
为了解决背景技术存在的上述技术问题，本发明提供了一种数据写入方法、数据读取方法、装置及电子设备，具体技术方案如下：
在本发明实施例的第一方面，提供了一种数据写入方法，包括：
获取待写入磁盘的目标数据；
将所述目标数据写入目标内存空间；
根据预先建立的内存空间与磁盘空间的映射关系，确定与所述目标内存空间对应的目标磁盘空间；
将所述目标数据写入所述目标磁盘空间。
可选的，所述将目标数据写入所述目标内存空间，包括：
将所述目标数据写入内存中的目标文件中，其中，所述目标文件包括文件头部信息和数据存储区，所述文件头部信息用于描述所述目标文件的属性，所述数据存储区用于存储所述目标数据；
将所述目标文件写入所述目标内存空间。
可选的，所述将所述目标数据写入内存的目标文件中，包括：
将所述目标数据进行序列化处理，得到序列化数据；
将所述序列化数据写入所述目标文件的所述数据存储区中。
可选的，所述将所述目标文件写入所述目标内存空间，包括：
确定目标内存空间的起点地址；
将所述目标文件拷贝到具有所述起点地址的目标内存空间中。
可选的，具有映射关系的内存空间与磁盘空间具有相同大小的存储空间；
所述预先创建内存空间与磁盘空间的映射关系，包括：
分别获取内存空间的第一起点地址及磁盘空间的第二起点地址；
将所述第一起点地址与所述第二起点地址进行对应，得到所述内存空间与所述磁盘空间的映射关系。
在本发明实施例的第二方面，提供了一种数据读取方法，包括：
获取待读取数据所在的目标磁盘空间；
根据预先建立的内存空间与磁盘空间的映射关系，确定所述目标磁盘空间对应的目标内存空间；
从所述目标内存空间读取所述待读取数据。
可选的，从所述目标内存空间读取所述待读取数据，包括：
从所述目标内存空间的目标文件读取所述待读取数据，其中，所述目标文件包括文件头部信息和数据存储区，所述文件头部信息用于描述所述目标文件的属性，所述数据存储区用于存储所述待读取数据。
可选的，从所述目标内存空间的目标文件读取所述待读取数据，包括：
从所述目标内存空间的目标文件读取序列化数据；
将所述序列化数据进行反序列化处理，得到所述待读取数据。
在本发明实施例的第三方面，提供了一种数据写入装置，包括：
目标数据获取模块，用于获取待写入磁盘的目标数据；
第一目标数据写入模块，用于将所述目标数据写入目标内存空间；
目标磁盘空间确定模块，用于根据预先建立的内存空间与磁盘空间的映射关系，确定与所述目标内存空间对应的目标磁盘空间；
第二目标数据写入模块，用于将所述目标数据写入所述目标磁盘空间。
可选的，所述第一目标数据写入模块，包括：
第一目标数据写入单元，用于将所述目标数据写入内存中的目标文件中，其中，所述目标文件包括文件头部信息和数据存储区，所述文件头部信息用于描述所述目标文件的属性，所述数据存储区用于存储所述目标数据；
目标文件写入单元，用于将所述目标文件写入所述目标内存空间。
可选的，所述将第一目标数据写入单元，具体用于：
将所述目标数据进行序列化处理，得到序列化数据；
将所述序列化数据写入所述目标文件的所述数据存储区中。
可选的，所述目标文件写入单元，具体用于：
确定目标内存空间的起点地址；
将所述目标文件拷贝到具有所述起点地址的目标内存空间中。
可选的，具有映射关系的内存空间与磁盘空间具有相同大小的存储空间；
所述装置还包括：空间映射关系建立模块，所述空间映射关系建立模块具体用于：
分别获取内存空间的第一起点地址及磁盘空间的第二起点地址；
将所述第一起点地址与所述第二起点地址进行对应，得到所述内存空间与所述磁盘空间的映射关系。
在本发明实施例的第四方面，提供了一种数据读取装置，包括：
目标磁盘空间获取模块，用于获取待读取数据所在的目标磁盘空间；
目标内存空间确定模块，用于根据预先建立的内存空间与磁盘空间的映射关系，确定所述目标磁盘空间对应的目标内存空间；
数据读取模块，用于从所述目标内存空间读取所述待读取数据。
可选的，所述数据读取模块，包括：
数据读取单元，用于从所述目标内存空间的目标文件读取所述待读取数据，其中，所述目标文件包括文件头部信息和数据存储区，所述文件头部信息用于描述所述目标文件的属性，所述数据存储区用于存储所述待读取数据。
可选的，所述数据读取单元，具体用于：
从所述目标内存空间的目标文件读取序列化数据；
将所述序列化数据进行反序列化处理，得到所述待读取数据。
在本发明实施例的第五方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面所述的数据写入方法的步骤，或者，第二方面所述的数据读取方法。
在本发明实施例的第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的数据写入方法的步骤，或者，第二方面所述的数据读取方法。
在本发明实施例的第七方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行第一方面所述的数据写入方法的步骤，或者，第二方面所述的数据读取方法。
本发明实施例提供的技术方案，获取待写入磁盘的目标数据，将目标数据写入目标内存空间；根据预先建立的内存空间与磁盘空间的映射关系，确定与目标内存空间对应的目标磁盘空间；并将目标数据写入目标磁盘空间。可见，通过本发明实施例提供的技术方案，预先建立了内存空间与磁盘空间的映射关系，这样，在将目标数据从内存写入磁盘时，通过目标内存空间与目标磁盘空间的映射关系，即可以实现目标数据的写入，而不像相关技术那样，文件I/O读写过于频繁，从而可以减少目标数据的丢失，并可以高效地将目标数据写入磁盘。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例的一种数据写入方法的流程图；
图2为本发明实施例提供的一种内存空间与磁盘空间的mmap映射示意图；
图3为本发明实施例的一种数据读取方法的流程图；
图4为本发明实施例的一种日志数据写入与读取的过程示意图；
图5为本发明实施例的一种数据写入装置的结构示意图；
图6为本发明实施例的一种数据读取装置的结构示意图；
图7为本发明实施例的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
随着计算机技术的迅速发展，手机等智能终端越来越普及，安装在智能终端中的应用程序也越来越多。应用程序在运行的过程中，会产生大量的数据。为了将所产生的数据存储起来，以便后续进行数据采集和分析，需要将所产生的数据从内存写入磁盘中。
由于应用程序在运行过程中产生的数据量通常比较大，相关技术中，应用程序在将所产生的数据从内存写入磁盘的过程中，通常文件I/O读写过于频繁，可能会导致数据丢失。
可以理解的是，在实际应用中，应用程序在运行过程中产生的大量数据可以包括日志数据，如果将启动日志、播放日志等核心日志数据丢失，严重影响应用程序的核心数据采集与分析，并会影响用户体验。
为了解决上述因文件I/O读写过于频繁而导致数据丢失的技术问题，本发明实施例提供了一种数据写入方法、数据读取方法、装置及电子设备。
第一方面，首先对本发明实施例提供的一种数据写入方法进行详细阐述。需要说明的是，本发明实施例提供的一种数据写入方法的执行主体可以为手机、平板电脑等终端，本发明实施例对执行主体不做具体限定。
如图1所示，本发明实施例提供的一种数据写入方法，可以包括如下步骤：
S110，获取待写入磁盘的目标数据。
安装在终端中的应用程序在运行过程中，会产生大量数据，为了存储所产生的数据，以便后续步骤中实现数据采集及分析，需要将应用程序运行过程中产生的大量数据写入到磁盘，也就是说，应用程序运行过程中产生的大量数据可以为待写入磁盘的目标数据。
其中，目标数据可以包括应用程序运行过程中产生的日志数据，当然，也可以包括需要写入到磁盘中的其他类型的数据，本发明实施例对目标数据不做具体限定。
S120，将目标数据写入目标内存空间。
其中，内存可以包括多块内存空间，目标内存空间可以为多块内存空间中的任一内存空间。在获取到待写入磁盘的目标数据后，可以将目标数据写入到内存的目标内存空间中。
在一种实施方式中，将目标数据写入目标内存空间，可以包括如下步骤，分别为步骤a1和步骤a2：
步骤a1，确定目标内存空间的起点地址。
步骤a2，将目标数据拷贝到具有起点地址的目标内存空间中。
在该实施方式中，在将目标数据写入目标内存空间时，首先要找到目标内存空间。具体的，可以通过目标内存空间的起点地址进行寻址，从而找到目标内存空间；然后将目标数据拷贝到具有起点地址的目标内存空间，从而准确地将目标数据写入到了目标内存空间。
S130，根据预先建立的内存空间与磁盘空间的映射关系，确定与目标内存空间对应的目标磁盘空间。
在将目标数据写入目标内存空间后，可以根据预先创建的内存空间与磁盘的磁盘空间的映射关系，确定目标内存空间对应的目标磁盘空间。也就是说，内存空间与磁盘空间具有一一映射关系，在确定了目标内存空间后，即可以根据内存空间与磁盘空间二者之间的对应关系，确定目标磁盘空间。
在一种实施方式中，具有映射关系的内存空间与磁盘空间具有相同大小的存储空间；
预先创建内存空间与目标磁盘空间的映射关系，可以包括如下步骤，分别为步骤b1和步骤b2：
步骤b1，分别获取内存空间的第一起点地址及磁盘空间的第二起点地址。
步骤b2，将第一起点地址与第二起点地址进行对应，得到内存空间与磁盘空间的映射关系。
在该实施方式中，可以通过一种内存映射文件的方法mmap将磁盘的一块磁盘空间映射到内存的一块内存空间，映射成功后，应用程序对该块内存空间的修改可以直接反映到该块磁盘空间中。
其中，mmap操作是将磁盘上的文件映射到进程的虚拟内存中，文件一旦映射，应用程序访问该文件，就好像该文件完全驻留在内存中一样。当根据映射文件指针读取数据时，将会返回磁盘中的数据。在系统API中提供了内存映射方法如下:
void*mmap(void*start,size_t length,int prot,int flags,int fd,off_toffset)；
参数含义如下：
start：映射开始地址，设置NULL则让系统决定映射开始地址；
length：映射区域的长度，单位是Byte(字节数)；
prot：映射内存的保护标志，主要是读写相关，是位运算标志；(与下面fd对应句柄打开的设置一致)
flags：映射类型，通常是文件和共享类型；
fd：文件句柄；
off_toffset：被映射对象的起点偏移即起点地址。
如图2所示，为内存空间与磁盘空间的mmap映射示意图。在图2中，off_toffset表示内存空间的起点偏移即起点地址，为了方案描述清楚，可以将该起点地址称为第一起点地址，在将目标数据拷贝至内存空间时，可以通过起点地址进行寻址操作，即可以通过起点地址查找到这段内存空间。
length表示内存空间的存储空间大小，以及磁盘空间的存储空间大小，其中，存储空间大小可以通过字节数来表示。从图2可以看出：内存空间的存储空间大小与磁盘空间的存储空间大小是相同的。
start表示磁盘空间的起点地址，为了方案描述清楚，可以将该起点地址称为第二起点地址。从图2可以看出，第一起点地址和第二起点地址相对应。存储空间与磁盘空间具有映射关系。
S140，将目标数据写入目标磁盘空间。
由于目标数据已经写入到目标内存空间，且目标内存空间与目标磁盘空间具有映射关系，因此，通过目标内存空间与目标磁盘空间的映射关系，可以将目标数据映射到目标磁盘空间，即将目标数据写入目标磁盘空间。
本发明实施例提供的技术方案，获取待写入磁盘的目标数据，将目标数据写入目标内存空间；根据预先建立的内存空间与磁盘空间的映射关系，确定与目标内存空间对应的目标磁盘空间；并将目标数据写入目标磁盘空间。可见，通过本发明实施例提供的技术方案，预先建立了内存空间与磁盘空间的映射关系，这样，在将目标数据从内存写入磁盘时，通过目标内存空间与目标磁盘空间的映射关系，即可以实现目标数据的写入，而不像相关技术那样，文件I/O读写过于频繁，从而可以减少目标数据的丢失，并可以高效地将目标数据写入磁盘。
在图1所示实施例的基础上，S120，将目标数据写入目标内存空间，可以包括如下两个步骤，分别为步骤c1和步骤c2：
步骤c1，将目标数据写入内存中的目标文件中。
其中，目标文件包括文件头部信息和数据存储区，文件头部信息用于描述目标文件的属性，数据存储区用于存储目标数据。
具体的，可以先将目标数据写入到内存中的目标文件中。该目标文件可以是预先创建好的，也可以是终端当前创建的，这都是合理的。举例而言，当目标数据为日志数据时，该目标文件可以为日志文件。
在实际应用中，在将目标数据写入目标文件时，判断内存中当前是否存在可以使用的目标文件，而不是每一次需要目标数据写入到目标文件时均需要创建目标文件，进而可以避免不必要的初始化创建开销影响性能。在判定内存中存在目标文件时，直接将目标数据写入到目标文件中。在判定内存中不存在目标文件时，创建目标文件，以将目标数据写入到创建好的目标文件中。
其中，目标文件结构由两部分组成：文件头部信息与数据存储区，文件头部信息由特定标识组成，文件头部信息可以包括特定字符+API版本号+数据长度。用于描述目标文件的属性，以确保目标文件的唯一性，以及方便操纵该文目标件的对象能够获取到当前该目标文件内部的数据状态。目标数据存储区用于存储目标数据。
步骤c2，将目标文件写入目标内存空间。
在将目标数据写入目标文件后，可以将目标文件写入到目标内存空间中，从而实现了将目标数据写入目标内存空间。
并且，作为本发明实施例的一种实现方式，步骤c1，将目标数据写入内存的目标文件中，可以包括如下步骤，分别为步骤c11和步骤c12：
步骤c11，将目标数据进行序列化处理，得到序列化数据。
应用程序运行过程中所产生的目标数据一般都是由基本数据格式组成，如int/bool/float/string/byte等类型，这些类型具备占用空间小、易于组装等特点；所以在目标数据写入目标文件时，可以将目标数据包装在固定格式的对象结构中，并利用序列化的方式写入到目标文件中，即将目标数据进行序列化处理，序列化处理是将数据结构或对象转换成二进制串的过程，通过将目标数据序列化为二进制文件，以便于在磁盘上读写目标数据。将目标数据序列化的目的是统一目标数据的格式，简化不同目标数据的存储和解析过程。
步骤c12，将序列化数据写入目标文件的所述数据存储区中。
具体的，在将目标数据序列化为二进制格式的序列化数据之后，可以将二进制格式的序列化数据写入到目标文件中的数据存储区中。二进制格式的序列化数据中的单个数据单元依次写入到临时文件内存中，单个数据单元之间用特殊符号进行分隔，这样即能完成大量的二进制格式的序列化数据一次性写入，不必因为多个数据单元而多次写入。
可见，通过本实施例的技术方案，可以成功地将二进制格式的序列化数据写入到目标文件中，以便后续步骤中，将目标文件写入到目标内存空间。
并且，作为本发明实施例的一种实现方式，步骤c2，将目标文件写入目标内存空间，可以包括如下步骤，分别为步骤c21和步骤c22：
步骤c21，确定目标内存空间的起点地址。
步骤c22，将目标文件拷贝到具有起点地址的目标内存空间中。
在该实现方式中，在将目标文件写入目标内存空间时，首先要找到目标内存空间。具体的，可以通过目标内存空间的起点地址进行寻址，从而找到目标内存空间；然后将目标文件拷贝到具有起点地址的目标内存空间，从而准确地将目标数据写入到了目标内存空间。
第二方面，将对本发明实施例提供的一种数据读取方法进行介绍。
如图3所示，本发明实施例提供的一种数据读取方法可以包括如下步骤：
S310，获取待读取数据所在的目标磁盘空间。
具体的，在将数据从内存写入磁盘之后，数据即被写入到了磁盘中的磁盘空间。磁盘中具有多块磁盘空间，在需要读取待读取数据时，可以获取到待读取数据所在的目标磁盘空间。
S320，根据预先建立的内存空间与磁盘空间的映射关系，确定目标磁盘空间对应的目标内存空间。
在获取到待读取数据所在的目标磁盘空间后，可以根据预先创建的内存空间与磁盘的磁盘空间的映射关系，确定目标磁盘空间对应的目标磁盘内存空间。也就是说，内存空间与磁盘空间具有一一映射关系，在确定了目标磁盘空间后，即可以根据磁盘空间与内存空间二者之间的对应关系，确定目标内存空间。
需要说明的是，在第一方面实施例中已经对建立内存空间与磁盘空间的映射关系的具体实施方式进行了详细的阐述，在此不再赘述。
S330，从目标内存空间读取待读取数据。
具体的，由于待读取数据被写入到目标内存空间，因此，在确定了目标内存空间后，可以直接从目标内存空间读取待读取数据。
可见，通过本发明实施例提供的技术方案，在需要从磁盘读取待读取数据时，可以确定待读取数据所在的目标磁盘空间，并可以根据预先创建的内存空间与磁盘空间的映射关系，确定目标磁盘空间对应的目标内存空间，并从目标内存空间中读取待读取数据，而不像相关技术那样，文件I/O读写过于频繁，从而可以高效地从磁盘读取待读取数据。
在图3所示实施例的基础上，从目标内存空间读取待读取数据，可以包括如下步骤：
从目标内存空间的目标文件读取待读取数据。
其中，目标文件包括文件头部信息和数据存储区，文件头部信息用于描述目标文件的属性，数据存储区用于存储待读取数据。
具体的，由第一方面实施例的描述可知，在将目标数据写入到目标内存空间时，可以先将目标数据写入内存中的目标文件中，然后将目标文件写入到目标内存空间，此时，在从目标内存空间读取待读取数据时，可以从目标内存空间的目标文件读取待读取数据。
其中，目标文件结构由两部分组成：文件头部信息与数据存储区，文件头部信息由特定标识组成，文件头部信息可以包括特定字符+API版本号+数据长度。用于描述目标文件的属性，以确保目标文件的唯一性，以及方便操纵该文目标件的对象能够获取到当前该目标文件内部的数据状态。数据存储区用于存储数据，因此，可以从目标数据的数据存储区读取待读取数据。
在上述实施例的基础上，从目标内存空间的目标文件读取待读取数据，可以包括如下步骤：
从目标内存空间的目标文件读取序列化数据；
将序列化数据进行反序列化处理，得到待读取数据。
具体的，由上述描述可知，应用程序运行过程中所产生的目标数据一般都是由基本数据格式组成，如int/bool/float/string/byte等类型，这些类型具备占用空间小、易于组装等特点；所以在目标数据写入目标文件时，可以将目标数据包装在固定格式的对象结构中，并利用序列化的方式写入到目标文件中，即将目标数据进行序列化处理，序列化处理是将数据结构或对象转换成二进制串的过程，通过将目标数据序列化为二进制文件，以便于在磁盘上读写目标数据。将目标数据序列化的目的是统一目标数据的格式，简化不同目标数据的存储和解析过程。
可见，此时写入目标文件的数据为二进制格式的序列化数据，从目标内存空间的目标文件读取的数据也是二进制的序列化数据，因此，需要对二进制的序列化数据进行反序列化处理，其中，反序列化处理是将在序列化过程中所生成的二进制格式的序列化数据转换成数据结构或者对象的过程。
可以理解的是，数据读取实际上是数据写入的逆向过程，将二进制格式的序列化数据转化为可分析的数据必须要经过反序列化过程，进而可以得到可分析的数据。
为了方案描述清楚，下面以数据为日志数据为例，结合具体实例对日志数据写入和日志数据读取进行详细说明。如图4所示。
从图4可以得知，日志数据的写入流程为：输入日志数据；组织成固定结构对象；对固定结构对象进行序列化得到二进制文件(二进制格式的日志数据)；将二进制文件写入日志文件；将日志文件写入到映射区(目标内存空间)；通过mmap将目标文件写入到磁盘(目标磁盘空间)。
日志数据的读取流程与日志数据的写入流程相反。具体的，在需要从磁盘读取日志数据时，从映射区(目标内存空间)读取日志文件；从目标文件读取二进制文件；对二进制文件进行反序列化，得到固定结构对象，即获取到日志数据。
本发明实施例提供的技术方案，获取待写入磁盘的目标数据，将目标数据写入目标内存空间；根据预先建立的内存空间与磁盘空间的映射关系，确定与目标内存空间对应的目标磁盘空间；并将目标数据写入目标磁盘空间。可见，通过本发明实施例提供的技术方案，预先建立了内存空间与磁盘空间的映射关系，这样，在将目标数据从内存写入磁盘时，通过目标内存空间与目标磁盘空间的映射关系，即可以实现目标数据的写入，而不像相关技术那样，文件I/O读写过于频繁，从而可以减少目标数据的丢失，并可以高效地将目标数据写入磁盘。
在本发明实施例的第三方面，提供了一种数据写入装置，如图5所示，包括：
目标数据获取模块510，用于获取待写入磁盘的目标数据；
第一目标数据写入模块520，用于将所述目标数据写入目标内存空间；
目标磁盘空间确定模块530，用于根据预先建立的内存空间与磁盘空间的映射关系，确定与所述目标内存空间对应的目标磁盘空间；
第二目标数据写入模块540，用于将所述目标数据写入所述目标磁盘空间。
本发明实施例提供的技术方案，获取待写入磁盘的目标数据，将目标数据写入目标内存空间；根据预先建立的内存空间与磁盘空间的映射关系，确定与目标内存空间对应的目标磁盘空间；并将目标数据写入目标磁盘空间。可见，通过本发明实施例提供的技术方案，预先建立了内存空间与磁盘空间的映射关系，这样，在将目标数据从内存写入磁盘时，通过目标内存空间与目标磁盘空间的映射关系，即可以实现目标数据的写入，而不像相关技术那样，文件I/O读写过于频繁，从而可以减少目标数据的丢失，并可以高效地将目标数据写入磁盘。
可选的，所述第一目标数据写入模块，包括：
第一目标数据写入单元，用于将所述目标数据写入内存中的目标文件中，其中，所述目标文件包括文件头部信息和数据存储区，所述文件头部信息用于描述所述目标文件的属性，所述数据存储区用于存储所述目标数据；
目标文件写入单元，用于将所述目标文件写入所述目标内存空间。
可选的，所述将第一目标数据写入单元，具体用于：
将所述目标数据进行序列化处理，得到序列化数据；
将所述序列化数据写入所述目标文件的所述数据存储区中。
可选的，所述目标文件写入单元，具体用于：
确定目标内存空间的起点地址；
将所述目标文件拷贝到具有所述起点地址的目标内存空间中。
可选的，具有映射关系的内存空间与磁盘空间具有相同大小的存储空间；
所述装置还包括：空间映射关系建立模块，所述空间映射关系建立模块具体用于：
分别获取内存空间的第一起点地址及磁盘空间的第二起点地址；
将所述第一起点地址与所述第二起点地址进行对应，得到所述内存空间与所述磁盘空间的映射关系。
在本发明实施例的第四方面，提供了一种数据读取装置，如图6所示，包括：
目标磁盘空间获取模块610，用于获取待读取数据所在的目标磁盘空间；
目标内存空间确定模块620，用于根据预先建立的内存空间与磁盘空间的映射关系，确定所述目标磁盘空间对应的目标内存空间；
数据读取模块630，用于从所述目标内存空间读取所述待读取数据。
可见，通过本发明实施例提供的技术方案，在需要从磁盘读取待读取数据时，可以确定待读取数据所在的目标磁盘空间，并可以根据预先创建的内存空间与磁盘空间的映射关系，确定目标磁盘空间对应的目标内存空间，并从目标内存空间中读取待读取数据，而不像相关技术那样，文件I/O读写过于频繁，从而可以高效地从磁盘读取待读取数据。
可选的，所述数据读取模块，包括：
数据读取单元，用于从所述目标内存空间的目标文件读取所述待读取数据，其中，所述目标文件包括文件头部信息和数据存储区，所述文件头部信息用于描述所述目标文件的属性，所述数据存储区用于存储所述待读取数据。
可选的，所述数据读取单元，具体用于：
从所述目标内存空间的目标文件读取序列化数据；
将所述序列化数据进行反序列化处理，得到所述待读取数据。
本发明实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现第一方面所述的数据写入方法的步骤，或者，第二方面所述的数据读取方法。
本发明实施例提供的技术方案，获取待写入磁盘的目标数据，将目标数据写入目标内存空间；根据预先建立的内存空间与磁盘空间的映射关系，确定与目标内存空间对应的目标磁盘空间；并将目标数据写入目标磁盘空间。可见，通过本发明实施例提供的技术方案，预先建立了内存空间与磁盘空间的映射关系，这样，在将目标数据从内存写入磁盘时，通过目标内存空间与目标磁盘空间的映射关系，即可以实现目标数据的写入，而不像相关技术那样，文件I/O读写过于频繁，从而可以减少目标数据的丢失，并可以高效地将目标数据写入磁盘。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行第一方面所述的数据写入方法的步骤，或者，第二方面所述的数据读取方法。
本发明实施例提供的技术方案，获取待写入磁盘的目标数据，将目标数据写入目标内存空间；根据预先建立的内存空间与磁盘空间的映射关系，确定与目标内存空间对应的目标磁盘空间；并将目标数据写入目标磁盘空间。可见，通过本发明实施例提供的技术方案，预先建立了内存空间与磁盘空间的映射关系，这样，在将目标数据从内存写入磁盘时，通过目标内存空间与目标磁盘空间的映射关系，即可以实现目标数据的写入，而不像相关技术那样，文件I/O读写过于频繁，从而可以减少目标数据的丢失，并可以高效地将目标数据写入磁盘。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行第一方面所述的数据写入方法的步骤，或者，第二方面所述的数据读取方法。
本发明实施例提供的技术方案，获取待写入磁盘的目标数据，将目标数据写入目标内存空间；根据预先建立的内存空间与磁盘空间的映射关系，确定与目标内存空间对应的目标磁盘空间；并将目标数据写入目标磁盘空间。可见，通过本发明实施例提供的技术方案，预先建立了内存空间与磁盘空间的映射关系，这样，在将目标数据从内存写入磁盘时，通过目标内存空间与目标磁盘空间的映射关系，即可以实现目标数据的写入，而不像相关技术那样，文件I/O读写过于频繁，从而可以减少目标数据的丢失，并可以高效地将目标数据写入磁盘。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种数据写入方法，其特征在于，包括：
获取待写入磁盘的目标数据；
将所述目标数据写入目标内存空间；
根据预先建立的内存空间与磁盘空间的映射关系，确定与所述目标内存空间对应的目标磁盘空间；
将所述目标数据写入所述目标磁盘空间。
2.根据权利要求1所述的方法，其特征在于，所述将目标数据写入所述目标内存空间，包括：
将所述目标数据写入内存中的目标文件中，其中，所述目标文件包括文件头部信息和数据存储区，所述文件头部信息用于描述所述目标文件的属性，所述数据存储区用于存储所述目标数据；
将所述目标文件写入所述目标内存空间。
3.根据权利要求2所述的方法，其特征在于，所述将所述目标数据写入内存的目标文件中，包括：
将所述目标数据进行序列化处理，得到序列化数据；
将所述序列化数据写入所述目标文件的所述数据存储区中。
4.根据权利要求2所述的方法，其特征在于，所述将所述目标文件写入所述目标内存空间，包括：
确定目标内存空间的起点地址；
将所述目标文件拷贝到具有所述起点地址的目标内存空间中。
5.根据权利要求1至4任一项所述的方法，其特征在于，具有映射关系的内存空间与磁盘空间具有相同大小的存储空间；
所述预先创建内存空间与磁盘空间的映射关系，包括：
分别获取内存空间的第一起点地址及磁盘空间的第二起点地址；
将所述第一起点地址与所述第二起点地址进行对应，得到所述内存空间与所述磁盘空间的映射关系。
6.一种数据读取方法，其特征在于，包括：
获取待读取数据所在的目标磁盘空间；
根据预先建立的内存空间与磁盘空间的映射关系，确定所述目标磁盘空间对应的目标内存空间；
从所述目标内存空间读取所述待读取数据。
7.根据权利要求6所述的方法，其特征在于，从所述目标内存空间读取所述待读取数据，包括：
从所述目标内存空间的目标文件读取所述待读取数据，其中，所述目标文件包括文件头部信息和数据存储区，所述文件头部信息用于描述所述目标文件的属性，所述数据存储区用于存储所述待读取数据。
8.根据权利要求7所述的方法，其特征在于，从所述目标内存空间的目标文件读取所述待读取数据，包括：
从所述目标内存空间的目标文件读取序列化数据；
将所述序列化数据进行反序列化处理，得到所述待读取数据。
9.一种数据写入装置，其特征在于，包括：
目标数据获取模块，用于获取待写入磁盘的目标数据；
第一目标数据写入模块，用于将所述目标数据写入目标内存空间；
目标磁盘空间确定模块，用于根据预先建立的内存空间与磁盘空间的映射关系，确定与所述目标内存空间对应的目标磁盘空间；
第二目标数据写入模块，用于将所述目标数据写入所述目标磁盘空间。
10.一种数据读取装置，其特征在于，包括：
目标磁盘空间获取模块，用于获取待读取数据所在的目标磁盘空间；
目标内存空间确定模块，用于根据预先建立的内存空间与磁盘空间的映射关系，确定所述目标磁盘空间对应的目标内存空间；
数据读取模块，用于从所述目标内存空间读取所述待读取数据。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的数据写入方法的步骤，或者，权利要求6-8任一所述的数据读取方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一所述的数据写入方法的步骤，或者，权利要求6-8任一所述的数据读取方法。
CN202010671510.7A 2020-07-13 2020-07-13 一种数据写入方法、数据读取方法、装置及电子设备 Pending CN112000589A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010671510.7A CN112000589A (zh) 2020-07-13 2020-07-13 一种数据写入方法、数据读取方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010671510.7A CN112000589A (zh) 2020-07-13 2020-07-13 一种数据写入方法、数据读取方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN112000589A true CN112000589A (zh) 2020-11-27

Family

ID=73467597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010671510.7A Pending CN112000589A (zh) 2020-07-13 2020-07-13 一种数据写入方法、数据读取方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112000589A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115933994A (zh) * 2023-01-09 2023-04-07 苏州浪潮智能科技有限公司 一种数据处理方法、装置、电子设备及存储介质
CN116647713A (zh) * 2023-07-27 2023-08-25 北京睿芯高通量科技有限公司 一种多路视频写读优化方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5887164A (en) * 1997-06-06 1999-03-23 National Instruments Corporation System and method for enabling a target computer to use storage resources of a host computer
CN103136234A (zh) * 2011-11-25 2013-06-05 腾讯科技（深圳）有限公司 处理数据的方法和装置
CN103645863A (zh) * 2013-12-12 2014-03-19 北京奇虎科技有限公司 共享内存的数据读取方法和系统、写入方法和系统
CN109597568A (zh) * 2018-09-18 2019-04-09 天津字节跳动科技有限公司 一种数据存储方法、装置、终端设备及存储介质
CN109885257A (zh) * 2019-01-31 2019-06-14 维沃移动通信有限公司 一种磁盘文件读写方法及装置
CN110262757A (zh) * 2019-06-24 2019-09-20 北京奇艺世纪科技有限公司 一种数据处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5887164A (en) * 1997-06-06 1999-03-23 National Instruments Corporation System and method for enabling a target computer to use storage resources of a host computer
CN103136234A (zh) * 2011-11-25 2013-06-05 腾讯科技（深圳）有限公司 处理数据的方法和装置
CN103645863A (zh) * 2013-12-12 2014-03-19 北京奇虎科技有限公司 共享内存的数据读取方法和系统、写入方法和系统
CN109597568A (zh) * 2018-09-18 2019-04-09 天津字节跳动科技有限公司 一种数据存储方法、装置、终端设备及存储介质
CN109885257A (zh) * 2019-01-31 2019-06-14 维沃移动通信有限公司 一种磁盘文件读写方法及装置
CN110262757A (zh) * 2019-06-24 2019-09-20 北京奇艺世纪科技有限公司 一种数据处理方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115933994A (zh) * 2023-01-09 2023-04-07 苏州浪潮智能科技有限公司 一种数据处理方法、装置、电子设备及存储介质
CN116647713A (zh) * 2023-07-27 2023-08-25 北京睿芯高通量科技有限公司 一种多路视频写读优化方法
CN116647713B (zh) * 2023-07-27 2023-09-26 北京睿芯高通量科技有限公司 一种多路视频写读优化方法

Similar Documents

Publication Publication Date Title
CN109117209B (zh) 序列化和反序列化方法及装置
CN111428462A (zh) 通讯协议模板构建的方法及终端设备
CN110287696B (zh) 一种反弹shell进程的检测方法、装置和设备
CN106648569B (zh) 目标序列化实现方法和装置
CN112199040B (zh) 存储访问方法及智能处理装置
CN112000589A (zh) 一种数据写入方法、数据读取方法、装置及电子设备
WO2022228500A1 (zh) 一种bios的数据存储方法、装置、设备及存储介质
CN108241676A (zh) 实现数据同步的方法及设备
CN115470156A (zh) 基于rdma的内存使用方法、系统、电子设备和存储介质
CN111803917A (zh) 资源的处理方法和装置
CN112115521B (zh) 数据访问方法及装置
CN109710409B (zh) 一种内存管理方法、系统、装置及可读存储介质
CN116150119A (zh) 日志处理方法、系统、电子设备及计算机可读存储介质
CN116414689A (zh) 一种基于反射机制的接口参数校验方法及系统
CN115967604A (zh) 报文传输方法、装置、电子设备及计算机可读存储介质
CN114896215A (zh) 元数据的存储方法及装置
CN110825658B (zh) 闪存控制器及方法
CN114822675A (zh) 存储器检测方法及装置、电子设备和存储介质
CN114328747A (zh) 数据同步方法、装置、计算机设备和介质
CN106407345A (zh) 一种脏数据更新方法及装置
CN112015672A (zh) 一种存储系统中数据处理方法、装置、设备及存储介质
CN113986134B (zh) 存储数据的方法、读取数据的方法和装置
TWI779938B (zh) 存取系統記憶體的方法及設置於網路卡上的處理電路
CN116126429B (zh) 一种非数据类型对象的引用持久化及其恢复的方法
CN112732176B (zh) 基于fpga的ssd访问方法及装置、存储系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination