CN112306413B - 用于访问内存的方法、装置、设备以及存储介质 - Google Patents

用于访问内存的方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN112306413B
CN112306413B CN202011191086.2A CN202011191086A CN112306413B CN 112306413 B CN112306413 B CN 112306413B CN 202011191086 A CN202011191086 A CN 202011191086A CN 112306413 B CN112306413 B CN 112306413B
Authority
CN
China
Prior art keywords
storage area
data
memory
read
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011191086.2A
Other languages
English (en)
Other versions
CN112306413A (zh
Inventor
王大瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011191086.2A priority Critical patent/CN112306413B/zh
Publication of CN112306413A publication Critical patent/CN112306413A/zh
Application granted granted Critical
Publication of CN112306413B publication Critical patent/CN112306413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了用于访问内存的方法、装置、设备以及存储介质，涉及云计算领域。具体实现方案为：响应于接收到针对内存中第一存储区的访问请求，确定访问请求的类型；根据类型，确定访问请求针对的目标数据的相关参数；从内存的第二存储区获取与类型对应的目标参数；根据相关参数以及目标参数，访问第一存储区。本实现方式支持无锁访问循环缓冲区，大大提升了内存访问的性能。

Description

用于访问内存的方法、装置、设备以及存储介质
技术领域
本申请涉及计算机技术领域，具体涉及云计算领域，尤其涉及用于访问内存的方法、装置、设备以及存储介质。
背景技术
循环缓冲区是一种用于表示一个固定尺寸、头尾相连的缓冲区的数据结果，适用于缓存数据流。传统的实现是申请一块内存，利用两个指针：读指针和写指针，来控制数据的写入和读取。读指针指向缓冲区有效数据的开始位置，写指针指向缓冲区结尾的位置。写数据从写指针开始位置写入数据直到读指针位置为止但是不能出现覆盖的情况；读数据从读指针位置开始读取数据直到写指针位置。
在存储系统中一般需要利用循环缓冲区来积攒数据进行IO合并来提高系统的性能，但是在上面这种循环缓冲区的实现上，对于并发的读写操作需要进行加锁才能操作，这无疑对提升系统性能大打折扣。
发明内容
提供了一种用于访问内存的方法、装置、设备以及存储介质。
根据第一方面，提供了一种用于访问内存的方法，包括：响应于接收到针对内存中第一存储区的访问请求，确定访问请求的类型；根据类型，确定访问请求针对的目标数据的相关参数；从内存的第二存储区获取与类型对应的目标参数；根据相关参数以及目标参数，访问第一存储区。
根据第二方面，提供了一种用于访问内存的装置，包括：类型确定单元，被配置成响应于接收到针对内存中第一存储区的访问请求，确定访问请求的类型；参数确定单元，被配置成根据类型，确定访问请求针对的目标数据的相关参数；参数获取单元，被配置成从内存的第二存储区获取与类型对应的目标参数；第一访问单元，被配置成根据相关参数以及目标参数，访问第一存储区。
根据第三方面，提供了一种用于访问内存的电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，上述指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面所描述的方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如第一方面所描述的方法。
根据本申请的技术解决了现有的对循环缓冲区的并发读写需要加锁的技术问题。本实施例的用于访问内存的方法，支持无锁访问循环缓冲区，大大提升了内存访问的性能。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的用于访问内存的方法的一个实施例的流程图；
图3是根据本申请的用于访问内存的方法的一个应用场景的示意图；
图4是根据本申请的用于访问内存的方法的另一个实施例的流程图；
图5是根据本申请的用于访问内存的方法的又一个实施例的流程图；
图6是根据本申请的用于访问内存的方法的又一个实施例的流程图；
图7是根据本申请的用于访问内存的方法的又一个实施例的流程图；
图8是根据本申请的用于访问内存的装置的一个实施例的结构示意图；
图9是用来实现本申请实施例的用于访问内存的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于访问内存的方法或用于访问内存的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如文字输入类应用、图像采集类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如为终端设备101、102、103提供读写服务的后台服务器。后台服务器可以接收终端设备101、102、103发送的读写请求，并向终端设备101、102、103提供请求的数据或者将终端设备101、102、103发送的数据写入内存或磁盘。
需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的用于访问内存的方法可以由终端设备101、102、103执行，也可以由服务器105执行。相应地，用于访问内存的装置可以设置于终端设备101、102、103中，也可以设置于服务器105中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的用于访问内存的方法的一个实施例的流程200。本实施例的用于访问内存的方法，包括以下步骤：
步骤201，响应于接收到针对内存中第一存储区存储的数据的访问请求，确定访问请求的类型。
本实施例中，用于访问内存的方法的执行主体(例如图1所示的终端设备101、102、103和服务器105)可以接收针对内存中第一存储区的访问请求。上述访问请求可以包括读请求和写请求。读请求用于请求读取内存中的数据，写请求用于请求向内存中写入数据。
本实施例中，内存中可以包括第一存储区和第二存储区。其中，第一存储区用于存储用户请求写入和读取的数据。第二存储区用于存储描述第一存储区中存储的数据的元数据。上述元数据可以包括第一存储区中存储的数据的位置和长度。这里，位置可以指数据的起始位置。举例来说，第一存储区中包括数据1，其位置为1，长度为3。还包括数据2，其位置为4，长度为5。
执行主体在接收到访问请求后，可以确定访问请求的类型。这里，访问请求的类型即包括读请求和写请求。执行主体可以通过访问请求中的特定字段来确定访问请求的类型。
步骤202，根据上述类型，确定访问请求针对的目标数据的相关参数。
执行主体还可以在确定访问请求的类型后，确定访问请求针对的目标数据的相关参数。目标数据可以是待读取的数据或者待写入的数据。目标数据的相关参数可以包括目标数据的位置、长度和目标数据的大小。如果访问请求是读请求，那么相关参数可以包括读位置和读长度。如果访问请求是写请求，那么相关参数可以包括目标数据的大小。相关参数同样可以位于访问请求的特定字段中，执行主体同样可以通过解析访问请求来确定目标数据的相关参数。
步骤203，从内存的第二存储区获取与类型对应的目标参数。
执行主体可以从内存的第二存储区获取与类型对应的目标参数。这里，目标参数可以包括读指针位置和原子变量。其中，读指针位置用于描述第一存储区中数据的起始位置。原子变量用于描述写数据时的位置。如果访问请求的类型为读请求，则对应的目标参数可以包括读指针位置。如果访问请求的类型为写请求，则对应的目标参数可以包括原子变量。
步骤204，根据相关参数以及目标参数，访问第一存储区。
执行主体在确定目标数据的相关参数以及目标参数后，可以访问内存的第一存储区。具体的，如果目标参数为读指针位置，则说明当前需要读取目标数据。则可以根据目标数据的位置和长度，结合指针位置，从第一存储区中读取数据。如果目标参数为原子变量，则说明当前需要写入目标数据。则执行主体可以根据目标数据的长度，结合写指针位置，向第一存储区中写入数据。
继续参见图3，其示出了根据本申请的用于访问内存的方法的写场景的示意图。在图3的应用场景中，服务器301接收到写请求后，对写请求进行分析，确定待写入的数据的长度为3。同时，服务器301访问内存的第二存储区获取原子变量值。根据原子变量值以及长度3，将待写入的数据写入内存的第一存储区。
继续参见图4，其示出了根据本申请的用于访问内存的方法的读场景的示意图。在图4的应用场景中，服务器401接收到读请求后，对读请求进行分析，确定待读取的数据位置为1，长度为3。同时，服务器401访问内存的第二存储区获取读指针位置为1。则服务器301允许读取内存的第一存储区。
本申请的上述实施例提供的用于访问内存的方法，可以将内存划分为第一存储区和第二存储区，分别用于存储数据和元数据，通过第二存储区中存储的目标参数结合访问请求中的相关参数，实现无锁访问第一存储区，相比起传统的加锁方式访问内存的方法，有效地提升了内存访问性能。
继续参见图5，其示出了根据本申请的用于访问内存的方法的一个实施例的流程500。如图5所示，本实施例中针对访问请求的类型为写请求的场景进行描述，本实施例包括以下步骤：
步骤501，响应于接收到针对内存中第一存储区的访问请求，确定访问请求的类型。
步骤502，响应于确定访问请求的类型为写请求，确定访问请求针对的目标数据的写长度。
执行主体在确定访问请求的类型为写请求后，可以确定访问请求针对的目标数据的写长度。这里，写长度用于表示目标数据的长度。写长度可以是一个具体的数值，例如为3，表示目标数据在第一存储区中需要占用3个存储单元。执行主体可以通过解析访问请求的特定字段，确定写长度。
步骤503，从第二存储区获取原子变量值以及读指针位置。
执行主体还可以从第二存储区获取原子变量值以及读指针位置。上述原子变量值用于表示第一存储区中可写入数据的位置，其可以是递增的。具体的，执行主体可以将原子变量值与第一存储区中存储单元的数量进行模计算，将得到的值作为可写入数据的位置。执行主体还可以获取读指针位置，读指针位置用于表示第一存储区中存储的数据的起始位置。
步骤504，响应于根据原子变量值以及读指针位置，确定第一存储区的剩余写入长度大于或等于写长度，确定目标数据的写位置。
执行主体在获取到原子变量值以及读指针位置后，可以计算原子变量值以及读指针位置之间的剩余写入长度。具体的，执行主体可以将原子变量值与第一存储区中存储单元的数量值进行取模计算后，计算读指针位置与得到的值之间的差值，将得到的值作为剩余写入长度。如果剩余写入长度大于或等于写长度，说明第一存储区中的剩余空间足够目标数据的写入。则可以继续确定目标数据的写位置。具体的，执行主体可以将取模计算得到的值加一，并将和值作为目标数据的写位置。
步骤505，将目标数据自写位置处写入第一存储区。
在确定写位置后，执行主体可以将目标数据自写位置处写入第一存储区。可以理解的是，为了保证写数据的并发进行，执行主体可以通过多个线程向第一存储区中写入数据。各线程对应的写位置都不同。
步骤506，响应于目标数据的写入完成，更新第二存储区。
执行主体可以监测目标数据是否写入完成，例如通过线程返回的消息来判断目标数据是否写入完成。如果写入完成，则可以相应的更新第二存储区。具体的，执行主体可以更新第二存储区中存储的数据，或者更新第二存储区中的原子变量值。
在一些具体的应用中，原子变量值还可以存储于第一存储区和第二存储区之外的位置。
在本实施例的一些可选的实现方式中，上述步骤506具体可以通过图5中未示出的以下步骤来实现：将写长度存储在写位置指示的存储单元内；更新原子变量值。
本实现方式中，执行主体可以将写长度存储在写位置指示的存储单元内。这样，第二存储区中就存储了第一存储区中各数据的位置和大小，可以更方便地对第一存储区中的数据进行落盘。举例来说，在对第一存储区中的数据进行落盘时，会将一个完整的数据写入磁盘。如果第二存储区中存储了数据的长度，则可以方便地读取完整的数据。执行主体还可以更新原子变量值，具体的，执行主体可以将原来的原子变量值与写长度相加，将得到的和值作为新的原子变量值。
本申请的上述实施例提供的用于访问内存的方法，可以实现多进程同步写入数据，并且不需要加锁，提升了内存访问性能。并且，通过原子变量值来反映写位置，相比起指针更容易控制。
继续参见图6，其示出了根据本申请的用于访问内存的方法的一个实施例的流程600。如图6所示，本实施例中针对访问请求的类型为读请求的场景进行描述，本实施例包括以下步骤：
步骤601，响应于接收到针对内存中第一存储区的访问请求，确定访问请求的类型。
步骤602，响应于确定访问请求的类型为读请求，确定访问请求针对的目标数据的读位置和读长度。
本实施例中，如果执行主体确定访问请求的类型为读请求，则可以对访问请求的特定字段进行解析，确定访问请求针对的目标数据的读位置和读长度。这里，目标数据即为待读取的数据，读位置用于表示目标数据的起始位置，读长度表示目标数据的长度。
步骤603，从第二存储区获取读指针位置。
步骤604，响应于确定读位置、读长度以及读指针位置满足预设条件，访问第一存储区。
在获取到读位置、读长度以及读指针位置后，执行主体可以判断是否满足预设条件。这里预设条件可以是读位置大于或等于读指针位置，这样，说明第一存储区中包括目标数据。如果读位置小于读指针位置，说明目标数据的一部分或全部未在第一存储区中，可能已经写入磁盘，此时访问第一存储区并不能读取到目标数据。
步骤605，响应于确定读位置、读长度以及读指针位置不满足预设条件，访问磁盘或同时访问磁盘与第一存储区。
如果读位置、读长度以及读指针位置不满足预设条件，则执行主体可以访问磁盘或同时访问磁盘与第一存储区。具体的，如果读位置与读长度的和小于读指针位置，说明目标数据的全部被写入磁盘，此时只需访问磁盘即可。如果读位置小于读指针位置但读位置与读长度的和大于或等于读指针位置，说明目标数据的一部分被写入磁盘，此时需要同时访问磁盘与第一存储区。并且，在读取完成磁盘中的数据和第一存储区的数据后，执行主体还可以将二者进行合并，即将第一存储区的数据拼接在磁盘中的数据之后。
本申请的上述实施例提供的用于访问内存的方法，可以允许多线程同步读取内存中的数据，无需加锁，提升了内存的访问性能。并且，通过读指针位置来明确数据是否已落盘，保证用户读取数据的成功率。
继续参见图7，其示出了根据本申请的用于访问内存的方法的另一个实施例的流程700。如图7所示，本实施例提供的用于访问内存的方法，可以包括以下步骤：
步骤701，响应于接收到针对内存中第一存储区的访问请求，确定访问请求的类型。
步骤702，根据类型，确定访问请求针对的目标数据的相关参数。
步骤703，从内存的第二存储区获取与类型对应的目标参数。
步骤704，根据相关参数以及目标参数，访问第一存储区。
步骤701～704的原理与步骤201～204的原理类似，此处不再赘述。
步骤705，间隔预设时间段将第一存储区存储的数据写入磁盘。
本实施例中，执行主体还可以定期将第一存储区存储的数据写入磁盘。例如，每隔一小时将第一存储区存储的数据写入磁盘。
在本实施例的一些可选的实现方式中，上述步骤705具体可以通过图7中未示出的以下步骤来实现：根据第二存储区存储的元数据，确定第一存储区中连续存储的数据为待落盘数据；将待落盘数据写入磁盘。
本实现方式中，执行主体可以根据第二存储区存储的元数据，确定第一存储区中的连续数据。举例来说，第二存储区的位置1处存储单元存储的值为3，位置7处存储单元存储的值为2。则说明位置4～位置6的存储单元中未存储数据。则第一存储区中的连续存储的数据为存储于位置1～位置3的存储单元中的数据以及存储于位置7～位置8的存储单元中的数据。执行主体可以将连续存储的数据为待落盘数据。执行主体可以将待落盘数据写入磁盘。
步骤706，响应于第一存储区存储的数据的写入完成，将第二存储区中被写入磁盘的数据的元数据删除，以及更新读指针位置。
如果第一存储区存储的数据成功写入磁盘，则执行主体可以将第二存储区中被写入磁盘的数据的元数据删除。这样，能够保证第二存储区中的元数据与第一存储区存储的数据实时对应，保证数据读写的正确性。执行主体还可以更新读指针位置。具体的，执行主体可以将读指针位置的值增加被写入磁盘的数据的长度，将得到的和值作为更新后读指针的位置。
步骤707，响应于检测到重启完成，根据第二存储区存储的数据，确定第一存储区的首个非0数据与最后一个非0数据之间是否存在空数据。
本实施例中，执行主体还可以检测服务或设备是否刚刚重启。这里，服务可以是用于提供数据读写的服务，设备可以是数据读写服务运行于其上的设备。如果执行主体检测到重启完成，则可以根据第二存储区存储的数据，确定第一存储区的首个非0数据与最后一个非0数据之间是否存在空洞。例如，第二存储区的位置1处存储单元存储的值为3，位置7处存储单元存储的值为2。则首个非0数据为第一存储区中位置1处存储单元存储的数据，最后一个非0数据为第一存储区中位置7处存储单元存储的数据。第一存储区中位置4～位置6的存储单元中为空，则说明其间存在空数据。
步骤708，响应于存在空数据，更改空数据。
如果执行主体判定第一存储区中存在空数据，则可以更改上述空数据。具体的，执行主体可以将空数据改为预设值。
步骤709，将填充后第一存储区中的数据写入磁盘。
执行主体可以将更改后第一存储区中的数据写入磁盘。
本申请的上述实施例提供的用于访问内存的方法，可以定期将内存中的数据写入磁盘，实现内存的有效利用。可以在重启后将内存中的数据写入磁盘，避免内存中的数据因重启而丢失，提高了读性能。
进一步参考图8，作为对上述各图所示方法的实现，本申请提供了一种用于访问内存的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图8所示，本实施例的用于访问内存装置800包括：类型确定单元801、参数确定单元802、参数获取单元803和第一访问单元804。
类型确定单元801，被配置成响应于接收到针对内存中第一存储区的访问请求，确定访问请求的类型。
参数确定单元802，被配置成根据类型，确定访问请求针对的目标数据的相关参数。
参数获取单元803，被配置成从内存的第二存储区获取与类型对应的目标参数。
第一访问单元804，被配置成根据相关参数以及目标参数，访问第一存储区。
在本实施例的一些可选的实现方式中，访问请求的类型包括写请求。参数确定单元802可以进一步被配置成：响应于确定访问请求的类型为写请求，确定访问请求针对的目标数据的写长度。
在本实施例的一些可选的实现方式中，参数获取单元803可以进一步被配置成：从第二存储区获取原子变量值以及读指针位置。
在本实施例的一些可选的实现方式中，第一访问单元804可以进一步被配置成：响应于根据原子变量值以及读指针位置，确定第一存储区的剩余写入长度大于或等于写长度，确定目标数据的写位置；将目标数据自写位置处写入第一存储区。
在本实施例的一些可选的实现方式中，装置800还可以包括进一步包括图8中未示出的第一更新单元，被配置成：响应于目标数据的写入完成，更新第二存储区。
在本实施例的一些可选的实现方式中，第一更新单元进一步被配置成：将写长度存储在写位置指示的存储单元内；更新原子变量值。
在本实施例的一些可选的实现方式中，访问请求的类型包括读请求。参数确定单元802可以进一步被配置成：响应于确定访问请求的类型为读请求，确定访问请求针对的目标数据的读位置和读长度。
在本实施例的一些可选的实现方式中，参数获取单元803可以进一步被配置成：从第二存储区获取读指针位置。
在本实施例的一些可选的实现方式中，第一访问单元804可以进一步被配置成：响应于确定读位置、读长度以及读指针位置满足预设条件，访问第一存储区。
在本实施例的一些可选的实现方式中，装置800还可以进一步包括图8中未示出的第二访问单元，被配置成：响应于确定读位置、读长度以及读指针位置不满足预设条件，访问磁盘或同时访问磁盘与第一存储区。
在本实施例的一些可选的实现方式中，装置800还可以进一步包括图8中未示出的第一落盘单元以及第二更新单元。
第一落盘单元，被配置成间隔预设时间段将第一存储区存储的数据写入磁盘。
第二更新单元，被配置成响应于第一存储区存储的数据的写入完成，将第二存储区中的被写入磁盘的数据的元数据删除，以及更新读指针位置。
在本实施例的一些可选的实现方式中，第一落盘单元进一步被配置成：根据第二存储区存储的元数据，确定第一存储区中连续存储的数据为待落盘数据；将待落盘数据写入磁盘。
在本实施例的一些可选的实现方式中，装置800还可以进一步包括图8中未示出的空数据检测单元、空数据更改单元以及第二落盘单元。
空数据检测单元，被配置成响应于检测到重启完成，根据第二存储区存储的数据，确定第一存储区的首个非0数据与最后一个非0数据之间是否存在空数据。
空数据更改单元，被配置成响应于存在空数据，更改空数据。
第二落盘单元，被配置成将更改后第一存储区中的数据写入磁盘。
应当理解，用于访问内存的装置800中记载的单元801至单元804分别与参考图2中描述的方法中的各个步骤相对应。由此，上文针对用于访问内存的方法描述的操作和特征同样适用于装置800及其中包含的单元，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图9所示，是根据本申请实施例的执行用于访问内存的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的执行用于访问内存的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的执行用于访问内存的方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的执行用于访问内存的方法对应的程序指令/模块(例如，附图8所示的类型确定单元801、参数确定单元802、参数获取单元803和第一访问单元804)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的执行用于访问内存的方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据执行用于访问内存的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至执行用于访问内存的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
执行用于访问内存的方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与执行用于访问内存的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，支持无锁访问循环缓冲区，大大提升了内存访问的性能。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (22)

1.一种用于访问内存的方法，包括：
响应于接收到针对内存中第一存储区的访问请求，确定所述访问请求的类型；
根据所述类型，确定所述访问请求针对的目标数据的相关参数，包括：响应于确定所述访问请求的类型为读请求，确定所述访问请求针对的目标数据的读位置和读长度；
从所述内存的第二存储区获取与所述类型对应的目标参数，包括：从所述第二存储区获取读指针位置；
根据所述相关参数以及所述目标参数，访问所述第一存储区，包括：响应于确定所述读位置和所述读长度的和大于或等于所述读指针位置，访问所述第一存储区。
2.根据权利要求1所述的方法，其中，所述访问请求的类型包括写请求；以及
所述根据所述类型，确定所述访问请求针对的目标数据的相关参数，还包括：
响应于确定所述访问请求的类型为写请求，确定所述访问请求针对的目标数据的写长度。
3.根据权利要求2所述的方法，其中，所述从所述内存的第二存储区获取与所述类型对应的目标参数，包括：
从所述第二存储区获取原子变量值以及读指针位置。
4.根据权利要求3所述的方法，其中，所述根据所述相关参数以及所述目标参数，访问所述内存的第一存储区，包括：
响应于根据所述原子变量值以及所述读指针位置，确定第一存储区的剩余写入长度大于或等于所述写长度，确定所述目标数据的写位置；
将所述目标数据自所述写位置处写入所述第一存储区。
5.根据权利要求4所述的方法，其中，所述方法还包括：
响应于所述目标数据的写入完成，更新所述第二存储区。
6.根据权利要求5所述的方法，其中，所述更新所述第二存储区，包括：
将所述写长度存储在所述写位置指示的存储单元内；
更新所述原子变量值。
7.根据权利要求1所述的方法，其中，所述方法还包括：
响应于确定所述读位置、所述读长度以及所述读指针位置不满足预设条件，访问磁盘或同时访问所述磁盘与所述第一存储区。
8.根据权利要求1-7任一项所述的方法，其中，所述方法还包括：
间隔预设时间段将所述第一存储区存储的数据写入磁盘；
响应于所述第一存储区存储的数据的写入完成，将所述第二存储区中的被写入磁盘的数据的元数据删除，以及更新所述读指针位置。
9.根据权利要求8所述的方法，其中，所述间隔预设时间段将所述第一存储区存储的数据写入磁盘，包括：
根据所述第二存储区存储的元数据，确定所述第一存储区中连续存储的数据为待落盘数据；
将所述待落盘数据写入磁盘。
10.根据权利要求1-7任一项所述的方法，其中，所述方法还包括：
响应于检测到重启完成，根据所述第二存储区存储的数据，确定所述第一存储区的首个非0数据与最后一个非0数据之间是否存在空数据；
响应于存在空数据，更改所述空数据；
将更改后第一存储区中的数据写入磁盘。
11.一种用于访问内存的装置，包括：
类型确定单元，被配置成响应于接收到针对内存中第一存储区的访问请求，确定所述访问请求的类型；
参数确定单元，被配置成根据所述类型，确定所述访问请求针对的目标数据的相关参数，进一步被配置成：响应于确定所述访问请求的类型为读请求，确定所述访问请求针对的目标数据的读位置和读长度；
参数获取单元，被配置成从所述内存的第二存储区获取与所述类型对应的目标参数，进一步被配置成：从所述第二存储区获取读指针位置；
第一访问单元，被配置成根据所述相关参数以及所述目标参数，访问所述第一存储区，进一步被配置成：响应于确定所述读位置和所述读长度的和大于或等于所述读指针位置，访问所述第一存储区。
12.根据权利要求11所述的装置，其中，所述访问请求的类型包括写请求；以及
所述参数确定单元进一步被配置成：
响应于确定所述访问请求的类型为写请求，确定所述访问请求针对的目标数据的写长度。
13.根据权利要求12所述的装置，其中，所述参数获取单元进一步被配置成：
从所述第二存储区获取原子变量值以及读指针位置。
14.根据权利要求13所述的装置，其中，所述第一访问单元进一步被配置成：
响应于根据所述原子变量值以及所述读指针位置，确定第一存储区的剩余写入长度大于或等于所述写长度，确定所述目标数据的写位置；
将所述目标数据自所述写位置处写入所述第一存储区。
15.根据权利要求14所述的装置，其中，所述装置还包括第一更新单元，被配置成：
响应于所述目标数据的写入完成，更新所述第二存储区。
16.根据权利要求15所述的装置，其中，所述第一更新单元进一步被配置成：
将所述写长度存储在所述写位置指示的存储单元内；
更新所述原子变量值。
17.根据权利要求11所述的装置，其中，所述装置还包括第二访问单元，被配置成：
响应于确定所述读位置、所述读长度以及所述读指针位置不满足预设条件，访问磁盘或同时访问所述磁盘与所述第一存储区。
18.根据权利要求11-17任一项所述的装置，其中，所述装置还包括：
第一落盘单元，被配置成间隔预设时间段将所述第一存储区存储的数据写入磁盘；
第二更新单元，被配置成响应于所述第一存储区存储的数据的写入完成，将所述第二存储区中的被写入磁盘的数据的元数据删除，以及更新所述读指针位置。
19.根据权利要求18所述的装置，其中，所述第一落盘单元进一步被配置成：
根据所述第二存储区存储的元数据，确定所述第一存储区中连续存储的数据为待落盘数据；
将所述待落盘数据写入磁盘。
20.根据权利要求11-17任一项所述的装置，其中，所述装置还包括：
空数据检测单元，被配置成响应于检测到重启完成，根据所述第二存储区存储的数据，确定所述第一存储区的首个非0数据与最后一个非0数据之间是否存在空数据；
空数据更改单元，被配置成响应于存在空数据，更改所述空数据；
第二落盘单元，被配置成将更改后第一存储区中的数据写入磁盘。
21.一种用于访问内存的电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的方法。
CN202011191086.2A 2020-10-30 2020-10-30 用于访问内存的方法、装置、设备以及存储介质 Active CN112306413B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011191086.2A CN112306413B (zh) 2020-10-30 2020-10-30 用于访问内存的方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011191086.2A CN112306413B (zh) 2020-10-30 2020-10-30 用于访问内存的方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN112306413A CN112306413A (zh) 2021-02-02
CN112306413B true CN112306413B (zh) 2024-05-07

Family

ID=74332848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011191086.2A Active CN112306413B (zh) 2020-10-30 2020-10-30 用于访问内存的方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN112306413B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115934023B (zh) * 2021-08-31 2024-06-18 华为技术有限公司 数据处理方法、数据处理装置以及相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620753B1 (en) * 2005-03-17 2009-11-17 Apple Inc. Lockless access to a ring buffer
CN103268455A (zh) * 2013-05-09 2013-08-28 华为技术有限公司 数据的访问方法及装置
CN105511802A (zh) * 2015-11-24 2016-04-20 北京达沃时代科技有限公司 写缓存的方法和装置以及磁盘缓存区的同步方法和装置
US9477516B1 (en) * 2015-03-19 2016-10-25 Google Inc. Concurrent in-memory data publication and storage system
CN108681556A (zh) * 2018-04-08 2018-10-19 华中科技大学 分布式指令域数据的访问方法及其系统
CN110209597A (zh) * 2019-05-24 2019-09-06 北京百度网讯科技有限公司 处理访问请求的方法、装置、设备和存储介质
CN110275841A (zh) * 2019-06-20 2019-09-24 上海燧原智能科技有限公司 访问请求处理方法、装置、计算机设备和存储介质
CN111679795A (zh) * 2016-08-08 2020-09-18 北京忆恒创源科技有限公司 无锁并发io处理方法及其装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2909722A1 (en) * 2012-10-19 2015-08-26 Argyle Data, Inc. Multi-threaded, lockless data parallelization

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620753B1 (en) * 2005-03-17 2009-11-17 Apple Inc. Lockless access to a ring buffer
CN103268455A (zh) * 2013-05-09 2013-08-28 华为技术有限公司 数据的访问方法及装置
US9477516B1 (en) * 2015-03-19 2016-10-25 Google Inc. Concurrent in-memory data publication and storage system
CN105511802A (zh) * 2015-11-24 2016-04-20 北京达沃时代科技有限公司 写缓存的方法和装置以及磁盘缓存区的同步方法和装置
CN111679795A (zh) * 2016-08-08 2020-09-18 北京忆恒创源科技有限公司 无锁并发io处理方法及其装置
CN108681556A (zh) * 2018-04-08 2018-10-19 华中科技大学 分布式指令域数据的访问方法及其系统
CN110209597A (zh) * 2019-05-24 2019-09-06 北京百度网讯科技有限公司 处理访问请求的方法、装置、设备和存储介质
CN110275841A (zh) * 2019-06-20 2019-09-24 上海燧原智能科技有限公司 访问请求处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN112306413A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN110806923B (zh) 一种区块链任务的并行处理方法、装置、电子设备和介质
CN111078147B (zh) 一种缓存数据的处理方法、装置、设备及存储介质
US9836397B2 (en) Direct memory access of dynamically allocated memory
US10346381B2 (en) Atomic update operations in a data storage system
US10067880B2 (en) Dynamic tier remapping of data stored in a hybrid storage system
CN112527899A (zh) 数据同步的方法、装置、设备以及存储介质
EP3869339A1 (en) Data storage method and apparatus for blockchain, device, and medium
EP3825865A2 (en) Method and apparatus for processing data
CN113364877B (zh) 数据处理方法、装置、电子设备和介质
CN113868251B (zh) 分布式数据库的全局二级索引方法及其装置
US10997058B2 (en) Method for performance analysis in a continuous integration pipeline
CN112565356A (zh) 数据存储方法、装置以及电子设备
CN112015468A (zh) 一种接口文档处理方法、装置、电子设备以及存储介质
CN113254043A (zh) Web前端项目处理方法、装置、电子设备及存储介质
JP2023507273A (ja) 異常スタック処理方法、システム、電子機器、及び記憶媒体
CN112306413B (zh) 用于访问内存的方法、装置、设备以及存储介质
CN111459882A (zh) 分布式文件系统的命名空间事务处理方法和装置
EP3819758A2 (en) Instruction executing method and apparatus, electronic device, and computer-readable storage medium
US8341368B2 (en) Automatic reallocation of structured external storage structures
CN112395437B (zh) 一种3d模型的加载方法、装置、电子设备及存储介质
WO2024021554A1 (zh) 数据迁移方法和装置
CN112346512A (zh) 时间同步方法和装置
CN111625948B (zh) 超长场景的回放型仿真方法、装置、设备和介质
US11366613B2 (en) Method and apparatus for writing data
CN112084204B (zh) 浏览数据处理方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant