CN115658593A - 一种数据处理方法和装置 - Google Patents

Abstract

本申请实施例提供一种数据处理方法和装置，涉及通信技术领域，用以减少内存持久化守护进程被调度执行的次数。该方案包括：接收第一数据操作请求，第一数据操作请求包括数据以及数据对应的第一地址，第一地址为数据在数据处理装置中的存储地址；根据第一地址，从日志列表中的N个条目中确定第一地址对应的目标条目，其中，N个条目与LLC中的N个cache line一一映射，日志列表存储在非易失性快速存储介质中；若第一数据操作请求之前的数据操作请求写入的地址对应的cache line与第一地址对应的cache line相同，则删除目标条目中的日志，根据第一数据操作请求，在目标条目上记录第一数据操作请求对应的日志；存储该数据。

Description

一种数据处理方法和装置

本申请是向中国专利局提交的申请号为201810779536.6，申请日为2018年7月16日，发明创造名称为“一种数据处理方法和装置”的发明专利申请的分案申请。

技术领域

本申请实施例涉及通信技术领域，尤其涉及一种数据处理方法和装置。

背景技术

存储型内存(storage class memory，SCM)指在断电后数据不会消失的字节级存储器，又可以称为非易失性内存。与动态随机存取存储器(dynamic random accessmemory，DRAM)相比，SCM具有断电非易失性和存储密度大的特性。随着SCM的成熟，现有的计算机系统架构面临重大革新。

远端直接内存访问(remote direct memory access，RDMA)可以绕过内核软件栈，经过硬件RDMA网络接口卡(RDMA network interface card，RNIC)通过直接内存访问(direct memory access，DMA)的方式直接读写远端内存中的数据。在分布式存储系统中，为了充分利用SCM的介质特性，RDMA+SCM的结合成为了必然的选择。

虽然SCM是非易失性的，但是当前处理器中各级缓冲存储器(cache)却是易失的，即断电之后，cache中的数据会丢失。因此，为了保证数据高可靠性，必须及时将cache中的数据刷回到SCM中，保证数据持久化。如果访问存储在本地内存中的数据，则可以通过CLFLUSH指令将缓存行(cache line)刷回。如果是通过RDMA访问存储在远端的数据，则在访问完远端的数据之后，需要通知远端中央处理器(central processing unit，CPU)调用CLFLUSH指令将对应的cache line刷回SCM中。整个过程会导致访问远端的数据交互流程复杂，且时延极高，无法充分利用SCM和RDMA的特性。

如图1所示，如果CPU的数据直接访问输入输出(data direct input/output，DDIO)开启，客户端(client)首先通过RDMA Write操作请求向服务器(server)写数据。在client收到目标服务器反馈的用于指示所请求的数据已写入server的响应以后，然后client再通过RDMA send向server发起持久化操作请求，以请求server将client请求写入的数据在内存中持久化。

但是，图1中client向服务器写数据时，需要调用六次网络接口，三次网络传输，以及一次CPU cache line flush操作。如果考虑到中间涉及到的操作系统调度等开销，则图1中的延时需要几十微秒。相比之下，一次RDMA Write仅需要1微秒(us)～2us，而一次SCM写，则最多需要500纳秒(ns)。由此可见，上述方案流程完全掩盖了SCM带来的好处。

发明内容

本申请实施例提供一种数据处理方法和装置，用以减少内存持久化守护进程被调度执行的次数。

为了解决上述技术问题，本申请实施例提供如下技术方案：

第一方面，本申请实施例提供一种数据处理方法，该数据处理方法包括：接收包括数据以及数据对应的第一地址的第一数据操作请求，其中，第一地址为数据在数据处理装置中的存储地址；

根据所述第一地址，从日志列表中的N个条目中确定所述第一地址对应的目标条目，其中，N个条目与所述LLC中的N个cache line一一映射，一个条目用于记录发送给所述数据处理装置的数据操作请求对应的日志，N为大于或等于1的整数，所述日志列表存储在所述非易失性快速存储介质中；

若所述第一数据操作请求之前的数据操作请求写入的地址对应的cache line与所述第一地址对应的cache line相同，则删除所述目标条目中的日志，根据第一数据操作请求，在所述目标条目上记录第一数据操作请求对应的日志，其中，所述第一数据操作请求对应的日志包括所述数据、所述第一地址以及所述第一数据操作请求的操作类型；存储所述数据。

本申请实施例提供一种数据处理方法，通过在具有非易失性快速存储介质的数据处理装置中，将接收到第一数据操作请求对应的日志记录到存储在非易失性快速存储介质中的日志列表里，由于快速存储介质是非易失性的，这样当数据处理装置时，可以通过日志列表中的记录恢复第一数据操作请求，并且要求请求发起端重新发起相应的内存操作。由于本申请实施例只需要两次网络接口调用(例如，用于发起数据传输请求和获取传输结束的标记)，一次网络传输(例如，将数据从客户端发送到数据处理装置)，因此与现有技术相比减少了内存持久化守护进程被调度执行的次数。

另外，如果第一地址对应的cache line和某一个地址对应的cache line相同，则本申请实施例通过将第一数据操作请求对应的日志记录在第一地址确定的目标条目上，这样可以不断淘汰对相同cache line的数据操作请求，达到记录最后一次cache line操作的目的，又因为日志列表存储在非易失的快速存储介质中，因此，存储系统突然断电时，只需要根据日志列表中的内容恢复对应的cache line操作即可。

一种可能的实现方式中，若所述第一数据操作请求之前的数据操作请求写入的地址对应的cache line与所述第一地址对应的cache line不相同，则根据第一数据操作请求，在所述目标条目上记录第一数据操作请求对应的日志。

一种可能的实现方式中，如果第一数据操作请求所请求的有效载荷Payload的长度大于预设字节，则将第一数据操作请求所请求的有效载荷与预设字节相等的部分记录至目标条目，并将第一数据操作请求所请求的有效载荷中除预设字节以外的部分记录在由第一地址和预设字节确定的条目中。

一种可能的实现方式中，根据所述第一地址，从N个条目中确定第一地址对应的目标条目，包括：确定第一地址对应的cache line；根据N个cache line与N个条目之间的映射关系以及第一地址对应的cache line，从N个条目中确定目标条目。

一种可能的实现方式中，日志列表包括多级子日志列表，多级子日志列表包括的N个条目之间一一映射，多级子日志列表具有不同的优先级，本申请实施例提供的方法还包括：第二操作请求对应的cache line与所述第一操作请求对应的cache line相同；在确定所述第二地址对应的第一条目上记录有所述第一操作请求对应的日志时，按照预设优先级顺序依次将多级子日志列表中前一级子日志列表中第一条目上记录的日志迁移至与所述前一级子日志列表相邻的下一级子日志列表中第一条目上；将所述第二数据操作请求对应的日志记录在优先级最高的子日志列表中第一条目上。

一种可能的实现方式中，存储数据，包括：通过直接内存访问DMA方式将数据存储在数据处理装置中第一地址对应的cache line。

一种可能的实现方式中，本申请实施例提供的方法还包括：确定第一数据操作请求的包序列号PSN与期望的ePSN不相等，则向数据发送装置发送响应操作请求，该响应操作请求用于指示数据发送装置重传数据，或者用于指示数据传输错误。这样便于在写数据出现错误时，使得数据发送装置及时重传需要写入的数据。

一种可能的实现方式中，本申请实施例提供的方法还包括：当数据处理装置故障时，根据日志列表中每个条目请求数据发送装置重新发起相应的操作。

第二方面，本申请提供一种RNIC网卡，RNIC网卡与存储器和处理器CPU均连接，RNIC网卡包括非易失性存储器，CPU包括末级缓存LLC，RNIC网卡用于：接收第一数据操作请求，第一数据操作请求包括数据以及数据对应的第一地址，第一地址为数据在存储器中的存储地址；根据第一地址，从日志列表中的N个条目中确定第一地址对应的目标条目，其中，N个条目与末级缓存LLC中的N个cache line一一映射，一个条目用于记录发送给RNIC网卡的数据操作请求对应的日志，N为大于或等于1的整数，日志列表存储在非易失性快速存储介质中；若第一数据操作请求之前的数据操作请求写入的地址对应的cache line与第一地址对应的cache line相同，则删除目标条目中的日志，根据第一数据操作请求，在目标条目上记录第一数据操作请求对应的日志，存储数据至目标条目。

第三方面，本申请提供一种服务器，包括RNIC网卡、处理器、存储器，RNIC网卡与存储器和处理器CPU均连接，RNIC网卡包括非易失性存储器，CPU包括末级缓存LLC，RNIC网卡用于：

接收第一数据操作请求，第一数据操作请求包括数据以及数据对应的第一地址，第一地址为数据在存储器中的存储地址；

根据第一地址，从日志列表中的N个条目中确定第一地址对应的目标条目，其中，N个条目与末级缓存LLC中的N个cache line一一映射，一个条目用于记录发送给RNIC网卡的数据操作请求对应的日志，N为大于或等于1的整数，日志列表存储在非易失性快速存储介质中；

若第一数据操作请求之前的数据操作请求写入的地址对应的cache line与第一地址对应的cache line相同，则删除目标条目中的日志，根据第一数据操作请求，在目标条目上记录第一数据操作请求对应的日志，存储数据至目标条目。

该RNIC网卡和服务器可以实现第一方面或第一方面的任意可能的实现方式中的方法，因此也能实现第一方面或第一方面任意可能的实现方式中的有益效果。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令在计算机上运行时，使得计算机执行如第一方面或第一方面的各种可能的实现方式中所描述的一种数据处理方法。

第五方面，本申请提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行第一方面和第一方面各种可能的实现方式中的一个或多个。

第六方面，本申请实施例提供一种芯片，该芯片包括处理器和接口电路，接口电路和处理器耦合，处理器用于运行计算机程序或指令，以实现如第一方面或第一方面的各种可能的实现方式中所描述的一种数据处理方法，接口电路用于与所述芯片之外的其它模块进行通信。

第七方面，本申请实施例提供一种存储系统，该存储系统包括：数据发送装置，以及如第二方面至第二方面的各种可能的实现方式所描述的数据处理装置，该数据发送装置用于向数据处理装置发送第一数据操作请求。

附图说明

图1为本申请实施例提供的一种数据持久化示意图；

图2为本申请实施例提供的一种存储系统的示意图；

图3为本申请实施例提供的一种服务器的结构示意图；

图4为本申请实施例提供的一种数据处理方法的流程示意图一；

图5为本申请实施例提供的一种日志队列的示意图；

图6为本申请实施例提供的一种日志列表和cache line之间的示意图；

图7为本申请实施例提供的一种数据处理方法的流程示意图二；

图8为本申请实施例提供的一种多级子日志列表和cache line之间的示意图；

图9为本申请实施例提供的一种数据处理方法的流程示意图三；

图10为本申请实施例提供的多级子日志列表淘汰的示意图；

图11为本申请实施例提供的一种数据处理方法的流程示意图四；

图12为本申请实施例提供的一种数据处理装置的结构示意图一；

图13为本申请实施例提供的一种数据处理装置的结构示意图二。

具体实施方式

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一数据操作请求和第二数据操作请求仅仅是为了区分不同的数据操作请求，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请实施例描述的网络架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

如图2所示，图2示出了本申请实施例提供的一种数据处理方法应用的存储系统，该存储系统包括：至少一个客户端(client)和至少一个服务器(server)，其中，图2中分别示出了一个服务器101和一个客户端102。

其中，至少一个客户端可以通过远端直接访存(remote direct memory access，RDMA)向至少一个服务器中写(write)数据。

其中，至少一个客户端和至少一个服务器中均包括：CPU和RDMA网络接口卡(RDMAnetwork interface card，RNIC，简称RNIC网卡)。

其中，服务器中的RNIC网卡中存在如下队列，例如：接收队列(receive queue，rq)，发送队列(send queue，sq)以及完成队列(completion queue，cq)。其中，接收队列用于暂时存储RNIC收到的消息。发送队列，用于暂时存储RNIC需要向外发送的消息请求。完成队列，用于当RDMA请求完成时，产生通知事件。

其中，如图3中所描述的任意一个服务器也可以称为节点，至少一个服务器为可以为客户端提供服务的网络设备，比如，服务器101可以是具有服务器功能的计算机等。由于每个服务器的硬件结构相同，本发明实施例以服务器101为例介绍图2所示的存储系统中每个服务器的硬件架构.参见图3，服务器101包括存储器1011、处理器1012、系统总线1013、电源组件1014、输入\输出接口1015、通信组件1016以及一个或多个网卡1017等。其中，存储器1031可用于存储数据、软件程序以及模块，主要包括存储程序区和存储数据区，存储程序区可存储操作系统、至少一个功能所需的应用程序等，存储数据区可存储客户端请求写入的数据。处理器1012通过运行或执行存储在存储器1011内的软件程序和/或模块，以及调用存储在存储器1011内的数据，执行服务器101的各种功能和处理数据。系统总线1013包括地址总线、数据总线、控制总线，用于传输数据和指令；电源组件1014用于为服务器101的各个组件提供电源；输入\输出接口1015为处理器1012和外围接口模块之间提供接口；通信组件1016用于为服务器101和其他设备之间进行有线或无线方式的通信。一个或多个网卡1017用于在服务器101和客户端102的网卡之间形成会话通道，以便传输业务。在通信系统中，服务器101承担着数据的存储、转发、发布等关键任务，是各类基于客户机/服务器(Client/Server，简称：C/S)模式或者浏览器/服务器(Browser/Server，简称：B/S)模式网络中不可或缺的重要组成部分。

如图4所示，图4示出了本申请实施例提供的一种数据处理方法，该方法应用于具有非易失性快速存储介质的数据处理装置中，该方法包括：

S101、数据处理装置接收第一数据操作请求，该第一数据操作请求包括数据以及数据对应的第一地址，该第一地址为数据在数据处理装置中的存储地址。

示例性的，本申请实施例中的数据处理装置可以为如图2所示的服务器，或者为如图2所示的服务器中的芯片。具体的，数据处理装置可以为图2所示的服务器中的RNIC网卡。

示例性的，第一地址可以为数据对应的物理地址(Physical Address，PA)，其中，PA又叫实际地址或绝对地址。

具体的，数据处理装置可以接收数据发送装置以RDMA方式发送的第一数据操作请求。

S102、数据处理装置根据第一数据操作请求，在日志列表(Log List)中记录第一数据操作请求对应的日志(Log)。

其中，第一数据操作请求对应的日志包括数据、第一地址以及第一数据操作请求的操作类型；日志列表存储在所述非易失性快速存储介质中。例如，非易失性快速存储介质可以为：磁性随机存储器(magnetic random access memory，MRAM)。

示例性的，操作类型可以为写入操作。示例性的，第一数据操作请求对应的日志包括：<opcode，PA，data…>。

示例性的，本申请实施例中的日志列表包括N个条目(Entry)，一个条目用于记录一个第一数据操作请求对应的日志。N个条目中任一个条目对应一个cache line，也即数据处理装置具有N个cache line。N个cache line和N个条目一一映射。

本申请实施例中的日志列表也可以称作日志队列Log Queue，当日志列表为LogQueue时，只能进行入队和出队操作。与Log Queue不同，Log List的任意Entry可以被替换，而不是只能进行入队和出队操作。

具体的，当日志列表为Log Queue时，本申请实施例中在向Log Queue中记录第一数据操作请求对应的日志时，可以按照入队和出队的顺序从Log Queue中处于空闲态的Entry中选择一个Entry用于记录第一数据操作请求对应的日志，或者按照Log Queue的队列顺序选择一个Entry用于记录第一数据操作请求对应的日志，本申请实施例对此不作限定。例如，如图5所示，图5中Log Queue包括5个Entry(例如，条目1～条目5)，其中，条目1、条目2以及条目3中均记录有相应的日志，则数据处理装置可以将第一数据操作请求对应的日志记录在条目4上。

本申请实施例中通过将第一数据操作请求记录到Log Queue中，则当存储系统故障时，可以通过Log Queue中的记录的日志恢复RDMA Write操作请求(指数据发送装置以RDMA方式向数据处理装置发送的用于写数据的数据操作请求)或者撤销RDMA Write操作请求，并且要求数据发送装置重新发起相应的内存操作。

S103、数据处理装置存储数据。

一种示例，本申请实施例中的步骤S103具体可以通过以下方式实现：数据处理装置通过直接内存访问DMA方式将数据存储在数据处理装置中LLC包括的多个cache line中第一地址对应的cache line。

作为一种可能的实现方式，在步骤S103之前，本申请实施例提供的方法还包括：数据处理装置向数据发送装置反馈响应消息(例如，Ack响应)，该响应消息用于指示数据存储成功。

上述方案中，当Log Queue被填满(即N个Entry中均记录有数据操作请求对应的日志)时，需要将Log Queue中所有Entry对应的内存操作的cache line刷回到SCM中，才能继续填充Log Queue。否则，可能造成某个Entry在持久化之前被替换掉，导致数据丢失的风险。因此，上述方案只是减少了内存持久化守护进程被调度执行的次数，即对于N次数据操作请求，调度执行一次内存持久化守护进程，而不是每次数据操作请求都需要执行一次内存持久化化守护进程。

同时，如果RNIC网卡带宽利用率很高，则需要设置很大的Log Queue(即增加MRAM的大小)才能起到显著的缓冲和合并作用。但是，过大的Log Queue会使得Log Queue被填满时，需要很长时间才能将各个Entry中的对应的cache line刷回到SCM中，这需要较长的时间，会直接导致RDMA操作时延很长，甚至可能造成RDMA操作重传或者失败。由于真正需要进行持久化的是LLC中的数据，例如果连续两次内存操作的内存地址对应到同一个cacheline，则前一次内存操作是不需要进行持久化的，因为CPU的cache一致性原理会保证后一次内存操作自动将前一次内存的内存操作的结果刷回到内存中，而不需要CPU显式调用cache line的刷回指令。综上分析，RNIC不需要记录对SCM的操作，只需要记录对LLC的操作即可。如果能在RNIC中对LLC进行备份，则可以保证数据的崩溃一致性(CrashConsistency)。

基于上述分析，本申请实施例可以采用如下方式淘汰日志列表中的Entry。如图6所示，Log List中的每个Entry记录一次RDMA Write操作请求。

如图6所示，假设CPU的末级Cache(Last Level Cache，LLC)共有N个cache line，则令Log List中有对应的N个Entry。假设RDMA Write操作请求的目标物理地址为X，CPU的LLC替换算法为：E＝F(X)，0≤E≤N。

给定目标物理地址X，X对应到LLC的第E个cache line，X到E的映射关系为F。如果RDMA Write操作请求的目标物理地址为X，其采用相同的映射关系F将该RDMA Write操作请求映射到Log List的条目E中。

因此，为了避免不同数据操作请求请求写入的地址对应到同一个cache line，在这种情况下，日志列表中的各个条目则可以替换，作为一种可能的实现方式，如图7所示，本申请实施例提供的步骤S102可以通过以下方式实现：

S1021、数据处理装置根据所述第一地址，从N个条目中确定第一地址对应的目标条目。

S1022、数据处理装置根据第一数据操作请求，在目标条目记录第一数据操作请求对应的日志。

具体的，如果第一地址和第一数据操作请求之前，请求写入的数据地址对应同一个cache line，则数据处理装置将第一数据操作请求之前，请求写入的数据地址对应的目标条目中的日志删掉，并在目标条目记录第一数据操作请求对应的日志。

示例性的，以一个cache的大小为64Byte，一个条目的大小也为64Byte为例。因此，如果所述第一数据操作请求所请求的有效载荷Payload的长度(Length)大于预设字节(例如，64byte)，则将所述第一数据操作请求所请求的有效载荷与所述预设字节相等的部分记录至所述目标条目，并将所述第一数据操作请求所请求的有效载荷中除所述预设字节以外的部分记录在由所述第一地址和所述预设字节确定的条目中，直至第一数据操作请求所请求的有效载荷全部记录在日志列表中。

例如，第一数据操作请求的Payload的Length大于64Byte，则令X'＝X+64，重复执行X'确定的目标条目，并将第一数据操作请求剩余的Payload存储至X'确定的目标条目，直到处理完第一数据操作请求所有的Payload。例如，第一数据操作请求的Payload的Length为192，其中，X＝256对应的条目为条目1，则可以将第一数据操作请求的Payload中的0～63Byte存储在条目1中，然后根据X'＝X+64＝256+64＝320确定的条目为条目5，则将64～127Byte存储在条目5中，然后根据X"＝X'+64＝320+64＝384确定的条目为条目6，则将128～191Byte存储在条目5中。

具体的，本申请实施例中的S1021可以通过以下方式实现：数据处理装置确定所述第一地址对应的cache line。数据处理装置根据所述N个cache line与所述N个条目之间的映射关系以及所述第一地址对应的cache line，从所述N个条目中确定所述目标条目。

可以理解的是，本申请实施例中的S1021和S1022同样适用于当日志列表为日志队列时的情况。

假设第一次RDMA Write操作请求对应到Log List的第E个Entry，根据前述方案，如果第二次RDMA Write操作请求与第一次RDMA Write操作请求对应相同的cache，则需要将该第E个Entry中记录的第一次RDMA Write操作请求对应的日志删掉，并在第E个Entry中记录第二次RDMA Write操作请求对应的日志。如果，此时存储系统突然崩溃，由于第二次RDMA Write操作请求只是记录在了RNIC中，尚未来得及写入到LLC中，则第E个Entry中被删掉的第一次RDMA Write操作请求对应的日志不会再有机会被重做或者撤销，且其对应的SCM操作也没有被持久化。

为此，本发明实施例中的Log List可以包括多级子Log List，如图8所示，多级子Log List中每级子Log List包括的Entry一一映射，其中，多级子日志列表具有不同的优先级(指多级子日志列表中每级子日志列表的优先级不同)。假设共有P级Log List，其中编号为0的子Log List的优先级最高，编号为P-1的子Log List的优先级最低。数据处理装置在收到第一数据操作请求之后，根据淘汰机制，假设该第一数据操作请求对应到第E个LogList Entry，则首先将第P-2号子Log List的第E个Entry上记录的日志迁移到第P-1号LogList的第E个Entry上，依次，将第0号Log List的第E个Entry上记录的日志迁移到第1号LogList的第E个Entry，然后将第一数据操作请求对应的日志记录到第0号Log List的第E个Entry。

需要说明的是，如果在迁移过程中，某一个Entry上不存在日志，则该Entry后一级的所有Entry上的日志可以不进行迁移。

具体的，如图9所示，本申请实施例提供的方法还包括：

S104、数据处理装置接收第二数据操作请求，所述第二操作请求对应的cacheline与第一操作请求对应的cache line相同。

S105、数据处理装置确定第二地址对应的第一条目上记录有所述第一操作请求对应的日志时，按照预设优先级顺序依次将所述多级子日志列表中前一级子日志列表中第一条目上记录的日志迁移至与所述前一级子日志列表相邻的下一级子日志列表中第一条目上。

其中，预设优先级顺序为优先级从高至低的顺序。

S106、数据处理装置将第二数据操作请求对应的日志记录在优先级最高的子日志列表中第一条目上。

可以理解的是，当预设优先级顺序为优先级从低至高的顺序时，数据处理装置将第二数据操作请求对应的日志记录在优先级最低的子日志列表中第一条目上。

示例性的，如图10所示，在接收第二数据操作请求之前，如图10所示的各级子LogList中第2个Entry中所记录的日志分别如图10所示，在接收到第二数据操作请求之后，由于第二数据操作请求和第一数据操作请求对应响应的缓存行3，因此，将各级子Log List中第2个Entry中所记录的日志分别向后迁移，直至将日志4淘汰，这种情况下，第0级的子LogList中第2个Entry将空出，因此可以将第二数据操作请求对应的日志5写入第0级的子LogList中第2个Entry中。

作为一种可能的实现方式，本申请实施例在步骤S102之前，还包括：数据处理装置确定所述第一数据操作请求的包序列号PSN与期望的ePSN不相等，则所述数据处理装置向数据发送装置发送响应操作请求，所述响应操作请求用于指示所述数据发送装置重传所述数据，或者用于指示所述数据传输错误。这样便于在写数据出现错误时，使得数据发送装置及时重传需要写入的数据。

示例性的，数据发送装置可以为图2中的客户端。

可以理解的是，本申请实施例中当数据处理装置确定所述第一数据操作请求的包序列号PSN与期望的ePSN相等时，则执行S102。

如图11所示，本申请实施例在步骤S103之后，还包括：

S107、当数据处理装置故障时，数据处理装置根据日志列表中每个条目请求数据发送装置重新发起相应的操作。以便于根据Log List中的内容恢复对应的cache line操作。

上述主要从各个网元之间交互的角度对本申请实施例的方案进行了介绍。可以理解的是，各个网元，例如数据处理装置等为了实现上述功能，其包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例数据处理装置进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

下面以采用对应各个功能划分各个功能模块为例进行说明：

在采用集成的单元的情况下，图12示出了上述实施例中所涉及的一种数据处理装置的一种可能的结构示意图，该数据处理装置可以为服务器，或者为应用于服务器中的芯片。该数据处理装置包括：接收单元201、处理单元202以及存储单元203。

其中，接收单元201用于支持数据处理装置执行上述实施例中的步骤S101以及S104。处理单元202用于支持数据处理装置执行上述实施例中的步骤S102、S1022、S105以及S106。

存储单元203用于支持数据处理装置执行上述实施例中的步骤103。

可选的，该数据处理装置还包括：确定单元204以及发送单元205，其中，确定单元204用于支持数据处理装置执行上述实施例中的步骤S1021，发送单元205用于支持数据处理装置执行上述实施例中的步骤S107。上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

在采用集成的单元的情况下，图13示出了上述实施例中所涉及的数据处理装置的一种可能的逻辑结构示意图，该数据处理装置可以为上述实施例中的终端，或者为应用于终端中的芯片。数据处理装置包括：处理模块212和通信模块213。处理模块212用于对数据处理装置的动作进行控制管理，例如，处理模块212用于执行在数据处理装置侧进行消息或数据处理的步骤，通信模块213用于在数据处理装置侧进行消息或数据处理的步骤。

例如，作为一种可能的实现方式，处理模块212用于支持数据处理装置执行上述实施例中的S102、S1021、S1022、S105以及S106。通信模块213用于支持数据处理装置执行上述实施例中的S101以及S104以及S107。和/或用于本文所描述的技术的其他由数据处理装置执行的过程。

可选的，数据处理装置还可以包括存储模块211，用于存储数据处理装置的程序代码和数据。例如，用于执行S103。

其中，处理模块212可以是处理器或控制器，例如可以是中央处理器单元，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包括一个或多个微处理器组合，数字信号处理器和微处理器的组合等等。通信模块213可以是收发器、收发电路或通信接口等。存储模块211可以是存储器。

当处理模块212为处理器1012，通信模块213为通信组件1016时，存储模块211为存储器1011时，本申请所涉及的数据处理装置可以为图3所示的设备。

一方面，提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令被运行时，使得服务器或者应用于服务器中的芯片执行实施例中的S101、S102、S1021、S1022、S103、S104、S105、S106以及S107。和/或用于本文所描述的技术的其他由服务器或者应用于服务器中的芯片执行的过程。

前述的可读存储介质可以包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

一方面，提供一种包括指令的计算机程序产品，计算机程序产品中存储有指令，当指令被运行时，使得服务器或者应用于服务器中的芯片执行实施例中的S101、S102、S1021、S1022、S103、S104、S105、S106以及S107。和/或用于本文所描述的技术的其他由服务器或者应用于服务器中的芯片执行的过程。

一方面，提供一种芯片，该芯片应用于服务器中，芯片包括一个或两个以上(包括两个)处理器和接口电路，接口电路和该一个或两个以上(包括两个)处理器通过线路互联，处理器用于运行指令，以执行实施例中的S101、S102、S1021、S1022、S103、S104、S105、S106以及S107。和/或用于本文所描述的技术的其他由服务器执行的过程。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line，简称DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，简称SSD))等。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包括这些改动和变型在内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

接收第一数据操作请求，所述第一数据操作请求包括数据以及所述数据对应的第一地址，所述第一地址为所述数据在数据处理装置中的存储地址；

根据所述第一地址，从日志列表中的N个条目中确定所述第一地址对应的目标条目，其中，N个条目与所述数据处理装置中的末级缓存LLC中的N个cache line一一映射，一个条目用于记录发送给所述数据处理装置的数据操作请求对应的日志，N为大于或等于1的整数，所述日志列表存储在所述非易失性快速存储介质中；

若所述第一数据操作请求之前的数据操作请求写入的地址对应的cache line与所述第一地址对应的cache line相同，则删除所述目标条目中的日志，根据第一数据操作请求，在所述目标条目上记录第一数据操作请求对应的日志，其中，所述第一数据操作请求对应的日志包括所述数据、所述第一地址以及所述第一数据操作请求的操作类型；

存储所述数据。

2.根据权利要求1所述的一种数据处理方法，其特征在于，若所述第一数据操作请求之前的数据操作请求写入的地址对应的cache line与所述第一地址对应的cache line不相同，则根据第一数据操作请求，在所述目标条目上记录第一数据操作请求对应的日志。

3.根据权利要求2所述的一种数据处理方法，其特征在于，如果所述第一数据操作请求所请求的有效载荷Payload的长度大于预设字节，则将所述第一数据操作请求所请求的有效载荷与所述预设字节相等的部分记录至所述目标条目，并将所述第一数据操作请求所请求的有效载荷中除所述预设字节以外的部分记录在由所述第一地址和所述预设字节确定的其他条目中。

4.根据权利要求2或3所述的一种数据处理方法，其特征在于，所述根据所述第一地址，从所述N个条目中确定所述第一地址对应的目标条目，包括：

确定所述第一地址对应的cache line；

根据所述N个cache line与所述N个条目之间的映射关系以及所述第一地址对应的cache line，从所述N个条目中确定所述目标条目。

5.根据权利要求1-4任一项所述的一种数据处理方法，其特征在于，所述日志列表包括多级子日志列表，所述多级子日志列表包括的N个条目之间一一映射，所述多级子日志列表具有不同的优先级，所述方法还包括：

接收第二数据操作请求，所述第二操作请求对应的cache line与所述第一操作请求对应的cache line相同；

在确定所述第二地址对应的第一条目上记录有所述第一操作请求对应的日志时，按照预设优先级顺序依次将所述多级子日志列表中前一级子日志列表中第一条目上记录的日志迁移至与所述前一级子日志列表相邻的下一级子日志列表中第一条目上；

将所述第二数据操作请求对应的日志记录在优先级最高的子日志列表中第一条目上。

6.根据权利要求1-5任一项所述的一种数据处理方法，其特征在于，所述存储所述数据，包括：

通过直接内存访问DMA方式将所述数据存储在所述数据处理装置中所述第一地址对应的cache line。

7.根据权利要求1-6任一项所述的一种数据处理方法，其特征在于，所述方法还包括：

确定所述第一数据操作请求的包序列号PSN与期望的ePSN不相等，则向数据发送装置发送响应操作请求，所述响应操作请求用于指示所述数据发送装置重传所述数据，或者用于指示所述数据传输错误。

8.根据权利要求1-7任一项所述的一种数据处理方法，其特征在于，所述方法还包括：

当所述数据处理装置故障时，根据所述日志列表中每个条目请求数据发送装置重新发起相应的操作。

9.一种RNIC网卡，其特征在于，所述RNIC网卡与存储器和处理器CPU均连接，所述RNIC网卡包括非易失性存储器，所述CPU包括末级缓存LLC，所述RNIC网卡用于：

接收第一数据操作请求，所述第一数据操作请求包括数据以及所述数据对应的第一地址，所述第一地址为所述数据在所述存储器中的存储地址；

根据所述第一地址，从日志列表中的N个条目中确定所述第一地址对应的目标条目，其中，N个条目与所述末级缓存LLC中的N个cache line一一映射，一个条目用于记录发送给所述RNIC网卡的数据操作请求对应的日志，N为大于或等于1的整数，所述日志列表存储在所述非易失性快速存储介质中；

若所述第一数据操作请求之前的数据操作请求写入的地址对应的cache line与所述第一地址对应的cache line相同，则删除所述目标条目中的日志，根据第一数据操作请求，在所述目标条目上记录第一数据操作请求对应的日志，存储所述数据至所述目标条目。

10.一种服务器，其特征在于，包括RNIC网卡、处理器、存储器，所述RNIC网卡与存储器和处理器CPU均连接，所述RNIC网卡包括非易失性存储器，所述CPU包括末级缓存LLC，所述RNIC网卡用于：

接收第一数据操作请求，所述第一数据操作请求包括数据以及所述数据对应的第一地址，所述第一地址为所述数据在所述存储器中的存储地址；

根据所述第一地址，从日志列表中的N个条目中确定所述第一地址对应的目标条目，其中，N个条目与所述末级缓存LLC中的N个cache line一一映射，一个条目用于记录发送给所述RNIC网卡的数据操作请求对应的日志，N为大于或等于1的整数，所述日志列表存储在所述非易失性快速存储介质中；

若所述第一数据操作请求之前的数据操作请求写入的地址对应的cache line与所述第一地址对应的cache line相同，则删除所述目标条目中的日志，根据第一数据操作请求，在所述目标条目上记录第一数据操作请求对应的日志，存储所述数据至所述目标条目。

Images