CN109697034B - 一种数据写入方法、装置、电子设备及存储介质 - Google Patents

一种数据写入方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109697034B
CN109697034B CN201811558140.5A CN201811558140A CN109697034B CN 109697034 B CN109697034 B CN 109697034B CN 201811558140 A CN201811558140 A CN 201811558140A CN 109697034 B CN109697034 B CN 109697034B
Authority
CN
China
Prior art keywords
data
written
writing
buffer area
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811558140.5A
Other languages
English (en)
Other versions
CN109697034A (zh
Inventor
方明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201811558140.5A priority Critical patent/CN109697034B/zh
Publication of CN109697034A publication Critical patent/CN109697034A/zh
Application granted granted Critical
Publication of CN109697034B publication Critical patent/CN109697034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms

Abstract

本公开公开了一种数据写入方法、装置、电子设备及存储介质。其中，该方法包括：在用户空间内的全部待写入数据中，获取一项目标待写入数据，并确定所述目标待写入数据的内存长度；比较所述内存长度与预设长度阈值的大小；如果所述内存长度小于所述预设长度阈值，则将所述目标待写入数据写入至数据缓冲区；将所述数据缓冲区中的数据写入至内核空间的套接字缓存。本公开实施例可以简化将用户空间的数据写入到内核空间的数据拷贝过程，减少拷贝次数，提高系统的性能。

Description

一种数据写入方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及数据处理技术，尤其涉及一种数据写入方法、装置、电子设备及存储介质。
背景技术
远程过程调用(Remote Procedure Call，RPC)是一种客户/服务器模式(Client/Server，C/S)架构的服务模型。RPC就是一台机器(客户端)可以通过参数传递的方式调用另一台机器(服务器端)上的一个函数或方法(可以统称为服务)并得到返回的结果。在实际的大型分布式系统中，不同的服务往往会使用不同的语言来实现，所以一般的RPC系统会提供一种跨语言的过程调用功能。例如，一段用C++实现的客户端代码可以远程调用服务器端的一个用Java实现的服务。一个完整的RPC系统主要分为三个层次：服务层(service)，包括RPC接口定义与实现；协议层(protocol)；包括RPC报文格式和数据编码格式；传输层(transport)，用于实现底层的通信以及系统相关的功能。
thrift是一种开源跨语言的RPC协议。thrift通过接口描述语言(InterfaceDefinition Language，IDL)来定义RPC的数据类型和接口。这些内容写在以.thrift结尾的文件中，然后通过特殊的编译器来生成不同语言的代码，以满足不同需要的开发者。即实现通信传输需要先使用thrift根据用户定义的IDL文件生成对应的代码，然后通过生成的代码实现RPC的协议层和传输层功能。生成的代码中不但包含目标语言的接口定义、方法和数据类型，还包含有RPC协议层和传输层的实现代码。这些代码实现了RPC的协议层和传输层功能，从而让用户可以集中精力于服务的调用和实现，而不用关心数据是如何通信的。
在根据IDL文件生成对应的代码时，需要将存储于用户空间的IDL文件中的数据写入到内核空间，然后由操作系统根据写入的数据在内核空间生成代码。现有技术中，根据thrift的标准库提供的数据传输方式将用户空间的数据写入到内核空间。具体流程为：先把用户空间的数据从用户堆栈写入用户空间的字节缓冲区，此为第1次拷贝。再将数据从字节缓冲区写入用户空间的输入输出缓冲区，此为第2次拷贝。最终将数据从用户空间的输入输出缓冲区写入到内核空间的套接字缓存中，此为第3次拷贝。
现有技术的缺陷在于，将用户空间的数据写入到内核空间的过程中存在多次拷贝，过程复杂，增加了系统的拷贝损耗，降低系统性能。
发明内容
本公开提供一种数据写入方法、装置、电子设备及存储介质，以实现简化将用户空间的数据写入到内核空间的数据拷贝过程，提高系统的性能。
第一方面，本公开实施例提供了一种数据写入方法，包括：
在用户空间内的全部待写入数据中，获取一项目标待写入数据，并确定目标待写入数据的内存长度；
比较内存长度与预设长度阈值的大小；
如果内存长度小于预设长度阈值，则将目标待写入数据写入至数据缓冲区；
将数据缓冲区中的数据写入至内核空间的套接字缓存。
上述方案中，可选的是，待写入数据为接口描述语言文件中的数据。
上述方案中，可选的是，在确定目标待写入数据的内存长度之后，还包括：
如果内存长度大于等于预设长度阈值，则将目标待写入数据写入至内核空间的套接字缓存。
上述方案中，可选的是，将目标待写入数据写入至内核空间的套接字缓存，包括：
将目标待写入数据加入数据写入队列；
将数据写入队列中的目标待写入数据写入至内核空间的套接字缓存，并对应删除数据写入队列中的目标待写入数据。
上述方案中，可选的是，还包括：
根据全部待写入数据确定数据缓冲区的参考容量；
比较数据缓冲区的当前容量与参考容量的大小；
如果数据缓冲区的当前容量小于参考容量，则根据参考容量对数据缓冲区进行扩容。
上述方案中，可选的是，根据全部待写入数据确定数据缓冲区的参考容量，包括：
根据全部待写入数据确定各待写入数据的字段类型；
根据字段类型，在预设的字段内存表中查询与各待写入数据对应的内存长度；
根据与各待写入数据对应的内存长度，确定数据缓冲区的参考容量。
第二方面，本公开实施例还提供了一种数据写入装置，包括：
数据获取模块，用于在用户空间内的全部待写入数据中，获取一项目标待写入数据，并确定目标待写入数据的内存长度；
内存长度比较模块，用于比较内存长度与预设长度阈值的大小；
第一写入模块，用于如果内存长度小于预设长度阈值，则将目标待写入数据写入至数据缓冲区；
第二写入模块，用于将数据缓冲区中的数据写入至内核空间的套接字缓存。
上述方案中，可选的是，待写入数据为接口描述语言文件中的数据。
上述方案中，可选的是，还包括：
第三写入模块，用于如果内存长度大于等于预设长度阈值，则将目标待写入数据写入至内核空间的套接字缓存。
上述方案中，可选的是，第三写入模块包括：
数据加入单元，用于将目标待写入数据加入数据写入队列；
数据写入单元，用于将数据写入队列中的目标待写入数据写入至内核空间的套接字缓存，并对应删除数据写入队列中的目标待写入数据。
上述方案中，可选的是，还包括：
容量确定模块，用于根据全部待写入数据确定数据缓冲区的参考容量；
容量比较模块，用于比较数据缓冲区的当前容量与参考容量的大小；
扩容模块，用于如果数据缓冲区的当前容量小于参考容量，则根据参考容量对数据缓冲区进行扩容。
上述方案中，可选的是，容量确定模块包括：
字段类型确定单元，用于根据全部待写入数据确定各待写入数据的字段类型；
内存长度查询单元，用于根据字段类型，在预设的字段内存表中查询与各待写入数据对应的内存长度；
参考容量确定单元，用于根据与各待写入数据对应的内存长度，确定数据缓冲区的参考容量。
第三方面，本公开实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本公开实施例所述的数据写入方法。
第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本公开实施例所述的数据写入方法。
本公开实施例通过在用户空间内的全部待写入数据中，获取一项目标待写入数据，确定目标待写入数据的内存长度，并比较内存长度与预设长度阈值的大小，在内存长度小于预设长度阈值时，将目标待写入数据写入至数据缓冲区，再将数据缓冲区中的数据写入至内核空间的套接字缓存，可以简化将用户空间的数据写入到内核空间的数据拷贝过程，减少拷贝次数，提高系统的性能。
附图说明
图1为本公开实施例提供的一种数据写入方法的流程图；
图2为本公开实施例提供的一种数据写入方法的流程图；
图3为本公开实施例提供的一种数据写入方法的流程图；
图4为本公开实施例提供的一种数据写入装置的结构示意图；
图5为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分而非全部结构。
图1为本公开实施例提供的一种数据写入方法的流程图，本实施例可适用于进行数据写入的情况，该方法可以由数据写入装置来执行，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于电子设备，例如，终端设备或服务器中。如图1所示，该方法可以包括如下步骤：
步骤101、在用户空间内的全部待写入数据中，获取一项目标待写入数据，并确定目标待写入数据的内存长度。
其中，待写入数据可以为接口描述语言(Interface Definition Language，IDL)文件中的数据。实现通信传输需要先使用thrift根据用户定义的IDL文件生成对应的代码。用户可以根据业务需求，通过IDL来定义RPC的数据类型和接口，并将定义RPC的数据类型和接口的内容写在以.thrift结尾的文件中，形成IDL文件。IDL文件中的数据为定义RPC的数据类型和接口的数据。将存储于用户空间的IDL文件中的数据写入到内核空间，然后由操作系统通过编译器，根据写入的数据在内核空间生成代码。生成的代码中不但包含目标语言的接口定义、方法和数据类型，还包含有RPC协议层和传输层的实现代码。生成的代码用于实现RPC的协议层和传输层功能。
存储于用户空间的IDL文件中的数据为待写入数据。IDL文件中的每一项待写入数据有对应的字段类型和内存长度。不同字段类型的待写入数据用于实现不同的功能。例如，IDL文件中包括：定义名字空间的数据、定义服务结构体的数据、以及定义服务接口的数据。即字段类型为：定义名字空间、定义服务结构体、以及定义服务接口。内存长度是待写入数据在内存中占用的字节数。
可选的，按照预设顺序从IDL文件中的全部待写入数据中获取一项待写入数据作为目标待写入数据，并确定目标待写入数据的内存长度。
步骤102、比较内存长度与预设长度阈值的大小。
其中，预设长度阈值为根据业务需求设置的内存长度阈值。例如，预设长度阈值为50k。确定目标待写入数据的内存长度后，比较目标待写入数据的内存长度与预设长度阈值的大小，即比较目标待写入数据在内存中占用的字节数与预设长度阈值的大小。
步骤103、如果内存长度小于预设长度阈值，则将目标待写入数据写入至数据缓冲区。
其中，如果目标待写入数据在内存中占用的字节数内存长度小于预设长度阈值，则将目标待写入数据写入至数据缓冲区。例如，目标待写入数据在内存中占用的字节数内存长度为16k，小于预设长度阈值50k，则将目标待写入数据写入至数据缓冲区。数据缓冲区用于对目标待写入数据进行缓存。
步骤104、将数据缓冲区中的数据写入至内核空间的套接字缓存。
其中，当确定数据缓冲区缓存的数据所占用的容量满足容量阈值条件时，将数据缓冲区中的数据写入内核空间的套接字缓存，并对应删除数据缓冲区中的数据。容量阈值条件为预先设置的用于触发将数据缓冲区中的数据写入内核空间的套接字缓存的操作的触发条件。当确定数据缓冲区缓存的数据所占用的容量满足容量阈值条件时，将数据缓冲区中的数据写入内核空间的套接字缓存，并对应删除数据缓冲区中的数据。套接字缓存是内核空间中用于保存由用户空间写入至内核空间的数据的缓冲区。
当数据缓冲区缓存的数据所占用的容量不满足容量阈值条件时，继续在用户空间内的全部待写入数据中，获取一项目标待写入数据，并确定目标待写入数据的内存长度，然后根据内存长度和预设长度阈值将目标待写入数据写入至数据缓冲区。
可选的，容量阈值条件为数据缓冲区缓存的数据所占用的容量达到预设容量。当确定数据缓冲区缓存的数据所占用的容量达到预设容量时，将数据缓冲区中的数据写入内核空间的套接字缓存，并对应删除数据缓冲区中的数据。当确定数据缓冲区缓存的数据所占用的容量未达到预设容量时，继续在用户空间内的全部待写入数据中，获取一项目标待写入数据，并确定目标待写入数据的内存长度，然后根据内存长度和预设长度阈值将目标待写入数据写入至数据缓冲区。
本实施例的技术方案，通过在用户空间内的全部待写入数据中，获取一项目标待写入数据，确定目标待写入数据的内存长度，并比较内存长度与预设长度阈值的大小，在内存长度小于预设长度阈值时，将目标待写入数据写入至数据缓冲区，再将数据缓冲区中的数据写入至内核空间的套接字缓存，可以简化将用户空间的数据写入到内核空间的数据拷贝过程，减少拷贝次数，提高系统的性能。
图2为本公开实施例提供的一种数据写入方法的流程图，本实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，待写入数据为接口描述语言文件中的数据。
以及，在确定目标待写入数据的内存长度之后，可以还包括：如果内存长度大于等于预设长度阈值，则将目标待写入数据写入至内核空间的套接字缓存。
如图2所示，该方法可以包括如下步骤：
步骤201、在用户空间内的全部待写入数据中，获取一项目标待写入数据，并确定目标待写入数据的内存长度。
步骤202、比较内存长度与预设长度阈值的大小。
步骤203、如果内存长度大于等于预设长度阈值，则将目标待写入数据写入至内核空间的套接字缓存。
其中，如果目标待写入数据在内存中占用的字节数内存长度大于等于预设长度阈值，则直接将目标待写入数据写入至内核空间的套接字缓存。例如，目标待写入数据在内存中占用的字节数内存长度为64k，大于预设长度阈值50k，则直接将目标待写入数据写入至内核空间的套接字缓存。
可选的，将目标待写入数据写入至内核空间的套接字缓存，可以包括：将目标待写入数据加入数据写入队列；将数据写入队列中的目标待写入数据写入至内核空间的套接字缓存，并对应删除数据写入队列中的目标待写入数据。
其中，数据写入队列为预先设置的用于在确定内存长度大于等于预设长度阈值时，将目标待写入数据写入至内核空间的套接字缓存的队列。如果目标待写入数据在内存中占用的字节数内存长度大于等于预设长度阈值，将目标待写入数据加入数据写入队列。可选的，实时监测数据写入队列中是否存在数据。在检测到数据写入队列中存在数据时，将数据写入队列中的数据写入内核空间的套接字缓存，并对应删除数据写入队列中的数据，从而将目标待写入数据写入至内核空间的套接字缓存。在未检测到数据写入队列中存在数据时，继续监测。
本实施例的技术方案，通过在用户空间内的全部待写入数据中，获取一项目标待写入数据，确定目标待写入数据的内存长度，并比较内存长度与预设长度阈值的大小，在内存长度大于等于预设长度阈值时，将目标待写入数据写入至内核空间的套接字缓存，可以根据内存长度简化将用户空间的数据写入到内核空间的数据拷贝过程，可以在内存长度大于等于预设长度阈值时，直接将目标待写入数据写入至内核空间的套接字缓存，有效减少拷贝次数，提高系统的性能。
图3为本公开实施例提供的一种数据写入方法的流程图，本实施例可以与上述一个或者多个实施例中各个可选方案结合，在本实施例中，可以还包括：根据全部待写入数据确定数据缓冲区的参考容量；比较数据缓冲区的当前容量与参考容量的大小；如果数据缓冲区的当前容量小于参考容量，则根据参考容量对数据缓冲区进行扩容。
如图3所示，该方法可以包括如下步骤：
步骤301、根据全部待写入数据确定数据缓冲区的参考容量。
可选的，根据全部待写入数据确定数据缓冲区的参考容量，可以包括：根据全部待写入数据确定各待写入数据的字段类型；根据字段类型，在预设的字段内存表中查询与各待写入数据对应的内存长度；根据与各待写入数据对应的内存长度，确定数据缓冲区的参考容量。
其中，预设的字段内存表中包括各待写入数据的字段类型，以及与各待写入数据对应的内存长度。内存长度是待写入数据在内存中占用的字节数。根据全部待写入数据确定各待写入数据的字段类型，然后根据字段类型，在预设的字段内存表中查询与各待写入数据对应的内存长度。根据与各待写入数据对应的内存长度，确定数据缓冲区的参考容量。可选的，按照内存长度从大到小对各待写入数据对应的内存长度进行排序，将排在第一位的内存长度确定为数据缓冲区的参考容量。即将最大的内存长度确定为数据缓冲区的参考容量。
步骤302、比较数据缓冲区的当前容量与参考容量的大小。
其中，数据缓冲区的当前容量是数据缓冲区当前的内存容量。比较数据缓冲区的当前容量与参考容量的大小。
步骤303、如果数据缓冲区的当前容量小于参考容量，则根据参考容量对数据缓冲区进行扩容。
其中，如果数据缓冲区的当前容量小于参考容量，则将数据缓冲区的当前容量扩容至参考容量。如果数据缓冲区的当前容量大于等于参考容量，则保持数据缓冲区的当前容量不变。
步骤304、在用户空间内的全部待写入数据中，获取一项目标待写入数据，并确定目标待写入数据的内存长度。
步骤305、比较内存长度与预设长度阈值的大小。
步骤306、如果内存长度小于预设长度阈值，则将目标待写入数据写入至数据缓冲区。
步骤307、将数据缓冲区中的数据写入至内核空间的套接字缓存。
本实施例的技术方案，通过根据全部待写入数据确定数据缓冲区的参考容量，然后比较数据缓冲区的当前容量与参考容量的大小，在数据缓冲区的当前容量小于参考容量时，根据参考容量对数据缓冲区进行扩容，可以提前判断数据缓冲区的容量是否满足内存需求，并根据判断结果对数据缓冲区进行扩容。
图4为本公开实施例提供的一种数据写入装置的结构示意图。本实施例可适用于进行数据写入的情况。该装置可以采用软件和/或硬件的方式实现，该装置可以配置于电子设备。如图4所示，该装置可以包括：数据获取模块401、内存长度比较模块402、第一写入模块403和第二写入模块404。
其中，数据获取模块401，用于在用户空间内的全部待写入数据中，获取一项目标待写入数据，并确定目标待写入数据的内存长度；内存长度比较模块402，用于比较内存长度与预设长度阈值的大小；第一写入模块403，用于如果内存长度小于预设长度阈值，则将目标待写入数据写入至数据缓冲区；第二写入模块404，用于将数据缓冲区中的数据写入至内核空间的套接字缓存。
本实施例的技术方案，通过在用户空间内的全部待写入数据中，获取一项目标待写入数据，确定目标待写入数据的内存长度，并比较内存长度与预设长度阈值的大小，在内存长度小于预设长度阈值时，将目标待写入数据写入至数据缓冲区，再将数据缓冲区中的数据写入至内核空间的套接字缓存，可以简化将用户空间的数据写入到内核空间的数据拷贝过程，减少拷贝次数，提高系统的性能。
可选的，在上述技术方案的基础上，待写入数据为接口描述语言文件中的数据。
可选的，在上述技术方案的基础上，还包括：第三写入模块，用于如果内存长度大于等于预设长度阈值，则将目标待写入数据写入至内核空间的套接字缓存。
可选的，在上述技术方案的基础上，第三写入模块可以包括：数据加入单元，用于将目标待写入数据加入数据写入队列；数据写入单元，用于将数据写入队列中的目标待写入数据写入至内核空间的套接字缓存，并对应删除数据写入队列中的目标待写入数据。
可选的，在上述技术方案的基础上，可以还包括：容量确定模块，用于根据全部待写入数据确定数据缓冲区的参考容量；容量比较模块，用于比较数据缓冲区的当前容量与参考容量的大小；扩容模块，用于如果数据缓冲区的当前容量小于参考容量，则根据参考容量对数据缓冲区进行扩容。
可选的，在上述技术方案的基础上，容量确定模块可以包括：字段类型确定单元，用于根据全部待写入数据确定各待写入数据的字段类型；内存长度查询单元，用于根据字段类型，在预设的字段内存表中查询与各待写入数据对应的内存长度；参考容量确定单元，用于根据与各待写入数据对应的内存长度，确定数据缓冲区的参考容量。
本公开实施例所提供的数据写入装置可执行本公开实施例所提供的数据写入方法，具备执行方法相应的功能模块和有益效果。
下面参考图5，其示出了适于用来实现本公开实施例的电子设备(例如终端设备或服务器)500的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：在用户空间内的全部待写入数据中，获取一项目标待写入数据，并确定目标待写入数据的内存长度；比较内存长度与预设长度阈值的大小；如果内存长度小于预设长度阈值，则将目标待写入数据写入至数据缓冲区；将数据缓冲区中的数据写入至内核空间的套接字缓存。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块、单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块、单元的名称在某种情况下并不构成对该模块或单元本身的限定，例如，内存长度比较模块还可以被描述为“比较内存长度与预设长度阈值的大小的模块”，数据写入单元还可以被描述为“将数据写入队列中的目标待写入数据写入至内核空间的套接字缓存，并对应删除数据写入队列中的目标待写入数据的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种数据写入方法，其特征在于，包括：
在用户空间内的全部待写入数据中，获取一项目标待写入数据，并确定所述目标待写入数据的内存长度；
比较所述内存长度与预设长度阈值的大小，其中，所述预设长度阈值为根据业务需求设置的内存长度阈值；
如果所述内存长度小于所述预设长度阈值，则将所述目标待写入数据写入至数据缓冲区；
将所述数据缓冲区中的数据写入至内核空间的套接字缓存，其中，当确定数据缓冲区缓存的数据所占用的容量满足容量阈值条件时，将所述数据缓冲区中的数据写入内核空间的套接字缓存，并对应删除所述数据缓冲区中的数据。
2.根据权利要求1所述的方法，其特征在于，所述待写入数据为接口描述语言文件中的数据。
3.根据权利要求1所述的方法，其特征在于，在确定所述目标待写入数据的内存长度之后，还包括：
如果所述内存长度大于等于所述预设长度阈值，则将所述目标待写入数据写入至内核空间的套接字缓存。
4.根据权利要求3所述的方法，其特征在于，将所述目标待写入数据写入至内核空间的套接字缓存，包括：
将所述目标待写入数据加入数据写入队列；
将所述数据写入队列中的所述目标待写入数据写入至内核空间的套接字缓存，并对应删除所述数据写入队列中的所述目标待写入数据。
5.根据权利要求1所述的方法，其特征在于，还包括：
根据全部待写入数据确定数据缓冲区的参考容量；
比较所述数据缓冲区的当前容量与所述参考容量的大小；
如果所述数据缓冲区的当前容量小于所述参考容量，则根据所述参考容量对所述数据缓冲区进行扩容。
6.根据权利要求5所述的方法，其特征在于，根据全部待写入数据确定数据缓冲区的参考容量，包括：
根据全部待写入数据确定各待写入数据的字段类型；
根据所述字段类型，在预设的字段内存表中查询与各待写入数据对应的内存长度；
根据所述与各待写入数据对应的内存长度，确定数据缓冲区的参考容量。
7.一种数据写入装置，其特征在于，包括：
数据获取模块，用于在用户空间内的全部待写入数据中，获取一项目标待写入数据，并确定所述目标待写入数据的内存长度；
内存长度比较模块，用于比较所述内存长度与预设长度阈值的大小；
第一写入模块，用于如果所述内存长度小于所述预设长度阈值，则将所述目标待写入数据写入至数据缓冲区，其中，所述预设长度阈值为根据业务需求设置的内存长度阈值；
第二写入模块，用于将所述数据缓冲区中的数据写入至内核空间的套接字缓存，其中，当确定数据缓冲区缓存的数据所占用的容量满足容量阈值条件时，将所述数据缓冲区中的数据写入内核空间的套接字缓存，并对应删除所述数据缓冲区中的数据。
8.根据权利要求7所述的装置，其特征在于，所述待写入数据为接口描述语言文件中的数据。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的数据写入方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6中任一所述的数据写入方法。
CN201811558140.5A 2018-12-19 2018-12-19 一种数据写入方法、装置、电子设备及存储介质 Active CN109697034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811558140.5A CN109697034B (zh) 2018-12-19 2018-12-19 一种数据写入方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811558140.5A CN109697034B (zh) 2018-12-19 2018-12-19 一种数据写入方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN109697034A CN109697034A (zh) 2019-04-30
CN109697034B true CN109697034B (zh) 2022-04-29

Family

ID=66231829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811558140.5A Active CN109697034B (zh) 2018-12-19 2018-12-19 一种数据写入方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN109697034B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881104A (zh) * 2020-07-29 2020-11-03 苏州浪潮智能科技有限公司 一种nfs服务器及其数据写入方法、装置和存储介质
CN114629748B (zh) * 2022-04-01 2023-08-15 日立楼宇技术（广州）有限公司 一种楼宇数据的处理方法、楼宇的边缘网关及存储介质
CN116166508B (zh) * 2023-04-18 2023-07-07 天津市天河计算机技术有限公司 Io数据分析方法、装置、设备、存储介质及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101478472A (zh) * 2008-10-21 2009-07-08 北京闪联讯通数码科技有限公司 一种Socket数据传输处理方法及装置
CN102663276A (zh) * 2012-03-01 2012-09-12 上海大亚科技有限公司 Linux中提供用户空间信息摘要、加密和压缩统一接口的系统及方法
CN104717189A (zh) * 2013-12-16 2015-06-17 中兴通讯股份有限公司 网络数据包的发送方法及装置
US9491107B1 (en) * 2014-06-30 2016-11-08 Juniper Networks, Inc. Non-stop routing with internal session mirroring and adaptive application-level rate limiting
CN106453022A (zh) * 2016-09-14 2017-02-22 上海斐讯数据通信技术有限公司 一种网络设备和数据包发送方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7480908B1 (en) * 2005-06-24 2009-01-20 Azul Systems, Inc. Segmented virtual machine transport mechanism

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101478472A (zh) * 2008-10-21 2009-07-08 北京闪联讯通数码科技有限公司 一种Socket数据传输处理方法及装置
CN102663276A (zh) * 2012-03-01 2012-09-12 上海大亚科技有限公司 Linux中提供用户空间信息摘要、加密和压缩统一接口的系统及方法
CN104717189A (zh) * 2013-12-16 2015-06-17 中兴通讯股份有限公司 网络数据包的发送方法及装置
US9491107B1 (en) * 2014-06-30 2016-11-08 Juniper Networks, Inc. Non-stop routing with internal session mirroring and adaptive application-level rate limiting
CN106453022A (zh) * 2016-09-14 2017-02-22 上海斐讯数据通信技术有限公司 一种网络设备和数据包发送方法

Also Published As

Publication number Publication date
CN109697034A (zh) 2019-04-30

Similar Documents

Publication Publication Date Title
CN110008045B (zh) 微服务的聚合方法、装置、设备及存储介质
US9380093B2 (en) Mobile device application streaming
CN109697034B (zh) 一种数据写入方法、装置、电子设备及存储介质
CN111367516B (zh) 应用界面生成方法、装置及电子设备
CN111857720B (zh) 用户界面状态信息的生成方法、装置、电子设备及介质
CN112596720A (zh) 业务运行方法、装置、电子设备和计算机存储介质
CN111400068B (zh) 接口的控制方法、装置、可读介质和电子设备
CN111309304B (zh) 一种生成idl文件的方法、装置、介质和电子设备
CN113760536A (zh) 数据缓存方法、装置、电子设备和计算机可读介质
WO2020199659A1 (zh) 用于确定推送优先级信息的方法和装置
CN113407165B (zh) Sdk的生成和自升级方法、装置、可读介质和设备
CN112416303B (zh) 软件开发工具包热修复方法、装置及电子设备
CN111752644A (zh) 接口模拟方法、装置、设备及存储介质
CN116226189A (zh) 缓存数据查询方法、装置、电子设备和计算机可读介质
CN111241368B (zh) 数据处理方法、装置、介质和设备
CN113391860B (zh) 服务请求处理方法、装置、电子设备及计算机存储介质
CN109284350B (zh) 检索内容的更新方法、装置、存储介质及电子设备
CN112230986A (zh) 项目文件生成方法、装置、电子设备和计算机可读介质
CN112311842A (zh) 用于信息交互的方法和装置
CN112835671A (zh) 应用页面场景切换方法、装置及设备
CN116820354B (zh) 数据存储方法、数据存储装置和数据存储系统
CN116467178B (zh) 数据库检测方法、装置、电子设备和计算机可读介质
CN111562913B (zh) 视图组件的预创建方法、装置、设备及计算机可读介质
CN109766246B (zh) 用于监控应用的方法和装置
CN113641966B (zh) 一种应用集成方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant