CN111107022B - 数据传输优化方法、设备及可读存储介质 - Google Patents

数据传输优化方法、设备及可读存储介质 Download PDF

Info

Publication number
CN111107022B
CN111107022B CN201911325502.0A CN201911325502A CN111107022B CN 111107022 B CN111107022 B CN 111107022B CN 201911325502 A CN201911325502 A CN 201911325502A CN 111107022 B CN111107022 B CN 111107022B
Authority
CN
China
Prior art keywords
data
transmitted
receiving end
data transmission
columnar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911325502.0A
Other languages
English (en)
Other versions
CN111107022A (zh
Inventor
黄启军
黄铭毅
李诗琦
刘玉德
陈天健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201911325502.0A priority Critical patent/CN111107022B/zh
Publication of CN111107022A publication Critical patent/CN111107022A/zh
Priority to PCT/CN2020/133428 priority patent/WO2021121041A1/zh
Application granted granted Critical
Publication of CN111107022B publication Critical patent/CN111107022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9057—Arrangements for supporting packet reassembly or resequencing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/166—IP fragmentation; TCP segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据传输优化方法、设备及可读存储介质，所述数据传输优化方法包括：当接收到数据传输任务时，确定所述数据传输任务对应的待传输列式数据和所述待传输列式数据对应的元数据，将所述元数据传输至与所述数据传输任务关联的数据接收端，以将所述待传输列式数据对应的发送端内存地址信息传输至所述数据接收端，并接收所述数据接收端基于所述元数据反馈的协商信息，基于所述协商信息，将所述待传输列式数据传输至所述数据接收端。本申请解决了列式数据传输效率低的技术问题。

Description

数据传输优化方法、设备及可读存储介质
技术领域
本申请涉及金融科技(Fintech)的大数据技术领域，尤其涉及一种数据传输优化方法、设备及可读存储介质。
背景技术
随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。
随着互联网科技的不断发展，越来越多的计算任务为分布式计算任务，而不再局限于单机进行，而在分布式计算任务中，数据的传输为其中必不可少的一环，目前，在进行跨机器数据传输通信时通常需要将数据转化为机器码进行传输，也即，需要对数据进行序列化和反序列化，进而导致了大量计算资源的浪费，进而导致数据传输的效率变低，而列式数据可支持丰富的数据结构，在进行一些计算任务时，可直接参与计算任务，但是，现有的列式数据无法支持高效的RDMA(Remote Direct Memory Access，远程直接数据存取)/DPDK(Data Plane Development Kit，数据平面开发套件)等传输技术，传输效率极低，所以，现有技术中存在列式数据传输效率低的技术问题。
发明内容
本申请的主要目的在于提供一种数据传输优化方法、设备及可读存储介质，旨在解决现有技术中列式数据传输效率低的技术问题。
为实现上述目的，本申请实施例提供一种数据传输优化方法，所述数据传输优化方法应用于数据发送端，所述数据传输优化方法包括：
当接收到数据传输任务时，确定所述数据传输任务对应的待传输列式数据和所述待传输列式数据对应的元数据；
将所述元数据传输至与所述数据传输任务关联的数据接收端，以将所述待传输列式数据对应的发送端内存地址信息传输至所述数据接收端，并接收所述数据接收端基于所述元数据反馈的协商信息；
基于所述协商信息，将所述待传输列式数据传输至所述数据接收端。
可选地，所述协商信息包括单次传输数据量；
所述基于所述协商信息，将所述待传输列式数据传输至所述数据接收端的步骤包括：
基于所述单次传输数据量，对所述待传输列式数据进行拆分，获得多个虚拟列式存储批；
查询各所述虚拟列式存储批对应的待传输内存块；
基于预设传输协议，将各所述待传输内存块传输至所述数据接收端。
可选地，所述协商信息包括单次传输数据量；
所述基于所述单次传输数据量，对所述待传输列式数据进行拆分，获得多个虚拟列式存储批的步骤包括：
基于所述单次传输数据量，将所述待传输列式数据作为单个虚拟列式存储批；
查询所述单个虚拟列式存储批对应的待传输内存块；
基于预设传输协议，将所述待传输内存块传输至所述数据接收端。
可选地，所述数据传输任务包括分布式同步计算任务对应的第一数据传输任务，
所述将所述元数据传输至与所述数据传输任务关联的数据接收端的步骤之前包括：
判断所述数据传输任务是否为所述第一数据传输任务；
若所述数据传输任务为所述第一数据传输任务，则启动预设多进程轮询模式；
所述基于所述协商信息，将所述待传输列式数据传输至所述数据接收端的步骤包括：
基于所述预设多进程轮询模式和所述协商信息，将所述待传输列式数据传输至所述数据接收端。
可选地，所述数据传输任务包括分布式异步计算任务对应的第二数据传输任务，
所述将所述元数据传输至与所述数据传输任务关联的数据接收端的步骤之前包括：
判断所述数据传输任务是否为所述第二数据传输任务；
若所述数据传输任务为所述第二数据传输任务，则启动预设中断模式；
所述基于所述协商信息，将所述待传输列式数据传输至所述数据接收端的步骤包括：
基于所述预设中断模式和所述协商信息，将所述待传输列式数据传输至所述数据接收端。
可选地，所述元数据包括所述待传输列式数据对应的内存长度信息，所述协商信息包括单次传输数据量，
所述将所述元数据传输至与所述数据传输任务关联的数据接收端，以将所述待传输列式数据对应的发送端内存地址信息传输至所述数据接收端，并接收所述数据接收端基于所述元数据反馈的协商信息的步骤包括：
将所述内存长度信息和所述发送端内存地址信息传输至所述数据接收端，以供所述数据接收端确定所述内存长度信息对应的所述单次传输数据量，并基于所述发送端内存地址信息更新所述待传输列式数据的接收端内存地址信息；
接收所述数据接收端反馈的所述单次传输数据量。
为实现上述目的，本申请还提供一种数据传输优化方法，所述数据传输优化方法应用于数据接收端，所述数据传输优化方法包括：
接收与所述数据接收端相关联的数据发送端发送的元数据对应的内存长度信息和发送端内存地址信息，并向所述数据发送端反馈所述内存长度信息对应的协商信息；
接收所述数据发送端基于所述协商信息发送的待传输列式数据，并将所述待传输列式数据存储至预设存储数据库，获得所述待传输列式数据的接收端内存地址信息；
基于所述接收端内存地址信息，对所述发送端内存地址信息进行更新。
可选地，所述预设存储数据库包括共享内存，
所述基于所述接收端内存地址信息，对所述发送端内存地址信息进行更新的步骤之后包括：
判断所述待传输列式数据是否为预设非虚拟机语言类型；
若所述待传输列式数据为所述预设非虚拟机语言类型，则直接访问所述共享内存以提取所述待传输列式数据；
若所述待传输列式数据不为所述预设非虚拟机语言类型，则间接访问所述共享内存以通过预设数据接口提取所述待传输列式数据。
本申请还提供一种数据传输优化装置，所述数据传输优化装置应用于所述数据发送端对应的数据传输优化设备，且所述数据传输优化装置为虚拟装置，所述数据传输优化装置包括：
确定模块，用于当接收到数据传输任务时，确定所述数据传输任务对应的待传输列式数据和所述待传输列式数据对应的元数据；
发送和接收模块，用于所述将所述元数据传输至与所述数据传输任务关联的数据接收端，以将所述待传输列式数据对应的发送端内存地址信息传输至所述数据接收端，并接收所述数据接收端基于所述元数据反馈的协商信息；
传输模块，用于所述基于所述协商信息，将所述待传输列式数据传输至所述数据接收端。
可选地，所述第一传输模块包括：
拆分单元，用于所述基于所述单次传输数据量，对所述待传输列式数据进行拆分，获得多个虚拟列式存储批；
第一查询单元，用于所述查询各所述虚拟列式存储批对应的待传输内存块；
第一传输单元，用于所述基于预设传输协议，将各所述待传输内存块传输至所述数据接收端。
可选地，所述第一传输模块还包括：
获取单元，用于所述基于所述单次传输数据量，将所述待传输列式数据作为单个虚拟列式存储批；
第二查询单元，用于所述查询所述单个虚拟列式存储批对应的待传输内存块；
第二传输单元，用于所述基于预设传输协议，将所述待传输内存块传输至所述数据接收端。
可选地，所述数据传输优化装置还包括：
第一判断模块，用于所述判断所述数据传输任务是否为所述第一数据传输任务；
第一启动模块，用于所述若所述数据传输任务为所述第一数据传输任务，则启动预设多进程轮询模式；
可选地，所述传输模块还包括：
第三传输单元，用于所述基于所述预设多进程轮询模式和所述协商信息，将所述待传输列式数据传输至所述数据接收端。
可选地，所述数据传输优化装置还包括：
第二判断模块，用于所述判断所述数据传输任务是否为所述第二数据传输任务；
第二启动模块，用于所述若所述数据传输任务为所述第二数据传输任务，则启动预设中断模式；
第四传输单元，用于所述基于所述预设中断模式和所述协商信息，将所述待传输列式数据传输至所述数据接收端。
可选地，所述确定模块包括：
第五传输单元，用于所述将所述内存长度信息和所述发送端内存地址信息传输至所述数据接收端，以供所述数据接收端确定所述内存长度信息对应的所述单次传输数据量，并基于所述发送端内存地址信息更新所述待传输列式数据的接收端内存地址信息；
接收单元，用于所述接收所述数据接收端反馈的所述单次传输数据量。
为实现上述目的，本申请还提供一种数据传输优化装置，所述数据传输优化装置应用于数据接收端对应的数据传输优化设备，且所述数据传输优化装置为虚拟装置，所述数据传输优化装置包括：
接收和发送模块，用于所述接收与所述数据接收端相关联的数据发送端发送的元数据对应的内存长度信息和发送端内存地址信息，并向所述数据发送端反馈所述内存长度信息对应的协商信息；
接收和存储模块，用于所述接收所述数据发送端基于所述协商信息发送的待传输列式数据，并将所述待传输列式数据存储至预设存储数据库，获得所述待传输列式数据的接收端内存地址信息；
更新模块，用于所述基于所述接收端内存地址信息，对所述发送端内存地址信息进行更新。
可选地，所述数据传输优化装置还包括：
判断模块，用于所述基判断所述待传输列式数据是否为预设非虚拟机语言类型；
直接访问模块，用于所述若所述待传输列式数据为所述预设非虚拟机语言类型，则直接访问所述共享内存以提取所述待传输列式数据；
间接访问模块，用于所述若所述待传输列式数据不为所述预设非虚拟机语言类型，则间接访问所述共享内存以通过预设数据接口提取所述待传输列式数据。
本申请还提供一种数据传输优化设备，所述数据传输优化设备为实体设备，所述数据传输优化设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述数据传输优化方法的程序，所述数据传输优化方法的程序被处理器执行时可实现如上述的数据传输优化方法的步骤。
本申请还提供一种可读存储介质，所述可读存储介质上存储有实现数据传输优化方法的程序，所述数据传输优化方法的程序被处理器执行时实现如上述的数据传输优化方法的步骤。
本申请在当接收到数据传输任务时，确定所述数据传输任务对应的待传输列式数据和所述待传输列式数据对应的元数据，进而将所述元数据传输至与所述数据传输任务关联的数据接收端，以将所述待传输列式数据对应的发送端内存地址信息传输至所述数据接收端，并接收所述数据接收端基于所述元数据反馈的协商信息，进而基于所述协商信息，将所述待传输列式数据传输至所述数据接收端。也即，本申请首先在当接收到数据传输任务时，进行所述数据传输任务对应的待传输列式数据和所述待传输列式数据对应的元数据的确定，进而将所述元数据传输至与所述数据传输任务关联的数据接收端，以将所述待传输列式数据对应的发送端内存地址信息传输至所述数据接收端，并进行所述数据接收端反馈的协商信息的反馈，进而基于所述协商信息，将所述待传输列式数据传输至所述数据接收端。也即，本申请提供了一种高效的列式数据传输方法，通过构建所述元数据并将所述元数据传输至所述数据接收端，实现了将所述待传输列式数据和所述待传输列式数据对应的发送端内存地址信息直接传输至所述数据接收端的目的，进而所述数据接收端可直接基于所述发送端内存地址信息获取所述待传输列式数据，进而节省了在传输数据时对所述待传输列式数据的序列化和反序列化的计算过程，也即，减少了列式数据传输时的计算过程，提高了数据传输的传输效率，所以，解决了现有技术中列式数据传输效率低的技术问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请数据传输优化方法第一实施例的流程示意图；
图2为本申请数据传输优化方法第一实施例中为当所述预设传输协议为RDMA时的数据传输过程示意图；
图3为本申请数据传输优化方法第二实施例的流程示意图；
图4为本申请实施例方案涉及的硬件运行环境的设备结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种数据传输优化方法，所述数据传输优化方法应用于数据发送端，在本申请数据传输优化方法的第一实施例中，参照图1，所述数据传输优化方法包括：
步骤S10，当接收到数据传输任务时，确定所述数据传输任务对应的待传输列式数据和所述待传输列式数据对应的元数据；
在本实施例中，需要说明的是，所述元数据包括所述待传输列式数据的发送端内存地址信息和内存长度信息，所述数据传输任务与所述待传输列式数据，所述发送端内存地址信息为所述待传输列式数据对应的各内存块的地址信息，其中，所述待传输列式数据存储于各所述内存块中，所述内存长度信息包括各所述内存块内的数据量大小，所述数据量越大，则所述内存长度越长。
当接收到数据传输任务时，确定所述数据传输任务对应的待传输列式数据和所述待传输列式数据对应的元数据，具体地，当接收到数据传输任务时，判断所述数据传输任务对应的需求数据是否为列式数据类型，若所述需求数据是否为列式数据类型，则从发送端本地数据库中提取所述数据传输任务对应的待传输列式数据和所述待传输列式数据对应的元数据，也即，提取所述需求数据，若所述需求数据不为所述列式数据类型，则生成所述需求数据的列式格式信息，其中，列式格式信息可以是用于描述待缓存数据以列式格式组织的信息，例如，包括多少列、每列的索引、列与子列的嵌套信息、每个列的单元格数、每个列的数据类型、包括多少个存储批或每个存储批包括哪几个列等等信息，进而基于所述列式格式信息，将所述需求数据写入一个或者多个内存块中，并将各所述内存块添加至连续的虚拟内存中，以将所述需求数据存储为列式数据类型，获得所述待传输列式数据，并生成所述待传输列式数据的元数据，其中，所述元数据包括各所述内存块与所述虚拟内存之间的映射关系、所述列式格式信息与虚拟内存之间的对应关系，进而确定了所述待传输列式数据和所述元数据，且在确定所述待传输列式数据及其元数据之后，所述待传输列式数据对应的内存块将被锁定，以保证所述内存块无法写入其他数据。
另外地，需要说明的是，所述数据传输任务可绑定预设第一回调函数和预设第二回调函数，其中，所述预设第一回调函数用于在进行数据传输之前通过计算统计第一数据长度、传输时长、数据特征等相关信息，其中，所述第一数据长度为未传输至数据接收端的所述待传输列式数据的数据长度，所述传输时长为完成本次数据传输任务所要花费的累计时长，所述预设第二回调函数用于在进行数据传输之后将数据合并到另一区域、或丢弃当前数据、或统计第二数据长度、传输时长、数据特征等相关信息，其中，所述第二数据长度为已传输至数据接收端的所述待传输列式数据的数据长度，所述当前数据包括所述待传输列式数据。
其中，所述数据传输任务包括分布式同步计算任务对应的第一数据传输任务，
所述将所述元数据传输至与所述数据传输任务关联的数据接收端的步骤之前包括：
步骤A10，判断所述数据传输任务是否为所述第一数据传输任务；
在本实施例中，需要说明的是，所述第一数据传输任务与分布式同步计算任务相关联，其中，所述分布式同步计算任务指的是同一时间步运行多个进程以完成不同的计算子任务的分布式计算任务，且此时各进程只用于进行所述分布式同步计算任务。
步骤A20，若所述数据传输任务为所述第一数据传输任务，则启动预设多进程轮询模式；
在本实施例中，若所述数据传输任务为所述第一数据传输任务，则启动预设多进程轮询模式，具体地，若所述数据传输任务为所述第一数据传输任务，则启动预设多进程轮询模式，为各所述内存块匹配不同的传输任务计算进程，其中，各所述传输任务计算进程负责对应的各所述内存块的传输状态检查和事件处理，且此时其他计算进程处于暂停或低负载计算状态，以保证CPU(central processing unit，中央处理器)、内存、传输设备等达到最大利用率。
其中，所述数据传输任务包括分布式异步计算任务对应的第二数据传输任务，
所述将所述元数据传输至与所述数据传输任务关联的数据接收端的步骤之前包括：
步骤B10，判断所述数据传输任务是否为所述第二数据传输任务；
在本实施例中，需要说明的是，所述第二数据传输任务与所述分布式异步计算任务相关联，其中，所述分布式异步计算任务指的是至少可只进行一个进程的分布式计算任务，且各进程存在多个控制权，也即，各进程可在空闲时执行其他计算任务。
步骤B20，若所述数据传输任务为所述第二数据传输任务，则启动预设中断模式；
在本实施例中，若所述数据传输任务为所述第二数据传输任务，则启动预设中断模式，具体地，若所述数据传输任务为所述第二数据传输任务，则启动预设中断模式，以为各所述内存块动态匹配传输任务计算进程，也即，在进行所述第二数据传输任务时，至少存在一个传输任务计算进程用于所述第二数据传输任务，其中，所述传输任务计算进程负责所述内存块的传输状态检查和事件处理，进一步地，当有传输状态改变或者新事件被唤醒时，则唤醒相应的传输任务计算进程以进行所述第二数据传输任务，其中，在没有传输状态改变或者新事件被唤醒时，所述相应的传输任务计算进程处于睡眠状态，以将计算资源让给其他计算进程。
步骤S20，将所述元数据传输至与所述数据传输任务关联的数据接收端，以将所述待传输列式数据对应的发送端内存地址信息传输至所述数据接收端，并接收所述数据接收端基于所述元数据反馈的协商信息；
在本实施例中，需要说明的是，所述协商信息包括单次传输数据量。
将所述元数据传输至与所述数据传输任务关联的数据接收端，以将所述待传输列式数据对应的发送端内存地址信息传输至所述数据接收端，并接收所述数据接收端基于所述元数据反馈的协商信息，具体地，将所述元数据传输至与所述数据传输任务关联的数据接收端，以将所述待传输列式数据对应的发送端内存地址信息传输至所述数据接收端，其中，所述发送端内存地址信息可存储于所述元数据中，以随所述元数据直接传输至所述数据接收端，所述数据接收端将基于所述元数据中的内存长度信息与自身一次传输可接收的最大数据量，确定所述单次传输数据量，例如，假设所述内存长度信息为10字节，所述数据接收端每次进行传输所能接收的最大数量为2字节，则所述单次传输数据量的大小应小于或者等于2字节，进而接收所述数据接收端反馈的单次传输数量。
其中，所述元数据包括所述待传输列式数据对应的内存长度信息和所述发送端内存地址信息，所述协商信息包括单次传输数据量，
所述将所述元数据传输至与所述数据传输任务关联的数据接收端，以将所述待传输列式数据对应的发送端内存地址信息传输至所述数据接收端，并接收所述数据接收端基于所述元数据反馈的协商信息的步骤包括：
步骤S21，将所述内存长度信息和所述发送端内存地址信息传输至所述数据接收端，以供所述数据接收端确定所述内存长度信息对应的所述单次传输数据量，并基于所述发送端内存地址信息更新所述待传输列式数据的接收端内存地址信息；
在本实施例中，将所述内存长度信息和所述发送端内存地址信息传输至所述数据接收端，以供所述数据接收端确定所述内存长度信息对应的所述单次传输数据量，并基于所述发送端内存地址信息更新所述待传输列式数据的接收端内存地址信息，具体地，将所述内存长度信息传输至所述数据接收端，以供所述数据接收端基于所述内存长度信息和预设最大数据接收量，确定所述单次传输数量，其中，所述预设最大数据接收量为在一次数据传输过程中，所述数据接收端所能接收的最大数据的大小，并将所述发送端内存地址信息发送至所述数据接收端，以供所述数据接收端在获取所述待传输列式数据的接收端内存地址信息之后，基于所述接收端内存地址信息，更新所述发送端内存地址信息。
步骤S22，接收所述数据接收端反馈的所述单次传输数据量。
在本实施例中，需要说明的是，所述单次传输数据量用于对所述待传输列式数据进行拆分，获得单个或者多个虚拟列式存储批，其中，各所述虚拟列式存储批所对应的数据大小应小于或者等于所述单次传输数据量的大小。
步骤S30，基于所述协商信息，将所述待传输列式数据传输至所述数据接收端。
在本实施例中，基于所述协商信息，将所述待传输列式数据传输至所述数据接收端，具体地，基于所述协商信息中的单次传输数据量，将所述待传输列式数据进行拆分，获得多段待传输列式数据段，并将各所述待传输列式数据段对应的内存块逐一传输至所述数据接收端。
其中，所述协商信息包括单次传输数据量，
所述基于所述协商信息，将所述待传输列式数据传输至所述数据接收端的步骤包括：
步骤S31，基于所述单次传输数据量，对所述待传输列式数据进行拆分，获得多个虚拟列式存储批；
在本实施例中，需要说明的是，所述虚拟列式存储批包括预设数据量的部分所述待传输列式数据，其中，所述预设数据量的大小小于或者等于所述单次传输数据量的大小。
基于所述单次传输数据量，对所述待传输列式数据进行拆分，获得多个虚拟列式存储批，具体地，基于所述单次传输数据量，判断是否对所述待传输列式数据进行拆分，若所述单次数据传输量小于所述待传输列式数据的数据总量，则确定对所述待传输列式数据进行拆分，并将所述待传输列式数据拆分为多个所述虚拟列式存储批，若所述单次数据传输量大于或者等于所述待传输列式数据的数据总量，则确定不对所述待传输列式数据进行拆分，并将所述待传输列式数据作为单个虚拟列式存储批，以将所述待传输列式数据直接传输至所述数据接收端。
步骤S32，查询各所述虚拟列式存储批对应的待传输内存块；
在本实施例中，查询各所述虚拟列式存储批对应的待传输内存块，具体地，基于所述元数据中的发送端内存地址信息，在预设本地存储数据库中查询各所述虚拟列式存储批对应的虚拟内存，进而基于所述虚拟内存与所述内存块的映射关系，获取所述待传输内存块，其中，所述预设本地存储数据库包括共享内存。
步骤S33，基于预设传输协议，将各所述待传输内存块传输至所述数据接收端。
在本实施例中，需要说明的是，所述预设传输协议包括RDMA或普通TCP(Transmission Control Protocol，传输控制协议)等协议。
基于预设传输协议，将各所述待传输内存块传输至所述数据接收端，具体地，基于预设传输协议的数据传输规则，将各所述待传输内存块传输至所述数据接收端并在数据传输完成后，解除对各所述内存块的锁定，也即解除传输锁，如图2所示为当所述预设传输协议为RDMA时的数据传输过程示意图，其中，所述RDMA设备即为所述RDMA对应的数据传输设备，所述控制信道即为控制数据进行传输的通道，用于传输所述元数据，所述mem block1和所述mem block1均为传输锁，进而所述数据接收端在接收各所述待传输内存块之后，所述数据接收端将对各所述待传输内存块进行存储，并获取各所述待传输内存块的接收端内存地址信息，进而所述数据接收端将基于所述接收端内存地址信息对所述元数据进行更新，也即，将所述元数据中的发送端内存地址信息更新为所述接收端内存地址信息。
其中，所述协商信息包括单次传输数据量；
所述基于所述协商信息，将所述待传输列式数据传输至所述数据接收端的步骤包括：
步骤C10，基于所述单次传输数据量，将所述待传输列式数据作为单个虚拟列式存储批；
在本实施例中，基于所述单次传输数据量，将所述待传输列式数据作为单个虚拟列式存储批，具体地，基于所述单次传输数据量，判断是否对所述待传输列式数据进行拆分，若所述单次数据传输量小于所述待传输列式数据的数据总量，则确定对所述待传输列式数据进行拆分，并将所述待传输列式数据拆分为多个所述虚拟列式存储批，以将所述待传输列式数据直接传输至所述数据接收端，若所述单次数据传输量大于或者等于所述待传输列式数据的数据总量，则确定不对所述待传输列式数据进行拆分，并将所述待传输列式数据作为单个虚拟列式存储批。
步骤C20，查询所述单个虚拟列式存储批对应的待传输内存块；
在本实施例中，查询所述单个虚拟列式存储批对应的待传输内存块，具体地，基于所述元数据中的发送端内存地址信息，在预设本地存储数据库中查询各所述虚拟列式存储批对应的虚拟内存，进而基于所述虚拟内存与所述内存块的映射关系，获取所述待传输内存块，其中，所述预设本地存储数据库包括共享内存。
步骤C30，基于预设传输协议，将所述待传输内存块传输至所述数据接收端。
在本实施例中，需要说明的是，所述预设传输协议包括RDMA或普通TCP(Transmission Control Protocol，传输控制协议)等协议。
基于预设传输协议，将各所述待传输内存块传输至所述数据接收端，具体地，基于预设传输协议的数据传输规则，将各所述待传输内存块传输至所述数据接收端并在数据传输完成后，解除对各所述内存块的锁定，也即解除传输锁，进而所述数据接收端在接收各所述待传输内存块之后，所述数据接收端将对各所述待传输内存块进行存储，并获取各所述待传输内存块的接收端内存地址信息，进而所述数据接收端将基于所述接收端内存地址信息对所述元数据进行更新，也即，将所述元数据中的发送端内存地址信息更新为所述接收端内存地址信息。
其中，所述基于所述协商信息，将所述待传输列式数据传输至所述数据接收端的步骤包括；
步骤D10，基于所述预设多进程轮询模式和所述协商信息，将所述待传输列式数据传输至所述数据接收端。
在本实施例中，需要说明的是，所述协商信息包括单次传输数据量。
基于所述预设多进程轮询模式和所述协商信息，将所述待传输列式数据传输至所述数据接收端，具体地，基于所述单次传输数据量，将所述待传输列式数据拆分为单个或者多个虚拟列式存储批，并确定各所述虚拟列式存储批对应的待传输内存块，进一步地，基于所述预设多进程轮询模式，为各所述待传输内存块匹配不同的传输任务计算进程，以通过执行各所述传输任务计算进程，将各所述待传输内存块发送至所述数据接收端，其中，所述数据接收端在接所述各所述待传输内存块后，将对各所述待传输内存块进行存储，并获得对应的接收端内存地址信息，进而所述数据接收端将基于所述接收端内存地址信息对所述发送端内存地址信息进行更新，获得新的元数据，进而所述分布式同步计算任务需要所述待传输列式数据时，所述数据接收端可直接基于新的元数据，对所述待传输列式数据执行数据提取或者数据传输等操作。
其中，所述基于所述协商信息，将所述待传输列式数据传输至所述数据接收端的步骤包括；
步骤E10，基于所述预设中断模式和所述协商信息，将所述待传输列式数据传输至所述数据接收端。
在本实施例中，需要说明的是，所述协商信息包括单次传输数据量。
基于所述预设中断模式和所述协商信息，将所述待传输列式数据传输至所述数据接收端，具体地，基于所述单次传输数据量，将所述待传输列式数据拆分为单个或者多个虚拟列式存储批，并确定各所述虚拟列式存储批对应的待传输内存块，进一步地，基于所述预设中断模式，为各所述待传输内存块动态匹配传输任务计算进程，以通过执行各所述传输任务计算进程，将各所述待传输内存块发送至所述数据接收端，其中，所述数据接收端在接所述各所述待传输内存块后，将对各所述待传输内存块进行存储，并获得对应的接收端内存地址信息，进而所述数据接收端将基于所述接收端内存地址信息对所述发送端内存地址信息进行更新，获得新的元数据，进而所述分布式同步计算任务需要所述待传输列式数据时，所述数据接收端可直接基于新的元数据，对所述待传输列式数据执行数据提取或者数据传输等操作。
本实施例在当接收到数据传输任务时，确定所述数据传输任务对应的待传输列式数据和所述待传输列式数据对应的元数据，进而将所述元数据传输至与所述数据传输任务关联的数据接收端，以将所述待传输列式数据对应的发送端内存地址信息传输至所述数据接收端，并接收所述数据接收端基于所述元数据反馈的协商信息，进而基于所述协商信息，将所述待传输列式数据传输至所述数据接收端。也即，本实施例首先在当接收到数据传输任务时，进行所述数据传输任务对应的待传输列式数据和所述待传输列式数据对应的元数据的确定，进而将所述元数据传输至与所述数据传输任务关联的数据接收端，以将所述待传输列式数据对应的发送端内存地址信息传输至所述数据接收端，并进行所述数据接收端反馈的协商信息的反馈，进而基于所述协商信息，将所述待传输列式数据传输至所述数据接收端。也即，本实施例提供了一种高效的列式数据传输方法，通过构建所述元数据并将所述元数据传输至所述数据接收端，实现了将所述待传输列式数据和所述待传输列式数据对应的发送端内存地址信息直接传输至所述数据接收端的目的，进而所述数据接收端可直接基于所述发送内存地址信息获取所述待传输列式数据，进而节省了在传输数据时对所述待传输列式数据的序列化和反序列化的计算过程，也即，减少了列式数据传输时的计算过程，提高了数据传输的传输效率，所以，解决了现有技术中列式数据传输效率低的技术问题。
进一步地，参照图3，基于本申请中第一实施例，在数据传输优化方法的另一实施例中，所述数据传输优化方法应用于数据接收端，所述数据传输优化方法包括：
步骤C10，接收与所述数据接收端相关联的数据发送端发送的元数据对应的内存长度信息和发送端内存地址信息，并向所述数据发送端反馈所述内存长度信息对应的协商信息；
在本实施例中，需要说明的是，所述发送端内存地址信息可存储于所述元数据中，也即，所述元数据包括发送端内存地址信息和内存长度信息。
接收与所述数据接收端相关联的数据发送端发送的元数据对应的内存长度信息和发送端内存地址信息，并向所述数据发送端反馈所述内存长度信息对应的协商信息，具体地，接收与所述数据接收端相关联的数据发送端发送的元数据，其中，所述元数据包括发送端内存地址信息和内存长度信息，进而基于所述内存长度信息和预设单次最大数据接收量，确定所述单次传输数量，并将所述单次传输数据量反馈至所述数据发送端，其中，所述预设最大数据接收量所述数据接收端在进行一次单次数据传输时所能接收的最大数据量。
步骤C20，接收所述数据发送端基于所述协商信息发送的待传输列式数据，并将所述待传输列式数据存储至预设存储数据库，获得所述待传输列式数据的接收端内存地址信息；
在本实施例中，需要说明的是，所述待传输列式数据对应一个或者多个数据内存块，也即，所述待传输列式数据以内存块的形式进行存储和传输。
接收所述数据发送端基于所述协商信息发送的待传输列式数据，并将所述待传输列式数据存储至预设存储数据库，获得所述待传输列式数据的接收端内存地址信息，具体地，接收所述数据发送端发送的所述待传输列式数据对应的各所述待传输内存块，其中，各所述待传输内存块由所述数据发送端基于所述协商信息对所述待传输列式数据进行拆分而获得，进而将各所述待传输内存块存储至预设接收端本地数据库中，获得各所述待传输内存块在所述预设接收端本地数据库中的接收端内存地址信息，其中，所述预设接收端本地数据库包括接收端共享内存。
步骤C30，基于所述接收端内存地址信息，对所述发送端内存地址信息进行更新。
在本实施例中，基于所述接收端内存地址信息，对所述发送端内存地址信息进行更新，具体地，基于所述接收端内存地址信息，将所述元数据中的发送端内存地址信息更新为所述接收端内存地址信息，进而当需要提取所述待传输列式数据以进行计算任务或者数据传输任务时，可直接基于所述接收端内存地址信息，提取所述待传输列式数据，也即，无需对所述待传输列式数据进行序列化和反序列化即可直接提取所述待传输列式数据。
其中，所述预设存储数据库包括共享内存，
所述基于所述接收端内存地址信息，对所述发送端内存地址信息进行更新的步骤之后包括：
步骤C40，判断所述待传输列式数据是否为预设非虚拟机语言类型；
在本实施例中，需要说明的是，所述预设非虚拟机语言类型包括C/C++语言类型等，所述共享内存为所述数据接收端的共享内存，其中，所述共享内存为多个处理器的共有内存，也即，存在多个处理器可访问所述共享内存。
步骤C50，若所述待传输列式数据为所述预设非虚拟机语言类型，则直接访问所述共享内存以提取所述待传输列式数据；
在本实施中，若所述待传输列式数据为所述预设非虚拟机语言类型，则直接访问所述共享内存以提取所述待传输列式数据，具体地，若所述待传输列式数据为所述预设非虚拟机语言类型，则表明可直接访问所述共享内存，进而通过预设列式数据读写数据接口，直接访问所述共享内存以提取所述待传输列式数据，以节省数据粘贴复制过程，且所述待传输列式数据可直接参与计算任务。
步骤C60，若所述待传输列式数据不为所述预设非虚拟机语言类型，则间接访问所述共享内存以通过预设数据接口提取所述待传输列式数据；
在本实施例中，若所述待传输列式数据不为所述预设非虚拟机语言类型，则间接访问所述共享内存以通过预设数据接口提取所述待传输列式数据，具体地，若所述待传输列式数据不为所述预设非虚拟机语言类型，则表明无法通过直接访问所述共享内存以提取所述待传输列式数据，进而通过jni(Java Native Interface，Java本地接口)或C扩展间接访问所述共享内存，以提取所述待传输列式数据。
本实施例通过接收与所述数据接收端相关联的数据发送端发送的元数据对应的内存长度信息和发送端内存地址信息，并向所述数据发送端反馈所述内存长度信息对应的协商信息，进而接收所述数据发送端基于所述协商信息发送的待传输列式数据，并将所述待传输列式数据存储至预设存储数据库，获得所述待传输列式数据的接收端内存地址信息，进而基于所述接收端内存地址信息，对所述发送端内存地址信息进行更新。也即，本实施例首先通过接收所述元数据，以获取发送端内存地址信息和内存长度信息，以基于所述内存长度信息向所述数据发送端反馈协商信息，以接收所述待传输列式数据，进而将所述待传输列式数据进行存储以获取接收端内存地址信息，进而基于所述接收端内存地址信息，进行对所述发送端内存地址信息的更新，也即，本实施例提供了一种在进行数据传输时，直接获取待传输列式数据和对应的存储地址信息的方法，进行实现了对待传输列式数据的直接传输，避免了对应数据进行序列化和反序列化，减少了数据传输时的计算过程，提高了数据传输的计算效率，进而提高了数据传输效率，所以，解决了现有技术中列式数据传输效率低的技术问题。
参照图4，图4是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图4所示，该数据传输优化设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该数据传输优化设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图4中示出的数据传输优化设备结构并不构成对数据传输优化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图4所示，作为一种计算机存储可读存储介质的存储器1005中可以包括操作系统、网络通信模块以及数据传输优化程序。操作系统是管理和控制数据传输优化设备硬件和软件资源的程序，支持数据传输优化程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与数据传输优化系统中其它硬件和软件之间通信。
在图4所示的数据传输优化设备中，处理器1001用于执行存储器1005中存储的数据传输优化程序，实现上述任一项所述的数据传输优化方法的步骤。
本申请数据传输优化设备具体实施方式与上述数据传输优化方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种数据传输优化装置，所述数据传输优化装置应用于数据发送端对应的数据传输优化设备，所述数据传输优化装置包括：
确定模块，用于当接收到数据传输任务时，确定所述数据传输任务对应的待传输列式数据和所述待传输列式数据对应的元数据；
发送和接收模块，用于所述将所述元数据传输至与所述数据传输任务关联的数据接收端，以将所述待传输列式数据对应的发送端内存地址信息传输至所述数据接收端，并接收所述数据接收端基于所述元数据反馈的协商信息；
传输模块，用于所述基于所述协商信息，将所述待传输列式数据传输至所述数据接收端。
可选地，所述第一传输模块包括：
拆分单元，用于所述基于所述单次传输数据量，对所述待传输列式数据进行拆分，获得多个虚拟列式存储批；
第一查询单元，用于所述查询各所述虚拟列式存储批对应的待传输内存块；
第一传输单元，用于所述基于预设传输协议，将各所述待传输内存块传输至所述数据接收端。
可选地，所述第一传输模块还包括：
获取单元，用于所述基于所述单次传输数据量，将所述待传输列式数据作为单个虚拟列式存储批；
第二查询单元，用于所述查询所述单个虚拟列式存储批对应的待传输内存块；
第二传输单元，用于所述基于预设传输协议，将所述待传输内存块传输至所述数据接收端。
可选地，所述数据传输优化装置还包括：
第一判断模块，用于所述判断所述数据传输任务是否为所述第一数据传输任务；
第一启动模块，用于所述若所述数据传输任务为所述第一数据传输任务，则启动预设多进程轮询模式；
可选地，所述传输模块还包括：
第三传输单元，用于所述基于所述预设多进程轮询模式和所述协商信息，将所述待传输列式数据传输至所述数据接收端。
可选地，所述数据传输优化装置还包括：
第二判断模块，用于所述判断所述数据传输任务是否为所述第二数据传输任务；
第二启动模块，用于所述若所述数据传输任务为所述第二数据传输任务，则启动预设中断模式；
第四传输单元，用于所述基于所述预设中断模式和所述协商信息，将所述待传输列式数据传输至所述数据接收端。
可选地，所述确定模块包括：
第五传输单元，用于所述将所述内存长度信息和所述发送端内存地址信息传输至所述数据接收端，以供所述数据接收端确定所述内存长度信息对应的所述单次传输数据量，并基于所述发送端内存地址信息更新所述待传输列式数据的接收端内存地址信息；
接收单元，用于所述接收所述数据接收端反馈的所述单次传输数据量。
本申请数据传输优化装置的具体实施方式与上述数据传输优化方法各实施例基本相同，在此不再赘述。
为实现上述目的，本申请实施例还提供一种数据传输优化装置，所述数据传输优化装置应用于数据接收端对应的数据传输优化设备，所述数据传输优化装置包括：
接收和发送模块，用于所述接收与所述数据接收端相关联的数据发送端发送的元数据对应的内存长度信息和发送端内存地址信息，并向所述数据发送端反馈所述内存长度信息对应的协商信息；
接收和存储模块，用于所述接收所述数据发送端基于所述协商信息发送的待传输列式数据，并将所述待传输列式数据存储至预设存储数据库，获得所述待传输列式数据的接收端内存地址信息；
更新模块，用于所述基于所述接收端内存地址信息，对所述发送端内存地址信息进行更新。
可选地，所述数据传输优化装置还包括：
判断模块，用于所述基判断所述待传输列式数据是否为预设非虚拟机语言类型；
直接访问模块，用于所述若所述待传输列式数据为所述预设非虚拟机语言类型，则直接访问所述共享内存以提取所述待传输列式数据；
间接访问模块，用于所述若所述待传输列式数据不为所述预设非虚拟机语言类型，则间接访问所述共享内存以通过预设数据接口提取所述待传输列式数据。
本申请数据传输优化装置的具体实施方式与上述数据传输优化方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的数据传输优化方法的步骤。
本申请可读存储介质具体实施方式与上述数据传输优化方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (10)

1.一种数据传输优化方法，其特征在于，所述数据传输优化应用于数据发送端，所述数据传输优化方法包括：
当接收到数据传输任务时，确定所述数据传输任务对应的待传输列式数据和所述待传输列式数据对应的元数据，其中，所述元数据包括存储所述待传输列式数据的各内存块与虚拟内存之间的映射关系、所述待传输列式数据的列式格式信息与所述虚拟内存之间的对应关系；
将所述元数据传输至与所述数据传输任务关联的数据接收端，以将所述待传输列式数据对应的发送端内存地址信息传输至所述数据接收端，并接收所述数据接收端基于所述元数据反馈的协商信息；
基于所述协商信息，将所述待传输列式数据传输至所述数据接收端，其中，所述数据接收端用于将所述发送端内存地址信息更新为接收端内存地址信息。
2.如权利要求1所述数据传输优化方法，其特征在于，所述协商信息包括单次传输数据量；
所述基于所述协商信息，将所述待传输列式数据传输至所述数据接收端的步骤包括：
基于所述单次传输数据量，对所述待传输列式数据进行拆分，获得多个虚拟列式存储批；
查询各所述虚拟列式存储批对应的待传输内存块；
基于预设传输协议，将各所述待传输内存块传输至所述数据接收端。
3.如权利要求1所述数据传输优化方法，其特征在于，所述协商信息包括单次传输数据量；
所述基于所述协商信息，将所述待传输列式数据传输至所述数据接收端的步骤包括：
基于所述单次传输数据量，将所述待传输列式数据作为单个虚拟列式存储批；
查询所述单个虚拟列式存储批对应的待传输内存块；
基于预设传输协议，将所述待传输内存块传输至所述数据接收端。
4.如权利要求1所述数据传输优化方法，其特征在于，所述数据传输任务包括分布式同步计算任务对应的第一数据传输任务，
所述将所述元数据传输至与所述数据传输任务关联的数据接收端的步骤之前包括：
判断所述数据传输任务是否为所述第一数据传输任务；
若所述数据传输任务为所述第一数据传输任务，则启动预设多进程轮询模式；
所述基于所述协商信息，将所述待传输列式数据传输至所述数据接收端的步骤包括：
基于所述预设多进程轮询模式和所述协商信息，将所述待传输列式数据传输至所述数据接收端。
5.如权利要求1所述数据传输优化方法，其特征在于，所述数据传输任务包括分布式异步计算任务对应的第二数据传输任务，
所述将所述元数据传输至与所述数据传输任务关联的数据接收端的步骤之前包括：
判断所述数据传输任务是否为所述第二数据传输任务；
若所述数据传输任务为所述第二数据传输任务，则启动预设中断模式；
所述基于所述协商信息，将所述待传输列式数据传输至所述数据接收端的步骤包括：
基于所述预设中断模式和所述协商信息，将所述待传输列式数据传输至所述数据接收端。
6.如权利要求1所述数据传输优化方法，其特征在于，所述元数据包括所述待传输列式数据对应的内存长度信息和所述发送端内存地址信息，
所述将所述元数据传输至与所述数据传输任务关联的数据接收端，以将所述待传输列式数据对应的发送端内存地址信息传输至所述数据接收端，并接收所述数据接收端基于所述元数据反馈的协商信息的步骤包括：
将所述内存长度信息和所述发送端内存地址信息传输至所述数据接收端，以供所述数据接收端确定所述内存长度信息对应的单次传输数据量，并基于所述发送端内存地址信息更新所述待传输列式数据的接收端内存地址信息；
接收所述数据接收端反馈的所述单次传输数据量。
7.一种数据传输优化方法，其特征在于，所述数据传输优化方法应用于数据接收端，所述数据传输优化方法包括：
接收与所述数据接收端相关联的数据发送端发送的元数据对应的内存长度信息和发送端内存地址信息，并向所述数据发送端反馈所述内存长度信息对应的协商信息，其中，所述元数据包括存储待传输列式数据的各内存块与虚拟内存之间的映射关系、所述待传输列式数据的列式格式信息与所述虚拟内存之间的对应关系；
接收所述数据发送端基于所述协商信息发送的待传输列式数据，并将所述待传输列式数据存储至预设存储数据库，获得所述待传输列式数据的接收端内存地址信息；
基于所述接收端内存地址信息，对所述发送端内存地址信息进行更新。
8.如权利要求7所述数据传输优化方法，其特征在于，所述预设存储数据库包括共享内存，
所述基于所述接收端内存地址信息，对所述发送端内存地址信息进行更新的步骤之后包括：
判断所述待传输列式数据是否为预设非虚拟机语言类型；
若所述待传输列式数据为所述预设非虚拟机语言类型，则直接访问所述共享内存以提取所述待传输列式数据；
若所述待传输列式数据不为所述预设非虚拟机语言类型，则间接访问所述共享内存以通过预设数据接口提取所述待传输列式数据。
9.一种数据传输优化设备，其特征在于，所述数据传输优化设备包括：存储器、处理器以及存储在存储器上的用于实现所述数据传输优化方法的程序，
所述存储器用于存储实现数据传输优化方法的程序；
所述处理器用于执行实现所述数据传输优化方法的程序，以实现如权利要求1至6或者7至8中任一项所述数据传输优化方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有实现数据传输优化方法的程序，所述实现数据传输优化方法的程序被处理器执行以实现如权利要求1至6或者7至8中任一项所述数据传输优化方法的步骤。
CN201911325502.0A 2019-12-20 2019-12-20 数据传输优化方法、设备及可读存储介质 Active CN111107022B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911325502.0A CN111107022B (zh) 2019-12-20 2019-12-20 数据传输优化方法、设备及可读存储介质
PCT/CN2020/133428 WO2021121041A1 (zh) 2019-12-20 2020-12-02 数据传输优化方法、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911325502.0A CN111107022B (zh) 2019-12-20 2019-12-20 数据传输优化方法、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111107022A CN111107022A (zh) 2020-05-05
CN111107022B true CN111107022B (zh) 2021-08-27

Family

ID=70423022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911325502.0A Active CN111107022B (zh) 2019-12-20 2019-12-20 数据传输优化方法、设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN111107022B (zh)
WO (1) WO2021121041A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107022B (zh) * 2019-12-20 2021-08-27 深圳前海微众银行股份有限公司 数据传输优化方法、设备及可读存储介质
CN112565402B (zh) * 2020-12-02 2022-10-28 浙江强脑科技有限公司 数据传输方法、装置、设备及计算机可读存储介质
CN112714181A (zh) * 2020-12-25 2021-04-27 北京四维纵横数据技术有限公司 一种数据传输方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715039A (zh) * 2015-03-23 2015-06-17 星环信息科技（上海）有限公司 基于硬盘和内存的列式存储和查询方法及设备
CN109558344A (zh) * 2018-12-03 2019-04-02 郑州云海信息技术有限公司 一种适用于网络传输的dma传输方法及dma控制器
CN109933631A (zh) * 2019-03-20 2019-06-25 江苏瑞中数据股份有限公司 基于Infiniband网络的分布式并行数据库系统及数据处理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10042552B2 (en) * 2014-11-25 2018-08-07 Sap Se N-bit compressed versioned column data array for in-memory columnar stores
CN109379398B (zh) * 2018-08-31 2021-03-12 北京奇艺世纪科技有限公司 一种数据同步方法及装置
CN111107022B (zh) * 2019-12-20 2021-08-27 深圳前海微众银行股份有限公司 数据传输优化方法、设备及可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715039A (zh) * 2015-03-23 2015-06-17 星环信息科技（上海）有限公司 基于硬盘和内存的列式存储和查询方法及设备
CN109558344A (zh) * 2018-12-03 2019-04-02 郑州云海信息技术有限公司 一种适用于网络传输的dma传输方法及dma控制器
CN109933631A (zh) * 2019-03-20 2019-06-25 江苏瑞中数据股份有限公司 基于Infiniband网络的分布式并行数据库系统及数据处理方法

Also Published As

Publication number Publication date
CN111107022A (zh) 2020-05-05
WO2021121041A1 (zh) 2021-06-24

Similar Documents

Publication Publication Date Title
US10831562B2 (en) Method and system for operating a data center by reducing an amount of data to be processed
CN111107022B (zh) 数据传输优化方法、设备及可读存储介质
CN107729139B (zh) 一种并发获取资源的方法和装置
US8898236B2 (en) Automated conversion of versioned data collections
US9898338B2 (en) Network computer system and method for dynamically changing execution sequence of application programs
US8296774B2 (en) Service-based endpoint discovery for client-side load balancing
WO2018035799A1 (zh) 数据查询方法、应用和数据库服务器、中间件及系统
US10216556B2 (en) Master database synchronization for multiple applications
US7743333B2 (en) Suspending a result set and continuing from a suspended result set for scrollable cursors
CN116795647A (zh) 一种数据库异构资源管理与调度方法、装置、设备及介质
AU2012327879B2 (en) Data interchange system
CN113297305A (zh) 会话状态处理方法、装置、设备和存储介质
CN113779122B (zh) 导出数据的方法和装置
CN112395337A (zh) 一种数据导出方法和装置
CN114528049A (zh) 一种基于InfluxDB实现API调用信息统计的方法及系统
US10366060B2 (en) Augmenting database schema using information from multiple sources
CN116861455B (zh) 事件数据处理方法、系统、电子设备及存储介质
WO2017206907A1 (zh) 基于vdi的软件处理方法、装置及系统
WO2017096919A1 (zh) 一种数据返回方法、接收方法、返回装置及接收装置
CN111625340A (zh) 一种虚拟桌面环境作业调度方法及系统
CN112612512A (zh) 一种app多版本管理的方法及设备
CN112632053A (zh) 实现数据拼接的方法和实现数据拼接的系统
CN113868298A (zh) 一种数据加载方法、装置、设备及介质
CN114697292A (zh) 标识信息的生成方法及装置、存储介质、电子装置
CN116069789A (zh) 一种数据查询方法、装置以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant