CN117370047A - 一种数据传输方法及系统 - Google Patents

Abstract

本申请提供一种数据传输方法及系统，该方法应用于数据传输系统，数据传输系统包括数据生产端、数据读取端和数据系统，其中，数据系统在共享内存中创建数据传输队列、数据传输内存队列、创建数据缓存队列、数据缓存内存队列、文件块队列和文件块传输队列；数据生产端根据实际情况在指定队列中获取内存块地址，并基于内存块地址存储数据到共享内存中，再将内存块地址加入到对应的传输队列；数据读取端则可以直接读取内存块地址，并基于内存块地址读取目标数据，再在共享内存释放内存，以使内存块地址重新回到对应队列。可见，该方法及系统能够通过多级队列传输数据，提升数据传输性能，降低了数据丢失概率，有利于提升系统的可靠性。

Description

一种数据传输方法及系统

技术领域

本申请涉及数据传输技术领域，具体而言，涉及一种数据传输方法及系统。

背景技术

目前，随着网络技术的发展，网络系统越来越庞大，现有的数据传输方法，在嵌入式设备记录日志时，通常业务模块直接使用数据库接口记录日志，或是将日志信息通过socket、队列等方式传输给日志进程，由日志进程集中记录日志。然而，在实践中发现，在大量日志情况下，数据库繁忙会阻塞日志接口，进而阻塞业务模块，最终降低业务性能。可见，现有方法在数据量较大时，容易出现数据拥堵和数据丢失的问题，从而降低输出传输性能。

发明内容

本申请实施例的目的在于提供一种数据传输方法及系统，能够通过多级队列传输数据，提升数据传输性能，降低了数据丢失概率，有利于提升系统的可靠性。

本申请第一方面提供了一种数据传输方法，所述方法应用于数据传输系统，所述数据传输系统包括数据生产端、数据读取端和数据系统，其中，

所述数据系统在共享内存中创建数据传输队列和数据传输内存队列；其中，所述数据传输队列和所述数据传输内存队列均为无锁环形队列；

所述数据系统确定所述数据传输队列中被占用节点的数量比例；

所述数据系统判断所述数量比例是否大于预设比例阈值；

所述数据生产端在所述数据系统判断出所述数量比例不大于所述预设比例阈值时，在所述数据传输内存队列中获取第一目标共享内存的第一内存块地址；

所述数据生产端基于所述第一内存块地址将待存储的第一目标数据存储到所述第一目标共享内存中；

所述数据生产端将所述第一内存块地址加入到所述数据传输队列中；

所述数据读取端读取所述数据传输队列中的所述第一内存块地址；

所述数据读取端基于所述第一内存块地址读取所述第一目标共享内存中的所述第一目标数据；

所述数据读取端在所述第一目标共享内存释放内存后，将所述第一内存块地址重新加入到所述数据传输内存队列中。

在上述实现过程中，数据系统在共享内存中创建数据传输队列和数据传输内存队列；可见，该方法通过数据系统优先建立了最基础的数据传输队列，从而为实现数据传输提供相应的保障。然后，数据系统可以确定数据传输队列中被占用节点的数量比例，并判断数量比例是否大于预设比例阈值；可见，该方法可以通过被占用节点数量的比例来判定应该采用哪一种具体的数据传输流程；可以理解的是，该步骤体现了本方法的实现是依赖着多个数据传输流程的，且多个数据传输流程可以基于不同的条件加以应用，而此处则是优先保障数据传输的可行性，即在被占用节点的数量比例不大于预设比例阈值时的数据传输是可行的。具体的，数据生产端在数据系统判断出数量比例不大于预设比例阈值时，在数据传输内存队列中获取第一目标共享内存的第一内存块地址，并基于第一内存块地址将待存储的第一目标数据存储到第一目标共享内存中，再将第一内存块地址加入到数据传输队列中；可见，该过程体现了数据传输队列和数据传输内存队列在存数据过程中的应用。之后，数据读取端读取数据传输队列中的第一内存块地址，并基于第一内存块地址读取第一目标共享内存中的第一目标数据，再在第一目标共享内存释放内存后，将第一内存块地址重新加入到数据传输内存队列中；可见，该过程体现了数据传输队列和数据传输内存队列在读数据过程中的应用。基于此，该方法能够实现基础的数据传输能力，同时保障了一定的数据传输可扩展性，从而为通过多级队列传输数据提供数据传输基础，进而有利于提升数据传输性能，降低了数据丢失概率，提升系统的可靠性。

进一步地，所述方法还包括：

所述数据系统在共享内存中创建数据缓存队列、数据缓存内存队列、文件块队列和文件块传输队列；其中，所述数据缓存队列、所述数据缓存内存队列、所述文件块队列和所述文件块传输队列均为无锁环形队列。

在上述实现过程中，该方法提出了额外两组队列的存在，并以此来在系统层面上说明该方法是通过怎么样的多级队列来传输数据的。

进一步地，所述方法还包括：

所述数据系统在判断出所述数量比例大于所述预设比例阈值时，通过写入接口发送预设返回值至所述数据生产端，以通知所述数据生产端下次启用预设的缓存接口；

所述数据生产端通过所述预设的缓存接口从所述数据缓存内存队列获取第二目标共享内存的第二内存块地址；其中，所述第二目标共享内存为数据缓存内存；

所述数据生产端基于所述第二内存块地址存储第二目标数据；

所述数据生产端将所述第二内存块地址加入到所述数据缓存队列中；

所述数据读取端读取所述数据缓存队列中的所述第二内存块地址；

所述数据读取端基于所述第二内存块地址读取所述第二目标共享内存中的所述第二目标数据；

所述数据读取端在所述第二目标共享内存释放内存后，将所述第二内存块地址重新加入到所述数据缓存队列中。

在上述实现过程中，该方法在所述数据系统判断所述数量比例大于预设比例阈值时，触发缓存队列在数据传输过程中的应用。具体的，该过程可以类比基础的数据传输流程，以此来实现同类型的数据传输过程，从而有利于保障数据传输的稳定性。

进一步地，所述方法还包括：

所述数据生产端从所述文件块队列读取目标文件块地址；

所述数据生产端根据所述目标文件块地址将第三目标数据写入到目标文件块中；

所述数据生产端将所述目标文件块地址写入所述文件块传输队列中；

所述数据读取端读取所述文件块传输队列中的所述目标文件块地址；

所述数据读取端基于所述目标文件块地址读取所述目标文件块中的所述第三目标数据；

所述数据读取端在所述目标文件块释放内存后，将所述目标文件块地址重新加入到所述文件块队列中。

在上述实现过程中，该方法提供了一种同步数据传输方式，同时也是一种后备大容量传输方式。基于该种数据传输方式，能够通过同步传输提高数据传输性能；通过大容量的文件块来降低数据丢失概率。综上，该方法能够有效的提升系统的可靠性。

进一步地，所述方法还包括：

所述数据生产端检测所述数据传输队列、所述数据缓存队列和所述文件块传输队列是否均为空；如果是，执行所述的在所述数据传输内存队列中获取第一目标共享内存的第一内存块地址。

在上述实现过程中，该方法可以为数据传输的初始场景或数据传输供不应求的场景触发最基础的数据传输流程，从而保障数据传输流程的可实施，避免了多级数据传输流程的共同实施，并有利于降低数据传输的资源损耗。

本申请第二方面提供了一种数据传输系统，所述数据传输系统包括数据生产端、数据读取端和数据系统，其中，

所述数据系统，用于在共享内存中创建数据传输队列和数据传输内存队列；以及确定所述数据传输队列中被占用节点的数量比例；以及判断所述数量比例是否大于预设比例阈值；其中，所述数据传输队列和所述数据传输内存队列均为无锁环形队列；

所述数据生产端，用于在所述数据系统判断出所述数量比例不大于所述预设比例阈值时，在所述数据传输内存队列中获取第一目标共享内存的第一内存块地址；以及基于所述第一内存块地址将待存储的第一目标数据存储到所述第一目标共享内存中；以及将所述第一内存块地址加入到所述数据传输队列中；

所述数据读取端，用于读取所述数据传输队列中的所述第一内存块地址；以及基于所述第一内存块地址读取所述第一目标共享内存中的所述第一目标数据；以及在所述第一目标共享内存释放内存后，将所述第一内存块地址重新加入到所述数据传输内存队列中。

进一步地，所述数据系统，还用于在共享内存中创建数据缓存队列、数据缓存内存队列、文件块队列和文件块传输队列；其中，所述数据缓存队列、所述数据缓存内存队列、所述文件块队列和所述文件块传输队列均为无锁环形队列。

进一步地，所述数据系统，还用于在判断出所述数量比例大于所述预设比例阈值时，通过写入接口发送预设返回值至所述数据生产端，以通知所述数据生产端下次启用预设的缓存接口；

所述数据生产端，还用于通过所述预设的缓存接口从所述数据缓存内存队列获取第二目标共享内存的第二内存块地址；以及基于所述第二内存块地址存储第二目标数据；以及所述数据生产端将所述第二内存块地址加入到所述数据缓存队列中；其中，所述第二目标共享内存为数据缓存内存；

所述数据读取端，还用于读取所述数据缓存队列中的所述第二内存块地址；以及基于所述第二内存块地址读取所述第二目标共享内存中的所述第二目标数据；以及在所述第二目标共享内存释放内存后，将所述第二内存块地址重新加入到所述数据缓存队列中。

进一步地，所述数据生产端，还用于在从所述文件块队列读取目标文件块地址；以及根据所述目标文件块地址将第三目标数据写入到目标文件块中；以及将所述目标文件块地址写入所述文件块传输队列中；

所述数据读取端，还用于读取所述文件块传输队列中的所述目标文件块地址；以及基于所述目标文件块地址读取所述目标文件块中的所述第三目标数据；以及在所述目标文件块释放内存后，将所述目标文件块地址重新加入到所述文件块队列中。

进一步地，所述数据生产端，还用于检测所述数据传输队列、所述数据缓存队列和所述文件块传输队列是否均为空；如果是，执行所述的在所述数据传输内存队列中获取第一目标共享内存的第一内存块地址。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种数据传输方法的流程示意图；

图2为本申请实施例提供的另一种数据传输方法的流程示意图；

图3为本申请实施例提供的一种数据传输系统的结构示意图；

图4为本申请实施例提供的一种数据传输方法应用的多级队列的设计示意图；

图5为本申请实施例提供的一种数据传输队列工作流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1

请参看图1，图1为本实施例提供的一种数据传输方法的流程示意图。其中，该数据传输方法应用于数据传输系统，数据传输系统包括数据生产端、数据读取端和数据系统，其中，

S101、数据系统在共享内存中创建数据传输队列和数据传输内存队列。

本实施例中，数据传输队列和数据传输内存队列均为无锁环形队列。

在本实施例中，数据传输内存队列用于传输存储数据的共享内存块地址。

S102、数据系统确定数据传输队列中被占用节点的数量比例。

S103、数据系统判断数量比例是否大于预设比例阈值，若是，则结束本流程；若否，则执行步骤S104。

S104、数据生产端在数据传输内存队列中获取第一目标共享内存的第一内存块地址。

S105、数据生产端基于第一内存块地址将待存储的第一目标数据存储到第一目标共享内存中。

S106、数据生产端将第一内存块地址加入到数据传输队列中。

S107、数据读取端读取数据传输队列中的第一内存块地址。

S108、数据读取端基于第一内存块地址读取第一目标共享内存中的第一目标数据。

S109、数据读取端在第一目标共享内存释放内存后，将第一内存块地址重新加入到数据传输内存队列中。

本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。

在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。

可见，实施本实施例所描述的数据传输方法，能够通过多级队列传输数据，降低了数据丢失概率，提升了系统的可靠性；同时，由于多级队列支持有序数据传输和无序数据传输，因此能够适配多种使用场景，具有较高的通用性和可靠性。

实施例2

请参看图2，图2为本实施例提供的一种数据传输方法的流程示意图。其中，该数据传输方法应用于数据传输系统，数据传输系统包括数据生产端、数据读取端和数据系统，其中，

S201、数据系统在共享内存中创建数据传输队列、数据传输内存队列、创建数据缓存队列、数据缓存内存队列、文件块队列和文件块传输队列。

本实施例中，数据传输队列和数据传输内存队列均为无锁环形队列。

本实施例中，数据缓存队列和数据缓存内存队列均为无锁环形队列。

本实施例中，文件块队列和文件块传输队列均为无锁环形队列。

可见，数据传输接口能够基于共享内存、文件块、队列实现的内存队列、数据传输队列、数据缓存队列、文件块队列、文件块传输队列，提升了进程间的通信效率和可靠性。

其中，接口提供设置各种占用比例、读取数量等参数，可以根据实际业务场景调整参数比例，还可以平稳处理突发数据量。

在本实施例中，该方法可以在共享内存中创建两个无锁环形队列，得到文件块队列和文件块传输队列；其中，文件块队列用于存储文件块的地址；文件块传输队列用于存储具有存储数据的文件块的地址。

请参看图4，图4是该数据传输方法应用的多级队列的设计示意图。本方法能够通过多级队列缓存数据的方法降低对业务性能的影响，或解决数据丢失的问题。

具体的，该方法可以提供一个数据传输接口，对外提供初始化、销毁、写入、读取、缓存等接口，使得生产者和消费者可以通过库接口实现数据的可靠传输。其中，接口内部有共享内存、两个内存队列、数据传输队列、数据缓存队列、文件块队列、文件块传输队列组成，本设计重点模块是数据传输队列、数据缓存队列、文件块队列、文件块传输队列，这些模块基于共享内存、文件块、队列实现可靠的数据传输功能。

本实施例中，系统提供了共享内存的创建、初始化、释放等方面的管理功能。具体的，系统启动时可以将工作内存分割成两种固定大小的内存块(例如B1＝1KB和B2＝1MB)，在共享内存中创建两个无锁环形队列，队列可以存储每个内存块地址，构成数据传输内存队列(对应B1)和数据缓存内存队列(对应B2)。通过出队、入队完成内存块的申请和释放功能。

S202、数据系统确定数据传输队列中被占用节点的数量比例。

S203、数据系统判断数量比例是否大于预设比例阈值，若是，则执行步骤S210；若否，则执行步骤S204。

实施这种实施方式，能够基于消费者按节点数量比例读取数据缓存队列和数据传输队列并处理数据，并在处理完数据传输队列所有数据后，再按节点数量比例读取数据缓存队列和文件块传输队列并处理数据，实现有序传输数据。另一方面，消费者按节点数量比例同时读取数据缓存队列、数据传输队列、文件块传输队列并处理数据，还能够实现无序传输数据。

S204、数据生产端在数据传输内存队列中获取第一目标共享内存的第一内存块地址。

S205、数据生产端基于第一内存块地址将待存储的第一目标数据存储到第一目标共享内存中。

S206、数据生产端将第一内存块地址加入到数据传输队列中。

S207、数据读取端读取数据传输队列中的第一内存块地址。

S208、数据读取端基于第一内存块地址读取第一目标共享内存中的第一目标数据。

S209、数据读取端在第一目标共享内存释放内存后，将第一内存块地址重新加入到数据传输内存队列中，并结束本流程。

本实施例中，系统在共享内存中创建一个无锁环形队列，用于传输存储数据的共享内存块地址。生产者在数据传输内存队列中获取一块共享内存，存储数据，再将内存块地址加入到数据传输队列中，消费者读取队列中的共享内存块地址，读取内存块中的数据，最后将内存块地址加入到数据传输内存队列中。该流程可参见图5示出的数据传输队列工作流程示意图。

S210、通过写入接口发送预设返回值至数据生产端，以通知数据生产端下次启用预设的缓存接口。

S211、数据生产端通过预设的缓存接口从数据缓存内存队列获取第二目标共享内存的第二内存块地址。

本实施例中，第二目标共享内存为数据缓存内存。

作为一种可选的实施方式，该方法还包括：

数据系统在硬盘上创建第一预设大小的文件区；

数据系统将文件区按第二预设大小进行分块管理，得到文件块。

其中，文件块的大小等于数据缓存内存块的大小。

作为一种进一步可选的实施方式，该方法还可以包括：

数据生产端从文件块队列读取目标文件块地址；

数据生产端根据目标文件块地址将第三目标数据写入到目标文件块中；

数据生产端将目标文件块地址写入文件块传输队列中；

数据读取端读取文件块传输队列中的目标文件块地址；

数据读取端基于目标文件块地址读取目标文件块中的第三目标数据；

数据读取端在目标文件块释放内存后，将目标文件块地址重新加入到文件块队列中。

本实施例中，该系统可以在硬盘上创建一个固定大小的文件(例如B3＝10GB)，将文件按固定大小分块管理，大小等于数据缓存内存块的大小。在共享内存中创建一个无锁环形队列，将文件块的地址(在文件中的偏移值)，存储在这个队列中，该队列命名为文件块队列(对应B3)。

在本实施例中，该系统可以在共享内存中创建一个无锁环形队列，用于存储文件块的地址。其中，该队列中存储的文件块已经存储数据，该队列命名为文件块传输队列。

在本实施例中，生产者可以在读取到数据缓存队列的内存块地址后，读取文件块队列的文件块地址(即，在检测到数据缓存队列的内存块地址后，执行“数据生产端从文件块队列读取目标文件块地址”的步骤)，将数据写入到文件块中，最后将文件块地址写入到文件块传输队列中。

S212、数据生产端基于第二内存块地址存储第二目标数据。

S213、数据生产端将第二内存块地址加入到数据缓存队列中。

S214、数据读取端读取数据缓存队列中的第二内存块地址。

S215、数据读取端基于第二内存块地址读取第二目标共享内存中的第二目标数据。

S216、数据读取端在第二目标共享内存释放内存后，将第二内存块地址重新加入到数据缓存队列中，并结束本流程。

本实施例中，该系统可以在共享内存中创建无锁环形队列，用于传输存储数据的共享内存块地址。当数据传输队列的节点被占用超过一定比例时，接口会通过写入接口的返回值通知生产者下次启用缓存接口。生产者从数据缓存内存队列获取内存块地址，存储多条数据后，再将内存块地址加入到数据缓存队列中，消费者读取队列中的共享内存块地址，内存块中的数据被写入到文件块后，将内存块地址加入到数据缓存内存队列中。

实施这种实施方式，生产者可以从接口的数据传输内存队列或数据缓存内存队列获取内存块地址(内存块为共享内存)，向内存块写入数据；消费者可以读取数据传输队列、数据缓存队列获取内存块地址，在内存块中直接处理数据，从而避免对内存的拷贝，进而能够降低CPU资源的损耗，实现提升性能的效果。

作为一种可选的实施方式，该方法还包括：

数据生产端检测数据传输队列、数据缓存队列和文件块传输队列是否均为空；如果是，执行在数据传输内存队列中获取第一目标共享内存的第一内存块地址的步骤。

本实施例中，生产者和消费者可以根据三个队列的使用情况调整写入和读取的优先级。具体如下：

(1)生产者优先使用数据传输队列传输数据，节点被占用超过一定比例时(例如R1>90％)，生产者使用数据缓存队列和文件块传输队列传输数据，当数据传输队列、数据缓存队列和文件块传输队列为空时，再使用数据传输队列。

(2)消费者轮训检查数据传输队列、数据缓存队列、文件块传输队列，在读取缓存队列、读取文件块传输队列、读取数据传输队列时，读取节点的数量分别为N1、N2、N3，并根据下面的条件调整各个队列读取的节点数量：

①当数据传输队列中有数据时，读取比例：N1＝5、N2＝0、N3＝2。

②当数据传输队列中无数据时，读取比例：N1＝5、N2＝2、N3＝0。

③当数据缓存队列的节点被占用超过一定比例(例如R2>90％)时，当数据传输队列中有数据时，读取比例N1＝10、N2＝0、N3＝2，或当数据传输队列中无数据时，读取比例：N1＝10、N2＝1、N3＝0。

④当文件块传输队列节点被占用比例超过一定比例(例如R3>90％)时，当数据传输队列中有数据时，读取比例N1＝1、N2＝0、N3＝10，或当数据传输队列中无数据时，读取比例：N1＝1、N2＝10、N3＝0。

⑤当数据缓存队列和文件块传输队列的节点都被占用超过一定比例(例如R2、R3>90％)，说明生产者的生产速度超过消费速度，需要将生产者的数据分流到多个消费者或调整存储速度等措施，这些措施不在本设计范围内，不再详细描述。

在本实施例中，数据传输系统可以根据硬件设备的处理性能、业务数据量的大小，调整B1、B2、B3、N1、N2、N3、R1、R2、R3的数值。同样的，对于日志等类型数据(日志数据不存在先后关系)，可以根据业务需要自行调整B1、B2、B3、N1、N2、N3、R1、R2、R3的数值。

举例来说，在使用数据传输队列传输日志的场景中，业务进程每秒产生大量日志，记录日志时，调用接口获取数据传输内存队列的共享内存块地址，在内存块中写入数据，再将内存块地址写入数据传输队列接口。日志进程读取数据传输队列，获取内存块地址，读取数据并调用数据库接口写入日志。不难看出，该种方式相比于传统方式减少了一次内存拷贝过程。

举例来说，在使用文件块传输队列传输日志的场景中，当数据传输队列节点被占用超过一定比例时，启动文件块传输日志。此时，业务进程每秒产生大量日志，记录日志时，调用接口获取数据缓存内存队列的共享内存块地址，在内存块中写入多条数据，再调用接口将内存块地址写入数据缓存队列接口。日志进程读取数据缓存队列获取内存块地址，再从文件块队列获取文件块地址，将内存块中的数据写入到文件块中，将文件块地址写入到文件块传输队列。其中，日志进程优先保证读取数据缓存队列和写文件块，在有剩余CPU资源情况下，读取文件块传输队列，并从文件块中读取数据并调用数据库接口写入日志。在还有剩余CPU资源情况下，读取数据传输队列数据并调用数据库接口写入日志。

举例来说，在混用数据传输队列和文件块传输队列传输日志的场景中，该方法可以在启用文件块传输队列后，当数据传输队列的节点被占用节点比例低于一定比例时，同时启用数据传输队列传输数据，混用流程是业务进程可以交替向数据传输队列和数据缓存队列写入数据，日志进程在优先保证存储数据的原则下，按比例处理三个队列的数据。

本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。

在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。

可见，实施本实施例所描述的数据传输方法，能够通过多级队列传输数据，降低了数据丢失概率，提升了系统的可靠性；同时，由于多级队列支持有序数据传输和无序数据传输，因此能够适配多种使用场景，具有较高的通用性和可靠性。

实施例3

请参看图3，图3为本实施例提供的一种数据传输系统的结构示意图。如图3所示，该数据传输系统包括数据生产端400、数据读取端500和数据系统300，其中，

数据系统300，用于在共享内存中创建数据传输队列和数据传输内存队列；以及确定数据传输队列中被占用节点的数量比例；以及判断数量比例是否大于预设比例阈值；其中，数据传输队列和数据传输内存队列均为无锁环形队列；

数据生产端400，用于在数据系统300判断出数量比例不大于预设比例阈值时，在数据传输内存队列中获取第一目标共享内存的第一内存块地址；以及基于第一内存块地址将待存储的第一目标数据存储到第一目标共享内存中；以及将第一内存块地址加入到数据传输队列中；

数据读取端500，用于读取数据传输队列中的第一内存块地址；以及基于第一内存块地址读取第一目标共享内存中的第一目标数据；以及在第一目标共享内存释放内存后，将第一内存块地址重新加入到数据传输内存队列中。

本实施例中，对于数据传输系统的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。

可见，实施本实施例所描述的数据传输系统，能够通过多级队列传输数据，降低了数据丢失概率，提升了系统的可靠性；同时，由于多级队列支持有序数据传输和无序数据传输，因此能够适配多种使用场景，具有较高的通用性和可靠性。

实施例4

请参看图3，图3为本实施例提供的一种数据传输系统的结构示意图。如图3所示，该数据传输系统包括数据生产端400、数据读取端500和数据系统300，其中，

数据系统300，用于在共享内存中创建数据传输队列和数据传输内存队列；以及确定数据传输队列中被占用节点的数量比例；以及判断数量比例是否大于预设比例阈值；其中，数据传输队列和数据传输内存队列均为无锁环形队列；

数据生产端400，用于在数据系统300判断出数量比例不大于预设比例阈值时，在数据传输内存队列中获取第一目标共享内存的第一内存块地址；以及基于第一内存块地址将待存储的第一目标数据存储到第一目标共享内存中；以及将第一内存块地址加入到数据传输队列中；

数据读取端500，用于读取数据传输队列中的第一内存块地址；以及基于第一内存块地址读取第一目标共享内存中的第一目标数据；以及在第一目标共享内存释放内存后，将第一内存块地址重新加入到数据传输内存队列中。

作为一种可选的实施方式，数据系统300，还用于在共享内存中创建数据缓存队列、数据缓存内存队列、文件块队列和文件块传输队列；其中，数据缓存队列、数据缓存内存队列、文件块队列和文件块传输队列均为无锁环形队列。

作为一种可选的实施方式，数据系统300，还用于在判断出数量比例大于预设比例阈值时，通过写入接口发送预设返回值至数据生产端400，以通知数据生产端400下次启用预设的缓存接口；

数据生产端400，还用于通过预设的缓存接口从数据缓存内存队列获取第二目标共享内存的第二内存块地址；以及基于第二内存块地址存储第二目标数据；以及数据生产端400将第二内存块地址加入到数据缓存队列中；其中，第二目标共享内存为数据缓存内存；

数据读取端500，还用于读取数据缓存队列中的第二内存块地址；以及基于第二内存块地址读取第二目标共享内存中的第二目标数据；以及在第二目标共享内存释放内存后，将第二内存块地址重新加入到数据缓存队列中。

作为一种可选的实施方式，数据生产端400，还用于在从文件块队列读取目标文件块地址；以及根据目标文件块地址将第三目标数据写入到目标文件块中；以及将目标文件块地址写入文件块传输队列中；

数据读取端500，还用于读取文件块传输队列中的目标文件块地址；以及基于目标文件块地址读取目标文件块中的第三目标数据；以及在目标文件块释放内存后，将目标文件块地址重新加入到文件块队列中。

作为一种可选的实施方式，数据生产端400，还用于检测数据传输队列、数据缓存队列和文件块传输队列是否均为空；如果是，执行在数据传输内存队列中获取第一目标共享内存的第一内存块地址的操作。

本实施例中，对于数据传输系统的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。

可见，实施本实施例所描述的数据传输系统，能够通过多级队列传输数据，降低了数据丢失概率，提升了系统的可靠性；同时，由于多级队列支持有序数据传输和无序数据传输，因此能够适配多种使用场景，具有较高的通用性和可靠性。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种数据传输方法，其特征在于，所述方法应用于数据传输系统，所述数据传输系统包括数据生产端、数据读取端和数据系统，其中，

所述数据系统在共享内存中创建数据传输队列和数据传输内存队列；其中，所述数据传输队列和所述数据传输内存队列均为无锁环形队列；

所述数据系统确定所述数据传输队列中被占用节点的数量比例；

所述数据系统判断所述数量比例是否大于预设比例阈值；

所述数据生产端在所述数据系统判断出所述数量比例不大于所述预设比例阈值时，在所述数据传输内存队列中获取第一目标共享内存的第一内存块地址；

所述数据生产端基于所述第一内存块地址将待存储的第一目标数据存储到所述第一目标共享内存中；

所述数据生产端将所述第一内存块地址加入到所述数据传输队列中；

所述数据读取端读取所述数据传输队列中的所述第一内存块地址；

所述数据读取端基于所述第一内存块地址读取所述第一目标共享内存中的所述第一目标数据；

所述数据读取端在所述第一目标共享内存释放内存后，将所述第一内存块地址重新加入到所述数据传输内存队列中。

2.根据权利要求1所述的数据传输方法，其特征在于，所述方法还包括：

所述数据系统在共享内存中创建数据缓存队列、数据缓存内存队列、文件块队列和文件块传输队列；其中，所述数据缓存队列、所述数据缓存内存队列、所述文件块队列和所述文件块传输队列均为无锁环形队列。

3.根据权利要求2所述的数据传输方法，其特征在于，所述方法还包括：

所述数据系统在判断出所述数量比例大于所述预设比例阈值时，通过写入接口发送预设返回值至所述数据生产端，以通知所述数据生产端下次启用预设的缓存接口；

所述数据生产端通过所述预设的缓存接口从所述数据缓存内存队列获取第二目标共享内存的第二内存块地址；其中，所述第二目标共享内存为数据缓存内存；

所述数据生产端基于所述第二内存块地址存储第二目标数据；

所述数据生产端将所述第二内存块地址加入到所述数据缓存队列中；

所述数据读取端读取所述数据缓存队列中的所述第二内存块地址；

所述数据读取端基于所述第二内存块地址读取所述第二目标共享内存中的所述第二目标数据；

所述数据读取端在所述第二目标共享内存释放内存后，将所述第二内存块地址重新加入到所述数据缓存队列中。

4.根据权利要求2所述的数据传输方法，其特征在于，所述方法还包括：

所述数据生产端从所述文件块队列读取目标文件块地址；

所述数据生产端根据所述目标文件块地址将第三目标数据写入到目标文件块中；

所述数据生产端将所述目标文件块地址写入所述文件块传输队列中；

所述数据读取端读取所述文件块传输队列中的所述目标文件块地址；

所述数据读取端基于所述目标文件块地址读取所述目标文件块中的所述第三目标数据；

所述数据读取端在所述目标文件块释放内存后，将所述目标文件块地址重新加入到所述文件块队列中。

5.根据权利要求2所述的数据传输方法，其特征在于，所述方法还包括：

所述数据生产端检测所述数据传输队列、所述数据缓存队列和所述文件块传输队列是否均为空；如果是，执行所述的在所述数据传输内存队列中获取第一目标共享内存的第一内存块地址。

6.一种数据传输系统，其特征在于，所述数据传输系统包括数据生产端、数据读取端和数据系统，其中，

所述数据系统，用于在共享内存中创建数据传输队列和数据传输内存队列；以及确定所述数据传输队列中被占用节点的数量比例；以及判断所述数量比例是否大于预设比例阈值；其中，所述数据传输队列和所述数据传输内存队列均为无锁环形队列；

所述数据生产端，用于在所述数据系统判断出所述数量比例不大于所述预设比例阈值时，在所述数据传输内存队列中获取第一目标共享内存的第一内存块地址；以及基于所述第一内存块地址将待存储的第一目标数据存储到所述第一目标共享内存中；以及将所述第一内存块地址加入到所述数据传输队列中；

所述数据读取端，用于读取所述数据传输队列中的所述第一内存块地址；以及基于所述第一内存块地址读取所述第一目标共享内存中的所述第一目标数据；以及在所述第一目标共享内存释放内存后，将所述第一内存块地址重新加入到所述数据传输内存队列中。

7.根据权利要求6所述的数据传输系统，其特征在于，所述数据系统，还用于在共享内存中创建数据缓存队列、数据缓存内存队列、文件块队列和文件块传输队列；其中，所述数据缓存队列、所述数据缓存内存队列、所述文件块队列和所述文件块传输队列均为无锁环形队列。

8.根据权利要求7所述的数据传输系统，其特征在于，所述数据系统，还用于在判断出所述数量比例大于所述预设比例阈值时，通过写入接口发送预设返回值至所述数据生产端，以通知所述数据生产端下次启用预设的缓存接口；

所述数据生产端，还用于通过所述预设的缓存接口从所述数据缓存内存队列获取第二目标共享内存的第二内存块地址；以及基于所述第二内存块地址存储第二目标数据；以及所述数据生产端将所述第二内存块地址加入到所述数据缓存队列中；其中，所述第二目标共享内存为数据缓存内存；

所述数据读取端，还用于读取所述数据缓存队列中的所述第二内存块地址；以及基于所述第二内存块地址读取所述第二目标共享内存中的所述第二目标数据；以及在所述第二目标共享内存释放内存后，将所述第二内存块地址重新加入到所述数据缓存队列中。

9.根据权利要求7所述的数据传输系统，其特征在于，所述数据生产端，还用于在从所述文件块队列读取目标文件块地址；以及根据所述目标文件块地址将第三目标数据写入到目标文件块中；以及将所述目标文件块地址写入所述文件块传输队列中；

所述数据读取端，还用于读取所述文件块传输队列中的所述目标文件块地址；以及基于所述目标文件块地址读取所述目标文件块中的所述第三目标数据；以及在所述目标文件块释放内存后，将所述目标文件块地址重新加入到所述文件块队列中。

10.根据权利要求7所述的数据传输系统，其特征在于，所述数据生产端，还用于检测所述数据传输队列、所述数据缓存队列和所述文件块传输队列是否均为空；如果是，执行所述的在所述数据传输内存队列中获取第一目标共享内存的第一内存块地址。