CN106909460B - 数据缓冲方法、装置及存储介质 - Google Patents
数据缓冲方法、装置及存储介质 Download PDFInfo
- Publication number
- CN106909460B CN106909460B CN201710055137.0A CN201710055137A CN106909460B CN 106909460 B CN106909460 B CN 106909460B CN 201710055137 A CN201710055137 A CN 201710055137A CN 106909460 B CN106909460 B CN 106909460B
- Authority
- CN
- China
- Prior art keywords
- subdata
- data
- buffering area
- buffering
- identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003139 buffering effect Effects 0.000 title claims abstract description 210
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 27
- 239000000872 buffer Substances 0.000 claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 43
- 230000008859 change Effects 0.000 claims abstract description 11
- 230000009467 reduction Effects 0.000 claims description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000000039 congener Substances 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种数据缓冲方法包括：接收来自数据库的数据包和处理请求；将数据缓冲区分成n个子数据缓冲区，子数据缓冲区对应设有子数据缓冲区序列标识符和子数据缓冲区锁定标识符，将数据库的数据包放在各个子数据缓冲区内；子数据缓冲区接收到处理请求时，根据子数据缓冲区序列标识符锁定子数据缓冲区的数据并修改子数据缓冲区锁定标识符；根据处理请求存储或读取子数据缓冲区的数据，在存储或读取子数据缓冲区后，解锁子数据缓冲区的数据并还原子数据缓冲区锁定标识符；将各个子数据缓冲区的数据的送出到数据缓冲区外。本发明实施例还公开了一种数据缓冲装置以及存储介质。本发明可以达到流畅的处理大量、高并发数据请求的目的。
Description
技术领域
本发明属于信息技术领域，具体地说，主要涉及一种的数据缓冲的方法、装置及存储介质。
背景技术
在传统的网络应用系统中，客户端发出请求后通过服务端业务层直接对数据库进行连接查询操作，获得业务数据后再向客户端传输数据。此种机制处理少量数据和低并发的系统还能相安无事，但遇到数据量比较大和并发高的WEB系统，特别对于要求信息变化频繁、实时性数据要高求高的系统来说，此种处理手法就会遇到瓶颈。例如服务器、数据库性能急剧下降、客户端响应缓慢等等，直接影响到用户的体验性，在多线程数据量大而且更新频率高的情况下，经常会引起系统的死循环，导致各类资源利用率高，比如CPU(中央处理器)的利用率高，从而引起服务器的过热或死机，此给用户带来不佳体验，实有待改善。
发明内容
本发明实施例要解决的技术问题，在于提供一种能够处理大量、高并发数据请求的数据缓冲装置及方法，用以减少数据更新频率高的情况下，引起的死循环导致CPU利用率高的缺陷。
本发明实施例解决上述技术问题的技术方案为：
一种数据缓冲方法，包括：
接收来自数据库的数据包和处理请求；
将数据缓冲区分成n个子数据缓冲区，其中子数据缓冲区对应设有子数据缓冲区序列标识符和子数据缓冲区锁定标识符，将数据库的数据包放在各个子数据缓冲区内；
子数据缓冲区接收到处理请求时，根据子数据缓冲区序列标识符锁定子数据缓冲区的数据并修改子数据缓冲区锁定标识符；
根据处理请求存储或读取子数据缓冲区的数据，在存储或读取子数据缓冲区后，解锁子数据缓冲区的数据并还原子数据缓冲区锁定标识符；
将各个子数据缓冲区的数据的送出到数据缓冲区外。
数据缓冲方法，其中，将数据缓冲区分成n个子数据缓冲区时，若使用子数据缓冲区数量大于或等于k*n时，将数据缓冲区分成2*n个子数据缓冲区。
数据缓冲方法，其中，n为16，k为0.75。
数据缓冲方法，其中，在锁定子数据缓冲区的数据并修改子数据缓冲区锁定标识符时，对锁定子数据缓冲区的其他处理请求不存储或读取子数据缓冲区的数据。
一种数据缓冲装置，其中，包括：
获取模块，接收数据库的数据包和处理请求；
数据缓冲模块，将数据缓冲区分成n个子数据缓冲区，其中所述子数据缓冲区对应设有子数据缓冲区序列标识符和子数据缓冲区锁定标识符，将所述数据库的数据包放在各个所述子数据缓冲区内；
锁定模块，每个子数据缓冲区接收到处理请求时，根据子数据缓冲区序列标识符锁定子数据缓冲区的数据并修改子数据缓冲区锁定标识符，根据所述的处理请求存储或读取子数据缓冲区的数据，在存储或读取子数据缓冲区后，解锁子数据缓冲区的数据并还原所述的子数据缓冲区锁定标识符；
传送模块，将各个子数据缓冲区的数据的送出到所述的数据缓冲区外。
所述的数据缓冲装置，其中，所述的数据缓冲模块还包括：
增量模块，将数据缓冲区分成n个子数据缓冲区时，若使用所述的子数据缓冲区数量大于或等于k*n时，将所述数据缓冲区分成2*n个子数据缓冲区。
所述的数据缓冲装置，其中，所述的n为16，所述的k为0.75。
一种存储指令的计算机可读存储介质，当被计算设备执行时，所述指令使得计算设备数据缓冲增加的一种优化方法，所述方法包括：
接收来自数据库的数据包和处理请求；
将数据缓冲区分成n个子数据缓冲区，其中所述子数据缓冲区对应设有子数据缓冲区序列标识符和子数据缓冲区锁定标识符，将所述数据库的数据包放在各个所述子数据缓冲区内；
所述子数据缓冲区接收到所述的处理请求时，根据子数据缓冲区序列标识符锁定子数据缓冲区的数据并修改子数据缓冲区锁定标识符；
根据所述的处理请求存储或读取子数据缓冲区的数据，在存储或读取子数据缓冲区后，解锁子数据缓冲区的数据并还原所述的子数据缓冲区锁定标识符；
将各个子数据缓冲区的数据的送出到所述的数据缓冲区外。
所述的计算机可读存储介质，其中，其中所述方法还包括：将数据缓冲区分成n个子数据缓冲区时，若使用所述的子数据缓冲区数量大于或等于k*n时，将所述数据缓冲区分成2*n个子数据缓冲区。
所述的计算机可读存储介质，其中，其中所述方法还包括，所述的n为16，所述的k为0.75。
本发明实施例的一种数据缓冲装置及方法具有以下有益效果：通过对数据缓冲模块中设置队列单元，对接收到的请求线程进行归类排序，避免了无序以及变化复杂的请求线程对服务器造成的处理压力，其次加入了锁定模块，对排序后的多个数据列进行释放管理，确保同种类的请求线程不会同时进行运算调用数据，减少因数据量大并且高频率高引起的数据死循环的产生，降低CPU的占用率，从而提高CPU的计算速率，进而保证服务器在处理大量、高并发数据请求的时候，能够快速并正常的提供反馈数据，数据进行同步更新，提高数据的实时性，保证反馈数据均是最新的数据。本发明实施例的数据缓冲区分成n个，效率提升n倍，默认n为16，则效率至少提高16倍。
附图说明
图1为一个实施例中数据缓冲方法运行的应用环境图；
图2为本发明实施例的数据缓冲区的结构示意图；
图3为本发明实施例1中数据缓冲方法的流程图；
图4为本发明实施例3中数据缓冲模块的框架示意图。
具体实施方式
下面结合附图对本发明实施例数据缓冲方法做详细说明。
为了使本技术领域的技术人员更好地理解本发明实施例的方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在某有做出创造性劳动前提下所获得的所有其它实施例，都应当属于本发明保护的范围。
本发明实施例说明书、权利要求书和附图中出现的术语“第一”、“第二”、“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如包含了一些列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选的包括没有列出的步骤或单元，或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
【实施例1】
图1为一个实施例中数据缓冲方法运行的应用环境图。如图1所示，该应用环境包括终端110、服务器120，其中终端110和服务器120通过网络进行通信。
终端110可为智能手机、平板电脑、笔记本电脑、台式计算机等客户端，但并不局限于此。终端110可通过网络从服务器120接收数据，如音视频数据等，或向服务器120发送数据等，服务器120可以响应终端110发送的视频传输请求等。该终端110上可以有存储介质上，本办法可以在其上使用。
服务器120可以多台并发形式，也可以是单一的一台作为缓冲区，与其他服务器与数据库服务器进行连接。在服务器120上有存储介质，本办法也可以在其上使用。所以本方法并不限于终端110或服务器120上一端，依据实际情况而有所不同。
如图2所示为本发明实施例的数据缓冲区的结构示意图，本实施例中，客户端100与数据库300之间设有一数据缓冲区200。数据缓冲区200与数据库200之间是实时连接，保证了数据缓冲区200与数据库300之间是同步的。此时，客户端无需直接读取服务器上数据库，而是实时读取数据缓冲区的数据。
本发明一种数据缓冲方法，包括如下步骤。
接收来自数据库的数据包和处理请求。该步骤保证了数据缓冲区200与数据300间的同步，同时为后续处理方法打下基础。
接着，本方法将数据缓冲区分成n个子数据缓冲区，其中子数据缓冲区对应设有子数据缓冲区序列标识符和子数据缓冲区锁定标识符，将数据库的数据包放在各个子数据缓冲区内。该子数据缓冲区序列标识符可以是按数字顺序，比如1，2，3的排列下去，也可以按字母A，B，C的排列下去。当然子数据缓冲区序列标识符也可以是无序的，只要起到表示作用就可以。该子数据缓冲区锁定标识符也可以是数字、字母等类型标识。比如，0，1两种模式，一种表示了锁定，一种表示了未锁定。
将数据缓冲区分成n个子数据缓冲区时，若使用子数据缓冲区数量大于或等于k*n时，将数据缓冲区分成2*n个子数据缓冲区。此步骤主要是防止子数据缓冲区不够用，增加子数据缓冲区的量，从而增加整体数据缓冲区的量，从而解决高并发问题。k与n的设置可以根据不同的数据来定，比如图片与视频因为数据大小不一样，所以在k与n的初始值就有所不同。
本方法还包括：该子数据缓冲区接收到处理请求时，根据子数据缓冲区序列标识符锁定子数据缓冲区的数据并修改子数据缓冲区锁定标识符；在锁定子数据缓冲区的数据并修改子数据缓冲区锁定标识符时，对锁定子数据缓冲区的其他处理请求不存储或读取子数据缓冲区的数据。根据处理请求存储或读取子数据缓冲区的数据，在存储或读取子数据缓冲区后，解锁子数据缓冲区的数据并还原子数据缓冲区锁定标识符。
以上步骤如图3所示，本图3为本发明实施例1中数据缓冲方法一步骤的流程图。步骤S101，根据子数据缓冲区标识符寻找到对应的锁定标识符。步骤S102，判断该子数据缓冲区锁定标识符。如果锁定标识符无修改，则执行步骤S103修改锁定标识符，步骤S104存储或读取子数据库缓冲区的数据以及步骤S105，还原锁定标识符。也就是说，如果锁定标识符无修改，先修改了锁定标识符，然后处理对应的数据，处理完后还原锁定标识符。
在步骤S102，判断该子数据缓冲区锁定标识符。如果锁定标识符已经修改，对该数据的其他请求不处理，该请求重新开始搜寻。此时保证了系统在进行数据处理时单一任务在处理，也就是说，仅仅处理一个请求，进一步加快服务器的运转速率。
将各个子数据缓冲区的数据的送出到数据缓冲区外。此时，客户端100无需直接读取服务器上数据库300，而是实时读取数据缓冲区200的数据，也就是各个子数据缓冲区的数据。而因为该方法是实时接收自数据库的数据包和处理请求，也就是跟数据库端实时更新，保持同步状态。而因为有多个子数据缓冲区，也就是有多个缓冲区，保证高并发的效率。本实施例中，在步骤S102，判断该子数据缓冲区锁定标识符，如果锁定标识符已经修改，对该数据的其他请求不处理之后，较佳的实施例为对该请求进行排序，在原锁定标识符还原后按排序队列依次进行处理。
【实施例2】
本实施例与实施例1不同的地方是，给出了n与k的值，n＝16，k＝0.75。也就是说开始就分为16个子数据缓冲区，根据数据包大小使用16个数据缓冲区，当使用到第12个的时候，也就是k*n的值大小的时候。该方法自动增加区域数量到32个。依次类推，在32个不够用的时候，可以增加为64个，以此类推。根据以上介绍，可知k最大为1。在实际中测试，以n＝16，k＝0.75为参数。因为重新划分子数据缓冲区也是非常消耗资源的，但比不增加还是效果要好。采用n＝16，k＝0.75较好的利用了资源的一实施例。
【实施例3】
如图4所示，为本发明数据缓冲模块的框架示意图，该数据缓冲装置包括获取模块10，数据缓冲模块20，锁定模块30余传送模块40。
该获取模块10，接收数据库的数据包和处理请求；
该数据缓冲模块20，将数据缓冲区分成n个子数据缓冲区，其中子数据缓冲区对应设有子数据缓冲区序列标识符和子数据缓冲区锁定标识符，将数据库的数据包放在各个子数据缓冲区内；
该锁定模块30，每个子数据缓冲区接收到处理请求时，根据子数据缓冲区序列标识符锁定子数据缓冲区的数据并修改子数据缓冲区锁定标识符，根据处理请求存储或读取子数据缓冲区的数据，在存储或读取子数据缓冲区后，解锁子数据缓冲区的数据并还原子数据缓冲区锁定标识符；
该传送模块40，将各个子数据缓冲区的数据的送出到数据缓冲区外。
数据缓冲装置是引入一个“分段锁”的概念，具体可以理解为把一个大的Map拆分成N个小HashTable(内存块)，每个HashTable存在一把锁。根据键值的hashCode来决定把Key放到哪个HashTable中。在放入和获取数据的时候，都是先根据hashCode算出放到哪个HashTable中，然后找到对应的HashTable进行数据存储和读取，如果遇到两个线程同时指向同一个HashTable，那么第二个线程就会阻塞，直到第一个线程释放锁后第二线程才去操作。
进一步，该数据缓冲装置还包括增量模块，将数据缓冲区分成n个子数据缓冲区时，若使用子数据缓冲区数量大于或等于k*n时，将数据缓冲区分成2*n个子数据缓冲区。n＝16，k＝0.75。增量模块也就是说当数据量占用超过16*0.75＝12的时候，数据缓冲装置的会以16的倍数进行自动扩容，扩容的操作是一件比较耗性能的事，所以在实际应用中，还是要准确地估算池的初始化容量最佳大小才能更好的利用资源不浪费。
【实施例4】
一种存储指令的计算机可读存储介质，当被计算设备执行时，指令使得计算设备数据缓冲增加的一种优化方法，方法包括：
接收来自数据库的数据包和处理请求；
将数据缓冲区分成n个子数据缓冲区，其中子数据缓冲区对应设有子数据缓冲区序列标识符和子数据缓冲区锁定标识符，将数据库的数据包放在各个子数据缓冲区内；
子数据缓冲区接收到处理请求时，根据子数据缓冲区序列标识符锁定子数据缓冲区的数据并修改子数据缓冲区锁定标识符；
根据处理请求存储或读取子数据缓冲区的数据，在存储或读取子数据缓冲区后，解锁子数据缓冲区的数据并还原子数据缓冲区锁定标识符；
将各个子数据缓冲区的数据的送出到数据缓冲区外。
计算机可读存储介质，其中，其中方法还包括：将数据缓冲区分成n个子数据缓冲区时，若使用子数据缓冲区数量大于或等于k*n时，将数据缓冲区分成2*n个子数据缓冲区。
计算机可读存储介质，其中，其中方法还包括，n＝16，k＝0.75。
本发明实施例的一种数据缓冲装置及方法具有以下有益效果：通过对数据缓冲模块中设置队列单元，对接收到的请求线程进行归类排序，避免了无序以及变化复杂的请求线程对服务器造成的处理压力，其次加入了线程锁定单元，对排序后的多个数据列进行释放管理，确保同种类的请求线程不会同时进行运算调用数据，减少因数据量大并且高频率高引起的数据死循环的产生，降低CPU的占用率，从而提高CPU的计算速率，进而保证服务器在处理大量、高并发数据请求的时候，能够快速并正常的提供反馈数据，数据进行同步更新，提高数据的实时性，保证反馈数据均是最新的数据。本发明实施例的数据缓冲区分成N个，效率提升N倍，默认提升N为16，则效率至少提高16倍。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
在本申请所提供的几个实施例中，应当理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或者直接耦合或通信连接是可以通过一些接口、装置或单元的间接耦合或者通信连接，可以是电性或其它的形式。
另外，本发明各个实施例中的各功能模块或单元可以集成在一个处理单元中，也可以是各个模块或单元单独物理存在，也可以两个或两个以上模块或单元集成在一个模块或单元中。上述集成的模块或单元可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元或模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质或者说对现有技术做出贡献的部分或者改技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可谓个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各个实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各个实施例技术方案的范围。
Claims (10)
1.一种数据缓冲方法，其特征在于，包括：
接收来自数据库的数据包和处理请求；
将数据缓冲区分成n个子数据缓冲区，其中所述的子数据缓冲区对应设有子数据缓冲区序列标识符和子数据缓冲区锁定标识符，将所述的数据库的数据包放在各个所述的子数据缓冲区内；
所述的子数据缓冲区接收到所述的处理请求时，根据所述的子数据缓冲区序列标识符锁定所述的子数据缓冲区的数据并修改所述的子数据缓冲区锁定标识符；
根据所述的处理请求存储或读取所述的子数据缓冲区的数据，在存储或读取所述的子数据缓冲区后，解锁所述的子数据缓冲区的数据并还原所述的子数据缓冲区锁定标识符；
将各个子数据缓冲区的数据送出到所述的数据缓冲区外。
2.根据权利要求1所述的数据缓冲方法，其特征在于，所述的将数据缓冲区分成n个子数据缓冲区时，若使用所述的子数据缓冲区数量大于或等于k*n时，在所述的数据缓冲区域增加n个所述的子数据缓冲区域得到2*n个所述的子数据缓冲区。
3.根据权利要求2所述的数据缓冲方法，其特征在于，所述的n为16，所述的k为0.75。
4.根据权利要求1所述的数据缓冲方法，其特征在于，所述锁定所述的子数据缓冲区的数据并修改子数据缓冲区锁定标识符时，对锁定的所述子数据缓冲区的其他处理请求不存储或读取所述的子数据缓冲区的数据。
5.一种数据缓冲装置，其特征在于，包括：
获取模块，接收数据库的数据包和处理请求；
数据缓冲模块，将数据缓冲区分成n个子数据缓冲区，其中所述的子数据缓冲区对应设有子数据缓冲区序列标识符和子数据缓冲区锁定标识符，将所述的数据库的数据包放在各个所述的子数据缓冲区内；
锁定模块，每个子数据缓冲区接收到处理请求时，根据子数据缓冲区序列标识符锁定子数据缓冲区的数据并修改子数据缓冲区锁定标识符，根据所述的处理请求存储或读取子数据缓冲区的数据，在存储或读取子数据缓冲区后，解锁子数据缓冲区的数据并还原所述的子数据缓冲区锁定标识符；
传送模块，将各个子数据缓冲区的数据送出到所述的数据缓冲区外。
6.根据权利要求5所述的数据缓冲装置，其特征在于，所述的数据缓冲模块还包括：
增量模块，将数据缓冲区分成n个子数据缓冲区时，若使用所述的子数据缓冲区数量大于或等于k*n时，在所述的数据缓冲区域增加n个所述的子数据缓冲区域得到2*n个所述的子数据缓冲区。
7.根据权利要求6所述的数据缓冲装置，其特征在于，所述的n为16，所述的k为0.75。
8.一种存储指令的计算机可读存储介质，其特征在于，当所述指令被计算设备执行时，所述的指令使得计算设备执行数据缓冲方法的步骤，包括：
接收来自数据库的数据包和处理请求；
将数据缓冲区分成n个子数据缓冲区，其中所述的子数据缓冲区对应设有子数据缓冲区序列标识符和子数据缓冲区锁定标识符，将所述的数据库的数据包放在各个所述的子数据缓冲区内；
所述的子数据缓冲区接收到所述的处理请求时，根据子数据缓冲区序列标识符锁定子数据缓冲区的数据并修改子数据缓冲区锁定标识符；
根据所述的处理请求存储或读取子数据缓冲区的数据，在存储或读取子数据缓冲区后，解锁子数据缓冲区的数据并还原所述的子数据缓冲区锁定标识符；
将各个子数据缓冲区的数据送出到所述的数据缓冲区外。
9.根据权利要求8所述的计算机可读存储介质，其特征在于，其中所述的方法还包括：将数据缓冲区分成n个子数据缓冲区时，若使用所述的子数据缓冲区数量大于或等于k*n时，在所述的数据缓冲区域增加n个所述的子数据缓冲区域得到2*n个所述的子数据缓冲区。
10.根据权利要求9所述的计算机可读存储介质，其特征在于，其中所述的方法还包括，所述的n为16，所述的k为0.75。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710055137.0A CN106909460B (zh) | 2017-01-24 | 2017-01-24 | 数据缓冲方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710055137.0A CN106909460B (zh) | 2017-01-24 | 2017-01-24 | 数据缓冲方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106909460A CN106909460A (zh) | 2017-06-30 |
| CN106909460B true CN106909460B (zh) | 2018-06-05 |
Family
ID=59207102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710055137.0A Active CN106909460B (zh) | 2017-01-24 | 2017-01-24 | 数据缓冲方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106909460B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977326A (zh) * | 2017-11-13 | 2018-05-01 | 广州市雅江光电设备有限公司 | Dmx数据双缓冲方法、装置 |
| CN111131081B (zh) * | 2019-12-31 | 2022-12-23 | 武汉绿色网络信息服务有限责任公司 | 一种支持多进程的高性能单向传输的方法和装置 |
| CN112468834B (zh) * | 2020-10-29 | 2023-08-18 | 北京达佳互联信息技术有限公司 | 属性值更新方法、装置、电子设备、服务器及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1494277A (zh) * | 2002-11-01 | 2004-05-05 | ��Ϊ��������˾ | 网络通信中数据发送/接收缓冲区的管理方法 |
| CN1552016A (zh) * | 2001-09-06 | 2004-12-01 | ض� | 向/从缓冲器提取和加载数据的装置和方法 |
| CN1825990A (zh) * | 2005-02-25 | 2006-08-30 | 华为技术有限公司 | 基站板间传输数据的方法及装置 |
| CN101176077A (zh) * | 2005-06-23 | 2008-05-07 | 国际商业机器公司 | 与多个处理单元一起使用的远程介质高速缓冲存储器优化系统和方法 |
| CN102882923A (zh) * | 2012-07-25 | 2013-01-16 | 北京亿赛通科技发展有限责任公司 | 移动终端安全存储系统及方法 |
| CN103699497A (zh) * | 2013-12-19 | 2014-04-02 | 京信通信系统（中国）有限公司 | 一种缓存分配方法及装置 |
-
2017
- 2017-01-24 CN CN201710055137.0A patent/CN106909460B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1552016A (zh) * | 2001-09-06 | 2004-12-01 | ض� | 向/从缓冲器提取和加载数据的装置和方法 |
| CN1494277A (zh) * | 2002-11-01 | 2004-05-05 | ��Ϊ��������˾ | 网络通信中数据发送/接收缓冲区的管理方法 |
| CN1825990A (zh) * | 2005-02-25 | 2006-08-30 | 华为技术有限公司 | 基站板间传输数据的方法及装置 |
| CN101176077A (zh) * | 2005-06-23 | 2008-05-07 | 国际商业机器公司 | 与多个处理单元一起使用的远程介质高速缓冲存储器优化系统和方法 |
| CN102882923A (zh) * | 2012-07-25 | 2013-01-16 | 北京亿赛通科技发展有限责任公司 | 移动终端安全存储系统及方法 |
| CN103699497A (zh) * | 2013-12-19 | 2014-04-02 | 京信通信系统（中国）有限公司 | 一种缓存分配方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106909460A (zh) | 2017-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106126407B (zh) | 一种针对分布式存储系统的性能监控调优系统及方法 | |
| US9230002B2 (en) | High performant information sharing and replication for single-publisher and multiple-subscriber configuration | |
| CN102207891B (zh) | 对数据划分分布式环境实现动态划分和负载均衡的方法 | |
| CN102930062B (zh) | 一种数据库快速水平扩展的方法 | |
| CN103914399B (zh) | 一种并行计算系统中的磁盘缓存方法及装置 | |
| CN103631873B (zh) | 一种数据压缩方法及存储系统 | |
| CN106909460B (zh) | 数据缓冲方法、装置及存储介质 | |
| CN106201443B (zh) | 一种基于Storm流式计算框架多并发写文件的方法及系统 | |
| CN109144699A (zh) | 分布式任务调度方法、装置及系统 | |
| CN103516807A (zh) | 一种云计算平台服务器负载均衡系统及方法 | |
| CN103905311A (zh) | 流表匹配方法和装置以及交换机 | |
| CN109815026A (zh) | 基于分布式组件的电力时序数据库 | |
| CN106570145B (zh) | 一种基于分层映射的分布式数据库结果缓存方法 | |
| CN111460024A (zh) | 基于Elasticsearch的实时业务系统 | |
| CN112947860B (zh) | 一种分布式数据副本的分级存储与调度方法 | |
| CN107832423A (zh) | 一种用于分布式文件系统的文件读写方法 | |
| CN103729252B (zh) | 一种虚拟机调度的方法及调度监控器 | |
| CN110704465B (zh) | 一种处理业务工单表的方法、装置及存储介质 | |
| CN107220348A (zh) | 一种基于Flume与Alluxio的数据收集方法 | |
| CN105808342A (zh) | 用于分配客户请求的方法、判断装置和系统 | |
| CN110083306A (zh) | 一种分布式对象存储系统及存储方法 | |
| CN112328569A (zh) | 基于Flume分布式数据收集架构的构建方法 | |
| CN110162410A (zh) | 一种消息处理方法和装置 | |
| CN102098170A (zh) | 一种数据采集优化方法及系统 | |
| CN105099753B (zh) | 网络管理系统及其处理业务的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 526040, Guangdong City, Zhaoqing province Guta road employment training center building fifth South Applicant after: GUANGDONG DECHENG SCIENTIFIC EDUCATION CO.,LTD. Address before: 526040 Guta Middle Road, Guangdong, China, No. 16, No. Applicant before: GUANGDONG DECHENG NETWORK TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Data buffer method, device and storage medium Effective date of registration: 20221104 Granted publication date: 20180605 Pledgee: Zhaoqing Rural Commercial Bank Co.,Ltd. Dinghu sub branch Pledgor: GUANGDONG DECHENG SCIENTIFIC EDUCATION CO.,LTD. Registration number: Y2022980020833 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20231027 Granted publication date: 20180605 Pledgee: Zhaoqing Rural Commercial Bank Co.,Ltd. Dinghu sub branch Pledgor: GUANGDONG DECHENG SCIENTIFIC EDUCATION CO.,LTD. Registration number: Y2022980020833 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Data buffering method, device, and storage medium Effective date of registration: 20231114 Granted publication date: 20180605 Pledgee: Zhaoqing Rural Commercial Bank Co.,Ltd. Dinghu sub branch Pledgor: GUANGDONG DECHENG SCIENTIFIC EDUCATION CO.,LTD. Registration number: Y2023980065552 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |