CN110888603B - 高并发数据写入方法、装置、计算机设备及存储介质 - Google Patents

高并发数据写入方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110888603B
CN110888603B CN201911182246.4A CN201911182246A CN110888603B CN 110888603 B CN110888603 B CN 110888603B CN 201911182246 A CN201911182246 A CN 201911182246A CN 110888603 B CN110888603 B CN 110888603B
Authority
CN
China
Prior art keywords
data
byte
cache array
array
lock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911182246.4A
Other languages
English (en)
Other versions
CN110888603A (zh
Inventor
孙朝和
申志彬
李如先
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Original Assignee
Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd filed Critical Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Priority to CN201911182246.4A priority Critical patent/CN110888603B/zh
Publication of CN110888603A publication Critical patent/CN110888603A/zh
Application granted granted Critical
Publication of CN110888603B publication Critical patent/CN110888603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了高并发数据写入方法、装置、计算机设备及存储介质，其中，方法包括：接收到数据写入请求时判断字节缓存数组是否添加数据锁；若未添加数据锁，根据数据写入请求对字节缓存数组添加数据锁；根据字节数据获取规则将从客户端获取的待写入数据转换为待存储字节数据后写入字节缓存数组，若字节缓存数组已存满，将字节备份数组与所述字节缓存数组进行调转，将未写入的待存储字节数据写入字节备份数组；对字节缓存数组中所存储的字节数据进行持久化存储。通过上述方法，采用两个字节数组进行轮换写入待存储字节数据，缩短了高并发数据写入时数据锁的占用时间，避免数据写入内存时发送阻塞，从而大幅提高了高并发数据写入时的写入效率。

Description

高并发数据写入方法、装置、计算机设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种高并发数据写入方法、装置、计算机设备及存储介质。
背景技术
企业经常面临需将客户端所输入的客户端日志进行持久化存储的需求，现有的技术方案均是将客户端所输入的客户端日志存储至系统内存中，当内存中的客户端日志积累到一定量时，再将内存中所积累的数据转移至磁盘中进行持久化存储，然而将数据写入磁盘需耗费较多时间，数据写入磁盘的过程中该客户端会一直占用数据锁，直至该客户端对应的数据全部写入磁盘才会释放数据锁，则会导致来自其他客户端的数据写入内存速度大幅降低，甚至导致数据写入内存时发送阻塞，影响了数据写入性能，尤其是在高并发场景下难以满足使用需求。因而，现有技术方法中存在高并发数据写入时写入性能较低的问题。
发明内容
本发明实施例提供了一种高并发数据写入方法、装置、计算机设备及存储介质，旨在解决现有技术方法中所存在的高并发数据写入时写入性能较低的问题。
第一方面，本发明实施例提供了一种高并发数据写入方法，其包括：
若接收到来自所述客户端的数据写入请求，判断字节缓存数组是否添加数据锁；
若所述字节缓存数组已添加数据锁，间隔预置的周期时间后再次执行判断字节缓存数组是否添加数据锁的步骤；
若所述字节缓存数组未添加数据锁，根据所述数据写入请求对所述字节缓存数组添加数据锁；
从所述客户端获取与所述数据写入请求对应的待写入数据，根据预置的字节数据获取规则获取与所述待写入数据对应的待存储字节数据；
将所述待存储字节数据写入所述字节缓存数组，并实时判断所述字节缓存数组是否存满；
若所述字节缓存数组已存满，将预置的字节备份数组与所述字节缓存数组进行调转，并将未写入的所述待存储字节数据写入所述字节备份数组；
将所述字节缓存数组中所存储的字节数据输入预置的存储空间中进行持久化存储。
第二方面，本发明实施例提供了一种高并发数据写入装置，其包括：
数据锁判断单元，用于若接收到来自所述客户端的数据写入请求，判断字节缓存数组是否添加数据锁；
间隔判断单元，用于若所述字节缓存数组已添加数据锁，间隔预置的周期时间后再次执行判断字节缓存数组是否添加数据锁的步骤；
数据锁添加单元，用于若所述字节缓存数组未添加数据锁，根据所述数据写入请求对所述字节缓存数组添加数据锁；
字节数据获取单元，用于从所述客户端获取与所述数据写入请求对应的待写入数据，根据预置的字节数据获取规则获取与所述待写入数据对应的待存储字节数据；
字节数据写入单元，用于将所述待存储字节数据写入所述字节缓存数组，并实时判断所述字节缓存数组是否存满；
数组调转单元，用于若所述字节缓存数组已存满，将预置的字节备份数组与所述字节缓存数组进行调转，并将所述待写入数据所剩余的数据写入所述字节备份数组；
持久化存储单元，用于将所述字节缓存数组中所存储的字节数据输入预置的存储空间中进行持久化存储。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的高并发数据写入方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的高并发数据写入方法。
本发明实施例提供了一种高并发数据写入方法、装置、计算机设备及存储介质。接收到来自客户端的数据写入请求时判断字节缓存数组是否添加数据锁；若字节缓存数组未添加数据锁，根据数据写入请求对字节缓存数组添加数据锁；从客户端获取与数据写入请求对应的待写入数据，根据预置的字节数据获取规则获取与待写入数据对应的待存储字节数据；将待存储字节数据写入字节缓存数组，并实时判断字节缓存数组是否存满；若字节缓存数组已存满，将预置的字节备份数组与所述字节缓存数组进行调转，并将未写入的待存储字节数据写入字节备份数组；将字节缓存数组中所存储的字节数据输入预置的存储空间中进行持久化存储。通过上述方法，采用两个字节数组进行轮换写入待存储字节数据，缩短了高并发数据写入时对数据锁进行占用的时间，避免数据写入内存时发送阻塞，从而大幅提高了高并发数据写入时的写入效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的高并发数据写入方法的流程示意图；
图2为本发明实施例提供的高并发数据写入方法的应用场景示意图；
图3为本发明实施例提供的高并发数据写入方法的子流程示意图；
图4为本发明实施例提供的高并发数据写入方法的另一子流程示意图；
图5为本发明实施例提供的高并发数据写入方法的另一子流程示意图；
图6为本发明实施例提供的高并发数据写入方法的另一流程示意图；
图7为本发明实施例提供的高并发数据写入装置的示意性框图；
图8为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1及图2，图1是本发明实施例提供的高并发数据写入方法的流程示意图，图2为本发明实施例提供的高并发数据写入方法的应用场景示意图。该高并发数据写入方法应用于管理服务器10中，该方法通过安装于管理服务器10中的应用软件进行执行，客户端20通过与管理服务器10建立网络连接以进行数据信息的传输，其中，客户端20是可向管理服务器10发送数据信息的终端设备，例如台式电脑、笔记本电脑、平板电脑或手机等，管理服务器10是用于将客户端20所发送的数据信息进行写入存储的企业终端。此外，本实施例中仅示例了一台客户端20与管理服务器10建立网络连接，实际应用过程中可实现多台客户端20同时与管理服务器10建立网络连接。
如图1所示，该方法包括步骤S110～S170。
S110、若接收到来自所述客户端的数据写入请求，判断字节缓存数组是否添加数据锁。
若接收到来自所述客户端的数据写入请求，判断字节缓存数组是否添加数据锁。客户端将数据写入请求发送至管理服务器，数据写入请求即需写入数据的请求信息，数据写入请求中包括客户端地址信息、请求时间等待写入数据的基本信息，管理服务器接收数据写入请求后，则判断字节缓存数组是否添加数据锁，字节缓存数组即为管理服务器中用于缓存字节数据的数组，数据锁可用于对字节缓存数组进行锁定，为避免多组字节数据同时输入字节缓存数组而导致字节数据写入混乱，需对字节缓存数组进行加锁以确保字节缓存数组在同一时间仅能写入一组字节数据。具体的，可根据客户端地址信息对字节缓存数组进行加锁，若字节缓存数组已添加数据锁，则该字节缓存数组仅能被该数据锁中客户端地址信息对应的客户端进行使用，而无法被其他客户端进行使用，一个客户端将全部待写入数据写入字节缓存数组后，即释放该数据锁，也即是从字节缓存数组中删除该数据锁，以使该字节缓存数组可被其他客户端使用。其中，字节缓存数组可创建于适用于高并发处理的数据库中，例如redis数据库，redis数据库可设置于管理服务器的内存中，所使用的数据锁可以是redis锁。
S120、若所述字节缓存数组已添加数据锁，间隔预置的周期时间后再次执行判断字节缓存数组是否添加数据锁的步骤。
若所述字节缓存数组已添加数据锁，间隔预置的周期时间后再次执行判断字节缓存数组是否添加数据锁的步骤。若字节缓存数组已添加数据锁，则表明该字节缓存数组正在被其他客户端所使用，在与当前时间间隔周期时间后，再次判断该字节缓存数组是否添加数据锁，也即是根据周期时间对字节缓存数组进行循环判断，直至某一次判断得到该字节缓存数组未添加数据锁，则执行步骤S120。其中，由于数据写入字节缓存数组的耗时较小，因此可设置一个较小的周期时间，例如，可将周期时间设置为20-500ms。
S130、若所述字节缓存数组未添加数据锁，根据所述数据写入请求对所述字节缓存数组添加数据锁。
若所述字节缓存数组未添加数据锁，根据所述数据写入请求对所述字节缓存数组添加数据锁。若字节缓存数组未添加数据锁，则表明该字节缓存数组未被任一客户端使用，此时可根据所接收到的数据写入请求对字节缓存数组添加数据锁。
在一实施例中，如图3所示，步骤S130包括子步骤S131和S132。
S131、将所述数据写入请求中与所述客户端对应的客户端地址信息配置为所述数据锁的加锁关键字。
将所述数据写入请求中与所述客户端对应的客户端地址信息配置为所述数据锁的加锁关键字。加锁关键字也即是redis锁的key，通过所配置的加锁关键字即可获取使用字节缓存数组的客户端信息，将与数据写入请求对应的客户端地址信息配置为redis锁的加锁关键字后，则表明该redis锁被与该加锁关键字对应的客户端进行标记。
S132、将已配置加锁关键字的所述数据锁添加至所述字节缓存数组。
将已配置加锁关键字的所述数据锁添加至所述字节缓存数组。将已配置加锁关键字的数据锁添加至字节缓存数组，则表明仅与该加锁关键字对应的客户端才能使用该字节缓存数组。
S140、从所述客户端获取与所述数据写入请求对应的待写入数据，根据预置的字节数据获取规则获取与所述待写入数据对应的待存储字节数据。
从所述客户端获取与所述数据写入请求对应的待写入数据，根据预置的字节数据获取规则获取与所述待写入数据对应的待存储字节数据。字节缓存数组中添加数据锁后，即可根据数据写入请求发送传输请求至与该数据写入请求对应的客户端，客户端根据传输请求传输待写入数据至管理服务器，则管理服务器可根据数据写入请求从客户的获取对应的待写入数据，其中，待写入数据可以是客户端发送至管理服务器的仅包含字符类型的数据，例如客户端日志。字节数据获取规则即是用于将待写入数据转换为对应字节数据的规则信息，字节缓存数组中仅能存储字节数据，因此需将待写入数据中所包含的字符转换为字节数据才能存储至字节缓存数组，其中，字节数据获取规则包括数据转换规则及数据拼接规则。
在一实施例中，如图4所示，步骤S140包括子步骤S141、S142和S143。
S141、根据所述数据转换规则将所述客户端地址信息转换为第一字节数据。
根据所述数据转换规则将所述客户端地址信息转换为第一字节数据。数据转换规则可将任意字符转换为二进制的数据，将客户端地址信息所包含的所有字符均转换为二进制数据，即可得到第一字节数据，将数据转换为以二进制进行表示的字节数据可方便存储。具体的，任意字符均可转换得到至少一个字节，一个字节为包含8位二进制数的二进制数据。
数据转换规则可将字符以UTF-8编码或Unicode编码进行转换，若以UTF-8编码对字符进行转换，一个英文字符等于一个字节，一个中文(含繁体)等于三个字节，中文标点占三个字节，英文标点占一个字节；若以Unicode编码对字符进行转换，一个英文等于两个字节，一个中文(含繁体)等于两个字节，中文标点占两个字节，英文标点占两个字节。
S142、根据所述数据转换规则将所述待写入数据转换为第二字节数据。
根据所述数据转换规则将所述待写入数据转换为第二字节数据。根据数据转换规则以同样的方式对待写入数据进行转换，即可得到对应的第二字节数据。
S143、根据所述数据拼接规则对所述第一字节数据及所述第二字节数据进行拼接以得到待存储字节数据。
根据所述数据拼接规则对所述第一字节数据及所述第二字节数据进行拼接以得到待存储字节数据。根据数据拼接规则即可对第一字节数据及第二字节数据进行拼接，得到待存储字节数据，第一字节数据中包含待存储字节数据的特征信息，因此，第一字节数据可用于对不同的待存储字节数据进行区分。
S150、将所述待存储字节数据写入所述字节缓存数组，并实时判断所述字节缓存数组是否存满。
将所述待存储字节数据写入所述字节缓存数组，并实时判断所述字节缓存数组是否存满。字节缓存数组的容量有限，且字节缓存数组的作用为对字节数据进行临时缓存，因此在将待存储字节数据写入字节缓存数组的过程中，若字节缓存数组存满，则需对字节缓存数组中所写入的数据进行持久化存储。
S160、若所述字节缓存数组已存满，将预置的字节备份数组与所述字节缓存数组进行调转，并将未写入的所述待存储字节数据写入所述字节备份数组。
若所述字节缓存数组已存满，将预置的字节备份数组与所述字节缓存数组进行调转，并将未写入的所述待存储字节数据写入所述字节备份数组。若字节缓存数组已存满，则需将字节备份数组与字节缓存数组进行调转，将待存储字节数据中未写入的剩余部分写入字节备份数组。其中，字节备份数组即为管理服务器中用于对字节数据进行备份存储的数组，对字节备份数组与字节缓存数组进行调转后，则两个数组的功能也相互调转。
在一实施例中，如图5所示，步骤S160包括子步骤S161、S162和S163。
S161、将所述字节缓存数组所添加的数据锁添加至所述字节备份数组。
将所述字节缓存数组所添加的数据锁添加至所述字节备份数组。具体的，复制一个与字节缓存数组中数据锁对应的数据锁，并将所复制的数据锁添加至字节备份数组中，此时字节备份数组可供客户的进行使用。
S162、将所述字节备份数组与所述字节缓存数组的数组指针进行调转。
将所述字节备份数组与所述字节缓存数组的数组指针进行调转。具体的，可通过一个中间变量实现对两个数组指针的调转。
例如，字节缓存数组为byte1[]current，字节备份数组为byte2[]ready，中间变量为byteX[]temp，通过temp＝current，current＝ready，ready＝temp即可实现指针current与指针ready的调转，此时指针ready指向byte1[]，若byte1[]中存储有字节数据，则需将所存储的字节数据进行持久化存储。
S163、从所述字节缓存数组中删除所述数据锁。
从所述字节缓存数组中删除所述数据锁。将字节缓存数组中的数据锁删除，也即是释放该数据锁。
在一实施例中，如图6所示，步骤S150之后还包括步骤S150a。
S150a、若所述待写入数据已全部写入所述字节缓存数组且所述字节缓存数组未存满，从所述字节缓存数组中删除所述数据锁。
若所述待写入数据已全部写入所述字节缓存数组且所述字节缓存数组未存满，从所述字节缓存数组中删除所述数据锁。从字节缓存数组中删除数据锁后，该字节缓存数组可继续被其他客户端使用。
S170、将所述字节缓存数组中所存储的字节数据输入预置的存储空间中进行持久化存储。
将所述字节缓存数组中所存储的字节数据输入预置的存储空间中进行持久化存储。存储空间为管理服务器中用于对字节数据进行持久化存储的区域，存储空间可为管理服务器的磁盘或硬盘中分配的存储区域。由于将字节数据输入存储空间中进行持久化存储的耗时较长，采用两个字节数组进行轮换，可通过一个字节数组获取待存储字节数据，另外一个字节数组将所存储的字节数据进行持久化存储。缩短了高并发数据写入时对数据锁进行占用的时间，避免数据写入内存时发送阻塞，从而大幅提高了高并发数据写入时的写入效率。
本发明实施例所提供的高并发数据写入方法，接收到来自客户端的数据写入请求时判断字节缓存数组是否添加数据锁；若字节缓存数组未添加数据锁，根据数据写入请求对字节缓存数组添加数据锁；从客户端获取与数据写入请求对应的待写入数据，根据预置的字节数据获取规则获取与待写入数据对应的待存储字节数据；将待存储字节数据写入字节缓存数组，并实时判断字节缓存数组是否存满；若字节缓存数组已存满，将预置的字节备份数组与所述字节缓存数组进行调转，并将未写入的待存储字节数据写入字节备份数组；将字节缓存数组中所存储的字节数据输入预置的存储空间中进行持久化存储。通过上述方法，采用两个字节数组进行轮换写入待存储字节数据，缩短了高并发数据写入时对数据锁进行占用的时间，避免数据写入内存时发送阻塞，从而大幅提高了高并发数据写入时的写入效率。
本发明实施例还提供一种高并发数据写入装置，该高并发数据写入装置用于执行前述高并发数据写入方法的任一实施例。具体地，请参阅图7，图7是本发明实施例提供的高并发数据写入装置的示意性框图。该高并发数据写入装置可以配置于管理服务器10中。
如图7所示，高并发数据写入装置100包括数据锁判断单元110、间隔判断单元120、数据锁添加单元130、字节数据获取单元140、字节数据写入单元150、数组调转单元160和持久化存储单元170。
数据锁判断单元110，用于若接收到来自所述客户端的数据写入请求，判断字节缓存数组是否添加数据锁。
间隔判断单元120，用于若所述字节缓存数组已添加数据锁，间隔预置的周期时间后再次执行判断字节缓存数组是否添加数据锁的步骤。
数据锁添加单元130，用于若所述字节缓存数组未添加数据锁，根据所述数据写入请求对所述字节缓存数组添加数据锁。
在其他发明实施例中，所述数据锁添加单元130包括子单元：加锁关键字配置单元和字节缓存数组加锁单元。
加锁关键字配置单元，用于将所述数据写入请求中与所述客户端对应的客户端地址信息配置为所述数据锁的加锁关键字；字节缓存数组加锁单元，用于将已配置加锁关键字的所述数据锁添加至所述字节缓存数组。
字节数据获取单元140，用于从所述客户端获取与所述数据写入请求对应的待写入数据，根据预置的字节数据获取规则获取与所述待写入数据对应的待存储字节数据。
在其他发明实施例中，所述字节数据获取单元140包括子单元：第一字节数据获取单元、第二字节数据获取单元和字节数据拼接单元。
第一字节数据获取单元，用于根据所述数据转换规则将所述客户端地址信息转换为第一字节数据；第二字节数据获取单元，用于根据所述数据转换规则将所述待写入数据转换为第二字节数据；字节数据拼接单元，用于根据所述数据拼接规则对所述第一字节数据及所述第二字节数据进行拼接以得到待存储字节数据。
字节数据写入单元150，用于将所述待存储字节数据写入所述字节缓存数组，并实时判断所述字节缓存数组是否存满。
数组调转单元160，用于若所述字节缓存数组已存满，将预置的字节备份数组与所述字节缓存数组进行调转，并将未写入的所述待存储字节数据写入所述字节备份数组。
在其他发明实施例中，所述数组调转单元160包括子单元：字节备份数组加锁单元、数组指针调转单元和数据锁删除单元。
字节备份数组加锁单元，用于将所述字节缓存数组所添加的数据锁添加至所述字节备份数组；数组指针调转单元，用于将所述字节备份数组与所述字节缓存数组的数组指针进行调转；数据锁删除单元，用于从所述字节缓存数组中删除所述数据锁。
在其他发明实施例中，所述高并发数据写入装置100还包括子单元：字节缓存数组解锁单元。
字节缓存数组解锁单元，用于若所述待写入数据已全部写入所述字节缓存数组且所述字节缓存数组未存满，从所述字节缓存数组中删除所述数据锁。
持久化存储单元170，用于将所述字节缓存数组中所存储的字节数据输入预置的存储空间中进行持久化存储。
本发明实施例所提供的高并发数据写入装置用于执行上述高并发数据写入方法，接收到来自客户端的数据写入请求时判断字节缓存数组是否添加数据锁；若字节缓存数组未添加数据锁，根据数据写入请求对字节缓存数组添加数据锁；从客户端获取与数据写入请求对应的待写入数据，根据预置的字节数据获取规则获取与待写入数据对应的待存储字节数据；将待存储字节数据写入字节缓存数组，并实时判断字节缓存数组是否存满；若字节缓存数组已存满，将预置的字节备份数组与所述字节缓存数组进行调转，并将未写入的待存储字节数据写入字节备份数组；将字节缓存数组中所存储的字节数据输入预置的存储空间中进行持久化存储。通过上述方法，采用两个字节数组进行轮换写入待存储字节数据，缩短了高并发数据写入时对数据锁进行占用的时间，避免数据写入内存时发送阻塞，从而大幅提高了高并发数据写入时的写入效率。
上述高并发数据写入装置可以实现为计算机程序的形式，该计算机程序可以在如图8所示的计算机设备上运行。
请参阅图8，图8是本发明实施例提供的计算机设备的示意性框图。
参阅图8，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行高并发数据写入方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行高并发数据写入方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图8中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下功能：若接收到来自所述客户端的数据写入请求，判断字节缓存数组是否添加数据锁；若所述字节缓存数组已添加数据锁，间隔预置的周期时间后再次执行判断字节缓存数组是否添加数据锁的步骤；若所述字节缓存数组未添加数据锁，根据所述数据写入请求对所述字节缓存数组添加数据锁；从所述客户端获取与所述数据写入请求对应的待写入数据，根据预置的字节数据获取规则获取与所述待写入数据对应的待存储字节数据；将所述待存储字节数据写入所述字节缓存数组，并实时判断所述字节缓存数组是否存满；若所述字节缓存数组已存满，将预置的字节备份数组与所述字节缓存数组进行调转，并将未写入的所述待存储字节数据写入所述字节备份数组；将所述字节缓存数组中所存储的字节数据输入预置的存储空间中进行持久化存储。
在一实施例中，处理器502在执行若所述字节缓存数组未添加数据锁，根据所述数据写入请求对所述字节缓存数组添加数据锁的步骤时，执行如下操作：将所述数据写入请求中与所述客户端对应的客户端地址信息配置为所述数据锁的加锁关键字；将已配置加锁关键字的所述数据锁添加至所述字节缓存数组。
在一实施例中，处理器502在执行从所述客户端获取与所述数据写入请求对应的待写入数据，根据预置的字节数据获取规则获取与所述待写入数据对应的待存储字节数据的步骤时，执行如下操作：根据所述数据转换规则将所述客户端地址信息转换为第一字节数据；根据所述数据转换规则将所述待写入数据转换为第二字节数据；根据所述数据拼接规则对所述第一字节数据及所述第二字节数据进行拼接以得到待存储字节数据。
在一实施例中，处理器502在执行若所述字节缓存数组已存满，将预置的字节备份数组与所述字节缓存数组进行调转，并将未写入的所述待存储字节数据写入所述字节备份数组的步骤时，执行如下操作：将所述字节缓存数组所添加的数据锁添加至所述字节备份数组；将所述字节备份数组与所述字节缓存数组的数组指针进行调转；从所述字节缓存数组中删除所述数据锁。
在一实施例中，在一实施例中，处理器502在执行将所述待存储字节数据写入所述字节缓存数组，并实时判断所述字节缓存数组是否存满的步骤之后，还执行如下操作：若所述待写入数据已全部写入所述字节缓存数组且所述字节缓存数组未存满，从所述字节缓存数组中删除所述数据锁。
本领域技术人员可以理解，图8中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图8所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现以下步骤：若接收到来自所述客户端的数据写入请求，判断字节缓存数组是否添加数据锁；若所述字节缓存数组已添加数据锁，间隔预置的周期时间后再次执行判断字节缓存数组是否添加数据锁的步骤；若所述字节缓存数组未添加数据锁，根据所述数据写入请求对所述字节缓存数组添加数据锁；从所述客户端获取与所述数据写入请求对应的待写入数据，根据预置的字节数据获取规则获取与所述待写入数据对应的待存储字节数据；将所述待存储字节数据写入所述字节缓存数组，并实时判断所述字节缓存数组是否存满；若所述字节缓存数组已存满，将预置的字节备份数组与所述字节缓存数组进行调转，并将未写入的所述待存储字节数据写入所述字节备份数组；将所述字节缓存数组中所存储的字节数据输入预置的存储空间中进行持久化存储。
在一实施例中，所述若所述字节缓存数组未添加数据锁，根据所述数据写入请求对所述字节缓存数组添加数据锁的步骤，包括：将所述数据写入请求中与所述客户端对应的客户端地址信息配置为所述数据锁的加锁关键字；将已配置加锁关键字的所述数据锁添加至所述字节缓存数组。
在一实施例中，所述从所述客户端获取与所述数据写入请求对应的待写入数据，根据预置的字节数据获取规则获取与所述待写入数据对应的待存储字节数据的步骤，包括：根据所述数据转换规则将所述客户端地址信息转换为第一字节数据；根据所述数据转换规则将所述待写入数据转换为第二字节数据；根据所述数据拼接规则对所述第一字节数据及所述第二字节数据进行拼接以得到待存储字节数据。
在一实施例中，所述若所述字节缓存数组已存满，将预置的字节备份数组与所述字节缓存数组进行调转，并将未写入的所述待存储字节数据写入所述字节备份数组的步骤，包括：将所述字节缓存数组所添加的数据锁添加至所述字节备份数组；将所述字节备份数组与所述字节缓存数组的数组指针进行调转；从所述字节缓存数组中删除所述数据锁。
在一实施例中，所述将所述待存储字节数据写入所述字节缓存数组，并实时判断所述字节缓存数组是否存满的步骤之后，还包括：若所述待写入数据已全部写入所述字节缓存数组且所述字节缓存数组未存满，从所述字节缓存数组中删除所述数据锁。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而所述计算机可读存储介质为实体的、非瞬时性的存储介质，所述计算机可读存储介质为非易失性存储介质，所述计算机可读存储介质可以是前述设备的内部存储单元，例如设备的硬盘或内存等实体存储介质。所述存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等实体存储介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种高并发数据写入方法，应用于管理服务器，所述管理服务器至少与一台客户端进行通信，其特征在于，所述方法包括：
若接收到来自所述客户端的数据写入请求，判断字节缓存数组是否添加数据锁；
若所述字节缓存数组已添加数据锁，间隔预置的周期时间后再次执行判断字节缓存数组是否添加数据锁的步骤；
若所述字节缓存数组未添加数据锁，根据所述数据写入请求对所述字节缓存数组添加数据锁；
从所述客户端获取与所述数据写入请求对应的待写入数据，根据预置的字节数据获取规则获取与所述待写入数据对应的待存储字节数据；
将所述待存储字节数据写入所述字节缓存数组，并实时判断所述字节缓存数组是否存满；
若所述字节缓存数组已存满，将预置的字节备份数组与所述字节缓存数组进行调转，并将未写入的所述待存储字节数据写入所述字节备份数组；
将所述字节缓存数组中所存储的字节数据输入预置的存储空间中进行持久化存储；
所述将预置的字节备份数组与所述字节缓存数组进行调转，包括：
将所述字节缓存数组所添加的数据锁添加至所述字节备份数组；
将所述字节备份数组与所述字节缓存数组的数组指针进行调转；
从所述字节缓存数组中删除所述数据锁，以使所述字节缓存数组可被其它客户端使用。
2. 根据权利要求 1 所述的高并发数据写入方法，其特征在于，所述根据所述数据写入请求对所述字节缓存数组添加数据锁，包括：
将所述数据写入请求中与所述客户端对应的客户端地址信息配置为所述数据锁的加锁关键字；
将已配置加锁关键字的所述数据锁添加至所述字节缓存数组。
3.根据权利要求 2 所述的高并发数据写入方法，其特征在于，所述字节数据获取规则包括数据转换规则及数据拼接规则，所述从所述客户端获取与所述数据写入请求对应的待写入数据，根据预置的字节数据获取规则获取与所述待写入数据对应的待存储字节数据，包括：
根据所述数据转换规则将所述客户端地址信息转换为第一字节数据；
根据所述数据转换规则将所述待写入数据转换为第二字节数据；
根据所述数据拼接规则对所述第一字节数据及所述第二字节数据进行拼接以得到待存储字节数据。
4. 根据权利要求 1 所述的高并发数据写入方法，其特征在于，所述根据预置的字节数据获取规则将所述待写入数据写入所述字节缓存数组，并实时判断所述字节缓存数组是否存满之后，还包括：
若所述待写入数据已全部写入所述字节缓存数组且所述字节缓存数组未存满，从所述字节缓存数组中删除所述数据锁。
5.一种高并发数据写入装置，其特征在于，包括：
数据锁判断单元，用于若接收到来自客户端的数据写入请求，判断字节缓存数组是否添加数据锁；
间隔判断单元，用于若所述字节缓存数组已添加数据锁，间隔预置的周期时间后再次执行判断字节缓存数组是否添加数据锁的步骤；
数据锁添加单元，用于若所述字节缓存数组未添加数据锁，根据所述数据写入请求对所述字节缓存数组添加数据锁；
字节数据获取单元，用于从所述客户端获取与所述数据写入请求对应的待写入数据，根据预置的字节数据获取规则获取与所述待写入数据对应的待存储字节数据；
字节数据写入单元，用于将所述待存储字节数据写入所述字节缓存数组，并实时判断所述字节缓存数组是否存满；
数组调转单元，用于若所述字节缓存数组已存满，将预置的字节备份数组与所述字节缓存数组进行调转，并将所述待写入数据所剩余的数据写入所述字节备份数组；
持久化存储单元，用于将所述字节缓存数组中所存储的字节数据输入预置的存储空间中进行持久化存储；
所述数组调转单元包括子单元：字节备份数组加锁单元，用于将所述字节缓存数组所添加的数据锁添加至所述字节备份数组；数组指针调转单元，用于将所述字节备份数组与所述字节缓存数组的数组指针进行调转；数据锁删除单元，用于从所述字节缓存数组中删除所述数据锁，以使所述字节缓存数组可被其它客户端使用。
6.根据权利要求 5 所述的高并发数据写入装置，其特征在于，所述数据锁添加单元，包括：
加锁关键字配置单元，用于将所述待写入数据中与所述客户端对应的客户端地址信息配置为所述数据锁的加锁关键字；
字节缓存数组加锁单元，用于将已配置加锁关键字的所述数据锁添加至所述字节缓存数组。
7.根据权利要求 6 所述的高并发数据写入装置，其特征在于，所述字节数据获取规则包括数据转换规则及数据拼接规则，所述字节数据获取单元，包括：
第一字节数据获取单元，用于根据所述数据转换规则将所述客户端地址信息转换为第一字节数据；
第二字节数据获取单元，用于根据所述数据转换规则将所述待写入数据转换为第二字节数据；
字节数据拼接单元，用于根据所述数据拼接规则对所述第一字节数据及所述第二字节数据进行拼接以得到待存储字节数据。
8.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求 1 至4 中任一项所述的高并发数据写入方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求 1至 4 任一项所述的高并发数据写入方法。
CN201911182246.4A 2019-11-27 2019-11-27 高并发数据写入方法、装置、计算机设备及存储介质 Active CN110888603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911182246.4A CN110888603B (zh) 2019-11-27 2019-11-27 高并发数据写入方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911182246.4A CN110888603B (zh) 2019-11-27 2019-11-27 高并发数据写入方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110888603A CN110888603A (zh) 2020-03-17
CN110888603B true CN110888603B (zh) 2024-01-16

Family

ID=69749016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911182246.4A Active CN110888603B (zh) 2019-11-27 2019-11-27 高并发数据写入方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110888603B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563052B (zh) * 2020-04-30 2023-08-08 深圳忆联信息系统有限公司 降低读延时的缓存方法、装置、计算机设备及存储介质
CN112035882B (zh) * 2020-07-17 2021-08-03 成都飞机工业（集团）有限责任公司 一种保证上位机与下位机通讯中数据完整性的方法
CN112968970B (zh) * 2021-02-26 2023-04-07 杭州迪普信息技术有限公司 配置信息备份方法、装置及网络设备
CN113010533B (zh) * 2021-03-01 2022-07-26 上海钧正网络科技有限公司 基于加锁限制的数据库访问方法、系统、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186475A (zh) * 2011-12-29 2013-07-03 深圳市快播科技有限公司 海量数据的接收存储方法及系统
CN106453500A (zh) * 2016-09-07 2017-02-22 努比亚技术有限公司 缓存生成及控制方法、缓存服务器及接口服务器
CN109582496A (zh) * 2018-10-25 2019-04-05 平安科技（深圳）有限公司 一致性快照组的创建方法、装置及计算机可读存储介质
CN110134327A (zh) * 2015-12-31 2019-08-16 华为技术有限公司 写数据方法和装置以及系统
CN110389837A (zh) * 2019-07-23 2019-10-29 中国工商银行股份有限公司 数据访问方法、装置、设备、存储介质及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625698B2 (en) * 2000-12-28 2003-09-23 Unisys Corporation Method and apparatus for controlling memory storage locks based on cache line ownership
US20120066191A1 (en) * 2010-09-10 2012-03-15 International Business Machines Corporation Optimized concurrent file input/output in a clustered file system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186475A (zh) * 2011-12-29 2013-07-03 深圳市快播科技有限公司 海量数据的接收存储方法及系统
CN110134327A (zh) * 2015-12-31 2019-08-16 华为技术有限公司 写数据方法和装置以及系统
CN106453500A (zh) * 2016-09-07 2017-02-22 努比亚技术有限公司 缓存生成及控制方法、缓存服务器及接口服务器
CN109582496A (zh) * 2018-10-25 2019-04-05 平安科技（深圳）有限公司 一致性快照组的创建方法、装置及计算机可读存储介质
CN110389837A (zh) * 2019-07-23 2019-10-29 中国工商银行股份有限公司 数据访问方法、装置、设备、存储介质及系统

Also Published As

Publication number Publication date
CN110888603A (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
CN110888603B (zh) 高并发数据写入方法、装置、计算机设备及存储介质
KR102235047B1 (ko) 데이터 아이템들을 캐시하기 위한 방법들, 장치들, 및 시스템들
CN111857550A (zh) 用于数据去重的方法、设备以及计算机可读介质
CN110737681B (zh) 处理请求的加锁处理方法、装置、计算机设备及存储介质
CN113364877B (zh) 数据处理方法、装置、电子设备和介质
CN111865831A (zh) 数据处理的方法、网络设备、计算节点和系统
US10747675B2 (en) Method and device for managing caches
US9910808B2 (en) Reflective memory bridge for external computing nodes
CN111930305A (zh) 数据的存储方法和装置、存储介质、电子装置
CN113485635A (zh) 数据存储方法、装置、设备及存储介质
CN115470156A (zh) 基于rdma的内存使用方法、系统、电子设备和存储介质
US9619336B2 (en) Managing production data
US20110208761A1 (en) Coordinating content from multiple data sources
CN109815227B (zh) 数据锁管理方法、装置、计算机设备及存储介质
CN115203148A (zh) 修改文件的方法和装置
CN110121874B (zh) 一种存储器数据替换方法、服务器节点和数据存储系统
US20110200059A1 (en) BIT Inversion For Communication Interface
CN112241398A (zh) 一种数据迁移方法和系统
CN115827778A (zh) 一种数据获取方法、装置、电子设备及存储介质
US20160043977A1 (en) Data deduplication at the network interfaces
CN108959405B (zh) 数据的强一致性读取方法及终端设备
CN114896215A (zh) 元数据的存储方法及装置
CN113986833A (zh) 文件合并方法、系统、计算机系统及存储介质
CN113220464A (zh) 分布式应用方法、装置、计算机设备、存储介质
US20160378381A1 (en) Mailbox communication mechanism with ownership locking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant