CN111444179A - 数据处理方法、装置、存储介质及服务器 - Google Patents

数据处理方法、装置、存储介质及服务器 Download PDF

Info

Publication number
CN111444179A
CN111444179A CN202010167202.0A CN202010167202A CN111444179A CN 111444179 A CN111444179 A CN 111444179A CN 202010167202 A CN202010167202 A CN 202010167202A CN 111444179 A CN111444179 A CN 111444179A
Authority
CN
China
Prior art keywords
data
policy
linked list
strategy
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010167202.0A
Other languages
English (en)
Other versions
CN111444179B (zh
Inventor
陈慕仪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN202010167202.0A priority Critical patent/CN111444179B/zh
Publication of CN111444179A publication Critical patent/CN111444179A/zh
Application granted granted Critical
Publication of CN111444179B publication Critical patent/CN111444179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据处理方法、装置、存储介质及服务器，所述数据处理方法包括：获取待处理数据，确定所述待处理数据待执行策略的策略类型；查询所述策略类型对应的策略链表，将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略；其中，每个所述策略链表预先构建有策略类型及所述策略类型对应的链表走向，本发明实现了对于业务数据，只需查询相应的策略类型对业务数据进行相应策略的处理，无需更改业务数据的辅助数据，提高了数据处理的效率。

Description

数据处理方法、装置、存储介质及服务器
技术领域
本发明涉及数据处理技术领域，具体而言，本发明涉及一种数据处理方法、装置、存储介质及服务器。
背景技术
服务器可根据数据类型采取不同方式对数据进行存储，例如内存、共享内存、普通文件、数据库等等，然而由于存储资源有限，并且快速存储的资源非常昂贵，而内存不能做持久化存储，且对于业务存储数据，不同的数据之间具备关联性，而不同的业务关联排序方案不一致，导致每次新业务接入，均需对业务数据的辅助数据进行重新设计，使数据处理效率较低。
发明内容
本发明的目的旨在提供一种数据处理方法，以解决当前业务存储数据处理时，由于不同的业务关联排序方案不一致，导致每次新业务接入，均需对业务数据的辅助数据进行重新设计，使数据处理效率较低的问题。
本发明提供的一种数据处理方法，包括：
获取待处理数据，确定所述待处理数据待执行策略的策略类型；
查询所述策略类型对应的策略链表，将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略；其中，每个所述策略链表预先构建有策略类型及所述策略类型对应的链表走向。
在一实施例中，获取待处理数据之前，还包括：
在缓存区域中设置数据检索区域，用于查询所述待处理数据待执行策略的策略类型，其中，数据检索区域存储有所述策略链表的指针及操作型数据。
在一实施例中，在缓存区域中设置数据检索区域之后，还包括：
在所述策略链表的开始处设置辅助数据区域，用于存储策略链表的链表走向及操作辅助型数据。
在一实施例中，在所述策略链表的开始处设置辅助数据区域之后，还包括：
将多个数据项组织成相连的策略链表；其中，所述策略链表根据所述策略类型将待处理数据进行关联及存储；
通过异步的方式对待处理数据进行迭代，使策略链表按照不同的策略类型对待处理数据进行处理。
在一实施例中，所述策略类型包括数据淘汰策略，所述将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略的步骤，包括：
在策略链表的头部区域设置用于记录待处理数据的操作时间的存储区域；
根据操作时间的先后对待处理数据进行淘汰。
在一实施例中，所述策略类型包括读取策略、写策略、脏数据策略、回写策略、热备策略、数据同步策略、数据分类处理策略。
在一实施例中，根据不同业务设置策略链表。
在一实施例中，所述策略类型包括数据更新策略，所述将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略的步骤，包括：
拷贝数据包本身到数据块中，更新数据块第一块数据块容量使用情况以及后续数据块容量使用情况。
在一实施例中，所述数据处理方法还包括：
遍历策略函数，更改策略链表数据。
本发明提供的一种数据处理装置，包括：
获取模块，用于获取待处理数据，确定所述待处理数据待执行策略的策略类型；
查询模块，用于查询所述策略类型对应的策略链表，将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略；其中，每个所述策略链表预先构建有策略类型及所述策略类型对应的链表走向。
本发明提供的一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一项所述的数据处理方法。
本发明提供的一种服务器，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上任意一项所述的数据处理方法。
相对于现有技术，本发明具有以下优势：
本发明提供的数据处理方法，通过获取待处理数据，确定所述待处理数据待执行策略的策略类型；查询所述策略类型对应的策略链表，将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略；其中，每个所述策略链表预先构建有策略类型及所述策略类型对应的链表走向，从而对于业务数据，只需查询相应的策略类型对业务数据进行相应策略的处理，无需更改业务数据的辅助数据，提高了数据处理的效率。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明一个实施例中提供的数据处理方法的实施环境图；
图2为本发明数据处理方法一种实施例的流程框图；
图3为本发明数据检索区域的结构示意图；
图4为本发明数据辅助区域的结构示意图；
图5为本发明数据处理方法又一种实施例的流程框图；
图6为本发明数据处理装置一种实施例的模块框图；
图7为本发明一个实施例的服务器的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
图1为一个实施例中提供的数据处理方法的实施环境图，如图1所示，在该实施环境中，包括服务器110、终端120。其中，所述终端120上安装有客户端，所述终端120通过网络与服务器110连接，实现终端120与服务器110之间的交互。其中，上述网络可以包括因特网、2G/3G/4G、wifi等。
需要说明的是，服务器110可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。
所述终端120可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。
如图2所示，本发明提供了一种数据处理方法，以解决当前业务存储数据处理时，由于不同的业务关联排序方案不一致，导致每次新业务接入，均需对业务数据的辅助数据进行重新设计，使数据处理效率较低的问题。
所述数据处理方法包括：
S11、获取待处理数据，确定所述待处理数据待执行策略的策略类型；
S12、查询所述策略类型对应的策略链表，将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略；其中，每个所述策略链表预先构建有策略类型及所述策略类型对应的链表走向。
在本实施例中，所述策略类型可包括淘汰数据、回收存储、节省存储、转移数据、数据分级、数据分类等类型，可预先通过在缓存区域中设定一个数据检索区域，在这块检索区域中存储若干个双向链表的头尾指针以及其操作型数据，然后在每一块数据中的头部设立一块辅助数据区域，用于存储策略链表走向以及操作辅助型数据，从而完成策略链表的构建，当需要对业务数据进行处理时，可查询该业务数据的策略类型对应的策略链表，将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略；从而将多个数据项组织成相连的策略链表，这些链表按照多个通用策略将数据进行关联以及存储。此外，还可通过异步的方式对数据进行迭代，使得业务层可以按照不同的策略维度对存储数据进行运算、存储、分级转移或者回收，从而达到无需开发，快速准确简单通用地处理和计算存储数据的目的。
本发明提供的数据处理方法，通过获取待处理数据，确定所述待处理数据待执行策略的策略类型；查询所述策略类型对应的策略链表，将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略；其中，每个所述策略链表预先构建有策略类型及所述策略类型对应的链表走向，从而对于业务数据，只需查询相应的策略类型对业务数据进行相应策略的处理，无需更改业务数据的辅助数据，提高了数据处理的效率。
例如，更新或写入数据时，先更新辅助型数据，然后更新策略相关辅助数据，进一步地，需要先设置策略数据类型，例如将数据设置为脏数据，然后自增策略数据数量，例如将脏数据的数量加1，其中，所述脏数据在数据库技术中,为临时更新产生的数据。例如，事务A更新了某个数据项X，但是由于某种原因，事务A出现了问题，于是要把A回滚。但是在回滚之前，另一个事务B读取了数据项X的值(A更新后)，A回滚了事务，数据项恢复了原值。事务B读取的就是数据项X的就是一个"临时"的值，就是脏数据。通俗的讲，当一个事务正在访问数据，并且对数据进行了修改，而这种修改还没有提交到数据库中，这时，另外一个事务也访问这个数据，然后使用了这个数据。因为这个数据是还没有提交的数据，那么另外一个事务读到的这个数据是脏数据，依据脏数据所做的操作可能是不正确的。
自增策略数据数量之后，更新策略数据更新的时间，例如这个脏数据是什么时候写进入的，根据脏数据的写入时间更新数据包本身的辅助数据，如果更新选项里有expirtime，则设置数据过期时间。
又例如，在更改链表数据时，则设置链表数据的策略类型是否匹配策略，若是，将数据断开链接策略链表，按照相对应的策略，将数据块链接到策略链头部、尾部或者中间，例如，一般将同步数据入库到数据库策略，将数据块链接到链表尾部。例如，更新型Get链策略，将数据块链接到链表头部。例如，更新分类型链表，例如数据根据哈希值进行分类，或者根据mainkey进行分类，则更新分类型链表。
在一实施例中，所述获取待处理数据之前，还可包括：
在缓存区域中设置数据检索区域，用于查询所述待处理数据待执行策略的策略类型，其中，数据检索区域存储有所述策略链表的指针及操作型数据。
如图3所示，对数据区域进行分配时，本实施例在缓存区域中设置数据检索区域，用于查询所述待处理数据待执行策略的策略类型，以在获取业务数据时，可快速查询该业务数据对应的策略类型，以根据相应的策略类型执行操作，例如，对该数据进行删除、更新或迁移等等。具体的，可于存储的头部区域，分出一块用于记录链表的存储区域，大小可以为N*sizeof(int32)，即4N个字节。其中N为业务要用到的策略类型数。同时可根据需要，分出12N个字节，为每个链表记录操作时间等记录数据。此外，还可记录链表容量、操作型元数据、链表命中次数、当前已用的内存大小、已存储的数据个数、已用的内存块个数等数据。其中，所述链表命中次数为待处理数据执行的策略类型，例如，当待处理数据执行某一策略类型时，则表示命中该策略类型对应的策略链表，则该策略类型对应的策略链表的链表命中次数进行自增一次。
在一实施例中，在所述策略链表的开始处设置辅助数据区域之后，还包括：
将多个数据项组织成相连的策略链表；其中，所述策略链表根据所述策略类型将待处理数据进行关联及存储；
通过异步的方式对待处理数据进行迭代，使策略链表按照不同的策略类型对待处理数据进行处理。
本实施例将多个数据项组织成相连的策略链表，这些链表可按照多个通用策略将数据进行关联以及存储。此外，还可通过异步的方式对待处理数据进行迭代，使得业务层可以按照不同的策略维度对存储数据进行运算、存储、分级转移或者回收，从而达到无需开发，快速准确简单通用地处理和计算存储数据的目的。
在一实施例中，在缓存区域中设置数据检索区域之后，还可包括：
在所述策略链表的开始处设置辅助数据区域，用于存储策略链表的链表走向及操作辅助型数据。
如图4所示，本实施例可设置辅助数据区域，用于存储策略链表的链表走向及操作辅助型数据，以使待处理数据按照策略链表的链表走向准确执行相应的策略，提高数据处理的精确度。具体的，可于存储的数据区域，对于每一个数据，于头部分出4N或8N个字节(若轨迹为双向，则为8N，单向则为4N)，用于记录链表的轨迹。如果数据分为多块小内存块分散存储(集合为一个数据包)，则在第一块小块内存头部区域，分出4N个字节。此外还可根据业务需要(有的链表不需要标记位)，分出最多N/8个字节用于存储不同类型的链表里面的数据项的区分标记(例如此数据项是否删除)。
在一实施例中，所述策略类型包括数据淘汰策略，所述将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略的步骤，包括：
在策略链表的头部区域设置用于记录待处理数据的操作时间的存储区域；
根据操作时间的先后对待处理数据进行淘汰。
在本实施例中，可于存储的头部区域，分出一块用于记录链表的存储区域，大小可以是N*sizeof(int32)，即4N个字节。其中N为业务要用到的策略类型数。然后分出12N个字节，根据需要，为每个链表记录操作时间等记录数据，可根据操作时间对待处理数据进行淘汰。淘汰时，遍历哈希子表后，分段读锁哈希子表，遍历数据区域的数据块，以对数据块进行检查，首先检查是否匹配策略类型，例如是否命中过期策略，若是，则将数据标记进行复制，提取到处理容器中遍历容器中的数据。若需要做额外计算或远程处理的策略，先执行计算或远程同步，做异步线程的的处理。然后，锁住对应的子哈希表，对哈希字表进行内部修改。例如：过期策略，只需对数据进行标记删除。具体的，检查Get链或者Set链，从set链最后一个数据块开始，确定所述数据块所属的mainkey,遍历淘汰所述mainkey下的所有数据，继续往头部遍历，直至找到这个数据块，然后删除其对应mainkey下的所有block，从block数据链中断开，从mainkey数据链中断开，从而释放内存。此外，还可在存储的数据区域，对于每一个数据，在头部分出4N或8N个字节记录链表的轨迹，以便于后续数据的查询。
在一实施例中，所述策略类型包括读取策略、写策略、脏数据策略、回写策略、热备策略、数据同步策略、数据分类处理策略。
在一实施例中，还可根据不同业务设置策略链表。例如，可根据业务的需要设置策略，包括：读取策略，简称Get链表；写策略，简称Get链表；脏数据策略，简称Dirty链表；回写策略，简称Sync链表；热备策略，简称备份链表；数据同步策略，简称Replicat链表；数据分类处理策略，简称DealDef链表；回写策略，将数据写到数据库后，对数据进行标记。此外，还可自定义策略，用户可根据不同业务设置不同策略，提高个性化设置。
在一实施例中，所述策略类型包括数据更新策略，所述将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略的步骤，包括：
拷贝数据包本身到数据块中，更新数据块第一块数据块容量使用情况以及后续数据块容量使用情况。
在本实施例中，对数据进行更新时，可更新数据块第一块数据块容量使用情况以及后续数据块容量使用情况。
在一实施例中，所述数据处理方法还包括：
遍历策略函数，更改策略链表数据。
本实施例还可通过查询策略函数，根据所述策略函数对策略链表数据进行更改，方便快捷。
具体的，如图5所示，可遍历哈希子表，分段读锁哈希子表，然后遍历数据区域的blcok(数据块)，以进行blcok检查，例如检查blcok头部数据是否匹配命中策略，若匹配，将数据标记(mk或者mk+uk)进行复制，提取到处理数据容器中，并遍历处理数据容器中的数据。若需要做额外计算或远程处理的策略，则先执行计算或远程同步及做异步线程的的处理。然后，锁住对应的子哈希表，对哈希字表进行内部修改。例如：过期策略，只需对数据进行标记删除；淘汰策略，检查Get链或者Set链，并从set链最后一个block开始(从tail尾部往头部遍历)，找到这个block所属的mainkey,遍历淘汰这个mainkey下的所有数据，然后继续往头部遍历，找到这个block，删除其对应mainkey下的所有block，从block数据链中断开，从mk数据链中断开，从而释放内存。
如图6所示，本发明提供的一种数据处理装置，一种本实施例中，包括获取模块11和查询模块12。其中，
获取模块11，用于获取待处理数据，确定所述待处理数据待执行策略的策略类型；
查询模块12，用于查询所述策略类型对应的策略链表，将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略；其中，每个所述策略链表预先构建有策略类型及所述策略类型对应的链表走向。
在本实施例中，所述策略类型可包括淘汰数据、回收存储、节省存储、转移数据、数据分级、数据分类等类型，可预先通过在缓存区域中设定一个数据检索区域，在这块检索区域中存储若干个双向链表的头尾指针以及其操作型数据，然后在每一块数据中的头部设立一块辅助数据区域，用于存储策略链表走向以及操作辅助型数据，从而完成策略链表的构建，当需要对业务数据进行处理时，可查询该业务数据的策略类型对应的策略链表，将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略；从而将多个数据项组织成相连的策略链表，这些链表按照多个通用策略将数据进行关联以及存储。此外，还可通过异步的方式对数据进行迭代，使得业务层可以按照不同的策略维度对存储数据进行运算、存储、分级转移或者回收，从而达到无需开发，快速准确简单通用地处理和计算存储数据的目的。
例如，更新或写入数据时，先更新辅助型数据，然后更新策略相关辅助数据，进一步地，需要先设置策略数据类型，例如将数据设置为脏数据，然后自增策略数据数量，例如将脏数据的数量加1，更新策略数据更新的时间，例如这个脏数据是什么时候写进入的，根据脏数据的写入时间更新数据包本身的辅助数据，如果更新选项里有expirtime，则设置数据过期时间。
又例如，在更改链表数据时，则设置链表数据的策略类型是否匹配策略，若是，将数据断开链接策略链表，按照相对应的策略，将数据块链接到策略链头部、尾部或者中间，例如，一般将同步数据入库到数据库策略，将数据块链接到链表尾部。例如，更新型Get链策略，将数据块链接到链表头部。例如，更新分类型链表，例如数据根据哈希值进行分类，或者根据mainkey进行分类，则更新分类型链表。
本发明提供的数据处理装置，通过获取待处理数据，确定所述待处理数据待执行策略的策略类型；查询所述策略类型对应的策略链表，将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略；其中，每个所述策略链表预先构建有策略类型及所述策略类型对应的链表走向，从而对于业务数据，只需查询相应的策略类型对业务数据进行相应策略的处理，无需更改业务数据的辅助数据，提高了数据处理的效率。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明提供的一种存储介质，其上存储有计算机程序，
所述计算机程序被处理器执行时实现上述任意一项技术方案所述的数据处理方法。
其中，所述存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。可以是只读存储器，磁盘或光盘等。
本发明提供的一种服务器，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述任意一项技术方案所述的数据处理方法。
图7为本发明服务器的结构示意图，包括处理器420、存储装置430、输入单元440以及显示单元450等器件。本领域技术人员可以理解，图7示出的结构器件并不构成对所有服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储装置430可用于存储应用程序410以及各功能模块，处理器420运行存储在存储装置430的应用程序410，从而执行设备的各种功能应用以及数据处理。存储装置430可以是内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包括只读存储器、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储装置包括但不限于这些类型的存储装置。本发明所公开的存储装置430只作为例子而非作为限定。
输入单元440用于接收信号的输入，以及用户输入的访问请求。输入单元440可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元450可用于显示用户输入的信息或提供给用户的信息以及计算机设备的各种菜单。显示单元450可采用液晶显示器、有机发光二极管等形式。处理器420是计算机设备的控制中心，利用各种接口和线路连接整个电脑的各个部分，通过运行或执行存储在存储装置430内的软件程序和/或模块，以及调用存储在存储装置内的数据，执行各种功能和处理数据。
在一实施方式中，服务器包括一个或多个处理器420，以及一个或多个存储装置430，一个或多个应用程序410，其中所述一个或多个应用程序410被存储在存储装置430中并被配置为由所述一个或多个处理器420执行，所述一个或多个应用程序410配置用于执行以上实施例所述的数据处理方法。
综上所述，本发明的最大有益效果在于：
本发明提供的数据处理方法、装置、存储介质及服务器，通过获取待处理数据，确定所述待处理数据待执行策略的策略类型；查询所述策略类型对应的策略链表，将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略；其中，每个所述策略链表预先构建有策略类型及所述策略类型对应的链表走向，从而对于业务数据，只需查询相应的策略类型对业务数据进行相应策略的处理，无需更改业务数据的辅助数据，提高了数据处理的效率。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种数据处理方法，其特征在于，包括：
获取待处理数据，确定所述待处理数据待执行策略的策略类型；
查询所述策略类型对应的策略链表，将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略；其中，每个所述策略链表预先构建有策略类型及所述策略类型对应的链表走向。
2.根据权利要求1所述的数据处理方法，其特征在于，获取待处理数据之前，还包括：
在缓存区域中设置数据检索区域，用于查询所述待处理数据待执行策略的策略类型，其中，数据检索区域存储有所述策略链表的指针及操作型数据。
3.根据权利要求2所述的数据处理方法，其特征在于，在缓存区域中设置数据检索区域之后，还包括：
在所述策略链表的开始处设置辅助数据区域，用于存储策略链表的链表走向及操作辅助型数据。
4.根据权利要求3所述的数据处理方法，其特征在于，在所述策略链表的开始处设置辅助数据区域之后，还包括：
将多个数据项组织成相连的策略链表；其中，所述策略链表根据所述策略类型将待处理数据进行关联及存储；
通过异步的方式对待处理数据进行迭代，使策略链表按照不同的策略类型对待处理数据进行处理。
5.根据权利要求1所述的数据处理方法，其特征在于，所述策略类型包括数据淘汰策略，所述将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略的步骤，包括：
在策略链表的头部区域设置用于记录待处理数据的操作时间的存储区域；
根据操作时间的先后对待处理数据进行淘汰。
6.根据权利要求1所述的数据处理方法，其特征在于，所述策略类型包括读取策略、写策略、脏数据策略、回写策略、热备策略、数据同步策略、数据分类处理策略。
7.根据权利要求1所述的数据处理方法，其特征在于，根据不同业务设置策略链表。
8.根据权利要求1所述的数据处理方法，其特征在于，所述策略类型包括数据更新策略，所述将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略的步骤，包括：
拷贝数据包本身到数据块中，更新数据块第一块数据块容量使用情况以及后续数据块容量使用情况。
9.根据权利要求1所述的数据处理方法，其特征在于，还包括：
遍历策略函数，更改策略链表数据。
10.一种数据处理装置，其特征在于，包括：
获取模块，用于获取待处理数据，确定所述待处理数据待执行策略的策略类型；
查询模块，用于查询所述策略类型对应的策略链表，将所述待处理数据按照所述策略链表的链表走向执行所述策略类型的策略；其中，每个所述策略链表预先构建有策略类型及所述策略类型对应的链表走向。
11.一种存储介质，其上存储有计算机程序，其特征在于：
所述计算机程序被处理器执行时实现如权利要求1至9中任意一项所述的数据处理方法。
12.一种服务器，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至9中任意一项所述的数据处理方法。
CN202010167202.0A 2020-03-11 2020-03-11 数据处理方法、装置、存储介质及服务器 Active CN111444179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010167202.0A CN111444179B (zh) 2020-03-11 2020-03-11 数据处理方法、装置、存储介质及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010167202.0A CN111444179B (zh) 2020-03-11 2020-03-11 数据处理方法、装置、存储介质及服务器

Publications (2)

Publication Number Publication Date
CN111444179A true CN111444179A (zh) 2020-07-24
CN111444179B CN111444179B (zh) 2023-07-18

Family

ID=71650537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010167202.0A Active CN111444179B (zh) 2020-03-11 2020-03-11 数据处理方法、装置、存储介质及服务器

Country Status (1)

Country Link
CN (1) CN111444179B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110264687A1 (en) * 2010-04-23 2011-10-27 Red Hat, Inc. Concurrent linked hashed maps
CN103490937A (zh) * 2013-10-12 2014-01-01 北京奇虎科技有限公司 监控数据过滤方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110264687A1 (en) * 2010-04-23 2011-10-27 Red Hat, Inc. Concurrent linked hashed maps
CN103490937A (zh) * 2013-10-12 2014-01-01 北京奇虎科技有限公司 监控数据过滤方法及装置

Also Published As

Publication number Publication date
CN111444179B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
EP3170106B1 (en) High throughput data modifications using blind update operations
US10831779B2 (en) Seamless data migration across databases
US8965850B2 (en) Method of and system for merging, storing and retrieving incremental backup data
US7418544B2 (en) Method and system for log structured relational database objects
US10417265B2 (en) High performance parallel indexing for forensics and electronic discovery
US20160203135A1 (en) In-memory latch-free index structure
US9195611B2 (en) Efficiently updating and deleting data in a data storage system
CN103530387A (zh) 一种hdfs针对小文件的改进方法
EP2380090B1 (en) Data integrity in a database environment through background synchronization
US20220129428A1 (en) Database key compression
CN112334891A (zh) 用于搜索服务器的集中式存储
WO2020215580A1 (zh) 一种分布式全局数据去重方法和装置
US10585802B1 (en) Method and system for caching directories in a storage system
CN107133334B (zh) 基于高带宽存储系统的数据同步方法
EP3343395B1 (en) Data storage method and apparatus for mobile terminal
US7890456B2 (en) Sharing of database objects
CN116303267A (zh) 数据访问方法、装置、设备以及存储介质
US20100228787A1 (en) Online data volume deletion
CN111444179B (zh) 数据处理方法、装置、存储介质及服务器
CN115469810A (zh) 一种数据获取方法、装置、设备及存储介质
CN110874360A (zh) 一种基于固定容量的有序队列缓存方法及装置
CN114265828A (zh) 行迁移消除方法、装置、计算机设备和存储介质
JP4825504B2 (ja) データ登録・検索システムおよびデータ登録・検索方法
CN117453632B (zh) 一种数据存储方法及装置
US10459913B2 (en) Database query processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant