CN115454354A - 数据的处理方法、系统、电子设备及存储介质 - Google Patents

数据的处理方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN115454354A
CN115454354A CN202211282937.3A CN202211282937A CN115454354A CN 115454354 A CN115454354 A CN 115454354A CN 202211282937 A CN202211282937 A CN 202211282937A CN 115454354 A CN115454354 A CN 115454354A
Authority
CN
China
Prior art keywords
data
storage
sequence
index
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211282937.3A
Other languages
English (en)
Other versions
CN115454354B (zh
Inventor
原世豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Global Business Intelligence Consulting Co ltd
Original Assignee
Shanghai Global Business Intelligence Consulting Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Global Business Intelligence Consulting Co ltd filed Critical Shanghai Global Business Intelligence Consulting Co ltd
Priority to CN202211282937.3A priority Critical patent/CN115454354B/zh
Publication of CN115454354A publication Critical patent/CN115454354A/zh
Application granted granted Critical
Publication of CN115454354B publication Critical patent/CN115454354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据的处理方法、系统、电子设备及存储介质，其中，数据的处理方法通过获取由若干个数据组成的数据序列，为数据序列生成对应的编号序列和索引序列，利用编号序列和索引序列将数据序列映射为若干个存储元素，基于若干个存储元素构建存储集合，以对数据进行存储，进而可以通过存储元素的形式表示任意一个或多个数据，且存储过程简单、效率高，极大降低了数据存储的占比。

Description

数据的处理方法、系统、电子设备及存储介质
技术领域
本发明涉及数据处理技术领域，具体涉及一种数据的处理方法、系统、电子设备及存储介质。
背景技术
近年来，随着计算机技术和互联网技术的快速发展，每天都有海量的数据产生，为了保证数据的安全，往往需要对数据进行处理和备份存储，目前，常用的存储方式，一种是使用数组、链表类数据结构存储，另一种是使用树类数据结构或散列表的形式进行存储。
在后续开发中的过程中需要确认一个数据是否在存储集合中，而上述存储方式，通常在判断时需要遍历整个集合进行逐一比对，从而导致查找的时间复杂度且不固定的，并且在大数据量下存储容量占比很高，进而在大用户量高并发场景下判断效率较低。
发明内容
本发明要解决的技术问题是为了克服现有技术中上述的缺陷，提供一种数据的处理方法、系统、电子设备及存储介质。
本发明是通过下述技术方案来解决上述技术问题：
本发明提供一种数据的处理方法，所述处理方法包括：
获取由若干个数据组成的数据序列；
为所述数据序列生成对应的编号序列和索引序列；
其中，所述编号序列包括若干个编号，所述索引序列包括若干个索引号，每一个所述编号对应一个所述数据，每一个所述索引号对应N个所述编号，N为正整数；
利用所述编号序列和所述索引序列将所述数据序列映射为若干个存储元素；
基于所述若干个存储元素构建存储集合，以对所述数据进行存储。
较佳地，所述利用所述编号序列和所述索引序列将所述数据序列映射为若干个存储元素，包括：
以预设进制数为底数，以所述编号为指数，将所述数据映射为存储参数；
将同一所述索引号的至少一个所述编号对应的存储参数的计算结果作为所述存储元素；
其中，不同的所述索引号对应不同的所述存储元素。
较佳地，所述处理方法还包括：
响应于数据判定指令，基于预设判定规则在所述存储集合中判定目标数据是否存在；
若是，则确定所述目标数据在所述存储集合；
若否，则确定所述目标数据不在所述存储集合。
较佳地，所述基于预设判定规则在所述存储集合中判定目标数据是否存在，包括：
获取所述目标数据对应的所述索引号、所述编号以及所述存储参数；
根据所述目标数据的索引号在所述存储集合获取对应的目标存储元素；
基于所述目标数据的存储参数和所述目标存储元素的计算结果确认所述目标数据是否存在。
本发明还提供一种数据的处理系统，所述处理系统包括：
数据获取模块，用于获取由若干个数据组成的数据序列；
序列生成模块，用于为所述数据序列生成对应的编号序列和索引序列；
其中，所述编号序列包括若干个编号，所述索引序列包括若干个索引号，每一个所述编号对应一个所述数据，每一个所述索引号对应N个所述编号，N为正整数；
映射模块，用于利用所述编号序列和所述索引序列将所述数据序列映射为若干个存储元素；
存储模块，用于基于所述若干个存储元素构建存储集合，以对所述数据进行存储。
较佳地，所述映射模块，还用于以预设进制数为底数，以所述编号为指数，将所述数据映射为存储参数；
将同一所述索引号的至少一个所述编号对应的存储参数的计算结果作为所述存储元素；
其中，不同的所述索引号对应不同的所述存储元素。
较佳地，所述处理系统还包括：
数据判定模块，用于响应于数据判定指令，基于预设判定规则在所述存储集合中判定目标数据是否存在；
若是，则确定所述目标数据在所述存储集合；
若否，则确定所述目标数据不在所述存储集合。
较佳地，所述数据判定模块，还用于获取所述目标数据对应的所述索引号、所述编号以及所述存储参数；
根据所述目标数据的索引号在所述存储集合获取对应的目标存储元素；
基于所述目标数据的存储参数和所述目标存储元素的计算结果确认所述目标数据是否存在。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现如上所述的数据的处理方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据的处理方法。
本发明的积极进步效果在于：通过获取由若干个数据组成的数据序列，为数据序列生成对应的编号序列和索引序列，利用编号序列和索引序列将数据序列映射为若干个存储元素，基于若干个存储元素构建存储集合，以对数据进行存储，进而可以通过存储元素的形式表示任意一个或多个数据，且存储过程简单、效率高，极大降低了数据存储的占比。
附图说明
图1为本发明实施例提供的数据的处理方法的第一流程示意图。
图2为本发明实施例提供的数据关系示意图。
图3为本发明实施例提供的数据的处理方法的第二流程示意图。
图4为本发明实施例提供的数据的处理方法的第三流程示意图。
图5为本发明实施例提供的数据的处理系统的模块示意图。
图6为本发明实施例提供的实现数据的处理方法的电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
在开发中的过程中，往往需要从存储集合中确认一个数据是否在，而由于现有技术中的存储方式，通常在判断时需要遍历整个集合进行逐一比对，从而导致查找的时间复杂度且不固定的，并且在大数据量下存储容量占比很高，进而在大用户量高并发场景下判断效率较低，基于此，本实施例提供了一种数据的处理方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例所提供的数据的处理方法可以在智能终端、计算机终端、网络设备、芯片、芯片模组或者类似的运算装置中执行。
具体地，本实施例提供一种数据的处理方法，如图1所示，本实施例的数据的处理方法包括：
S101、获取由若干个数据组成的数据序列。
S102、为数据序列生成对应的编号序列和索引序列。
其中，编号序列包括若干个编号，索引序列包括若干个索引号，每一个编号对应一个数据，每一个索引号对应N个编号，N为正整数。
可选地，参见图2，以N为64为例，为数据序列data生成对应的索引序列idx和编号序列pos，索引序列idx对应的索引号中从0起每64个编号递增1，编号在0-63之间循环。
S103、利用编号序列和索引序列将数据序列映射为若干个存储元素。
作为本实施例的一种可选的实施方式，本实施例的步骤S103包括：
S1031、以预设进制数为底数，以编号为指数，将数据映射为存储参数。
S1032、将同一索引号的至少一个编号对应的存储参数的计算结果作为存储元素。
其中，不同的索引号对应不同的存储元素，也即每一索引序列下的编号序列对应的数据构成存储元素。
需要说明的是，本实施例的预设进制数选取二进制，利用编号序列和索引序列将数据序列以二进制形式映射为若干个存储参数，当然，其他进制也适用于本实施方式，如八进制数、十进制数、十六进制数中的任一种，对此不作限定。
作为一个具体映射例子，图2中的索引序列idx中的索引号1中的编号1、2和3对应的三个数据(GBICC07、GBICC08和GBICC09)的映射过程为20+21+22＝[7]。
作为另一个具体映射例子，图2中的索引序列idx中的索引号0中的编号0-3对应的4个数据(GBICC01、GBICC02、GBICC03和GBICC04)和索引号1中的编号1对应的1个数据(GBICC08)的映射过程分别为20+21+22+23＝[15]，21＝[2]。
由此，上述两个例子中的[7]、[15]和[2]即可以作为存储元素，进而可以通过存储元素的形式表示任意一个或多个数据，节省了存储空间。
S104、基于若干个存储元素构建存储集合，以对数据进行存储。
可选地，把数据映射到二进制进行表示，使用Long型数组存储数据集，即可以将上述的存储元素构建成存储集合，以对数据进行存储。
如，为了表示索引序列idx中的索引号0中的编号0-3对应的4个数据(GBICC01、GBICC02、GBICC03和GBICC04)和索引号1中的编号1对应的1个数据(GBICC08)可以将其对应的存储元素构建[15]和[2]为存储集合，即表示为[15，2]。
又如，为了表示索引序列idx中的索引号0中的编号0-2对应的3个数据(GBICC01、GBICC02和GBICC03)和索引号1中的编号0对应的1个数据(GBICC07)可以将其对应的存储元素构建[7]和[1]为存储集合，即表示为[7，1]。
从而，本实施例通过将若干个存储元素构建存储集合，极大降低了数据存储的占比。
作为本实施例的一种可选的实施方式，如图3所示，本实施例的数据的处理方法还包括：
S201、响应于数据判定指令，基于预设判定规则在存储集合中判定目标数据是否存在。
作为本实施例的另一种可选的实施方式，如图4所示，S201包括：
S201a、获取目标数据对应的索引号、编号以及存储参数。
S201b、根据目标数据的索引号在存储集合获取对应的目标存储元素。
S201c、基于目标数据的存储参数和目标存储元素的计算结果确认目标数据是否存在。
若是，则执行步骤S202，若否，则执行步骤S203。
步骤S202、确定目标数据在存储集合。
步骤S203、确定目标数据不在存储集合。
在需要判断一个目标数据是否在存储集合B中时，先根据目标数据对应的索引号、编号以及存储参数确定目标数据本申请的数据集A，将存储集合B与数据集A进行按位与运算，结果得到数据集A本身，则表示该目标数据存在于存储集合中，反之则不存在。
如，判断GBICC03是否在数据集[7，1]中，GBICC03的idx＝0，pos＝2，所以数据集为22＝[4]，定位到数组第0个下标与这个数据集[7]进行&(与)运算，即4&7＝4，由此可以得知GBICC03这条数据在数据集[7，1]中，运算过程如下：
Figure BDA0003898825780000071
又如，判断GBICC08是否在数据集[7，1]中，GBICC08的idx＝1，pos＝1，所以数据集为21＝[2]，定位到数组第1个下标与这个数据集[1]进行&(与)运算，即2&1＝0，由此可以得知GBICC08这条数据不在数据集[7，1]中，运算过程如下：
Figure BDA0003898825780000072
由此，本实施例使用数组形式进行数据集的存储，并且还能对数据集进行定位，使用按位与的方式进行判定，极大提高了数据的判定效率和性能。
下面介绍本实施例的数据的处理方法在两中不同实施方式的应用：
(1)阶段判定
根据业务规则，对SF_I_STAGE表中的数据打上阶段标记，当一条数据被多条规则命中时取最差的阶段。
比如：一条数据同时被10001(阶段2)和10014(阶段3)号规则命中，则应标记为阶段3。
传统的做法，逐条执行对应规则进行update操作，随着规则复杂度的提升以及SF_I_STAGE表中较大的数据量，这种方式效率低下。
updateSF_I_STAGEsetstage＝1where(所有阶段1规则SQL)；
updateSF_I_STAGEsetstage＝2where(所有阶段2规则SQL)；
updateSF_I_STAGEsetstage＝3where(所有规则3规则SQL)；
基于二进制的数据映射的阶段判定
1.为业务表数据增加idx和pos字段；
2.依次查询所有阶段3规则SQL的数据，同时对查询到的数据计算数据集，存入数组dataset3；
3.依次查询所有阶段2规则SQL的数据，查询的同时通过dataset3进行过滤，如果存在则剔除条该条数据，未被剔除的数据计算数据集，存入数组dataset2；
4.依次查询所有阶段1规则SQL的数据，查询的同时通过dataset2和dataset3进行过滤，如果存在则剔除条该条数据。
至此，所有数据都已打好标记，并以数据文件的形式最终入库。整个过程都是select查询，对于同一阶段的规则可以采用多线程执行，大幅提高判定效率。实测单库对700万条数据业务数据进行阶段判定，总耗时在90秒左右。
(2)系统访问权限的判定
系统需要对用户请求的URL进行鉴权，有对应权限才允许访问。
传统的做法
1.登录系统后，将用户的权限信息存储在内存中。
2.后续访问根据URL去进行匹配查找，未查找到对应URL则拒绝访问。
在一个大型系统中会有不计其数的权限信息，当大量用户同时访问时，权限的存储和判定是一笔不小的开销。
基于二进制的数据映射的权限判定
1.为权限表数据增加idx和pos字段
2.登录系统后，将用户的拥有的权限信息计算为数据集存储在内存中。
3.后续访问首先计算该请求的数据集，然后与当前用户的数据集进行按位与运算，就可以得知其是否拥有该资源的访问权限。
上述方式大幅降低了数据存储的容量，提高了鉴权的效率。
与上面介绍的数据的处理方法对应地，本实施例还提供了一种数据的处理系统。下面将分别进行介绍。具体地，如图5所示，本实施例的数据的处理系统包括：
数据获取模块1，用于获取由若干个数据组成的数据序列。
序列生成模块2，用于为数据序列生成对应的编号序列和索引序列。
其中，编号序列包括若干个编号，索引序列包括若干个索引号，每一个编号对应一个数据，每一个索引号对应N个编号，N为正整数。
可选地，参见图2，以N为64为例，为数据序列data生成对应的索引序列idx和编号序列pos，索引序列idx对应的索引号中从0起每64个编号递增1，编号在0-63之间循环。
映射模块3，用于利用编号序列和索引序列将数据序列映射为若干个存储元素。
作为本实施例的一种可选的实施方式，映射模块3，还用于以预设进制数为底数，以编号为指数，将数据映射为存储参数。
将同一索引号的至少一个编号对应的存储参数的计算结果作为存储元素。
其中，不同的索引号对应不同的存储元素，也即每一索引序列下的编号序列对应的数据构成存储元素。
需要说明的是，本实施例的预设进制数选取二进制，利用编号序列和索引序列将数据序列以二进制形式映射为若干个存储参数，当然，其他进制也适用于本实施方式，如八进制数、十进制数、十六进制数中的任一种，对此不作限定。
作为一个具体映射例子，图2中的索引序列idx中的索引号1中的编号1、2和3对应的三个数据(GBICC07、GBICC08和GBICC09)的映射过程为20+21+22＝[7]。
作为另一个具体映射例子，图2中的索引序列idx中的索引号0中的编号0-3对应的4个数据(GBICC01、GBICC02、GBICC03和GBICC04)和索引号1中的编号1对应的1个数据(GBICC08)的映射过程分别为20+21+22+23＝[15]，21＝[2]。
由此，上述两个例子中的[7]、[15]和[2]即可以作为存储元素，进而可以通过存储元素的形式表示任意一个或多个数据，节省了存储空间。
存储模块4，用于基于若干个存储元素构建存储集合，以对数据进行存储。
可选地，把数据映射到二进制进行表示，使用Long型数组存储数据集，即可以将上述的存储元素构建成存储集合，以对数据进行存储。
如，为了表示索引序列idx中的索引号0中的编号0-3对应的4个数据(GBICC01、GBICC02、GBICC03和GBICC04)和索引号1中的编号1对应的1个数据(GBICC08)可以将其对应的存储元素构建[15]和[2]为存储集合，即表示为[15，2]。
又如，为了表示索引序列idx中的索引号0中的编号0-2对应的3个数据(GBICC01、GBICC02和GBICC03)和索引号1中的编号0对应的1个数据(GBICC07)可以将其对应的存储元素构建[7]和[1]为存储集合，即表示为[7，1]。
从而，本实施例通过将若干个存储元素构建存储集合，极大降低了数据存储的占比。
作为本实施例的一种可选的实施方式，处理系统还包括：
数据判定模块5，用于响应于数据判定指令，基于预设判定规则在存储集合中判定目标数据是否存在。
作为本实施例的另一种可选的实施方式，数据判定模块5，还用于获取目标数据对应的索引号、编号以及存储参数。
根据目标数据的索引号在存储集合获取对应的目标存储元素。
基于目标数据的存储参数和目标存储元素的计算结果确认目标数据是否存在。
若是，则确定目标数据在存储集合。
若否，则确定目标数据不在存储集合。
在需要判断一个目标数据是否在存储集合B中时，先根据目标数据对应的索引号、编号以及存储参数确定目标数据本申请的数据集A，将存储集合B与数据集A进行按位与运算，结果得到数据集A本身，则表示该目标数据存在于存储集合中，反之则不存在。
如，判断GBICC03是否在数据集[7，1]中，GBICC03的idx＝0，pos＝2，所以数据集为22＝[4]，定位到数组第0个下标与这个数据集[7]进行&(与)运算，即4&7＝4，由此可以得知GBICC03这条数据在数据集[7，1]中，运算过程如下：
Figure BDA0003898825780000111
又如，判断GBICC08是否在数据集[7，1]中，GBICC08的idx＝1，pos＝1，所以数据集为21＝[2]，定位到数组第1个下标与这个数据集[1]进行&(与)运算，即2&1＝0，由此可以得知GBICC08这条数据不在数据集[7，1]中，运算过程如下：
Figure BDA0003898825780000121
由此，本实施例使用数组形式进行数据集的存储，并且还能对数据集进行定位，使用按位与的方式进行判定，极大提高了数据的判定效率和性能。
需要说明的是，本实施例的数据的处理系统例如可以是：单独的芯片、芯片模组或电子设备，也可以是集成于电子设备内的芯片或者芯片模组。关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
图6为本实施例提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述实施例中的数据的处理方法。图6显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明如上所述的数据的处理方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现如上述实施例的数据的处理方法中的步骤。
其中，可读存储介质可以采用更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现如上所述的数据的处理方法中的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种数据的处理方法，其特征在于，所述处理方法包括：
获取由若干个数据组成的数据序列；
为所述数据序列生成对应的编号序列和索引序列；
其中，所述编号序列包括若干个编号，所述索引序列包括若干个索引号，每一个所述编号对应一个所述数据，每一个所述索引号对应N个所述编号，N为正整数；
利用所述编号序列和所述索引序列将所述数据序列映射为若干个存储元素；
基于所述若干个存储元素构建存储集合，以对所述数据进行存储。
2.如权利要求1所述的数据的处理方法，其特征在于，所述利用所述编号序列和所述索引序列将所述数据序列映射为若干个存储元素，包括：
以预设进制数为底数，以所述编号为指数，将所述数据映射为存储参数；
将同一所述索引号的至少一个所述编号对应的存储参数的计算结果作为所述存储元素；
其中，不同的所述索引号对应不同的所述存储元素。
3.如权利要求2所述的数据的处理方法，其特征在于，所述处理方法还包括：
响应于数据判定指令，基于预设判定规则在所述存储集合中判定目标数据是否存在；
若是，则确定所述目标数据在所述存储集合；
若否，则确定所述目标数据不在所述存储集合。
4.如权利要求3所述的数据的处理方法，其特征在于，所述基于预设判定规则在所述存储集合中判定目标数据是否存在，包括：
获取所述目标数据对应的所述索引号、所述编号以及所述存储参数；
根据所述目标数据的索引号在所述存储集合获取对应的目标存储元素；
基于所述目标数据的存储参数和所述目标存储元素的计算结果确认所述目标数据是否存在。
5.一种数据的处理系统，其特征在于，所述处理系统包括：
数据获取模块，用于获取由若干个数据组成的数据序列；
序列生成模块，用于为所述数据序列生成对应的编号序列和索引序列；
其中，所述编号序列包括若干个编号，所述索引序列包括若干个索引号，每一个所述编号对应一个所述数据，每一个所述索引号对应N个所述编号，N为正整数；
映射模块，用于利用所述编号序列和所述索引序列将所述数据序列映射为若干个存储元素；
存储模块，用于基于所述若干个存储元素构建存储集合，以对所述数据进行存储。
6.如权利要求5所述的数据的处理系统，其特征在于，所述映射模块，还用于以预设进制数为底数，以所述编号为指数，将所述数据映射为存储参数；
将同一所述索引号的至少一个所述编号对应的存储参数的计算结果作为所述存储元素；
其中，不同的所述索引号对应不同的所述存储元素。
7.如权利要求6所述的数据的处理系统，其特征在于，所述处理系统还包括：
数据判定模块，用于响应于数据判定指令，基于预设判定规则在所述存储集合中判定目标数据是否存在；
若是，则确定所述目标数据在所述存储集合；
若否，则确定所述目标数据不在所述存储集合。
8.如权利要求7所述的数据的处理方法，其特征在于，所述数据判定模块，还用于获取所述目标数据对应的所述索引号、所述编号以及所述存储参数；
根据所述目标数据的索引号在所述存储集合获取对应的目标存储元素；
基于所述目标数据的存储参数和所述目标存储元素的计算结果确认所述目标数据是否存在。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行计算机程序时实现如权利要求1-4中任一项所述的数据的处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的数据的处理方法。
CN202211282937.3A 2022-10-19 2022-10-19 数据的处理方法、系统、电子设备及存储介质 Active CN115454354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211282937.3A CN115454354B (zh) 2022-10-19 2022-10-19 数据的处理方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211282937.3A CN115454354B (zh) 2022-10-19 2022-10-19 数据的处理方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115454354A true CN115454354A (zh) 2022-12-09
CN115454354B CN115454354B (zh) 2023-09-12

Family

ID=84311678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211282937.3A Active CN115454354B (zh) 2022-10-19 2022-10-19 数据的处理方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115454354B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060221967A1 (en) * 2005-03-31 2006-10-05 Narayan Harsha L Methods for performing packet classification
CN107562743A (zh) * 2016-06-30 2018-01-09 中兴通讯股份有限公司 数据存储方法和装置、数据查找请求的处理方法和装置
US20180210905A1 (en) * 2017-01-25 2018-07-26 International Business Machines Corporation Data mapper
US20180218021A1 (en) * 2017-01-30 2018-08-02 Alfresco Software, Inc. Scalable fine grained access conrol within a search engine
US20200192947A1 (en) * 2018-12-18 2020-06-18 Runtime Collective Limited Distributed Indexing and Aggregation
CN112835905A (zh) * 2021-02-05 2021-05-25 上海达梦数据库有限公司 一种数组类型列的索引方法、装置、设备以及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060221967A1 (en) * 2005-03-31 2006-10-05 Narayan Harsha L Methods for performing packet classification
CN107562743A (zh) * 2016-06-30 2018-01-09 中兴通讯股份有限公司 数据存储方法和装置、数据查找请求的处理方法和装置
US20180210905A1 (en) * 2017-01-25 2018-07-26 International Business Machines Corporation Data mapper
US20180218021A1 (en) * 2017-01-30 2018-08-02 Alfresco Software, Inc. Scalable fine grained access conrol within a search engine
US20200192947A1 (en) * 2018-12-18 2020-06-18 Runtime Collective Limited Distributed Indexing and Aggregation
CN112835905A (zh) * 2021-02-05 2021-05-25 上海达梦数据库有限公司 一种数组类型列的索引方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN115454354B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN108595157B (zh) 区块链数据的处理方法、装置、设备和存储介质
CN110297689B (zh) 智能合约执行方法、装置、设备及介质
CN103888254A (zh) 一种网络验证信息的方法和装置
CN115335821B (zh) 卸载统计收集
CN113434482A (zh) 数据迁移方法、装置、计算机设备及存储介质
CN116090808A (zh) 一种rpa断点重建方法、装置、电子设备和介质
CN112800197A (zh) 一种目标故障信息的确定方法和装置
CN111338958B (zh) 一种测试用例的参数生成方法、装置及终端设备
CN113434542B (zh) 数据关系识别方法、装置、电子设备及存储介质
CN110175128A (zh) 一种相似代码案例获取方法、装置、设备和存储介质
CN114332353A (zh) 一种三维模型匹配方法、装置及电子设备和存储介质
CN104580109A (zh) 生成点选验证码的方法及装置
CN113850675A (zh) 用于企业交易关系数据的信息处理方法和装置
CN116842012A (zh) 一种Redis集群的分片存储方法、装置、设备及存储介质
CN109783440B (zh) 数据存储方法及数据检索方法、装置、介质、电子设备
CN115454354B (zh) 数据的处理方法、系统、电子设备及存储介质
CN111427692B (zh) 功能配置方法、装置、电子设备及介质
CN114020789A (zh) 账单数据查询方法、系统、设备及存储介质
CN109740027B (zh) 数据交换方法、装置、服务器和存储介质
CN108984615B (zh) 一种数据查询方法和系统、存储介质
CN111695124A (zh) 权限控制方法和装置、存储介质和电子设备
CN113824806A (zh) 设备识别方法、装置及电子设备
US11632380B2 (en) Identifying large database transactions
CN116739397B (zh) 一种新能源指标的动态管理方法
US11561979B2 (en) Dynamically detecting and correcting errors in queries

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant