CN111506440B - 一种数据处理方法、装置、设备及存储介质 - Google Patents
一种数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111506440B CN111506440B CN202010288472.7A CN202010288472A CN111506440B CN 111506440 B CN111506440 B CN 111506440B CN 202010288472 A CN202010288472 A CN 202010288472A CN 111506440 B CN111506440 B CN 111506440B
- Authority
- CN
- China
- Prior art keywords
- data
- data set
- dependency relationship
- initial source
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/545—Interprogram communication where tasks reside in different layers, e.g. user- and kernel-space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/606—Protecting data by securing the transmission between two devices or processes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据处理方法、装置、设备及存储介质。该方法包括:获取初始源头数据集合;根据预设规则表达式结合所述初始源头数据集合进行数据处理得到中间数据集合;根据所述初始源头数据集合和/或所述中间数据集合计算得到目标结果数据集合。采用上述方法或装置或设备通过预设规则表达式能实现系统数据间的高效传输,同时能够确保数据传输过程中的信息安全。
Description
技术领域
本发明涉及智能软件技术领域,具体涉及一种数据处理方法、装置、设备及存储介质。
背景技术
随着智能技术的发展,越来越多的领域开始实行智能化管理。而智能化管理的实现则大多依靠系统软件。系统软件的运行质量直接影响智能化管理的实现程度。随着智能化管理的发展,随之而来的系统软件也具备越来越多的功能。随着功能的增多,系统软件的研发任务则日益增重。
现有技术在系统软件的研发过程中则会将整个系统软件分成多个不同的功能模块研发,然后再将多个功能模块做接口对接,整合成整个系统软件。上述对接的过程要消耗大量人力、物力、时间等各种成本。且在众多接口对接的过程中,涉及到数据密码验证、数据加密解密处理、数据通信传输等操作,在这些操作的过程中,账户密码的破解情况经常发生、重要数据原文未加密或者简单的在程序中加密解密容易被破解,而且发生问题时查找的过程复杂,且查找个不准确。关键是数据通过程序、各种接口、各种系统集成后,即影响数据传输的效率,实时性不好。因此,现有通过接口对接功能模块,进行数据传输的方式过于简单,安全系数低,传输效率低,自动化运行程度低、智能化执行程序少、数据流程控制复杂、数据多维度分析不准确。
发明内容
有鉴于此,本发明的目的在于克服现有技术的不足,提供一种数据处理方法、装置、设备及存储介质。
为实现以上目的,本发明采用如下技术方案:
一种数据处理方法,包括:
获取初始源头数据集合;
根据预设规则表达式结合所述初始源头数据集合进行数据处理得到中间数据集合;
根据所述初始源头数据集合和/或所述中间数据集合计算得到目标结果数据集合。
可选的,所述根据预设规则表达式结合所述初始源头数据集合进行数据处理得到中间数据集合,包括:
根据所述预设规则表达式结合所述初始源头数据集合确定数据依赖关系;所述数据依赖关系包括依赖关系和被依赖关系;
根据所述数据依赖关系计算得到所述中间数据集合。
可选的,所述数据依赖关系包括:
所述初始源头数据集合中的初始原始数据与所述中间数据集合中的中间数据间的依赖关系;和/或所述中间数据集合中的中间数据之间的依赖关系。
可选的,所述根据所述初始源头数据集合和/或所述中间数据集合计算得到目标结果数据集合,包括:
确定所述初始源头数据集合中无被依赖关系的第一属性数据;
确定所述中间数据集合中无被依赖关系的第二属性数据;
将所述第一属性数据和/或所述第二属性数据构建所述目标结果数据集合。
可选的,还包括:
确定所述初始源头数据集合和/或所述中间数据集合中的待删除数据;所述待删除数据包括无数据依赖关系的独立属性数据和/或存在数据依赖关系的属性数据组;
删除所述待删除数据。
一种数据处理装置,包括:
初始数据获取模块,用于获取初始源头数据集合;
中间数据确定模块,用于根据预设规则表达式结合所述初始源头数据集合进行数据处理得到中间数据集合;
目标数据计算模块,用于根据所述初始源头数据集合和/或所述中间数据集合计算得到目标结果数据集合。
可选的,所述中间数据确定模块包括:
依赖关系确定单元,用于根据所述预设规则表达式结合所述初始源头数据集合确定数据依赖关系;所述数据依赖关系包括依赖关系和被依赖关系;
依赖关系计算单元,用于根据所述数据依赖关系计算得到所述中间数据集合。
可选的,还包括:
待删除数据确定模块,用于确定所述初始源头数据集合和/或所述中间数据集合中的待删除数据;所述待删除数据包括无数据依赖关系的独立属性数据和/或存在数据依赖关系的属性数据组;
数据删除模块,用于删除所述待删除数据。
一种数据处理设备,包括:
处理器,以及与所述处理器相连接的存储器;
所述存储器用于存储计算机程序,所述计算机程序至少用于执行上述所述的数据处理方法;
所述处理器用于调用并执行所述存储器中的所述计算机程序。
一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现如上述所述的数据处理方法中各个步骤。
本申请提供的技术方案可以包括以下有益效果:
本申请中公开了一种数据处理方法,包括:获取初始源头数据集合;根据预设规则表达式结合所述初始源头数据集合进行数据处理得到中间数据集合;根据初始源头数据集合和/或中间数据集合计算得到目标结果数据集合。上述数据处理方法中初始源头数据集合通过预设规则表达式进行处理后得到中间数据集合,最终得到目标结果数据集合,三个数据集合中间互相关联影响,当初始源头数据集合中的数据发生变化时,则会影响中间数据集合和目标结果数据集合,同时若预设规则表达式发生变化时,同样会影响中间数据集合和目标结果数据集合。通过上述方法数据在进行处理传输的过程中,无需再通过功能模块间的接口对接实现,而是直接通过预设规则表达式得到数据间的关系,以此实现数据的传输,同时在数据安全角度只有确保初始源头数据在准确的情况下才能够得到所需的目标结果数据集合,或是只有确保正确的预设规则表达式才能得到所需的目标结果数据集合。以此提高了数据传输过程中的安全性,且提高了数据传输效率,进而提高程序运行效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的数据处理方法的流程图;
图2是本发明另一实施例提供的数据处理方法的流程图;
图3是本发明一实施例提供的数据处理方法的示意图;
图4是本发明另一实施例提供的数据处理方法的示意图;
图5是本发明一实施例提供的数据处理装置的模块图;
图6是本发明一实施例提供的数据处理设备的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案进行详细的描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式,都属于本发明所保护的范围。
现有技术的数据密码验证、数据加密解密处理、数据通信传输的操作存在过程简单、安全系数低、传输效率低、自动化运行程度低、智能化执行程序少、数据流程控制复杂、数据多维度分析不准确等问题。在此基础上,为解决现有技术的问题,本发明提供一种整体数据处理程序,无需进行接口对接,保证了数据传输速率,且数据安全性也得到了保证。本申请不论是从数据信息安全、网络安全的角度看,还是从数据传输通信以及控制的角度看,数据安全性、数据传输的效率、自动化智能化程度、对数据的全局控制均有大幅度提高,而且综合成本减低很多,业务操作简易方便。
本申请中数据处理方法适可用于企业经营管理,制造工厂生产(离散制造、流程制造)、交通物流运输及配送、数学计算模型、金融风险预测、信息安全网络安全、铁路系统调度、卫星航空系统、国防及导弹追踪、医院排队等商业排队现象的应用场景,还可以实现排队优化、数据预测、因果关系等功能。
图1是本发明一实施例提供的数据处理方法的流程图。参见图1,一种数据处理方法,包括:
步骤101:获取初始源头数据集合。
步骤102:根据预设规则表达式结合所述初始源头数据集合进行数据处理得到中间数据集合。其中,预设规则表达式在进行计算分为三种情况,第一种为有密码加密的规则表达式计算,此情况下预设规则表达式只能正向计算,无法逆向解密;第二种情况是数据加密的规则表达式计算,可以根据逆向规则表达式进行逆向解密;第三种情况是最重要的数据传输通信和控制方法的数据规则表达式计算。
步骤103:根据所述初始源头数据集合和/或所述中间数据集合计算得到目标结果数据集合。
上述方法实施例中的初始源头数据集合有1到n个数据集合,每个数据集合有1到n属性,初始源头数据集合中的所有数据集合、集合中所有属性都是平级的,属性之间没有依赖关系。
中间数据集合有1到n个数据集合(数据计算过程集合),每个数据集合有1到n属性数据,中间数据集合所有数据集合有层级之分、集合中所有属性数据不是平级的,属性数据之间有各种依赖关系,有些属性数据依赖其他属性数据,有些属性数据是其他属性数据的依赖属性;中间数据集合每个属性数据是通过预设规则表达式计算得到,而参与预设规则表达式计算的是其他属性数据,此处的其他属性数据为初始源头数据集合1到n个中的属性数据或是中间数据集合1到n个中的属性数据或者是两个集合中的混合属性数据。
目标结果数据集合有1到n个数据集合,每个数据集合有1到n属性数据,目标结果数据集合所有数据集合、集合中所有属性数据都是平级的,属性数据之间没有依赖关系,但是属性数据是由初始源头数据集合、中间数据集合或者前两个集合当中的1到n个属性数据通过预设规则表达式计算得出的,目标结果数据集合属性数据不是其他任何属性的依赖属性数据。
根据上述三个集合中的属性数据之间通过预设规则表达式互相计算得到。需要注意的是,该预设规则表达式可以在中间数据集合、目标结果数据集合中的每个属性中定义和使用,或者也可以在初始源头数据集合定义1到n个预设规则表达式计算集合,然后在中间数据集合、目标结果数据集合中直接选择这个定义和使用。
上述方法中通过预设规则表达式进行计算,决定了智能软件在运行时有什么样初始源头数据集合数据和有什么样属性路径及其规则表达式数据计算(中间数据集合的管理执行过程),就会造成什么样的通信传输结果数据(目标结果数据集合)。
上述方法中通过初始源头数据集合的属性数据通过预设规则表达式的计算后,得到目标结果数据集合,此为正向数据运行过程;同样的,通过目标结果数据集合对照初始源头数据集合,来动态调整初始源头数据集合及预设规则表达式,以使数据计算过程达到最优。以此提高了数据密码验证的安全性,也提高了数据加密解密的安全性。
同时,上述方法中的数据通过三个数据集合之间的依赖关系,实现了数据的传输,以此提高了数据通信传输的效率,提高了数据传输通信的自动化和智能化。
在上述实施例的基础上,还包括:
确定初始源头数据集合和/或中间数据集合中的待删除数据;待删除数据包括无数据依赖关系的独立属性数据和/或存在数据依赖关系的属性数据组;删除待删除数据。
本实施例中的删除功能,不但可删除独立属性数据,还可以删除存在依赖被依赖关系的一组数据。也就是说可删除独立数据,也可删除存在递归关系的数据组。
例如:中间数据集合中有属性数据A,该属性数据A在整个系统运行中并没有应用到,并不是其他数据的依赖关系,也没有依赖其他数据,此时属性数据A则可认定为独立属性数据,此时可直接删除属性数据A。需要注意的是,独立属性数据不仅仅只在中间数据集合中存在,也可存在于初始源头数据集合或是目标结果数据集合中,具体视情况而定。
又例如:目标结果数据集合中存在属性数据B,此属性数据B不存在被依赖关系,此时可直接删除属性数据B,但因为此时删除的为目标结果数据集合中的数据,而属性数据B的被依赖属性数据如果不存在其他依赖关系,则将该被依赖属性数据移至目标结果数据集合中,至此,属性数据B的删除操作完成。
又例如:初始原始数据集合中属性数据D、中间数据集合E和目标结果数据集合F中存在依赖关系,此时,可整体删除此组依赖关系D-E-F。需要注意的是,此处的属性数据组的组成可以为初始原始数据集合、中间数据集合和目标结果数据集合中的任意组合,可以为三个集合中的任意两个,也可以为三个集合,同时,也可以为中间数据集合中的内部依赖关系组。
通过删除没有数据依赖关系的独立属性数据或存在依赖关系的属性数据组,实现程序的高效运行。
在上述实施例的基础上,本申请中还公开了另外一种数据处理的方法实施例。具体如下:图2是本发明另一实施例提供的数据处理方法的流程图。参见图2,一种数据处理方法,包括:
步骤201:获取初始源头数据集合。
步骤202:根据预设规则表达式结合初始源头数据集合确定数据依赖关系;数据依赖关系包括依赖关系和被依赖关系;数据依赖关系的具体形式又包括:初始源头数据集合中的初始原始数据与中间数据集合中的中间数据间的依赖关系;和/或中间数据集合中的中间数据之间的依赖关系。
步骤203:根据数据依赖关系计算得到中间数据集合。
步骤204:确定初始源头数据集合中无被依赖关系的第一属性数据;无被依赖关系则是指该属性数据后续不参与任何规则计算,为底层数据。
步骤205:确定中间数据集合中无被依赖关系的第二属性数据;
步骤206:将第一属性数据和/或第二属性数据构建目标结果数据集合。
所述方法中依赖初始源头数据及预设规则表达式,以此来确定数据间的数据依赖关系,通过数据依赖关系可以明确系统数据,及数据间的传输方向,以此实现系统数据传输的功能,同时由于预设规则表达式及依赖关系的限定,导致只要第1层初始源头数据集合的数据有任何变化就会影响下面所有关联层的数据(第2层中间数据集合或第3层目标结果数据集合通过各种关系规则表达式计算各种属性数据),第3层目标结果数据集合的所有属性也会自动变化刷新数据,这是数据驱动自动连锁反应,数据智能传输通信到第3层。
第1层初始源头数据集合中属性数据是第2层的属性数据和/或第3层的属性数据的依赖属性,对于第2层、第3层而言要依赖第1层属性数据;反过来理解,对于第1层属性数据而言,就是与第2层的属性数据和/或第3层的属性数据是被依赖关系,就是第1层被其他属性数据依赖。第1层属性数据不依赖其他任何属性数据,是整个系统中数据运算传输的开始。
第2层中间数据集合中属性数据,有2种情况,一种情况是第2层的属性数据和/或第3层的属性数据的依赖属性,即被依赖关系;另一种情况,依赖第1层属性数据和/或第2层属性数据的依赖属性,是依赖关系。第2层属性数据即依赖第1层和/或第2层种属性数据;第2层属性数据又被第2层和/或第3层中属性依赖,总的来说第2层属性数据起到承上启下的作用。
第3层属性数据依赖第1层和/或第2层的属性数据,第3层属性数据不被其他属性数据依赖,是整个系统运行的结束。
因此通过上述方法提高数据通信传输的效率,提高密码验证数据的安全性,减少成本,简单易操作,支持可视化操作。同时通过动态调整预设规则表达式和初始源头数据集合来提高数据控制的程度,实现更多的数据控制方法,解决更多的实际业务应用场景,更快速建立业务数据的数学模型。通过三个集合间的计算确定依赖关系数据,通过该依赖关系最终实现数据间的传输,此方法使用更少的研发技术、工具、更少的程序接口完成数据传输。数据传输更精准,提高可靠性、可用性、稳定性、共用性,数据传输过程能适应不断变化的业务场景。
为了更详细的介绍本申请中的数据之间的计算关系,现举例详细介绍数据处理过程。具体如下:
图3是本发明一实施例提供的数据处理方法的示意图。参见图3,本实施例中设定第1层为初始源头数据集合(n集合、最顶层),第2层-第s层当中是其他属性数据的依赖属性,对应中间数据集合,第3层-第s层当中不是其他属性数据的依赖属性,为最底层,对应目标结果数据集合。
举例说明:
设定第1层数据(初始源头数据)为m、n、p、t;
预设规则表达式及第2层、第3层的数据如下:
q=m+n
o=n+p
r=m+p
w=t+m+n
b=n+p+t第3层最底层(结果值)
y=q+w
v=r+o
a=w
c=y*a
d=y*v
e=a/v
f=y*a*20/v第3层最底层(结果值)
h=c+d第3层最底层(结果值)
j=(e+d)*1000第3层最底层(结果值)
k=(c+e)/24第3层最底层(结果值)
由上述计算可知,b、f、h、j、k为无数据依赖关系的属性数据,后期不参与任何规则计算,因此为第3层数据,即目标结果数据。而数据q、o、r、w、y、v、a、c、d、e为第2层的中间数据。
从图中可知,第2层中又分为三层,其中一层q、o、r、w由第1层中的m、n、p、t数据计算得到,二层y、v、a由一层q、o、r、w数据计算得到,三层c、d、e由二层y、v、a数据计算得到。其中,数据b、f本应是第2层的数据,但是因为二者后续不参加任何规则计算,所以归为第3层数据。
图3中数据处理方法为第1层数据通过规则计算得到第2层的一层数据,第2层的一层数据经过规则计算得到第2层的二层数据,第2层的二层数据经过规则计算得到第2层的三层数据,第2层的一层、二层和三层数据得到第3层数据。
在上述计算规则的基础上,本申请中还公开了另外一种计算规则,具体如下:图4是本发明另一实施例提供的数据处理方法的示意图。参见图4,设定第1层数据(初始源头数据)为i、j、k;
预设规则表达式及第2层、第3层的数据如下:
q=i+j
o=j+k
s=o+k
r=i+o+s
u=j+r
y=r
v=y+o
w=v
t=q+u第3层最底层(结果值)
x=i+v第3层最底层(结果值)
z=w+k第3层最底层(结果值)
由上述规则表达式可知,数据t、x、z为无数据依赖关系的数据,后续不参与任何规则计算,为最底层数据,因此属于第3层目标结果数据集合,数据q、o、s、r、u、y、v、w为第2层中间数据集合的数据。
从图4中可知,第1层数据通过规则计算后得到的并不一定是第2层的一层数据。也就是说第2层中的数据的依赖关系并不是单纯的上一层的依赖关系,第2层中的数据依赖关系更加复杂多变。
上述两个实施例中分别介绍了两种不同的计算规则,以此实现了数据间的关联计算,通过上述方法不但可以实现数据的安全性保障,还能实现数据间的快速传输。
对应于本发明实施例提供的一种数据处理方法,本发明实施例还提供一种数据处理装置。请参见下文实施例。图5是本发明一实施例提供的数据处理装置的模块图。参见图5,一种数据处理装置,包括:
初始数据获取模块501,用于获取初始源头数据集合;
中间数据确定模块502,用于根据预设规则表达式结合初始源头数据集合进行数据处理得到中间数据集合。其中,该模块还包括:依赖关系确定单元,用于根据预设规则表达式结合初始源头数据集合确定数据依赖关系;数据依赖关系包括依赖关系和被依赖关系;依赖关系计算单元,用于根据数据依赖关系计算得到中间数据集合。
目标数据计算模块503,用于根据初始源头数据集合和/或中间数据集合计算得到目标结果数据集合。
上述装置中通过预设规则表达式进行计算,决定了智能软件在运行时有什么样初始源头数据集合数据和有什么样属性路径及其规则表达式数据计算(中间数据集合的管理执行过程),就会造成什么样的通信传输结果数据(目标结果数据集合)。通过上述装置不但确保了数据的安全性能,还实现了数据间的快速通信传输。
在上述实施例的基础上,本实施例中装置还包括:待删除数据确定模块,用于确定初始源头数据集合和/或中间数据集合中的待删除数据;待删除数据包括无数据依赖关系的独立属性数据和/或存在数据依赖关系的属性数据组;数据删除模块,用于删除待删除数据。
通过删除冗余属性数据,提高了系统数据的处理效率,降低数据的存储空间。
为了更清楚地介绍实现本发明实施例的硬件系统,对应于本发明实施例提供的一种数据处理方法,本发明实施例还提供一种数据处理设备。请参见下文实施例。
图6是本发明一实施例提供的数据处理设备的结构图。参见图6,一种数据处理设备,包括:
处理器601,以及与处理器601相连接的存储器602;
存储器602用于存储计算机程序,计算机程序至少用于执行上述的数据处理方法;处理器601用于调用并执行存储器602中的计算机程序。
在上述基础上,本申请中还公开了一种存储介质,该存储介质存储有计算机程序,计算机程序被处理器601执行时,实现如上述数据处理方法中各个步骤。
采用上述数据处理设备能实现智能数据通信传输控制,且能确保数据传输过程中的信息安全。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (7)
1.一种数据处理方法,其特征在于,包括:
获取初始源头数据集合;
根据预设规则表达式结合所述初始源头数据集合进行数据处理得到中间数据集合;
根据所述初始源头数据集合和/或所述中间数据集合计算得到目标结果数据集合;
所述根据预设规则表达式结合所述初始源头数据集合进行数据处理得到中间数据集合,包括:
根据所述预设规则表达式结合所述初始源头数据集合确定数据依赖关系;所述数据依赖关系包括依赖关系和被依赖关系;
根据所述数据依赖关系计算得到所述中间数据集合;
确定所述初始源头数据集合和/或所述中间数据集合中的待删除数据;所述待删除数据包括无数据依赖关系的独立属性数据和/或存在数据依赖关系的属性数据组;
删除所述待删除数据。
2.根据权利要求1所述的方法,其特征在于,所述数据依赖关系包括:
所述初始源头数据集合中的初始原始数据与所述中间数据集合中的中间数据间的依赖关系;和/或所述中间数据集合中的中间数据之间的依赖关系。
3.根据权利要求1所述的方法,其特征在于,所述根据所述初始源头数据集合和/或所述中间数据集合计算得到目标结果数据集合,包括:
确定所述初始源头数据集合中无被依赖关系的第一属性数据;
确定所述中间数据集合中无被依赖关系的第二属性数据;
将所述第一属性数据和/或所述第二属性数据构建所述目标结果数据集合。
4.一种数据处理装置,其特征在于,包括:
初始数据获取模块,用于获取初始源头数据集合;
中间数据确定模块,用于根据预设规则表达式结合所述初始源头数据集合进行数据处理得到中间数据集合;
目标数据计算模块,用于根据所述初始源头数据集合和/或所述中间数据集合计算得到目标结果数据集合;
依赖关系确定单元,用于根据所述预设规则表达式结合所述初始源头数据集合确定数据依赖关系;所述数据依赖关系包括依赖关系和被依赖关系;
依赖关系计算单元,用于根据所述数据依赖关系计算得到所述中间数据集合;
待删除数据确定模块,用于确定所述初始源头数据集合和/或所述中间数据集合中的待删除数据;所述待删除数据包括无数据依赖关系的独立属性数据和/或存在数据依赖关系的属性数据组;
数据删除模块,用于删除所述待删除数据。
5.根据权利要求4所述的装置,其特征在于,还包括:
待删除数据确定模块,用于确定所述初始源头数据集合和/或所述中间数据集合中的待删除数据;所述待删除数据包括无数据依赖关系的独立属性数据和/或存在数据依赖关系的属性数据组;
数据删除模块,用于删除所述待删除数据。
6.一种数据处理设备,其特征在于,包括:
处理器,以及与所述处理器相连接的存储器;
所述存储器用于存储计算机程序,所述计算机程序至少用于执行权利要求1-3任一项所述的数据处理方法;
所述处理器用于调用并执行所述存储器中的所述计算机程序。
7.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现如权利要求1-3任一项所述的数据处理方法中各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010288472.7A CN111506440B (zh) | 2020-04-14 | 2020-04-14 | 一种数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010288472.7A CN111506440B (zh) | 2020-04-14 | 2020-04-14 | 一种数据处理方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111506440A CN111506440A (zh) | 2020-08-07 |
CN111506440B true CN111506440B (zh) | 2022-11-04 |
Family
ID=71875971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010288472.7A Active CN111506440B (zh) | 2020-04-14 | 2020-04-14 | 一种数据处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111506440B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103077022A (zh) * | 2012-12-27 | 2013-05-01 | 中国建设银行股份有限公司 | 一种作业流程可视化的作业配置方法和装置 |
CN110019383A (zh) * | 2017-07-26 | 2019-07-16 | 香港理工大学深圳研究院 | 一种关联规则挖掘方法、装置及计算机可读存储介质 |
CN110059301A (zh) * | 2019-03-12 | 2019-07-26 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
CN110895544A (zh) * | 2018-08-24 | 2020-03-20 | 北京国双科技有限公司 | 一种接口数据处理方法、装置、系统及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555047B (zh) * | 2018-03-29 | 2024-03-15 | 日本电气株式会社 | 数据处理方法和电子设备 |
-
2020
- 2020-04-14 CN CN202010288472.7A patent/CN111506440B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103077022A (zh) * | 2012-12-27 | 2013-05-01 | 中国建设银行股份有限公司 | 一种作业流程可视化的作业配置方法和装置 |
CN110019383A (zh) * | 2017-07-26 | 2019-07-16 | 香港理工大学深圳研究院 | 一种关联规则挖掘方法、装置及计算机可读存储介质 |
CN110895544A (zh) * | 2018-08-24 | 2020-03-20 | 北京国双科技有限公司 | 一种接口数据处理方法、装置、系统及存储介质 |
CN110059301A (zh) * | 2019-03-12 | 2019-07-26 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111506440A (zh) | 2020-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10749668B2 (en) | Reduction in storage usage in blockchain | |
US10896166B2 (en) | Management of snapshot in blockchain | |
US10453165B1 (en) | Computer vision machine learning model execution service | |
US20200104404A1 (en) | Seamless migration of distributed systems | |
CN104951623A (zh) | 一种基于模型的航空电子系统接口管理系统 | |
US20160162787A1 (en) | Integrating rule based computer systems with distributed data processing using control at edge agents | |
US10275504B2 (en) | Updating database statistics with dynamic profiles | |
US10839329B2 (en) | Process execution using rules framework flexibly incorporating predictive modeling | |
US20220240440A1 (en) | Agricultural tool unit for rapid conversion of a combination seed drill having a trailed or fine-grain seed dispenser to an on-demand supply system and vice versa | |
US20100131253A1 (en) | Fair path selection during simulation of decision nodes | |
US20180018367A1 (en) | Remote query optimization in multi data sources | |
CN111506440B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
US20170255885A1 (en) | Computer system and method for modelling a business operation | |
US20070282888A1 (en) | Dynamic data stream histograms for large ranges | |
CN112181376A (zh) | 代码资源管理方法、装置、电子设备和介质 | |
CN114757448B (zh) | 一种基于数据空间模型的制造环节间最优价值链构建方法 | |
US20200320632A1 (en) | Method and system for time series data quality management | |
CN115345600A (zh) | 一种rpa流程的生成方法和装置 | |
Borrmann et al. | AEC Digital Twin Data-Why Structure Matters | |
US20200193231A1 (en) | Training Model Generation | |
CN116258362B (zh) | 工作流的生成方法、系统、设备及介质 | |
CN112836965B (zh) | 压力调控方案的选取方法和装置 | |
US11841857B2 (en) | Query efficiency using merged columns | |
CN117609341B (zh) | 一种电网的数字孪生系统 | |
US20210349902A1 (en) | Database query processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |