CN110968347A - 一种数据处理的方法及装置 - Google Patents
一种数据处理的方法及装置 Download PDFInfo
- Publication number
- CN110968347A CN110968347A CN201911211374.7A CN201911211374A CN110968347A CN 110968347 A CN110968347 A CN 110968347A CN 201911211374 A CN201911211374 A CN 201911211374A CN 110968347 A CN110968347 A CN 110968347A
- Authority
- CN
- China
- Prior art keywords
- bitmap
- boolean variable
- data
- processed
- logic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
- G06F9/30029—Logical and Boolean instructions, e.g. XOR, NOT
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据处理的方法及装置,其中,该数据处理的方法通过针对每一待处理数据,获取该待处理数据包含的逻辑事件的布尔变量值,按照预设的逻辑事件顺序生成该待处理数据对应的布尔变量行,合并具有相同布尔变量值的布尔变量行,基于合并处理的布尔变量行,生成待运算位图,依据预设的目标逻辑运算符对应的目标运算位图,从所述待运算位图中提取所述目标运算位图对应的待运算位图,依据所述目标逻辑运算符对提取的所述待运算位图进行逻辑运算。可以提高数据的处理效率。
Description
技术领域
本发明涉及数据分析技术领域,具体而言,涉及一种数据处理的方法及装置。
背景技术
近年来,随着大数据、云计算技术的不断发展,如何高效地处理大数据成为数据处理以及分析领域中的一个突出问题。在处理大数据时,常需要求解亿万量级数据的逻辑运算结果。例如,对于一个m行n列的大数据矩阵,其中n列对应的是n种逻辑事件,这n种逻辑事件对应的取值为0或1,若需要求解该矩阵中第一列∧第四列的结果值为真(1)对应的数据。
为求解所述结果为真的数据,现有技术主要通过分布式计算引擎将矩阵中的数据行进行分区,进而依据第一列∧第四列的布尔表达式,在各分区内对数据行中的数据逐一进行逻辑运算,将逻辑运算的结果进行汇总,得到该矩阵中第一列∧第四列的结果为真的数据。但该数据处理的方法,由于需要对矩阵中的每一行数据逐一进行逻辑运算,导致数据计算量庞大,数据处理效率较低。
发明内容
有鉴于此,本发明的目的在于提供一种数据处理的方法及装置,以提高对数据的处理效率。
第一方面,本发明实施例提供了数据处理的方法,所述方法包括:
针对每一待处理数据,获取该待处理数据包含的逻辑事件的布尔变量值,按照预设的逻辑事件顺序生成该待处理数据对应的布尔变量行;
合并具有相同布尔变量值的布尔变量行;
基于合并处理的布尔变量行,生成待运算位图;
依据预设的目标逻辑运算符对应的目标运算位图,从所述待运算位图中提取所述目标运算位图对应的待运算位图,依据所述目标逻辑运算符对提取的所述待运算位图进行逻辑运算。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,在所述针对每一待处理数据,获取该待处理数据包含的逻辑事件的布尔变量值之前,所述方法还包括:
获取所有待处理数据包含的逻辑事件;
依据获取的所述逻辑事件,构建表征所述逻辑事件顺序的逻辑事件行;
所述逻辑事件行的列数量为所有待处理数据中包含的无重复的逻辑事件数。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述按照预设的逻辑事件顺序生成该待处理数据对应的布尔变量行,包括:
遍历所述待处理数据包含的逻辑事件,针对每一逻辑事件,从所述逻辑事件行中,获取该逻辑事件所在的列,将该逻辑事件对应的布尔变量值填充至获取的列;
依据填充有布尔变量值的列,得到所述待处理数据对应的布尔变量行。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,所述合并具有相同布尔变量值的布尔变量行,包括:
遍历各布尔变量行,获取每列的布尔变量值均相同的布尔变量行;
保留其中一布尔变量行,获取该保留的布尔变量行对应的标识;
将获取的剩余布尔变量行对应的待处理数据对应的标识添加至获取的标识中。
结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中,所述依据预设的目标逻辑运算符对应的目标运算位图,从所述待运算位图中提取所述目标运算位图对应的待运算位图,包括:
若多个所述目标运算位图对应的待运算位图对应同一待运算位图,对该待运算位图进行一次提取。
结合第一方面,本发明实施例提供了第一方面的第五种可能的实施方式,其中,所述方法还包括:
从逻辑运算的结果值中,筛选出符合预设期望值的结果值对应的目标运算位图;
获取所述符合预设期望值的结果值对应的目标运算位图对应的待处理数据,得到符合预设期望值的期望数据。
第二方面,本发明实施例还提供了一种数据处理的装置,所述装置包括:
布尔变量行生成模块,用于针对每一待处理数据,获取该待处理数据包含的逻辑事件的布尔变量值,按照预设的逻辑事件顺序生成该待处理数据对应的布尔变量行;
合并模块,用于合并具有相同布尔变量值的布尔变量行;
位图生成模块,用于基于合并处理的布尔变量行,生成待运算位图;
运算模块,用于依据预设的目标逻辑运算符对应的目标运算位图,从所述待运算位图中提取所述目标运算位图对应的待运算位图,依据所述目标逻辑运算符对提取的所述待运算位图进行逻辑运算。
第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述数据处理的方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述数据处理的方法的步骤。
本发明实施例提供的数据处理的方法及装置,通过针对每一待处理数据,获取该待处理数据包含的逻辑事件的布尔变量值,按照预设的逻辑事件顺序生成该待处理数据对应的布尔变量行,合并具有相同布尔变量值的布尔变量行,基于合并处理的布尔变量行,生成待运算位图,依据预设的目标逻辑运算符对应的目标运算位图,从所述待运算位图中提取所述目标运算位图对应的待运算位图,依据所述目标逻辑运算符对提取的所述待运算位图进行逻辑运算。这样,基于合并处理的布尔变量行,生成待运算位图,依据所述目标逻辑运算符对提取的所述待运算位图进行逻辑运算,由于所述数据处理的方法以待运算位图作为运算对象,不必对数据逐一进行逻辑运算,缩减了数据的运算量,因此提高了数据处理效率。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的数据处理的方法的流程示意图;
图2示出了本发明实施例所提供的另一种数据处理的方法的流程示意图;
图3对照性的示出了图2所示的数据处理的方法各步骤的具体可选实施例;
图4示出了本发明实施例所提供的数据处理的装置结构示意图;
图5为本申请实施例提供的一种计算机设备500的结构示意图。
主要元件符号说明:401-布尔变量行生成模块;402-合并模块;403-位图生成模块;404-运算模块;500-计算机设备;501-存储器;502-处理器。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种数据处理的方法和装置,下面通过实施例进行描述。
实施例一
图1示出了本发明实施例所提供的数据处理的方法的流程示意图,该方法包括步骤S101-S104;具体的:
S101,针对每一待处理数据,获取该待处理数据包含的逻辑事件的布尔变量值,按照预设的逻辑事件顺序生成该待处理数据对应的布尔变量行。
本申请实施例中,作为一可选实施例,在所述针对每一待处理数据,获取该待处理数据包含的逻辑事件的布尔变量值之前,所述方法还包括:
获取所有待处理数据包含的逻辑事件;
依据获取的所述逻辑事件,构建表征所述逻辑事件顺序的逻辑事件行;
所述逻辑事件行的列数量为所有待处理数据中包含的无重复的逻辑事件数。
示例性的说明,例如,待处理数据为一个由m个数据构成的数据组X,其中,每一个数据中包含的逻辑事件个数不定,获取数据组X包含的逻辑事件,经统计数据组X包含的无重复的逻辑事件个数为n,因此,依据获取的所述无重复的逻辑事件,构建表征所述逻辑事件顺序的逻辑事件行,其中所述逻辑事件行的列数量为n,针对每一个数据,获取该数据包含的逻辑事件的布尔变量值。
本申请实施例中,作为一可选实施例,所述逻辑事件顺序可以为所有待处理数据中包含的无重复的逻辑事件被统计出的时间先后顺序。
示例性的说明,例如,数据组X包含的无重复的逻辑事件个数为n,若数据组X包含的所述无重复的逻辑事件被统计出的时间先后顺序为:V1、V2……Vn,则将所述无重复的逻辑事件按照V1、V2……Vn的顺序进行排列,构建表征该顺序的逻辑事件行。
本申请实施例中,作为一可选实施例,所述按照预设的逻辑事件顺序生成该待处理数据对应的布尔变量行,包括:
遍历所述待处理数据包含的逻辑事件,针对每一逻辑事件,从所述逻辑事件行中,获取该逻辑事件所在的列,将该逻辑事件对应的布尔变量值填充至获取的列;
依据填充有布尔变量值的列,得到所述待处理数据对应的布尔变量行。
示例性的说明,例如,可以认为每个待处理数据中包含的逻辑事件代表该逻辑事件发生,即该逻辑事件对应的布尔变量值为1,仍以上述举例中的数据组X为例,若数据i包含逻辑事件1、逻辑事件4以及逻辑事件9,逻辑事件1所在的列为V1、逻辑事件4所在的列为V4、逻辑事件9所在的列为V9,数据i对应的逻辑事件行为第i行,则在第i行中,将V1列、V4列以及V9列填充为1,将剩余未填充的V2、V3、V5-V8、V10……Vn列填充为0,得到数据子集i对应的布尔变量行为:10010000100……0,其中布尔变量行的列数为n。
S102,合并具有相同布尔变量值的布尔变量行。
本申请实施例中,为了缩减运算量,提高数据处理效率,作为一可选实施例,所述合并具有相同布尔变量值的布尔变量行,包括:
遍历各布尔变量行,获取每列的布尔变量值均相同的布尔变量行;
保留其中一布尔变量行,获取该保留的布尔变量行对应的标识;
将获取的剩余布尔变量行对应的待处理数据对应的标识添加至获取的标识中。
示例性的说明,例如,遍历m行布尔变量行,获取到第一行、第三行与第五行都只有V1列、V2列以及V4列的布尔变量值为1,即第一行、第三行与第五行对应的布尔变量行均为:11010000……0,获取第一行对应的标识为id1、第三行对应的标识为id3、第五行对应的标识为id5,则只保留第一行布尔变量行,将第一行布尔变量行对应的标识变为:id1、id3、id5。
S103,基于合并处理的布尔变量行,生成待运算位图。
本申请实施例中,作为一可选实施例,可以将合并处理后的布尔变量行作为第一列,将各布尔变量行对应的标识作为第二列,生成待运算位图。
示例性的说明,例如,m行布尔变量行中只有第1行、第三行与第五行属于具有相同布尔变量值的布尔变量行,合并处理后,布尔变量行总数变为m-2行,其中第一行布尔变量行对应的标识变为:id1、id3、id5,删除第三行与第五行,剩余布尔变量行对应的标识不变,基于合并处理的布尔变量行,生成待运算位图,所生成的待运算位图行数为m-2行,列数为两列,每一行的第一列为该行对应的布尔变量行,第二列为该布尔变量行对应的标识,以第一行为例,所述待运算位图的第一行为:
11010000……0 | id1、id3、id5 |
S104,依据预设的目标逻辑运算符对应的目标运算位图,从所述待运算位图中提取所述目标运算位图对应的待运算位图,依据所述目标逻辑运算符对提取的所述待运算位图进行逻辑运算。
本申请实施例中,为了避免重复运算,提高数据处理效率,作为一可选实施例,所述依据预设的目标逻辑运算符对应的目标运算位图,从所述待运算位图中提取所述目标运算位图对应的待运算位图,包括:
若多个所述目标运算位图对应的待运算位图对应所述待运算位图中的同一待运算位图,对该待运算位图进行一次提取。
示例性的说明,例如,若预设的目标逻辑运算符为:V1∧V2∧V3∨V4,则预设的目标逻辑运算符对应的目标运算位图为所述待运算位图中每一行的第一列、第二列、第三列以及第四列组成的运算位图,从所述待运算位图中提取每一行的第一列、第二列、第三列以及第四列对应的运算位图,此时由于所述布尔变量行位图是经过合并处理的,因此只需依据所述目标逻辑运算符直接对提取出的各行的第一列、第二列、第三列以及第四列对应的运算位图进行逻辑运算;若预设的目标逻辑运算符为:id1∧id3∨id4,则预设的目标逻辑运算符对应的目标运算位图为所述待运算位图中标识id1、id3、id4所对应的布尔变量行,从所述待运算位图中提取id1、id3以及id4对应的布尔变量行,若id1与id3均对应第一行布尔变量行,则对第一行布尔变量行进行一次提取即可,依据所述目标逻辑运算符对提取出的第一行布尔变量行以及id4对应的布尔变量行进行逻辑运算。
本申请实施例中,作为一可选实施例,所述方法还包括:
从逻辑运算的结果值中,筛选出符合预设期望值的结果值对应的目标运算位图;
获取所述符合预设期望值的结果值对应的目标运算位图对应的待处理数据,得到符合预设期望值的期望数据。
示例性的说明,例如,经过目标逻辑运算符为:V1∧V2∧V3∨V4的逻辑运算,得到id2、id3对应的目标运算位图的逻辑运算结果为真,若预设期望为:结果为真,则获取id2、id3对应的待处理数据作为符合预设期望值的期望数据,若预设期望为:结果为假,则获取id1、id4……idn对应的待处理数据作为符合预设期望值的期望数据。
实施例二
图2示出了本发明实施例所提供的另一种数据处理的方法的流程示意图,该方法包括步骤S201-S205;具体的:
S201与步骤S101相同,在此不再赘述。
示例性的说明,例如图3中的a所示,待运算数据可以为一个由m个数据构成的数据组X,其中,ID列为每一数据对应的标识,每一个数据中包含的逻辑事件个数不定,获取数据组X包含的逻辑事件,经统计数据组X包含的无重复的逻辑事件个数为n。因此,依据获取的所述无重复的逻辑事件,构建表征所述逻辑事件顺序的逻辑事件行,所述逻辑事件行的列数量为n,针对每一个数据,获取该数据包含的逻辑事件的布尔变量值,按照预设的逻辑事件顺序:V1、V2……Vn,生成该待运算数据对应的布尔变量行。
S202与步骤S102相同,S203与步骤S103相同在此不再赘述。
示例性的说明,例如,合并具有相同布尔变量行的id1与id5、id2与id8,得到如图3中的b所示的待运算位图。
S204,依据预设的目标逻辑运算符对应的目标运算位图,从所述待运算位图中提取所述目标运算位图对应的待运算位图,分区存储提取的所述待运算位图。
本申请实施例中,作为一可选实施例,为了进一步缩减数据的运算量,可以利用分布式存储系统,分布存储所述待运算位图。
示例性的说明,例如图3中的c所示,所述待运算位图存储在分布存储系统中,预设的目标逻辑运算符为:V1∧V2∧V3∨V4,则预设的目标逻辑运算符对应的目标运算位图为所述待运算位图中每一行的第一、二、三、四列,从所述待运算位图中提取每一行的第一、二、三、四列,利用分布式存储系统,如图3中的d所示,将提取的所述待运算位图分区存储到k个分区中。
S205,依据所述目标逻辑运算符以及分区内的协处理器,对该分区的所述待运算位图进行逻辑运算。
本申请实施例中,作为一可选实施例,如图3中的e所示,为了进一步提高数据的处理效率,可以在各分区内分别使用协处理器,对该分区的所述待运算位图进行逻辑运算。
示例性的说明,例如,以分区1协处理器为例,预设的目标逻辑运算符为:V1∧V2∧V3∨V4,若分区1中包含所述待运算位图中id1、id5、id2、id8以及id3所对应的布尔变量行的第一、二、三、四列,则分区1协处理器依据所述目标逻辑运算符对分区内的所述待运算位图进行逻辑运算,得到分区1的逻辑运算结果为:id1、id5结果为假,id2、id8、id3结果为真,如图3中的f所示,将各分区的逻辑运算结果进行汇总,得到所有待处理数据的逻辑运算结果。
本申请实施例中,作为一可选实施例,还可以从逻辑运算的结果值中,筛选出符合预设期望值的结果值对应的目标运算位图,获取所述符合预设期望值的结果值对应的目标运算位图对应的待处理数据,得到符合预设期望值的期望数据。
实施例三
图4示出了本发明实施例所提供的数据处理的装置结构示意图,该装置包括:
布尔变量行生成模块401,针对每一待处理数据,获取该待处理数据包含的逻辑事件的布尔变量值,按照预设的逻辑事件顺序生成该待处理数据对应的布尔变量行;
本申请实施例中,作为一可选实施例,所述逻辑事件为所有待处理数据中包含的无重复的逻辑事件,所述预设的逻辑事件顺序可以为所述无重复的逻辑事件被统计出的时间先后顺序。
合并模块402,用于合并具有相同布尔变量值的布尔变量行;
本申请实施例中,作为一可选实施例,所述合并具有相同布尔变量值的布尔变量行,包括:
遍历各布尔变量行,获取每列的布尔变量值均相同的布尔变量行;
保留其中一布尔变量行,获取该保留的布尔变量行对应的标识;
将获取的剩余布尔变量行对应的待处理数据对应的标识添加至获取的标识中。
位图生成模块403,基于合并处理的布尔变量行,生成待运算位图;
运算模块404,依据预设的目标逻辑运算符对应的目标运算位图,从所述待运算位图中提取所述目标运算位图对应的待运算位图,依据所述目标逻辑运算符对提取的所述待运算位图进行逻辑运算。
本申请实施例中,作为一可选实施例,布尔变量行生成模块401,包括:
逻辑事件列生成单元,用于确定待处理数据包含的逻辑事件,生成逻辑事件列,其中,所述逻辑事件列的数量为所有待处理数据中包含的无重复的逻辑事件数;
行构建单元,用于按照预设的逻辑事件顺序,构建逻辑事件行;
列构建单元,用于遍历所述待处理数据包含的逻辑事件,针对每一逻辑事件,从所述逻辑事件行中,获取该逻辑事件所在的列,将该逻辑事件对应的布尔变量值填充至获取的列;
布尔变量行生成单元,依据填充有布尔变量值的列,得到所述待处理数据对应的布尔变量行。
本申请实施例中,作为一可选实施例,合并模块402,包括:
数据获取单元,用于遍历各布尔变量行,获取每列的布尔变量值均相同的布尔变量行;
标识获取单元,用于保留其中一布尔变量行,获取该保留的布尔变量行对应的标识;
标识添加单元,用于将获取的剩余布尔变量行对应的待处理数据对应的标识添加至获取的标识中。
作为一可选实施例,所述装置还包括:
位图筛选单元(图中未示出),依据逻辑运算的结果以及预设的期望真假值,筛选出符合预设期望真或假的所述待运算位图;
期望数据列表生成单元(图中未示出),用于通过获取筛选出的所述待运算位图对应的待处理数据,生成期望数据列表,以使用户依据所述期望数据列表筛选出符合预设期望的所述待处理数据。
实施例四
参见图5所示,本申请一实施例提供了一种计算机设备500,用于执行上述任意一种实施例中的数据处理的方法,该设备包括存储器501、处理器502及存储在该存储器501上并可在该处理器502上运行的计算机程序,其中,上述处理器502执行上述计算机程序时实现上述数据处理的方法的步骤。
具体地,上述存储器501和处理器502能够为通用的存储器和处理器,这里不做具体限定,当处理器502运行存储器501存储的计算机程序时,能够执行上述数据处理的方法。
对应于本申请所提供的数据处理的方法,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述数据处理的方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述数据处理的方法。
在本申请所提供的实施例中,应该理解到,所揭露系统和方法,可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,系统或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (9)
1.一种数据处理的方法,其特征在于,所述方法包括:
针对每一待处理数据,获取该待处理数据包含的逻辑事件的布尔变量值,按照预设的逻辑事件顺序生成该待处理数据对应的布尔变量行;
合并具有相同布尔变量值的布尔变量行;
基于合并处理的布尔变量行,生成待运算位图;
依据预设的目标逻辑运算符对应的目标运算位图,从所述待运算位图中提取所述目标运算位图对应的待运算位图,依据所述目标逻辑运算符对提取的所述待运算位图进行逻辑运算。
2.根据权利要求1所述的方法,其特征在于,在所述针对每一待处理数据,获取该待处理数据包含的逻辑事件的布尔变量值之前,所述方法还包括:
获取所有待处理数据包含的逻辑事件;
依据获取的所述逻辑事件,构建表征所述逻辑事件顺序的逻辑事件行;
所述逻辑事件行的列数量为所有待处理数据中包含的无重复的逻辑事件数。
3.根据权利要求2所述的方法,其特征在于,所述按照预设的逻辑事件顺序生成该待处理数据对应的布尔变量行,包括:
遍历所述待处理数据包含的逻辑事件,针对每一逻辑事件,从所述逻辑事件行中,获取该逻辑事件所在的列,将该逻辑事件对应的布尔变量值填充至获取的列;
依据填充有布尔变量值的列,得到所述待处理数据对应的布尔变量行。
4.根据权利要求1所述的方法,其特征在于,所述合并具有相同布尔变量值的布尔变量行,包括:
遍历各布尔变量行,获取每列的布尔变量值均相同的布尔变量行;
保留其中一布尔变量行,获取该保留的布尔变量行对应的标识;
将获取的剩余布尔变量行对应的待处理数据对应的标识添加至获取的标识中。
5.根据权利要求1所述的方法,其特征在于,所述依据预设的目标逻辑运算符对应的目标运算位图,从所述待运算位图中提取所述目标运算位图对应的待运算位图,包括:
若多个所述目标运算位图对应的待运算位图对应同一待运算位图,对该待运算位图进行一次提取。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:
从逻辑运算的结果值中,筛选出符合预设期望值的结果值对应的目标运算位图;
获取所述符合预设期望值的结果值对应的目标运算位图对应的待处理数据,得到符合预设期望值的期望数据。
7.一种数据处理的装置,其特征在于,包括:
布尔变量行生成模块,用于针对每一待处理数据,获取该待处理数据包含的逻辑事件的布尔变量值,按照预设的逻辑事件顺序生成该待处理数据对应的布尔变量行;
合并模块,用于合并具有相同布尔变量值的布尔变量行;
位图生成模块,用于基于合并处理的布尔变量行,生成待运算位图;
运算模块,用于依据预设的目标逻辑运算符对应的目标运算位图,从所述待运算位图中提取所述目标运算位图对应的待运算位图,依据所述目标逻辑运算符对提取的所述待运算位图进行逻辑运算。
8.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的数据处理的方法的步骤。
9.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的数据处理的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911211374.7A CN110968347B (zh) | 2019-12-02 | 2019-12-02 | 一种数据处理的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911211374.7A CN110968347B (zh) | 2019-12-02 | 2019-12-02 | 一种数据处理的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110968347A true CN110968347A (zh) | 2020-04-07 |
CN110968347B CN110968347B (zh) | 2021-09-17 |
Family
ID=70032452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911211374.7A Active CN110968347B (zh) | 2019-12-02 | 2019-12-02 | 一种数据处理的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110968347B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1426193A (zh) * | 2001-12-12 | 2003-06-25 | 三菱电机株式会社 | 数据传送组合决定方法及组合决定电路 |
US7092954B1 (en) * | 2001-12-31 | 2006-08-15 | Ncr Corporation | Optimizing an equi-join operation using a bitmap index structure |
CN102402437A (zh) * | 2010-09-09 | 2012-04-04 | 联想(北京)有限公司 | 一种数据处理设备及其下载控制方法 |
CN105469342A (zh) * | 2015-11-19 | 2016-04-06 | 浙江工业大学 | 一种健康体检套餐的限额组合方法 |
US20160125021A1 (en) * | 2014-10-31 | 2016-05-05 | Microsoft Corporation | Efficient updates in non-clustered column stores |
CN108874744A (zh) * | 2017-05-08 | 2018-11-23 | 辉达公司 | 矩阵乘积累加运算的广义加速 |
CN109375950A (zh) * | 2009-12-22 | 2019-02-22 | 英特尔公司 | 位范围隔离指令、方法和装置 |
CN110349245A (zh) * | 2018-04-05 | 2019-10-18 | 想象技术有限公司 | 高精度纹理过滤 |
CN110349076A (zh) * | 2019-07-18 | 2019-10-18 | 秒针信息技术有限公司 | 数据的处理方法及装置 |
-
2019
- 2019-12-02 CN CN201911211374.7A patent/CN110968347B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1426193A (zh) * | 2001-12-12 | 2003-06-25 | 三菱电机株式会社 | 数据传送组合决定方法及组合决定电路 |
US7092954B1 (en) * | 2001-12-31 | 2006-08-15 | Ncr Corporation | Optimizing an equi-join operation using a bitmap index structure |
CN109375950A (zh) * | 2009-12-22 | 2019-02-22 | 英特尔公司 | 位范围隔离指令、方法和装置 |
CN102402437A (zh) * | 2010-09-09 | 2012-04-04 | 联想(北京)有限公司 | 一种数据处理设备及其下载控制方法 |
US20160125021A1 (en) * | 2014-10-31 | 2016-05-05 | Microsoft Corporation | Efficient updates in non-clustered column stores |
CN105469342A (zh) * | 2015-11-19 | 2016-04-06 | 浙江工业大学 | 一种健康体检套餐的限额组合方法 |
CN108874744A (zh) * | 2017-05-08 | 2018-11-23 | 辉达公司 | 矩阵乘积累加运算的广义加速 |
CN110349245A (zh) * | 2018-04-05 | 2019-10-18 | 想象技术有限公司 | 高精度纹理过滤 |
CN110349076A (zh) * | 2019-07-18 | 2019-10-18 | 秒针信息技术有限公司 | 数据的处理方法及装置 |
Non-Patent Citations (1)
Title |
---|
闫林: "基于结构粒化的数据合并方法", 《计算机应用》 * |
Also Published As
Publication number | Publication date |
---|---|
CN110968347B (zh) | 2021-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107609217B (zh) | 碰撞校核数据的处理方法及装置 | |
US10740378B2 (en) | Method for presenting information volume for each item in document group | |
CN110110172B (zh) | 信息展示方法和装置 | |
CN112527848B (zh) | 基于多数据源的报表数据查询方法、装置、系统及存储介质 | |
CN111967521B (zh) | 跨境活跃用户识别方法及装置 | |
CN110689084A (zh) | 一种异常用户识别方法及装置 | |
CN115203435A (zh) | 基于知识图谱的实体关系生成方法及数据查询方法 | |
CN111126028A (zh) | 数据处理方法、装置及设备 | |
CN114780606B (zh) | 一种大数据挖掘方法及系统 | |
CN112988440A (zh) | 一种系统故障预测方法、装置、电子设备及存储介质 | |
CN110968347B (zh) | 一种数据处理的方法及装置 | |
CN110362540B (zh) | 一种数据存储、访客数获取方法及装置 | |
CN111158732A (zh) | 访问数据处理方法、装置、计算机设备及存储介质 | |
CN110929207B (zh) | 数据处理方法、装置和计算机可读存储介质 | |
CN110263017B (zh) | 一种基于球面网格遥感数据文件集的键值存储方法及装置 | |
CN113434507A (zh) | 数据文本化方法、装置、设备及存储介质 | |
CN112528189A (zh) | 基于数据的组件封装方法、装置、计算机设备及存储介质 | |
CN111124854A (zh) | 一种冒烟测试用例分配方法、系统、终端及存储介质 | |
CN111552847A (zh) | 一种变更对象数量的方法和装置 | |
CN114332431B (zh) | 一种3d模型数据提取方法、系统、电子设备及存储介质 | |
CN112559072B (zh) | 业务功能启动方法及相关设备 | |
CN112990246B (zh) | 孤立树模型建立的方法和装置 | |
CN117009420A (zh) | 一种基于大数据平台的数据处理方法及装置 | |
CN113239033A (zh) | 数据合并方法及设备 | |
CN115439033A (zh) | 基于社保数据的风险用户筛选方法、装置及计算设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |