CN116881289A - 集合数据处理方法、装置、计算机设备和存储介质 - Google Patents
集合数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116881289A CN116881289A CN202310682670.5A CN202310682670A CN116881289A CN 116881289 A CN116881289 A CN 116881289A CN 202310682670 A CN202310682670 A CN 202310682670A CN 116881289 A CN116881289 A CN 116881289A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- processing
- set data
- aggregate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 251
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004590 computer program Methods 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims description 81
- 238000003672 processing method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种集合数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,通过获取集合数据处理规则与目标集合数据,并对目标集合数据进行最小数据单元拆分,得到至少一个的目标集合数据项,以及基于集合数据处理规则确定目标处理函数,其中,目标处理函数为数据库标准处理函数,最后根据目标处理函数对各目标集合数据项进行数据处理,得到集合数据处理规则对应的数据处理结果,由于采用数据库标准处理函数来进行数据处理,可实现数据库集合数据处理的通用性,支持在不同数据库中都能执行,有效解决了数据迁移至异构数据库或者系统替换提升至其他数据库时数据处理脚本执行的局限性。
Description
技术领域
本申请涉及数据库技术领域,特别是涉及一种集合数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
集合方法是Oracle数据库所提供的用于操纵集合变量的内置函数或过程,例如可通过exists、count、limit、first、next、prior、以及next等内置函数和extend、trim、以及delete等过程操作符,基于Oracle数据库的集合调用语法实现集合变量的数据处理。另外,当使用嵌套表类型和Varray类型的集合变量时,技术人员还可以在嵌套表上使用Cardinality、Submultiset of、Member of、Is a set、Is empty等集合操作符,实现嵌套表变量的数据操作处理。
但在目前数据迁移至异构数据库或者系统替换提升至其他数据库时,旧系统数据库的设计和实现往往采用的是传统的集中式数据库Oracle,而Oracle中自带的一些函数在其他数据库中可能并不支持,则导致原有数据处理脚本无法执行。
发明内容
基于此,有必要针对上述在数据库升级或迁移过程中导致原有数据处理脚本无法继续执行的技术问题,提供一种集合数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种集合数据处理方法。所述方法包括:
获取集合数据处理规则与目标集合数据;
对所述目标集合数据进行最小数据单元拆分,得到至少一个的目标集合数据项;
基于所述集合数据处理规则确定目标处理函数,其中,所述目标处理函数为数据库标准处理函数;
根据所述目标处理函数对各所述目标集合数据项进行数据处理,得到所述集合数据处理规则对应的数据处理结果。
在其中一个实施例中,所述对所述目标集合数据进行最小数据单元拆分,得到至少一个的目标集合数据项,包括:
对所述目标集合数据的字符串进行解析得到字符串属性与目标分隔符;
基于所述字符串属性与所述目标分隔符对所述目标集合数据进行最小数据单元拆分,得到至少一个的目标集合数据项。
在其中一个实施例中,所述基于所述集合数据处理规则确定目标处理函数,包括:
解析所述集合数据处理规则,确定目标处理逻辑;
基于所述目标处理逻辑以及预设的处理逻辑与处理函数的对应关系,从候选处理函数中选定目标处理函数。
在其中一个实施例中,所述集合数据处理规则的类型包括单集合数据判断类型与多集合比较判断类型;所述方法还包括:
在获取的所述集合数据处理规则的类型为多集合比较判断类型的情况下,获取待比较集合数据。
在其中一个实施例中,所述根据所述目标处理函数对各所述目标集合数据项进行数据处理,得到所述集合数据处理规则对应的数据处理结果,包括:
根据所述目标处理函数将各所述目标集合数据项依次与所述待比较集合数据进行比较,得到各所述目标集合数据项的比较结果;
根据各所述目标集合数据项的比较结果进行分析,得到所述集合数据处理规则对应的数据处理结果。
在其中一个实施例中,所述集合数据处理规则包括元素个数判断规则、包含关系判断规则、重复数据判断规则以及空数据判断规则中的至少一种。
第二方面,本申请还提供了一种集合数据处理装置。所述装置包括:
获取模块,用于获取集合数据处理规则与目标集合数据;
拆分模块,用于对所述目标集合数据进行最小数据单元拆分,得到至少一个的目标集合数据项;
确定模块,用于基于所述集合数据处理规则确定目标处理函数,其中,所述目标处理函数为数据库标准处理函数;
处理模块,用于根据所述目标处理函数对各所述目标集合数据项进行数据处理,得到所述集合数据处理规则对应的数据处理结果。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法的步骤。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的方法的步骤。
上述集合数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,通过获取集合数据处理规则与目标集合数据,并对目标集合数据进行最小数据单元拆分,得到至少一个的目标集合数据项,以及基于集合数据处理规则确定目标处理函数,其中,目标处理函数为数据库标准处理函数,最后根据目标处理函数对各目标集合数据项进行数据处理,得到集合数据处理规则对应的数据处理结果,由于采用数据库标准处理函数来进行数据处理,可实现数据库集合数据处理的通用性,支持在不同数据库中都能执行,有效解决了数据迁移至异构数据库或者系统替换提升至其他数据库时数据处理脚本执行的局限性。
附图说明
图1为一个实施例中集合数据处理方法的应用环境图;
图2为一个实施例中集合数据处理方法的流程示意图;
图3为一个实施例中进行最小数据单元拆分步骤的流程示意图;
图4为一个实施例中选定目标处理函数步骤的流程示意图;
图5为一个实施例中得到数据处理结果步骤的流程示意图;
图6为一个实施例中集合数据处理装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的集合数据处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。具体地,服务器104获取终端102发送的集合数据处理规则与目标集合数据,对目标集合数据进行最小数据单元拆分,得到至少一个的目标集合数据项,基于集合数据处理规则确定目标处理函数,其中,目标处理函数为数据库标准处理函数,根据目标处理函数对各目标集合数据项进行数据处理,得到集合数据处理规则对应的数据处理结果。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种集合数据处理方法,以该方法应用于图1中的服务器104为例进行说明,包括以下步骤:
S200:获取集合数据处理规则与目标集合数据。
其中,目标集合数据为需进行集合数据处理的集合数据,获取的目标数据集合可以是一个集合数据,也可以是两个以上的需进行集合数据处理的集合数据,不做限定。集合数据可以理解为数据库中嵌套表类型或varray类型等数据类型的集合变量。集合数据处理规则表征对目标集合数据进行集合数据处理的处理方式,集合数据处理规则的数据形式并不唯一,可以是采用旧系统数据库的集合操作符或内置函数等数据形式进行表示,也可以是采用语义文字的数据形式进行表示。可以理解,获取的集合数据处理规则与目标集合数据是对应存在的,同一目标集合数据可以仅对应一个集合数据处理规则,也可以是对应多个集合数据处理规则。
具体地,集合数据处理规则的类型并不唯一,在一个实施例中,集合数据处理规则包括元素个数判断规则、包含关系判断规则、重复数据判断规则以及空数据判断规则中的至少一种。其中,元素个数判断规则用于表征需对目标集合数据进行元素个数判断,得到目标集合数据对应的元素个数。包含关系判断规则用于表征需将目标集合数据与待比较集合数据进行包含关系判断,得到目标集合数据与待比较集合数据的包含关系。重复数据判断规则用于表征需对目标集合数据进行重复数据的判断,得到目标集合数据是否包含重复的元素值。空数据判断规则用于表征需对目标集合数据进行是否为空的判断,得到目标集合数据是否为空集合。应当指出的是,对于本领域的技术人员来说,对集合数据处理规则的任意定义形式都应属于本申请的保护范围,只要定义的集合数据处理规则是用于完成对目标集合数据进行集合数据处理。
进一步地,获取集合数据处理规则与目标集合数据的方式并不唯一,可以是预存于服务器中再进行调用得到,也可以是通过终端将本次集合处理处理对应的集合数据处理规则与目标集合数据发送至服务器,进而服务器获取得到。
S400:对目标集合数据进行最小数据单元拆分,得到至少一个的目标集合数据项。
可以理解,集合数据为包含多个数据项的数据结构,即可进行最小数据单元拆分,得到至少一项的数据项。集合数据的多个数据项可以是同一字符串属性,也可以是不同的字符串属性。集合数据的多个数据项之间可采用统一的分隔符进行分隔,当然不同的集合数据可采用不同的分隔符进行分隔。
具体地,在获取得到目标集合数据后,即可根据目标集合数据所采用的分隔符对其进行最小数据单元拆分,得到至少一个的目标集合数据项。
S600:基于集合数据处理规则确定目标处理函数,其中,目标处理函数为数据库标准处理函数。
具体地,目标处理函数为对目标集合数据进行集合数据处理的实际处理对象,可基于集合数据处理规则对应确定。确定方式并不唯一,可以是基于预设的集合数据处理规则与处理函数的对应关系进行确定,也可以是在基于集合数据处理规则分析得到其对应的目标处理逻辑后,再基于目标处理逻辑以及预设的处理逻辑与处理函数的对应关系,确定目标处理函数。
可以理解,目标处理函数为数据库标准处理函数,即SQL语句里的通用函数,例如,包含关系判断规则对应的目标处理函数可以是数据库标准处理函数instr()。进而可实现基于目标处理函数实现的集合数据处理方法在不同数据库中均支持执行,实现数据库集合数据处理的通用性。
S800:根据目标处理函数对各目标集合数据项进行数据处理,得到集合数据处理规则对应的数据处理结果。
具体地,在根据集合数据处理规则确定目标处理函数后,即可将各目标集合数据项代入目标处理函数中进行数据处理,得到集合数据处理规则对应的数据处理结果。
可以理解,在获取的集合数据处理规则不同的情况下,对应的数据处理结果也不同。例如,元素个数判断规则对应的数据处理结果为目标集合数据对应的元素个数;包含关系判断规则对应的数据处理结果为目标集合数据与待比较集合数据的包含关系;重复数据判断规则对应的数据处理结果为目标集合数据是否包含重复的元素值;空数据判断规则对应的数据处理结果为目标集合数据是否为空集合。
上述集合数据处理方法,通过获取集合数据处理规则与目标集合数据,并对目标集合数据进行最小数据单元拆分,得到至少一个的目标集合数据项,以及基于集合数据处理规则确定目标处理函数,其中,目标处理函数为数据库标准处理函数,最后根据目标处理函数对各目标集合数据项进行数据处理,得到集合数据处理规则对应的数据处理结果,由于采用数据库标准处理函数来进行数据处理,可实现数据库集合数据处理的通用性,支持在不同数据库中都能执行,有效解决了数据迁移至异构数据库或者系统替换提升至其他数据库时数据处理脚本执行的局限性。
在一个实施例中,如图3所示,S400包括S420至S440,其中:
S420:对目标集合数据的字符串进行解析得到字符串属性与目标分隔符。
其中,字符串属性表征目标集合数据所包含的各数据项的数据属性,可用于分析得到目标集合数据的数据集合的范围以及包含的数据项的具体情况,例如数据项的类型以及数量等。目标分隔符表征目标集合数据的各数据项之间所采用分隔符号,可用于对目标集合数据进行最小数据单元拆分。
S440:基于字符串属性与目标分隔符对目标集合数据进行最小数据单元拆分,得到至少一个的目标集合数据项。
具体地,在得到目标集合数据的各数据项之间所采用分隔符号后,即目标分隔符,即可对目标集合数据按照数据项之间的目标分隔符进行最小数据单元拆分。其中,具体可通过借助mysql.help_topic表的help_topic_id对目标集合数据的各数据项按照字符串属性进行拆分,形成最小数据单元[char]。进而上述得到的至少一个最小数据单元即可理解为目标集合数据项。
在一个实施例中,如图4所示,S600包括S620至S640,其中:
S620:解析集合数据处理规则,确定目标处理逻辑。
其中,在集合数据处理规则采用旧系统数据库的集合操作符或内置函数等数据形式进行表示的情况下,可通过对其集合操作符或内置函数的定义进行解析,确定目标处理逻辑。在集合数据处理规则采用语义文字的数据形式进行表示的情况下,可通过语义识别等方式对集合数据处理规则进行关键字解析,确定目标处理逻辑。
S640:基于目标处理逻辑以及预设的处理逻辑与处理函数的对应关系,从候选处理函数中选定目标处理函数。
具体地,在确定目标处理逻辑之后,即可基于目标处理逻辑在预设的处理逻辑与处理函数的对应关系中进行查找定位,进而从预存于服务器的候选处理函数中选定目标处理函数。
可以理解,在集合数据的处理过程中,可以是对单一的目标集合数据进行数据处理,也可以是将目标集合数据与另一集合数据进行比较或替换等数据处理。进而,在一个实施例中,集合数据处理规则的类型包括单集合数据判断类型与多集合比较判断类型。具体地,单集合数据判断类型的集合数据处理规则可以是例如元素个数判断规则、重复数据判断规则以及空数据判断规则等,多集合比较判断类型的集合数据处理规则可以是包含关系判断规则。
进一步地,上述集合数据处理方法还包括:在获取的集合数据处理规则的类型为多集合比较判断类型的情况下,获取待比较集合数据。可以理解,获取待比较集合数据后,可以是直接采用待比较数据集合与目标集合数据进行集合数据处理。而在其他实施例中,若集合数据处理规则对应的目标处理逻辑,表征为需通过待比较数据集合的数据项与目标集合数据的数据项进行集合数据,上述集合数据处理方法还可包括:对待比较集合数据进行最小数据单元拆分,得到至少一个的待比较集合数据项。
对应地,在一个实施例中,如图5所示,S800包括S820至S840,其中:
S820:根据目标处理函数将各目标集合数据项依次与待比较集合数据进行比较,得到各目标集合数据项的比较结果。
具体地,在根据集合数据处理规则确定目标处理函数后,即可将各目标集合数据项与待比较集合数据依次代入目标处理函数中进行数据处理,得到各目标集合数据项在集合数据处理规则下对应的比较结果。例如,在集合数据处理规则为包含关系判断规则的情况下,比较结果为各目标集合数据项与待比较集合数据的包含关系。
S840:根据各目标集合数据项的比较结果进行分析,得到集合数据处理规则对应的数据处理结果。具体地,将得到的各目标集合数据项的比较结果进行组合分析,得到按照集合数据处理规则对目标集合数据进行集合数据处理的数据处理结果。
在一个实施例中,以集合数据处理规则为包含关系判断规则,目标集合数据为('ABS','BCD'),待比较集合数据为('ABS,'BCD','DEF')为例,对本申请提供的集合数据处理方法进行解释说明,包含以下步骤:
步骤1:解析目标集合数据格式,以及分析待比较集合数据的数据,得到其数据集合的范围、有几部分数据项、数据项之间的分隔符号、所要比较的集合数据项。解析比较集合数据类型的数据格式,是数据处理的开始环节。
步骤2:拆分数据单元,对上述解析的目标集合数据与待比较集合数据按照数据项之间的分隔符号进行拆分,形成最小数据单元。
步骤3:特征值比较,比较目标集合数据的最小数据单元与待比较集合数据的关系。按照步骤2拆分的最小数据单元,按照原oracle中submultiset of比较对象的实现逻辑,用包含关系的函数instr(),判断子字符串在字符串中首次出现的位置,如果没有出现,则返回0。再按照最小数据单元组合的方式,最终比较出原数据集合与被比较数据集合的包含关系。
例如:以目标集合数据为('ABS','BCD'),待比较集合数据('ABS,'BCD','DEF')为例,按照目标集合数据的各数据项之间的分隔符”,”号,拆分成2个数据项单元,分别是:'ABS','BCD'。再分别以'ABS','BCD'与被比较集合('ABS,'BCD','DEF')做包含关系的判断。显然两个数据单元instr()判断值都是大于0的,即包含。
步骤4:集合判断。对特征值比较后的最小数据单元进行组合,即将每一数据单元的比较结果进行组合,进而用于判断目标集合数据与待比较集合数据是否包含。
步骤5:结果输出。对组合之后的结果进行集合关系的判断输出。在上述例子中,输出结果即:目标集合数据('ABS','BCD')为待比较集合数据('ABS,'BCD','DEF')的子集。
在本实施例中,由于利用JAVA实现的方式,并不能友好地支持各种数据库都能支持调用,存在一定的局限性。因此本申请摒弃掉开发过程中对不同数据库所支持特定函数的专用用法,用标准SQL脚本实现通用性,支持在不同数据库中都能执行。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的集合数据处理方法的集合数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个集合数据处理装置实施例中的具体限定可以参见上文中对于集合数据处理方法的限定,在此不再赘述。
在一个实施例中,如图6所示,提供了一种集合数据处理装置,包括:获取模块110、拆分模块120、确定模块130和处理模块140,其中:
获取模块110,用于获取集合数据处理规则与目标集合数据;
拆分模块120,用于对目标集合数据进行最小数据单元拆分,得到至少一个的目标集合数据项;
确定模块130,用于基于集合数据处理规则确定目标处理函数,其中,目标处理函数为数据库标准处理函数;
处理模块140,用于根据目标处理函数对各目标集合数据项进行数据处理,得到集合数据处理规则对应的数据处理结果。
在一个实施例中,拆分模块120,还用于对目标集合数据的字符串进行解析得到字符串属性与目标分隔符;基于字符串属性与目标分隔符对目标集合数据进行最小数据单元拆分,得到至少一个的目标集合数据项。
在一个实施例中,确定模块130,还用于解析集合数据处理规则,确定目标处理逻辑;基于目标处理逻辑以及预设的处理逻辑与处理函数的对应关系,从候选处理函数中选定目标处理函数。
在一个实施例中,集合数据处理规则的类型包括单集合数据判断类型与多集合比较判断类型;上述集合数据处理装置还包括:
待比较集合数据处理模块,用于在获取的集合数据处理规则的类型为多集合比较判断类型的情况下,获取的待比较集合数据。
在一个实施例中,待比较集合数据处理模块还用于对待比较集合数据进行最小数据单元拆分,得到至少一个的待比较集合数据项。
在一个实施例中,处理模块140,还用于根据目标处理函数将各目标集合数据项依次与待比较集合数据进行比较,得到各目标集合数据项的比较结果;根据各集合数据项的比较结果进行分析,得到集合数据处理规则对应的数据处理结果。
在一个实施例中,获取模块110获取的集合数据处理规则包括元素个数判断规则、包含关系判断规则、重复数据判断规则以及空数据判断规则中的至少一种。
上述集合数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储集合数据处理规则与目标集合数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种集合数据处理方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述的方法的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的方法的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的方法的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种集合数据处理方法,其特征在于,所述方法包括:
获取集合数据处理规则与目标集合数据;
对所述目标集合数据进行最小数据单元拆分,得到至少一个的目标集合数据项;
基于所述集合数据处理规则确定目标处理函数,其中,所述目标处理函数为数据库标准处理函数;
根据所述目标处理函数对各所述目标集合数据项进行数据处理,得到所述集合数据处理规则对应的数据处理结果。
2.根据权利要求1所述的方法,其特征在于,所述对所述目标集合数据进行最小数据单元拆分,得到至少一个的目标集合数据项,包括:
对所述目标集合数据的字符串进行解析得到字符串属性与目标分隔符;
基于所述字符串属性与所述目标分隔符对所述目标集合数据进行最小数据单元拆分,得到至少一个的目标集合数据项。
3.根据权利要求1所述的方法,其特征在于,所述基于所述集合数据处理规则确定目标处理函数,包括:
解析所述集合数据处理规则,确定目标处理逻辑;
基于所述目标处理逻辑以及预设的处理逻辑与处理函数的对应关系,从候选处理函数中选定目标处理函数。
4.根据权利要求3所述的方法,其特征在于,所述集合数据处理规则的类型包括单集合数据判断类型与多集合比较判断类型;所述方法还包括:
在获取的所述集合数据处理规则的类型为多集合比较判断类型的情况下,获取待比较集合数据。
5.根据权利要求4所述的方法,其特征在于,所述根据所述目标处理函数对各所述目标集合数据项进行数据处理,得到所述集合数据处理规则对应的数据处理结果,包括:
根据所述目标处理函数将各所述目标集合数据项依次与所述待比较集合数据进行比较,得到各所述目标集合数据项的比较结果;
根据各所述目标集合数据项的比较结果进行分析,得到所述集合数据处理规则对应的数据处理结果。
6.根据权利要求1至5任意一项所述的方法,其特征在于,所述集合数据处理规则包括元素个数判断规则、包含关系判断规则、重复数据判断规则以及空数据判断规则中的至少一种。
7.一种集合数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取集合数据处理规则与目标集合数据;
拆分模块,用于对所述目标集合数据进行最小数据单元拆分,得到至少一个的目标集合数据项;
确定模块,用于基于所述集合数据处理规则确定目标处理函数,其中,所述目标处理函数为数据库标准处理函数;
处理模块,用于根据所述目标处理函数对各所述目标集合数据项进行数据处理,得到所述集合数据处理规则对应的数据处理结果。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310682670.5A CN116881289A (zh) | 2023-06-09 | 2023-06-09 | 集合数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310682670.5A CN116881289A (zh) | 2023-06-09 | 2023-06-09 | 集合数据处理方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116881289A true CN116881289A (zh) | 2023-10-13 |
Family
ID=88255729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310682670.5A Pending CN116881289A (zh) | 2023-06-09 | 2023-06-09 | 集合数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116881289A (zh) |
-
2023
- 2023-06-09 CN CN202310682670.5A patent/CN116881289A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9747349B2 (en) | System and method for distributing queries to a group of databases and expediting data access | |
US11687546B2 (en) | Executing conditions with negation operators in analytical databases | |
CN106407360B (zh) | 一种数据的处理方法及装置 | |
JP2017535842A (ja) | データソースからデータターゲットにデータを転送するためのインポート手順の呼出しの単純化 | |
CN111506608A (zh) | 一种结构化文本的比较方法和装置 | |
CN113094387A (zh) | 一种数据查询方法、装置、电子设备及机器可读存储介质 | |
CN117033424A (zh) | 慢sql语句的查询优化方法、装置和计算机设备 | |
CN111125199A (zh) | 一种数据库访问方法、装置及电子设备 | |
CN107430633B (zh) | 用于数据存储的系统及方法和计算机可读介质 | |
US20230153455A1 (en) | Query-based database redaction | |
WO2023086322A1 (en) | Late materialization of queried data in database cache | |
CN116881289A (zh) | 集合数据处理方法、装置、计算机设备和存储介质 | |
US20230138113A1 (en) | System for retrieval of large datasets in cloud environments | |
CN112131016A (zh) | 应用程序内部数据处理方法、装置及设备 | |
CN112434189A (zh) | 数据查询方法、装置及设备 | |
CN112783758A (zh) | 测试案例库与特征库生成方法、设备及存储介质 | |
US20190163810A1 (en) | Search User Interface | |
CN116578583B (zh) | 异常语句识别方法、装置、设备、存储介质 | |
US20100205155A1 (en) | System and method for content management and determination of search conditions | |
US20240168725A1 (en) | Method and system for identifying microservices in a monolith application | |
CN118193532A (zh) | 数据处理方法、装置、计算机设备、存储介质和产品 | |
JP2010501927A (ja) | コンテンツ検索システムを搭載した情報端末機 | |
CN114610749A (zh) | 数据库执行语句优化方法、装置、设备、介质和程序产品 | |
CN117609303A (zh) | 多表联合查询方法、装置、设备及存储介质 | |
CN118152504A (zh) | 非结构化数据的索引方法、装置、设备、介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |