CN118193532A - 数据处理方法、装置、计算机设备、存储介质和产品 - Google Patents
数据处理方法、装置、计算机设备、存储介质和产品 Download PDFInfo
- Publication number
- CN118193532A CN118193532A CN202410354906.7A CN202410354906A CN118193532A CN 118193532 A CN118193532 A CN 118193532A CN 202410354906 A CN202410354906 A CN 202410354906A CN 118193532 A CN118193532 A CN 118193532A
- Authority
- CN
- China
- Prior art keywords
- data processing
- target
- parameter table
- function
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 336
- 238000013507 mapping Methods 0.000 claims abstract description 140
- 238000009877 rendering Methods 0.000 claims abstract description 94
- 238000004590 computer program Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000006870 function Effects 0.000 claims description 234
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 230000002159 abnormal effect Effects 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims 1
- 230000004044 response Effects 0.000 description 12
- 230000007246 mechanism Effects 0.000 description 10
- 238000011161 development Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 8
- 238000012163 sequencing technique Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品,涉及数据处理技术领域。所述方法包括:接收第一端下发的数据处理请求,数据处理请求包括表征数据处理内容的请求参数表和表征数据处理方式的基础函数,按照第一端和第一端下属的第二端之间的元素映射表,对请求参数表中的基础元素进行转化,得到请求参数表中的目标元素,通过元素映射表快速对请求参数表中的基础元素进行转化,按照第二端匹配的函数渲染方式,对基础函数进行渲染,得到目标函数,该方法,根据重构的目标数据处理请求进行数据处理,无需对第一端和第二端的数据服务进行升级,减少了处理步骤和数据服务的整体处理时间,提高了数据处理效率。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
为了满足业务端对各待监管端的数据处理需要,需要为业务端提供统一的数据加工服务,通过数据加工服务对业务端的下发指令进行规范化解析,便于待监管端进行数据处理,进而将待监管端的数据处理结果回传至业务端。
现有的方式中通过根据不同数据库,开发对应的数据服务,包括控制器层、服务层、读写层等各层代码,完成数据处理结果回传。这种方式,依赖于开发人员的开发经验,对于不同数据库的开发程度不一致,导致在后续对数据进行处理时常出现数据库处理时间过长,数据库处理效率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高处理效率的数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种数据处理方法。所述方法包括:
接收第一端下发的数据处理请求,所述数据处理请求包括表征数据处理内容的请求参数表和表征数据处理方式的基础函数;按照所述第一端和所述第一端下属的第二端之间的元素映射表,对所述请求参数表中的基础元素进行转化,得到所述请求参数表中的目标元素;按照所述第二端匹配的函数渲染方式,对所述基础函数进行渲染,得到目标函数;根据所述目标元素和所述目标函数重构所述数据处理请求,得到目标数据处理请求,并在所述第二端的数据库中执行所述目标数据处理请求进行数据处理。
在其中一个实施例中,所述按照所述第一端和所述第一端下属的第二端之间的元素映射表,对所述请求参数表中的基础元素进行转化,得到所述请求参数表中的目标元素,包括:在所述第一端下属的各所述第二端中确定目标端;按照所述第一端和所述目标第二端之间的目标元素映射表,在所述请求参数表中将满足转化条件的所述基础元素进行转化,得到所述请求参数表中的目标元素。
在其中一个实施例中,所述按照所述第一端和所述目标端之间的目标元素映射表,在所述请求参数表中将满足转化条件的所述基础元素进行转化,得到所述请求参数表中的目标元素,包括:从所述第一端和所述目标端之间的目标元素映射表中,查询所述基础元素的映射关系;若所述映射关系完整,则根据所述目标元素映射表,在所述请求参数表中对所述基础元素进行转化,得到所述请求参数表中的目标元素;若所述映射关系不完整,则在所述请求参数表中查找与所述基础元素相邻的基础元素;并将所述相邻的基础元素对应的目标元素确定为所述请求参数表中的目标元素。
在其中一个实施例中,所述方法还包括:若所述映射关系异常,则将所述映射关系中与所述基础元素对应的各所述目标元素,整合为目标元素集;对所述目标元素集中各所述目标元素进行置信度排序,将置信度最高的目标元素确定为所述请求参数表中的目标元素。
在其中一个实施例中,所述按照所述第二端匹配的函数渲染方式,对所述基础函数进行渲染,得到目标函数,包括:根据所述基础函数的语法特征和所述第二端中数据库的结构特征,从各预设渲染方式中筛选出所述第二端匹配的函数渲染方式;按照所述函数渲染方式,对所述基础函数进行渲染,得到目标函数。
在其中一个实施例中,所述接收第一端下发的数据处理请求,包括:读取第一端的数据处理语句,所述数据处理语句中包括多个数据处理子句;对各所述数据处理子句进行维度分类,得到属于处理内容维度的内容子句和属于处理方式维度的方式子句;将所述内容子句进行参数化处理,得到表征数据处理内容的请求参数表;提取所述方式子句中的函数部分,得到表征数据处理方式的基础函数;对所述请求参数表和所述基础函数进行组合,得到数据处理请求。
第二方面,本申请还提供了一种数据处理装置。所述装置包括:
接收模块,用于接收第一端下发的数据处理请求,所述数据处理请求包括表征数据处理内容的请求参数表和表征数据处理方式的基础函数;转化模块,用于按照所述第一端和所述第一端下属的第二端之间的元素映射表,对所述请求参数表中的基础元素进行转化,得到所述请求参数表中的目标元素;渲染模块,用于按照所述第二端匹配的函数渲染方式,对所述基础函数进行渲染,得到目标函数;处理模块,用于根据所述目标元素和所述目标函数重构所述数据处理请求,得到目标数据处理请求,并在所述第二端的数据库中执行所述目标数据处理请求进行数据处理。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
接收第一端下发的数据处理请求,所述数据处理请求包括表征数据处理内容的请求参数表和表征数据处理方式的基础函数;按照所述第一端和所述第一端下属的第二端之间的元素映射表,对所述请求参数表中的基础元素进行转化,得到所述请求参数表中的目标元素;按照所述第二端匹配的函数渲染方式,对所述基础函数进行渲染,得到目标函数;根据所述目标元素和所述目标函数重构所述数据处理请求,得到目标数据处理请求,并在所述第二端的数据库中执行所述目标数据处理请求进行数据处理。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
接收第一端下发的数据处理请求,所述数据处理请求包括表征数据处理内容的请求参数表和表征数据处理方式的基础函数;按照所述第一端和所述第一端下属的第二端之间的元素映射表,对所述请求参数表中的基础元素进行转化,得到所述请求参数表中的目标元素;按照所述第二端匹配的函数渲染方式,对所述基础函数进行渲染,得到目标函数;根据所述目标元素和所述目标函数重构所述数据处理请求,得到目标数据处理请求,并在所述第二端的数据库中执行所述目标数据处理请求进行数据处理。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
接收第一端下发的数据处理请求,所述数据处理请求包括表征数据处理内容的请求参数表和表征数据处理方式的基础函数;按照所述第一端和所述第一端下属的第二端之间的元素映射表,对所述请求参数表中的基础元素进行转化,得到所述请求参数表中的目标元素;按照所述第二端匹配的函数渲染方式,对所述基础函数进行渲染,得到目标函数;根据所述目标元素和所述目标函数重构所述数据处理请求,得到目标数据处理请求,并在所述第二端的数据库中执行所述目标数据处理请求进行数据处理。
上述数据处理方法、装置、计算机设备、存储介质和计算机程序产品,接收第一端下发的数据处理请求,数据处理请求包括表征数据处理内容的请求参数表和表征数据处理方式的基础函数,按照第一端和第一端下属的第二端之间的元素映射表,对请求参数表中的基础元素进行转化,得到请求参数表中的目标元素,不依赖与开发人员的开发经验,通过元素映射表快速对请求参数表中的基础元素进行转化,得到准确的请求参数表中的目标元素,按照第二端匹配的函数渲染方式,对基础函数进行渲染,得到目标函数,减少了数据处理时长,该方法,根据目标元素和目标函数重构数据处理请求,得到目标数据处理请求,并在第二端的数据库中执行目标数据处理请求进行数据处理,无需对第一端和第二端的数据服务进行升级,减少了处理步骤和数据服务的整体处理时间,提高了数据处理效率。
附图说明
图1为一个实施例中数据处理方法的应用环境图;
图2为一个实施例中数据处理方法的流程示意图;
图3为一个实施例中监管端下发数据加工指令转译方法的流程示意图;
图4为一个实施例中数据处理装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。
本申请实施例提供的数据处理方法,可以应用于如图1所示的应用环境中。示例性的,处理平台102通过网络与第一端对应的监管平台104和第二端对应的机构平台106进行通信。
处理平台102接收第一端对应的监管平台104下发的数据处理请求,数据处理请求包括表征数据处理内容的请求参数表和表征数据处理方式的基础函数,处理平台102按照第一端对应的监管平台104和第一端下属的第二端对应的机构平台106之间的元素映射表,对请求参数表中的基础元素进行转化,得到请求参数表中的目标元素,处理平台102按照第二端对应的机构平台106匹配的函数渲染方式,对基础函数进行渲染,得到目标函数,处理平台102根据目标元素和目标函数重构数据处理请求,得到目标数据处理请求,并在第二端对应的机构平台106的数据库中执行目标数据处理请求进行数据处理。
其中,处理平台102、监管平台104和机构平台106可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。处理平台102、监管平台104和机构平台106还可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种数据处理方法,以该方法应用于图1中的处理平台为例进行说明,包括:
S202,接收第一端下发的数据处理请求,数据处理请求包括表征数据处理内容的请求参数表和表征数据处理方式的基础函数。
其中,第一端可以是用于下发数据处理请求的一端,数据处理请求可以是针对于对象的处理请求。示例性的,对象可以是数据库,针对数据库的数据处理请求包括增加、删除、修改、查询等,示例性的,以第一端为监管端为例,为了满足监管端的数据处理需求,接收监管端下发的数据查询请求,数据查询请求中可以包括数据查询的请求参数表和数据查询方式的基础函数。
其中,表征数据处理内容的请求参数表可以是具体的请求参数的集合,以数据查询业务为例,请求参数表包括数据查询相关的查询显示字段、查询条件、排序实例、区间值等。请求参数表可以视为参数化的查询请求。具体地,根据请求参数表中的查询显示字段、查询条件、排序实例、区间值,分别进行查询语句构建、查询字段构建、分页信息构建、得到目标数据查询请求,根据目标数据查询请求在第二端数据库中进行查询。
示例性的,查询显示字段包括字段名name,是名称唯一表示,如果为列查询,字段名为列名字,如果不为列查询,字段名为自定义名字,即,字段名称+方法。查询条件包括查询条件的名字、查询条件操作、查询值、查询类型、格式数组、区间等。其中,查询条件操作operate,支持的类型包括like、range、in、=、>、<等。对于查询值,当查询条件操作operate是like操作,value值意义:%%表示全部值,%a%表示包含a的值,%a表示以a结尾的值,a%表示以a开始的值,当operate是比较操作时,value是比较值。查询类型包括AND和OR,对于格式数组,当查询条件操作operate是in操作的时候,使用多种数值表进行查询。对于区间,当查询条件操作operate是range操作的时候,使用范围值表格。
其中,表征数据处理方式的基础函数可以是第一端的具体函数,该类函数可以用于处理各种数据类型和复杂的数据处理需求,示例性的,基础函数可以是字符串函数、数值函数、日期和时间函数、转换函数、聚合函数等。
其中,字符串函数用于对代码中的字符串进行处理,例如,返回字符串长度、去除字符串空格、替换字符串中的子串、返回字符串参数等。数值函数用于对代码中数值进行处理,例如,返回n除以m的余数、返回x的y次方结果等。日期和时间函数用于提取相关日期和时间,例如,提取日期部分、提取时间部分、返回日期查等。转换函数用于将数据类型进行转化,例如,将表达式转换为指定的数据类型等。聚合函数可以是前述函数的聚合后的函数,例如,某聚合函数的功能为将多个行的值连接成字符串,先提取多个行的值,再将多个行的值进行聚合。
具体地,在得到数据处理请求前,可以通过将数据处理语句进行参数化处理,得到数据处理请求。以数据处理为数据查询为例,将数据查询语句进行参数处理,得到数据查询请求,可以提高安全性、优化性能、提高代码可读性等。安全性方面:参数化查询时预防注入攻击的有效手段,使用参数化查询,数据库引擎可以区分参数和查询的其余部分,从而防止恶意代码的执行。优化性能方面:重复执行的查询,数据库可以缓存预编译的查询计划,从而提高查询性能。这是因为预编译的查询只需要被解析和优化一次,然后就可以被反复执行,而不需要每次都重新编译。代码可读性方面:在参数化查询中,参数的类型通常会被明确指定,这有助于减少类型转换错误。此外,参数的使用也使得数据处理语句对应的代码更易于阅读和维护。
S204,按照第一端和第一端下属的第二端之间的元素映射表,对请求参数表中的基础元素进行转化,得到请求参数表中的目标元素。
其中,第一端通常为第二端的上一级,第一端可以是监管端,第二端可以是监管端下属的机构端,机构端的数量可以为多个,一个监管端对应多个下属的机构端,通过对监管端下发的指令进行转化,使之与各个机构端的数据库相适配,完成监管端对各机构端的数据处理需求。
其中,元素映射表用于对请求参数表中的基础元素进行转化,得到请求参数表的目标元素,可以理解的,目标元素用于替换与目标元素对应的基础元素。
其中,基础元素可以是请求参数表中任意元素,例如,在数据查询的请求参数表中元素可以是查询显示字段,更具体的,基础元素可以是查询条件操作operate,例如,like、range、in、=、>、<等。
可以根据各基础元素的映射关系对各基础元素进行转化,得到基础元素的目标元素。
具体地,在对各基础元素进行转化前,可以事先在元素映射表中进行查询,得到基础元素的查询结果,查询结果表征基础元素是否存在映射关系,即,是否存在目标元素与基础元素相对应。对于存在目标元素与基础元素的对应关系,可以根据元素映射表对基础元素进行转化,得到目标元素。对于不存在目标元素与基础元素的对应关系可以是将基础元素视为目标元素,即,不发生转化,或者,根据基础元素相似的基础元素的转化结果,对基础元素进行转化。其中,相似的基础元素可以是与基础元素存在的语义相似度的基础元素,例如,between和and之间存在一定的语义相似度。
S206,按照第二端匹配的函数渲染方式,对基础函数进行渲染,得到目标函数。
具体地,对基础函数进行渲染前,需要确定第二端匹配的函数渲染方式,可以在数据处理请求中确定第二端的类型,再根据第二端确定第二端所匹配的函数渲染方式。
其中,函数渲染方式包括多种,示例性,使用数据库抽象层,即对象关系映射对基础函数进行渲染,得到目标函数。其中,数据抽象层可以提供一定程度的跨数据库兼容性。还可以通过编写SQL语句的形式对函数进行渲染,代码中检测当前使用的数据库类型,并基于该信息构建特定的SQL语句,以完成对基础函数的渲染,得到目标函数。还可以使用数据库迁移工具,对基础函数进行渲染,得到目标函数。
需说明的,函数渲染并不限定于以上方式中其中一种,在数据处理过程面对的数据库类型不同,数据库复杂程度不同可以结合至少两种以上函数渲染方法,对各基础函数进行渲染,得到每一基础函数各自对应的目标函数。
S208,根据目标元素和目标函数重构数据处理请求,得到目标数据处理请求,并在第二端的数据库中执行目标数据处理请求进行数据处理。
其中,目标数据处理请求和数据处理请求的区别在于目标数据处理请中包括目标元素和目标函数,而数据处理请求中包括基础元素和基础函数。可以理解的,将数据处理请求中的至少部分基础元素和至少部分基础函数进行转化,得到目标数据处理函数。
其中,目标数据处理其请求,用于直接在第二端的数据库中进行数据处理,例如,直接对第二端数据库进行数据查询。无需再对第二端数据库或者第一端进行数据服务的重写,仅用过对数据处理请的转化,得到与各第二端数据库相适配的目标数据处理请求,再根据目标数据处理请求,在第二端的数据库中进行数据处理,保证处理准确性的同时,减少了数据转化的步骤,进而减少数据处理的整体时长,提高了数据处理效率。
在第二端的数据库中进行数据处理,得到数据处理结果。数据处理结果包括响应参数。响应参数包括:响应头信息和响应体信息。其中响应头信息包括响应码、响应状态和响应信息。其中,响应码,表示当应用响应状态码为失败或者警告时用来表述错误和警告的代码。响应状态包括ok处理成功、failed处理失败和warned处理基本完成,存在警告信息。响应消息表示错误/警告代码的错误描述信息,方便接收错误方理解错误或警告。
上述数据处理方法中,接收第一端下发的数据处理请求,数据处理请求包括表征数据处理内容的请求参数表和表征数据处理方式的基础函数,按照第一端和第一端下属的第二端之间的元素映射表,对请求参数表中的基础元素进行转化,得到请求参数表中的目标元素,不依赖与开发人员的开发经验,通过元素映射表快速对请求参数表中的基础元素进行转化,得到准确的请求参数表中的目标元素,按照第二端匹配的函数渲染方式,对基础函数进行渲染,得到目标函数,减少了数据处理时长,该方法,根据目标元素和目标函数重构数据处理请求,得到目标数据处理请求,并在第二端的数据库中执行目标数据处理请求进行数据处理,无需对第一端和第二端的数据服务进行升级,减少了处理步骤和数据服务的整体处理时间,提高了数据处理效率。
在一个实施例中,按照第一端和第一端下属的第二端之间的元素映射表,对请求参数表中的基础元素进行转化,得到请求参数表中的目标元素,包括:在第一端下属的各第二端中确定目标端;按照第一端和目标第二端之间的目标元素映射表,在请求参数表中将满足转化条件的基础元素进行转化,得到请求参数表中的目标元素。
其中,第一端和第二端之间的层级关系为,第一端对应多个第二端,第一端的层级大于第二端的层级,示例性的,若第一端为监管端,第二端为监管端下属的机构端,在监管端进行数据查询的场景中,监管端发出数据查询请求,数据查询请求中包括数据查询请求的接收方,即,特定的机构端,需要从多个机构端确定目标机构端。
示例性的,对数据处理请求应用与数据库查询这一业务场景,监管端下发的查询服务中的字段已基本满足构建一个标准查询语句所需的输入项,差异点就是构建过滤操作。根据数据库查询常用的操作符进行了概括,基础元素可以包含:like,between,in,=,>,<,>=,<=,not like,not in,null,not null等,支持对基础元素进行配置,基础元素以初始命名为准,根据目标元素映射表对基础元素进行转化。如监管下发中使用的是基础元素为range,适配数据库写法使用目标元素between对基础元素range进行替换。
具体地,可以在从提取数据处理请求的对象部分,得到目标端。
其中,转化条件表示基础元素在目标元素映射表是否存在与之对应的目标元素。
若满足转化条件,表示在目标元素映射表中基础元素与目标元素之间的映射关系为正常状态,可以按照映射关系对基础元素进行转化得到目标元素。
若不满足转化条件,表示在目标元素映射表中基础元素与目标元素之间的映射关系为异常状态,无法根据目标元素映射表对基础元素进行转化,也无法得到目标元素,得到确定唯一的目标元素。例如,一个基础元素在目标元素映射表中对应多个目标元素,此时无法根据目标元素映射表对基础元素进行转化,得到唯一确定的目标元素。
本实施例中,通过按照第一端和目标第二端之间的目标元素映射表,在请求参数表中将满足转化条件的基础元素进行转化,得到请求参数表中的目标元素,准确快速对各满足转化条件的基础元素进行转化,得到请求参数表中的目标元素,提高了数据处理效率。
在一个实施例中,按照第一端和目标端之间的目标元素映射表,在请求参数表中将满足转化条件的基础元素进行转化,得到请求参数表中的目标元素,包括:
从第一端和目标端之间的目标元素映射表中,查询基础元素的映射关系;若映射关系完整,则根据目标元素映射表,在请求参数表中对基础元素进行转化,得到请求参数表中的目标元素;若映射关系不完整,则在请求参数表中查找与基础元素相邻的基础元素;并将相邻的基础元素对应的目标元素确定为请求参数表中的目标元素。
其中,在对各可能满足映射关系的基础元素进行转化前,需要确定各基础元素在目标元素表中的映射关系是否正常。
具体地,可以从第一端和目标端之间的目标元素映射表中,查询基础元素的映射关系,若映射关系正常(包括完整和不完整)则可以根据目标元素映射表对基础元素进行转化,得到目标元素。若映射关系异常,则无法简单通过明白不元素映射表对基础元素进行转化,得到目标元素。
示例性的,若基础元素的映射关系异常,可能是目标元素映射表中某基础元素对应多个目标元素,此时可以根据各对应的目标元素的功能描述,对各对应的目标元素进行筛选,得到一个与基础元素对应的唯一的目标元素。
映射关系完整,代表目标元素映射表存在一个目标元素与基础元素相对应,可以将该目标元素替换掉基础元素,得到请求参数表中的目标元素。基础元素和目标元素的类型可以相同,即,对请求参数表中对基础元素进行转化,得到请求参数表中的目标元素这一过程,未发生实质变更。
映射关系不完整,代表目标元素映射表中不存在与基础元素相对应的目标元素。可以在请求参数表中查找与基础元素相邻的基础元素,并将相邻的基础元素对应的目标元素确定为请求参数表中的目标元素、
其中,相邻的基础元素可以表示与基础元素在表中位置相邻的其他基础元素。相邻的基础元素还可以表示与基础元素存在语义相似性的其他基础元素。
具体地,事先为目标元素映射表中各基础元素设置语义特征,便于确定基础元素的相邻的基础元素,这种方式,无需将所有种类的基础元素写入到目标映射表中,通过少量的基础元素,通过判断语义相似度的方式,完成对各基础元素的转化,同时还减少了目标元素映射表的内容,节约了硬件资源。
本实施例中,通过判断基础元素的映射关系是否完整,若完整,则根据目标元素映射表,在请求参数表中对基础元素进行转化,得到请求参数表中的目标元素,若不完整,则在请求参数表中查找与基础元素相邻的基础元素,并将相邻的基础元素对应的目标元素确定为请求参数表中的目标元素,兼顾了基础元素转化的速度和准确性。
在一个实施例中,数据处理方法还包括:若映射关系异常,则将映射关系中与基础元素对应的各目标元素,整合为目标元素集;对目标元素集中各目标元素进行置信度排序,将置信度最高的目标元素确定为请求参数表中的目标元素。
其中,映射关系异常,代表目标元素映射表中某基础元素对应多个目标元素,无法根据映射关系对基础元素进行转化得到唯一确定目标元素。
具体地,当映射关系异常时,将基础元素对应的至少两个目标元素进行整合,得到目标元素集,对目标元素集中各对应的目标元素进行筛选,得到一个与基础元素对应的唯一的目标元素。将目标元素进行整合便于对整合得到的目标元素集进行单独分析,可以将目标元素集重点标记,便于开发人员人工查阅。也可根据目标元素集逆向查询对应的开发人员,可以根据目标元素集对各开发人员的开发经验水平进行评估。
其中,当各对应的目标元素进行筛选的方式,可以是对各目标元素进行置信度排序。置信度排序可以是根据各目标元素中的功能描述的置信度进行排序。需说明的,各目标元素中的功能描述是由第二端开发人员所提供的,可以事先对各目标元素进行分析,得到目标元素功能描述是否准确的置信度评价结果。根据执行度评价结果可以选择其中功能描述最贴合的目标元素,即,置信度最高的目标元素。
本实施例中,通过目标元素集中各目标元素进行置信度排序,将置信度最高的目标元素确定为请求参数表中的目标元素,提高了目标元素的准确性,进而提高数据处理的准确性,此外,将目标元素进行整合便于对整合得到的目标元素集进行单独分析,可以将目标元素集重点标记,便于开发人员人工查阅。也可根据目标元素集逆向查询对应的开发人员,可以根据目标元素集对各开发人员的开发经验水平进行评估。
在一个实施例中,按照第二端匹配的函数渲染方式,对基础函数进行渲染,得到目标函数,包括:根据基础函数的语法特征和第二端中数据库的结构特征,从各预设渲染方式中筛选出第二端匹配的函数渲染方式;按照函数渲染方式,对基础函数进行渲染,得到目标函数。
其中,基础函数的语法特征,表示该基础函数所代表的功能和函数调用对象的要求。可以根据基础函数的语法特征在各预设渲染方式中查询该基础函数对应的函数渲染方式,根据函数渲染方式对基础函数进行渲染,得到目标函数。
渲染的方式可以是将目标函数替换掉基础函数,使得基础函数对应的代码与第二端数据库相适配,提高数据查询的准确性。
其中,第二端中数据库的结构特征,表示数据库的类型和版本号。可以根据第二端中数据库的开源版本号,得到第二端中数据库的结构特征。得到数据库的结构特征的基础上,可以确定基础函数的渲染结果,也即目标函数。
本实施例中,通过根据基础函数的语法特征和第二端中数据库的结构特征,在各预设渲染方式中筛选出第二端匹配的函数渲染方式,再按照函数渲染方式,对基础函数进行渲染,得到目标函数,可以提高数据处理的准确性。
在一个实施例中,接收第一端下发的数据处理请求,包括:读取第一端的数据处理语句,数据处理语句中包括多个数据处理子句;对各数据处理子句进行维度分类,得到属于处理内容维度的内容子句和属于处理方式维度的方式子句;将内容子句进行参数化处理,得到表征数据处理内容的请求参数表;提取方式子句中的函数部分,得到表征数据处理方式的基础函数;对请求参数表和基础函数进行组合,得到数据处理请求。
其中,第一端的数据处理语句可以是第一端所下发的初始消息,解析初始消息,得到第一端的数据处理语句。数据处理语句可以是SQL语句。
其中,数据处理子句可以是SQL语句中每一行或者每半行代码,数据处理子句对应的代码的长度和行数不一定,可以根据代码的分隔符对数据处理语句进行分割,得到多个数据处理子句。
其中,维度分类可以是对各数据处理子句进行功能维度分类,具体地,可以按照处理子句所对应的功能描述的语义特征,对各处理子句进行功能维度的分类,得到属于处理内容维度的内容子句和属于处理方式维度的方式子句。
对内容子句进行参数化处理的方式包括多种在此不做赘述,对内容子句进行参数化处理,得到表征数据处理内容的请求参数表,这种方式具备提高安全性、优化性能、提高代码可读性等优点。
提取方式子句的函数部分,筛除方式子句中的函数调用对象的部分,得到的精简后的表征数据处理方式的基础函数。
再对请求参数表和基础函数进行组合,得到数据处理请求。
本实施例中,通过对各数据处理子句进行维度分类,得到属于处理内容维度的内容子句和属于处理方式维度的方式子句,将内容子句进行参数化处理,得到表征数据处理内容的请求参数表,提取方式子句中的函数部分,得到表征数据处理方式的基础函数,提取准确的请求参数表和基础函数,对请求参数表和基础函数进行组合,得到数据处理请求,便于后续对数据处理请求中的请求参数表和基础函数进行转化提供依据。
在一个实施例中,如图3所示的监管端下发数据加工指令转译方法的流程示意图,包括:
S302,读取第一端的数据处理语句,数据处理语句中包括多个数据处理子句。
其中,以第一端为监管端,第二端为监管端下属的机构端为例。数据加工指令包括数据处理语句。
S304,对各数据处理子句进行维度分类,得到属于处理内容维度的内容子句和属于处理方式维度的方式子句。
S306,将内容子句进行参数化处理,得到表征数据处理内容的请求参数表。
S308,提取方式子句中的函数部分,得到表征数据处理方式的基础函数。
S310,对请求参数表和基础函数进行组合,得到数据处理请求。
其中,数据处理请求包括表征数据处理内容的请求参数表和表征数据处理方式的基础函数。
S312,在第一端下属的各第二端中确定目标端。
S314,从第一端和目标端之间的目标元素映射表中,查询基础元素的映射关系。
S316,若映射关系完整,则根据目标元素映射表,在请求参数表中对基础元素进行转化,得到请求参数表中的目标元素。
S318,若映射关系不完整,则在请求参数表中查找与基础元素相邻的基础元素,并将相邻的基础元素对应的目标元素确定为请求参数表中的目标元素。
S320,若映射关系异常,则将映射关系中与基础元素对应的各目标元素,整合为目标元素集。
S322,对目标元素集中各目标元素进行置信度排序,将置信度最高的目标元素确定为请求参数表中的目标元素。
S324,根据基础函数的语法特征和第二端中数据库的结构特征,从各预设渲染方式中筛选出第二端匹配的函数渲染方式。
S326,按照函数渲染方式,对基础函数进行渲染,得到目标函数。
S328,根据目标元素和目标函数重构数据处理请求,得到目标数据处理请求,并在第二端的数据库中执行目标数据处理请求进行数据处理。
本实施例中,接收第一端下发的数据处理请求,数据处理请求包括表征数据处理内容的请求参数表和表征数据处理方式的基础函数,按照第一端和第一端下属的第二端之间的元素映射表,对请求参数表中的基础元素进行转化,得到请求参数表中的目标元素,不依赖与开发人员的开发经验,通过元素映射表快速对请求参数表中的基础元素进行转化,得到准确的请求参数表中的目标元素,按照第二端匹配的函数渲染方式,对基础函数进行渲染,得到目标函数,减少了数据处理时长,该方法,根据目标元素和目标函数重构数据处理请求,得到目标数据处理请求,并在第二端的数据库中执行目标数据处理请求进行数据处理,无需对第一端和第二端的数据服务进行升级,减少了处理步骤和数据服务的整体处理时间,提高了数据处理效率。该方法,通过对数据库查询语法的解析,进行模板概括总结,将查询语法中涉及的函数,过滤条件等进行开发处理,再通过映射配置等形式满足监管变化要求。同时借鉴低代码设计实现思想,利用代码生成器功能,加快应用程序的开发速度,减少了开发成本,提升了对变化的应变能力并解决异构数据库常规函数兼容问题,能够满足应用数据库升级,切换变换数据库等要求,目前可以兼容多种常规数据库。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的数据处理方法的数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个数据处理装置实施例中的具体限定可以参见上文中对于数据处理方法的限定,在此不再赘述。
在一个实施例中,如图4所示,提供了一种数据处理装置,包括:接收模块402、转化模块404、渲染模块406和处理模块408,其中:
接收模块402,用于接收第一端下发的数据处理请求,数据处理请求包括表征数据处理内容的请求参数表和表征数据处理方式的基础函数。
转化模块404,用于按照第一端和第一端下属的第二端之间的元素映射表,对请求参数表中的基础元素进行转化,得到请求参数表中的目标元素。
渲染模块406,用于按照第二端匹配的函数渲染方式,对基础函数进行渲染,得到目标函数。
处理模块408,用于根据目标元素和目标函数重构数据处理请求,得到目标数据处理请求,并在第二端的数据库中执行目标数据处理请求进行数据处理。
在其中一个实施例中,转化模块,还用于在第一端下属的各第二端中确定目标端;按照第一端和目标第二端之间的目标元素映射表,在请求参数表中将满足转化条件的基础元素进行转化,得到请求参数表中的目标元素。
在其中一个实施例中,转化模块,还用于从第一端和目标端之间的目标元素映射表中,查询基础元素的映射关系;若映射关系完整,则根据目标元素映射表,在请求参数表中对基础元素进行转化,得到请求参数表中的目标元素;若映射关系不完整,则在请求参数表中查找与基础元素相邻的基础元素;并将相邻的基础元素对应的目标元素确定为请求参数表中的目标元素。
在其中一个实施例中,数据处理装置还包括:异常处理模块,用于若映射关系异常,则将映射关系中与基础元素对应的各目标元素,整合为目标元素集;对目标元素集中各目标元素进行置信度排序,将置信度最高的目标元素确定为请求参数表中的目标元素。
在其中一个实施例中,渲染模块,还用于根据基础函数的语法特征和第二端中数据库的结构特征,从各预设渲染方式中筛选出第二端匹配的函数渲染方式;按照函数渲染方式,对基础函数进行渲染,得到目标函数。
在其中一个实施例中,接收模块,还用于读取第一端的数据处理语句,数据处理语句中包括多个数据处理子句;对各数据处理子句进行维度分类,得到属于处理内容维度的内容子句和属于处理方式维度的方式子句;将内容子句进行参数化处理,得到表征数据处理内容的请求参数表;提取方式子句中的函数部分,得到表征数据处理方式的基础函数;对请求参数表和基础函数进行组合,得到数据处理请求。
上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据处理请求数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
接收第一端下发的数据处理请求,数据处理请求包括表征数据处理内容的请求参数表和表征数据处理方式的基础函数;按照第一端和第一端下属的第二端之间的元素映射表,对请求参数表中的基础元素进行转化,得到请求参数表中的目标元素;按照第二端匹配的函数渲染方式,对基础函数进行渲染,得到目标函数;根据目标元素和目标函数重构数据处理请求,得到目标数据处理请求,并在第二端的数据库中执行目标数据处理请求进行数据处理。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
在第一端下属的各第二端中确定目标端;按照第一端和目标第二端之间的目标元素映射表,在请求参数表中将满足转化条件的基础元素进行转化,得到请求参数表中的目标元素。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
从第一端和目标端之间的目标元素映射表中,查询基础元素的映射关系;若映射关系完整,则根据目标元素映射表,在请求参数表中对基础元素进行转化,得到请求参数表中的目标元素;若映射关系不完整,则在请求参数表中查找与基础元素相邻的基础元素;并将相邻的基础元素对应的目标元素确定为请求参数表中的目标元素。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
若映射关系异常,则将映射关系中与基础元素对应的各目标元素,整合为目标元素集;对目标元素集中各目标元素进行置信度排序,将置信度最高的目标元素确定为请求参数表中的目标元素。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据基础函数的语法特征和第二端中数据库的结构特征,从各预设渲染方式中筛选出第二端匹配的函数渲染方式;按照函数渲染方式,对基础函数进行渲染,得到目标函数。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
读取第一端的数据处理语句,数据处理语句中包括多个数据处理子句;对各数据处理子句进行维度分类,得到属于处理内容维度的内容子句和属于处理方式维度的方式子句;将内容子句进行参数化处理,得到表征数据处理内容的请求参数表;提取方式子句中的函数部分,得到表征数据处理方式的基础函数;对请求参数表和基础函数进行组合,得到数据处理请求。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
接收第一端下发的数据处理请求,数据处理请求包括表征数据处理内容的请求参数表和表征数据处理方式的基础函数;按照第一端和第一端下属的第二端之间的元素映射表,对请求参数表中的基础元素进行转化,得到请求参数表中的目标元素;按照第二端匹配的函数渲染方式,对基础函数进行渲染,得到目标函数;根据目标元素和目标函数重构数据处理请求,得到目标数据处理请求,并在第二端的数据库中执行目标数据处理请求进行数据处理。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
在第一端下属的各第二端中确定目标端;按照第一端和目标第二端之间的目标元素映射表,在请求参数表中将满足转化条件的基础元素进行转化,得到请求参数表中的目标元素。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
从第一端和目标端之间的目标元素映射表中,查询基础元素的映射关系;若映射关系完整,则根据目标元素映射表,在请求参数表中对基础元素进行转化,得到请求参数表中的目标元素;若映射关系不完整,则在请求参数表中查找与基础元素相邻的基础元素;并将相邻的基础元素对应的目标元素确定为请求参数表中的目标元素。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若映射关系异常,则将映射关系中与基础元素对应的各目标元素,整合为目标元素集;对目标元素集中各目标元素进行置信度排序,将置信度最高的目标元素确定为请求参数表中的目标元素。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据基础函数的语法特征和第二端中数据库的结构特征,从各预设渲染方式中筛选出第二端匹配的函数渲染方式;按照函数渲染方式,对基础函数进行渲染,得到目标函数。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
读取第一端的数据处理语句,数据处理语句中包括多个数据处理子句;对各数据处理子句进行维度分类,得到属于处理内容维度的内容子句和属于处理方式维度的方式子句;将内容子句进行参数化处理,得到表征数据处理内容的请求参数表;提取方式子句中的函数部分,得到表征数据处理方式的基础函数;对请求参数表和基础函数进行组合,得到数据处理请求。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
接收第一端下发的数据处理请求,数据处理请求包括表征数据处理内容的请求参数表和表征数据处理方式的基础函数;按照第一端和第一端下属的第二端之间的元素映射表,对请求参数表中的基础元素进行转化,得到请求参数表中的目标元素;按照第二端匹配的函数渲染方式,对基础函数进行渲染,得到目标函数;根据目标元素和目标函数重构数据处理请求,得到目标数据处理请求,并在第二端的数据库中执行目标数据处理请求进行数据处理。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
在第一端下属的各第二端中确定目标端;按照第一端和目标第二端之间的目标元素映射表,在请求参数表中将满足转化条件的基础元素进行转化,得到请求参数表中的目标元素。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
从第一端和目标端之间的目标元素映射表中,查询基础元素的映射关系;若映射关系完整,则根据目标元素映射表,在请求参数表中对基础元素进行转化,得到请求参数表中的目标元素;若映射关系不完整,则在请求参数表中查找与基础元素相邻的基础元素;并将相邻的基础元素对应的目标元素确定为请求参数表中的目标元素。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若映射关系异常,则将映射关系中与基础元素对应的各目标元素,整合为目标元素集;对目标元素集中各目标元素进行置信度排序,将置信度最高的目标元素确定为请求参数表中的目标元素。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据基础函数的语法特征和第二端中数据库的结构特征,从各预设渲染方式中筛选出第二端匹配的函数渲染方式;按照函数渲染方式,对基础函数进行渲染,得到目标函数。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
读取第一端的数据处理语句,数据处理语句中包括多个数据处理子句;对各数据处理子句进行维度分类,得到属于处理内容维度的内容子句和属于处理方式维度的方式子句;将内容子句进行参数化处理,得到表征数据处理内容的请求参数表;提取方式子句中的函数部分,得到表征数据处理方式的基础函数;对请求参数表和基础函数进行组合,得到数据处理请求。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (15)
1.一种数据处理方法,其特征在于,所述方法包括:
接收第一端下发的数据处理请求,所述数据处理请求包括表征数据处理内容的请求参数表和表征数据处理方式的基础函数;
按照所述第一端和所述第一端下属的第二端之间的元素映射表,对所述请求参数表中的基础元素进行转化,得到所述请求参数表中的目标元素;
按照所述第二端匹配的函数渲染方式,对所述基础函数进行渲染,得到目标函数;
根据所述目标元素和所述目标函数重构所述数据处理请求,得到目标数据处理请求,并在所述第二端的数据库中执行所述目标数据处理请求进行数据处理。
2.根据权利要求1所述的方法,其特征在于,所述按照所述第一端和所述第一端下属的第二端之间的元素映射表,对所述请求参数表中的基础元素进行转化,得到所述请求参数表中的目标元素,包括:
在所述第一端下属的各所述第二端中确定目标端;
按照所述第一端和所述目标第二端之间的目标元素映射表,在所述请求参数表中将满足转化条件的所述基础元素进行转化,得到所述请求参数表中的目标元素。
3.根据权利要求2所述的方法,其特征在于,所述按照所述第一端和所述目标端之间的目标元素映射表,在所述请求参数表中将满足转化条件的所述基础元素进行转化,得到所述请求参数表中的目标元素,包括:
从所述第一端和所述目标端之间的目标元素映射表中,查询所述基础元素的映射关系;
若所述映射关系完整,则根据所述目标元素映射表,在所述请求参数表中对所述基础元素进行转化,得到所述请求参数表中的目标元素;
若所述映射关系不完整,则在所述请求参数表中查找与所述基础元素相邻的基础元素;并将所述相邻的基础元素对应的目标元素确定为所述请求参数表中的目标元素。
4.根据权利要求3所述方法,其特征在于,所述方法还包括:
若所述映射关系异常,则将所述映射关系中与所述基础元素对应的各所述目标元素,整合为目标元素集;
对所述目标元素集中各所述目标元素进行置信度排序,将置信度最高的目标元素确定为所述请求参数表中的目标元素。
5.根据权利要求1所述的方法,其特征在于,所述按照所述第二端匹配的函数渲染方式,对所述基础函数进行渲染,得到目标函数,包括:
根据所述基础函数的语法特征和所述第二端中数据库的结构特征,从各预设渲染方式中筛选出所述第二端匹配的函数渲染方式;
按照所述函数渲染方式,对所述基础函数进行渲染,得到目标函数。
6.根据权利要求1所述的方法,其特征在于,所述接收第一端下发的数据处理请求,包括:
读取第一端的数据处理语句,所述数据处理语句中包括多个数据处理子句;
对各所述数据处理子句进行维度分类,得到属于处理内容维度的内容子句和属于处理方式维度的方式子句;
将所述内容子句进行参数化处理,得到表征数据处理内容的请求参数表;
提取所述方式子句中的函数部分,得到表征数据处理方式的基础函数;
对所述请求参数表和所述基础函数进行组合,得到数据处理请求。
7.一种数据处理装置,其特征在于,所述装置包括:
接收模块,用于接收第一端下发的数据处理请求,所述数据处理请求包括表征数据处理内容的请求参数表和表征数据处理方式的基础函数;
转化模块,用于按照所述第一端和所述第一端下属的第二端之间的元素映射表,对所述请求参数表中的基础元素进行转化,得到所述请求参数表中的目标元素;
渲染模块,用于按照所述第二端匹配的函数渲染方式,对所述基础函数进行渲染,得到目标函数;
处理模块,用于根据所述目标元素和所述目标函数重构所述数据处理请求,得到目标数据处理请求,并在所述第二端的数据库中执行所述目标数据处理请求进行数据处理。
8.根据权利要求7所述的装置,其特征在于,所述转化模块,还用于在所述第一端下属的各所述第二端中确定目标端;按照所述第一端和所述目标第二端之间的目标元素映射表,在所述请求参数表中将满足转化条件的所述基础元素进行转化,得到所述请求参数表中的目标元素。
9.根据权利要求8所述的装置,其特征在于,所述转化模块,还用于从所述第一端和所述目标端之间的目标元素映射表中,查询所述基础元素的映射关系;若所述映射关系完整,则根据所述目标元素映射表,在所述请求参数表中对所述基础元素进行转化,得到所述请求参数表中的目标元素;若所述映射关系不完整,则在所述请求参数表中查找与所述基础元素相邻的基础元素;并将所述相邻的基础元素对应的目标元素确定为所述请求参数表中的目标元素。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:异常处理模块,用于若所述映射关系异常,则将所述映射关系中与所述基础元素对应的各所述目标元素,整合为目标元素集;对所述目标元素集中各所述目标元素进行置信度排序,将置信度最高的目标元素确定为所述请求参数表中的目标元素。
11.根据权利要求7所述的装置,其特征在于,所述渲染模块,还用于根据所述基础函数的语法特征和所述第二端中数据库的结构特征,从各预设渲染方式中筛选出所述第二端匹配的函数渲染方式;按照所述函数渲染方式,对所述基础函数进行渲染,得到目标函数。
12.根据权利要求7所述的装置,其特征在于,所述接收模块,还用于读取第一端的数据处理语句,所述数据处理语句中包括多个数据处理子句;对各所述数据处理子句进行维度分类,得到属于处理内容维度的内容子句和属于处理方式维度的方式子句;将所述内容子句进行参数化处理,得到表征数据处理内容的请求参数表;提取所述方式子句中的函数部分,得到表征数据处理方式的基础函数;对所述请求参数表和所述基础函数进行组合,得到数据处理请求。
13.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
15.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410354906.7A CN118193532A (zh) | 2024-03-27 | 2024-03-27 | 数据处理方法、装置、计算机设备、存储介质和产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410354906.7A CN118193532A (zh) | 2024-03-27 | 2024-03-27 | 数据处理方法、装置、计算机设备、存储介质和产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118193532A true CN118193532A (zh) | 2024-06-14 |
Family
ID=91413396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410354906.7A Pending CN118193532A (zh) | 2024-03-27 | 2024-03-27 | 数据处理方法、装置、计算机设备、存储介质和产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118193532A (zh) |
-
2024
- 2024-03-27 CN CN202410354906.7A patent/CN118193532A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106202207B (zh) | 一种基于HBase-ORM的索引及检索系统 | |
US7836100B2 (en) | Calculating and storing data structures including using calculated columns associated with a database system | |
US8180758B1 (en) | Data management system utilizing predicate logic | |
US20210256079A1 (en) | Adapting database queries for data virtualization over combined database stores | |
CN109710220B (zh) | 关系型数据库查询方法、装置、设备及存储介质 | |
CN111708805A (zh) | 数据查询方法、装置、电子设备及存储介质 | |
CN108140022B (zh) | 数据查询方法和数据库系统 | |
Brown et al. | Overview–The Social Media Data Processing Pipeline | |
CN117971821A (zh) | 数据存储方法、数据读取方法、设备、存储介质 | |
CN112835638A (zh) | 一种基于嵌入式应用程序的配置信息管理方法及装置 | |
US20230153455A1 (en) | Query-based database redaction | |
US11868362B1 (en) | Metadata extraction from big data sources | |
CN114207598A (zh) | 电子表单表转换 | |
US20230394015A1 (en) | LIST-BASED DATA STORAGE FOR DATA SEARCHPeter | |
CN114385145A (zh) | 一种Web系统后端架构设计方法及计算机设备 | |
CN118193532A (zh) | 数据处理方法、装置、计算机设备、存储介质和产品 | |
CN113868138A (zh) | 测试数据的获取方法、系统、设备及存储介质 | |
CN113722296A (zh) | 一种农业信息处理方法、装置、电子设备及存储介质 | |
CN113779248A (zh) | 数据分类模型训练方法、数据处理方法及存储介质 | |
CN112800054A (zh) | 数据模型的确定方法、装置、设备及存储介质 | |
CN111159218B (zh) | 数据处理方法、装置及可读存储介质 | |
CN115774767B (zh) | 一种地理信息元数据处理方法及装置 | |
CN118092921A (zh) | 文件生成方法、装置、设备、存储介质和计算机程序产品 | |
CN116610703A (zh) | 数据查询方法、装置、计算机设备和存储介质 | |
CN117407002A (zh) | 代码转换方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |