CN117891847A - 一种基于数据中台的数据查询装置及方法 - Google Patents
一种基于数据中台的数据查询装置及方法 Download PDFInfo
- Publication number
- CN117891847A CN117891847A CN202410302939.7A CN202410302939A CN117891847A CN 117891847 A CN117891847 A CN 117891847A CN 202410302939 A CN202410302939 A CN 202410302939A CN 117891847 A CN117891847 A CN 117891847A
- Authority
- CN
- China
- Prior art keywords
- data
- query
- field
- splicing
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000014509 gene expression Effects 0.000 claims abstract description 113
- 238000006243 chemical reaction Methods 0.000 claims description 30
- 230000005856 abnormality Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 10
- 230000003287 optical effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于数据处理技术领域,公开一种基于数据中台的数据查询装置及方法,包括:解析单元,用于解析查询请求中的第一查询字段,得到目标业务标识;解析查询请求中的第二查询字段,得到与目标业务标识相关联的业务数据类别;解析查询请求中的第三查询字段,得到查询条件正则表达式;拼接单元,用于按照预设的拼接规则,将目标业务标识、业务数据类别以及查询条件正则表达式进行拼接,得到拼接字段;查询单元,用于将拼接字段输入数据中台的统一接口,以使数据中台基于拼接字段,访问与目标业务标识以及业务数据类别匹配的数据地址;在数据地址中,查询与查询条件正则表达式相匹配的目标数据并输出。可见,本发明能够提高数据查询效率。
Description
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种基于数据中台的数据查询装置及方法。
背景技术
目前,数据中台是对信息化系统业务与数据的沉淀,是实现数据赋能新业务、新应用的中间、支撑性平台。
在实践中发现,数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。这些服务跟企业的业务有较强的关联性,是这个企业独有的且能复用的。然而,在基于数据中台进行数据查询的过程中,由于数据量巨大,因而存在着数据查询效率低下的问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了涉及一种基于数据中台的数据查询装置及方法,能够提高数据查询效率。
根据本发明实施例的一个方面,提供了一种基于数据中台的数据查询装置,包括:
解析单元,用于解析查询请求中的第一查询字段,得到目标业务标识;解析所述查询请求中的第二查询字段,得到与所述目标业务标识相关联的业务数据类别;解析所述查询请求中的第三查询字段,得到查询条件正则表达式;
拼接单元,用于按照预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到拼接字段;
查询单元,用于将所述拼接字段输入数据中台的统一接口,以使所述数据中台基于所述拼接字段,访问与所述目标业务标识、以及所述业务数据类别相匹配的数据地址;在所述数据地址中,查询与所述查询条件正则表达式相匹配的目标数据,并输出所述目标数据。
作为一种可选的实施方式,所述拼接单元具体用于:
读取与所述目标业务标识相匹配的所述拼接规则;其中,不同的所述目标业务标识对应的所述拼接规则不同;
确定所述拼接规则对应的字段拼接顺序、各个字段对应的字段格式、以及各个字段之间的拼接连接符号;
按照所述各个字段对应的字段格式,对所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式,进行格式转换,得到格式转换后的各个字段;
按照所述字段拼接顺序以及所述各个字段之间的拼接连接符号,将所述格式转换后的各个字段进行拼接,得到所述拼接字段。
作为一种可选的实施方式,所述查询单元具体用于:
确定与所述数据地址相匹配的数据库类型;
按照所述数据库类型相匹配的数据查询语句,对所述查询条件正则表达式进行语句转换,得到目标查询语句;
基于所述目标查询语句,确定对应的所述目标数据。
作为一种可选的实施方式,所述拼接单元具体用于:
确定与所述目标业务标识相匹配的业务类型;
确定所述业务类型预先关联存储的数据类别集合;
将所述业务数据类别与所述数据类别集合中的各个数据类别进行匹配;
如果所述数据类别集合中存在与所述业务数据类别相匹配的数据类别,则将所述业务数据类型预先关联存储的正则表达式与所述查询条件正则表达式进行匹配;以及
如果匹配成功,则按照所述预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到所述拼接字段。
作为一种可选的实施方式,所述查询单元还用于:
如果在所述数据地址中未查询到所述目标数据,则输出数据异常提示信息。
根据本发明实施例的另一方面,还提供了一种基于数据中台的数据查询方法,包括:
解析查询请求中的第一查询字段,得到目标业务标识;
解析所述查询请求中的第二查询字段,得到与所述目标业务标识相关联的业务数据类别;
解析所述查询请求中的第三查询字段,得到查询条件正则表达式;
按照预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到拼接字段;
将所述拼接字段输入数据中台的统一接口,以使所述数据中台基于所述拼接字段,访问与所述目标业务标识、以及所述业务数据类别相匹配的数据地址;
在所述数据地址中,查询与所述查询条件正则表达式相匹配的目标数据,并输出所述目标数据。
作为一种可选的实施方式,按照预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到拼接字段,包括:
读取与所述目标业务标识相匹配的所述拼接规则;其中,不同的所述目标业务标识对应的所述拼接规则不同;
确定所述拼接规则对应的字段拼接顺序、各个字段对应的字段格式、以及各个字段之间的拼接连接符号;
按照所述各个字段对应的字段格式,对所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式,进行格式转换,得到格式转换后的各个字段;
按照所述字段拼接顺序以及所述各个字段之间的拼接连接符号,将所述格式转换后的各个字段进行拼接,得到所述拼接字段。
作为一种可选的实施方式,在所述数据地址中,查询与所述查询条件正则表达式相匹配的目标数据,包括:
确定与所述数据地址相匹配的数据库类型;
按照所述数据库类型相匹配的数据查询语句,对所述查询条件正则表达式进行语句转换,得到目标查询语句;
基于所述目标查询语句,确定对应的所述目标数据。
作为一种可选的实施方式,所述方法还包括:
确定与所述目标业务标识相匹配的业务类型;
确定所述业务类型预先关联存储的数据类别集合;
将所述业务数据类别与所述数据类别集合中的各个数据类别进行匹配;
如果所述数据类别集合中存在与所述业务数据类别相匹配的数据类别,则将所述业务数据类型预先关联存储的正则表达式与所述查询条件正则表达式进行匹配;以及
所述按照预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到拼接字段,包括:
如果匹配成功,则按照所述预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到所述拼接字段。
作为一种可选的实施方式,所述方法还包括:
如果在所述数据地址中未查询到所述目标数据,则输出数据异常提示信息。
根据本发明实施例的又一方面,还提供了一种计算设备,所述计算设备包括:至少一个处理器、存储器和输入输出单元;其中,所述存储器用于存储计算机程序,所述处理器用于调用所述存储器中存储的计算机程序来执行上述基于数据中台的数据查询方法。
根据本发明实施例的又一方面,还提供了一种计算机可读存储介质,其包括指令,当其在计算机上运行时,使得计算机执行上述基于数据中台的数据查询方法。
在本发明实施例中,解析单元用于解析查询请求中的第一查询字段,得到目标业务标识;解析查询请求中的第二查询字段,得到与目标业务标识相关联的业务数据类别;解析查询请求中的第三查询字段,得到查询条件正则表达式;拼接单元用于按照预设的拼接规则,将目标业务标识、业务数据类别以及查询条件正则表达式进行拼接,得到拼接字段;查询单元用于将拼接字段输入数据中台的统一接口,以使数据中台基于拼接字段,访问与目标业务标识、以及业务数据类别相匹配的数据地址;在数据地址中,查询与查询条件正则表达式相匹配的目标数据,并输出目标数据。可见,本发明能够提高数据查询效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的基于数据中台的数据查询装置的结构示意图;
图2是根据本发明实施例的一种可选的基于数据中台的数据查询方法的流程示意图;
图3示意性地示出了本发明实施例的一种介质的结构示意图;
图4示意性地示出了本发明实施例的一种计算设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面参考图1,参考图1对本发明示例性实施方式的一种基于数据中台的数据查询装置,包括:
解析单元101,用于解析查询请求中的第一查询字段,得到目标业务标识;解析所述查询请求中的第二查询字段,得到与所述目标业务标识相关联的业务数据类别;解析所述查询请求中的第三查询字段,得到查询条件正则表达式。
拼接单元102,用于按照预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到拼接字段。
查询单元103,用于将所述拼接字段输入数据中台的统一接口,以使所述数据中台基于所述拼接字段,访问与所述目标业务标识、以及所述业务数据类别相匹配的数据地址;在所述数据地址中,查询与所述查询条件正则表达式相匹配的目标数据,并输出所述目标数据。
在本实施例中,在向数据中台请求查询数据时,可以响应用于请求查询数据的查询请求,对查询请求进行字段解析,具体的,基于查询请求中的第一查询字段,可以得到目标业务标识,基于查询请求中的第二查询字段可以得到与目标业务标识相关联的业务数据类别,基于查询请求中的第三查询字段,可以得到查询条件正则表达式。其中,第一查询字段为查询请求中由前后两个第一分隔符分隔出的字段,第二查询字段为查询请求中由前后两个第二分隔符分隔出的字段,第三查询字段为查询请求中由前后两个第三分隔符分隔出的字段。其中,第一查询字段的字段位置先于第二查询字段,第二查询字段的字段位置先于第三查询字段。其中,第一分隔符、第二分隔符以及第三分隔符为预先设置的不同形式的分隔符。
并且,在得到目标业务标识、业务数据类别以及查询条件正则表达式之后,可以按照预设的拼接规则将其拼接,得到拼接字段。预设的拼接规则用于设置这些字段之间的拼接顺序以及拼接连接符。
并且,在得到拼接字段之后,能够将拼接字段输入数据中台提供的统一接口,该接口用于对数据中台中各个数据进行查询操作,能够连接到数据中台中的各个数据地址,去读取相应的数据。数据中台在得到拼接字段之后,能够基于拼接字段,访问对应的数据地址,查询对应的数据,并输出目标数据。其中,数据中台对应着不同的数据地址,每个数据地址对应着不同存储路径的数据库,这些数据库的形式以及数据类型之间存在区别。并且,数据中台预先存储有数据地址、目标业务标识、业务数据类别之间的映射关系。在得到上述数据地址之后,能够在上述数据地址中查询与查询条件正则表达式相匹配的目标数据。其中,查询条件正则表达式的格式也是预先设置与数据地址对应的数据库格式相匹配的表达式。
作为一种可选的实施方式,所述拼接单元102具体用于:
读取与所述目标业务标识相匹配的所述拼接规则;其中,不同的所述目标业务标识对应的所述拼接规则不同。
确定所述拼接规则对应的字段拼接顺序、各个字段对应的字段格式、以及各个字段之间的拼接连接符号。
按照所述各个字段对应的字段格式,对所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式,进行格式转换,得到格式转换后的各个字段。
按照所述字段拼接顺序以及所述各个字段之间的拼接连接符号,将所述格式转换后的各个字段进行拼接,得到所述拼接字段。
在本实施方式中,目标业务标识与拼接规则之间一一对应。在得到目标业务标识之后,进一步确定与其对应的拼接规则。之后,确定拼接规则对应的字段拼接顺序、每个字段对应的字段格式、以及各个字段之间的拼接连接符号。之后,按照所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式分别对应的字段格式,对其做字段格式标准化处理,得到格式转换后的各个字段。并按照所述字段拼接顺序以及所述各个字段之间的拼接连接符号,将所述格式转换后的各个字段进行拼接,得到所述拼接字段。
作为一种可选的实施方式,所述查询单元103具体用于:
确定与所述数据地址相匹配的数据库类型。
按照所述数据库类型相匹配的数据查询语句,对所述查询条件正则表达式进行语句转换,得到目标查询语句。
基于所述目标查询语句,确定对应的所述目标数据。
在本实施方式中,在得到数据地址之后,可以进一步确定与数据地址相匹配的数据库类型,并进一步确定与数据库类型相匹配的数据查询语句,按照该数据查询语句对应的语句格式,对查询条件正则表达式进行语句转换,得到符合数据库类型的目标查询语句。在该数据库中执行目标查询语句,得到最终的目标数据。
作为一种可选的实施方式,所述拼接单元102具体用于:
确定与所述目标业务标识相匹配的业务类型。
确定所述业务类型预先关联存储的数据类别集合。
将所述业务数据类别与所述数据类别集合中的各个数据类别进行匹配。
如果所述数据类别集合中存在与所述业务数据类别相匹配的数据类别,则将所述业务数据类型预先关联存储的正则表达式与所述查询条件正则表达式进行匹配;
如果匹配成功,则按照所述预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到所述拼接字段。
在本实施方式中,在得到目标业务标识之后,可以进一步确定对应的业务类型,根据该业务类型,读取数据类别集合。如果业务数据类别和数据类别集合中的某个数据类别匹配成功,则进一步读取业务数据类型预先关联的正则表达式,进行正则表达式的匹配。如果均匹配成功,则认为目标业务标识、业务数据类别以及查询条件正则表达式通过校验,将其拼接,得到上述拼接数据。
作为一种可选的实施方式,所述查询单元103还用于:
如果在所述数据地址中未查询到所述目标数据,则输出数据异常提示信息。
在本实施方式中,如果数据地址中未查询到所述目标数据,则输出数据异常提示信息,以使数据库管理人员基于数据异常提示信息在数据库中补入对应的数据,以实现数据库的自动化维护。
可以理解的是,在基于数据中台进行数据查询时,因使用者对查询系统的不熟悉,或是对于目标业务标识、业务数据类别不清楚的情况下,数据查询的效率较低。初次查询的用户也可能因客观原因未获得完整的查询请求,例如只清楚目标业务标识,或只清楚业务数据类别。在这种情况下如果由用户现场查询目标业务表示或业务数据类别是不现实的,即使用户查询到也会浪费更多时间。
基于本申请实施例中提供的数据查询装置,在数据查询装置中还可划分出固定的存储单元用于存储由目标业务标识-业务数据类别-查询条件正则表达式构成的数据集。这类数据集可以以固定表格的形式存储,且在表格内仍保留目标业务标识-业务数据类别-查询条件正则表达式的关联关系,例如业务标识A-业务数据类别a-查询条件正则表达式Aa为互相关联的一组数据。
此外,这类数据集也可以存储树状结构中,进而可以将业务标识A存入树状结构的第一层节点中,将业务数据类别a存入树状结构的第二层节点中,将查询条件正则表达式Aa存入树状结构的第三层节点中。
需要说明的是,例如业务标识A-业务数据类别a可以与查询条件正则表达式Aa具有关联关系,也可以与查询条件正则表达式Ab具有关联关系。因此,基于一个或者两个查询字段,可以查找到多个关联的查询条件正则表达式,进而可以生成多个完整的推荐字段,并由推荐字段生成多个待选目标数据。
例如,用户在查询请求中输入业务标识关联的第一查询字段A与查询条件正则表达式关联的第三查询字段Aa。数据中台根据查询请求中包含的第一查询字段A和第三查询字段Aa可以遍历数据集,以找到具有关联关系的第二查询字段。并进一步根据第二查询字段生成至少一个推荐字段,进而由推荐字段生成至少一个待选目标数据。最终,向用户显示至少一个待选目标数据,由用户确认目标数据。此外,响应于用户确认目标数据,可以隐藏其它待选目标数据,以完整的向用户展示目标数据。
在一些实施例中,在用户输入查询请求的阶段中,对于未知的内容可以统一由预设的字符替代。例如,第二查询字段可以由“xxxx”替代,这样数据中台在识别第二查询字段时,通过识别到“xxxx”可以获知需要从数据集中查询与第一查询字段和第三查询字段关联的第二查询字段。这样可以有效提高推荐字段的生成效率,进而提高数据查询效率。
在本发明实施例中,解析单元用于解析查询请求中的第一查询字段,得到目标业务标识;解析查询请求中的第二查询字段,得到与目标业务标识相关联的业务数据类别;解析查询请求中的第三查询字段,得到查询条件正则表达式;拼接单元用于按照预设的拼接规则,将目标业务标识、业务数据类别以及查询条件正则表达式进行拼接,得到拼接字段;查询单元用于将拼接字段输入数据中台的统一接口,以使数据中台基于拼接字段,访问与目标业务标识、以及业务数据类别相匹配的数据地址;在数据地址中,查询与查询条件正则表达式相匹配的目标数据,并输出目标数据。可见,本发明能够提高数据查询效率。
下面参考图2,图2为本发明一实施例提供的基于数据中台的数据查询方法的流程示意图。需要注意的是,本发明的实施方式可以应用于适用的任何场景。
在介绍了本发明示例性实施方式的装置之后,接下来,图2所示的本发明一实施例提供的基于数据中台的数据查询方法的流程,包括:
步骤S201,解析查询请求中的第一查询字段,得到目标业务标识。
步骤S202,解析所述查询请求中的第二查询字段,得到与所述目标业务标识相关联的业务数据类别。
步骤S203,解析所述查询请求中的第三查询字段,得到查询条件正则表达式。
步骤S204,按照预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到拼接字段。
步骤S205,将所述拼接字段输入数据中台的统一接口,以使所述数据中台基于所述拼接字段,访问与所述目标业务标识、以及所述业务数据类别相匹配的数据地址。
步骤S206,在所述数据地址中,查询与所述查询条件正则表达式相匹配的目标数据,并输出所述目标数据。
在本实施例中,在向数据中台请求查询数据时,可以响应用于请求查询数据的查询请求,对查询请求进行字段解析,具体的,基于查询请求中的第一查询字段,可以得到目标业务标识,基于查询请求中的第二查询字段可以得到与目标业务标识相关联的业务数据类别,基于查询请求中的第三查询字段,可以得到查询条件正则表达式。其中,第一查询字段为查询请求中由前后两个第一分隔符分隔出的字段,第二查询字段为查询请求中由前后两个第二分隔符分隔出的字段,第三查询字段为查询请求中由前后两个第三分隔符分隔出的字段。其中,第一查询字段的字段位置先于第二查询字段,第二查询字段的字段位置先于第三查询字段。其中,第一分隔符、第二分隔符以及第三分隔符为预先设置的不同形式的分隔符。
并且,在得到目标业务标识、业务数据类别以及查询条件正则表达式之后,可以按照预设的拼接规则将其拼接,得到拼接字段。预设的拼接规则用于设置这些字段之间的拼接顺序以及拼接连接符。
并且,在得到拼接字段之后,能够将拼接字段输入数据中台提供的统一接口,该接口用于对数据中台中各个数据进行查询操作,能够链接到数据中台中的各个数据地址,去读取相应的数据。数据中台在得到拼接字段之后,能够基于拼接字段,访问对应的数据地址,查询对应的数据,并输出目标数据。其中,数据中台对应着不同的数据地址,每个数据地址对应着不同存储路径的数据库,这些数据库的形式以及数据类型之间存在区别。并且,数据中台预先存储有数据地址、目标业务标识、业务数据类别之间的映射关系。在得到上述数据地址之后,能够在上述数据地址中查询与查询条件正则表达式相匹配的目标数据。其中,查询条件正则表达式的格式也是预先设置与数据地址对应的数据库格式相匹配的表达式。
作为一种可选的实施方式,按照预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到拼接字段,包括:
读取与所述目标业务标识相匹配的所述拼接规则;其中,不同的所述目标业务标识对应的所述拼接规则不同。
确定所述拼接规则对应的字段拼接顺序、各个字段对应的字段格式、以及各个字段之间的拼接连接符号。
按照所述各个字段对应的字段格式,对所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式,进行格式转换,得到格式转换后的各个字段。
按照所述字段拼接顺序以及所述各个字段之间的拼接连接符号,将所述格式转换后的各个字段进行拼接,得到所述拼接字段。
在本实施方式中,目标业务标识与拼接规则之间一一对应。在得到目标业务标识之后,进一步确定与其对应的拼接规则。之后,确定拼接规则对应的字段拼接顺序、每个字段对应的字段格式、以及各个字段之间的拼接连接符号。之后,按照所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式分别对应的字段格式,对其做字段格式标准化处理,得到格式转换后的各个字段。并按照所述字段拼接顺序以及所述各个字段之间的拼接连接符号,将所述格式转换后的各个字段进行拼接,得到所述拼接字段。
作为一种可选的实施方式,在所述数据地址中,查询与所述查询条件正则表达式相匹配的目标数据,包括:
确定与所述数据地址相匹配的数据库类型。
按照所述数据库类型相匹配的数据查询语句,对所述查询条件正则表达式进行语句转换,得到目标查询语句。
基于所述目标查询语句,确定对应的所述目标数据。
在本实施方式中,在得到数据地址之后,可以进一步确定与数据地址相匹配的数据库类型,并进一步确定与数据库类型相匹配的数据查询语句,按照该数据查询语句对应的语句格式,对查询条件正则表达式进行语句转换,得到符合数据库类型的目标查询语句。在该数据库中执行目标查询语句,得到最终的目标数据。
作为一种可选的实施方式,所述方法还包括:
确定与所述目标业务标识相匹配的业务类型。
确定所述业务类型预先关联存储的数据类别集合。
将所述业务数据类别与所述数据类别集合中的各个数据类别进行匹配。
如果所述数据类别集合中存在与所述业务数据类别相匹配的数据类别,则将所述业务数据类型预先关联存储的正则表达式与所述查询条件正则表达式进行匹配;以及
所述按照预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到拼接字段,包括:
如果匹配成功,则按照所述预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到所述拼接字段。
在本实施方式中,在得到目标业务标识之后,可以进一步确定对应的业务类型,根据该业务类型,读取数据类别集合。如果业务数据类别和数据类别集合中的某个数据类别匹配成功,则进一步读取业务数据类型预先关联的正则表达式,进行正则表达式的匹配。如果均匹配成功,则认为目标业务标识、业务数据类别以及查询条件正则表达式通过校验,将其拼接,得到上述拼接数据。
作为一种可选的实施方式,所述方法还包括:
如果在所述数据地址中未查询到所述目标数据,则输出数据异常提示信息。
在本实施方式中,如果数据地址中未查询到所述目标数据,则输出数据异常提示信息,以使数据库管理人员基于数据异常提示信息在数据库中补入对应的数据,以实现数据库的自动化维护。
在本发明实施例中,解析查询请求中的第一查询字段,得到目标业务标识;解析查询请求中的第二查询字段,得到与目标业务标识相关联的业务数据类别;解析查询请求中的第三查询字段,得到查询条件正则表达式;按照预设的拼接规则,将目标业务标识、业务数据类别以及查询条件正则表达式进行拼接,得到拼接字段;将拼接字段输入数据中台的统一接口,以使数据中台基于拼接字段,访问与目标业务标识、以及业务数据类别相匹配的数据地址;在数据地址中,查询与查询条件正则表达式相匹配的目标数据,并输出目标数据。可见,本发明能够提高数据查询效率。
在介绍了本发明示例性实施方式的方法和装置之后,接下来,参考图3对本发明示例性实施方式的计算机可读存储介质进行说明,请参考图3,其示出的计算机可读存储介质为光盘30,其上存储有计算机程序(即程序产品),所述计算机程序在被处理器运行时,会实现上述方法实施方式中所记载的各步骤,例如,解析查询请求中的第一查询字段,得到目标业务标识;解析所述查询请求中的第二查询字段,得到与所述目标业务标识相关联的业务数据类别;解析所述查询请求中的第三查询字段,得到查询条件正则表达式;按照预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到拼接字段;将所述拼接字段输入数据中台的统一接口,以使所述数据中台基于所述拼接字段,访问与所述目标业务标识、以及所述业务数据类别相匹配的数据地址;在所述数据地址中,查询与所述查询条件正则表达式相匹配的目标数据,并输出所述目标数据;各步骤的具体实现方式在此不再重复说明。
需要说明的是,所述计算机可读存储介质的例子还可以包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质,在此不再一一赘述。
在介绍了本发明示例性实施方式的方法、介质和装置之后,接下来,参考图4对本发明示例性实施方式的用于基于数据中台的数据查询的计算设备。
图4示出了适于用来实现本发明实施方式的示例性计算设备40的框图,该计算设备40可以是计算机系统或服务器。图4显示的计算设备40仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,计算设备40的组件可以包括但不限于:一个或者多个处理器或者处理单元401,系统存储器402,连接不同系统组件(包括系统存储器402和处理单元401)的总线403。
计算设备40典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备40访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器402可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)4021和/或高速缓存存储器4022。计算设备40可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,ROM4023可以用于读写不可移动的、非易失性磁介质(图4中未显示,通常称为“硬盘驱动器”)。尽管未在图4中示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线403相连。系统存储器402中可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块4024的程序/实用工具4025,可以存储在例如系统存储器402中,且这样的程序模块4024包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块4024通常执行本发明所描述的实施例中的功能和/或方法。
计算设备40也可以与一个或多个外部设备404(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口405进行。并且,计算设备40还可以通过网络适配器406与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图4所示,网络适配器406通过总线403与计算设备40的其它模块(如处理单元401等)通信。应当明白,尽管图4中未示出,可以结合计算设备40使用其它硬件和/或软件模块。
处理单元401通过运行存储在系统存储器402中的程序,从而执行各种功能应用以及数据处理,例如,解析查询请求中的第一查询字段,得到目标业务标识;解析所述查询请求中的第二查询字段,得到与所述目标业务标识相关联的业务数据类别;解析所述查询请求中的第三查询字段,得到查询条件正则表达式;按照预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到拼接字段;将所述拼接字段输入数据中台的统一接口,以使所述数据中台基于所述拼接字段,访问与所述目标业务标识、以及所述业务数据类别相匹配的数据地址;在所述数据地址中,查询与所述查询条件正则表达式相匹配的目标数据,并输出所述目标数据。各步骤的具体实现方式在此不再重复说明。应当注意,尽管在上文详细描述中提及了基于数据中台的数据查询装置的若干单元/模块或子单元/子模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
Claims (10)
1.一种基于数据中台的数据查询装置,其特征在于,包括:
解析单元,用于解析查询请求中的第一查询字段,得到目标业务标识;解析所述查询请求中的第二查询字段,得到与所述目标业务标识相关联的业务数据类别;解析所述查询请求中的第三查询字段,得到查询条件正则表达式;
拼接单元,用于按照预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到拼接字段;
查询单元,用于将所述拼接字段输入数据中台的统一接口,以使所述数据中台基于所述拼接字段,访问与所述目标业务标识、以及所述业务数据类别相匹配的数据地址;在所述数据地址中,查询与所述查询条件正则表达式相匹配的目标数据,并输出所述目标数据;
存储单元,用于存储由所述目标业务标识、所述业务数据类别、所述查询条件正则表达式以及字段关联关系构成的数据集;
其中,解析单元在解析查询请求时,若解析到所述第一查询字段、第二查询字段或第三查询字段中包含预设的字符,则根据已解析的查询字段从数据集中查询与已解析的字段关联的字段;所述预设的字符用于替代用户在输入查询请求阶段未知的查询字段;
根据已解析的查询字段以及与已解析的字段关联的字段生成推荐字段;
查询单元,还用于根据推荐字段查询至少一个待选目标数据,以及输出至少一个待选目标数据。
2.根据权利要求1所述的基于数据中台的数据查询装置,其特征在于,所述拼接单元具体用于:
读取与所述目标业务标识相匹配的所述拼接规则;其中,不同的所述目标业务标识对应的所述拼接规则不同;
确定所述拼接规则对应的字段拼接顺序、各个字段对应的字段格式、以及各个字段之间的拼接连接符号;
按照所述各个字段对应的字段格式,对所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式,进行格式转换,得到格式转换后的各个字段;
按照所述字段拼接顺序以及所述各个字段之间的拼接连接符号,将所述格式转换后的各个字段进行拼接,得到所述拼接字段。
3.根据权利要求1所述的基于数据中台的数据查询装置,其特征在于,所述查询单元具体用于:
确定与所述数据地址相匹配的数据库类型;
按照所述数据库类型相匹配的数据查询语句,对所述查询条件正则表达式进行语句转换,得到目标查询语句;
基于所述目标查询语句,确定对应的所述目标数据。
4.根据权利要求1所述的基于数据中台的数据查询装置,其特征在于,所述拼接单元具体用于:
确定与所述目标业务标识相匹配的业务类型;
确定所述业务类型预先关联存储的数据类别集合;
将所述业务数据类别与所述数据类别集合中的各个数据类别进行匹配;
如果所述数据类别集合中存在与所述业务数据类别相匹配的数据类别,则将所述业务数据类型预先关联存储的正则表达式与所述查询条件正则表达式进行匹配;以及
如果匹配成功,则按照所述预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到所述拼接字段。
5.根据权利要求1所述的基于数据中台的数据查询装置,其特征在于,所述查询单元还用于:
如果在所述数据地址中未查询到所述目标数据,则输出数据异常提示信息。
6.一种基于数据中台的数据查询方法,其特征在于,包括:
解析查询请求中的第一查询字段,得到目标业务标识;
解析所述查询请求中的第二查询字段,得到与所述目标业务标识相关联的业务数据类别;
解析所述查询请求中的第三查询字段,得到查询条件正则表达式;
若未解析到所述第一查询字段、第二查询字段或第三查询字段中包含预设的字符,则按照预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到拼接字段;
将所述拼接字段输入数据中台的统一接口,以使所述数据中台基于所述拼接字段,访问与所述目标业务标识、以及所述业务数据类别相匹配的数据地址;
在所述数据地址中,查询与所述查询条件正则表达式相匹配的目标数据,并输出所述目标数据
若解析到所述第一查询字段、第二查询字段或第三查询字段中包含预设的字符,则根据已解析的查询字段从数据集中查询与已解析的字段关联的字段;所述数据集中包含所述目标业务标识、所述业务数据类别、所述查询条件正则表达式以及字段关联关系;所述预设的字符用于替代用户在输入查询请求阶段未知的查询字段;
根据已解析的查询字段以及与已解析的字段关联的字段生成推荐字段;
根据推荐字段查询至少一个待选目标数据,以及输出至少一个待选目标数据。
7.根据权利要求6所述的基于数据中台的数据查询方法,其特征在于,按照预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到拼接字段,包括:
读取与所述目标业务标识相匹配的所述拼接规则;其中,不同的所述目标业务标识对应的所述拼接规则不同;
确定所述拼接规则对应的字段拼接顺序、各个字段对应的字段格式、以及各个字段之间的拼接连接符号;
按照所述各个字段对应的字段格式,对所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式,进行格式转换,得到格式转换后的各个字段;
按照所述字段拼接顺序以及所述各个字段之间的拼接连接符号,将所述格式转换后的各个字段进行拼接,得到所述拼接字段。
8.根据权利要求6所述的基于数据中台的数据查询方法,其特征在于,在所述数据地址中,查询与所述查询条件正则表达式相匹配的目标数据,包括:
确定与所述数据地址相匹配的数据库类型;
按照所述数据库类型相匹配的数据查询语句,对所述查询条件正则表达式进行语句转换,得到目标查询语句;
基于所述目标查询语句,确定对应的所述目标数据。
9.根据权利要求6所述的基于数据中台的数据查询方法,其特征在于,所述方法还包括:
确定与所述目标业务标识相匹配的业务类型;
确定所述业务类型预先关联存储的数据类别集合;
将所述业务数据类别与所述数据类别集合中的各个数据类别进行匹配;
如果所述数据类别集合中存在与所述业务数据类别相匹配的数据类别,则将所述业务数据类型预先关联存储的正则表达式与所述查询条件正则表达式进行匹配;以及
所述按照预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到拼接字段,包括:
如果匹配成功,则按照所述预设的拼接规则,将所述目标业务标识、所述业务数据类别以及所述查询条件正则表达式进行拼接,得到所述拼接字段。
10.根据权利要求6所述的基于数据中台的数据查询方法,其特征在于,所述方法还包括:
如果在所述数据地址中未查询到所述目标数据,则输出数据异常提示信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410302939.7A CN117891847A (zh) | 2024-03-18 | 2024-03-18 | 一种基于数据中台的数据查询装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410302939.7A CN117891847A (zh) | 2024-03-18 | 2024-03-18 | 一种基于数据中台的数据查询装置及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117891847A true CN117891847A (zh) | 2024-04-16 |
Family
ID=90645231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410302939.7A Pending CN117891847A (zh) | 2024-03-18 | 2024-03-18 | 一种基于数据中台的数据查询装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117891847A (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105868225A (zh) * | 2015-11-18 | 2016-08-17 | 乐视体育文化产业发展(北京)有限公司 | 数据查询的方法、客户端、服务器及系统 |
CN109918453A (zh) * | 2019-02-13 | 2019-06-21 | 中国三峡建设管理有限公司 | 一种以自然语言搜索关系型复杂管理信息系统数据的方法及系统 |
CN110990400A (zh) * | 2019-11-20 | 2020-04-10 | 浙江大搜车软件技术有限公司 | 数据库查询方法、装置、计算机设备和存储介质 |
CN112214494A (zh) * | 2020-10-21 | 2021-01-12 | 中国银行股份有限公司 | 检索方法及装置 |
CN113760948A (zh) * | 2021-01-29 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 一种数据查询的方法及装置 |
CN114064655A (zh) * | 2021-11-23 | 2022-02-18 | 上证所信息网络有限公司 | 一种可配置化数据查询及数据关系的自动发现方法 |
CN114297535A (zh) * | 2021-12-17 | 2022-04-08 | 上海东普信息科技有限公司 | 查询条件的页面展示方法、装置、设备及存储介质 |
CN114547076A (zh) * | 2022-02-21 | 2022-05-27 | 京东方科技集团股份有限公司 | 数据处理方法和数据处理系统 |
CN115114321A (zh) * | 2022-06-28 | 2022-09-27 | 杭州飞象企服网络技术有限公司 | 一种动态查询方法及系统 |
CN115617795A (zh) * | 2022-10-11 | 2023-01-17 | 厦门市美亚柏科信息股份有限公司 | 一种数据库表的通用查询方法、装置及存储介质 |
-
2024
- 2024-03-18 CN CN202410302939.7A patent/CN117891847A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105868225A (zh) * | 2015-11-18 | 2016-08-17 | 乐视体育文化产业发展(北京)有限公司 | 数据查询的方法、客户端、服务器及系统 |
CN109918453A (zh) * | 2019-02-13 | 2019-06-21 | 中国三峡建设管理有限公司 | 一种以自然语言搜索关系型复杂管理信息系统数据的方法及系统 |
CN110990400A (zh) * | 2019-11-20 | 2020-04-10 | 浙江大搜车软件技术有限公司 | 数据库查询方法、装置、计算机设备和存储介质 |
CN112214494A (zh) * | 2020-10-21 | 2021-01-12 | 中国银行股份有限公司 | 检索方法及装置 |
CN113760948A (zh) * | 2021-01-29 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 一种数据查询的方法及装置 |
CN114064655A (zh) * | 2021-11-23 | 2022-02-18 | 上证所信息网络有限公司 | 一种可配置化数据查询及数据关系的自动发现方法 |
CN114297535A (zh) * | 2021-12-17 | 2022-04-08 | 上海东普信息科技有限公司 | 查询条件的页面展示方法、装置、设备及存储介质 |
CN114547076A (zh) * | 2022-02-21 | 2022-05-27 | 京东方科技集团股份有限公司 | 数据处理方法和数据处理系统 |
CN115114321A (zh) * | 2022-06-28 | 2022-09-27 | 杭州飞象企服网络技术有限公司 | 一种动态查询方法及系统 |
CN115617795A (zh) * | 2022-10-11 | 2023-01-17 | 厦门市美亚柏科信息股份有限公司 | 一种数据库表的通用查询方法、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113360519B (zh) | 数据处理方法、装置、设备和存储介质 | |
JP7254925B2 (ja) | 改良されたデータマッチングのためのデータレコードの字訳 | |
CN112988770B (zh) | 序列号更新的方法、装置、电子设备和存储介质 | |
CN112925757A (zh) | 一种追踪智能设备操作日志的方法、设备、存储介质 | |
CN111831682B (zh) | 处理公积金业务的方法、装置、设备和计算机可读介质 | |
CN113760948A (zh) | 一种数据查询的方法及装置 | |
CN113901083A (zh) | 基于多解析器的异构数据源操作资源解析定位方法和设备 | |
CN105843899A (zh) | 一种可简化编程的大数据自动化解析方法及系统 | |
CN109697234B (zh) | 实体的多属性信息查询方法、装置、服务器和介质 | |
CN116756152A (zh) | 基于区块链的数据处理方法和装置、电子设备和存储介质 | |
CN116775488A (zh) | 异常数据确定方法、装置、设备、介质及产品 | |
CN117891847A (zh) | 一种基于数据中台的数据查询装置及方法 | |
CN116069810A (zh) | 数据查询方法、装置及终端设备 | |
CN116186286A (zh) | 基于企业知识图谱的国际物流信息推荐方法、系统及介质 | |
CN116010461A (zh) | 数据血缘关系解析方法及装置、存储介质及电子设备 | |
US20080208797A1 (en) | Automated record attribute value merging from multiple directory servers | |
US9607029B1 (en) | Optimized mapping of documents to candidate duplicate documents in a document corpus | |
CN115454354B (zh) | 数据的处理方法、系统、电子设备及存储介质 | |
CN113722334B (zh) | 数据处理的方法、装置、电子设备及介质 | |
CN113761102B (zh) | 数据处理方法、装置、服务器、系统和存储介质 | |
CN117312360A (zh) | 数据获取方法、装置及终端设备 | |
CN113792048B (zh) | 非关系型数据库的表单校验规则生成方法和系统 | |
CN113900895B (zh) | 信息处理方法、信息处理装置、存储介质与电子设备 | |
US20220405244A1 (en) | Batch deletion method and apparatus for cache contents, device and readable storage medium | |
US7865518B2 (en) | Systems and methods for managing identities in a database system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |