CN115687478A - 一种标准化业务数据共享系统和方法 - Google Patents

一种标准化业务数据共享系统和方法 Download PDF

Info

Publication number
CN115687478A
CN115687478A CN202211329879.5A CN202211329879A CN115687478A CN 115687478 A CN115687478 A CN 115687478A CN 202211329879 A CN202211329879 A CN 202211329879A CN 115687478 A CN115687478 A CN 115687478A
Authority
CN
China
Prior art keywords
data
target
target data
file
standardized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211329879.5A
Other languages
English (en)
Inventor
谭功武
陆燕
周函
朱燕玲
林碧兰
黄光明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Communication Service Application And Solution Technology Co ltd
Original Assignee
China Communication Service Application And Solution Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Communication Service Application And Solution Technology Co ltd filed Critical China Communication Service Application And Solution Technology Co ltd
Priority to CN202211329879.5A priority Critical patent/CN115687478A/zh
Publication of CN115687478A publication Critical patent/CN115687478A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种标准化业务数据共享系统和方法,系统包括数据预处理引擎、统一协议解析适配器和多个数据源;数据预处理引擎用于生成与订阅配置信息匹配的目标数据请求报文;统一协议解析适配器用于基于统一解析目标数据请求报文,确定目标数据的数据源归属,进行目标数据的抽取;多个数据源用于存储标准化数据;统一协议解析适配器还用于将目标数据进行打包封装后返回至请求方。本发明通过屏蔽访问连接差异,降低数据共享的技术门槛,可自动路由到目标数据的数据源归属,从而对外提供标准化的数据共享能力,进而使得上层应用系统的请求方无需关注数据的类别,实现了底层异构上层无感知,提高了数据的共享利用率。

Description

一种标准化业务数据共享系统和方法
技术领域
本发明属于数据共享技术领域,具体涉及一种标准化业务数据共享系统和方法。
背景技术
随着企业数字化转型的发展,数据价值逐步体现,对于跨系统、跨应用和跨平台间异构数据的交互需求呈现爆炸式增长。传统技术中,跨系统、跨应用和跨平台之间的数据交互大多通过一对一约定数据接口协议规范的形式做定制化开发处理,沟通和实现成本较高;当数据需求发生变更时,往往涉及数据规范的变更,需要重新施工发布数据接口,增加了数据接口交互的时间成本且能力不可复用,无法及时有效响应业务侧对数据共享交互的迫切需求。
发明内容
本发明的目的是提供一种标准化业务数据共享系统和方法,用以解决现有的系统在数据需求发生变更时,往往涉及数据规范的变更,需要重新施工发布数据接口,增加了数据接口交互的时间成本且能力不可复用,无法及时有效响应业务侧对数据共享交互的迫切需求的技术问题。
为了实现上述目的,本发明采用以下技术方案:
第一方面提供一种标准化业务数据共享系统,包括数据预处理引擎、统一协议解析适配器以及多个数据源;
所述数据预处理引擎用于接收请求方发送的订阅配置信息,并基于预设的数据处理规则生成与订阅配置信息匹配的目标数据请求报文,将所述目标数据请求报文发送至所述统一协议解析适配器;
所述统一协议解析适配器用于基于统一的数据访问接口接收所述目标数据请求报文并进行解析,并基于预设的存储策略管理规则确定目标数据的数据源归属,通过建立与目标数据源的连接以进行目标数据的抽取;
所述多个数据源用于存储不同类型的标准化数据,其中,所述标准化数据为基于元数据构建的数据,至少包括关系型数据和文件型数据;
所述统一协议解析适配器还用于将抽取的目标数据进行打包封装后返回至请求方。
在一种可能的设计中,订阅配置信息至少包括资产对象、服务类型、目标数据项范围以及数据过滤条件。
在一种可能的设计中,在基于预设的数据处理规则生成与订阅配置信息匹配的目标数据请求报文时,所述数据预处理引擎具体用于:
基于数据过滤规则响应于请求方对于数据属性、数据条件以及数据参数值的配置;
基于数据裁剪规则响应于请求方对于数据项范围的配置;
根据目标数据的存储信息和元数据约束,将数据属性映射到物理存储中各存储库表或文件对象的数据项、数据源归属、关联规则以及存储类型;
将数据属性、数据条件、数据参数值以及数据项范围的配置信息按照数据源的相应语法规则,自适应生成可发送执行的目标数据请求报文。
在一种可能的设计中,在基于统一的数据访问接口接收所述目标数据请求报文之后,所述统一协议解析适配器还用于:
对所述目标数据请求报文的访问权限、任务状态以及请求内容进行验证。
在一种可能的设计中,所述统一的数据访问接口通过封装关系型数据库和文件型数据源的多种协议,以提供针对各关系型数据库和各文件型数据源的数据访问接口。
在一种可能的设计中,在对目标数据请求报文进行解析时,所述统一协议解析适配器具体用于:
获取目标数据请求报文中的订阅请求信息、资产对象信息、元数据以及数据源信息。
在一种可能的设计中,在基于预设的存储策略管理规则确定目标数据的数据源归属,通过建立与目标数据源的连接以进行目标数据的抽取时,所述统一协议解析适配器具体用于:
基于预设的存储管理规则中的数据源映射关系和数据路由策略,确定目标数据的数据源归属,其中,目标数据的访问请求以数据源实例分片的方式发起;
通过建立与目标关系型数据库或目标文件型数据源的连接,将访问执行语句路由至对应的至少一个数据源实例,并在至少一个数据源实例中执行目标数据的抽取。
在一种可能的设计中,当目标数据是关系型数据时,所述访问执行语句为结构化查询语言SQL语句,在至少一个数据源实例中执行目标数据的抽取,包括:
根据目标数据的数据源实例归属,在至少一个数据源实例中执行SQL语句,实现目标数据的抽取。
在一种可能的设计中,当目标数据是文件型数据时,所述访问执行语句为文件扫描语句,在至少一个数据源实例中执行目标数据的抽取,包括:
根据目标文件的数据源实例归属,在至少一个数据源实例中扫描是否存在目标文件,若是,则根据订阅规则设置的文件拆分方式对目标文件进行抽取。
第二方面,本发明提供一种标准化业务数据共享方法,包括:
通过数据预处理引擎接收请求方发送的订阅配置信息,并基于预设的数据处理规则生成与订阅配置信息匹配的目标数据请求报文,将所述目标数据请求报文发送至统一协议解析适配器;
通过统一协议解析适配器基于统一的数据访问接口接收所述目标数据请求报文并进行解析,并基于预设的存储策略管理规则确定目标数据的数据源归属,通过建立与目标数据源的连接以进行目标数据的抽取;
通过统一协议解析适配器将抽取的目标数据进行打包封装后返回至请求方;
其中,数据源中存储有不同类型的标准化数据,所述标准化数据为基于元数据构建的数据,至少包括关系型数据和文件型数据。
第三方面,本发明提供一种计算机设备,包括依次通信相连的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如第二方面所述的标准化业务数据共享方法。
第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如第二方面所述的标准化业务数据共享方法。
第五方面,本发明提供一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使所述计算机执行如第二方面所述的标准化业务数据共享方法。
本发明相较于现有技术的有益效果为:
本发明基于业务生产系统的关系型数据或文件型数据的存储策略规则,基于元数据信息对关系型数据库和文件型数据源等不同访问协议及不同类型数据间进行集成,并对底层不同类型的数据源进行封装,处于上层应用系统的请求方可基于不同的数据请求,向数据预处理引擎发送订阅配置信息以生成目标数据请求报文,并由统一协议解析适配器进行解析和路由转发,屏蔽访问连接差异,降低数据共享的技术门槛,可自动路由到目标数据的数据源归属,从而对外提供标准化的数据共享能力,进而使得上层应用系统的请求方无需关注数据的类别,只需关注所获取的目标业务数据的路径和质量,从而达到一次开放,多次共享获取的效果,提高了数据的共享利用率,同时实现底层异构而上层无感知。
附图说明
图1为本申请实施例中的标准化业务数据共享系统的结构框图;
图2为本申请实施例中的请求方的订阅信息配置界面图;
图3为本申请实施例中的数据类型的映射关系图;
图4为本申请实施例中的数据源实例的存储策略图;
图5为本申请实施例中的统一协议解析适配器的方法原理图;
图6为本发明实施例中的标准化业务数据共享方法的流程图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍,显而易见地,下面关于附图结构的描述仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在此需要说明的是,对于这些实施例方式的说明用于帮助理解本发明,但并不构成对本发明的限定。
实施例
为了解决现有的系统在数据需求发生变更时,往往涉及数据规范的变更,需要重新施工发布数据接口,增加了数据接口交互的时间成本且能力不可复用,无法及时有效响应业务侧对数据共享交互的迫切需求的技术问题。本申请实施例提出了一种标准化业务数据共享系统,该系统基于业务生产系统的关系型数据或文件型数据的存储策略规则,基于元数据信息对关系型数据库和文件型数据源等不同访问协议及不同类型数据间进行集成,并对底层不同类型的数据源进行封装,则处于上层应用系统的请求方可基于不同的数据请求,向数据预处理引擎发送订阅配置信息以生成目标数据请求报文,并由统一协议解析适配器进行解析和路由转发,屏蔽访问连接差异,降低数据共享的技术门槛,可自动路由到目标数据的数据源归属,从而对外提供标准化的数据共享能力,进而使得上层应用系统的请求方无需关注数据的类别,只需关注所获取的目标业务数据的路径和质量,从而达到一次开放,多次共享获取的效果,提高了数据的共享利用率,同时实现底层异构而上层无感知。
下面将对本申请实施例提供的标准化业务数据共享系统进行详细说明。
如图1-图5所示,是本申请实施例提供的标准化业务数据共享系统的结构框图,所述标准化业务数据共享系统,包括数据预处理引擎、统一协议解析适配器以及多个数据源;
所述数据预处理引擎用于接收请求方发送的订阅配置信息,并基于预设的数据处理规则生成与订阅配置信息匹配的目标数据请求报文,将所述目标数据请求报文发送至所述统一协议解析适配器;
所述统一协议解析适配器用于基于统一的数据访问接口接收所述目标数据请求报文并进行解析,并基于预设的存储策略管理规则确定目标数据的数据源归属,通过建立与目标数据源的连接以进行目标数据的抽取;
所述多个数据源用于存储不同类型的标准化数据,其中,所述标准化数据为基于元数据构建的数据,至少包括关系型数据和文件型数据;
所述统一协议解析适配器还用于将抽取的目标数据进行打包封装后返回至请求方。
其中,优选的,本申请实施例中的关系型数据库包括但不限于电信自研的TelePG数据库和TeleDB数据库,或者是现有主流的关系型数据库PostGreSQL数据库、MySQL数据库以及Oracle数据库,本申请实施例中的文件型数据库包括但不限于Ctg-DFS小文件型系统或Ftp文件型存储服务系统。
在一种具体的实施方式中,订阅配置信息至少包括资产对象、服务类型、目标数据项范围以及数据过滤条件。
其中,需要说明的是,每一资产对象对应设置有UUID(Universally UniqueIdentifier,通用唯一识别码),通过资产对象的通用唯一识别码,能够查找对应的资产对象,进而查找资产对象对应的元数据信息,其中,元数据信息包括但不限于Map(属性编码,选择字段)、from表、多表join条件以及Map(属性编码、列信息[列名、表名、列名、数据类型])。
当然,可以理解的是,该订阅配置信息还具体包括数据源信息(含虚拟数据源,查找对象存储位置)、已订阅的属性编码(有序)、数据排序、行级限制、文件类型(例如csv文件或txt文件)、文件名及其切分、csv文件格式(包括文件头(无、属性编码、列编码、属性名称、列名称)、分隔符和包裹符)、目标文件的服务器和/或是否压缩等信息,此处不做具体限定。
如2所示,在一种具体的实施方式中,在基于预设的数据处理规则生成与订阅配置信息匹配的目标数据请求报文时,所述数据预处理引擎具体用于:
(1)基于数据过滤规则响应于请求方对于数据属性、数据条件以及数据参数值的配置;
其中,需要说明的是,文件范围过滤和数据内容过滤均通过提供属性+条件+参数值组合的形式形成统一的逻辑配置入口进行设置;其中,对于关系型数据处理数据内容过滤时,属性从资产对象的属性中选择,文件型数据的文件范围过滤则从文件名规则表达式中分解相关的变量属性中选择,条件则根据所选属性的数据类型封装适配的运算选择,参数值根据条件的类型提供匹配的录入条目。
在图3中,示出了数据类型的映射关系,即不同数据类型分别支持的运算符,例如字符型数据,支持的运算符为“=”、“in”、“like”、“not in”、“not like”,分别表示等于、在列表、包含、不等于、不在列表;对于应用层的请求方来说,其无需知晓各数据类型与各运算符之间的映射关系,只需通过用户操作界面的订阅配置组件对数据过滤条件进行简单配置,后端的数据预处理引擎即可获取其订阅配置信息,从而有效简化用户界面的操作。
(2)基于数据裁剪规则响应于请求方对于数据项范围的配置;
(3)根据目标数据的存储信息和元数据约束,将数据属性映射到物理存储中各存储库表或文件对象的数据项、数据源归属、关联规则以及存储类型;
(4)将数据属性、数据条件、数据参数值以及数据项范围的配置信息按照数据源的相应语法规则,自适应生成可发送执行的目标数据请求报文。
其中,需要说明的是,对于结构化的数据,提供基于元数据的数据项范围选择功能;数据范围和过滤条件配置完成后,由预处理解析引擎结合对象存储信息和元数据设计,将对象属性映射到物理存储中各存储库表/文件对象的数据项、数据存储归属、关联规则及存储类型,并根据预置的类型适配器将条件规则的“属性+条件+参数”按照存储源电信自研TelePG、TeleDB关系型数据库,业界PostGreSQL、MySQL、Oracle主流关系型数据库,电信自研Ctg-DFS文件型存储、Ftp的相应语法规则,自适应生成可投递执行的语句。
在一种具体的实施方式中,在基于统一的数据访问接口接收所述目标数据请求报文之后,所述统一协议解析适配器还用于:
对所述目标数据请求报文的访问权限、任务状态以及请求内容进行验证。
具体的,本申请实施例中的访问权限、任务状态以及请求内容验证由统一协议解析适配器的公共设置模块根据订阅申请配置进行统一的验证,验证通过后可生成服务运行逻辑、执行操作及结果封装,返回的过程则根据对象类型和操作类型不同,提供不同的服务运行逻辑封装。
在一种具体的实施方式中,所述统一的数据访问接口通过封装关系型数据库和文件型数据源的多种协议,以提供针对各关系型数据库和各文件型数据源的数据访问接口。
在一种具体的实施方式中,在对目标数据请求报文进行解析时,所述统一协议解析适配器具体用于:
获取目标数据请求报文中的订阅请求信息、资产对象信息、元数据以及数据源信息。
在一种具体的实施方式中,在基于预设的存储策略管理规则确定目标数据的数据源归属,通过建立与目标数据源的连接以进行目标数据的抽取时,所述统一协议解析适配器具体用于:
(1)基于预设的存储管理规则中的数据源映射关系和数据路由策略,确定目标数据的数据源归属,其中,目标数据的访问请求以数据源实例分片的方式发起;
(2)通过建立与目标关系型数据库或目标文件型数据源的连接,将访问执行语句路由至对应的至少一个数据源实例,并在至少一个数据源实例中执行目标数据的抽取。
其中,需要说明的是,优选的,本申请实施例中的数据源实例在指定规范的存储目录下进行存储,其中,指定规范通常是指事先做好规划并设置有编码标准要求;当然,可以理解的,本申请实施例中的数据源实例也可以是不规范存储,具体可根据存储需求进行设置,此处不做限定。
在一种具体的实施方式中,当目标数据是关系型数据时,所述访问执行语句为结构化查询语言SQL语句,在至少一个数据源实例中执行目标数据的抽取,包括:
根据目标数据的数据源实例归属,在至少一个数据源实例中执行SQL语句,实现目标数据的抽取。
其中,需要说明的是,当目标数据是关系型数据时,本申请实施例基于元数据的统一CRUD(Create、Read、Update和Delete,增加、读取、更新和删除)服务接口,将关系型数据对象直连访问的服务封装为统一的RESTful风格的API接口,采用POST方式,约定增删改查的请求报文格式语法,以将抽取的目标数据以报文形式返回至请求方。
其中,对于报文参数的约定,本申请实施例采用以下参数约定形式实现:
Figure BDA0003913126130000091
其中,需要说明的是,本申请实施例中对于数据格式的约定,采用以下方式实现:
(1)对于查询对象为JSON的对象,使用大括号{}包裹。
Figure BDA0003913126130000101
(2)对于排序逻辑为JSON的对象数组,使用大括号[]包裹,[]中每个数组元素使用{}包裹,数组的作用为支持多个排序且有顺序。
字段 释义 数据类型
key 属性CODE、表的列名 字符串
desc 是否逆序,默认是正序 布尔型
(3)对于对象列表为JSON对象数组,使用大括号[]包裹,[]中每个数组元素使用{}包裹,数组的作用为多个ID且支持批量操作。
Figure BDA0003913126130000102
其中,优选的,对于关系型数据,本申请实施例即可以向用户侧提供即时的数据共享服务,也可以提供定时推送服务,即封装关系型数据的过滤、裁剪,并抽取成目标数据文件生成定时推送的服务。
在一种具体的实施方式中,当目标数据是文件型数据时,所述访问执行语句为文件扫描语句,在至少一个数据源实例中执行目标数据的抽取,包括:
根据目标文件的数据源实例归属,在至少一个数据源实例中扫描是否存在目标文件,若是,则根据订阅规则设置的文件拆分方式对目标文件进行抽取。
基于上述公开的内容,需要说明的是,本申请实施例的统一协议适配器在对文件型数据进行数据共享时,总的实现原理如下:首先,确定目标文件,即按照文件名表达式配置信息,依照规则顺序解析确定目标文件;然后,结合过滤配置,匹配文件名规则变量,生成目标文件名规则;然后,文件扫描查找,即解析源文件目录规则,调用协议解析器连接文件系统,扫描数据源归属中是否存在目标文件;最后,进行文件处理,即根据订阅规则设置的拆分方式、阈值,进行文件拆分,追加文件头、文件名追加编号;根据订阅配置选择处理不压缩、gsp、zip压缩;解析目标目录格式,调用协议解析器连接目标文件系统,将文件推送到目标目录,目标目录文件查重备份处理。
基于上述公开的内容,本申请实施例基于业务生产系统的关系型数据或文件型数据的存储策略规则,基于元数据信息对关系型数据库和文件型数据源等不同访问协议及不同类型数据间进行集成,并对底层不同类型的数据源进行封装,则处于上层应用系统的请求方可基于不同的数据请求,向数据预处理引擎发送订阅配置信息以生成目标数据请求报文,并由统一协议解析适配器进行解析和路由转发,屏蔽访问连接差异,降低数据共享的技术门槛,可自动路由到目标数据的数据源归属,从而对外提供标准化的数据共享能力,进而使得上层应用系统的请求方无需关注数据的类别,只需关注所获取的目标业务数据的路径和质量,从而达到一次开放,多次共享获取的效果,提高了数据的共享利用率,同时实现底层异构而上层无感知。
如图6所示,第二方面,本发明提供一种标准化业务数据共享方法,包括但不限于由步骤S1-步骤S3实现:
步骤S1.通过数据预处理引擎接收请求方发送的订阅配置信息,并基于预设的数据处理规则生成与订阅配置信息匹配的目标数据请求报文,将所述目标数据请求报文发送至统一协议解析适配器;
步骤S2.通过统一协议解析适配器基于统一的数据访问接口接收所述目标数据请求报文并进行解析,并基于预设的存储策略管理规则确定目标数据的数据源归属,通过建立与目标数据源的连接以进行目标数据的抽取;
步骤S3.通过统一协议解析适配器将抽取的目标数据进行打包封装后返回至请求方;
其中,数据源中存储有不同类型的标准化数据,所述标准化数据为基于元数据构建的数据,至少包括关系型数据和文件型数据。
本实施例第二方面提供的前述方法的工作过程、工作细节和技术效果,可以参见如上第一方面或第一方面中任意一种可能设计所述的系统,于此不再赘述。
第三方面,本发明提供一种计算机设备,包括依次通信相连的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如第二方面所述的标准化业务数据共享方法。
具体举例的,所述存储器可以但不限于包括随机存取存储器(Random-AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output,FIFO)和/或先进后出存储器(First Input Last Output,FILO)等等;所述处理器可以不限于采用型号为STM32F105系列的微处理器;所述收发器可以但不限于为WiFi(无线保真)无线收发器、蓝牙无线收发器、GPRS(General Packet RadioService,通用分组无线服务技术)无线收发器和/或ZigBee(紫蜂协议,基于IEEE802.15.4标准的低功耗局域网协议)无线收发器等。此外,所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例第三方面提供的前述计算机设备的工作过程、工作细节和技术效果,可以参见如上第二方面所述的方法,于此不再赘述。
第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如第一方面任意一种可能的设计中所述的方法。
其中,所述计算机可读存储介质是指存储数据的载体,可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等,所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例第四方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果,可以参见如上第二方面所述的方法,于此不再赘述。
第五方面,本发明提供一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使所述计算机执行如第一方面任意一种可能的设计中所述的方法。
本实施例第五方面提供的前述包含指令的计算机程序产品的工作过程、工作细节和技术效果,可以参见如上第二方面所述的方法,于此不再赘述。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种标准化业务数据共享系统,其特征在于,包括数据预处理引擎、统一协议解析适配器以及多个数据源;
所述数据预处理引擎用于接收请求方发送的订阅配置信息,并基于预设的数据处理规则生成与订阅配置信息匹配的目标数据请求报文,将所述目标数据请求报文发送至所述统一协议解析适配器;
所述统一协议解析适配器用于基于统一的数据访问接口接收所述目标数据请求报文并进行解析,并基于预设的存储策略管理规则确定目标数据的数据源归属,通过建立与目标数据源的连接以进行目标数据的抽取;
所述多个数据源用于存储不同类型的标准化数据,其中,所述标准化数据为基于元数据构建的数据,至少包括关系型数据和文件型数据;
所述统一协议解析适配器还用于将抽取的目标数据进行打包封装后返回至请求方。
2.根据权利要求1所述的标准化业务数据共享系统,其特征在于,订阅配置信息至少包括资产对象、服务类型、目标数据项范围以及数据过滤条件。
3.根据权利要求1所述的标准化业务数据共享系统,其特征在于,在基于预设的数据处理规则生成与订阅配置信息匹配的目标数据请求报文时,所述数据预处理引擎具体用于:
基于数据过滤规则响应于请求方对于数据属性、数据条件以及数据参数值的配置;
基于数据裁剪规则响应于请求方对于数据项范围的配置;
根据目标数据的存储信息和元数据约束,将数据属性映射到物理存储中各存储库表或文件对象的数据项、数据源归属、关联规则以及存储类型;
将数据属性、数据条件、数据参数值以及数据项范围的配置信息按照数据源的相应语法规则,自适应生成可发送执行的目标数据请求报文。
4.根据权利要求1所述的标准化业务数据共享系统,其特征在于,在基于统一的数据访问接口接收所述目标数据请求报文之后,所述统一协议解析适配器还用于:
对所述目标数据请求报文的访问权限、任务状态以及请求内容进行验证。
5.根据权利要求1所述的标准化业务数据共享系统,其特征在于,所述统一的数据访问接口通过封装关系型数据库和文件型数据源的多种协议,以提供针对各关系型数据库和各文件型数据源的数据访问接口。
6.根据权利要求1所述的标准化业务数据共享系统,其特征在于,在对目标数据请求报文进行解析时,所述统一协议解析适配器具体用于:
获取目标数据请求报文中的订阅请求信息、资产对象信息、元数据以及数据源信息。
7.根据权利要求5所述的标准化业务数据共享系统,其特征在于,在基于预设的存储策略管理规则确定目标数据的数据源归属,通过建立与目标数据源的连接以进行目标数据的抽取时,所述统一协议解析适配器具体用于:
基于预设的存储管理规则中的数据源映射关系和数据路由策略,确定目标数据的数据源归属,其中,目标数据的访问请求以数据源实例分片的方式发起;
通过建立与目标关系型数据库或目标文件型数据源的连接,将访问执行语句路由至对应的至少一个数据源实例,并在至少一个数据源实例中执行目标数据的抽取。
8.根据权利要求7所述的标准化业务数据共享系统,其特征在于,当目标数据是关系型数据时,所述访问执行语句为结构化查询语言SQL语句,在至少一个数据源实例中执行目标数据的抽取,包括:
根据目标数据的数据源实例归属,在至少一个数据源实例中执行SQL语句,实现目标数据的抽取。
9.根据权利要求7所述的标准化业务数据共享系统,其特征在于,当目标数据是文件型数据时,所述访问执行语句为文件扫描语句,在至少一个数据源实例中执行目标数据的抽取,包括:
根据目标文件的数据源实例归属,在至少一个数据源实例中扫描是否存在目标文件,若是,则根据订阅规则设置的文件拆分方式对目标文件进行抽取。
10.一种标准化业务数据共享方法,其特征在于,包括:
通过数据预处理引擎接收请求方发送的订阅配置信息,并基于预设的数据处理规则生成与订阅配置信息匹配的目标数据请求报文,将所述目标数据请求报文发送至统一协议解析适配器;
通过统一协议解析适配器基于统一的数据访问接口接收所述目标数据请求报文并进行解析,并基于预设的存储策略管理规则确定目标数据的数据源归属,通过建立与目标数据源的连接以进行目标数据的抽取;
通过统一协议解析适配器将抽取的目标数据进行打包封装后返回至请求方;
其中,数据源中存储有不同类型的标准化数据,所述标准化数据为基于元数据构建的数据,至少包括关系型数据和文件型数据。
CN202211329879.5A 2022-10-27 2022-10-27 一种标准化业务数据共享系统和方法 Pending CN115687478A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211329879.5A CN115687478A (zh) 2022-10-27 2022-10-27 一种标准化业务数据共享系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211329879.5A CN115687478A (zh) 2022-10-27 2022-10-27 一种标准化业务数据共享系统和方法

Publications (1)

Publication Number Publication Date
CN115687478A true CN115687478A (zh) 2023-02-03

Family

ID=85045217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211329879.5A Pending CN115687478A (zh) 2022-10-27 2022-10-27 一种标准化业务数据共享系统和方法

Country Status (1)

Country Link
CN (1) CN115687478A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220197902A1 (en) * 2020-12-21 2022-06-23 Teradata Us, Inc. Range partitioned in-memory joins
CN116346531A (zh) * 2023-05-26 2023-06-27 云南自由贸易试验区苇航智能科技有限责任公司 一种基于canbus通信协议的适配方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220197902A1 (en) * 2020-12-21 2022-06-23 Teradata Us, Inc. Range partitioned in-memory joins
CN116346531A (zh) * 2023-05-26 2023-06-27 云南自由贸易试验区苇航智能科技有限责任公司 一种基于canbus通信协议的适配方法
CN116346531B (zh) * 2023-05-26 2023-09-22 云南自由贸易试验区苇航智能科技有限责任公司 一种基于canbus通信协议的适配方法

Similar Documents

Publication Publication Date Title
CN104699718B (zh) 用于快速引入业务数据的方法和装置
CN105138592B (zh) 一种基于分布式架构的日志数据存储和检索方法
CN103559217B (zh) 一种面向异构数据库的海量组播数据入库实现方法
CN115687478A (zh) 一种标准化业务数据共享系统和方法
CN111259036A (zh) 一种跨库跨表查询方法、设备、服务器及存储介质
CN109241159B (zh) 一种数据立方体的分区查询方法、系统及终端设备
CN109299157B (zh) 一种分布式大单表的数据导出方法及装置
CN109241384A (zh) 一种科研信息的可视化方法及装置
WO2017000592A1 (zh) 数据处理方法、装置及系统
CN115039090A (zh) 数据查询方法、装置、服务器及存储介质
CN111625559B (zh) 一种数据信息多维度查询方法及系统
US20240078234A1 (en) Apparatus, method and storage medium for database pagination
CN110413711A (zh) 一种差异数据获取方法及其存储介质
CN113535757A (zh) 一种冷热数据的发现方法、装置、设备及可读存储介质
CN114398520A (zh) 数据检索方法、系统、装置、电子设备及存储介质
CN116821139B (zh) 基于分布式数据库的分区表设计的混合负载方法及系统
CN113297253A (zh) 一种设备识别方法、装置、设备及可读存储介质
CN113051271A (zh) 一种冷热数据分离方法、装置及其设备
CN111431664A (zh) 基于json数据协议的派工数据包封装下达方法及装置
CN113656438B (zh) 数据树的数据查询方法及装置
CN117648086A (zh) 脚本文件的转换方法及装置
CN115982211A (zh) 基于云原生的MySQL数据查询分析方法及装置
CN114490724A (zh) 处理数据库查询语句的方法和装置
CN113868138A (zh) 测试数据的获取方法、系统、设备及存储介质
CN114138821A (zh) 一种数据库查询方法、系统和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination