CN111914026A - 一种通用数据交换共享服务平台 - Google Patents

Abstract

本发明提供了一种通用数据交换共享服务平台，具体技术方案为：包括数据同步服务模块、数据共享服务模块、附件同步服务模块、数据动态展示模块、设备仪器文件解析数据采集模块、设备仪器串口数据采集模块、生成原始记录单模块、业务系统和/或数据仓库模块，所有模块均通过业务系统和/或数据仓库模块的数据进行配置、调用处理，获得对应的服务。上述平台，能够有效整合分散异构系统的信息资源，消除信息孤岛现象，提高政府和企业的信息化水平，灵活实现不用系统的信息交换，信息共享于业务协同，加强信息资源管理，开展数据和应用整合，进一步发挥信息资源和应用系统的效能，提升信息化建设对业务和管理的支撑作用。

Description

一种通用数据交换共享服务平台

技术领域

本发明属于数据转换软件与技术领域，特别涉及一种通用数据交换共享服务平台。

背景技术

目前市政府、企业的信息化的状况是，各政府和企业一般都设计和建设了属于机构、业务本身的应用、流程以及数据的信息处理系统，独立、异构、涵盖各自业务内容的信息处理系统，系统设计建设的时期不同、业务模式不同，信息化建设缺乏有效的总体规划，重复建设；缺乏统一的设计标准，大多数系统都是由不同的厂商在不同的平台上，使用不用的语言进行开发的，信息交互共享困难，存在大量的信息孤岛和流程孤岛。如何有效整合分散异构的信息资源，消除信息孤岛现象，提高政府和企业的信息化水平成为这一领域一直要进行研究的技术问题。

发明内容

为了解决上述技术难题，本发明提供了一种通用数据交换共享服务平台，具体技术方案为：一种通用数据交换共享服务平台，包括数据同步服务模块、数据共享服务模块、附件同步服务模块、数据动态展示模块、设备仪器文件解析数据采集模块、设备仪器串口数据采集模块、生成原始记录单模块、业务系统和/或数据仓库模块，所有模块均通过业务系统和/或数据仓库模块的数据进行配置、调用处理，获得对应的服务。

作为改进，所述数据同步服务模块是通过将业务系统和/或数据仓库模块的数据按照增量同步、全量同步模式进行数据定时配置，该模块具体的业务步骤为：

S01依次配置业务系统的源数据库地址和信息、接收数据的数据仓库或应用系统数据库地址和信息，均单独地包括但不限于源数据库名称、源数据库类型、访问地址、数据库登录名、数据库密码；

S02在数据仓库或者应用系统的数据库中配置接收数据的数据表，首先选择目标数据库、填写表名称、数据库表命名，在进行数据库表命名之后，通过在库表定义信息单元，进行字段信息配置及处理，获得数据表；其中字段信息为库表中存在或新建添加的字段信息，字段相关信息包括但不限于字段名称、字段编码、字段类型、字段大小、是否为主键、是否不为空；

S03建好接收的数据表之后，再进行配置抽取规则；按照设置抽取规则的名称，对S01和/或S02中配置的目标数据库、数据存储表、源数据库进行设定目标表更新条件、源数据库查询SQL、抽取方式、选择第一次抽取执行方式；其中抽取方式为增量同步模式或全量同步模式；

S04基于数据库查询SQL的数据清洗、转换、整合；在编写抽取规则的SQL语句时可以对源数据进行包括但不限于函数计算，分组，排序，统计，多表整合，单表拆分，字段转换，过滤的数据操作处理；

S05设定定时任务处理，配置一定的时间间隔下的执行同步规则，按照上述步骤进行完成数据同步服务处理。

作为改进，所述数据共享服务模块包括资源库配置单元、创建应用配置共享数据规则单元、SDK下载单元、调取数据及处理单元；具体的为：通过资源库配置单元设置数据库信息，创建应用配置共享数据规则单元进行接收数据的应用、配置，再在SDK下载单元进行下载SDK、通过调取数据及处理单元跳去数据，与SDK进行结合、配置、测试及应用处理，获取共享数据；其中数据库信息包括但不限于数据库名称、数据库类型、访问地址、数据库登录名、数据库密码。

作为改进，所述附件同步服务模块用于对配置获得的非结构化数据进行同步处理，具体的步骤为：配置附件或者文件的属性信息存储的数据库及数据库信息，再配置文件的源地址、接收地址信息；再进行同步规则信息配置、定时任务及定时执行同步规则信息配置。

作为改进，所述同步规则信息包括但不限于同步规则名称、文件源地址、目标地址、第一次增量同步执行方式、第一次全量同步执行方式、增量同步方式、全量同步方式；所述定时任务进行配置时信息包括但不限于任务名称、原配置的规则名称、执行时间周期、时间类型、时间间隔周期。

作为改进，所述数据动态展示模块用于数据配置后，进行数据清洗及整合处理后，生成单独图表或数据大屏方式进行展示；

当图表展示时，进行配置信息包括但不限于图形的类型、名称、数据图表级别、数据库、图形图例、数据信息、上级传入值模拟信息、下一级图形信息；

当数据大屏展示时，进行配置信息包括但不限于滚动数字配置信息、大屏文字配置信息、动态大屏配置信息。

作为改进，所述滚动数字配置信息包括但不限于滚动数字名称、数据库信息、数字滚动图形图例、数字大小、数字间距、数字颜色、数字滚动效果信息；所述大屏文字配置信息包括但不限于文字内容信息、文字大小信息、文字间距信息、背景信息、文件颜色信息；所述动态大屏配置信息包括但不限于大屏名称、大屏宽度、大屏高度、背景图片、文字模块信息、图形模块信息、滚动数字模块信息、图片模块信息、模块单元形状及尺寸参数信息、模块单元位置信息、大屏放大及缩小工具栏信息。

作为改进，所述设备仪器文件解析数据采集模块用于对设备仪器生成的文件进行解析处理、采集处理的数据进行结构化存储，具体为：配置不同文件类型对应的解析模板及模板解析类配置处理，再根据解析处理后的数据信息、第三方检测平台数据同步信息的解析任务、解析文件，进行结果结构化数据的查看、分类、筛选处理。

作为改进，所述设备仪器串口数据采集模块用于对匹配串口的仪器设备进行检测结果数据采集，通过对串口设备信息进行配置，设置第三方检测平台或创建的串口检测任务，根据检测任务进行检测，采集数据；其中所述串口设备信息包括但不限于设备名称信息、IP地址信息、端口信息、驱动类信息、数据格式化信息。

作为改进，所述生成原始记录单模块用于通过动态表单形式配置不同的模板，根据配置的检测数据、计算公式、配置的模板，生产原始记录单及打印处理。

有益效果：本发明提供的一种通用数据交换共享服务平台，能够有效整合分散异构系统的信息资源，消除信息孤岛现象，提高政府和企业的信息化水平，灵活实现不用系统的信息交换，信息共享于业务协同，加强信息资源管理，开展数据和应用整合，进一步发挥信息资源和应用系统的效能，提升信息化建设对业务和管理的支撑作用。

附图说明

图1为本发明数据同步服务模块在对源数据进行处理时多表整合示意图。

图2为本发明数据同步服务模块在对源数据进行处理时整合加过滤示意图。

图3为本发明数据同步服务模块在对源数据进行处理时字段转化后整合示意图。

图4为本发明数据同步服务模块在对源数据进行处理时计算统计示意图。

图5为本发明平台的总体流程示意图。

图6为本发明平台架构功能示意图。

具体实施方式

下面对本发明附图结合实施例作出进一步说明。

一种通用数据交换共享服务平台，具体技术方案为：包括数据同步服务模块、数据共享服务模块、附件同步服务模块、数据动态展示模块、设备仪器文件解析数据采集模块、设备仪器串口数据采集模块、生成原始记录单模块、业务系统和/或数据仓库模块，所有模块均通过业务系统和/或数据仓库模块的数据进行配置、调用处理，获得对应的服务。

数据同步服务模块是通过简单的配置定时将业务系统中产生的数据同步到数据仓库，或者其他业务系统的数据库当中，支持增量同步和全量同步两种模式，支持的数据库有oracle、mysql、sqlserver、db2等主流关系型数据库。

这模块是通过将业务系统和/或数据仓库模块的数据按照增量同步、全量同步模式进行数据定时配置，该模块具体的业务步骤为：

S01依次配置业务系统的源数据库地址和信息、接收数据的数据仓库或应用系统数据库地址和信息，均单独地包括但不限于源数据库名称、源数据库类型、访问地址、数据库登录名、数据库密码；

S02在数据仓库或者应用系统的数据库中配置接收数据的数据表，首先选择目标数据库、填写表名称、数据库表命名，在进行数据库表命名之后，通过在库表定义信息单元，进行字段信息配置及处理，获得数据表；其中字段信息为库表中存在或新建添加的字段信息，字段相关信息包括但不限于字段名称、字段编码、字段类型、字段大小、是否为主键、是否不为空；

S03建好接收的数据表之后，再进行配置抽取规则；按照设置抽取规则的名称，对S01和/或S02中配置的目标数据库、数据存储表、源数据库进行设定目标表更新条件、源数据库查询SQL、抽取方式、选择第一次抽取执行方式；其中抽取方式为增量同步模式或全量同步模式；

S04基于数据库查询SQL的数据清洗、转换、整合；在编写抽取规则的SQL语句时可以对源数据进行包括但不限于函数计算，分组，排序，统计，多表整合，单表拆分，字段转换，过滤的数据操作处理；

具体见图1-4，是按照多表整合、整合加过滤、字段转化后整合、计算统计的进行数据操作处理实施例。

S05设定定时任务处理，配置一定的时间间隔下的执行同步规则，按照上述步骤进行完成数据同步服务处理。

数据共享服务模块包括资源库配置单元、创建应用配置共享数据规则单元、SDK下载单元、调取数据及处理单元；具体的为：通过资源库配置单元设置数据库信息，创建应用配置共享数据规则单元进行接收数据的应用、配置，再在SDK下载单元进行下载SDK，SDK也就是软件开发工具包、通过调取数据及处理单元跳去数据，与SDK进行结合、配置、测试及应用处理，获取共享数据；其中数据库信息包括但不限于数据库名称、数据库类型、访问地址、数据库登录名、数据库密码。

具体的流程为：

(1)平台管理员首先对可以共享的数据库进行配置(业务系统数据库、数据仓库)，填写的信息如数据库名称、数据库类型(oracle、mysql、sqlserver、db)、访问地址、数据库登录名、数据库密码等。

(2)接下来需要配置需要接收数据的应用，填写的信息如应用名称、选择之前配置好的可以提供共享的数据库，查询数据的sql语句、应用IP。

(3)后台自动对创建好的应用生成一个唯一的KEY,方便第三方应用调取数据时验证用户身份。

(4)第三方应用下载SDK，加入到自己项目中，并根据说明文档进行配置，测试，成功获取共享数据。

附件同步服务模块用于对配置获得的非结构化数据进行同步处理，具体的步骤为：配置附件或者文件的属性信息存储的数据库及数据库信息，再配置文件的源地址、接收地址信息；再进行同步规则信息配置、定时任务及定时执行同步规则信息配置。

同步规则信息包括但不限于同步规则名称、文件源地址、目标地址、第一次增量同步执行方式、第一次全量同步执行方式、增量同步方式、全量同步方式；所述定时任务进行配置时信息包括但不限于任务名称、原配置的规则名称、执行时间周期、时间类型、时间间隔周期。

具体的流程为：

(1)首先配置附件或者文件的属性信息存储的数据库(业务系统数据库、数据仓库)，填写的信息如数据库名称、数据库类型(oracle、mysql、sqlserver、db)、访问地址、数据库登录名、数据库密码等。

(2)接下来配置文件的源地址，文件的属性信息来源可以通过数据库表中获取，也可以直接访问文件夹获取，填写的信息有源地址名称、文件地址、文件目录、端口号、用户名、密码等。

(3)配置文件接收地址，填写的信息有接收地址名称、文件地址、文件目录、端口号、用户名、密码等。

(4)配置同步规则，填写同步规则名称、选择之前配置好的文件源地址、目标地址、第一次执行方式(增量，全量)、同步方式(增量、全量)。

(5)增加定时任务，填写任务名称、选择之前配置好的规则名称、执行时间(每隔、每天、每周、每月)，并根据选择的时间类型，配置好时间定时任务的时间间隔，点击定时任务启动按钮，即可定时执行同步规则。

数据动态展示模块用于数据配置后，进行数据清洗及整合处理后，生成单独图表或数据大屏方式进行展示；

当图表展示时，进行配置信息包括但不限于图形的类型、名称、数据图表级别、数据库、图形图例、数据信息、上级传入值模拟信息、下一级图形信息；

当数据大屏展示时，进行配置信息包括但不限于滚动数字配置信息、大屏文字配置信息、动态大屏配置信息。

所述滚动数字配置信息包括但不限于滚动数字名称、数据库信息、数字滚动图形图例、数字大小、数字间距、数字颜色、数字滚动效果信息；所述大屏文字配置信息包括但不限于文字内容信息、文字大小信息、文字间距信息、背景信息、文件颜色信息；所述动态大屏配置信息包括但不限于大屏名称、大屏宽度、大屏高度、背景图片、文字模块信息、图形模块信息、滚动数字模块信息、图片模块信息、模块单元形状及尺寸参数信息、模块单元位置信息、大屏放大及缩小工具栏信息。

具体的流程为：

(1)单个图形图表自定义统计，首先选择需要展示的图形(柱状图、饼图、曲线图、蓝丁格尔图、雷达图、散点图、地图等)，填写自定义图形名称、选择数据图表级别、数据库、接着填写图形图例sql、数据sql、上级传入值模拟、选择下一级图形(如果是多级级联图形)，最后验证图形效果是否满足预期，保存后点击查看按钮，即可全屏查看。

(2)滚动数字配置，填写滚动数字名称，选择数据库，填写数字滚动sql，数字大小，数字间距、数字颜色等信息，点击验证并保存，验证数字滚动效果。

(3)大屏文字配置，为动态大屏中的文字进行配置。包括文字内容、文字大小，文字间距，背景色，文件颜色等。

(4)动态大屏配置，首先填写大屏的名称，大屏的宽度和高度，背景图片，接下来点击模块增加按钮，增加模块，模块类型有文字、图形、滚动数字、图片，先选择模块类型，再填写模块信息，模块信息有上边距、左边距、宽、高、选择之前配置好的对应模块，当然模块的大小位置也可以通过拖拽的方式进行，大屏也可以通过可移动的工具栏进行放大缩小，全屏等操作。

设备仪器文件解析数据采集模块用于对设备仪器生成的文件进行解析处理、采集处理的数据进行结构化存储，具体为：配置不同文件类型对应的解析模板及模板解析类配置处理，再根据解析处理后的数据信息、第三方检测平台数据同步信息的解析任务、解析文件，进行结果结构化数据的查看、分类、筛选处理。

具体的流程为：

(1)模板解析类配置，对不同文件类型的解析类进行配置。

(2)解析模板配置，针对不同文件配置出符合解析规则的模板。

(3)解析任务，解析任务来源分为两种，一种来自于第三方检测平台的数据同步，一种是手动创建，根据文件解析的数据如任务编号和样品编号等信息，可以将任务和解析数据关联。

(4)解析文件来源，根据不用的业务情况，文件来源分为两种，一种是手动新建任务时，手动上传，一种是远程访问设备存储检测文件的文件夹。

(5)中间表数据查看。对文件解析出来的结果结构化数据，进行查看，可以根据任务和样品编号进行分类筛选。

设备仪器串口数据采集模块用于对匹配串口的仪器设备进行检测结果数据采集，通过对串口设备信息进行配置，设置第三方检测平台或创建的串口检测任务，根据检测任务进行检测，采集数据；其中所述串口设备信息包括但不限于设备名称信息、IP地址信息、端口信息、驱动类信息、数据格式化信息。

生成原始记录单模块用于通过动态表单形式配置不同的模板，根据配置的检测数据、计算公式、配置的模板，生产原始记录单及打印处理。具体的流程为：原始记录单模板配置，根据不同类型的原始记录单样式，通过动态表单的形式配置出不同的模板，需要计算的数据，输入计算公式，预览验证后保存模板；根据检测任务，当任务结束后，点击生成原始记录单按钮，选择已配好的模板，自动带入最新的检测数据，生成原始记录单并打印。

本发明中的数据交换服务平台，能够提供基于界面化的数据变换和模型设计工具，开发人员只需在界面中通过配置方式就可以描述复杂的数据变换和任务流程，不需要进行任何编码，业务人员也可非常容易的了解数据的流向。同时引擎基于元数据驱动，可以对一系列的数据交互流程进行统一管理，对技术层面和业务层面的元数据进行存储，支撑了决策支持系统、数据治理等业务的实施。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种通用数据交换共享服务平台，其特征在于：包括数据同步服务模块、数据共享服务模块、附件同步服务模块、数据动态展示模块、设备仪器文件解析数据采集模块、设备仪器串口数据采集模块、生成原始记录单模块、业务系统和/或数据仓库模块，所有模块均通过业务系统和/或数据仓库模块的数据进行配置、调用处理，获得对应的服务。

2.根据权利要求1所述通用数据交换共享服务平台，其特征在于：所述数据同步服务模块是通过将业务系统和/或数据仓库模块的数据按照增量同步、全量同步模式进行数据定时配置，该模块具体的业务步骤为：

S01依次配置业务系统的源数据库地址和信息、接收数据的数据仓库或应用系统数据库地址和信息，均单独地包括但不限于源数据库名称、源数据库类型、访问地址、数据库登录名、数据库密码；

S02在数据仓库或者应用系统的数据库中配置接收数据的数据表，首先选择目标数据库、填写表名称、数据库表命名，再进行数据库表命名之后，通过在库表定义信息单元，进行字段信息配置及处理，获得数据表；其中字段信息为库表中存在或新建添加的字段信息，字段相关信息包括但不限于字段名称、字段编码、字段类型、字段大小、是否为主键、是否不为空；

S03建好接收的数据表之后，再进行配置抽取规则；按照设置抽取规则的名称，对S01和/或S02中配置的目标数据库、数据存储表、源数据库进行设定目标表更新条件、源数据库查询SQL、抽取方式、选择第一次抽取执行方式；其中抽取方式为增量同步模式或全量同步模式；

S04基于数据库查询SQL的数据清洗、转换、整合；在编写抽取规则的SQL语句时可以对源数据进行包括但不限于函数计算，分组，排序，统计，多表整合，单表拆分，字段转换，过滤的数据操作处理；

S05设定定时任务处理，配置一定的时间间隔下的执行同步规则，按照上述步骤进行完成数据同步服务处理。

3.根据权利要求1所述通用数据交换共享服务平台，其特征在于：所述数据共享服务模块包括资源库配置单元、创建应用配置共享数据规则单元、SDK下载单元、调取数据及处理单元；具体的为：通过资源库配置单元设置数据库信息，创建应用配置共享数据规则单元进行接收数据的应用、配置，再在SDK下载单元进行下载SDK、通过调取数据及处理单元调取数据，与SDK进行结合、配置、测试及应用处理，获取共享数据；其中数据库信息包括但不限于数据库名称、数据库类型、访问地址、数据库登录名、数据库密码。

4.根据权利要求1所述通用数据交换共享服务平台，其特征在于：所述附件同步服务模块用于对配置获得的非结构化数据进行同步处理，具体的步骤为：配置附件或者文件的属性信息存储的数据库及数据库信息，再配置文件的源地址、接收地址信息；再进行同步规则信息配置、定时任务及定时执行同步规则信息配置。

5.根据权利要求4所述通用数据交换共享服务平台，其特征在于：所述同步规则信息包括但不限于同步规则名称、文件源地址、目标地址、第一次增量同步执行方式、第一次全量同步执行方式、增量同步方式、全量同步方式；所述定时任务进行配置时信息包括但不限于任务名称、原配置的规则名称、执行时间周期、时间类型、时间间隔周期。

6.根据权利要求1所述通用数据交换共享服务平台，其特征在于：所述数据动态展示模块用于数据配置后，进行数据清洗及整合处理后，生成单独图表或数据大屏方式进行展示；

当图表展示时，进行配置信息包括但不限于图形的类型、名称、数据图表级别、数据库、图形图例、数据信息、上级传入值模拟信息、下一级图形信息；

当数据大屏展示时，进行配置信息包括但不限于滚动数字配置信息、大屏文字配置信息、动态大屏配置信息。

7.根据权利要求6所述通用数据交换共享服务平台，其特征在于：所述滚动数字配置信息包括但不限于滚动数字名称、数据库信息、数字滚动图形图例、数字大小、数字间距、数字颜色、数字滚动效果信息；所述大屏文字配置信息包括但不限于文字内容信息、文字大小信息、文字间距信息、背景信息、文件颜色信息；所述动态大屏配置信息包括但不限于大屏名称、大屏宽度、大屏高度、背景图片、文字模块信息、图形模块信息、滚动数字模块信息、图片模块信息、模块单元形状及尺寸参数信息、模块单元位置信息、大屏放大及缩小工具栏信息。

8.根据权利要求1所述通用数据交换共享服务平台，其特征在于：所述设备仪器文件解析数据采集模块用于对设备仪器生成的文件进行解析处理、采集处理的数据进行结构化存储，具体为：配置不同文件类型对应的解析模板及模板解析类配置处理，再根据解析处理后的数据信息、第三方检测平台数据同步信息的解析任务、解析文件，进行结果结构化数据的查看、分类、筛选处理。

9.根据权利要求1所述通用数据交换共享服务平台，其特征在于：所述设备仪器串口数据采集模块用于对匹配串口的仪器设备进行检测结果数据采集，通过对串口设备信息进行配置，设置第三方检测平台或创建的串口检测任务，根据检测任务进行检测，采集数据；其中所述串口设备信息包括但不限于设备名称信息、IP地址信息、端口信息、驱动类信息、数据格式化信息。

10.根据权利要求1所述通用数据交换共享服务平台，其特征在于：所述生成原始记录单模块用于通过动态表单形式配置不同的模板，根据配置的检测数据、计算公式、配置的模板，生产原始记录单及打印处理。

Images