CN109491993A - 一种校园卡数据存储系统 - Google Patents
一种校园卡数据存储系统 Download PDFInfo
- Publication number
- CN109491993A CN109491993A CN201811353032.4A CN201811353032A CN109491993A CN 109491993 A CN109491993 A CN 109491993A CN 201811353032 A CN201811353032 A CN 201811353032A CN 109491993 A CN109491993 A CN 109491993A
- Authority
- CN
- China
- Prior art keywords
- data
- storage system
- campus card
- module
- shared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明公开了一种校园卡数据存储系统，包括数据集成平台、共享数据库和数据仓库；所述共享数据库用于存储信息编码设计模式和共享数据标准模式；所述数据集成平台包括数据采集模块和清洗校验模块；所述数据采集模块用于从各个应用系统的分数据库中采集增量源数据；所述清洗校验模块包括数据类型转换单元，所述数据类型转换单元用于对所述数据采集模块所采集的增量源数据进行数据类型转换，形成目标数据，并写入所述数据仓库中。其技术效果是：实现校园卡数据的集中存储和管理。
Description
技术领域
本发明涉及一种校园卡数据存储系统。
背景技术
校园卡数据存储系统是学校内部各个应用系统进行数据存储以及交换共享的平台，校园卡数据存储系统涉及到从采集、处理、交换到综合利用的全过程。
各个应用系统运行依赖于其他系统的数据，通过该校园卡数据存储系统，也能够获取来自其他应用系统的数据，避免重复录入。
各个应用系统需要为其他应用系统提供所需数据，需要能够有自动的方式支持对外提供共享数据，避免因为相互之间的依赖关系而影响应用系统的可靠运行。
同时校园卡数据存储系统需要基于一种安全、可管理的模式进行。
发明内容
本发明的目的是为了克服现有技术的不足，提供一种校园卡数据存储系统，其能够实现校园卡数据的集中存储和管理。
实现上述目的的一种技术方案是：一种校园卡数据存储系统，包括数据集成平台、共享数据库和数据仓库；
所述共享数据库用于存储信息编码设计模式和共享数据标准模式；
所述数据集成平台包括数据采集模块和清洗校验模块；
所述数据采集模块用于从各个应用系统的分数据库中采集增量源数据；
所述清洗校验模块包括数据类型转换单元，所述数据类型转换单元用于对所述数据采集模块所采集的增量源数据进行数据类型转换，形成目标数据，并写入所述数据仓库中。
进一步的，所述数据采集模块包括触发器采集单元和/或日志位采集单元。
进一步的，所述数据采集模块还包括用于对所述数据采集模块采集增量源数据的范围进行设置的采集范围设置单元，以及用于对所述数据采集模块采集增量源数据的周期进行设置的采集周期设置单元。
进一步的，所述校园卡数据存储系统还包括数据增强模块、数据集市和数据访问模块；
所述数据增强模块包括：数据过滤约束单元和字段映射单元；
所述数据过滤约束单元用于对所述数据仓库中的目标数据进行约束过滤；选取符合约束条件的目标数据进入所述数据集市；
所述数据访问模块加载所述共享数据库所存储的共享数据标准模式，所述字段映射单元在目标数据与所述共享数据标准模式的对应字段之间建立映射关系，从而将所述数据集市中的目标数据读入数据访问模块，并显示在所述数据访问模块的用户界面。
再进一步的，所述校园卡数据存储系统还包括调研分析工具箱，所述分析调研工具箱连接所述数据访问模块，用于对所述数据访问模块所调取的目标数据进行数据统计和数据挖掘。
再进一步的，所述校园卡数据存储系统还包括信息标准维护工具箱，所述信息标准维护工具箱，所述数据集成平台还包括代码转换加载单元，所述信息标准维护工具箱用于通过所述代码转换加载单元定义所述共享数据库中存储的信息编码设计模式和共享数据标准模式。
再进一步的，所述校园卡数据存储系统还包括用于对所述数据访问模块所调取的目标数据进行查询的全局应用工具箱。
再进一步的，所述校园卡数据存储系统还包括监控工具箱。
采用了本发明的一种校园卡数据存储系统的技术方案，包括数据集成平台、共享数据库和数据仓库；所述共享数据库用于存储信息编码设计模式和共享数据标准模式；所述数据集成平台包括数据采集模块和清洗校验模块；所述数据采集模块用于从各个应用系统的分数据库中采集增量源数据；所述清洗校验模块包括数据类型转换单元，所述数据类型转换单元用于对所述数据采集模块所采集的增量源数据进行数据类型转换，形成目标数据，并写入所述数据仓库中。其技术效果是：实现校园卡数据的集中存储和管理。
附图说明
图1为本发明的一种校园卡数据存储系统示意图。
具体实施方式
请参阅图1，本发明的发明人为了能更好地对本发明的技术方案进行理解，下面通过具体地实施例，并结合附图进行详细地说明：
请参阅图1，本发明的一种校园卡数据存储系统，用于实现校园卡数据集中存储和管理，并实现校园卡数据的共享，并通过统一的可靠性、安全性等方面的设计，为用户提供稳定、可信的数据服务，支持面向最终用户的查询和统计。
本发明的一种校园卡数据存储系统，包括共享数据库1、数据集成平台2、数据仓库3、数据增强模块4、数据集市5、数据访问模块6。
共享数据库1，用于存储信息编码设计模式和共享数据标准模式。
其中，信息编码设计模式包括参照数据标准模式和执行数据标准模式：
共享数据标准模式包括教职工数据标准模式、学生数据标准模式、教务数据标准模式、财务数据标准模式、科研数据标准模式等。
数据集成平台2，包括数据采集模块21和清洗校验模块22；
数据采集模块21包括如下的至少一个单元：
触发器采集单元：以触发器方式采集来自任意一个应用系统的分数据库中的增量源数据，减轻因全量采集对数据集成平台2造成的系统运行负荷和网络传输负荷。
日志位采集单元：以日志位方式采集来自任意一个应用系统的分数据库中的增量范围设置源数据。
以及采集范围设置单元和采集周期设置单元。
采集范围设置单元：对触发器采集单元和/或日志位采集单元采集增量源数据的范围进行设置，使触发器采集单元和/或日志位采集单元按需采集。
采集周期设置单元：对触发器采集单元和/或日志位采集单元采集增量源数据的周期进行设置。
清洗校验模块22包括数据类型转换单元221和代码转换加载单元222。
数据类型转换单元221：用于对触发器采集单元11和/或日志位采集单元12所采集的增量源数据进行数据类型转换，形成目标数据，并写入数据仓库3中，实现各个应用系统的分数据库与数据仓库3之间的数据交换与共享，以及数据仓库3中目标数据的批处理更新，提供一致的可扩展的数据交换模式，从而实现异构数据的集成。
当增量源数据的数据类型和目标数据的数据类型不一致时，数据类型转换单元221对增量源数据的数据类型进行转换，保证增量源数据与目标数据的数据类型一致。数据类型转换单元221支持不同数据库系统间、不同数据类型间的数据类型转换，如CHAR和Varchar间的数据类型的转换。
为了对触发器采集单元和/或日志位采集单元采集的增量源数据进行数据类型转换，数据类型转换单元221提供了一系列字符串处理函数对数据类型进行转换，例如去除左右空格、截取子字符串等将增量源数据的不规范数据类型转换为目标数据的规范数据类型。
数据增强模块4包括：数据过滤约束单元41和字段映射单元42。
数据过滤约束单元41提供了一系列的函数和方法，可以对数据仓库3中的目标数据进行约束过滤，选取符合约束条件的目标数据进入数据集市5。
数据访问模块6加载共享数据库1中规定的共享数据标准模式，同时字段映射单元42建立目标数据与共享数据标准模式的对应字段之间的映射关系，该映射关系是可以设置的，从而将数据集市5中的目标数据读入数据访问模块6，并显示在数据访问模块6的用户界面上，供相关人员调取进行分析和统计。数据访问模块6可根据用户输入的指令，从共享数据库1中读取对应的信息编码设计模式，帮助相关人员完成查询和报表工作。
同时数据采集平台2还可通过代码转换加载单元22对共享数据库1中存储的信息编码设计模式和共享数据标准模式进行批处理更新或实时更新。
本发明的一种校园卡数据存储系统，还包括调研分析工具箱71、信息标准维护工具箱72、全局应用工具箱73和监控工具箱74。
调研分析工具箱71连接数据访问模块6，用于对数据访问模块6所调取的目标数据进行数据统计和数据挖掘。
信息标准维护工具箱72用于通过数据集成平台2的代码转换加载单元222定义共享数据库1中存储的信息编码设计模式、共享数据标准模式中各个字段的数据类型，以及数据类型转换单元221中对数据类型进行转换的字符串处理函数。
全局应用工具箱73包括教职工数据查询单元、学生数据查询单元、教务数据查询单元、财务数据查询单元、科研数据查询单元，用于从共享数据库1中调取对应的共享数据标准模式，以及数据集市5中对应的目标数据，通过数据访问模块6所显示的目标数据进行查询。
监控工具箱74包括系统管理单元、权限管理单元、来源监控单元和订阅管理单元，其中权限管理单元用于定义用户通过数据访问模块6调取目标数据的权限。来源监控单元用于监控数据集成平台2集成来自各个应用系统的分数据库的源数据的过程，订阅管理单元用于监控整个校园卡数据存储系统的运行日志。
本发明的一种校园卡数据存储系统，在通过数据仓库3实现校园数据的集中存储和管理的同时，通过数据访问模块6，以及调研分析工具箱72和全局应用工具箱73实现校园卡数据的共享，并通过信息标准维护工具箱72实现了统一的可靠性，通过监控工具箱74实现安全性等方面的设计，为用户提供稳定、可信的数据服务，支持面向最终用户的查询和统计。
本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。
Claims (8)
1.一种校园卡数据存储系统，其特征在于：包括数据集成平台、共享数据库和数据仓库；
所述共享数据库用于存储信息编码设计模式和共享数据标准模式；
所述数据集成平台包括数据采集模块和清洗校验模块；
所述数据采集模块用于从各个应用系统的分数据库中采集增量源数据；
所述清洗校验模块包括数据类型转换单元，所述数据类型转换单元用于对所述数据采集模块所采集的增量源数据进行数据类型转换，形成目标数据，并写入所述数据仓库中。
2.根据权利要求1所述的一种校园卡数据存储系统，其特征在于：所述数据采集模块包括触发器采集单元和/或日志位采集单元。
3.根据权利要求2所述的一种校园卡数据存储系统，其特征在于：所述数据采集模块还包括用于对所述数据采集模块采集增量源数据的范围进行设置的采集范围设置单元，以及用于对所述数据采集模块采集增量源数据的周期进行设置的采集周期设置单元。
4.根据权利要求1所述的一种校园卡数据存储系统，其特征在于：其还包括数据增强模块、数据集市和数据访问模块；
所述数据增强模块包括：数据过滤约束单元和字段映射单元；
所述数据过滤约束单元用于对所述数据仓库中的目标数据进行约束过滤；选取符合约束条件的目标数据进入所述数据集市；
所述数据访问模块加载所述共享数据库所存储的共享数据标准模式，所述字段映射单元在目标数据与所述共享数据标准模式的对应字段之间建立映射关系，从而将所述数据集市中的目标数据读入数据访问模块，并显示在所述数据访问模块的用户界面上。
5.根据权利要求4所述的一种校园卡数据存储系统，其特征在于：所述校园卡数据存储系统还包括调研分析工具箱，所述调研分析工具箱连接所述数据访问模块，用于对所述数据访问模块所调取的目标数据进行数据统计和数据挖掘。
6.根据权利要求4所述的一种校园卡数据存储系统，其特征在于：所述校园卡数据存储系统还包括信息标准维护工具箱，所述数据集成平台还包括代码转换加载单元，所述信息标准维护工具箱用于通过所述代码转换加载单元定义所述共享数据库中存储的信息编码设计模式和共享数据标准模式。
7.根据权利要求4所述的一种校园卡数据存储系统，其特征在于：所述校园卡数据存储系统还包括用于对所述数据访问模块所调取的目标数据进行查询的全局应用工具箱。
8.根据权利要求4所述的一种校园卡数据存储系统，其特征在于：所述校园卡数据存储系统还包括监控工具箱。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811353032.4A CN109491993A (zh) | 2018-11-14 | 2018-11-14 | 一种校园卡数据存储系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811353032.4A CN109491993A (zh) | 2018-11-14 | 2018-11-14 | 一种校园卡数据存储系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109491993A true CN109491993A (zh) | 2019-03-19 |
Family
ID=65695867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811353032.4A Pending CN109491993A (zh) | 2018-11-14 | 2018-11-14 | 一种校园卡数据存储系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109491993A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184642A (zh) * | 2015-09-02 | 2015-12-23 | 浪潮软件集团有限公司 | 一种综合治税平台 |
| CN106339509A (zh) * | 2016-10-26 | 2017-01-18 | 国网山东省电力公司临沂供电公司 | 一种基于大数据技术的电网运营数据共享系统 |
| CN106709269A (zh) * | 2017-03-13 | 2017-05-24 | 山东众阳软件有限公司 | 一种医疗大数据仓库的创建方法及系统 |
-
2018
- 2018-11-14 CN CN201811353032.4A patent/CN109491993A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184642A (zh) * | 2015-09-02 | 2015-12-23 | 浪潮软件集团有限公司 | 一种综合治税平台 |
| CN106339509A (zh) * | 2016-10-26 | 2017-01-18 | 国网山东省电力公司临沂供电公司 | 一种基于大数据技术的电网运营数据共享系统 |
| CN106709269A (zh) * | 2017-03-13 | 2017-05-24 | 山东众阳软件有限公司 | 一种医疗大数据仓库的创建方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 胡昊等: "《新兴信息技术在大气环境治理中的研究与应用》", 31 January 2018 * |
| 许周等: "校园一卡通系统的设计与应用", 《上海工程技术大学学报》 * |
| 马浩等: "《水资源取用水监测管理系统理论与实践》", 30 September 2018 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101937214B (zh) | 基于工业以太网的跨海悬索桥结构监测系统 | |
| CN107945086A (zh) | 一种应用于智慧城市的大数据资源管理系统 | |
| CN104077552A (zh) | 一种基于云计算的轨道交通信号综合运维方法及系统 | |
| CN102096684A (zh) | 电网实时数据集成与共享平台 | |
| CN104217290A (zh) | 一种档案管理系统 | |
| CN106161620A (zh) | 一种云计算资源物联监管与服务平台 | |
| CN107590749A (zh) | 一种配用电数据的处理方法及系统 | |
| CN109582717A (zh) | 一种面向电力大数据的数据库统一平台及其读取方法 | |
| CN201503545U (zh) | 污染源实时监控系统 | |
| CN112231333A (zh) | 一种生态环境数据共享交换方法和系统 | |
| CN109242446A (zh) | 一种城市智慧能源全景管控平台 | |
| CN107807961B (zh) | 一种基于Spark计算引擎的配电网大数据分区处理方法 | |
| Hongxun et al. | Data quality assessment for on-line monitoring and measuring system of power quality based on big data and data provenance theory | |
| CN109241232A (zh) | 一种土壤监测数据管理系统 | |
| CN108960700A (zh) | 一种人事档案随机信息化管理方法 | |
| CN104680337A (zh) | 基于地理信息系统的公共管廊综合信息运营系统 | |
| CN112000037A (zh) | 一种环境污染治理设施信息监控平台及方法 | |
| CN103218680A (zh) | 水务企业的数据分析决策系统 | |
| CN112883001A (zh) | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 | |
| CN113297196A (zh) | 智慧农业aiot分布式大数据存储平台 | |
| CN109709839A (zh) | 一种生物质电厂多级实时监控方法 | |
| CN104317907A (zh) | 对用于评估铁路运输能力的数据进行处理的方法 | |
| CN113506098A (zh) | 基于多源数据的电厂元数据管理系统及方法 | |
| CN109491993A (zh) | 一种校园卡数据存储系统 | |
| CN107945083A (zh) | 一种作业过程管理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190319 |
|
| WD01 | Invention patent application deemed withdrawn after publication |