CN110597894B - 一种组织机构数据实时查询系统 - Google Patents

一种组织机构数据实时查询系统 Download PDF

Info

Publication number
CN110597894B
CN110597894B CN201910788775.2A CN201910788775A CN110597894B CN 110597894 B CN110597894 B CN 110597894B CN 201910788775 A CN201910788775 A CN 201910788775A CN 110597894 B CN110597894 B CN 110597894B
Authority
CN
China
Prior art keywords
data
organization
query
real
openapi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910788775.2A
Other languages
English (en)
Other versions
CN110597894A (zh
Inventor
舒建辉
李顺德
陈浩毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Huayi Kangdao Technology Co ltd
Original Assignee
Chongqing Huayi Kangdao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Huayi Kangdao Technology Co ltd filed Critical Chongqing Huayi Kangdao Technology Co ltd
Priority to CN201910788775.2A priority Critical patent/CN110597894B/zh
Publication of CN110597894A publication Critical patent/CN110597894A/zh
Application granted granted Critical
Publication of CN110597894B publication Critical patent/CN110597894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种组织机构数据实时查询系统包括：至少一个组织机构的数据库、kettle、数据分发器、Flink、OpenApi、外部系统；每个组织机构的数据库按照组织机构自身业务需求创建视图，视图中的数据提供给外部系统查询；在接收到外部系统发来的查询请求时，kettle从查询请求对应的数据库视图抽取数据，并将抽取的数据按照预设字段进行字段转换；数据分发器将进行字段转换后的数据分发到Flink；Flink按照预设格式将分发来的数据进行格式转换，并将格式转换后的数据作为查询结果发送到OpenApi；OpenApi将查询结果输出到外部系统；实现组织机构数据的实时转换，外部系统能实时查询组织机构的数据。

Description

一种组织机构数据实时查询系统
技术领域
本发明涉及数据处理技术领域，具体地说，涉及一种组织机构数据实时查询系统。
背景技术
目前，组织机构的数据库创建有视图，并新加一个DB用户U，只设置对视图的查询权限，用于提供外部系统所需的数据，外部系统以用户U连接数据库，每隔10秒查询视图获得实时数据；这种方式并不是真正的实时，失败后需要当日检查数据后的补偿性操作，消耗性能也不小，目前还没有实现外部系统实时查询组织机构的数据的功能。
发明内容
本发明的目的在于提出一种组织机构数据实时查询系统，旨在解决现有技术中，外部系统不能实现实时查询组织机构的数据的问题。
为解决上述技术问题，本发明提供一种组织机构数据实时查询系统，包括：
至少一个组织机构的数据库、kettle、数据分发器、Flink、OpenApi、外部系统；
每个组织机构的数据库按照组织机构自身业务需求创建有视图，所述视图中的数据用于提供给所述外部系统进行查询；
在接收到所述外部系统发来的查询请求时，所述kettle从所述查询请求对应的所述组织机构的数据库视图抽取数据，并将抽取的数据按照预设字段进行字段转换；
所述数据分发器将进行字段转换后的数据分发到所述Flink；
所述Flink按照预设格式将分发来的数据进行格式转换，并将格式转换后的数据作为查询结果发送到所述OpenApi；
所述OpenApi将所述查询结果输出到所述外部系统。
可选地，所述OpenApi还用于对所述查询结果进行脱敏处理、和/或加密处理后输出到所述外部系统。
可选地，还包括区块链云平台，所述OpenApi将所述查询结果发送到所述区块链云平台进行存储。
可选地，所述OpenApi还用于对所述查询结果进行压缩处理，并发送到所述区块链云平台进行存储。
可选地，所述区块链云平台中存储有的查询结果，支持在接收到所述外部系统发来的查询请求时直接从所述区块链云平台输出到所述外部系统。
可选地，还包括数据仓库，所述Flink还用于将所述查询结果存入所述数据仓库，所述数据仓库用于供BI读取后所述BI对数据进行挖掘、统计、分析中至少一种。
可选地，所述kettle还用于进行日志监控、Job监控、输出文本中至少一种；在所述kettle用于进行输出文本时，还包括容错检查系统，所述输出文本用于为所述容错检查系统提供数据来源。
可选地，所述容错检查系统发现有错的数据时，推送到另外单独配置路由KEY的Kafka，由所述Flink接受处理，所述OpenApi单独提供对外的接口，包括缓存的更新同步；对于已经上链的情况，按照预设处理规则进行处理，并且所述外部系统实时调用所述OpenApi的接口来处理容错。
可选地，所述Flink还用于将格式转换后的数据进行清洗、聚合操作中至少一种，将进行清洗、聚合操作中至少一种后的数据作为查询结果发送到所述OpenApi进行输出。
可选地，所述kettle还用于整合kafka-provider插件的程序同步数据到所述数据分发器，所述数据分发器包括Kafka和Zookeer的集群。
有益效果
本发明提供了一种组织机构数据实时查询系统，该组织机构数据实时查询系统包括：至少一个组织机构的数据库、kettle、数据分发器、Flink、OpenApi、外部系统；
每个组织机构的数据库按照组织机构自身业务需求创建有视图，视图中的数据用于提供给外部系统进行查询；
在接收到外部系统发来的查询请求时，kettle从查询请求对应的组织机构的数据库视图抽取数据，并将抽取的数据按照预设字段进行字段转换；
数据分发器将进行字段转换后的数据分发到Flink；
Flink按照预设格式将分发来的数据进行格式转换，并将格式转换后的数据作为查询结果发送到OpenApi；
OpenApi将查询结果输出到外部系统。
通过上述方案，提供视图中的数据给外部系统查询，保护了组织机构自身的数据安全，还可以实现组织机构的数据的实时转换，使得外部系统可以实现实时查询组织机构的数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对与本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以如这些附图获得其他的附图。
图1为本实施例提供的一种组织机构数据实时查询系统的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例将提供一种组织机构数据实时查询系统，参见图1，图1为本实施例提供的一种组织机构数据实时查询系统的示意图；
该组织机构数据实时查询系统包括：至少一个组织机构的数据库、kettle、数据分发器、Flink、OpenApi(Java程序)、外部系统；
可选地，本实施例中的组织机构可以是医院、学校等；组织机构的数据库例如是医院的HIS的数据库；
每个组织机构的数据库按照组织机构自身业务需求创建有视图，视图中的数据用于提供给外部系统进行查询；
可选地，组织机构可先按照业务需求，在组织机构的数据库创建用户，设置相应的用户权限，然后登录该用户创建视图，可以实现保护组织机构自身数据安全，起到权限隔离，访问控制的目的；
当组织机构为医院时，视图中的数据例如处方、检查报告等；
在接收到外部系统发来的查询请求时，kettle从查询请求对应的组织机构的数据库视图抽取数据，并将抽取的数据按照预设字段进行字段转换；例如kettle可以将表的字段a转换成标准化字段b；kettle可以平稳抽取数据，针对数据量大的数据也可以实现平稳抽取；
不同组织机构的数据库可能不一样，以组织机构为医院为例，例如A医院的HIS采用Mysql，B医院的HIS采用Oracle，C医院的HIS采用SQL Server；
数据分发器将进行字段转换后的数据分发到Flink；
Flink按照预设格式将分发来的数据进行格式转换，并将格式转换后的数据作为查询结果发送到OpenApi；
例如Flink可以将表的格式转换成json格式，或者把list的格式转换成json格式；
OpenApi将查询结果输出到外部系统。Flink可以把数据交给OpenApi，来对外部系统直接提供数据，这里一般是互联网外网环境；主要是为了对外开放接口，方便进行数据共享；
通过上述方案，提供视图中的数据给外部系统查询，保护了组织机构自身的数据安全，还可以实现组织机构的数据的实时转换，使得外部系统可以实现实时查询组织机构的数据。
可选地，以下介绍kettle的配置，第一是ETL元数据注入，配置好不同组织机构的数据源等；第二是设置好数据过滤；第三是处理不确定的数据行数；第四是多来源数据合并；第五是数据流终点；第六是其他如阻塞数据直到步骤都完成、克隆行、延迟行等。主要是为了让Kettle按照我们的要求来处理数据，使其正常工作。
以下介绍Kettle的应用，第一是NULL值处理；第二是启动其他程序；第三是日志功能；第四是文件处理功能；第五是邮件发送；主要是为了Kettle能按照正确的流程处理，第一是避免报错，第二是支持其他程序，第三是生成日志便于我们分析查找问题，第四是解析读取文件，为我们后续的容错检查系统提供数据来源，第五是邮件发送便于我们随时维护。NULL值处理例如在查询结果为空时进行的处理。
可选地，kettle还用于进行日志监控、Job监控、输出文本中至少一种；在kettle用于进行输出文本时，还包括容错检查系统，输出文本用于为容错检查系统提供数据来源。Kettle安装好日志监控、Job监控。主要是监控kettleJob的运行状态，为维护提供分析判断依据。
可选地，Flink还用于将格式转换后的数据进行清洗、聚合操作中至少一种，将进行清洗、聚合操作中至少一种后的数据作为查询结果发送到OpenApi进行输出。
Flink能对大数据进行流式计算，例如：转换数据是为了统一数据格式，清洗数据是为了得到我们真正想要的数据，同时避免出错，聚合数据是为了进行复杂数据需求，同时进行批量操作。
可选地，kettle还用于整合kafka-provider插件的程序同步数据到数据分发器，数据分发器包括Kafka和Zookeer的集群。Zookeer需要奇数节点，最少三个；kafka-provider插件应用便于Kettle把数据同步到Kafka，让Kafka分发到Flink进行处理。
可选地，OpenApi还用于对查询结果进行脱敏处理、和/或加密处理后输出到外部系统。OpenApi可以对数据进行脱敏、加密，系统配置SSL走HTTPS等安全手段，来对外部系统提供数据，当然如果数据有加密，外部系统就要按照供需双方约定相应的对加密数据进行解密。实现对外提供的数据在互联网上安全流通。
可选地，还包括区块链云平台，OpenApi将查询结果发送到区块链云平台进行存储。
可选地，OpenApi还用于对查询结果进行压缩处理，并发送到区块链云平台进行存储。
OpenApi还可以通过上链系统的网关来直接把获得的数据(也即查询结果)上传到区块链云平台。上链系统一般包括区块链接口的封装、智能合约的开发，统一的网关等，当然为了让上链的数据尽可能小的存到区块链云平台的对象存储或文件存储里，可以对数据或文件进行GZIP压缩处理，可以最大化减少资源占用空间。让数据更安全，达到可追溯、杜篡改、可信任的目的。
可选地，区块链云平台中存储有的查询结果，支持在接收到外部系统发来的查询请求时直接从区块链云平台输出到外部系统。外部系统可以按照事先分好的权限直接调用区块链查询所需数据；主要是为了让外部系统能更放心，更安全，更便捷的拿到具有公信力的数据。
可选地，还包括数据仓库，Flink还用于将查询结果存入数据仓库，数据仓库用于供BI(Java程序)读取后BI对数据进行挖掘、统计、分析中至少一种；Flink通过Router&Schema Detecter和脚本写入到数据仓库。
BI可对数据仓库进行调用，来对数据进行挖掘、统计、分析等，BI一般是给组织机构的监管部门使用，如卫计委。主要是为了创造数据的价值，同时也是便于监管部门监管下属机构业务数据的需要。
可选地，容错检查系统发现有错的数据时，推送到另外单独配置路由KEY的Kafka，由Flink接受处理，OpenApi单独提供对外的接口，包括缓存的更新同步；对于已经上链的情况，按照预设处理规则进行处理，并且外部系统实时调用OpenApi的接口来处理容错。
Kettle可以设置输出文本，让容错检查系统，数据完整性和一致性检查分不同组织机构数据库生成的文本来解析，发现有错的数据，推送到另外单独配置路由KEY的Kafka，由Flink接受处理，OpenApi需要单独提供对外的接口，包括缓存的更新同步，如果已经上链，需要特殊处理，这里根据具体需求和区块链规则来定，外部系统也需要实时调用OpenApi的这些接口来处理容错。脚本也需要单独提供来纠正或补充数据仓库中的数据，使各方数据都能达到完整性，一致性。主要是为了让采集到的数据保证正确、完整、一致，利于追溯、增加公信力。
组织机构的数据停留在组织机构各自的数据库不会产生太大的数据价值，通过本实施例的实施，数据实现了可采集、可共享、可交换、可分析等，且是实现了数据优化共享、实时高效、安全可信等，数据资源被充分利用，实现了数据的价值。
当组织机构为医院时，通过本实施例的数据实时获取，再加上扩展服务器，可以解决挂号、就诊高峰期的问题。
本实施例能做到组织机构实时数据转换，加解密保证数据安全、压缩后上链能有效减少区块链区块大小，让共享数据达到金融级别的安全、完整、实时、高效、可追溯、杜篡改、可信任、可管控、可容错，且可统一化、可平台化供求共享等。
组织机构实时数据转换阶段：达到实时性、完整性、一致性、可管控、可补偿、可缓存，大数据化的批流一体数据融合，高效连接，敏捷可靠，自定义调度，数据质量监管，可提供平台统一化的API。
在区块链上链阶段：通过大数据处理，数据达到实时、真实，最小区块化、统一化、平台化。
对接强大的区块链平台，能打破信息孤岛，全流程追踪，透明可溯，分布式记账，不可篡改。
性能：可根据业务，与云服务平台合作，性能达到弹性伸缩、无限扩展。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。

Claims (9)

1.一种组织机构数据实时查询系统，其特征在于，包括：至少一个组织机构的数据库、kettle、数据分发器、Flink、OpenApi、外部系统；
每个组织机构的数据库按照组织机构自身业务需求创建有视图，所述视图中的数据用于提供给所述外部系统进行查询；
在接收到所述外部系统发来的查询请求时，所述kettle从所述查询请求对应的所述组织机构的数据库视图抽取数据，并将抽取的数据按照预设字段进行字段转换；
所述数据分发器将进行字段转换后的数据分发到所述Flink；
所述Flink按照预设格式将分发来的数据进行格式转换，并将格式转换后的数据作为查询结果发送到所述OpenApi；
所述OpenApi将所述查询结果输出到所述外部系统；
所述kettle还用于进行输出文本，在所述kettle用于进行输出文本时，还包括容错检查系统，所述输出文本用于为所述容错检查系统提供数据来源；所述容错检查系统发现有错的数据时，推送到另外单独配置路由KEY的Kafka，由所述Flink接受处理，所述OpenApi单独提供对外的接口，包括缓存的更新同步；对于已经上链的情况，按照预设处理规则进行处理，并且所述外部系统实时调用所述OpenApi的接口来处理容错。
2.根据权利要求1所述的组织机构数据实时查询系统，其特征在于，所述OpenApi还用于对所述查询结果进行脱敏处理、和/或加密处理后输出到所述外部系统。
3.根据权利要求1所述的组织机构数据实时查询系统，其特征在于，还包括区块链云平台，所述OpenApi将所述查询结果发送到所述区块链云平台进行存储。
4.根据权利要求3所述的组织机构数据实时查询系统，其特征在于，所述OpenApi还用于对所述查询结果进行压缩处理，并发送到所述区块链云平台进行存储。
5.根据权利要求3所述的组织机构数据实时查询系统，其特征在于，所述区块链云平台中存储有的查询结果，支持在接收到所述外部系统发来的查询请求时直接从所述区块链云平台输出到所述外部系统。
6.根据权利要求1至5任一项所述的组织机构数据实时查询系统，其特征在于，还包括数据仓库，所述Flink还用于将所述查询结果存入所述数据仓库，所述数据仓库用于供BI读取后所述BI对数据进行挖掘、统计、分析中至少一种。
7.根据权利要求1至5任一项所述的组织机构数据实时查询系统，其特征在于，所述kettle还用于进行日志监控、Job监控中至少一种。
8.根据权利要求1至5任一项所述的组织机构数据实时查询系统，其特征在于，所述Flink还用于将格式转换后的数据进行清洗、聚合操作中至少一种，将进行清洗、聚合操作中至少一种后的数据作为查询结果发送到所述OpenApi进行输出。
9.根据权利要求1至5任一项所述的组织机构数据实时查询系统，其特征在于，所述kettle还用于整合kafka-provider插件的程序同步数据到所述数据分发器，所述数据分发器包括Kafka和Zookeer的集群。
CN201910788775.2A 2019-08-26 2019-08-26 一种组织机构数据实时查询系统 Active CN110597894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910788775.2A CN110597894B (zh) 2019-08-26 2019-08-26 一种组织机构数据实时查询系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910788775.2A CN110597894B (zh) 2019-08-26 2019-08-26 一种组织机构数据实时查询系统

Publications (2)

Publication Number Publication Date
CN110597894A CN110597894A (zh) 2019-12-20
CN110597894B true CN110597894B (zh) 2022-03-04

Family

ID=68855508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910788775.2A Active CN110597894B (zh) 2019-08-26 2019-08-26 一种组织机构数据实时查询系统

Country Status (1)

Country Link
CN (1) CN110597894B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708820A (zh) * 2020-06-17 2020-09-25 中国银行股份有限公司 一种出行数据查询方法
CN112100265A (zh) * 2020-09-17 2020-12-18 博雅正链(北京)科技有限公司 面向大数据架构与区块链的多源数据处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006076520A2 (en) * 2005-01-14 2006-07-20 International Business Machines Corporation Sharable multi-tenant reference data utility and repository, including value enhancement and on-demand data delivery and methods of operation
CN101477572A (zh) * 2009-01-12 2009-07-08 深圳市里王智通软件有限公司 基于tds过渡数据存储技术的动态数据仓库的方法与系统
CN106528847A (zh) * 2016-11-24 2017-03-22 北京集奥聚合科技有限公司 一种海量数据的多维度处理方法及系统
CN108090209A (zh) * 2017-12-29 2018-05-29 河南电力医院 基于大数据并行处理的健康决策系统
CN108153808A (zh) * 2017-11-22 2018-06-12 链家网（北京）科技有限公司 大数据数据仓库数据访问方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006076520A2 (en) * 2005-01-14 2006-07-20 International Business Machines Corporation Sharable multi-tenant reference data utility and repository, including value enhancement and on-demand data delivery and methods of operation
CN101477572A (zh) * 2009-01-12 2009-07-08 深圳市里王智通软件有限公司 基于tds过渡数据存储技术的动态数据仓库的方法与系统
CN106528847A (zh) * 2016-11-24 2017-03-22 北京集奥聚合科技有限公司 一种海量数据的多维度处理方法及系统
CN108153808A (zh) * 2017-11-22 2018-06-12 链家网（北京）科技有限公司 大数据数据仓库数据访问方法及装置
CN108090209A (zh) * 2017-12-29 2018-05-29 河南电力医院 基于大数据并行处理的健康决策系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"军队人员医疗岗位绩效管理系统的构建及应用";高山 郭晓玲;《中国数字医学》;20170815;90-95 *
"基于Storm的大数据指标实时计算方法";颜冰 王钟雷;《计算机系统应用》;20190415;第28卷(第04期);94-96 *

Also Published As

Publication number Publication date
CN110597894A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110134674B (zh) 一种货币信贷大数据监测分析系统
CN110457929B (zh) 异构his大数据实时加解密压缩上链的共享方法及系统
CN109492991B (zh) 配电工程建设智能化综合管理系统
CN106777227A (zh) 基于云平台的多维数据融合分析系统及方法
CN110597894B (zh) 一种组织机构数据实时查询系统
CN110009201B (zh) 一种基于区块链技术的电力数据链接系统及方法
CN112100265A (zh) 面向大数据架构与区块链的多源数据处理方法及装置
TW201717074A (zh) 一種基於日誌解析的資料庫複製方法及裝置
CN105589791A (zh) 一种云计算环境下应用系统日志监控管理的方法
CN104065741A (zh) 数据采集系统和数据采集方法
CN104951524B (zh) 一种用于数据库运维的移动平台及其使用方法
CN104331457A (zh) 一种基于数据库节点的数据访问方法及系统
US8738767B2 (en) Mainframe management console monitoring
CN104504014A (zh) 基于大数据平台的数据处理方法和装置
CN109325077A (zh) 一种基于canal和kafka实现实时数仓的系统
CN115567370B (zh) 基于实时事件数据的自动化告警方法、存储介质及系统
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
CN105117654A (zh) 一种网络物理隔离情况下相同系统之间数据同步方法
CN107330017A (zh) 一种基于主题实例的电力海量数据存储和查询统计分析方法及其系统
CN104978405A (zh) 人误数据加工处理方法及系统
CN113721856A (zh) 一种数字化社区管理数据存储系统
CN109408448A (zh) 一种能够对数据进行集中处理一体化数据展现平台
CN112667586B (zh) 一种基于流处理的数据同步的方法、系统、设备及介质
CN103678521A (zh) 一种基于Hadoop框架的分布式文件监控系统
CN110109949A (zh) 社会信用信息服务平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant