CN115048437A - 一种基于核电Paas平台的数据服务方法及系统 - Google Patents

一种基于核电Paas平台的数据服务方法及系统 Download PDF

Info

Publication number
CN115048437A
CN115048437A CN202110256313.3A CN202110256313A CN115048437A CN 115048437 A CN115048437 A CN 115048437A CN 202110256313 A CN202110256313 A CN 202110256313A CN 115048437 A CN115048437 A CN 115048437A
Authority
CN
China
Prior art keywords
data
service
real
time
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110256313.3A
Other languages
English (en)
Inventor
李志昂
孙哲
任宇阳
曹中才
钟泉
王贝贝
周方禹
邹源浩
胡彦毅
张国涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Research Institute of Nuclear Power Operation
China Nuclear Power Operation Technology Corp Ltd
Original Assignee
Research Institute of Nuclear Power Operation
China Nuclear Power Operation Technology Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research Institute of Nuclear Power Operation, China Nuclear Power Operation Technology Corp Ltd filed Critical Research Institute of Nuclear Power Operation
Priority to CN202110256313.3A priority Critical patent/CN115048437A/zh
Publication of CN115048437A publication Critical patent/CN115048437A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Power Sources (AREA)

Abstract

本发明公开了一种基于核电Paas平台的数据服务方法及系统，包括实时服务访问管理、实时数据处理、实时数据访问管理、系统配置和安全配置。本发明的有益效果在于：本发明提供了一种数据服务方法及系统，通过对实时数据访问管理模块的数据源、访问用户、过滤条件的配置，实时数据处理的条件、实时服务管理的数据映射关系的配置，通过服务实例接收数据服务请求，根据数据源配置完成数据服务通过配置提供统一接口的数据服务，并建立可查询索引，从而可以直接获取相对应的数据，从而避免了关系数据的查询，减少数据搜索时间，提高数据访问效率，不仅降低项目的开发和维护的工作量，也提高了生产开发效率。

Description

一种基于核电Paas平台的数据服务方法及系统
技术领域
本发明属于计算机技术领域，具体涉及一种基于核电Paas平台的数据服务方法及系统。
背景技术
核电厂的实时数据是指核电系统实时运行的状态的数据，通过对数据的检测和分析，能够及时的了解设备性能、运行状态和健康状态，从而保证整个核电系统的正常稳定运行。在传统的核电业务系统中，通常需要依据业务需求来进行设计，编码，测试等过程才能给客户提供相应的服务。每当客户提出新的需求，技术人员需要重复上述步骤，这也给项目开发团队带来了很多重复的工作量。如果再考虑其他的因素，比如系统高可用、高并发的特点，系统建设后期的维护工作也会急剧增加。现有的数据服务方法及系统在系统开发阶段、后期系统维护阶段都需要较多工作量。
发明内容
本发明的目的在于提供一种基于核电Paas平台的数据服务方法及系统，通过配置提供统一接口的数据服务，使项目的开发和维护的工作量降低，提高生产开发效率。
本发明的技术方案如下：一种基于核电Paas平台的数据服务系统，包括实时服务访问管理、实时数据处理、实时数据访问管理、系统配置和安全配置。
所述的实时数据访问管理：实现对于设备实时运行数据的采集和对于实时数据库的访问。
所述的实时数据处理：对实时数据访问管理模块中获取的数据进行有效的数据加工或者通过中间件实现有效的用户通过订阅请求要求发布的数据。
所述的服务管理：采用微服务或其他SOA架构，提供web服务，以服务的方式注册到服务注册中心，对外提供数据服务，数据服务请求使用统一的接口形式，注册中心为其他服务提供服务列表，根据服务实例状态，服务列表进行实时更新，注册中心可以采用eureka组件或者nacos组件。
所述的系统配置管理：实现对实时数据访问管理模块的数据源、访问用户、过滤条件的配置，实时数据处理的条件、实时服务管理的数据映射关系的配置。通过配置管理服务设置至少一个数据源配置；通过服务实例接收数据服务请求；如果配置参数列表中包含数据服务请求中的数据源配置，服务实例根据数据源配置完成数据服务；如果配置参数列表中不包含数据服务请求中的数据源配置，服务实例通过配置管理服务获取数据源配置，保存数据源配置到配置参数列表，服务实例根据数据源配置完成数据服务。
所述的安全配置管理：实现实时数据访问管理模块的安全策略配置，以及实时服务的用户认证、授权与访问控制，包括通过网关实例接收数据服务请求，网关实例获取服务实例列表并通过轮询或随机策略从服务实例列表中选取一个服务实例，并通过发送服务请求到服务实例。
一种基于核电Paas平台的数据服务方法，具体步骤如下：
步骤201：监控系统按照监控要求订阅所需要的实时设备系统运行数据，对于该数据可能设备系统的元数据，或者是要经过加工的数据，对于监控系统的不同数据要求，可以根据访问数据量大小和数据频率来订阅不同的访问方式，实现实时数据访问管理功能；
步骤202：实时数据的有效收集，收集后的数据一方面存储在实时数据库中，另一方面通过数据处理步骤将其数据分发到监控系统中的服务请求者；
步骤203：收集到的实时数据，根据不同的监控数据要求，分为需要数据加工和不需要数据加工，对于需要数据加工的数据，经过数据加工服务后存入相应的数据库，不需要加工的元数据存入实时元数据库中；
步骤204：实时数据处理模块对其实时数据或加工后的数据进行封装；
步骤205：数据通过消息中间件，按照监控系统的服务请求者所订阅的数据进行相应的实时数据的发布；
步骤206：服务请求者根据自己的订阅要求获取实时系统运行数据，或者已经加工过数据；
步骤207：服务请求者在获取数据后将其放置于前端页面或者API进行监控展示；
步骤208：服务请求者如需要查询近期实时数据，可以通过查询API直接查询实时数据库获取数据，也可以在数据消息订阅/发布服务失效时，直接进行查询获得数据。对加工后的数据，直接到相应的数据库查询；
步骤209：实时数据库在中间件消息丢失时，可以从实时数据库或存储加工后的数据的数据库中，获取数据。
本发明的有益效果在于：本发明提供了一种数据服务方法及系统，通过对实时数据访问管理模块的数据源、访问用户、过滤条件的配置，实时数据处理的条件、实时服务管理的数据映射关系的配置，通过服务实例接收数据服务请求，根据数据源配置完成数据服务通过配置提供统一接口的数据服务，并建立可查询索引，从而可以直接获取相对应的数据，从而避免了关系数据的查询，减少数据搜索时间，提高数据访问效率，不仅降低项目的开发和维护的工作量，也提高了生产开发效率。
附图说明
图1为本发明所提供的一种基于核电Paas平台的数据服务系统示意图；
图2为本发明所提供的一种基于核电Paas平台的数据服务方法流程图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
本发明提供了一种基于核电Paas平台的数据服务方法及系统，包括：通过配置管理服务设置至少一个数据源配置；通过服务实例接收数据服务请求；如果配置参数列表中包含所述数据服务请求中的数据源配置，所述服务实例根据所述数据源配置完成数据服务；如果所述配置参数列表中不包含所述数据服务请求中的数据源配置，所述服务实例通过所述配置管理服务获取数据源配置，保存所述数据源配置到所述配置参数列表，所述服务实例根据所述数据源配置完成数据服务。所述服务实例通过所述配置管理服务随机或按一定规则检测并更新数据源配置。本发明通过配置提供统一接口的数据服务，降低了系统的开发与维护的工作量。
如图1所示，一种基于核电Paas平台的数据服务系统，包括实时服务访问管理、实时数据处理、实时数据访问管理、系统配置和安全配置5个模块。
所述的实时数据访问管理：实现对于设备实时运行数据的采集和对于实时数据库的访问。
实时数据处理：对实时数据访问管理模块中获取的数据进行有效的数据加工或者通过中间件实现有效的用户通过订阅请求要求发布的数据。
服务管理：采用微服务或其他SOA架构，提供web服务，以服务的方式注册到服务注册中心，对外提供数据服务，数据服务请求使用统一的接口形式。注册中心为其他服务提供服务列表，根据服务实例状态，服务列表进行实时更新。注册中心可以采用eureka组件或者nacos组件。
系统配置管理：实现对实时数据访问管理模块的数据源、访问用户、过滤条件的配置，实时数据处理的条件、实时服务管理的数据映射关系的配置。通过配置管理服务设置至少一个数据源配置；通过服务实例接收数据服务请求；如果配置参数列表中包含数据服务请求中的数据源配置，服务实例根据数据源配置完成数据服务；如果配置参数列表中不包含数据服务请求中的数据源配置，服务实例通过配置管理服务获取数据源配置，保存数据源配置到配置参数列表，服务实例根据数据源配置完成数据服务。
安全配置管理：实现实时数据访问管理模块的安全策略配置，以及实时服务的用户认证、授权与访问控制，包括通过网关实例接收数据服务请求，网关实例获取服务实例列表并通过轮询或随机策略从服务实例列表中选取一个服务实例，并通过发送服务请求到服务实例。
如图2所示，一种基于核电Paas平台的数据服务方法，其主要分为了服务的请求或订阅实时数据、实时数据的获取、实时数据的处理、用户获取实时数据几大步骤。使用开发的XML标准来进行有效的描述、发布、协调和配置，发挥web服务所具有的低耦合、独立的、可编程的优势，实时数据获取服务注册到服务注册中心，使其监控系统取得服务获取实时数据，实现分布式的实时数据服务方法，具体步骤如下：
步骤201：监控系统按照监控要求订阅所需要的实时设备系统运行数据，对于该数据可能设备系统的元数据，或者是要经过加工的数据，对于监控系统的不同数据要求，可以根据访问数据量大小和数据频率来订阅不同的访问方式，实现实时数据访问管理功能。
步骤202：实时数据的有效收集，收集后的数据一方面存储在实时数据库中，另一方面通过数据处理步骤将其数据分发到监控系统中的服务请求者。
步骤203：收集到的实时数据，根据不同的监控数据要求，分为需要数据加工和不需要数据加工，对于需要数据加工的数据，经过数据加工服务后存入相应的数据库，不需要加工的元数据存入实时元数据库中。
步骤204：实时数据处理模块对其实时数据或加工后的数据进行封装
步骤205：数据通过消息中间件，按照监控系统的服务请求者所订阅的数据进行相应的实时数据的发布
步骤206：服务请求者根据自己的订阅要求获取实时系统运行数据，或者已经加工过数据。
步骤207：服务请求者在获取数据后将其放置于前端页面或者API进行监控展示
步骤208：服务请求者如需要查询近期实时数据，可以通过查询API直接查询实时数据库获取数据，也可以在数据消息订阅/发布服务失效时，直接进行查询获得数据。对加工后的数据，直接到相应的数据库查询
步骤209：实时数据库在中间件消息丢失时，可以从实时数据库或存储加工后的数据的数据库中，获取数据。
对于上述步骤所采用的数据库，使用内存数据库来保障数据服务方法的实时性，数据实时更新和实时读写操作都在内存中执行，避免磁盘的访问，优化响应时间和处理速度。数据建立可以查询的索引，从而可以直接获取相对应的数据，从而避免了关系数据的查询，减少数据搜索时间，提高数据访问效率。
实时数据的订阅和查询模块，为监控系统的服务请求者提供实时数据查询和订阅，其采用了tcp通讯，其服务请求者可以自定义查询的配置和自定义的数据订阅。用户根据自定义的查询构建，查询所需的索引，从而进行快速查询。数据订阅机制类似于rss订阅，在接受到实时数据或加工后的数据后，数据处理模块会主动将实时数据拷贝给订阅管理器，之后订阅管理器会主动将数据订阅者订阅的数据，推送给数据订阅者。

Claims (7)

1.一种基于核电Paas平台的数据服务系统，其特征在于：包括实时服务访问管理、实时数据处理、实时数据访问管理、系统配置和安全配置。
2.如权利要求1所述的一种基于核电Paas平台的数据服务系统，其特征在于：所述的实时数据访问管理：实现对于设备实时运行数据的采集和对于实时数据库的访问。
3.如权利要求1所述的一种基于核电Paas平台的数据服务系统，其特征在于：所述的实时数据处理：对实时数据访问管理模块中获取的数据进行有效的数据加工或者通过中间件实现有效的用户通过订阅请求要求发布的数据。
4.如权利要求1所述的一种基于核电Paas平台的数据服务系统，其特征在于：所述的服务管理：采用微服务或其他SOA架构，提供web服务，以服务的方式注册到服务注册中心，对外提供数据服务，数据服务请求使用统一的接口形式，注册中心为其他服务提供服务列表，根据服务实例状态，服务列表进行实时更新，注册中心可以采用eureka组件或者nacos组件。
5.如权利要求1所述的一种基于核电Paas平台的数据服务系统，其特征在于：所述的系统配置管理：实现对实时数据访问管理模块的数据源、访问用户、过滤条件的配置，实时数据处理的条件、实时服务管理的数据映射关系的配置。通过配置管理服务设置至少一个数据源配置；通过服务实例接收数据服务请求；如果配置参数列表中包含数据服务请求中的数据源配置，服务实例根据数据源配置完成数据服务；如果配置参数列表中不包含数据服务请求中的数据源配置，服务实例通过配置管理服务获取数据源配置，保存数据源配置到配置参数列表，服务实例根据数据源配置完成数据服务。
6.如权利要求1所述的一种基于核电Paas平台的数据服务系统，其特征在于：所述的安全配置管理：实现实时数据访问管理模块的安全策略配置，以及实时服务的用户认证、授权与访问控制，包括通过网关实例接收数据服务请求，网关实例获取服务实例列表并通过轮询或随机策略从服务实例列表中选取一个服务实例，并通过发送服务请求到服务实例。
7.一种基于核电Paas平台的数据服务方法，其特征在于，具体步骤如下：
步骤201：监控系统按照监控要求订阅所需要的实时设备系统运行数据，对于该数据可能设备系统的元数据，或者是要经过加工的数据，对于监控系统的不同数据要求，可以根据访问数据量大小和数据频率来订阅不同的访问方式，实现实时数据访问管理功能；
步骤202：实时数据的有效收集，收集后的数据一方面存储在实时数据库中，另一方面通过数据处理步骤将其数据分发到监控系统中的服务请求者；
步骤203：收集到的实时数据，根据不同的监控数据要求，分为需要数据加工和不需要数据加工，对于需要数据加工的数据，经过数据加工服务后存入相应的数据库，不需要加工的元数据存入实时元数据库中；
步骤204：实时数据处理模块对其实时数据或加工后的数据进行封装；
步骤205：数据通过消息中间件，按照监控系统的服务请求者所订阅的数据进行相应的实时数据的发布；
步骤206：服务请求者根据自己的订阅要求获取实时系统运行数据，或者已经加工过数据；
步骤207：服务请求者在获取数据后将其放置于前端页面或者API进行监控展示；
步骤208：服务请求者如需要查询近期实时数据，可以通过查询API直接查询实时数据库获取数据，也可以在数据消息订阅/发布服务失效时，直接进行查询获得数据。对加工后的数据，直接到相应的数据库查询；
步骤209：实时数据库在中间件消息丢失时，可以从实时数据库或存储加工后的数据的数据库中，获取数据。
CN202110256313.3A 2021-03-09 2021-03-09 一种基于核电Paas平台的数据服务方法及系统 Pending CN115048437A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110256313.3A CN115048437A (zh) 2021-03-09 2021-03-09 一种基于核电Paas平台的数据服务方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110256313.3A CN115048437A (zh) 2021-03-09 2021-03-09 一种基于核电Paas平台的数据服务方法及系统

Publications (1)

Publication Number Publication Date
CN115048437A true CN115048437A (zh) 2022-09-13

Family

ID=83156587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110256313.3A Pending CN115048437A (zh) 2021-03-09 2021-03-09 一种基于核电Paas平台的数据服务方法及系统

Country Status (1)

Country Link
CN (1) CN115048437A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115757552A (zh) * 2022-11-29 2023-03-07 广发银行股份有限公司 基于分布式微服务的银行历史数据管理系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115757552A (zh) * 2022-11-29 2023-03-07 广发银行股份有限公司 基于分布式微服务的银行历史数据管理系统

Similar Documents

Publication Publication Date Title
CN101378403B (zh) 一种基于集合的资源通知处理系统及处理方法
JP4132441B2 (ja) 管理対象オブジェクトのデータ管理装置
US20070124437A1 (en) Method and system for real-time collection of log data from distributed network components
EP1604486B1 (en) Relational model for management information in network devices
CN108667725A (zh) 一种基于多种接入及边缘计算的工业软网关以及实现方法
CN108471366A (zh) 一种面向云原生应用的立体监控系统
CN104899274B (zh) 一种内存数据库高效远程访问方法
CN101853287A (zh) 数据压缩快速检索文件系统及其方法
CN1783068B (zh) 一种故障诊断监控数据库服务实现方法
CN101206648A (zh) 网络服务生成系统及方法
CN113658591B (zh) 一种面向智能家居的语音交互适配系统
CN102142971B (zh) 实现订阅-收集机制的监控系统及监控方法
CN108540576A (zh) 跨数据库交互服务平台
CN101667932B (zh) 一种网元设备日志管理的方法及系统
CN107766207A (zh) 分布式自动监控方法、系统、计算机可读存储介质及终端设备
CN115048437A (zh) 一种基于核电Paas平台的数据服务方法及系统
CN100534084C (zh) 远程xml数据更新方法以及系统
CN113722187B (zh) 一种面向微服务架构的服务监控系统
US20200233867A1 (en) Backend data aggregation system and method
CN113886481B (zh) 一种数据库访问方法和系统
CN111886846B (zh) 用于受事件控制地调用过程数据的方法
KR100974621B1 (ko) Ｒｆｉｄ 비즈니스 인식 프레임워크
KR20090003388A (ko) 지능형 로봇 콘텐츠 관리 시스템
CN114238500A (zh) 区块链交易的存储方法、装置、电子设备及可读存储介质
CN114443410A (zh) 一种业务日志处理方法、系统及物联网系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination