CN114819873A - 选煤厂管理平台的协议适配与内容解析系统 - Google Patents

选煤厂管理平台的协议适配与内容解析系统 Download PDF

Info

Publication number
CN114819873A
CN114819873A CN202210292220.0A CN202210292220A CN114819873A CN 114819873 A CN114819873 A CN 114819873A CN 202210292220 A CN202210292220 A CN 202210292220A CN 114819873 A CN114819873 A CN 114819873A
Authority
CN
China
Prior art keywords
data
task
management
log
adaptation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210292220.0A
Other languages
English (en)
Inventor
乔莎
卫中宽
张树森
龚萍
王际伟
付默予
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Coal Tianjin Underground Engineering Intelligent Research Institute Co ltd
CETC Big Data Research Institute Co Ltd
Original Assignee
China Coal Tianjin Underground Engineering Intelligent Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Coal Tianjin Underground Engineering Intelligent Research Institute Co ltd filed Critical China Coal Tianjin Underground Engineering Intelligent Research Institute Co ltd
Priority to CN202210292220.0A priority Critical patent/CN114819873A/zh
Publication of CN114819873A publication Critical patent/CN114819873A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/313—Selection or weighting of terms for indexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本申请实施例公开了选煤厂管理平台的协议适配与内容解析系统。该方法的一具体实施方式包括：数据源管理模块，被配置成根据预先设置的数据源的适配参数，从数据源处直接获取数据采集任务的目标数据或从数据源处获取待解析数据，经解析后得到数据采集任务的目标数据；任务管理模块，被配置成根据任务管理界面获取的操作管理数据采集任务；日志管理模块，被配置成根据日志管理界面获取的操作管理数据采集日志；用户管理模块，被配置成根据用户管理界面获取的操作进行用户管理。该实施方式提供了一种选煤厂多数据源采集、接入机制，为多源数据的利用奠定了基础。

Description

选煤厂管理平台的协议适配与内容解析系统
技术领域
本申请实施例涉及计算机技术领域，尤其涉及选煤厂管理平台的协议适配与内容解析系统。
背景技术
目前已建成的多数选煤厂在生产运行阶段拥有多套信息化系统，例如，PLC工控系统，且各系统的建设较为独立，这就导致现有系统无法对多数据源进行采集、接入，更无法对其进行利用。
发明内容
本申请实施例提出了选煤厂管理平台的协议适配与内容解析系统，该系统包括：数据源管理模块，被配置成根据预先设置的数据源的适配参数，从数据源处直接获取数据采集任务的目标数据或从数据源处获取待解析数据，经解析后得到数据采集任务的目标数据；任务管理模块，被配置成根据任务管理界面获取的操作管理数据采集任务；日志管理模块，被配置成根据日志管理界面获取的操作管理数据采集日志；用户管理模块，被配置成根据用户管理界面获取的操作进行用户管理。
在一些实施例中，数据源管理模块，进一步被配置成：获取待解析的非结构化数据；通过机器学习技术或预设协议对非结构化数据的进行解析处理，得到结构化的目标数据；将结构化的目标数据导入目标大数据平台。
在一些实施例中，数据源管理模块还被配置成：将数据采集任务上传的数据进行前置存储。
在一些实施例中，数据源包括前置数据库，前置数据库还被配置成：进行数据采集、数据过滤、数据加工、数据展现和/或缓存交换数据。
在一些实施例中，任务管理模块，进一步被配置成：为用户提供任务管理界面；根据任务管理界面获取的操作，实现项目管理、任务列表展示、任务执行、任务删除、任务构建、任务模板列表展示、任务模板编辑、任务模板删除、任务构建、任务修改、任务日志的查看、任务日志的编辑和/或任务日志的删除，任务构建包括引导式的任务构建与批量式的任务构建。
在一些实施例中，日志管理模块，进一步被配置成：根据日志查询界面获取的操作查询、编辑、删除、新增数据采集日志或根据用户自定义的日志保存策略保存数据采集日志。
在一些实施例中，系统包括的模块，进一步被配置成根据预先设置的适配标准与规范，实现系统的迁移适配，系统的迁移适配包括操作系统兼容适配、中间件兼容适配、数据库兼容适配、网络前端兼容适配和/或办公软件兼容适配。
在一些实施例中，数据源管理模块，进一步被配置成：响应于确定出需要跨网络完成数据采集任务，基于跨网文件交换中转站进行数据摆渡。
在一些实施例中，数据源包括关系型数据库管理系统；以及系统进一步被配置成：基于二进制日志实时处理关系型数据库管理系统的数据。
在一些实施例中，数据源中数据的采集方式包括实时采集方式、文件采集方式、数据库采集方式、人工填报方式，选煤厂中采用实时采集方式的系统包括设备预警系统、温震在线监控系统和/或工业控制系统与电力监测系统，采用文件采集方式的系统包括皮带秤系统和/或瓦斯系统，采用数据库采集方式的系统包括三维数字化工厂信息管理平台、数字设计中心系统、数字建设中心系统和/或生产系统，采用人工填报方式的系统包括设备管理系统和/或报表系统。
本申请实施例提供的选煤厂管理平台的协议适配与内容解析系统，通过数据源管理模块，被配置成根据预先设置的数据源的适配参数，从数据源处直接获取数据采集任务的目标数据或从数据源处获取待解析数据，经解析后得到数据采集任务的目标数据；任务管理模块，被配置成根据任务管理界面获取的操作管理数据采集任务；日志管理模块，被配置成根据日志管理界面获取的操作管理数据采集日志；用户管理模块，被配置成根据用户管理界面获取的操作进行用户管理，提供了一种选煤厂多数据源采集、接入机制，为多源数据的利用奠定了基础。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请选煤厂管理平台的协议适配与内容解析系统的一个实施例的结构示意图；
图2是本申请实施例中协议适配与内容解析系统所在架构的一个示意图；
图3是本申请实施例中协议适配与内容解析系统所在位置的一个示意图；
图4是本申请实施例中协议适配与内容解析系统与其它支撑系统的详细界面划分的一个示意图；
图5是本申请实施例中协议适配与内容解析系统逻辑架构的一个示意图；
图6是适于用来实现本申请的一些实施例的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
参考图1，示出了本申请选煤厂管理平台的协议适配与内容解析系统的一个实施例的结构100。该选煤厂管理平台的协议适配与内容解析系统，包括以下模块：
数据源管理模块101，被配置成根据预先设置的数据源的适配参数，从数据源处直接获取数据采集任务的目标数据或从数据源处获取待解析数据，经解析后得到数据采集任务的目标数据。
在本实施例中，用户可以配置及管理数据采集任务，用于完成不同业务场景下不同数据类型的数采流程。可以使用基于flume(日志收集系统)的多源异构生产数据分层采集技术或基于OPC(OLE for Process Control，用于过程控制的OLE)接口的系统实时数据采集技术进行数据采集。
参考图2，在架构图中，用户在用户层中可以进行多项管理操作，软件层中示出了可能设计的系统及数据库，如MySQL、PostgreSQL、MongoDB、SQL Server、GBase8A、GBase8S、Oracle等。参考图3，协议适配与内容解析系统可以连接数据源层与CPIM(Certified inPlanning&Inventory Management，计划和库存管理认证)等大数据平台。
在本实施例的一些可选实现方式中，数据源管理模块，进一步被配置成：获取待解析的非结构化数据；通过机器学习技术或预设协议对非结构化数据的进行解析处理，得到结构化的目标数据；将结构化的目标数据导入目标大数据平台。作为示例，可以使用自然语言处理、图像识别等机器学习技术完成对文本文档、图片文档、视频图片等不同类型文档的解析处理，产出结构关系、位号以及参数等结构化数据进入数据处理平台。
在本实施例的一些可选实现方式中，数据源管理模块还被配置成：将数据采集任务上传的数据进行前置存储。数据源可以包括前置数据库，前置数据库还被配置成：进行数据采集、数据过滤、数据加工、数据展现和/或缓存交换数据。参见图4，开发数据采集任务前置存储机制，用于将各类数据采集任务上传的文件进行前置存储，用于接口的后续处理逻辑使用，防止数据丢失或用于任务重算。前置库也具备缓存交换数据，对数据进行过滤、加工和展现的功能。这样可以有效规避潜在的信息安全风险。前置库数据采集方式可以对接包括web service、API、数据上传等多种接口，实现对于系统数据的采集。
在本实施例的一些可选实现方式中，系统包括的模块，进一步被配置成根据预先设置的适配标准与规范，实现系统的迁移适配，系统的迁移适配包括操作系统兼容适配、中间件兼容适配、数据库兼容适配、网络前端兼容适配和/或办公软件兼容适配。从操作系统、中间件、数据库、Web前端、办公软件等几方面对系统进行兼容适配，实现原有系统向国产平台迁移，系统所有功能达到能用状态。
此外，还可以进行应用系统优化，包括Web前端优化、数据库优化、中间件配置优化、服务端代码优化几个方面。从操作系统、数据库、Web前端、服务端代码等几方面对应用系统的性能进行优化，通过提高操作系统I/O效率、提高数据库缓存命中率，减少I/O访问，提高网络吞吐量、提升复杂页面交互效率等方面，达到提升应用系统的整体性能，降低系统响应时间的目标，使迁移到国产化平台的应用系统性能得到较大幅度提升，实现应用系统从可用转为好用，用户使用体验得到明显增强。
在选煤厂项目数据采集过程中，选煤厂会通过各种方式实施网络隔离，比如互联网与内网隔离，生产网与办公网隔离，办公网与生产网隔离等方式。给采集过程中由于不同网络之间的数据交换问题给采集造成了阻碍。在本实施例的一些可选实现方式中，数据源管理模块，进一步被配置成：响应于确定出需要跨网络完成数据采集任务，基于跨网文件交换中转站，例如FHub中转站，进行数据摆渡，以此可以实现选煤厂数据的安全传输与采集。
在本实施例的一些可选实现方式中，数据源包括关系型数据库管理系统；以及系统进一步被配置成：基于二进制日志(binlog)实时处理关系型数据库管理系统的数据。在选煤厂数据采集过程中，大部分数据都是基于关系型数据库管理系统(MySQL)存储的，数据分析与生产逻辑之间相互影响，业务系统的稳定性问题非常难以保证。基于二进制日志解决了数据分析与在线系统以及MySQL的耦合性问题，可扩展性以及可维护性较强，非常高效地实现了生产数据的实时同步以及相关处理和分析。
数据采集原则包括数据采集来源可信任，即数据提供者、使用者和管理者应保证采集到的数据来源真实可靠；采集过程结果可审计，即数据采集过程和采集到的数据应保证可审计；不影响业务流程运行，即采集过程不应对其他信息化系统的稳定、正常和可靠运行产生影响；保证数据可用性，即应保证数据采集结果的可用性。考虑到选煤厂现阶段运行的业务系统以及数据情况，将选煤厂数据采集分为实时采集方式、文件采集方式、数据库采集方式、人工填报方式四种采集方式。在本实施例的一些可选实现方式中，数据源中数据的采集方式包括实时采集方式、文件采集方式、数据库采集方式、人工填报方式，选煤厂中采用实时采集方式的系统包括设备预警系统、温震在线监控系统和/或工业控制系统与电力监测系统，采用文件采集方式的系统包括皮带秤系统和/或瓦斯系统，采用数据库采集方式的系统包括三维数字化工厂信息管理平台、数字设计中心系统、数字建设中心系统和/或生产系统，采用人工填报方式的系统包括设备管理系统和/或报表系统。
任务管理模块102，被配置成根据任务管理界面获取的操作管理数据采集任务。
在本实施例的一些可选实现方式中，任务管理模块，进一步被配置成：为用户提供任务管理界面；根据任务管理界面获取的操作，实现项目管理、任务列表展示、任务执行、任务删除、任务构建、任务模板列表展示、任务模板编辑、任务模板删除、任务构建、任务修改、任务日志的查看、任务日志的编辑和/或任务日志的删除，任务构建包括引导式的任务构建与批量式的任务构建。此外，还可以进行项目的管理。
日志管理模块103，被配置成根据日志管理界面获取的操作管理数据采集日志。
在本实施例的一些可选实现方式中，日志管理模块，进一步被配置成：根据日志查询界面获取的操作查询、编辑、删除、新增数据采集日志或根据用户自定义的日志保存策略保存数据采集日志。查询还可以包括日志的条件分页查询(执行器、执行状态)。参见图5，其示出了协议适配与内容解析系统逻辑架构，图5左边可以看到任务管理与日志管理及执行器管理及调度的过程，右边可以看到软件架构。
用户管理模块104，被配置成根据用户管理界面获取的操作进行用户管理，可以提供用户的条件分页查询、编辑、删除、新增等功能。
本申请的上述实施例提供的方法，打通各模块和业务单位的数据壁垒，从数据层面实现各领域数据源的适配，提供了一种选煤厂多数据源采集、接入机制，通过“统一设备标识、统一设备接入、统一物联数据标准、统一资源共享”，构建选煤厂物联资源一张图，实现物联设备的全域感知、统筹管理与维护，确保物联数据实时汇聚共享。
下面参考图6，其示出了适于用来实现本申请实施例的计算机系统600的结构示意图。图6示出的计算机系统仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件可以连接至I/O接口605：包括诸如键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种选煤厂管理平台的协议适配与内容解析系统，包括：
数据源管理模块，被配置成根据预先设置的数据源的适配参数，从数据源处直接获取数据采集任务的目标数据或从数据源处获取待解析数据，经解析后得到数据采集任务的目标数据；
任务管理模块，被配置成根据任务管理界面获取的操作管理数据采集任务；
日志管理模块，被配置成根据日志管理界面获取的操作管理数据采集日志；
用户管理模块，被配置成根据用户管理界面获取的操作进行用户管理。
2.根据权利要求1所述的系统，其中，所述数据源管理模块，进一步被配置成：
获取待解析的非结构化数据；
通过机器学习技术或预设协议对所述非结构化数据的进行解析处理，得到结构化的目标数据；
将所述结构化的目标数据导入目标大数据平台。
3.根据权利要求1所述的系统，其中，所述数据源管理模块还被配置成：
将数据采集任务上传的数据进行前置存储。
4.根据权利要求1所述的系统，其中，所述数据源包括前置数据库，所述前置数据库还被配置成：进行数据采集、数据过滤、数据加工、数据展现和/或缓存交换数据。
5.根据权利要求1所述的系统，其中，所述任务管理模块，进一步被配置成：
为用户提供所述任务管理界面；
根据所述任务管理界面获取的操作，实现项目管理、任务列表展示、任务执行、任务删除、任务构建、任务模板列表展示、任务模板编辑、任务模板删除、任务构建、任务修改、任务日志的查看、任务日志的编辑和/或任务日志的删除，所述任务构建包括引导式的任务构建与批量式的任务构建。
6.根据权利要求1所述的系统，其中，所述日志管理模块，进一步被配置成：
根据日志查询界面获取的操作查询、编辑、删除、新增数据采集日志或根据用户自定义的日志保存策略保存数据采集日志。
7.根据权利要求1所述的系统，其中，所述系统包括的模块，进一步被配置成根据预先设置的适配标准与规范，实现所述系统的迁移适配，所述系统的迁移适配包括操作系统兼容适配、中间件兼容适配、数据库兼容适配、网络前端兼容适配和/或办公软件兼容适配。
8.根据权利要求1所述的系统，其中，所述数据源管理模块，进一步被配置成：
响应于确定出需要跨网络完成数据采集任务，基于跨网文件交换中转站进行数据摆渡。
9.根据权利要求1所述的系统，其中，所述数据源包括关系型数据库管理系统；以及所述系统进一步被配置成：基于二进制日志实时处理所述关系型数据库管理系统的数据。
10.根据权利要求1-9中任一项所述的系统，其中，所述数据源中数据的采集方式包括实时采集方式、文件采集方式、数据库采集方式、人工填报方式，选煤厂中采用所述实时采集方式的系统包括设备预警系统、温震在线监控系统和/或工业控制系统与电力监测系统，采用所述文件采集方式的系统包括皮带秤系统和/或瓦斯系统，采用所述数据库采集方式的系统包括三维数字化工厂信息管理平台、数字设计中心系统、数字建设中心系统和/或生产系统，采用所述人工填报方式的系统包括设备管理系统和/或报表系统。
CN202210292220.0A 2022-03-24 2022-03-24 选煤厂管理平台的协议适配与内容解析系统 Pending CN114819873A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210292220.0A CN114819873A (zh) 2022-03-24 2022-03-24 选煤厂管理平台的协议适配与内容解析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210292220.0A CN114819873A (zh) 2022-03-24 2022-03-24 选煤厂管理平台的协议适配与内容解析系统

Publications (1)

Publication Number Publication Date
CN114819873A true CN114819873A (zh) 2022-07-29

Family

ID=82530184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210292220.0A Pending CN114819873A (zh) 2022-03-24 2022-03-24 选煤厂管理平台的协议适配与内容解析系统

Country Status (1)

Country Link
CN (1) CN114819873A (zh)

Similar Documents

Publication Publication Date Title
CN107506451B (zh) 用于数据交互的异常信息监控方法及装置
CN110807067B (zh) 关系型数据库和数据仓库的数据同步方法、装置及设备
US10169433B2 (en) Systems and methods for an SQL-driven distributed operating system
CN108536778B (zh) 一种数据应用共享平台及方法
US20170193016A1 (en) Generation of a data model
CN111699484A (zh) 用于数据管理的系统和方法
CN110895534A (zh) 一种数据拼接方法、装置、介质及电子设备
CN114035748A (zh) 一种数据文件的存取方法与系统
CN110502566B (zh) 近实时数据采集方法、装置、电子设备、存储介质
US20220269729A1 (en) Data propagation and mapping system
CN115577646A (zh) 基于多源异构数据的数据建模方法、装置、设备和介质
CN114116678A (zh) 数据迁移方法、装置、设备、介质及程序产品
CN114780798A (zh) 基于bim的知识图谱系统
CN112579402B (zh) 一种应用系统故障定位的方法和装置
CN113676525A (zh) 面向网络协同制造的工业互联网公共服务平台
US11403313B2 (en) Dynamic visualization of application and infrastructure components with layers
CN114819873A (zh) 选煤厂管理平台的协议适配与内容解析系统
CN114817240A (zh) 基于选煤厂管理平台的数据资源区的数据处理方法
EP4254244A1 (en) Data asset sharing
CN113378346A (zh) 模型仿真的方法和装置
CN115878592A (zh) 一种政务数据治理方法、装置、存储介质及电子设备
CN111198917A (zh) 数据处理方法、装置、设备及存储介质
CN108959309B (zh) 数据分析的方法和装置
CN113918845B (zh) 可识别状态的外链url的生成方法、装置及存储介质
CN114297211A (zh) 一种数据在线分析系统、方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20230614

Address after: 300120 building 3, Anshun building, Dafeng Road, Hongqiao District, Tianjin

Applicant after: China coal (Tianjin) underground engineering intelligent Research Institute Co.,Ltd.

Applicant after: CETC KEDA BIG DATA RESEARCH INSTITUTE Co.,Ltd.

Address before: 300120 building 3, Anshun building, Dafeng Road, Hongqiao District, Tianjin

Applicant before: China coal (Tianjin) underground engineering intelligent Research Institute Co.,Ltd.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination