CN111797084B - 基于武器装备试验流程的数据编码贯标检查方法及系统 - Google Patents

基于武器装备试验流程的数据编码贯标检查方法及系统 Download PDF

Info

Publication number
CN111797084B
CN111797084B CN202010549187.6A CN202010549187A CN111797084B CN 111797084 B CN111797084 B CN 111797084B CN 202010549187 A CN202010549187 A CN 202010549187A CN 111797084 B CN111797084 B CN 111797084B
Authority
CN
China
Prior art keywords
data
library
standard
rule
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010549187.6A
Other languages
English (en)
Other versions
CN111797084A (zh
Inventor
龚昕
陈�峰
李�一
徐博
周大庆
佟立飞
张立斌
马跃飞
庞亮
胡永涛
李进
姚鹏飞
宋东海
郭斌
沈斌
姜艳
冯楠
桑耘
于铭华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Staff Of 92493 Pla
CETC 32 Research Institute
Original Assignee
Staff Of 92493 Pla
CETC 32 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Staff Of 92493 Pla, CETC 32 Research Institute filed Critical Staff Of 92493 Pla
Priority to CN202010549187.6A priority Critical patent/CN111797084B/zh
Publication of CN111797084A publication Critical patent/CN111797084A/zh
Application granted granted Critical
Publication of CN111797084B publication Critical patent/CN111797084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于武器装备试验流程的数据编码贯标检查方法及系统，包括：将各训练区的数据采集至数据中心原始库；根据预设的数据贯标检查规则得到数据中心原始库中贯标数据，并将数据中心原始库中的贯标数据清洗至整编库，未贯标数据清洗至整改库；整改库中的数据根据数据贯标检查规则进行检查后形成的数据质量报告，反馈给各训练区并由各训练区进行整改；将贯标数据进行数据编码，并通过数据分析服务对外提供数据的访问、分析，同时根据数据分析结果与原始数据进行比对，校验数据正确性，形成数据贯标治理闭环；本发明通过上述数据管理机制下的数据建设以及持续性的数据成果交付，使数据建设成为日常工作不可或缺的一部分。

Description

基于武器装备试验流程的数据编码贯标检查方法及系统
技术领域
本发明涉及计算机信息处理技术领域，具体地，涉及一种基于武器装备试验流程的数据编码贯标检查方法及系统，更为具体地，涉及在试验过程中对试验数据进行编码的检查和治理。
背景技术
随着军队信息化建设的不断加快，武器装备试验日渐繁多，试验数据容量在不断增长的同时试验流程繁琐程度加剧，试验数据格式五花八门，而试验数据共享和应用模式需求的又不断增加，因此如何有效的在试验过程中对试验数据进行检查和贯标处理成为整个试验数据全流程当中至关重要的一个环节。
在大数据时代,对试验数据的管、存、活、用已成为试验数据工程建设的重点。但是,随之产生的诸多数据问题会导致试验数据无法高效且准确地满足实际试验任务的需求,如果缺少有效的数据治理手段将影响整个试验数据工程的建设。因此，对日益增长的海量试验数据进行治理已成为数据工程建设的重中之中,同时对试验数据的贯标检查也形成了许多解决方法和思路。
专利文献CN109586983A(申请号：201910007833.3)公开了一种由微云系统构成的贯标支持云系统，系统通过云簇管理中心将各部门的微云系统结合成一个紧密整体，负责微云集群的管理和通信，微云间资源借用申请的审批管理，微云间的资源调度管理，微云资源使用情况监控，微云资源索引；利用微云系统供给用户实际使用所需要的计算、存储资源，任意一个微云系统的用户所需的资源还可从另一个微云系统借用，每个微云系统包括一个具备独立对外服务能力和自管理能力的完整云计算系统，负责与云簇管理中心通信的云簇管理模块和负责微云系统间互相通信的云间互操作模块；
一种由微云系统构成的贯标支持云系统提出了用一种微云系统构成的贯标支持云系统进行数据的贯标处理,该系统通过云簇管理中心将各部门的微云系统结合成一个紧密整体,利用微云系统提供给用户实际使用所需要的计算、存储资源,能有效地提高云系统的资源利用率,突破集中式云服务平台的服务瓶颈,使得资源能在更大程度上共享。
专利文献CN110472886A(申请号：201910779290.7)公开了一种基于区块链的数据治理系统，该系统基于联盟链技术实现，该系统包括功能性节点和智能合约，其中，功能性节点包括：数据节点和管理节点，智能合约包括：资源类合约、授权类合约、访问类合约和问题类合约，且智能合约与数据管控关键流程相对应，将流程中各环节执行结果上链记录，其中，数据管控关键流程包括：资源发布更新流程、数据访问授权流程、数据访问流程和问题解决流程。
一种基于区块链的数据治理系统提供了一种基于区块链的数据治理系统,该系统基于联盟链技术实现,该技术利用大数据治理的流程、方法,对已汇聚的数据按层级开展目录和数据的清洗,采用区块链技术,将目录上链,解决目录更新、数据与目录挂接及授权监控、多方共同确权机制的技术支撑等问题。以上两种专利都侧重于如何使用一种工具去做数据的贯标，系统相对独立，对数据贯标处理缺乏统一治理的方法论。武器装备试验流程涵盖了多式多样的信息系统，这些系统大多以独立系统的方式存在，然而这些系统内部的信息往往是有关联的。由于每个应用所持有的数据具有越来越高的藕合度，使得对某些公共数据的读、写、删、更新等操作十分繁琐。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于武器装备试验流程的数据编码贯标检查方法及系统。
根据本发明提供的一种基于武器装备试验流程的数据编码贯标检查方法，其特征在于，包括：
步骤M1：结合数据中心武器装备试验数据处理流程，依托武器装备试验专网通过数据采集系统将各训练区的数据采集至数据中心原始库；
步骤M2：根据预设的数据贯标检查规则得到数据中心原始库中贯标数据，并将数据中心原始库中的贯标数据清洗至整编库，未贯标数据清洗至整改库；
步骤M3：整改库中的数据根据数据贯标检查规则进行检查后形成的数据质量报告，反馈给各训练区并由各训练区进行整改，并重新进行数据贯标；
步骤M4：将贯标数据进行数据编码，并通过数据分析服务对外提供数据的访问、分析，同时根据数据分析结果与原始数据进行比对，校验数据正确性，形成数据贯标治理闭环；
所述数据中心包括数据中心和预设个训练区；
所述原始库、整编库和整改库是根据数据贯标体系建立的；
所述数据贯标检查规则是将贯标后的数据进行检查的规则，校验数据是否符合数据标准；
所述数据贯标规则是按照试验数据贯标体系进行数据治理的规则，原始数据通过数据贯标规则能够形成符合标准的数据；
所述数据贯标体系根据不同业务制定的体系规范，试验数据贯标体系规范包括试验数据标准、环境数据标准、人员数据标准和/或武器装备标准。
优选地，所述原始库是异构数据集合库，保留了数据的原始格式；
所述整编库是原始库的数据根据数据贯标规则进行治理整编，存放的是经过治理后的标准数据；
所述整改库根据数据贯标规则判断质量有问题的数据，需要根据数据贯标规则重新进行整改。
优选地，所述步骤M1包括：
步骤M1.1：根据各训练区数据进行初步梳理，根据业务类型和数据类型进行数据建模；
步骤M1.2：根据数据贯标体系，分别建立原始库、整编库和整改库；
步骤M1.3：将各训练区数据数据源接入数据采集系统；
步骤M1.4：通过数据采集系统中数据汇聚工具汇聚数据到本级数据中心的原始库；
步骤M1.5：根据数据类型对数据中心原始库中的数据进行分库管理，结构化数据存储在分布式结构化数据库，非结构化数据加载到分布式对象存储中，文本、半结构化数据加载到分布式文件系统。
优选地，所述步骤M2包括：
步骤M2.1：根据实际武器装备试验标准设定数据贯标检查规则；
步骤M2.2：将数据贯标检查规则加载到数据清洗系统中；
步骤M2.3：将汇聚到数据中心原始库的数据通过数据清洗系统进行贯标检查和处理，将数据中心原始库中符合贯标检查规则标准的贯标数据清洗至整编库，将数据中心原始库中不符合标准的未贯标数据清洗至整改库；
步骤M2.4：整编库的数据根据业务需求推送专题数据库，满足业务对试验数据管理要求。
优选地，所述步骤M3包括：整改库的数据重新根据贯标检查规则进行数据贯标。
根据本发明提供的一种基于武器装备试验流程的数据编码贯标检查系统，包括：
模块M1：结合数据中心武器装备试验数据处理流程，依托武器装备试验专网通过数据采集系统将各训练区的数据采集至数据中心原始库；
模块M2：根据预设的数据贯标检查规则得到数据中心原始库中贯标数据，并将数据中心原始库中的贯标数据清洗至整编库，未贯标数据清洗至整改库；
模块M3：整改库中的数据根据数据贯标检查规则进行检查后形成的数据质量报告，反馈给各训练区并由各训练区进行整改，并重新进行数据贯标；
模块M4：将贯标数据进行数据编码，并通过数据分析服务对外提供数据的访问、分析，同时根据数据分析结果与原始数据进行比对，校验数据正确性，形成数据贯标治理闭环；
所述数据中心包括数据中心和预设个训练区；
所述原始库、整编库和整改库是根据数据贯标体系建立的；
所述数据贯标检查规则是将贯标后的数据进行检查的规则，校验数据是否符合数据标准；
所述数据贯标规则是按照试验数据贯标体系进行数据治理的规则，原始数据通过数据贯标规则能够形成符合标准的数据；
所述数据贯标体系根据不同业务制定的体系规范，试验数据贯标体系规范包括试验数据标准、环境数据标准、人员数据标准和/或武器装备标准。
优选地，所述原始库是异构数据集合库，保留了数据的原始格式；
所述整编库是原始库的数据根据数据贯标规则进行治理整编，存放的是经过治理后的标准数据；
所述整改库根据数据贯标规则判断质量有问题的数据，需要根据数据贯标规则重新进行整改。
优选地，所述模块M1包括：
模块M1.1：根据各训练区数据进行初步梳理，根据业务类型和数据类型进行数据建模；
模块M1.2：根据数据贯标体系，分别建立原始库、整编库和整改库；
模块M1.3：将各训练区数据数据源接入数据采集系统；
模块M1.4：通过数据采集系统中数据汇聚工具汇聚数据到本级数据中心的原始库；
模块M1.5：根据数据类型对数据中心原始库中的数据进行分库管理，结构化数据存储在分布式结构化数据库，非结构化数据加载到分布式对象存储中，文本、半结构化数据加载到分布式文件系统。
优选地，所述模块M2包括：
模块M2.1：根据实际武器装备试验标准设定数据贯标检查规则；
模块M2.2：将数据贯标检查规则加载到数据清洗系统中；
模块M2.3：将汇聚到数据中心原始库的数据通过数据清洗系统进行贯标检查和处理，将数据中心原始库中符合贯标检查规则标准的贯标数据清洗至整编库，将数据中心原始库中不符合标准的未贯标数据清洗至整改库；
模块M2.4：整编库的数据根据业务需求推送专题数据库，满足业务对试验数据管理要求。
优选地，所述模块M3包括：整改库的数据重新根据贯标检查规则进行数据贯标。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过对武器装备试验流程进行分析，围绕武器装备试验体系数据建设，总结出架构阶段、主数据治理阶段、业务数据治理阶段、分析数据治理阶段、优化治理阶段五个主要过程。通过五个阶段的数据建设结合大数据的处理方法，能够涵盖数据的整个生命周期，形成规范化、标准化、流程化、常态化的数据贯标机制，从而避免形成重复建设、用完即弃、用完即死的结果；
2、本发明通过上述数据管理机制下的数据建设以及持续性的数据成果交付，使数据建设成为日常工作不可或缺的一部分，使数据成果成为日常工作的必不可少的一部分；
3、本发明通过梳理、总结试验数据试验过程的数据贯标、治理过程，发明了面向武器装备试验流程的数据编码贯标方法及系统，能够有效的指导各类试验过程中如何针对各类数据进行贯标治理的。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为数据编码贯标检查系统体系结构图；
图2为数据编码贯标体系；
图3为数据编码贯标流程。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1
当前武器装备试验面临试验种类多、试验数据量庞大的问题，如何管理和组织这些存放分散、类型多样、格式复杂的试验数据一直是一个困扰试验管理人员的难题，急需一个科学的方法论来统筹指导武器装备试验数据的贯标、治理等问题。针对这一现状，本文提出了基于大数据的武器装备试验流程的数据编码贯标检查方法及系统。
根据本发明提供的一种基于武器装备试验流程的数据编码贯标检查方法，包括：
步骤M1：结合数据中心武器装备试验数据处理流程，依托武器装备试验专网通过数据采集系统将各训练区的数据采集至数据中心原始库；
具体地，如图3所示，所述步骤M1包括：
步骤M1.1：根据各训练区数据进行初步梳理，根据业务类型和数据类型进行数据建模；
步骤M1.2：根据数据贯标体系，分别建立原始库、整编库和整改库；
步骤M1.3：将各训练区数据数据源接入数据采集系统；
步骤M1.4：通过数据采集系统中数据汇聚工具汇聚数据到本级数据中心的原始库；
步骤M1.5：根据数据类型对数据中心原始库中的数据进行分库管理，结构化数据存储在分布式结构化数据库，非结构化数据加载到分布式对象存储中，文本、半结构化数据加载到分布式文件系统。
步骤M2：根据预设的数据贯标检查规则得到数据中心原始库中贯标数据，并将数据中心原始库中的贯标数据清洗至整编库，未贯标数据清洗至整改库；
具体地，所述步骤M2包括：
步骤M2.1：根据实际武器装备试验标准设定数据贯标检查规则；
步骤M2.2：将数据贯标检查规则加载到数据清洗系统中；
步骤M2.3：将汇聚到数据中心原始库的数据通过数据清洗系统进行贯标检查和处理，将数据中心原始库中符合贯标检查规则标准的贯标数据清洗至整编库，将数据中心原始库中不符合标准的未贯标数据清洗至整改库；
步骤M2.4：整编库的数据根据业务需求推送专题数据库，满足业务对试验数据管理要求。
步骤M3：整改库中的数据根据数据贯标检查规则进行检查后形成的数据质量报告，反馈给各训练区并由各训练区进行整改，并重新进行数据贯标；
具体地，所述步骤M3包括：整改库的数据重新根据贯标检查规则进行数据贯标。
步骤M4：将贯标数据进行数据编码，并通过数据分析服务对外提供数据的访问、分析，同时根据数据分析结果与原始数据进行比对，校验数据正确性，形成数据贯标治理闭环；
所述数据中心包括数据中心和预设个训练区；
所述原始库、整编库和整改库是根据数据贯标体系建立的；
所述数据贯标检查规则是将贯标后的数据进行检查的规则，校验数据是否符合数据标准；
所述数据贯标规则是按照试验数据贯标体系进行数据治理的规则，原始数据通过数据贯标规则能够形成符合标准的数据；
所述数据贯标体系根据不同业务制定的体系规范，试验数据贯标体系规范包括试验数据标准、环境数据标准、人员数据标准和/或武器装备标准。
具体地，所述原始库是异构数据集合库，保留了数据的原始格式；
所述整编库是原始库的数据根据数据贯标规则进行治理整编，存放的是经过治理后的标准数据；
所述整改库根据数据贯标规则判断质量有问题的数据，需要根据数据贯标规则重新进行整改。
根据本发明提供的一种基于武器装备试验流程的数据编码贯标检查系统，包括：
模块M1：结合数据中心武器装备试验数据处理流程，依托武器装备试验专网通过数据采集系统将各训练区的数据采集至数据中心原始库；
具体地，所述模块M1包括：
模块M1.1：根据各训练区数据进行初步梳理，根据业务类型和数据类型进行数据建模；
模块M1.2：根据数据贯标体系，分别建立原始库、整编库和整改库；
模块M1.3：将各训练区数据数据源接入数据采集系统；
模块M1.4：通过数据采集系统中数据汇聚工具汇聚数据到本级数据中心的原始库；
模块M1.5：根据数据类型对数据中心原始库中的数据进行分库管理，结构化数据存储在分布式结构化数据库，非结构化数据加载到分布式对象存储中，文本、半结构化数据加载到分布式文件系统。
模块M2：根据预设的数据贯标检查规则得到数据中心原始库中贯标数据，并将数据中心原始库中的贯标数据清洗至整编库，未贯标数据清洗至整改库；
具体地，所述模块M2包括：
模块M2.1：根据实际武器装备试验标准设定数据贯标检查规则；
模块M2.2：将数据贯标检查规则加载到数据清洗系统中；
模块M2.3：将汇聚到数据中心原始库的数据通过数据清洗系统进行贯标检查和处理，将数据中心原始库中符合贯标检查规则标准的贯标数据清洗至整编库，将数据中心原始库中不符合标准的未贯标数据清洗至整改库；
模块M2.4：整编库的数据根据业务需求推送专题数据库，满足业务对试验数据管理要求。
模块M3：整改库中的数据根据数据贯标检查规则进行检查后形成的数据质量报告，反馈给各训练区并由各训练区进行整改，并重新进行数据贯标；
具体地，所述模块M3包括：整改库的数据重新根据贯标检查规则进行数据贯标。
模块M4：将贯标数据进行数据编码，并通过数据分析服务对外提供数据的访问、分析，同时根据数据分析结果与原始数据进行比对，校验数据正确性，形成数据贯标治理闭环；
所述数据中心包括数据中心和预设个训练区；
所述原始库、整编库和整改库是根据数据贯标体系建立的；
所述数据贯标检查规则是将贯标后的数据进行检查的规则，校验数据是否符合数据标准；
所述数据贯标规则是按照试验数据贯标体系进行数据治理的规则，原始数据通过数据贯标规则能够形成符合标准的数据；
所述数据贯标体系根据不同业务制定的体系规范，试验数据贯标体系规范包括试验数据标准、环境数据标准、人员数据标准和/或武器装备标准。
具体地，所述原始库是异构数据集合库，保留了数据的原始格式；
所述整编库是原始库的数据根据数据贯标规则进行治理整编，存放的是经过治理后的标准数据；
所述整改库根据数据贯标规则判断质量有问题的数据，需要根据数据贯标规则重新进行整改。
实施例2
实施例2是实施例1的变化例
如图1所示，基于大数据的数据编码贯标检查系统主要包括结构化数据采集、非结构化数据采集和数据清洗转换等功能。结合数据中心试验数据处理流程，依托试验专网通过数据采集系统将各训练区的数据采集至数据中心原始库。
通过数据清洗转换功能，将原始库中的贯标数据，清洗至整编库，整编库中的数据可用于查询访问、共享挖掘。而未贯标的数据，则被放置在整改库，整改库中的数据可结合数据质量报告，反馈给试验训练区并由试验训练区进行整改。
数据编码贯标检查系统可创建并管理结构化数据的汇聚作业、非结构化数据的汇聚作业、数据清洗转换作业，亦可查看任务告警和日志、监控汇聚和转换通道、统计汇聚和转换数据。
数据采集系统为数据汇聚转换作业提供一系列诸如创建、启动、调度、停止、删除及运行状态监控等支撑。
如图2所示，武器装备试验流程贯标检查方法可分解成为5个阶段，即架构阶段、主数据治理阶段、业务数据治理阶段、分析数据治理阶段、优化治理阶段。每个阶段都包含分析、设计、执行、评估4个基本环节，循环迭代，推动阶段任务的达成。
根据五个的阶段性任务划分，本专利将可以将试验数据治理贯标任务分解成为五个的独立子集，在增强数据治理的可实施性同时，也有利于武器装备试验数据的贯标治理进行整体规划和安排。同时，上述过程框架可根据实际情况和治理目标进行灵活剪裁，以满足不同武器装备治理的不同要求。其中架构阶段和主数据治理阶段是整个试验数据贯标治理的基础，试验数据的贯标治理需要从架构和主数据治理着手进行，而业务数据治理、分析数据治理以及优化治理则可根据需要灵活剪裁。
架构阶段是数据治理的准备阶段。通过前期的数据调研和业务逻辑分析，对实际的试验数据业务进行初步梳理，完成数据贯标治理的整体规划和体系设计。主数据治理、业务数据治理、分析数据治理、优化治理4个阶段只是同一个试验过程不同试验阶段的数据有差别，4个阶段的处理方法并无多大差别，可以采用统一的数据治理框架来进行。主数据治理和业务数据治理阶段首先需要从数据的质量、安全、生命周期三个方面分析、梳理数据缺陷，排查数据漏项、缺项，从而形成治理的阶段性目标和具体的工作计划；其次需要根据试验任务完成数据标准的制定，以及数据模型的设计，包括数据的概念模型、物理模型和逻辑模型，为后续的数据贯标做好准备。然后根据实际业务情况制定数据贯标治理规则，根据数据贯标治理规则依次执行数据抽取、数据清洗、数据转换、数据融合，最终行成能够对外进行共享的数据产品，提高数据价值。
最后，在优化治理阶段从试验的运行情况、数据质量、数据安全、系统性能等方面对数据治理的效果进行评估，为进一步的优化提供支撑，从而使得整个数据贯标治理行成闭环。
根据上述方案中规划的数据贯标方案，武器装备的试验流程数据贯标步骤具体如下：
(1)首先根据各试验区数据进行初步梳理，根据业务类型和数据类型进行数据建模；
(2)根据数据贯标体系，分别建立原始库、整编库、整改库；
(3)将各试验区数据数据源接入采集系统；
(4)通过数据采集系统中数据汇聚工具汇聚数据到本级数据中心的原始库；
(5)根据数据类型对汇聚的数据进行分库管理，结构化数据直接存储在分布式结构化数据库表中。视频、图片等非结构化数据加载到分布式对象存储中。文本、半结构化数据直接加载到分布式文件系统；
(6)根据实际试验标准设定数据贯标检查规则；
(7)加载数据贯标检查规则到数据清洗系统中；
(8)将汇聚到数据中心原始库的数据通过数据清洗系统进行贯标检查和处理
(9)将符合标准(如是否匹配贯标情况等)的数据入库到整编库，非贯标数据入库到整改库中；
(10)整改库的数据重新根据标准要求进行数据贯标，整编库的数据推送专题数据数据库，满足业务对试验数据管理要求；
(11)将数据编目数据通过数据分析服务对外提供数据的访问、分析能力，同时人工进行分析结果与原始数据进行比对，校验数据正确性，行成数据贯标治理闭环。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于武器装备试验流程的数据编码贯标检查方法，其特征在于，包括：
步骤M1：结合数据中心武器装备试验数据处理流程，依托武器装备试验专网通过数据采集系统将各训练区的数据采集至数据中心原始库；
步骤M2：根据预设的数据贯标检查规则得到数据中心原始库中贯标数据，并将数据中心原始库中的贯标数据清洗至整编库，未贯标数据清洗至整改库；
步骤M3：整改库中的数据根据数据贯标检查规则进行检查后形成的数据质量报告，反馈给各训练区并由各训练区进行整改，并重新进行数据贯标；
步骤M4：将贯标数据进行数据编码，并通过数据分析服务对外提供数据的访问、分析，同时根据数据分析结果与原始数据进行比对，校验数据正确性，形成数据贯标治理闭环；
所述数据中心包括数据中心和预设个训练区；
所述原始库、整编库和整改库是根据数据贯标体系建立的；
所述数据贯标检查规则是将贯标后的数据进行检查的规则，校验数据是否符合数据标准；
所述数据贯标规则是按照试验数据贯标体系进行数据治理的规则，原始数据通过数据贯标规则能够形成符合标准的数据；
所述数据贯标体系根据不同业务制定的体系规范，试验数据贯标体系规范包括试验数据标准、环境数据标准、人员数据标准和/或武器装备标准。
2.根据权利要求1所述的基于武器装备试验流程的数据编码贯标检查方法，其特征在于，所述原始库是异构数据集合库，保留了数据的原始格式；
所述整编库是原始库的数据根据数据贯标规则进行治理整编，存放的是经过治理后的标准数据；
所述整改库根据数据贯标规则判断质量有问题的数据，需要根据数据贯标规则重新进行整改。
3.根据权利要求1所述的基于武器装备试验流程的数据编码贯标检查方法，其特征在于，所述步骤M1包括：
步骤M1.1：根据各训练区数据进行初步梳理，根据业务类型和数据类型进行数据建模；
步骤M1.2：根据数据贯标体系，分别建立原始库、整编库和整改库；
步骤M1.3：将各训练区数据数据源接入数据采集系统；
步骤M1.4：通过数据采集系统中数据汇聚工具汇聚数据到本级数据中心的原始库；
步骤M1.5：根据数据类型对数据中心原始库中的数据进行分库管理，结构化数据存储在分布式结构化数据库，非结构化数据加载到分布式对象存储中，文本、半结构化数据加载到分布式文件系统。
4.根据权利要求1所述的基于武器装备试验流程的数据编码贯标检查方法，其特征在于，所述步骤M2包括：
步骤M2.1：根据实际武器装备试验标准设定数据贯标检查规则；
步骤M2.2：将数据贯标检查规则加载到数据清洗系统中；
步骤M2.3：将汇聚到数据中心原始库的数据通过数据清洗系统进行贯标检查和处理，将数据中心原始库中符合贯标检查规则标准的贯标数据清洗至整编库，将数据中心原始库中不符合标准的未贯标数据清洗至整改库；
步骤M2.4：整编库的数据根据业务需求推送专题数据库，满足业务对试验数据管理要求。
5.根据权利要求1所述的基于武器装备试验流程的数据编码贯标检查方法，其特征在于，所述步骤M3包括：整改库的数据重新根据贯标检查规则进行数据贯标。
6.一种基于武器装备试验流程的数据编码贯标检查系统，其特征在于，包括：
模块M1：结合数据中心武器装备试验数据处理流程，依托武器装备试验专网通过数据采集系统将各训练区的数据采集至数据中心原始库；
模块M2：根据预设的数据贯标检查规则得到数据中心原始库中贯标数据，并将数据中心原始库中的贯标数据清洗至整编库，未贯标数据清洗至整改库；
模块M3：整改库中的数据根据数据贯标检查规则进行检查后形成的数据质量报告，反馈给各训练区并由各训练区进行整改，并重新进行数据贯标；
模块M4：将贯标数据进行数据编码，并通过数据分析服务对外提供数据的访问、分析，同时根据数据分析结果与原始数据进行比对，校验数据正确性，形成数据贯标治理闭环；
所述数据中心包括数据中心和预设个训练区；
所述原始库、整编库和整改库是根据数据贯标体系建立的；
所述数据贯标检查规则是将贯标后的数据进行检查的规则，校验数据是否符合数据标准；
所述数据贯标规则是按照试验数据贯标体系进行数据治理的规则，原始数据通过数据贯标规则能够形成符合标准的数据；
所述数据贯标体系根据不同业务制定的体系规范，试验数据贯标体系规范包括试验数据标准、环境数据标准、人员数据标准和/或武器装备标准。
7.根据权利要求6所述的基于武器装备试验流程的数据编码贯标检查系统，其特征在于，所述原始库是异构数据集合库，保留了数据的原始格式；
所述整编库是原始库的数据根据数据贯标规则进行治理整编，存放的是经过治理后的标准数据；
所述整改库根据数据贯标规则判断质量有问题的数据，需要根据数据贯标规则重新进行整改。
8.根据权利要求6所述的基于武器装备试验流程的数据编码贯标检查系统，其特征在于，所述模块M1包括：
模块M1.1：根据各训练区数据进行初步梳理，根据业务类型和数据类型进行数据建模；
模块M1.2：根据数据贯标体系，分别建立原始库、整编库和整改库；
模块M1.3：将各训练区数据数据源接入数据采集系统；
模块M1.4：通过数据采集系统中数据汇聚工具汇聚数据到本级数据中心的原始库；
模块M1.5：根据数据类型对数据中心原始库中的数据进行分库管理，结构化数据存储在分布式结构化数据库，非结构化数据加载到分布式对象存储中，文本、半结构化数据加载到分布式文件系统。
9.根据权利要求6所述的基于武器装备试验流程的数据编码贯标检查系统，其特征在于，所述模块M2包括：
模块M2.1：根据实际武器装备试验标准设定数据贯标检查规则；
模块M2.2：将数据贯标检查规则加载到数据清洗系统中；
模块M2.3：将汇聚到数据中心原始库的数据通过数据清洗系统进行贯标检查和处理，将数据中心原始库中符合贯标检查规则标准的贯标数据清洗至整编库，将数据中心原始库中不符合标准的未贯标数据清洗至整改库；
模块M2.4：整编库的数据根据业务需求推送专题数据库，满足业务对试验数据管理要求。
10.根据权利要求6所述的基于武器装备试验流程的数据编码贯标检查系统 ，其特征在于，所述模块M3包括：整改库的数据重新根据贯标检查规则进行数据贯标。
CN202010549187.6A 2020-06-16 2020-06-16 基于武器装备试验流程的数据编码贯标检查方法及系统 Active CN111797084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010549187.6A CN111797084B (zh) 2020-06-16 2020-06-16 基于武器装备试验流程的数据编码贯标检查方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010549187.6A CN111797084B (zh) 2020-06-16 2020-06-16 基于武器装备试验流程的数据编码贯标检查方法及系统

Publications (2)

Publication Number Publication Date
CN111797084A CN111797084A (zh) 2020-10-20
CN111797084B true CN111797084B (zh) 2022-11-29

Family

ID=72802951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010549187.6A Active CN111797084B (zh) 2020-06-16 2020-06-16 基于武器装备试验流程的数据编码贯标检查方法及系统

Country Status (1)

Country Link
CN (1) CN111797084B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597029A (zh) * 2020-12-26 2021-04-02 中国农业银行股份有限公司 一种规范检查系统、方法、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EA200100875A1 (ru) * 1999-12-08 2002-06-27 Валентин Александрович Мищенко Способ и система для маркировки и идентификации изделий
CN107767924A (zh) * 2017-11-13 2018-03-06 医渡云（北京）技术有限公司 原始数据核对方法、装置、电子设备及存储介质
CN109344148A (zh) * 2018-10-16 2019-02-15 万达信息股份有限公司 一种数据采集管理系统及方法
CN109584980A (zh) * 2018-11-09 2019-04-05 金色熊猫有限公司 数据核验方法及装置、电子设备、存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EA200100875A1 (ru) * 1999-12-08 2002-06-27 Валентин Александрович Мищенко Способ и система для маркировки и идентификации изделий
CN107767924A (zh) * 2017-11-13 2018-03-06 医渡云（北京）技术有限公司 原始数据核对方法、装置、电子设备及存储介质
CN109344148A (zh) * 2018-10-16 2019-02-15 万达信息股份有限公司 一种数据采集管理系统及方法
CN109584980A (zh) * 2018-11-09 2019-04-05 金色熊猫有限公司 数据核验方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
CN111797084A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN101446897B (zh) 基于net体系业务架构平台的资源管理系统
CN114925045B (zh) 大数据集成和管理的PaaS平台
CN104036365A (zh) 一种企业级数据服务平台建设方法
CN112651126A (zh) 一种基于bim的建筑工程施工优化系统、方法、终端及存储介质
CN111176613B (zh) 基于体系结构模型的协同任务自动分解系统
CN110163458A (zh) 基于人工智能技术的数据资产管理与监测方法
CN111538720B (zh) 电力行业基础数据清理的方法及系统
CN117521969B (zh) 一种基于数字孪生的智慧园区运行指数计算系统
CN109559089A (zh) 主平台系统的数据处理方法、装置、设备及存储介质
CN115657890A (zh) 一种pra机器人可定制方法
CN111797084B (zh) 基于武器装备试验流程的数据编码贯标检查方法及系统
CN115169011A (zh) 一种飞机装配大纲的编辑系统及应用系统
Wu et al. An Auxiliary Decision‐Making System for Electric Power Intelligent Customer Service Based on Hadoop
CN114706994A (zh) 一种基于知识库的运维管理系统和方法
CN113592378A (zh) 一种大型复杂设备的bom构建方法及其管理系统
CN113836237A (zh) 对数据库的数据操作进行审计的方法及装置
CN117519656A (zh) 一种基于智能制造的软件开发系统
CN110750582A (zh) 数据处理方法、装置和系统
CN116362443A (zh) 一种企业信息平台的数据治理方法和装置
CN110175776A (zh) 一种设备管理系统
CN113344393B (zh) 一种基于v模型产品研制流程的资源构建方法
Chen et al. Research and Construction of University Data Governance Platform Based on Smart Campus Environment
CN115600856A (zh) 一种事件自动审核和分发的方法、装置、设备及介质
Ye et al. Design and implementation of spacecraft product test data management system
CN113407527B (zh) 一种权限数据的采集方法、管理装置以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant