CN115756889A - 面向航天测控地面站网双数据总线的任务中心架构方法 - Google Patents
面向航天测控地面站网双数据总线的任务中心架构方法 Download PDFInfo
- Publication number
- CN115756889A CN115756889A CN202211444466.1A CN202211444466A CN115756889A CN 115756889 A CN115756889 A CN 115756889A CN 202211444466 A CN202211444466 A CN 202211444466A CN 115756889 A CN115756889 A CN 115756889A
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- service data
- service
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明提供面向航天测控地面站网双数据总线的任务中心架构方法,属于航天遥感应用领域,解决了传统航天业务数据组织和任务架构已无法满足测运控信息系统发展需求的问题;包括对业务数据进行分类定义后,采用高吞吐和高可靠的双数据总线进行传输,通过数据驱动引擎,将业务数据生产为数据产品,选择存储方式后存储,存储方式包括文件归档、数据库存储、高速缓存存储、全文索引存储和大数据存储,对存储的数据产品进行获取,得到对应的业务数据,进行相应的业务操作;本发明将航天测运控信息系统的业务数据进行重新梳理,既能满足海量数据的处理,又可支持核心数据的高可靠、高性能检索的要求,从而保证了航天测运控信息系统的业务能力。
Description
技术领域
本发明属于航天遥感应用技术领域,具体涉及面向航天测控地面站网双数据总线的任务中心架构方法。
背景技术
传统的航天测控地面站网中,测运控信息系统的业务数据传输方式普遍采用TCP/IP协议进行,并使用数据库进行存储。测运控系统中负责业务数据收发的软件在接收到外部的业务数据后,将业务数据存储到关系型数据库中,进行归档。测运控系统中的其他业务软件进行业务处理时,通过读取数据库中的业务数据,从而完成相关业务操作。
近年来,随着航天测控运信息系统的飞速发展,系统的管理范围明显增加,包括设备的种类、范围和数量;同时,系统的业务处理能力、任务调度能力也日益增加,包括任务的数量、复杂性和性能要求。航天测控运信息系统业务的变化和发展,使得其信息系统所要处理的业务数据也发生了很大变化,并逐渐具备如下特征:业务数据规模大,常常面临海量业务数据的7×24小时处理上报的业务要求;关键业务数据的可靠性和实时性要求高,例如需求和计划等业务,因此需要保证业务数据的安全和短时间内对大量业务数据进行业务访问的能力。
传统的业务数据组织及任务架构方法中,对系统的硬件进行升级,对数据库进行扩容的方式也无法满足业务数据处理的量级和使用性能的要求,因此寻求一种新的业务数据处理、传输和使用的架构方法,从而满足航天测运控系统业务的需求,已成为航天遥感应用技术领域亟待解决的问题。
发明内容
本发明针对航天测控地面站网中,测运控信息系统的业务数据特点,提出了业务数据的组织使用架构方法;通过本方法,航天测运控信息系统的业务数据得到重新梳理,既能满足海量业务数据的快速处理,又可支持核心业务数据的高可靠、高性能检索的要求,从而很好的保证了航天测运控信息系统的业务能力。
本发明采用了以下技术方案来实现目的:
面向航天测控地面站网双数据总线的任务中心架构方法,针对航天测运控信息系统业务数据的特点,进行数据治理的架构搭建;方法中,对航天测运控信息系统中涉及的业务数据,进行分类、传输、生产、存储和获取的全生命周期操作,具体包括:
依据业务数据的处置和使用特点,对业务数据进行分类定义,所述业务数据中含有对应的配置信息;
采用双数据总线通道将完成分类定义后的业务数据传输至数据收发软件,所述双数据总线通道包括高可靠数据通道和高吞吐数据通道;
数据收发软件接收到业务数据后,通过数据驱动引擎,将业务数据生产为数据产品,所述数据产品包括核心数据、索引元数据和策略元数据,所述核心数据为业务数据的主体内容信息;
通过数据驱动引擎,依据所述策略元数据,为生产完成后的数据产品选择存储方式,进行存储,所述存储方式包括文件归档、数据库存储、高速缓存存储、全文索引存储和大数据存储;
对完成存储的数据产品进行获取,获取方式包括热点数据产品的查询和历史数据产品的查询;依据数据产品的配置信息,获取数据产品后,得到数据产品对应的业务数据,进行相应的业务操作。
进一步的,进行分类定义后的业务数据,包括核心类业务数据、海量类业务数据和普通类业务数据。
其中,核心类业务数据主要指航天测运控信息系统核心业务关联的业务数据,包括需求数据、任务计划数据、预报数据和申请数据;其主要特点是:需要实时响应,可靠性要求高,数据量适中。
海量类业务数据主要指资源管控系统关联的业务数据,包括设备状态参数数据(原始帧格式数据/键值对数据)和任务执行参数数据;其主要特点是数据量大,需7×24小时实时传输,可靠性要求一般。
普通类业务数据主要指非关键业务软件关联的业务数据,例如值班管理、测试仿真等分系统关联的业务数据,包括报表类数据和仿真类数据;其主要特点是数据量不大,数据内容重要性一般,可靠性要求一般。
进一步的,数据传输过程中,所述核心类业务数据通过所述高可靠数据通道进行传输,所述海量类业务数据和普通类业务数据通过所述高吞吐数据通道进行传输。
进一步的,所述高可靠数据通道包括消息队列和Redis数据库,使用高可靠数据通道传输数据的过程中,通过产出确认和接收确认保证数据传输完成;所述产出确认指:业务数据产出者确认将所述业务数据投递到所述消息队列的操作;所述接收确认指:业务数据消费者确认将所述业务数据从所述消息队列拉取并进行后续处理的操作。
进一步的,所述高吞吐数据通道由Kafka消息队列集群构成,使用高吞吐数据通道传输数据的过程中,业务数据产出者通过指定所述Kafka消息队列的分区,以单独或批量的模式,将业务数据发送至高吞吐数据通道;业务数据消费者通过多线程框架,以并发方式拉取Kafka消息队列各分区中的业务数据,并进行后续处理的操作。
进一步的,业务数据传输完成后,数据产品的生产过程中,所述索引元数据是抽象的业务数据关键字段,所述业务数据关键字段包括:发生时间、来源、类型、大小、关联设备、关联需求、关联任务、关联属性、关联工作计划、协议、人员、位置信息。
进一步的,业务数据传输完成后,数据产品的生产过程中,所述策略元数据是业务数据存储的相关策略,包括文件归档策略、数据库存储策略、高速缓存存储策略、大数据存储策略和全文索引存储策略,其中:
文件归档策略:是指将业务数据存储到磁盘文件系统的策略模式;
数据库存储策略:是指将业务数据存储到数据库系统的策略模式;
高速缓存存储策略:是指将业务数据存储到高速缓存的策略模式;
大数据存储策略:是指将业务数据存储到大数据平台的策略模式;
全文索引存储策略:是指将业务数据索引元数据信息存储到全文索引数据库的策略模式。
综上,数据产品生产的计算公式如下:
Data_Product[Data_Row,MetaData_Index,MetaData_action]=product(RowData,Model)(RowData.dataType)。
进一步的,在数据产品的存储过程中,数据驱动引擎读取数据产品的策略元数据,依次检查文件归档策略、数据库存储策略、高速缓存存储策略、全文索引存储策略和大数据存储策略的使能状态,依次执行使能状态有效的策略对应的存储方式,同时依据对应策略的配置信息,完成数据产品的存储过程。
进一步的,在对数据产品的获取过程中,所述热点数据产品的查询,通过数据驱动引擎,读取已存储的对应数据产品的配置定义,其中最近时间段的核心数据是通过高速缓存存储方式进行存储的;采用热点数据产品查询模式,用户可以通过配置中设置的键的配置信息快速从高速缓存中获取对应的业务数据信息。
进一步的,在对数据产品的获取过程中,所述历史数据产品的查询,包括批量历史数据查询和关联历史数据查询;所述批量历史数据查询的方式,所对应的数据产品的存储方式为数据库存储方式,采用传统的数据库查询模式,按照数据获取方下发的索引信息,在业务数据配置中定义的数据库表中,通过SQL实现数据的检索;所述关联历史数据查询的方式,所对应的数据产品的存储方式为全文索引存储方式,关联历史数据查询是通过全文检索数据库进行查询的模式,通过读取数据获取方下发的检索条件,可以从全文检索数据库中检索和关键字相关的业务数据。
综上所述,由于采用了本技术方案,本发明的有益效果如下:
本发明提供的面向航天测控地面站网双数据总线的任务中心架构方法,着重解决了航天测运控信息系统中业务数据种类繁多、体量大,性能可靠性要求高的问题;通过对业务数据特点的针对性分类方式,并搭配高可靠和高吞吐两种数据传输通道,从而可以更可靠、更快、更有序的实现业务数据的处理,满足航天测运控系统核心业务软件的高效、可靠运行,达到了航天测运控地面信息系统的内在要求,保证了航天业务能力。
附图说明
图1为本发明的架构方法的示意图;
图2为高吞吐数据通道的工作流程示意图;
图3为高可靠数据通道的工作流程示意图;
图4为数据产品生产的工作流程示意图;
图5为数据产品存储的工作流程示意图;
图6为数据产品获取的工作流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以按各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,面向航天测控地面站网双数据总线的任务中心架构方法,针对航天测运控信息系统业务数据的特点,进行数据治理的架构搭建;方法中,对航天测运控信息系统中涉及的业务数据,进行分类、传输、生产、存储和获取的全生命周期操作,具体包括:
依据业务数据的处置和使用特点,对业务数据进行分类定义,业务数据中含有对应的配置信息;
采用双数据总线通道将完成分类定义后的业务数据传输至数据收发软件,双数据总线通道包括高可靠数据通道和高吞吐数据通道;
数据收发软件接收到业务数据后,通过数据驱动引擎,将业务数据生产为数据产品,数据产品包括核心数据、索引元数据和策略元数据,核心数据为业务数据的主体内容信息;
通过数据驱动引擎,依据所述策略元数据,为生产完成后的数据产品选择存储方式,进行存储,存储方式包括文件归档、数据库存储、高速缓存存储、全文索引存储和大数据存储;
对完成存储的数据产品进行获取,获取方式包括热点数据产品的查询和历史数据产品的查询;依据数据产品的配置信息,获取数据产品后,得到数据产品对应的业务数据,进行相应的业务操作。
本实施例将以一次具体的业务数据处理,来对架构方法进行详细说明;
首先,进行分类定义后的业务数据,包括核心类业务数据、海量类业务数据和普通类业务数据。
其中,核心类业务数据主要指航天测运控信息系统核心业务关联的业务数据,包括需求数据、任务计划数据、预报数据和申请数据;其主要特点是:需要实时响应,可靠性要求高,数据量适中。
海量类业务数据主要指资源管控系统关联的业务数据,包括设备状态参数数据(原始帧格式数据/键值对数据)和任务执行参数数据;其主要特点是数据量大,需7×24小时实时传输,可靠性要求一般。
普通类业务数据主要指非关键业务软件关联的业务数据,例如值班管理、测试仿真等分系统关联的业务数据,包括报表类数据和仿真类数据;其主要特点是数据量不大,数据内容重要性一般,可靠性要求一般。
本实施例中,业务数据为XX站XXXX型号设备状态参数数据。该数据按照每秒一帧,7×24小时从设备端上报,归属于海量业务数据类型。从设备端接收到的业务数据是JSON格式的,按照键值的模式存储数据信息,如下所示:
{"HappendTime":"2021-12-28",
"DeviceID":"DNBACKOT2_IFRecv215:44:52.092",
"Station":"XX",
"IFSend2AmpStatus":0,
"IFSend2Current12":12,
"IFSend1AmpStatus":0,
"IFSend1Current12":1,
"IFSend1Current5":3.12,
"IFSend1Vol5":2.3}
接下来进行业务数据的传输,数据传输过程中,核心类业务数据通过高可靠数据通道进行传输,海量类业务数据和普通类业务数据通过高吞吐数据通道进行传输。
可参看图3的示意,高可靠数据通道包括消息队列和Redis数据库,使用高可靠数据通道传输数据的过程中,通过产出确认和接收确认保证数据传输完成。
产出确认指:业务数据产出者确认将业务数据投递到消息队列的操作,业务数据产出者在发送消息前,首先将待发送的业务数据缓存到Redis数据库中;业务数据产出者将消息推送到消息队列,并等待消息队列回应;如果在超时时间内,业务数据产出者没有收到消息队列的回应,则重发业务数据到消息队列,生产确认机制有效保证了业务数据到消息队列的可靠性。
接收确认指:业务数据消费者确认将业务数据从消息队列拉取并进行后续处理的操作,当业务操作成功后,对消息队列发送手动确认消息,完成消息消费。当业务操作失败,业务数据消费者可从消息队列再次拉取业务数据,进行业务处理,若消息队列异常,也可从Redis数据库中获取业务数据,进行业务处理,从而完成业务数据消费的流程。生产确认和消费确认机制有效保证了核心业务数据的可靠传输。
可参看图2的示意,高吞吐数据通道由Kafka消息队列集群构成,使用高吞吐数据通道传输数据的过程中,业务数据产出者通过指定Kafka消息队列的分区,以单独或批量的模式,将业务数据发送至高吞吐数据通道;业务数据接收者通过多线程框架,以并发方式拉取Kafka消息队列各分区中的业务数据,并进行后续处理的操作。
本实施例中,XX站XXXX型号设备状态参数数据通过高吞吐数据通道的Kafka消息队列进行数据传输。数据收发软件接收到业务数据后,选择高吞吐数据通道消息队列的对应分区(XX-XXXX),将数据推送到消息队列。
接下来进行数据产品的生产,可参看图4的示意,业务数据传输完成后,数据产品的生产过程中,索引元数据是抽象的业务数据关键字段,业务数据关键字段包括:发生时间、来源、类型、大小、关联设备、关联需求、关联任务、关联属性、关联工作计划、协议、人员、位置信息。
策略元数据是业务数据存储的相关策略,包括文件归档策略、数据库存储策略、高速缓存存储策略、全文索引存储策略和大数据存储策略,其中:
文件归档策略:是指将业务数据存储到磁盘文件系统的策略模式;
数据库存储策略:是指将业务数据存储到数据库系统的策略模式;
高速缓存存储策略:是指将业务数据存储到高速缓存的策略模式;
大数据存储策略:是指将业务数据存储到大数据平台的策略模式;
全文索引存储策略:是指将业务数据索引元数据信息存储到全文索引数据库的策略模式。
综上,数据产品生产的计算公式如下:
Data_Product[Data_Row,MetaData_Index,MetaData_action]=product(RowData,Model)(RowData.dataType)。
本实施例中,数据驱动引擎根据业务数据XX站XXXX型号设备状态参数的类型,读取其配置文件。XX站XXXX型号设备状态参数的配置信息是按照YAML格式进行编写的,数据产品的配置可参看图1的示意。数据产品的配置包括索引元配置和策略元配置。索引元配置定义了索引选取的字段;策略元配置定义了数据产品后续的存储要求。
数据驱动引擎读取数据产品配置信息,获取业务数据生产的配置信息,即:“Compressed:true”。按照该配置,数据驱动引擎会对业务数据进行压缩,经过压缩后,数据驱动引擎会去除对应的键值,采用Value数组的形式存储,压缩后的业务数据如下所示:
{2021-12-28 15:44:52.092DNBACKOT2_IFRecv2;XX;0;12;0;1;3.12;2.3;}。
数据驱动引擎读取数据产品配置信息,获取索引元数据的配置信息,即:“Fields:DeviceID,HappendTime,Station”。该配置定义了索引组合的字段为设备ID、发生时间和站点信息。根据该配置,系统将原始的业务数据对应键值的值提取出来,生成索引元数据的索引信息,如下所示:
{"DeviceID":"DNBACKOT2_IFRecv2",
"HappendTime":"2021-12-28 15:44:52.092",
"Station":"XX",}
数据驱动引擎读取数据产品配置信息,复制策略元数据的配置信息,并读取原始的业务数据中关键字段,生成策略元数据,如下所示:
Storage:
FileMode:
Enabled:true
Pattern:${Root_PATH}/RESMCS/XX-XXXX-DNBACKOT2_IFRecv2-{yyyy-MM-dd}.log
MySQLMode:
Enabled:true
Schema:ZYGK_RESMCS
Table:TB_ZYGK_RESMCS_XX-XXXX-DNBACKOT2_IFRecv2
FullIndexMode:
Enabled:true
Publish:
Enabled:true
ExpireDate:100000
FixKey:RESMCS_XX-XXXX-DNBACKOT2_IFRecv2
接下来进行数据产品的存储过程,可参看图5的示意,在数据产品的存储过程中,数据驱动引擎读取数据产品的策略元数据,依次检查文件归档策略、数据库存储策略、高速缓存存储策略、大数据存储策略和全文索引存储策略的使能状态,依次执行使能状态有效的策略对应的存储方式,同时依据对应策略的配置信息,完成数据产品的存储过程。
具体检查使能状态过程为:首先,数据驱动引擎读取文件存储的配置,如果确定为使能,则按照配置定义的文件名将业务数据存储到文件系统中,并更新索引元数据中的位置信息;其次,数据驱动引擎读取数据库存储的配置,如果确定为使能,则按照数据库、数据表的定义自动生成SQL脚本,将业务数据插入到对应数据库表中,并更新索引元数据中的位置信息;再次,数据驱动引擎读取高速缓存存储的配置,如果确定为使能,则按照键、超期时间的设置将业务数据插入到高速缓存中,并更新索引元数据中的位置信息;而后,数据驱动引擎读取大数据存储的相关配置信息,如果确定为使能,则按照大数据对应的地址,存储业务数据到大数据系统中;最后,数据驱动引擎读取全文索引的配置信息,如果确定为使能,则将更新后的索引元数据存储到全文索引数据库中,从而,完成数据产品的存储过程。
本实施例中,数据驱动引擎读取数据产品的策略元数据信息,完成数据产品的存储功能。对于XX站XXXX型号设备状态参数业务数据产品,数据产品的存储包括:文件存储、数据库存储、全文索引存储、大数据存储四种方式。
文件存储是将业务数据存储在文件系统中,进行归档的过程。数据驱动引擎读取数据产品中策略元数据中文件存储的策略,将数据产品中业务数据按照存储策略进行存储。数据产品中,策略元数据关于文件存储的策略如下所示:
FileMode:
Enabled:true
Pattern:${Root_PATH}/RESMCS/XX-XXXX-DNBACKOT2_IFRecv2-{yyyy-MM-dd}.log
其中,配置信息Enabled选项,明确需要进行文件存储;Pattern选项,确认存储的文件名的规范。
数据产品中,业务数据如下所示:
{2021-12-28 15:44:52.092DNBACKOT2_IFRecv2;XX;0;12;0;1;3.12;2.3;}
文件存储完成后,最终落盘的文件位置如下所示:
/DataRoot/RESMCS/XX-XXXX-DNBACKOT2_IFRecv2-2021-12-28.log
文件的内容如下所示:(最后一行为本次新增)
2021-12-28 15:44:49.062DNBACKOT2_IFRecv2;XX;0;12;0;1;2.12;2.2;
2021-12-28 15:44:50.042DNBACKOT2_IFRecv2;XX;0;12;0;0;3.3;2.3;
2021-12-28 15:44:51.052DNBACKOT2_IFRecv2;XX;0;12;0;1;2.14;2.3;
2021-12-28 15:44:52.092DNBACKOT2_IFRecv2;XX;0;12;0;1;3.12;2.3;
文件存储完成后,同时将业务数据的存储位置信息更新到索引元数据中,更新后的索引元数据如下所示:
数据库存储是指将业务数据存储在数据库中,进行保存的过程。数据驱动引擎读取数据产品中策略元数据中数据库存储的策略,将数据产品中业务数据按照存储策略进行存储。数据产品中,策略元数据关于数据库存储的策略如下所示:
MySQLMode:
Enabled:true
Schema:ZYGK_RESMCS
Table:TB_ZYGK_RESMCS_XX-XXXX-DNBACKOT2_IFRecv2
其中,配置信息Enabled配置,确定需进行数据库存储;Schema配置,确定业务数据存储的数据库;Table配置,确定业务数据存储的数据表。数据产品中的业务数据如下所示:
{2021-12-28 15:44:52.092DNBACKOT2_IFRecv2;XX;0;12;0;1;3.12;2.3;}
数据驱动引擎根据读取业务数据字段,自动实现数据库SQL的拼接,并插入到数据库中,如下表1所示(最后一行为本次新增):
表1
数据库存储完成后,数据驱动引擎将业务数据的存储位置信息更新到索引元数据中,更新后的索引元数据如下所示:
高速缓存存储是指将业务数据的热点数据存储到高速缓存数据库中,策略元数据文件中关于高速缓存的配置如下所示:
Redis:
Enabled:true
ExpireDate:100000
FixKey:RESMCS_XX-XXXX-DNBACKOT2_IFRecv2_XX
其中,配置信息Enabled选项,明确需要进行数据产品发布;ExpireDate定义了数据产品的失效时间;FixKey定义了数据产品存储的键值。
数据驱动引擎将数据产品按照上述配置定义,存储到Redis的高速缓存中,如下所示:
键:RESMCS_XX-XXXX-DNBACKOT2_IFRecv2_52
值:{"HappendTime":"2021-12-28",
"DeviceID":"DNBACKOT2_IFRecv215:44:52.092",
"Station":"XX",
"IFSend2AmpStatus":0,
"IFSend2Current12":12,
"IFSend1AmpStatus":0,
"IFSend1Current12":1,
"IFSend1Current5":3.12,
"IFSend1Vol5":2.3}
全文索引是指将业务数据的索引元数据存储在全文检索数据库中。数据驱动引擎读取数据产品中策略元数据中全文检索存储的策略,将数据产品中业务数据按照存储策略进行存储。数据产品中,策略元数据关于全文检索存储的策略如下所示:
FullIndexMode:
Enabled:true
其中,配置信息Enabled配置,确定需进行全文存储;数据产品中,索引元数据如下所示:
数据驱动引擎将索引存储到全文索引数据库中,其中索引ID为当期日期加工作流水号,如下所示:
接下来进行数据产品的获取,可参看图6的示意;在对数据产品的获取过程中,热点数据产品的查询,通过数据驱动引擎,读取已存储的对应数据产品的配置定义,其中最近时间段的核心数据是通过高速缓存存储方式进行存储的;采用热点数据产品查询模式,用户可以通过配置中设置的键的配置信息快速从高速缓存中获取对应的业务数据信息。
历史数据产品的查询,包括批量历史数据查询和关联历史数据查询;批量历史数据查询的方式,所对应的数据产品的存储方式为数据库存储方式,采用传统的数据库查询模式,按照数据获取方下发的索引信息,在业务数据配置中定义的数据库表中,通过SQL实现数据的检索;关联历史数据查询的方式,所对应的数据产品的存储方式为全文索引存储方式,关联历史数据查询是通过全文检索数据库进行查询的模式,通过读取数据获取方下发的检索条件,可以从全文检索数据库中检索和关键字相关的业务数据。
本实施例中,XX站XXXX型号设备状态参数数据可用于三类数据获取场景。具体为:通过高速缓存数据库获取热点数据、通过数据库批量查询历史业务数据、通过全文检索数据库查询关联历史业务数据。
通过高速缓存数据库获取热点数据主要用于设备状态参数的实时展示,前端浏览器将需要展示的信息的索引,按照JSON协议的格式发送给数据获取服务,具体如下所示:
数据获取服务读取业务数据配置信息和前端传过来的索引参数,设备状态参数只保留1分钟的热点数据,得到高速缓存数据库的键为分系统、站点、型号、设备ID和秒的组合,如下所示:
RESMCS_XX-XXXX-DNBACKOT2_IFRecv2_52
从高速缓存获得的数据内容如下所示:
通过数据库的方式批量查询历史业务数据的模式的主要用于历史设备状态数据的查询,前端浏览器将需要展示的信息的索引,按照JSON协议的格式发送给数据获取服务,具体如下所示:
数据获取服务根据配置,从数据库表
ZYGK_RESMCS.TB_ZYGK_RESMCS_XX-XXXX-DNBACKOT2_IFRecv2中,通过SQL进行查询,获取对应的记录,如下表2所示:
表2
通过全文检索数据库查询关联历史业务数据的模式主要用于查询关联关系的业务数据,本实例中,可以检查设备DNBACKOT2_IFRecv2的参数IFSend1Current5范围在3.12到3.14内的相关记录,具体的检索语句如下所示:
获取的结果如下:
综上,通过本实施例对具体业务数据的治理过程,所形成的航天测运控信息系统双数据总线的任务架构方法,着重解决了航天测运控信息系统中业务数据种类繁多、体量大,性能可靠性要求高的问题。
Claims (10)
1.面向航天测控地面站网双数据总线的任务中心架构方法,其特征在于:对航天测运控信息系统中涉及的业务数据,进行分类、传输、生产、存储和获取的全生命周期操作,具体包括:
依据业务数据的处置和使用特点,对业务数据进行分类定义,所述业务数据中含有对应的配置信息;
采用双数据总线通道将完成分类定义后的业务数据传输至数据收发软件,所述双数据总线通道包括高可靠数据通道和高吞吐数据通道;
数据收发软件接收到业务数据后,通过数据驱动引擎,将业务数据生产为数据产品,所述数据产品包括核心数据、索引元数据和策略元数据,所述核心数据为业务数据的主体内容信息;
通过数据驱动引擎,依据所述策略元数据,为生产完成后的数据产品选择存储方式,进行存储,所述存储方式包括文件归档、数据库存储、高速缓存存储、全文索引存储和大数据存储;
对完成存储的数据产品进行获取,获取方式包括热点数据产品的查询和历史数据产品的查询;依据数据产品的配置信息,获取数据产品后,得到数据产品对应的业务数据,进行相应的业务操作。
2.根据权利要求1所述的面向航天测控地面站网双数据总线的任务中心架构方法,其特征在于:进行分类定义后的业务数据,包括核心类业务数据、海量类业务数据和普通类业务数据;所述核心类业务数据包括需求数据、任务计划数据、预报数据和申请数据,所述海量类业务数据包括设备状态参数数据和任务执行参数数据,所述普通类业务数据包括报表类数据和仿真类数据。
3.根据权利要求2所述的面向航天测控地面站网双数据总线的任务中心架构方法,其特征在于:数据传输过程中,所述核心类业务数据通过所述高可靠数据通道进行传输,所述海量类业务数据和普通类业务数据通过所述高吞吐数据通道进行传输。
4.根据权利要求3所述的面向航天测控地面站网双数据总线的任务中心架构方法,其特征在于:所述高可靠数据通道包括消息队列和Redis数据库,使用高可靠数据通道传输数据的过程中,通过产出确认和接收确认保证数据传输完成;所述产出确认指:业务数据产出者确认将所述业务数据投递到所述消息队列的操作;所述接收确认指:业务数据消费者确认将所述业务数据从所述消息队列拉取并进行后续处理的操作。
5.根据权利要求3所述的面向航天测控地面站网双数据总线的任务中心架构方法,其特征在于:所述高吞吐数据通道由Kafka消息队列集群构成,使用高吞吐数据通道传输数据的过程中,业务数据产出者通过指定所述Kafka消息队列的分区,以单独或批量的模式,将业务数据发送至高吞吐数据通道;业务数据消费者通过多线程框架,以并发方式拉取Kafka消息队列各分区中的业务数据,并进行后续处理的操作。
6.根据权利要求1所述的面向航天测控地面站网双数据总线的任务中心架构方法,其特征在于:业务数据传输完成后,数据产品的生产过程中,所述索引元数据是抽象的业务数据关键字段,所述业务数据关键字段包括:发生时间、来源、类型、大小、关联设备、关联需求、关联任务、关联属性、关联工作计划、协议、人员、位置信息。
7.根据权利要求1所述的面向航天测控地面站网双数据总线的任务中心架构方法,其特征在于:业务数据传输完成后,数据产品的生产过程中,所述策略元数据是业务数据存储的相关策略,包括文件归档策略、数据库存储策略、高速缓存存储策略、大数据存储策略和全文索引存储策略。
8.根据权利要求7所述的面向航天测控地面站网双数据总线的任务中心架构方法,其特征在于:在数据产品的存储过程中,数据驱动引擎读取数据产品的策略元数据,依次检查文件归档策略、数据库存储策略、高速缓存存储策略、大数据存储策略和全文索引存储策略的使能状态,依次执行使能状态有效的策略对应的存储方式,同时依据对应策略的配置信息,完成数据产品的存储过程。
9.根据权利要求1所述的面向航天测控地面站网双数据总线的任务中心架构方法,其特征在于:在对数据产品的获取过程中,所述热点数据产品的查询,通过数据驱动引擎,读取已存储的对应数据产品的配置定义,其中最近时间段的核心数据是通过高速缓存存储方式进行存储的。
10.根据权利要求9所述的面向航天测控地面站网双数据总线的任务中心架构方法,其特征在于:在对数据产品的获取过程中,所述历史数据产品的查询,包括批量历史数据查询和关联历史数据查询;所述批量历史数据查询的方式,所对应的数据产品的存储方式为数据库存储方式;所述关联历史数据查询的方式,所对应的数据产品的存储方式为全文索引存储方式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211444466.1A CN115756889A (zh) | 2022-11-18 | 2022-11-18 | 面向航天测控地面站网双数据总线的任务中心架构方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211444466.1A CN115756889A (zh) | 2022-11-18 | 2022-11-18 | 面向航天测控地面站网双数据总线的任务中心架构方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115756889A true CN115756889A (zh) | 2023-03-07 |
Family
ID=85373211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211444466.1A Pending CN115756889A (zh) | 2022-11-18 | 2022-11-18 | 面向航天测控地面站网双数据总线的任务中心架构方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115756889A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117194549A (zh) * | 2023-11-07 | 2023-12-08 | 上海柯林布瑞信息技术有限公司 | 基于任务数据配置的数据传输方法及装置 |
-
2022
- 2022-11-18 CN CN202211444466.1A patent/CN115756889A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117194549A (zh) * | 2023-11-07 | 2023-12-08 | 上海柯林布瑞信息技术有限公司 | 基于任务数据配置的数据传输方法及装置 |
CN117194549B (zh) * | 2023-11-07 | 2024-01-26 | 上海柯林布瑞信息技术有限公司 | 基于任务数据配置的数据传输方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108197237B (zh) | 可视化数据采集到展现系统 | |
CN109408337B (zh) | 一种接口运维的方法及装置 | |
JP3884821B2 (ja) | 分散情報の統合方法及び装置 | |
CN105446991B (zh) | 数据存储方法、查询方法及设备 | |
CN101901242A (zh) | 联合的配置数据管理 | |
CN106598992A (zh) | 数据库的操作方法及装置 | |
CN104584524A (zh) | 聚合中介系统中的数据 | |
CN111552885B (zh) | 实现自动化实时消息推送运营的系统及其方法 | |
CN110457371A (zh) | 数据管理方法、装置、存储介质及系统 | |
CN115756889A (zh) | 面向航天测控地面站网双数据总线的任务中心架构方法 | |
CN113849483A (zh) | 一种用于智能工厂的实时数据库系统架构 | |
CN108369550B (zh) | 实时更改来自不同源的数据 | |
CN110706800A (zh) | 设备维修自动管理方法、装置、计算机设备及存储介质 | |
CN115794929B (zh) | 数据集市的数据管理系统和数据管理方法 | |
CN110502692A (zh) | 基于搜索引擎的信息检索方法、装置、设备和存储介质 | |
US20050096774A1 (en) | System and method for integrating transactional and real-time manufacturing data | |
CN112131228B (zh) | 一种基于fabric的便于数据检索的联盟链系统 | |
CN115984022B (zh) | 分布式支付系统统一对账方法和装置 | |
CN110689246A (zh) | 医疗设备维修管理方法、装置、计算机设备及存储介质 | |
CN115481026A (zh) | 测试案例的生成方法、装置、计算机设备、存储介质 | |
CN114996104A (zh) | 一种数据处理方法和装置 | |
CN114297211A (zh) | 一种数据在线分析系统、方法、设备及存储介质 | |
CN113342865A (zh) | 一种报销单审批查询方法和系统 | |
CN110515955A (zh) | 数据的存储、查询方法、系统、电子设备和存储介质 | |
CN110689326A (zh) | 一种供应商信息审核推荐方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |