CN113486095A - 一种民航空管跨网安全数据交换管理平台 - Google Patents
一种民航空管跨网安全数据交换管理平台 Download PDFInfo
- Publication number
- CN113486095A CN113486095A CN202010540826.2A CN202010540826A CN113486095A CN 113486095 A CN113486095 A CN 113486095A CN 202010540826 A CN202010540826 A CN 202010540826A CN 113486095 A CN113486095 A CN 113486095A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- exchange
- interface
- platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 231100000279 safety data Toxicity 0.000 title claims abstract description 14
- 238000012544 monitoring process Methods 0.000 claims abstract description 53
- 238000007689 inspection Methods 0.000 claims abstract description 52
- 238000007726 management method Methods 0.000 claims abstract description 36
- 238000013523 data management Methods 0.000 claims abstract description 22
- 238000013500 data storage Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims abstract description 7
- 238000013515 script Methods 0.000 claims description 25
- 230000002688 persistence Effects 0.000 claims description 23
- 230000000694 effects Effects 0.000 claims description 11
- 230000002085 persistent effect Effects 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 23
- 230000003287 optical effect Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000002955 isolation Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 235000019580 granularity Nutrition 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开一种民航空管跨网安全数据交换管理平台，包括交换数据处理子系统、交换数据展示子系统、自监控子系统和外部接口子系统；交换数据处理子系统包括交换数据采集模块、交换数据存储模块、交换日志记录模块和统计汇总模块；交换数据展示子系统包括交换数据查询/导出/下载模块和统计报表查询模块；自监控子系统包括监控数据管理模块、巡检数据管理模块和监控展示模块；外部接口子系统包括协议实现模块、权限检查模块、数据检索模块和数据存储模块。通过跨网数据安全交换对相互独立的数据信息进行整合，统一管理，并建立合理的更新机制，避免重复录入，保证数据的一致性、实时性、安全性。
Description
技术领域
本申请涉及网络安全技术领域，尤其涉及一种民航空管跨网安全数据交换管理平台。
背景技术
随着企业数字化转型的逐步深入，企业越来越重视核心数据资产的保护。绝大多数企业为了防止内部核心数据泄露，都实施了内外网隔离，甚至在内部网络中又划分出了研发网、办公网、生产网等。对网络进行隔离，大大提升了网络整体安全水平。
但同时，在专业化分工协作的今天，企业越来越多地需要与外部客户、合作伙伴等进行数据交换，网络隔离成为企业对外高效协作的一大障碍。
于是，能够在不同网络区域进行单向数据传输的解决方案应运而生，归纳起来大概有这几类：物理单向技术，电气单向技术，光单向技术。
具体举例说明如下：
1、移动硬盘拷贝、光盘摆渡机，属于物理单向技术。
移动硬件拷贝是最传统、最朴素的方式，通过人工利用移动硬盘，将一个网络中的数据拷出，然后导入另一个网络，移动硬件拷贝无法自动化，传输数据频度势必不能太高。容易出现数据出错、被篡改等问题，而且容易感染病毒，没有审批功能，不能确保数据是否合规，没有日志记录，不能进行追溯，难以进行数据集中管控。
光盘摆渡机相当于把人工移动硬盘拷贝的方式自动化，通过机械手臂，实现光盘在两个网络的专有服务器之间的传送，用完的光盘，被丢弃到垃圾箱。光盘摆渡机效率依然比较低，机械手臂容易产生机械故障，当传输的频次较高时，耗材消耗严重。
2、单机双网卡、网闸，属于电气单向技术。
单机双网卡相当于在一台电脑上，通过两个网卡设置合适的路由，使他们分别连接到两个不同的网络，数据在这个服务器上进行中转。单机双网卡并非严格的隔离，不适用于对安全性要求较高的环境。
网闸全称安全隔离网闸，使用带有多种控制功能的固态开关读写介质连接两个独立主机系统的信息安全设备，在电路上切断网络之间的链路层连接，并能够在网络间进行安全适度的应用数据交换的网络安全设备。
3、光闸，属于光单向技术。单向隔离光闸通常由三部分组成：内网单元、外网单元、分光单向传输单元。其中内网单元和内网相连，外网单元与外网相连，分光单向传输单元是内外网之间唯一且安全的数据传输通道。
但是单向隔离网闸和光闸虽然解决了效率问题，但文件交换无法跟踪到人，没有审批功能，不能有效的进行集中数据管控，也无法进行集中的数据展示。
发明内容
本申请提供了一种民航空管跨网安全数据交换管理平台，包括交换数据处理子系统、交换数据展示子系统、自监控子系统和外部接口子系统；
交换数据处理子系统包括交换数据采集模块、交换数据存储模块、交换日志记录模块和统计汇总模块；
交换数据采集模块用于进行库表数据采集和文件数据采集；交换数据存储模块用于将采集来的数据进行存储和加工；交换日志记录模块用于记录各类数据采集、交换情况以及用户查询、下载和外部系统的访问情况的过程中的动作日志；统计汇总模块用于基于数据交换日志，生成时、日、周、月、年的不同时间维度的统计数据，生成报表；
交换数据展示子系统包括交换数据查询/导出/下载模块和统计报表查询模块；
交换数据查询/导出/下载模块，用于提供查询/导出/下载界面，能够提供按照分类或条件查询交换数据的功能；统计报表查询模块，用于对数据库中的数据和生成的统计报表进行查询；
自监控子系统包括监控数据管理模块、巡检数据管理模块和监控展示模块；
监控数据管理模块用于收取监控数据，对监控数据进行持久化，将持久化监控数据经持久化数据检索接口发送至监控展示模块进行大屏展示；巡检数据管理模块用于收取巡检数据，对巡检数据进行持久化，将持久化巡检数据经巡检数据检索接口发送至巡检数据展示或发送至监控展示模块进行大屏展示；
外部接口子系统包括协议实现模块、权限检查模块、数据检索模块和数据存储模块；
协议实现模块用于对外实现网络服务协议；权限检查模块用于校验接口调用者的身份，是否有权检索或者有权上传数据；数据检索模块用于为调用者准备符合条件的数据；数据存储模块用于将调用者提交的数据进行存储，供其它用户下载。
如上所述的民航空管跨网安全数据交换管理平台，其中，库表数据采集通过通过jdbc协议，从数据库表中采集原始的待交换数据；具体为数据交换平台初始化连接池，连接源表，获取内部记录集，根据关键词逐条执行判重操作，将新增数据插入目标表，清理冗余数据，生成统计表。
如上所述的民航空管跨网安全数据交换管理平台，其中，文件数据采集通过rsync机制，从文件系统上采集原始的待交换数据；具体为数据交换平台周期性启动rsync服务、定时同步任务，rsync客户端将增量的文件类待交换数据上传至rsync服务器生成日志，数据交换平台周期性的分析日志，同步统计数据入库。
如上所述的民航空管跨网安全数据交换管理平台，其中，交换数据查询/导出/下载模块包括库表的查询与导出；
库表的查询与导出具体为根据界面指定的条件，从相应数据库表中查询符合条件的交换数据；具体为用户向查询模块发送选择数据种类指示，返回默认记录集，用户录入查询条件，从数据库中检索结果集并返回用户，将结果集导出；若用户继续查询，则计算导出的总条数，提示用户条数，询问用户是否需要下载，若需要下载则生成统计数据。
如上所述的民航空管跨网安全数据交换管理平台，其中，交换数据查询/导出/下载模块包括文件的浏览与下载；
文件的浏览与下载具体为通过rsync同步到服务器上的文件目录，为用户提供界面，可浏览其目录结构、文件列表，并下载需要的文件；具体为用户向查询模块发送选择数据种类指示，查询模块从文件系统中获取目录结构，用户录入查询条件，则查询模块从文件系统获取文件列表以文件包形式下载；若用户继续查询，则计算下载文件大小，提示用户文件熟练与尺寸，询问用户是否需要下载，若需要下载则生成统计数据。
如上所述的民航空管跨网安全数据交换管理平台，其中，监控数据管理模块具体用于对数据交换系统的内部工作流程进行监控，以便掌握系统运行情况，以便在发生数据异常时及时发现、及时解决；
巡检数据管理模块具体用于数据交换系统各节点的周期性检查，包括监控与交换系统相关的各节点，即主机、数据库、网闸、网络设备的运行情况。
如上所述的民航空管跨网安全数据交换管理平台，其中，巡检数据的目录结构包括主控配置文件，主控配置文件的基本格式为：key＝value#表示注释；使用中括号+ip方式定义章节，当一套巡检脚本要部署到多个服务器上的时候，在配置文件中为每个服务器定义一个章节，存放该服务器的个性化配置，其中第一个章节之前的配置属于公共配置。
巡检数据的目录结构包括主控脚本，主控脚本是一个执行框架，负责根据配置，调度具体的巡检脚本实现巡检功能，然后统一将巡检脚本产生的巡检结果发给调度平台，主控脚本根据主控配置项决定执行对应的巡检科目。
如上所述的民航空管跨网安全数据交换管理平台，其中，数据持久化由持久化平台执行，持久化平台包括一个redis服务和多个持久化服务模块，提供两种接口方式来接收数据，包括webservice接口和PUB/SUB接口；
当使用接收数据接口为PUB/SUB接口时，使用PUB/SUB接口发送数据，只需要连接redis，并将数据发布到特定的主体上；
当使用接收数据接口为webservice接口时，直接向特定持久化服务模块发送数据。
如上所述的民航空管跨网安全数据交换管理平台，其中，所述数据交换系统具有界面可视化功能，通过基于web界面集成平台的仪表板进行数据展示，使用者利用仪表板的内置组件来做数据展示、以及利用仪表板的布局能力将多种信息整合到一个界面上展示，或者基于一定的规范开发适当的业务组件，实现其他更强大功能。
如上所述的民航空管跨网安全数据交换管理平台，其中，仪表板的解析方法为：仪表板集成平台服务器分析来自用户对仪表板的请求，向浏览器返回仪表板基本信息、组件配置、布局信息；浏览器判断是否有个性扩展，如果是，则加载个性扩展，否则给仪表板管理器以指示；加载完个性扩展之后，浏览器判断是否有仪表板预加载事件，如果有则执行预加载再给仪表板管理器以指示，否则给仪表板管理器以指示；其中，仪表板管理器接收到浏览器指示后，创建仪表板容器、创建组件区域区分组件标题栏和内容区、创建组件对象，判断是否有组件个性扩展，如果有执行扩展则先执行扩展然后再进行组件初始化、设置组件个性外观、设置仪表板外观、执行仪表板和组件自适应操作，最终得到仪表板界面效果。
本申请实现的有益效果如下：本系统将分散在用户业务网中的数据资源，通过请求服务、授权访问、数据交换等方式来进行业务信息资源共享和处理，为用户内部部门之间甚至行业以外用户之间的跨网信息交换，探索新的网络边界防护和信息交换探索新的方式。通过跨网数据安全交换对相互独立的数据信息进行整合，统一管理，并建立合理的更新机制，避免重复录入，保证数据的一致性、实时性、安全性，从而成为支撑相关单位众多应用所共享的数据资源，降低了各单位运行信息资源管理成本，扩展信息化业务应用，提高信息化应用水平。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的一种民航空管跨网安全数据交换管理平台示意图；
图2是交换数据采集模块示意图；
图3和图4是库表同步时序图和活动图；
图5和图6是文件同步时序图和活动图；
图7和图8是库表查询与导出时序图和活动图；
图9和图10是文件浏览与下载时序图和活动图；
图11是监控数据管理模块示意图；
图12是持久化平台示意图；
图13是持久化平台接口扩展示意图；
图14是持久化平台运行时示意图；
图15是外部接口子系统示意图；
图16是数据交换系统中的各子系统之间通信示意图；
图17是仪表板的解析流程示意图。
具体实施方式
下面结和本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本申请实施例一提供一种民航空管跨网安全数据交换管理平台，如图1所示，包括：数据交换平台、内部应用区、外部接入链路和接入对象；数据交换平台包括路由接入区、边界防护区、应用服务器、安全隔离区和安全检测与管理区；由内部应用区运行核心业务系统，接入对象通过外部接入链路接入数据交换平台，其中接入对象上传的数据均将保存在内部应用区的服务器上，供用户使用；外部接入链路包括有VPN接入和专线接入等。
本申请实施例中，图1所涉及到的各类隔离、安全监测、单向传输与接入设备，均采用成熟可靠的硬件产品，以下重点从软件角度介绍数据交换系统：
数据交换系统包括交换数据处理子系统、交换数据展示子系统、自监控子系统和外部接口子系统；
(1)交换数据处理子系统包括交换数据采集模块、交换数据存储模块、交换日志记录模块和统计汇总模块；
如图2所示，交换数据采集模块包括库表数据采集和文件数据采集；其中库表数据采集通过jdbc协议，从数据库表中采集原始的待交换数据；
待交换数据包括航空电报、机场气象、机场信息、机场基本信息、航空公司数据、航路数据、航路点数据、卫星云图、天气警报等数据；其中卫星云图和天气警报通过文件方式采集，其它采用数据库表方式采集；
具体地，库表数据采集具体为从配置指定的数据库表中获取数据，以增量的方式导入配置指定的另一个库表；如图3和图4所示，图3为库表同步时序图，图4为活动图，数据交换平台初始化连接池，连接源表(源表数据库可通过网络访问)，获取内部记录集，逐条执行判重操作(被交换的库表设置有关键词key进行识别排重)，将新增数据插入目标表(目标数据库为数据交换平台建立只读账号)，清理冗余数据，生成统计表；
文件数据采集通过rsync机制，从文件系统上采集原始的待交换数据；具体为使用rsync协议，将前置机(包括rsync客户端和rsync服务器，前置机开放调度任务配置权限)上的文件类待交换数据，通过开放的rsync协议端口以增量的方式同步到数据交换平台；如图5和图6所示，图5为文件同步时序图，图6为活动图，数据交换平台周期性启动同步(启动rsync服务、启动定时同步任务)，rsync客户端将增量的文件类待交换数据上传至rsync服务器生成日志，数据交换平台周期性的分析日志，同步统计数据入库。
交换数据存储模块，用于将采集来的数据进行存储和加工；
交换日志记录模块，用于记录各类数据采集、交换情况以及用户查询、下载和外部系统的访问情况的过程中的动作日志；
统计汇总模块，用于基于数据交换日志，生成时、日、周、月、年的不同时间维度的统计数据，生成报表；
下表1为数据库同步日志记录信息，表2为文件同步日志记录信息：
表1
表2
本申请实施例中，数据库同步日志由数据同步作业执行时插入；文件同步日志通过配置rsync日志作业，定时从同步日志中抽取后入库；访问日志在数据查询界面的后台逻辑中，通过调用操作日志接口入库；通过配置多个粒度的作业，周期性对访问日志和同步日志进行汇总，本申请采用的粒度作业如下表3所示：
表3
(2)交换数据展示子系统包括交换数据查询/导出/下载模块和统计报表查询模块；
具体地，交换数据查询/导出/下载模块，用于提供查询/导出/下载界面，能够提供按照分类或条件查询交换数据的功能；交换数据查询/导出/下载模块包括库表的查询与导出，以及文件的浏览与下载；
其中，库表的查询与导出具体为根据界面指定的条件，从相应数据库表中查询符合条件的交换数据；如图7和图8所示，图7为库表查询与导出时序图，图8为活动图，用户向查询模块发送选择数据种类指示，返回默认记录集，用户录入查询条件，从数据库中检索结果集并返回用户，将结果集导出；若用户继续查询，则计算导出的总条数，提示用户条数，询问用户是否需要下载，若需要下载则生成统计数据。
文件的浏览与下载具体为通过rsync同步到服务器上的文件目录，为用户提供界面，可浏览其目录结构、文件列表，并下载需要的文件；如图9和图10所示，图9为文件浏览与下载时序图，图10为活动图，用户向查询模块发送选择数据种类指示，查询模块从文件系统中获取目录结构，用户录入查询条件，则查询模块从文件系统获取文件列表以文件包形式下载；若用户继续查询，则计算下载文件大小，提示用户文件熟练与尺寸，询问用户是否需要下载，若需要下载则生成统计数据。
统计报表查询模块，用于对数据库中的数据和生成的统计报表进行查询；当预置的日、月、年报表不足以满足统计需求时，可使用自定义查询功能，查询具体时段的，具体类型的统计数据。
(3)自监控子系统包括监控数据管理模块、巡检数据管理模块和监控展示UI模块；自监控子系统将利用基础平台包含的监控数据和巡检数据管理两个能力，并通过优化基础平台中包含的仪表板管理功能，告警管理功能和拓扑图组件，共同形成自监控数据的收取、存储、分析、展示。
如图11所示，监控数据管理模块用于收取监控数据，包括对数据交换系统的内部工作流程进行监控，以便掌握系统运行情况，以便在发生数据异常时及时发现、及时解决；实时处理数据同步流程中生成的自监控数据，对监控数据进行持久化，将持久化监控数据经持久化数据检索接口发送至监控展示UI进行大屏展示；
巡检数据管理模块用于收取巡检数据，巡检数据主要用于数据交换系统各节点的周期性检查，包括监控与交换系统相关的各节点，如主机、数据库、网闸、网络设备的运行情况，对巡检数据进行持久化，将持久化巡检数据经巡检数据检索接口发送至巡检数据展示或发送至监控展示UI进行大屏展示；
其中，巡检脚本目录结构如下表4所示：
表4
其中，主控配置文件的基本格式为：key＝value#表示注释；使用中括号+ip方式定义章节，当一套巡检脚本要部署到多个服务器上的时候，在配置文件中为每个服务器定义一个章节，存放该服务器的个性化配置(第一个章节之前的配置属于公共配置)，例如：
#文件系统利用率默认告警阈值
fsUtilAlarmThres＝60
#每个主机以中括号及IP开始自己的配置
[10.10.152.8]
fsUtilAlarmThres＝80
以上示例标识文件系统利用率告警阀值，公共配置为超过60％告警；10.10.152.8个性化为超过80％告警。
其中，主控脚本是一个执行框架，它负责根据配置，调度具体的巡检脚本实现巡检功能，然后统一将巡检脚本产生的巡检结果发给调度平台，这样增加巡检科目，或者要调整每个巡检目标上执行的具体巡检科目都比较容易；主控脚本主要根据主控配置中的如下配置项决定执行哪些巡检科目，例如：
#巡检要依据执行哪些脚本
scripts＝_start_01_cfgPrepare.sysLoad,cpu,mem,res,socket,filesystem,disk,process,whj_svn_che ck_end
上述示例中，配置项以_开头的脚本不需要调整，中间的其他脚本根据需要增删，以“,”分割；主控脚本将各巡检科目的巡检脚本的标准输出作为巡检结果加以保存、发送给调度平台。
本申请实施例中，用户可以根据需求自行根据特定格式撰写脚本，将巡检结果写入标准输出即可；其中，巡检结果包括两种格式，一种是key＝value格式，一种是表格模式：
对于key＝value格式，以下为巡检结果示例：
#GROUP＝CPU
#ITEM＝TOTAL
cpuUtil(％)＝4
idle＝97
sys＝2
usr＝2
io＝0
#GROUP
该示例中，“#GROUP＝”为关键词，表示开始一个新的巡检科目；“#ITEM＝”为关键词，表示开始该巡检科目下的一个条目；不带#开头的行，则每行认为是一个指标，直到遇到下一个“#GROUP”指令。
对于表格模式，以下为巡检结果示例：
#GROUP＝FileSystem
#ROW＝mount,device,size(M),util(％),used(M),free(M),inodes,iUtil(％),iUsed,iFree
#ROW＝/,/dev/sda5,264951,11,25488,226005,17227776.2％,262840,16964936
该示例中，“#GROUP＝”为关键词，表示开始一个新的巡检科目；“#ROW＝”开始的行，每行生成表格的一行，其中第一个“#ROW＝”指令负责定义表头，并且第一列在界面上总会被替换为“名称”。
本申请实施例中，数据持久化为数据使用者提供一个极简的手段，可以将性能、配置、状态三类监控数据方便的提交给持久化平台进行存储，以便后续的检索和展示；数据交换系统可以混合采用多种数据存储方式，包括DB存储、文件存储、RRD存储、REDIS存储等，为不同类型的数据提供不同的存储方式，以便整体上获取高性能；
如图12所示，持久化平台默认提供两种接口方式来接收数据，分别是：
webservice(url)接口
PUB/SUB(redis)接口
另外，如图13所示，在这两种接口方式基础上，也可以通过adapter的方式，扩展新的接口方式，比如socket，文件等；
如图14所示，持久化平台运行时由一个REDIS服务和N个持久化服务模块(N>＝1)构成，多个持久化服务可用于分担负载，但数据被送往哪个服务做持久化，由使用者决定；如果使用者通过PUB/SUB接口提交数据，则基于其使用的topic进行分发；对于使用WebService的，由使用者自行拼装接口URL，redis中保存着启动的服务信息以及其负载情况，使用者可基于这些信息，自动或者人工作出决策。
持久化平台包括多个持久化服务模块，每个持久化服务模块有一个唯一的、由配置文件指定的字符串ID(称为IDPS_ID)，负责将接收到的数据进行持久化，并提供数据查询接口；
持久化平台的初始化参数为：
接收数据接口为PUB/SUB接口，使用PUB/SUB接口发送数据，只需要连接redis，并将数据publish到特定的topic上即可，topic格式如下：
itims/persist/IDPS/${IDPS_ID}/json
itims/persist/IDPS/${IDPS_ID}/plain
IPDS_ID是持久化服务模块的id，可接受json格式的数据，可以混合提交各类数据，可以一次提交大量数据，也可接受普通字符串格式的数据，便于手工测试，使用更简单；
若使用redis-cli或者其它方式直接连redis执行publish，使用完整的topic，比如：
./redis-cli publish“itims/persist/IDPS/svc1/plain”“hello,persist！”
而如果使用itims封装的PSHandler，则topic可以省略itims/persist段，比如：
java
PSFactory.getPSHandler(“persist”).pub(“IDPS/svc1/plain”，”hello,persist”)；
js
PubSub.getPSHandler(“/websocket/PS/persist”).pub(“IDPS/svc1/plain”，”hello,persist”)；
通过restful webservice接口直接向特定持久化服务模块发送数据，url格式包括GET模式和POST模式，GET模式数据为plain文本，适合发送少量数据，且便于在浏览器中直接测试，例如：
/restws/persist/IDPS/store/plain
POST模式数据为json文本，可用于一次发送大量数据，例如：
/restws/persist/IDPS/store/json
支持如下参数：
？data要持久化的数据
(4)如图15所示，外部接口子系统包括协议实现模块、权限检查模块、数据检索模块和数据存储模块；
其中，协议实现模块用于对外实现Restful webservice(符合REST架构风格的网络服务协议)；
权限检查模块用于校验接口调用者的身份，是否有权检索或者有权上传数据；
数据检索模块用于为调用者准备符合条件的数据；
数据存储模块用于将调用者提交的数据进行存储，可供其它用户下载。
本申请实施例中，跨网安全数据交换管理平台中的各子系统之间通过基于websocket的PUB/SUB封装架构进行数据通信；如图16所示，P代表代理(Proxy)，代理接受前台各功能的消息订阅和发布请求，并将这些信息转发到后台的路由器R，并作为一个整体接收来自路由器的信息，这样确保前台每个界面和后台只有一个链接；R代表路由器(Router)，路由器负责从前台数据消费者处接收消息，根据消息的主题，将其分发给相应的订阅者；T表示翻译器(Translater)，负责把浏览器中发来的订阅请求，转到redis(key-value存储系统)中，同时从redis中侦听符合条件的消息，转给浏览器；由此redis、Translater、Router、Proxy构成了全局PUB/SUB机制的完整链条。
本申请提供的跨网安全数据交换管理平台具有界面可视化功能，通过基于web界面集成平台的仪表板进行数据展示，使用者利用仪表板的内置组件来做数据展示、以及利用仪表板的布局能力将多种信息整合到一个界面上展示，也可以基于一定的规范，开发适当的业务组件，实现更强大的功能；
仪表板的解析流程如图17所示，仪表板集成平台服务器分析来自用户对仪表板的请求，向浏览器返回仪表板基本信息、组件配置、布局等信息；浏览器判断是否有个性扩展，如果是，则加载个性扩展，否则给仪表板管理器以指示；加载完个性扩展之后，浏览器判断是否有仪表板预加载事件，如果有则执行预加载再给仪表板管理器以指示，否则给仪表板管理器以指示；其中，仪表板管理器接收到浏览器指示后，创建仪表板容器、创建组件区域区分组件标题栏和内容区、创建组件js对象，判断是否有组件个性扩展，如果有执行扩展则先执行扩展然后再进行组件初始化、设置组件个性外观、设置仪表板外观、执行仪表板和组件自适应操作，最终得到仪表板界面效果。
采用本申请提供的跨网安全数据交换管理平台对首都机场ACDM数据进行接入和交换：
首先，首都机场提供了ACDM数据的技术文档，说明了ACDM数据是以web service方式提供，并详述了通过该接口可进行的数据查询操作及数据格式。
然后，针对该接口，扩展开发了一个采集作业的实现类，这个类负责调用首都机场的web service接口，获取ACDM数据，并将其转为交换平台能够接受的格式。
然后，在交换平台中，配置一个数据采集作业，周期性调度ACDM实现类，实现稳定的数据采集。
最后，为ACDM数据配置专有的数据集中查询界面。
本系统将分散在用户业务网中的数据资源，通过请求服务、授权访问、数据交换等方式来进行业务信息资源共享和处理，为用户内部部门之间甚至行业以外用户之间的跨网信息交换，探索新的网络边界防护和信息交换探索新的方式。
通过跨网数据安全交换对相互独立的数据信息进行整合，统一管理，并建立合理的更新机制，避免重复录入，保证数据的一致性、实时性、安全性，从而成为支撑相关单位众多应用所共享的数据资源，降低了各单位运行信息资源管理成本，扩展信息化业务应用，提高信息化应用水平。
以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种民航空管跨网安全数据交换管理平台，其特征在于，包括交换数据处理子系统、交换数据展示子系统、自监控子系统和外部接口子系统；
交换数据处理子系统包括交换数据采集模块、交换数据存储模块、交换日志记录模块和统计汇总模块；
交换数据采集模块用于进行库表数据采集和文件数据采集；交换数据存储模块用于将采集来的数据进行存储和加工；交换日志记录模块用于记录各类数据采集、交换情况以及用户查询、下载和外部系统的访问情况的过程中的动作日志；统计汇总模块用于基于数据交换日志，生成时、日、周、月、年的不同时间维度的统计数据，生成报表；
交换数据展示子系统包括交换数据查询/导出/下载模块和统计报表查询模块；
交换数据查询/导出/下载模块，用于提供查询/导出/下载界面，能够提供按照分类或条件查询交换数据的功能；统计报表查询模块，用于对数据库中的数据和生成的统计报表进行查询；
自监控子系统包括监控数据管理模块、巡检数据管理模块和监控展示模块；
监控数据管理模块用于收取监控数据，对监控数据进行持久化，将持久化监控数据经持久化数据检索接口发送至监控展示模块进行大屏展示；巡检数据管理模块用于收取巡检数据，对巡检数据进行持久化，将持久化巡检数据经巡检数据检索接口发送至巡检数据展示或发送至监控展示模块进行大屏展示；
外部接口子系统包括协议实现模块、权限检查模块、数据检索模块和数据存储模块；
协议实现模块用于对外实现网络服务协议；权限检查模块用于校验接口调用者的身份，是否有权检索或者有权上传数据；数据检索模块用于为调用者准备符合条件的数据；数据存储模块用于将调用者提交的数据进行存储，供其它用户下载。
2.如权利要求1所述的民航空管跨网安全数据交换管理平台，其特征在于，库表数据采集通过通过jdbc协议，从数据库表中采集原始的待交换数据；具体为数据交换平台初始化连接池，连接源表，获取内部记录集，根据关键词逐条执行判重操作，将新增数据插入目标表，清理冗余数据，生成统计表。
3.如权利要求1所述的民航空管跨网安全数据交换管理平台，其特征在于，文件数据采集通过rsync机制，从文件系统上采集原始的待交换数据；具体为数据交换平台周期性启动rsync服务、定时同步任务，rsync客户端将增量的文件类待交换数据上传至rsync服务器生成日志，数据交换平台周期性的分析日志，同步统计数据入库。
4.如权利要求1所述的民航空管跨网安全数据交换管理平台，其特征在于，交换数据查询/导出/下载模块包括库表的查询与导出；
库表的查询与导出具体为根据界面指定的条件，从相应数据库表中查询符合条件的交换数据；具体为用户向查询模块发送选择数据种类指示，返回默认记录集，用户录入查询条件，从数据库中检索结果集并返回用户，将结果集导出；若用户继续查询，则计算导出的总条数，提示用户条数，询问用户是否需要下载，若需要下载则生成统计数据。
5.如权利要求1所述的民航空管跨网安全数据交换管理平台，其特征在于，交换数据查询/导出/下载模块包括文件的浏览与下载；
文件的浏览与下载具体为通过rsync同步到服务器上的文件目录，为用户提供界面，可浏览其目录结构、文件列表，并下载需要的文件；具体为用户向查询模块发送选择数据种类指示，查询模块从文件系统中获取目录结构，用户录入查询条件，则查询模块从文件系统获取文件列表以文件包形式下载；若用户继续查询，则计算下载文件大小，提示用户文件熟练与尺寸，询问用户是否需要下载，若需要下载则生成统计数据。
6.如权利要求1所述的民航空管跨网安全数据交换管理平台，其特征在于，
监控数据管理模块具体用于对数据交换系统的内部工作流程进行监控，以便掌握系统运行情况，以便在发生数据异常时及时发现、及时解决；
巡检数据管理模块具体用于数据交换系统各节点的周期性检查，包括监控与交换系统相关的各节点，即主机、数据库、网闸、网络设备的运行情况。
7.如权利要求6所述的民航空管跨网安全数据交换管理平台，其特征在于，
巡检数据的目录结构包括主控配置文件，主控配置文件的基本格式为：key＝value#表示注释；使用中括号+ip方式定义章节，当一套巡检脚本要部署到多个服务器上的时候，在配置文件中为每个服务器定义一个章节，存放该服务器的个性化配置，其中第一个章节之前的配置属于公共配置。
巡检数据的目录结构包括主控脚本，主控脚本是一个执行框架，负责根据配置，调度具体的巡检脚本实现巡检功能，然后统一将巡检脚本产生的巡检结果发给调度平台，主控脚本根据主控配置项决定执行对应的巡检科目。
8.如权利要求1所述的民航空管跨网安全数据交换管理平台，其特征在于，数据持久化由持久化平台执行，持久化平台包括一个redis服务和多个持久化服务模块，提供两种接口方式来接收数据，包括webservice接口和PUB/SUB接口；
当使用接收数据接口为PUB/SUB接口时，使用PUB/SUB接口发送数据，只需要连接redis，并将数据发布到特定的主体上；
当使用接收数据接口为webservice接口时，直接向特定持久化服务模块发送数据。
9.如权利要求1所述的民航空管跨网安全数据交换管理平台，其特征在于，所述数据交换系统具有界面可视化功能，通过基于web界面集成平台的仪表板进行数据展示，使用者利用仪表板的内置组件来做数据展示、以及利用仪表板的布局能力将多种信息整合到一个界面上展示，或者基于一定的规范开发适当的业务组件，实现其他更强大功能。
10.如权利要求9所述的民航空管跨网安全数据交换管理平台，其特征在于，仪表板的解析方法为：仪表板集成平台服务器分析来自用户对仪表板的请求，向浏览器返回仪表板基本信息、组件配置、布局信息；浏览器判断是否有个性扩展，如果是，则加载个性扩展，否则给仪表板管理器以指示；加载完个性扩展之后，浏览器判断是否有仪表板预加载事件，如果有则执行预加载再给仪表板管理器以指示，否则给仪表板管理器以指示；其中，仪表板管理器接收到浏览器指示后，创建仪表板容器、创建组件区域区分组件标题栏和内容区、创建组件对象，判断是否有组件个性扩展，如果有执行扩展则先执行扩展然后再进行组件初始化、设置组件个性外观、设置仪表板外观、执行仪表板和组件自适应操作，最终得到仪表板界面效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010540826.2A CN113486095A (zh) | 2020-06-15 | 2020-06-15 | 一种民航空管跨网安全数据交换管理平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010540826.2A CN113486095A (zh) | 2020-06-15 | 2020-06-15 | 一种民航空管跨网安全数据交换管理平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113486095A true CN113486095A (zh) | 2021-10-08 |
Family
ID=77932637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010540826.2A Pending CN113486095A (zh) | 2020-06-15 | 2020-06-15 | 一种民航空管跨网安全数据交换管理平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113486095A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115577334A (zh) * | 2022-11-01 | 2023-01-06 | 中国民用航空飞行学院 | 一种基于多模型融合的空管安全数据运行保障系统及方法 |
| CN116610656A (zh) * | 2023-07-19 | 2023-08-18 | 中国电子科技集团公司第十五研究所 | 便携式跨网数据采集方法及装置 |
| CN117743286A (zh) * | 2024-02-20 | 2024-03-22 | 商飞软件有限公司 | 一种生成结构化飞机电子维护日志的系统及方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108234614A (zh) * | 2017-12-25 | 2018-06-29 | 华南理工大学 | 一种基于自定义协议及Netty框架的交互方法 |
-
2020
- 2020-06-15 CN CN202010540826.2A patent/CN113486095A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108234614A (zh) * | 2017-12-25 | 2018-06-29 | 华南理工大学 | 一种基于自定义协议及Netty框架的交互方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李建松等: "《地理监测原理与应用》", vol. 1, 武汉大学出版社, pages: 489 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115577334A (zh) * | 2022-11-01 | 2023-01-06 | 中国民用航空飞行学院 | 一种基于多模型融合的空管安全数据运行保障系统及方法 |
| CN115577334B (zh) * | 2022-11-01 | 2023-04-28 | 中国民用航空飞行学院 | 一种基于多模型融合的空管安全数据运行保障系统及方法 |
| CN116610656A (zh) * | 2023-07-19 | 2023-08-18 | 中国电子科技集团公司第十五研究所 | 便携式跨网数据采集方法及装置 |
| CN116610656B (zh) * | 2023-07-19 | 2023-09-08 | 中国电子科技集团公司第十五研究所 | 便携式跨网数据采集方法及装置 |
| CN117743286A (zh) * | 2024-02-20 | 2024-03-22 | 商飞软件有限公司 | 一种生成结构化飞机电子维护日志的系统及方法 |
| CN117743286B (zh) * | 2024-02-20 | 2024-05-24 | 商飞软件有限公司 | 一种生成结构化飞机电子维护日志的系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10261872B2 (en) | Multilevel disaster recovery | |
| US8453159B2 (en) | Workspace system and method for monitoring information events | |
| US11615082B1 (en) | Using a data store and message queue to ingest data for a data intake and query system | |
| US8707336B2 (en) | Data event processing and application integration in a network | |
| US7617190B2 (en) | Data feeds for management systems | |
| US8224886B2 (en) | System for an open architecture deployment platform with centralized synchronization | |
| CN111736775B (zh) | 多源存储方法、装置、计算机系统及存储介质 | |
| AU2016222323B2 (en) | Predictive storage service | |
| US11809397B1 (en) | Managing slot requests for query execution in hybrid cloud deployments | |
| US20190050277A1 (en) | Router management by an event stream processing cluster manager | |
| US7912933B2 (en) | Tags for management systems | |
| US11966797B2 (en) | Indexing data at a data intake and query system based on a node capacity threshold | |
| CN113486095A (zh) | 一种民航空管跨网安全数据交换管理平台 | |
| CN110837423B (zh) | 一种自动导引运输车数据采集的方法和装置 | |
| US10986020B2 (en) | Reconstructing message flows based on hash values | |
| US10678803B2 (en) | Single point of dispatch for management of search heads in a hybrid cloud deployment of a query system | |
| CN113377626B (zh) | 基于服务树的可视化统一报警方法、装置、设备和介质 | |
| CN109345114A (zh) | 一种电子政务服务系统 | |
| CN111048164A (zh) | 一种医学大数据长期保存系统 | |
| US20080301713A1 (en) | Systems and methods for electronic evidence management with service control points and agents | |
| US10353792B2 (en) | Data layering in a network management system | |
| US11818087B1 (en) | User-to-user messaging-based software troubleshooting tool | |
| KR20140139776A (ko) | Tiering 기반의 가상화 네트워크 스토리지와 클라우드 기반 문서 배포 시스템의 자동 연동 방법 | |
| US11983181B1 (en) | Data stream processing instruction set previews using batch conversion | |
| CN116126785A (zh) | 文件的获取方法以及装置、系统、存储介质、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211008 |
|
| RJ01 | Rejection of invention patent application after publication |