CN113064858A - 穿越隔离墙多系统大数据抽取汇集方法 - Google Patents
穿越隔离墙多系统大数据抽取汇集方法 Download PDFInfo
- Publication number
- CN113064858A CN113064858A CN202110288094.7A CN202110288094A CN113064858A CN 113064858 A CN113064858 A CN 113064858A CN 202110288094 A CN202110288094 A CN 202110288094A CN 113064858 A CN113064858 A CN 113064858A
- Authority
- CN
- China
- Prior art keywords
- data
- area
- safety
- partition wall
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000002955 isolation Methods 0.000 title claims description 59
- 238000013075 data extraction Methods 0.000 title abstract description 9
- 238000013480 data collection Methods 0.000 title abstract description 6
- 238000004891 communication Methods 0.000 claims abstract description 65
- 238000007689 inspection Methods 0.000 claims abstract description 40
- 238000005192 partition Methods 0.000 claims abstract description 40
- 238000012544 monitoring process Methods 0.000 claims abstract description 21
- 230000002159 abnormal effect Effects 0.000 claims abstract description 6
- 238000007726 management method Methods 0.000 claims description 29
- 230000005540 biological transmission Effects 0.000 claims description 19
- 101000623895 Bos taurus Mucin-15 Proteins 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 230000009193 crawling Effects 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000011664 signaling Effects 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000001788 irregular Effects 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于电力及控制技术领域，公开了穿越隔离墙多系统大数据抽取汇集方法，其特征在于在三区部署了一键巡视组件、在一区部署采集引擎和隔离墙通讯组件Ⅰ；一键巡视组件用于对三、四区管理对象直接监控，一键巡视组件包含有三区服务器及位于三区服务器中的隔离墙通讯组件Ⅱ，隔离墙通讯组件Ⅰ位于一区服务器中；所述方法包含有数据框架；抽取汇集方法包含有八个步骤。本发明具有以下主要有益效果：（1）巡检效率显著提升，由手动巡检30分钟提升到分钟级别，并做到随时巡检，释放人工压力；（2）巡检数据准确性提升，避免人工巡检中的误差率；（3）可对非规律性巡检对象异常大数据学习预判；（4）巡检数据历史追溯和溯源。
Description
技术领域
本发明属于电力及控制技术领域，尤其是涉及穿越隔离墙多系统大数据抽取汇集方法。
背景技术
按照电监会5号令的规定要求，电网企业的调控部门从安全的角度出发，将基于IT的业务系统分别划分为生产控制区域和管理信息/区域两大部分。生产控制区又分为控制区（安全区I，简称为1区）和非控制区（安全区Ⅱ，简称为2区），管理信息区相较于生产控制区作为“非安全区”，简称为3区、4区。
为保证电力生产及调度的绝对安全，电监会5号令明确规定：“在生产控制区与管理信息区之间必须设置经国家指定部门检测认证的电力专用横向单向安全隔离装置”。
然而，对于调度自动化的监控技术人员而言，由于其通常都在3区和4区工作，如果没有一套完善的IT集中统一运维监控管理系统，往往需要手动连接到1区、2区的管理设备上进行操作，不仅操作复杂、耗时长，同时缺乏全局性管理，对全网运行状态和故障管控缺乏第一时间的掌握和了解。系统分布在电力二次安全防护体系的1、2、3、4区，遵循严格的单向隔离策略，各系统之间也只实现了弱连接，对各系统的整体运行监视难于实现。并且各个安全区域中的各系统由不同科室建设，资源管理不统一，这给日常监控工作和运维管理带来了很大的困扰，对系统运行状态、网络和设备负载无法进行第一时间的有效展现、统计和分析。
发明内容
为了解决上述问题，本发明的目的是揭示穿越隔离墙多系统大数据抽取汇集方法，它是采用以下技术方案实现的。
穿越隔离墙多系统大数据抽取汇集方法，其特征在于在三区部署了一键巡视组件、在一区部署采集引擎和隔离墙通讯组件Ⅰ；一键巡视组件用于对三、四区管理对象直接监控，一键巡视组件包含有三区服务器及位于三区服务器中的隔离墙通讯组件Ⅱ，隔离墙通讯组件Ⅰ位于一区服务器中，采集引擎与隔离墙通讯组件Ⅰ之间可进行通信连接，隔离墙通讯组件Ⅰ与隔离墙通讯组件Ⅱ之间连接有正向隔离墙及反向隔离墙，隔离墙通讯组件Ⅱ连接DGO，DGO连接上层组件以及APP；
所述采集引擎是是安全I区部署的采集服务器，负责采集、接收来自安全I区的设备信息、事件、告警和SYSLOG系统日志，安全I区采集数据库存放监控的任务信息、监控设备的必要状态信息，这些信息作为安全I区采集服务器向安全III区传递数据时的比对参考，安全I区的采集服务器将监控采集的数据通过安全I区传输代理以文件方式传递到安全III区，再由安全III区传输代理接收并转发到安全III区采集服务器本地指定目录，安全III区采集服务器除了负责采集、接收来自安全III区的设备信息、事件、告警和SYSLOG系统日志外，还负责将传输代理转发的安全I区监控数据存入统一信息库，安全III区应用服务器负责将来自统一信息库的数据和安全III区采集服务器通过消息总线推送的数据分析和处理后统一展现在Web客户端；
所述穿越隔离墙多系统大数据抽取汇集方法包含有以下数据框架：数据采集、数据解析、算法分析，其中，
数据采集中通过Shell/Perl script脚本命令以及与MySQL数据库对接程序从EMS、OMS、TMR系统跨区多系统采集数据；其中，SSH文本结果对通过终端输入命令的反馈结果进行采集并解析，实现以下巡检功能：(a)资源状态、核心应用巡查；(b)报表发布核查；(c)III区堆积文件查看；(d)省地互联重要数据检查； (e)重要接口巡查中的状态切换接口配置检查；(f)重要接口进程巡查；(g)PING重要接口进程IP巡查；(h)清理core文件；Oracle通过调用数据库数据，采用深度搜索方法，系统自动判断相关输出的阈值，并提供明晰易读的报表输出和有效的预警提示方式，包含以下的数据比对：(a)地区功率总加核查；(b)母线不平衡巡视；(c)220KV潮流图核查；(d)220KV遥信分合闸查询；(e)状态估计计算是否收敛；(f)厂站通道退投情况检查；(g)重要接口巡查：(g1)设备重/轻载接口配置,(g2)电能质量接口配置，（g3）峰谷平潮流接口配置；(h)主变运行挡位；(i)主变有功越限；(j)主变油温越限；(k)线路电流越限；(l)重要断面越限；(m)频发信息统计；(n)危急信号统计；(o)开关及刀闸位置；(p)置牌信息管理；(q)电网异常运行方式；FTP转发省调CIME文件状态监视，通过FTP协议自动周期巡检，获取省公司文件服务器上的文件列表，自动发现地调传输失败的文件，给出告警，同时自动重传文件；网页爬取提取电力通信网络中的相关调度数据；
数据解析中，对于oracle数据库数据源，（1）通过基于c语言的Oracle DB库连接oracle官方提供的驱动程序instant basic 12,运行预先调研的sql语句返回文本形式的查询结果，然后通过传统的scanf进行解析，最终结构化为json数据格式；（2）对于ssh文本结果数据源，通过ssh2-utils库进行调用，由于获取到的数据编码为GBK中文编码，因此必须在开始的时候保留读取到的二进制数据流，然后利用iconv编码库对二进制流进行转码，获得转码后的二进制流，进而转换为utf8编码的字符串格式，然后同样使用scanf进行解析,基于空格的解析转换为json数据格式；（3）对于网页爬取形式的数据源，首先通过Axios获取到http格式源码，然后使用Temme库对获取的xml数据进行解析，最后取出有效数据，组装成json数据格式；（4）对于FTP数据源使用Ftpmp库进行socket连接及获取列表操作，然后使用scanf解析成数组保存成json数据格式；
算法分析中，在将数据源的数据统一整合为json数据格式后，根据业务需求对多个数据源进行计算，使用map及recude数据处理工具对数据进行分析，
所述穿越隔离墙多系统大数据抽取汇集方法包含有以下步骤：
（1）I区系统将即时取数请求转换为E文本格式，通过HTTP协议向三隔离墙通讯组件I发起请求，挂起连接；
（2）隔离墙通讯组件I通过反向隔离墙下发请求转换后的E文本文件；
（3）Ⅲ区隔离墙通讯组件II从指定路径读取E文本格式文本后转换成可驱使隔离墙采集引擎工作的数据；
（4）Ⅲ区隔离墙通讯组件II根据接收到的工作数据通过HTTP向采集引擎发起请求；
（5）采集引擎响应请求给Ⅲ区隔离墙通讯组件II；
（6）Ⅲ区隔离墙通讯组件II通过正向隔离装置上传请求结果；
（7）I区隔离墙通讯组件I从指定的目录解压缩并读取数据；
（8）I区隔离墙通讯组件I响应请求结果给数据传输服务器，关闭连接。
本发明具有以下主要有益效果：（1）巡检效率显著提升，由手动巡检30分钟提升到分钟级别，并做到随时巡检，释放人工压力；（2）巡检数据准确性提升，避免人工巡检中的误差率；（3）可对非规律性巡检对象异常大数据学习预判；（4）巡检数据历史追溯和溯源。
附图说明
图1为数据流程图。
图2为总体构架图。
图3为穿越流程图。
为了使所在技术领域人员能更准确、清楚地理解及实施本申请，下面结合说明书附图对于本申请作详细的说明。
具体实施方式
请见图1到图3，穿越隔离墙多系统大数据抽取汇集方法，其特征在于在三区部署了一键巡视组件、在一区部署采集引擎和隔离墙通讯组件Ⅰ；一键巡视组件用于对三、四区管理对象直接监控，一键巡视组件包含有三区服务器及位于三区服务器中的隔离墙通讯组件Ⅱ，隔离墙通讯组件Ⅰ位于一区服务器中，采集引擎与隔离墙通讯组件Ⅰ之间可进行通信连接，隔离墙通讯组件Ⅰ与隔离墙通讯组件Ⅱ之间连接有正向隔离墙及反向隔离墙，隔离墙通讯组件Ⅱ连接DGO，DGO连接上层组件以及APP；
所述采集引擎是是安全I区部署的采集服务器，负责采集、接收来自安全I区的设备信息、事件、告警和SYSLOG系统日志，安全I区采集数据库存放监控的任务信息、监控设备的必要状态信息，这些信息作为安全I区采集服务器向安全III区传递数据时的比对参考，安全I区的采集服务器将监控采集的数据通过安全I区传输代理以文件方式传递到安全III区，再由安全III区传输代理接收并转发到安全III区采集服务器本地指定目录，安全III区采集服务器除了负责采集、接收来自安全III区的设备信息、事件、告警和SYSLOG系统日志外，还负责将传输代理转发的安全I区监控数据存入统一信息库，安全III区应用服务器负责将来自统一信息库的数据和安全III区采集服务器通过消息总线推送的数据分析和处理后统一展现在Web客户端；
所述穿越隔离墙多系统大数据抽取汇集方法包含有以下数据框架：数据采集、数据解析、算法分析，其中，
数据采集中通过Shell/Perl script脚本命令以及与MySQL数据库对接程序从EMS、OMS、TMR系统跨区多系统采集数据；其中，SSH文本结果对通过终端输入命令的反馈结果进行采集并解析，实现以下巡检功能：(a)资源状态、核心应用巡查；(b)报表发布核查；(c)III区堆积文件查看；(d)省地互联重要数据检查； (e)重要接口巡查中的状态切换接口配置检查；(f)重要接口进程巡查；(g)PING重要接口进程IP巡查；(h)清理core文件；Oracle通过调用数据库数据，采用深度搜索方法，系统自动判断相关输出的阈值，并提供明晰易读的报表输出和有效的预警提示方式，包含以下的数据比对：(a)地区功率总加核查；(b)母线不平衡巡视；(c)220KV潮流图核查；(d)220KV遥信分合闸查询；(e)状态估计计算是否收敛；(f)厂站通道退投情况检查；(g)重要接口巡查：(g1)设备重/轻载接口配置,(g2)电能质量接口配置，（g3）峰谷平潮流接口配置；(h)主变运行挡位；(i)主变有功越限；(j)主变油温越限；(k)线路电流越限；(l)重要断面越限；(m)频发信息统计；(n)危急信号统计；(o)开关及刀闸位置；(p)置牌信息管理；(q)电网异常运行方式；FTP转发省调CIME文件状态监视，通过FTP协议自动周期巡检，获取省公司文件服务器上的文件列表，自动发现地调传输失败的文件，给出告警，同时自动重传文件；网页爬取提取电力通信网络中的相关调度数据；
数据解析中，对于oracle数据库数据源，（1）通过基于c语言的Oracle DB库连接oracle官方提供的驱动程序instant basic 12,运行预先调研的sql语句返回文本形式的查询结果，然后通过传统的scanf进行解析，最终结构化为json数据格式；（2）对于ssh文本结果数据源，通过ssh2-utils库进行调用，由于获取到的数据编码为GBK中文编码，因此必须在开始的时候保留读取到的二进制数据流，然后利用iconv编码库对二进制流进行转码，获得转码后的二进制流，进而转换为utf8编码的字符串格式，然后同样使用scanf进行解析,基于空格的解析转换为json数据格式；（3）对于网页爬取形式的数据源，首先通过Axios获取到http格式源码，然后使用Temme库对获取的xml数据进行解析，最后取出有效数据，组装成json数据格式；（4）对于FTP数据源使用Ftpmp库进行socket连接及获取列表操作，然后使用scanf解析成数组保存成json数据格式；
算法分析中，在将数据源的数据统一整合为json数据格式后，根据业务需求对多个数据源进行计算，使用map及recude数据处理工具对数据进行分析，
所述穿越隔离墙多系统大数据抽取汇集方法包含有以下步骤：
（1）I区系统将即时取数请求转换为E文本格式，通过HTTP协议向三隔离墙通讯组件I发起请求，挂起连接；
（2）隔离墙通讯组件I通过反向隔离墙下发请求转换后的E文本文件；
（3）Ⅲ区隔离墙通讯组件II从指定路径读取E文本格式文本后转换成可驱使隔离墙采集引擎工作的数据；
（4）Ⅲ区隔离墙通讯组件II根据接收到的工作数据通过HTTP向采集引擎发起请求；
（5）采集引擎响应请求给Ⅲ区隔离墙通讯组件II；
（6）Ⅲ区隔离墙通讯组件II通过正向隔离装置上传请求结果；
（7）I区隔离墙通讯组件I从指定的目录解压缩并读取数据；
（8）I区隔离墙通讯组件I响应请求结果给数据传输服务器，关闭连接。
上述所述的穿越隔离墙多系统大数据抽取汇集方法，其特征在于隔离墙通讯组件I及隔离墙通讯组件II都是：北京科东电力控制系统责任有限公司的反向型物理隔离装置，通讯软件-stonewall-2000反向型网络安全隔离设备专用文件传输软件，版本5.0.3S。
本申请中，三区一键巡视组件通过下发数据（如：对某对象设置了告警规则等），通过反向隔离墙以及软件（E文本格式）将规则下发到隔离墙通讯组件I，当隔离墙通讯组件I有数据需要返回（如：该对象触发了告警）时，则采用TCP协议下发请求至正向隔离墙，并通过TCP协议接收请求将数据反馈到三区一键巡视系统，这样，对于各个安全区被管对象的管理就都集中在三区一键巡视系统上进行，从而实现了跨区域的统一、集中巡视管理；采集引擎与隔离墙通讯组件I之间采用HTTP协议通讯，采集引擎到隔离墙通讯组件I是发起HTTP请求，隔离墙通讯组件I到采集引擎是以HTTP协议格式响应请求结果，隔离墙通讯组件II与反向隔离墙之间是通过E文本格式来实现上传请求结果的，隔离墙通讯组件II与正向隔离墙之间是通过TCP协议连接并且隔离墙通讯组件II是接收正向隔离墙的信息，部署在三区的一键巡视系统通过采集引擎对各类被管对象进行数据采集，通过数据采集服务器将数据传输至数据处理层，Server将相关采集指令、告警规则和溯源分析等规则通过反向发送端将这些数据加密并转化成E文本的格式，通过反向隔离墙软件传输到一、二区的反向接收端。反向接收端再将已接收的E文本转化成采集引擎可识别的内容进行数据采集，采集器通过正向发送端将数据从一、二区发送到三区，正向接收端接收来自一区的数据，进行数据处理后，业务展示层从中读取信息进行展现。
本申请中所述的DGO是DGO-Data gathering Ocean-数据采集引擎，通过DGOServer将数据传输至数据处理层，DGO Server将相关采集指令、告警规则和巡视规则通过反向发送端将这些数据加密并转化成E文本的格式，通过反向隔离墙软件传输到一、二区的反向接收端；上层组件指应用层各巡视功能模块；APP指三期规划的系统巡视及统计分析结果的移动端展示。
本申请中，数据抽取按照《电力调度通用数据对象结构化设计》里规定的电网运行数据从各类业务系统中抽取相关数据，数据接入的系统包括EMS、OMS、TMR等系统；数据抽取工具采用符合国网安全要求的数据传输协议实现数据网络传输具备分布式部署功能，可将数据抽取模块部署于数据源所在服务器，进行数据收集。支持调度机构间纵向同步工具进行数据传输，实现跨网络数据抽取功能；数据接入提供多种接入策略管理，提供多维度的管理策略，提供任务注册管理、任务策略、任务监测等多种配置方式，通过任务注册管理，可在线对各种接入请求进行审批，对审批通过的接入申请进行在线监测；通过任务策略管理,可人工定义任务的定时执行和手动执行；任务监视功能，可以查看抽取任务的工作状态，并对服务进行启动、停止管理，并可按多种任务方式执行，包括人工抽取、定时抽取、周期抽取，抽取数据范围包括全量数据和增量数据。
本申请中，针对现有技术中的典型问题和现状，建设实施了一套跨越隔离区域的集中巡视管理系统，提高了安全区及非安全区系统态势掌控、预警分析及维护管理，量化IT基础设施和各个应用系统状态的可靠性、利用率、性能服务质量、安全性等指标，并减少管理和控制运营成本。在符合安全规范的提下，采用多系统大数据穿越隔离墙抽取汇集技术，实现在3区/4区同时管理1、2、3、4区，从而使智能一键巡视系统通过对多系统数据的提取、挖掘，充分发挥调度生产系统的各种功能，满足不同专业认识的需要，辅助各级领导的决策，以最大限度地节省人力资源为核心，为智能用电服务体系建设、泛在物联体系建设提供强有力的技术保障和支撑；其产生了以下主要的优点：（1）提高了整体巡视工作的精确性和效率，实现了标准化作业；（2）大幅减少了巡视人员的日常工作量，节约了大量时间成本；（3）有效消除了巡视的时间限制，大幅提高了巡视的频次；（4）促进了巡视工作标准的统一性，减少了人为因素对巡视工作一致性的影响；（5）实现了智能友好的人机交互方式；（6）充分发挥了调度生产系统的各种功能，能辅助各级领导的决策。
本申请的解决方案在完全符合“电监会5号令”的规范要求的前提下，通过独有的穿墙技术，实现了跨区的多系统大数据汇聚，从而建立起一键巡视与集中管理分析系统，进而提高了位于安全区及非安全区各类被管对象预警分析及维护管理水平，量化提高IT基础设施及其状态的可靠性、利用率、性能服务质量、安全性等指标，并减少了管理和控制运营成本。
本发明具有以下主要有益效果：（1）巡检效率显著提升，由手动巡检30分钟提升到分钟级别，并做到随时巡检，释放人工压力；（2）巡检数据准确性提升，避免人工巡检中的误差率；（3）可对非规律性巡检对象（如跳变）异常大数据学习预判；（4）巡检数据历史追溯和溯源。
上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制。本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。
Claims (2)
1.穿越隔离墙多系统大数据抽取汇集方法，其特征在于在三区部署了一键巡视组件、在一区部署采集引擎和隔离墙通讯组件Ⅰ；一键巡视组件用于对三、四区管理对象直接监控，一键巡视组件包含有三区服务器及位于三区服务器中的隔离墙通讯组件Ⅱ，隔离墙通讯组件Ⅰ位于一区服务器中，采集引擎与隔离墙通讯组件Ⅰ之间可进行通信连接，隔离墙通讯组件Ⅰ与隔离墙通讯组件Ⅱ之间连接有正向隔离墙及反向隔离墙，隔离墙通讯组件Ⅱ连接DGO，DGO连接上层组件以及APP；
所述采集引擎是是安全I区部署的采集服务器，负责采集、接收来自安全I区的设备信息、事件、告警和SYSLOG系统日志，安全I区采集数据库存放监控的任务信息、监控设备的必要状态信息，这些信息作为安全I区采集服务器向安全III区传递数据时的比对参考，安全I区的采集服务器将监控采集的数据通过安全I区传输代理以文件方式传递到安全III区，再由安全III区传输代理接收并转发到安全III区采集服务器本地指定目录，安全III区采集服务器除了负责采集、接收来自安全III区的设备信息、事件、告警和SYSLOG系统日志外，还负责将传输代理转发的安全I区监控数据存入统一信息库，安全III区应用服务器负责将来自统一信息库的数据和安全III区采集服务器通过消息总线推送的数据分析和处理后统一展现在Web客户端；
所述穿越隔离墙多系统大数据抽取汇集方法包含有以下数据框架：数据采集、数据解析、算法分析，其中，
数据采集中通过Shell/Perl script脚本命令以及与MySQL数据库对接程序从EMS、OMS、TMR系统跨区多系统采集数据；其中，SSH文本结果对通过终端输入命令的反馈结果进行采集并解析，实现以下巡检功能：(a)资源状态、核心应用巡查；(b)报表发布核查；(c)III区堆积文件查看；(d)省地互联重要数据检查； (e)重要接口巡查中的状态切换接口配置检查；(f)重要接口进程巡查；(g)PING重要接口进程IP巡查；(h)清理core文件；Oracle通过调用数据库数据，采用深度搜索方法，系统自动判断相关输出的阈值，并提供明晰易读的报表输出和有效的预警提示方式，包含以下的数据比对：(a)地区功率总加核查；(b)母线不平衡巡视；(c)220KV潮流图核查；(d)220KV遥信分合闸查询；(e)状态估计计算是否收敛；(f)厂站通道退投情况检查；(g)重要接口巡查：(g1)设备重/轻载接口配置,(g2)电能质量接口配置，（g3）峰谷平潮流接口配置；(h)主变运行挡位；(i)主变有功越限；(j)主变油温越限；(k)线路电流越限；(l)重要断面越限；(m)频发信息统计；(n)危急信号统计；(o)开关及刀闸位置；(p)置牌信息管理；(q)电网异常运行方式；FTP转发省调CIME文件状态监视，通过FTP协议自动周期巡检，获取省公司文件服务器上的文件列表，自动发现地调传输失败的文件，给出告警，同时自动重传文件；网页爬取提取电力通信网络中的相关调度数据；
数据解析中，对于oracle数据库数据源，（1）通过基于c语言的Oracle DB库连接oracle官方提供的驱动程序instant basic 12,运行预先调研的sql语句返回文本形式的查询结果，然后通过传统的scanf进行解析，最终结构化为json数据格式；（2）对于ssh文本结果数据源，通过ssh2-utils库进行调用，由于获取到的数据编码为GBK中文编码，因此必须在开始的时候保留读取到的二进制数据流，然后利用iconv编码库对二进制流进行转码，获得转码后的二进制流，进而转换为utf8编码的字符串格式，然后同样使用scanf进行解析,基于空格的解析转换为json数据格式；（3）对于网页爬取形式的数据源，首先通过Axios获取到http格式源码，然后使用Temme库对获取的xml数据进行解析，最后取出有效数据，组装成json数据格式；（4）对于FTP数据源使用Ftpmp库进行socket连接及获取列表操作，然后使用scanf解析成数组保存成json数据格式；
算法分析中，在将数据源的数据统一整合为json数据格式后，根据业务需求对多个数据源进行计算，使用map及recude数据处理工具对数据进行分析，
所述穿越隔离墙多系统大数据抽取汇集方法包含有以下步骤：
（1）I区系统将即时取数请求转换为E文本格式，通过HTTP协议向三隔离墙通讯组件I发起请求，挂起连接；
（2）隔离墙通讯组件I通过反向隔离墙下发请求转换后的E文本文件；
（3）Ⅲ区隔离墙通讯组件II从指定路径读取E文本格式文本后转换成可驱使隔离墙采集引擎工作的数据；
（4）Ⅲ区隔离墙通讯组件II根据接收到的工作数据通过HTTP向采集引擎发起请求；
（5）采集引擎响应请求给Ⅲ区隔离墙通讯组件II；
（6）Ⅲ区隔离墙通讯组件II通过正向隔离装置上传请求结果；
（7）I区隔离墙通讯组件I从指定的目录解压缩并读取数据；
（8）I区隔离墙通讯组件I响应请求结果给数据传输服务器，关闭连接。
2.根据权利要求1所述的穿越隔离墙多系统大数据抽取汇集方法，其特征在于隔离墙通讯组件I及隔离墙通讯组件II都是：反向型物理隔离装置的通讯软件是stonewall-2000反向型网络安全隔离设备专用文件传输软件，版本5.0.3S。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110288094.7A CN113064858A (zh) | 2021-03-18 | 2021-03-18 | 穿越隔离墙多系统大数据抽取汇集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110288094.7A CN113064858A (zh) | 2021-03-18 | 2021-03-18 | 穿越隔离墙多系统大数据抽取汇集方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113064858A true CN113064858A (zh) | 2021-07-02 |
Family
ID=76561314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110288094.7A Pending CN113064858A (zh) | 2021-03-18 | 2021-03-18 | 穿越隔离墙多系统大数据抽取汇集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113064858A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114362371A (zh) * | 2022-01-06 | 2022-04-15 | 南方电网数字电网研究院有限公司 | 一种基于云安全资源池的物联网安全防护系统 |
| CN114372774A (zh) * | 2021-12-29 | 2022-04-19 | 国网天津市电力公司 | 电力二次系统模型、图形、运行状态的数据的通信系统 |
-
2021
- 2021-03-18 CN CN202110288094.7A patent/CN113064858A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114372774A (zh) * | 2021-12-29 | 2022-04-19 | 国网天津市电力公司 | 电力二次系统模型、图形、运行状态的数据的通信系统 |
| CN114362371A (zh) * | 2022-01-06 | 2022-04-15 | 南方电网数字电网研究院有限公司 | 一种基于云安全资源池的物联网安全防护系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106528880B (zh) | 一种多源电力业务数据的数据结构格式的规整方法和系统 | |
| CN103699967A (zh) | 基于电网调控一体化的全景信息平台 | |
| CN113064858A (zh) | 穿越隔离墙多系统大数据抽取汇集方法 | |
| CN102521781A (zh) | 一种基于独立监控服务的跨安全区的设备统一监控方法及其监控系统 | |
| RU2012137104A (ru) | Регистрация событий безопастности при управлении технологическим процессом | |
| CN104301137A (zh) | 电力通信故障对业务影响的分析方法及系统 | |
| US20210232725A1 (en) | System and method for testing an integrated monitoring system | |
| CN103337012A (zh) | 面向电网设备监控的多主题智能综合告警分析方法 | |
| CN113722883B (zh) | 一种智能变电站二次回路故障定位方法 | |
| CN109788003A (zh) | 一种基于mqtt协议的智能公厕设备交互方法及系统 | |
| CN106443345A (zh) | 一种用于架空配电线路的故障定位系统及方法 | |
| CN109561155B (zh) | 一种变电站设备远程集中监视与运维方法 | |
| CN111327468A (zh) | 一种用于电力系统的边缘计算平台的运行方法及其系统 | |
| CN110739770A (zh) | 一种基于信息融合的继电保护管控系统 | |
| CN110837027A (zh) | 基于电网故障情况下调度端关键信息抽取的辅助决策方法及系统 | |
| CN102984013A (zh) | 一种用于通信传输网的告警分析方法 | |
| CN117118062A (zh) | 用于电力调度自动化的二次系统数据融合监视方法和系统 | |
| CN109713791B (zh) | 智能电网遥控命令异常的诊断方法 | |
| CN206990733U (zh) | 一种配电网故障波形库监测系统 | |
| CN115396287B (zh) | 一种故障分析方法和装置 | |
| CN115021810A (zh) | 故障原因确定方法和系统、告警上报方法、介质、设备 | |
| CN110176808B (zh) | 基于事件驱动和有向图搜索的调控远方操作故障诊断方法 | |
| CN115665121A (zh) | 一种城轨供电变电所的电力监控系统及方法 | |
| CN112101422B (zh) | 电力系统故障案例的典型案例自学习方法 | |
| CN107505535B (zh) | 一种变电站二次系统数据信息分析系统与分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |