CN103020157A - 一种跨物理隔离的高可靠性实时文件生成方法 - Google Patents
一种跨物理隔离的高可靠性实时文件生成方法 Download PDFInfo
- Publication number
- CN103020157A CN103020157A CN2012104844838A CN201210484483A CN103020157A CN 103020157 A CN103020157 A CN 103020157A CN 2012104844838 A CN2012104844838 A CN 2012104844838A CN 201210484483 A CN201210484483 A CN 201210484483A CN 103020157 A CN103020157 A CN 103020157A
- Authority
- CN
- China
- Prior art keywords
- data
- file
- generation method
- information
- check
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明公开了一种跨物理隔离的高可靠性实时文件生成方法，用于对配电自动化系统的数据进行采集，它包括以下步骤：数据采集：利用相关装置采集电网中的各种数据；数据处理：对数据进行分流、合并、压缩处理；数据传输：将压缩后的文件传输到配电系统主站的服务器中；数据解压：配电系统主站利用与数据处理步骤中压缩算法相对应的解压算法，将接收到压缩数据还原为采集到的原数据；数据校验：扫描还原出数据中的校验信息，并与收到的数据信息进行比对，确定接收数据信息的完整性。本发明生成文件速度快，生成格式更利于通过物理隔离设备传输，对文件信息采取了多重防护，保证了文件的唯一性和传输数据不丢失，更加合理的利用系统资源。
Description
技术领域
本发明涉及配电自动化系统数据采集技术领域，具体地说是一种跨物理隔离的高可靠性实时文件生成方法。
背景技术
在电力系统的配网系统跨物理隔离传输通信过程中，需要生成并传输许多文件，现在生成文件方式是将接收数据简单处理，生成文件直接发送至物理隔离设备，其数据传输实时性不高，传输慢，生成文件多，存在丢数据现象，且对服务器CPU占用率高，使物理隔离设备经常高负荷运行。
基于上述原因发明的新的文件生成方法，不仅传输效率高，文件少，并且解决了丢数据、服务器CPU占用率高、物理隔离设备经常高负荷运行等问题。
发明内容
本发明提供了一种跨物理隔离的高可靠性实时文件生成方法，有效解决了文件传输不可靠、数量多、速度慢的问题。
为了解决上述问题，本发明采用以下技术方案：一种跨物理隔离的高可靠性实时文件生成方法，用于对配电自动化系统的数据进行采集，其特征在于，所述的文件生成方法包括：
数据采集：利用相关装置采集电网中的各种数据；
数据处理，所述的数据处理过程为：
1）对采集到的数据进行分流，并在每条采集到的数据前后加入识别码和校验位；
2）采用多通道数据自动合并技术将不同数据源产生的不同类型的数据进行合并；
3）扫描合并后的数据信息并生成唯一的文件名；
4）在生成的文件头、尾处加注校验信息；
5）利用压缩算法对生成的文件进行压缩；
数据传输：将压缩后的文件传输到配电系统主站的服务器中；
数据解压：配电系统主站利用与数据处理步骤中压缩算法相对应的解压算法，将接收到压缩数据还原为采集到的原数据；
数据校验：扫描还原出数据中的校验信息，并与收到的数据信息进行比对，确定接收数据信息的完整性。
上述方法中，所述的数据处理过程中，文件头、尾处加注的校验信息包括：时间戳、数据源类型，数据完整性判断标志、数据个数、文件个数。
上述方法中，所述的数据校验过程中，如果接收的数据信息不完整，主站服务器向设备终端发出重新发送文件的命令，设备终端重新发送文件。
上述方法中，在数据处理过程中，配电系统主站自动对数据量、系统负荷、网络负荷和速率采样进行判断和分析，当检测到数据量超过额定值的15%、系统CPU占用率达到75%以上时，自动减缓文件生成速度。
本发明的有益效果是：本发明生成文件速度快，生成格式更利于通过物理隔离设备传输，此外，对文件信息采取了多重防护，保证了文件的唯一性和传输数据不丢失，特别是在接收海量数据时，能够更加合理的利用系统资源，使物理隔离设备轻松处理传输任务。
附图说明
图1是本发明的流程示意图。
具体实施方式
如图1所示，该发明的一种跨物理隔离的高可靠性实时文件生成方法，用于对配电自动化系统的数据进行采集，它包括以下步骤：
1）数据采集：利用相关装置采集电网中的各种数据。
2）对采集到的数据进行分流，并在每条采集到的数据前后加入识别码和校验位。
3）采用多通道数据自动合并技术将不同数据源产生的不同类型的数据进行合并。
4）扫描合并后的数据信息并生成唯一的文件名。
5）在生成的文件头、尾处加注校验信息，所述的校验信息包括：时间戳、数据源类型，数据完整性判断标志、数据个数、文件个数。
6）利用压缩算法对生成的文件进行压缩。
7）数据传输：将压缩后的文件传输到配电系统主站的服务器中。
8）数据解压：配电系统主站利用与数据处理步骤中压缩算法相对应的解压算法，将接收到压缩数据还原为采集到的原数据。
9）数据校验：扫描还原出数据中的校验信息，并与收到的数据信息进行比对，确定接收数据信息的完整性。在数据校验过程中，如果接收的数据信息不完整，主站服务器向设备终端发出重新发送文件的命令，设备终端重新发送文件。
上述方法中，在数据处理过程中，配电系统主站自动对数据量、系统负荷、网络负荷和速率采样进行判断和分析，当检测到数据量超过额定值的15%、系统CPU占用率达到75%以上时，自动减缓文件生成速度。
以上所述只是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也被视为本发明的保护范围。
Claims (4)
1.一种跨物理隔离的高可靠性实时文件生成方法，用于对配电自动化系统的数据进行采集，其特征在于，所述的文件生成方法包括：
数据采集：利用相关装置采集电网中的各种数据；
数据处理，所述的数据处理过程为：
1）对采集到的数据进行分流，并在每条采集到的数据前后加入识别码和校验位；
2）采用多通道数据自动合并技术将不同数据源产生的不同类型的数据进行合并；
3）扫描合并后的数据信息并生成唯一的文件名；
4）在生成的文件头、尾处加注校验信息；
5）利用压缩算法对生成的文件进行压缩；
数据传输：将压缩后的文件传输到配电系统主站的服务器中；
数据解压：配电系统主站利用与数据处理步骤中压缩算法相对应的解压算法，将接收到压缩数据还原为采集到的原数据；
数据校验：扫描还原出数据中的校验信息，并与收到的数据信息进行比对，确定接收数据信息的完整性。
2.根据权利要求1所述的一种跨物理隔离的高可靠性实时文件生成方法，其特征在于，所述的数据处理过程中，文件头、尾处加注的校验信息包括：时间戳、数据源类型，数据完整性判断标志、数据个数、文件个数。
3.根据权利要求1所述的一种跨物理隔离的高可靠性实时文件生成方法，其特征在于，所述的数据校验过程中，如果接收的数据信息不完整，主站服务器向设备终端发出重新发送文件的命令，设备终端重新发送文件。
4.根据权利要求1所述的一种跨物理隔离的高可靠性实时文件生成方法，其特征在于，在数据处理过程中，配电系统主站自动对数据量、系统负荷、网络负荷和速率采样进行判断和分析，当检测到数据量超过额定值的15%、系统CPU占用率达到75%以上时，自动减缓文件生成速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012104844838A CN103020157A (zh) | 2012-11-23 | 2012-11-23 | 一种跨物理隔离的高可靠性实时文件生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012104844838A CN103020157A (zh) | 2012-11-23 | 2012-11-23 | 一种跨物理隔离的高可靠性实时文件生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103020157A true CN103020157A (zh) | 2013-04-03 |
Family
ID=47968761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012104844838A Pending CN103020157A (zh) | 2012-11-23 | 2012-11-23 | 一种跨物理隔离的高可靠性实时文件生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103020157A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103442009A (zh) * | 2013-08-30 | 2013-12-11 | 苏州跨界软件科技有限公司 | 一种基于nfc的文件传输方法 |
| CN108020792A (zh) * | 2017-12-07 | 2018-05-11 | 荣湃半导体（上海）有限公司 | 一种信息检测电路及方法 |
| CN109800182A (zh) * | 2019-01-18 | 2019-05-24 | 深圳忆联信息系统有限公司 | 一种降低写放大的数据存储处理方法及其系统 |
| CN110620800A (zh) * | 2018-06-20 | 2019-12-27 | 北京金风慧能技术有限公司 | 电力二次系统跨安全区的配置数据同步处理方法和装置 |
| CN111475478A (zh) * | 2020-02-28 | 2020-07-31 | 国电南瑞科技股份有限公司 | 一种异构配电自动化系统、省地1+n图形同步方法、省级配电主站及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1687922A (zh) * | 2005-05-30 | 2005-10-26 | 北京慧讯信息技术有限公司 | 分布式数据源数据集成系统及方法 |
| CN101127454A (zh) * | 2006-08-18 | 2008-02-20 | 北京国智恒电力管理科技有限公司 | 电力监管信息安全接入设备 |
| CN102065137A (zh) * | 2010-12-21 | 2011-05-18 | 山东浪潮齐鲁软件产业股份有限公司 | 一种网络数据库表数据应用程序同步的方法 |
-
2012
- 2012-11-23 CN CN2012104844838A patent/CN103020157A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1687922A (zh) * | 2005-05-30 | 2005-10-26 | 北京慧讯信息技术有限公司 | 分布式数据源数据集成系统及方法 |
| CN101127454A (zh) * | 2006-08-18 | 2008-02-20 | 北京国智恒电力管理科技有限公司 | 电力监管信息安全接入设备 |
| CN102065137A (zh) * | 2010-12-21 | 2011-05-18 | 山东浪潮齐鲁软件产业股份有限公司 | 一种网络数据库表数据应用程序同步的方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103442009A (zh) * | 2013-08-30 | 2013-12-11 | 苏州跨界软件科技有限公司 | 一种基于nfc的文件传输方法 |
| CN108020792A (zh) * | 2017-12-07 | 2018-05-11 | 荣湃半导体（上海）有限公司 | 一种信息检测电路及方法 |
| CN108020792B (zh) * | 2017-12-07 | 2020-04-07 | 荣湃半导体（上海）有限公司 | 一种信息检测电路及方法 |
| CN110620800A (zh) * | 2018-06-20 | 2019-12-27 | 北京金风慧能技术有限公司 | 电力二次系统跨安全区的配置数据同步处理方法和装置 |
| CN109800182A (zh) * | 2019-01-18 | 2019-05-24 | 深圳忆联信息系统有限公司 | 一种降低写放大的数据存储处理方法及其系统 |
| CN111475478A (zh) * | 2020-02-28 | 2020-07-31 | 国电南瑞科技股份有限公司 | 一种异构配电自动化系统、省地1+n图形同步方法、省级配电主站及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106330414B (zh) | 一种报文传输方法及装置 | |
| CN101552652A (zh) | 一种文件传输方法及传输装置 | |
| CN102684827B (zh) | 数据处理方法及数据处理设备 | |
| CN103020157A (zh) | 一种跨物理隔离的高可靠性实时文件生成方法 | |
| CN103379136A (zh) | 一种日志采集数据压缩方法、解压缩方法及装置 | |
| CN102571451A (zh) | 一种网元及其上传mr消息的方法 | |
| CN102413075A (zh) | 一种数据传输中格式转变的方法和系统 | |
| CN108028841B (zh) | 用于在通信系统中发送和接收数据的方法和装置 | |
| CN103379140A (zh) | 一种日志处理规则同步方法及相关设备和系统 | |
| CN105634684A (zh) | 一种数据包的处理方法、装置及服务器 | |
| CN102571820A (zh) | 用于传输数据的方法、压缩服务器和终端 | |
| CN102480335A (zh) | 一种业务数据的发送方法及系统 | |
| CN104215853A (zh) | 一种电能质量监测系统数据采集方法 | |
| CN111371887B (zh) | 物联网日志传输方法、客户端、服务端、设备及存储介质 | |
| CN103997760A (zh) | 一种用户用电信息采集系统的数据打包采集方法 | |
| CN111831540A (zh) | 一种调试信息的处理方法、处理装置和存储介质 | |
| CN104092666A (zh) | 一种文件传输方法及装置 | |
| CN114500605A (zh) | 一种基于5g的工业物联网数据传输方法及智能网关 | |
| CN105337850A (zh) | 一种物联网数据处理方法及物联网网关 | |
| CN110636009A (zh) | 一种数据传输方法和装置 | |
| CN103220188A (zh) | 一种http数据采集设备 | |
| CN110932393B (zh) | 一种变电站保信主站系统及其数据初始化方法 | |
| CN105024863A (zh) | 网络告警的处理方法、告警服务器和网络告警处理系统 | |
| CN102724133A (zh) | 一种ip报文传输的方法及装置 | |
| CN104702596A (zh) | 一种基于数据包长度的信息隐藏与传输的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130403 |