CN111131378A - 一种实时数据通讯恢复后补采方法及系统 - Google Patents
一种实时数据通讯恢复后补采方法及系统 Download PDFInfo
- Publication number
- CN111131378A CN111131378A CN201911050849.9A CN201911050849A CN111131378A CN 111131378 A CN111131378 A CN 111131378A CN 201911050849 A CN201911050849 A CN 201911050849A CN 111131378 A CN111131378 A CN 111131378A
- Authority
- CN
- China
- Prior art keywords
- real
- time data
- original message
- uploaded
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000011084 recovery Methods 0.000 title claims abstract description 13
- 230000001502 supplementing effect Effects 0.000 title claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims abstract description 30
- 230000005540 biological transmission Effects 0.000 claims abstract description 21
- 238000013500 data storage Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
Abstract
本发明公开了一种实时数据通讯恢复后补采方法及系统，属于通信技术领域。所述方法包括以下步骤：在数据传输过程发生通讯故障时，将要发送的实时数据以原始通讯报文保存在本地系统；在通讯故障恢复时，将保存的实时数据记录传输到服务器上；在服务器端处理接收到的实时数据记录数据并进行计算服务。本发明适用于使用实时数据进行采样并进行关键指标计算的系统，可以通过本方法保证计算的完整性与准确性。
Description
技术领域
本发明涉及通信技术领域，具体涉及一种实时数据通讯恢复后补采方法及系统。
背景技术
我国新能源电站发展迅速，每年新增大量的新能源电站投入运行。传统的新能源电站运维需要花费大量的人力物力，所以越来越多的新能源电站采用了无人值守及远程移动运维运行方式。远程移动运维的基础是将实时数据传输到远程运维中心。由于新能源电站建设地点相当偏远，有些电站网络环境不稳定，经常出现网络中断的情况，这样就会导致传送到运维中心的实时数据出现中断，从而使运维中心统计的关键数据不准确。为了尽最大可能的保证运维中心数据的正确性，需要在网络中断时，将未上传的原始数据进行保存，在网络恢复时进行补传与重新计算，从而保证运维中心计算出来的结果是稳定可靠的。
发明内容
本发明为了克服现有技术中的不足，提出一种实时数据通讯恢复后补采方法，解决实时数据在传输过程中发生通讯故障后，导致接收系统收到的数据不完整，不能正确统计相关数据指标的技术问题。
为解决上述技术问题，本发明提供了一种实时数据通讯恢复后补采方法，其特征是，包括以下步骤：
正常通讯时，将采集到的实时数据进行实时传输；
当发生通讯故障后，将采集到的实时数据以原始报文形式保存在本地系统；
当通讯故障恢复后，将实时数据的原始报文上传到服务器，在服务器端解析原始报文并进行业务计算。
进一步的，将实时数据的原始报文上传到服务器时，上传的是压缩后的原始报文。
进一步的，将实时数据的原始报文上传到服务器时，原始报文上传成功，则将本地系统中对应的原始报文文件删除或者移到备份目录；如果原始报文上传失败，则等待下次上传时间再次上传。
进一步的，业务计算包括瞬时值、最大值、最小值、平均值的业务计算。
相应的，本发明的一种实时数据通讯恢复后补采系统，包括实时数据存储模块、数据传输模块和业务计算模块；
实时数据存储模块，用于发生通讯故障时，将要发送的实时数据以原始报文形式保存在本地系统；
数据传输模块，用于在通讯故障恢复时，将保存的实时数据原始报文上传至部署服务器计算模块的服务器上；
业务计算模块，用于接收实时数据原始报文并解析，根据解析结果进行业务计算。
进一步的，数据传输模块中，将实时数据的原始报文上传到服务器时，上传的是压缩后的原始报文。。
进一步的，数据传输模块中，将实时数据的原始报文上传到服务器时，原始报文上传成功，则将本地系统中对应的原始报文文件删除或者移到备份目录；如果原始报文上传失败，则等待下次上传时间再次上传。
进一步的，业务计算模块中，业务计算包括瞬时值、最大值、最小值、平均值的业务计算。
与现有技术相比，本发明所达到的有益效果是：本发明可以将通讯中断所缺失数据按照通讯正常时的计算方法进行计算，保证了历史数据的完整性与正确性。
附图说明
图1为本发明方法的流程示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明的一种实时数据通讯恢复后补采方法，参见图1所示，包括以下步骤：
第一步，正常通讯时，将采集到的实时数据进行实时传输；
第二步，当发生通讯故障后，将采集到的实时数据以原始报文形式保存在本地系统；
在数据传输过程发生通讯故障时，将要发送的实时数据以原始报文存储在本地系统。采用文件方式进行存储。
第三步，当通讯故障恢复后，将实时数据的原始报文上传到服务器，在服务器端解析原始报文并进行业务计算。
在通讯恢复时，对保存的实时数据原始报文进行压缩处理，压缩的主要目的是减少传输时的数据量；然后定时将将压缩后的原始报文依次上传到服务器。上传到服务器的传输方式采用HTTP协议或者FTP协议。
如果原始报文上传成功，则将本地系统中对应的原始报文文件删除或者移到备份目录；如果原始报文上传失败，则不删除或者备份此原始报文，等待下次上传时间再次上传。
在服务器端，接收压缩的原始报文，根据规约格式解析原始报文并将解析内容存储到一个带时标的数据队列中。根据解析内容进行瞬时值、最大值、最小值、平均值的业务计算，然后将计算的结果存储到业务系统中。
相应的，本发明的一种实时数据通讯恢复后补采系统，由实时数据存储模块、数据传输模块和业务计算模块组成；
实时数据存储模块，用于发生通讯故障时，将要发送的实时数据以原始报文形式保存在本地系统；保存在本地系统的实时数据原始报文采用文件方式存储，
数据传输模块，用于在通讯故障恢复时，将保存的实时数据原始报文上传至部署服务器计算模块的服务器上；
业务计算模块，用于接收实时数据原始报文并解析，根据解析结果进行业务计算。
进一步的，数据传输模块中，在通讯恢复时，对保存的报文文件进行压缩处理。压缩的主要目的是减少传输时的数据量。
进一步的，数据传输模块中，将保存的实时数据原始报文上传时，如果文件上传成功，将本地系统保存目录下对应的实时数据原始报文文件删除或者移到备份目录；如果文件上传失败，则等待下次上传时间再次上传。
在数据传输过程中再次发生通讯故障，程序不能删除正在上传的文件。在通讯再次恢复时，重新上传未处理的文件，文件传输完整后，才能删除或者备份文件。
进一步的，业务计算模块中，定时将接收的实时数据原始报文数据读取出来，根据规约格式解析后存储到一个带时标的数据队列中。执行上述实时数据计算功能，使用一个实时数据计算线程，定时从数据队列获取读取数据线程解析后的数据，进行瞬时值、最大值、最小值、平均值和其他业务数据的计算，然后将计算的结果存储到业务系统中。
本发明方法实现在实时数据通讯故障发生时，可以全部记录下来要发送的实时数据，在通讯故障恢复后，能够全部恢复由于通讯中断所损失的数据。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
Claims (8)
1.一种实时数据通讯恢复后补采方法，其特征是，包括以下步骤：
正常通讯时，将采集到的实时数据进行实时传输；
当发生通讯故障后，将采集到的实时数据以原始报文形式保存在本地系统；
当通讯故障恢复后，将实时数据的原始报文上传到服务器，在服务器端解析原始报文并进行业务计算。
2.根据权利要求1所述的一种实时数据通讯恢复后补采方法，其特征是，将实时数据的原始报文上传到服务器时，上传的是压缩后的原始报文。
3.根据权利要求1所述的一种实时数据通讯恢复后补采方法，其特征是，将实时数据的原始报文上传到服务器时，原始报文上传成功，则将本地系统中对应的原始报文文件删除或者移到备份目录；如果原始报文上传失败，则等待下次上传时间再次上传。
4.根据权利要求1所述的一种实时数据通讯恢复后补采方法，其特征是，业务计算包括瞬时值、最大值、最小值、平均值的业务计算。
5.一种实时数据通讯恢复后补采系统，其特征是，包括实时数据存储模块、数据传输模块和业务计算模块；
实时数据存储模块，用于发生通讯故障时，将要发送的实时数据以原始报文形式保存在本地系统；
数据传输模块，用于在通讯故障恢复时，将保存的实时数据原始报文上传至部署服务器计算模块的服务器上；
业务计算模块，用于接收实时数据原始报文并解析，根据解析结果进行业务计算。
6.根据权利要求5所述的一种实时数据通讯恢复后补采系统，其特征是，数据传输模块中，将实时数据的原始报文上传到服务器时，上传的是压缩后的原始报文。
7.根据权利要求5所述的一种实时数据通讯恢复后补采系统，其特征是，数据传输模块中，将实时数据的原始报文上传到服务器时，原始报文上传成功，则将本地系统中对应的原始报文文件删除或者移到备份目录；如果原始报文上传失败，则等待下次上传时间再次上传。
8.根据权利要求5所述的一种实时数据通讯恢复后补采系统，其特征是，业务计算模块中，业务计算包括瞬时值、最大值、最小值、平均值的业务计算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911050849.9A CN111131378A (zh) | 2019-10-31 | 2019-10-31 | 一种实时数据通讯恢复后补采方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911050849.9A CN111131378A (zh) | 2019-10-31 | 2019-10-31 | 一种实时数据通讯恢复后补采方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111131378A true CN111131378A (zh) | 2020-05-08 |
Family
ID=70495482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911050849.9A Pending CN111131378A (zh) | 2019-10-31 | 2019-10-31 | 一种实时数据通讯恢复后补采方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111131378A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112559505A (zh) * | 2020-12-21 | 2021-03-26 | 深圳市航天泰瑞捷电子有限公司 | 一种实时数据补采装置、方法、计算机设备及储存介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104468586A (zh) * | 2014-12-11 | 2015-03-25 | 上海纽恩新能源科技有限公司 | 基于modbus协议的光伏电站远程智能监控通讯方法 |
| CN104601374A (zh) * | 2015-01-05 | 2015-05-06 | 北京数码大方科技股份有限公司 | 用于数控机床的网络故障处理方法和装置 |
-
2019
- 2019-10-31 CN CN201911050849.9A patent/CN111131378A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104468586A (zh) * | 2014-12-11 | 2015-03-25 | 上海纽恩新能源科技有限公司 | 基于modbus协议的光伏电站远程智能监控通讯方法 |
| CN104601374A (zh) * | 2015-01-05 | 2015-05-06 | 北京数码大方科技股份有限公司 | 用于数控机床的网络故障处理方法和装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112559505A (zh) * | 2020-12-21 | 2021-03-26 | 深圳市航天泰瑞捷电子有限公司 | 一种实时数据补采装置、方法、计算机设备及储存介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105824744B (zh) | 一种基于b2b平台的实时日志采集分析方法 | |
| CN106709069B (zh) | 高可靠性的大数据日志采集与传输方法 | |
| CN108521339B (zh) | 一种基于集群日志的反馈式节点故障处理方法及系统 | |
| CN105574096A (zh) | 一种日志信息获取并上传分析的方法及系统 | |
| CN111372209B (zh) | 信令数据处理方法、装置、设备及介质 | |
| CN102355368B (zh) | 一种网络设备的故障处理方法及系统 | |
| CN102571451B (zh) | 一种网元及其上传mr消息的方法 | |
| CN107977473B (zh) | 基于Logback的分布式系统日志的检索方法和系统 | |
| CN114449018B (zh) | 一种电力采集终端的日志文件自动上传方法、系统 | |
| CN104636242A (zh) | 一种基于Linux操作系统的系统日志自动删除重复内容的方法 | |
| CN112256551A (zh) | 一种远程日志抓取方法、装置、电子设备和存储介质 | |
| CN111131378A (zh) | 一种实时数据通讯恢复后补采方法及系统 | |
| CN111970151A (zh) | 虚拟及容器网络的流量故障定位方法及系统 | |
| CN104601374A (zh) | 用于数控机床的网络故障处理方法和装置 | |
| CN112286987B (zh) | 基于Apriori算法的电力物联异常告警压缩方法 | |
| CN111666193A (zh) | 基于实时日志解析的终端功能监控与测试的方法与系统 | |
| CN108959614A (zh) | 一种快照管理方法、系统、装置、设备及可读存储介质 | |
| CN112506886B (zh) | 一种多源业务操作日志采集方法及系统 | |
| CN111884883A (zh) | 一种用于业务接口的快速审计处理方法 | |
| CN108959657B (zh) | 一种数据变更处理方法及装置 | |
| CN108833125B (zh) | 还原语音话路的绘制方法、系统、计算机设备和存储介质 | |
| CN113128986A (zh) | 长链路交易的报错处理方法及装置 | |
| CN110727532A (zh) | 一种数据修复方法、电子设备及存储介质 | |
| CN112527758B (zh) | 一种高可用的日志采集和传输方法 | |
| CN203191979U (zh) | 轨道交通自动售检票系统线路控制中心离线数据采集系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200508 |
|
| RJ01 | Rejection of invention patent application after publication |