CN109656913B - 基于物联网的数据采集异常补招方法 - Google Patents
基于物联网的数据采集异常补招方法 Download PDFInfo
- Publication number
- CN109656913B CN109656913B CN201811569154.7A CN201811569154A CN109656913B CN 109656913 B CN109656913 B CN 109656913B CN 201811569154 A CN201811569154 A CN 201811569154A CN 109656913 B CN109656913 B CN 109656913B
- Authority
- CN
- China
- Prior art keywords
- data
- recruitment
- platform
- time
- concentrator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
一种基于物联网的数据采集异常补招方法，通过以下步骤进行数据异常补招：S1：平台对接收数据完整性进行判断；S2：对于不完整的数据进行分析其是否满足补招条件，若满足则进入补招流程；本方法通过集中器内存和平台历史数据库互补的补招策略，解决了因集中器内存容量的限制，导致的补招数据不完整，从而影响用电安全分析模型的精准度的棘手问题。本方法具备对数据缺失原因的判断，提高了电力安全系统分析建模的实用性；具备对补招数据准确性的判断、时间的自动校准功能，提高了用电安全系统建模分析的精准度，避免了电气火灾监控系统误判、运维人员误处理。
Description
技术领域
本发明涉及数据异常处理技术领域，具体是一种基于物联网数据采集的电力数据异常补招方法。
背景技术
近年来，由于电气设备使用不当、线路老化、监管不到位等因素导致我国电气火灾占火灾总数70％以上，居高不下，对人们生命安全造成很大威胁。传统的电气火灾防治措施已无法满足如今社会的安全需求。基于物联网、大数据的电气火灾监控技术已成为替代传统电气火灾防治技术的必然趋势，通过将智能仪表部署在用电回路中，采集用电回路的漏电流、电流、电压、功率、谐波、温度等数据，对数据进行分析、预警，实现对回路的运行状态进行监控，监控的准确性对数据质量要求很高。但是，监控数据会因为监控节点较多、网络传输的不稳定或仪表所处环境的各种问题导致采集数据缺失或异常，进而导致电气火灾监控系统的误判、运维人员误处理。
目前，电气火灾监控系统处理数据缺失或异常的方法一般是通过对终端采集仪表的内存数据进行补招，而且采取对所有缺失项进行补招的方式，缺少对缺失项原因的判断，以至于电力安全系统分析建模的实用性不高；而且，该补招方式往往因仪表内存的容量限制，导致补招数据不完整，从而降低建模分析的精准度。现有的数据补招方法也有从历史数据库中补招数据的方式，然而由于电气行业的特殊性，数据波动受到数据采集环境影响较大，现有的补招方式并没有充分考虑数据采集环境因素带来的影响，在补招数据时应当从历史数据中找到与缺失数据所在时间点采集环境因素最为接近的历史数据进行数据补招才科学、准确。
发明内容
为了解决上述现有技术中存在的问题，本发明提供了一种基于物联网的数据异常补招方法，能够兼顾环境的同时，使集中器存储与历史数据库互补的补招策略。
本发明的技术方案：一种基于物联网的数据采集异常补招方法，包括用于数据异常补招的平台，所述的平台通过集中器采集数据，所述的集中器连接数据采集模块，通过以下步骤进行数据异常补招：
S1：平台对接收数据完整性进行判断；
S2：对于不完整的数据进行分析其是否满足补招条件，若满足则进入补招流程；
所述的步骤S2中，当接收数据不完整时，执行以下步骤：
S21：判断平台与集中器之间的通信是否异常，若通信正常执行步骤S22，若通信异常则判断通信异常持续的时间是否大于集中器存储约定时间，若通信异常持续时间大于集中器存储约定时间，平台执行数据补招流程S23；
S22：平台向集中器发送对数据缺失模块的补招指令，从集中器中进行数据补招；
S23：平台根据数据变化趋势从历史数据中匹配运行规律最符合的数据上传平台，平台将数据补充到实时数据库；匹配最符合运行规律的数据采用计算最小数据距离的方法：
e表示数据距离
ti表示当天数据传输周期内数据取点时刻
xi表示当天数据传输周期内ti时刻数据点
x′i表示历史相同工作日数据传输周期内t′i时刻数据点
xi+1表示当天数据传输周期内ti+1时刻数据点
x′i+1表示历史相同工作日数据传输周期内t′i+1时刻数据点，
其中a，b为权重，a+b＝1,a和b大于0；N为提取数据数量；
把历史数据按时间进行分段，搜索所有时间段，并在每个时间段取点，分别计算各个时间段与今天时间段的数据距离，找到最小距离对应的时间段，利用该时间段对应的点的数据对缺失数据进行补充。
优选的，所述的步骤S1中判断数据完整性的方法为：根据集中器上传的数据的来源、时间属性、地址、数量、基本格式进行分析判断数据是否完整，上述参数有缺失则认为数据不完整。
优选的，所述的步骤S2中判断不完整的数据是否满足补招条件的方法为：当相邻两数据的时间差超过约定的传输周期时，判定数据缺失，满足数据补招条件。
优选的，当步骤2中判断不完整的数据需要补招时，进一步判断是否为供电系统自身原因造成的数据缺失：
若平台在数据缺失模块所在回路监测到有断电报警或带电异常报警，则为供电系统自身原因造成的正常数据流失，平台无需进行数据补招；
若平台在数据缺失模块所在回路未监测到断电报警或带电异常报警，则为监控系统异常原因造成的数据缺失，需要进行数据补招；根据缺失数据时间差确定需要补招数据的时间属性、数量、来源，之后平台下发补招指令。
优选的，所述的步骤S22中从集中器中进行数据补招的步骤如下：
A1：集中器接收平台补招指令后，根据平台发送的含有时间属性、地址、数量的数据帧，到集中器存储器中查找相应数据；
A2：集中器将在集中器存储器中找到的符合补招条件的模块实测数据上传至平台，随后传送一条结束帧指令作为集中器向平台告知从内存中补招数据流程的结束；
A3：平台接收补招数据后，根据补招上传数据的数量和时间属性判断补招数据是否补充完整，如果上传数据数量少于补招指令中补招数据数量，平台判定补招数据范围超出集中器的存储能力，平台执行步骤S23，从历史数据库中补招缺失的数据；如果上传数据数量等于补招指令中补招数据数量，则平台判断补招数据完整，结束本次补招流程。
优选的，所述的步骤A3中，在结束本次补招流程前，平台还会对补招数据的准确性进行判断，判断方法为：通过平台数字可视化工具对比数据的准确性，具体是通过报文解析工具和数据库开发工具，通过报文解析工具里的实时数据与数据库里历史数据进行比对，不准确的数据重新进行历史数据库补招，若全部补招数据均准确，则结束本次数据补招流程。
优选的，平台对历史数据库补招的非采集模块实测数据进行标识，通过平台数字可视化工具对比判断数据的准确性，若不准确，平台根据数据变化趋势重新匹配补招数据，对补招数据进行修正，直至补招数据准确性符合补招需求，结束补招流程。
本发明的有益效果：本方法通过集中器内存和平台历史数据库互补的补招策略，解决了因集中器内存容量的限制，导致的补招数据不完整，从而影响用电安全分析模型的精准度的棘手问题。本方法具备对数据缺失原因的判断，提高了电力安全系统分析建模的实用性；具备对补招数据准确性的判断、时间的自动校准功能，提高了用电安全系统建模分析的精准度，避免了电气火灾监控系统误判、运维人员误处理。
附图说明
图1是本发明的工作流程图；
图2是本发明数据完整性判断工作流程图。
具体实施方式
为了进一步说明本发明的技术细节以及其优点，现结合附图和具体案例进行说明。
本发明将智能监控模块安装在用电回路中，采集用电回路的漏电流、电流、电压、功率、谐波、温度等用电安全数据，实时监控用电回路的运行状态。监控模块的数据信息通过集中器的数据采集模块每隔3分钟打包数据，上传至集中器的通信管理模块。通信管理模块将接收到的模块数据信息发送到平台前置处理系统，同时将接收到的模块数据信息存储在集中器的数据存储器，集中器的数据存储是单独线程，与集中器与平台的通信线程相互独立，不受平台的通信异常影响。即集中器的数据存储器一直不间断存储着监控模块的数据信息。平台前置处理系统对接收到的模块数据进行数据完整性判断，然后将数据上传至平台实时数据库，平台再将实时数据库中的数据存入历史数据库，平台实时和历史数据经平台数据处理分析模型处理后，进行平台可视化输出。
实施例中电气火灾联网监测平台将本周期时间点接收到的智能模块测量值数据包作为判断数据缺失单位，系统将本时间点接收到的数据包内各个数据的时间属性与上一个周期时间点接收到的数据包内各个数据时间属性进行对比，例如本周期时间点数据包内同一模块地址的电压数据值为U的时间点为12:06分，而上一个周期时间点接收的数据包内同一模块地址的电压数据值为U’的时间点为12:00分，与12:06分相差6分钟，超过一个周期3分钟，则系统判定该数据包有数据缺失。若在12:00到12:06时间段内，平台未接收到模块断电报警信号，则系统根据缺失数据的时间属性、数量、地址生成数据补招指令。在判断出平台需要进行数据补招的结论后，平台按照以下流程下发补招指令：
系统通过心跳包(按照某一频率发送的数据包)判断平台与集中器间是否通信异常，若通信异常，判断异常持续时间(通信异常恢复接收到数据包时刻-通信异常发生前接收最后一个数据包时刻)是否大于集中器存储约定时间，若通信异常持续时间大于集中器存储约定时间，平台执行数据补招流程：
系统根据数据缺失范围向平台历史数据库发出补招指令，指令包括补招命令、补招对象、数据类型、补招数据起始时间。
平台根据数据变化趋势从历史数据库中匹配运行规律最符合的数据，上传平台，补充到平台实时数据库。根据以下自主研发的数据距离公式计算最小数据距离：
ti表示当天数据传输周期内数据取点时刻
xi表示当天数据传输周期内ti时刻数据点
x′i表示历史相同工作日数据传输周期内t′i时刻数据点
xi+1表示当天数据传输周期内ti+1时刻数据点
x′i+1表示历史相同工作日数据传输周期内t′i+1时刻数据点，
其中a，b为权重，a+b＝1,a和b大于0，本实施例中a、b都取0.5，N为提取数据数量。
遍历搜索所有的时间段，把历史数据划分成3分钟的时间段，并分别在每个时间段取点。利用以上公式，分别计算各个时间段与今天时间段的数据距离，以找到最小距离对应的时间段，利用该时间段对应的点的数据对缺失数据进行补充。系统通过心跳包判断平台与集中器间是否通信异常，若通信正常，系统向集中器发送对数据缺失模块的数据补招指令：包括补招命令、补招对象、数据类型、补招数据起始时间。
集中器接收平台补招指令后，根据平台发送的含有时间、地址、数量的数据帧，到集中器存储器中查找相应数据。
集中器将在集中器存储器中找到的符合补招条件的模块实测数据上传至平台，随后传送一条结束帧指令作为集中器向平台告知从内存中补招数据流程的结束。
平台接收补招数据后，根据补招上传数据的数量和时间属性判断补招数据是否补充完整。
如果上传数据数量少于补招命令中补招数据数量，平台判定补招数据范围超出集中器的存储能力，平台将从历史数据库中补招，根据数据变化趋势从历史数据库中匹配运行规律最符合的数据，补充到实时数据库，
若平台判断补招数据完整，平台结束补招流程。
平台对来源历史数据库的补招数据进行标识。
平台通过可视化工具判断补招数据的准确性，不准确的重新进行历史数据库补招；数据准确的，结束补招指令，平台继续接收周期性数据。
平台对从历史数据库补招的非模块实测数据进行标示，通过平台数字可视化工具对比判断数据的准确性。若不准确，平台根据数据变化趋势重新匹配补招数据，对补招数据进行修正，直至补招数据准确符合补招需求，结束补招流程。
本实施例通过系统自动智能检测数据缺失，省去人工查看数据环节，节省人力资源，系统进行补招数据前增加补招条件判断流程，避免了因电力系统自身原因造成数据缺失的非必要补招情况，提高了电力安全系统分析建模的实用性；对补招数据准确性的判断、时间的自动校准，提高了用电安全系统建模分析的精准度，为用户的电安全提供真实有效的分析手段，避免了电气火灾监控系统误判、运维人员误处理。
Claims (7)
1.一种基于物联网的数据采集异常补招方法，包括用于数据异常补招的平台，所述的平台通过集中器采集数据，所述的集中器连接数据采集模块，通过以下步骤进行数据异常补招：
S1：平台对接收数据完整性进行判断；
S2：对于不完整的数据进行分析其是否满足补招条件，若满足则进入补招流程；
其特征在于：所述的步骤S2中，当接收数据不完整时，执行以下步骤：
S21：判断平台与集中器之间的通信是否异常，若通信正常执行步骤S22，若通信异常则判断通信异常持续的时间是否大于集中器存储约定时间，若通信异常持续时间大于集中器存储约定时间，平台执行数据补招流程S23；若通信异常持续时间不大于集中器存储约定时间，平台等待通信异常恢复，继续接收数据；
S22：平台向集中器发送对数据缺失模块的补招指令，从集中器中进行数据补招；
S23：平台根据数据变化趋势从历史数据中匹配运行规律最符合的数据上传平台，平台将数据补充到实时数据库；匹配最符合运行规律的数据采用计算最小数据距离的方法：
e表示数据距离
ti表示当天数据传输周期内数据取点时刻
xi表示当天数据传输周期内ti时刻数据点
xi′表示历史相同工作日数据传输周期内ti′时刻数据点
xi+1表示当天数据传输周期内ti+1时刻数据点
x′i+1表示历史相同工作日数据传输周期内t′i+1时刻数据点，
其中a，b为权重，a+b＝1,a和b大于0；N为提取数据数量；
把历史数据按时间进行分段，搜索所有时间段，并在每个时间段取点，分别计算各个时间段与今天时间段的数据距离，找到最小距离对应的时间段，利用该时间段对应的点的数据对缺失数据进行补充。
2.根据权利要求1所述的基于物联网的数据采集异常补招方法，其特征在于：所述的步骤S1中判断数据完整性的方法为：根据集中器上传的数据的来源、时间属性、地址、数量、基本格式进行分析判断数据是否完整，上述参数有缺失则认为数据不完整。
3.根据权利要求1所述的基于物联网的数据采集异常补招方法，其特征在于：所述的步骤S2中判断不完整的数据是否满足补招条件的方法为：当相邻两数据的时间差超过约定的传输周期时，判定数据缺失，满足数据补招条件。
4.根据权利要求1或3所述的基于物联网的数据采集异常补招方法，其特征在于：当步骤2中判断不完整的数据需要补招时，进一步判断是否为供电系统自身原因造成的数据缺失：
若平台在数据缺失模块所在回路监测到有断电报警或带电异常报警，则为供电系统自身原因造成的正常数据流失，平台无需进行数据补招；
若平台在数据缺失模块所在回路未监测到断电报警或带电异常报警，则为监控系统异常原因造成的数据缺失，需要进行数据补招；根据缺失数据时间差确定需要补招数据的时间属性、数量、来源，之后平台下发补招指令。
5.根据权利要求1所述的基于物联网的数据采集异常补招方法，其特征在于：所述的步骤S22中从集中器中进行数据补招的步骤如下：
A1：集中器接收平台补招指令后，根据平台发送的含有时间属性、地址、数量的数据帧，到集中器存储器中查找相应数据；
A2：集中器将在集中器存储器中找到的符合补招条件的模块实测数据上传至平台，随后传送一条结束帧指令作为集中器向平台告知从内存中补招数据流程的结束；
A3：平台接收补招数据后，根据补招上传数据的数量和时间属性判断补招数据是否补充完整，如果上传数据数量少于补招指令中补招数据数量，平台判定补招数据范围超出集中器的存储能力，平台执行步骤S23，从历史数据库中补招缺失的数据；如果上传数据数量等于补招指令中补招数据数量，则平台判断补招数据完整，结束本次补招流程。
6.根据权利要求5所述的基于物联网的数据采集异常补招方法，其特征在于：所述的步骤A3中，在结束本次补招流程前，平台还会对补招数据的准确性进行判断，判断方法为：通过平台数字可视化工具对比数据的准确性，具体是通过报文解析工具和数据库开发工具，通过报文解析工具里的实时数据与数据库里历史数据进行比对，不准确的数据重新进行历史数据库补招，若全部补招数据均准确，则结束本次数据补招流程。
7.根据权利要求1-6任一项所述的基于物联网的数据采集异常补招方法，其特征在于：平台对历史数据库补招的非采集模块实测数据进行标识，通过平台数字可视化工具对比判断数据的准确性，若不准确，平台根据数据变化趋势重新匹配补招数据，对补招数据进行修正，直至补招数据准确性符合补招需求，结束补招流程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811569154.7A CN109656913B (zh) | 2018-12-20 | 2018-12-20 | 基于物联网的数据采集异常补招方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811569154.7A CN109656913B (zh) | 2018-12-20 | 2018-12-20 | 基于物联网的数据采集异常补招方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109656913A CN109656913A (zh) | 2019-04-19 |
| CN109656913B true CN109656913B (zh) | 2022-12-27 |
Family
ID=66115400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811569154.7A Active CN109656913B (zh) | 2018-12-20 | 2018-12-20 | 基于物联网的数据采集异常补招方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109656913B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111522900B (zh) * | 2020-03-18 | 2023-09-01 | 携程计算机技术（上海）有限公司 | 非结构化数据的自动解析方法、系统、设备及存储介质 |
| CN111723549B (zh) * | 2020-06-15 | 2023-06-16 | 中国电力科学研究院有限公司 | 省间和省内电力市场的模型嵌套与信息交互方法、系统及设备 |
| CN112116802A (zh) * | 2020-08-31 | 2020-12-22 | 宁波三星医疗电气股份有限公司 | 一种用于电力采集系统实时数据采集与上报的方法 |
| CN113225221B (zh) * | 2021-04-07 | 2022-08-05 | 杭州玖欣物联科技有限公司 | 一种工业互联网行业有效数据质量管理方法 |
| WO2023050229A1 (zh) * | 2021-09-29 | 2023-04-06 | 西门子股份公司 | 工业数据处理方法、装置、电子设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106128063A (zh) * | 2016-06-30 | 2016-11-16 | 国网山东省电力公司济南市历城区供电公司 | 异常用户采集补招装置 |
| CN106771862A (zh) * | 2016-12-08 | 2017-05-31 | 国网浙江省电力公司 | 一种网格与空间距离相结合的采集异常故障点聚合方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10990894B2 (en) * | 2013-07-11 | 2021-04-27 | Neura, Inc. | Situation forecast mechanisms for internet of things integration platform |
-
2018
- 2018-12-20 CN CN201811569154.7A patent/CN109656913B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106128063A (zh) * | 2016-06-30 | 2016-11-16 | 国网山东省电力公司济南市历城区供电公司 | 异常用户采集补招装置 |
| CN106771862A (zh) * | 2016-12-08 | 2017-05-31 | 国网浙江省电力公司 | 一种网格与空间距离相结合的采集异常故障点聚合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109656913A (zh) | 2019-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109656913B (zh) | 基于物联网的数据采集异常补招方法 | |
| CN109298379B (zh) | 一种基于数据监测的智能电表现场误差异常的识别方法 | |
| CN111965418A (zh) | 一种电能计量装置异常检测与电量追补方法及系统 | |
| CN115201616B (zh) | 一种基于大数据的充电机运行在线监测方法 | |
| CN110968061A (zh) | 设备故障的预警方法、装置、存储介质和计算机设备 | |
| CN116404758A (zh) | 一种智能印章柜配电监控预警控制系统 | |
| CN116520093A (zh) | 一种高压母线运行故障定位方法及装置 | |
| CN117318069B (zh) | 一种供电系统故障自愈方法及系统 | |
| CN117526577A (zh) | 一种分布式光伏并网电能质量监测系统及方法 | |
| CN116633002B (zh) | 一种基于人工智能的uv变频电源并联运行控制系统 | |
| CN106373028B (zh) | 一种电力维修系统 | |
| CN108680870B (zh) | 一种化成分容测试电源的可移动自动化标定系统及方法 | |
| CN116611953A (zh) | 基于物联网的电能表生产制造实时数据管理方法和系统 | |
| CN109581266B (zh) | 一种全光纤电流互感器的运行健康状况分析方法 | |
| CN111382172A (zh) | 一种配电终端后备电源多元健康度自检方法及系统 | |
| CN115684829A (zh) | 一种电力二次回路故障检测预警方法及系统 | |
| CN114113858B (zh) | 一种低压电容柜在线监测系统 | |
| CN116299129A (zh) | 一种全光纤电流互感器状态检测分析方法、装置及介质 | |
| CN115452031A (zh) | 一种旋转编码开关生产用检测系统 | |
| CN115129011A (zh) | 基于边缘计算的工业资源管理方法 | |
| CN112305987A (zh) | 一种基于物联网的水利自动化管理系统 | |
| CN107450030B (zh) | 一种通信蓄电池遥测数据处理方法、装置及系统 | |
| CN117559634A (zh) | 基于数据分析的变电站使用电源运行监管系统 | |
| CN113095705B (zh) | 一种基于大数据的舷外机故障检测系统 | |
| CN116542510B (zh) | 船舶电气调试流程的优化配置方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Rongan Inventor after: Huang Laibin Inventor after: Gu Peigong Inventor after: Yu Chengjun Inventor after: Yu Chengyang Inventor after: Xiao Yi Inventor before: Li Rongan Inventor before: Huang Laibin Inventor before: Gu Peigong Inventor before: Yu Chengjun Inventor before: Yu Chengyang Inventor before: Xiao Yi |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |