CN111652417A - 一种远传抄表数据的自动校正方法与系统 - Google Patents

Abstract

本发明涉及一种远传抄表数据的自动校正方法与系统，包括以下步骤：利用历史数据训练得到各类用气特征；使用所述各类用气特征构建气量拟合模型，从而得到气量预测模型；基于所述气量预测模型对接入的抄表原始数据进行修正；将修正后的抄表原始数据存入历史数据，循环前述步骤。本发明利用过去几年的历史数据训练最终得到气量预测模型，当接入了新的抄表原始数据后，使用气量预测模型来修正抄表原始数据，解决了燃气表具远传数据因环境、网络等因素造成数据误差的问题，使后端燃气核心数据资产业务能更快捷、准确的完成，并且将修正后的抄表原始数据存入历史数据，循环更新气量预测模型，使得数据修正越来越准确。

Description

一种远传抄表数据的自动校正方法与系统

技术领域

本发明涉及抄表数据校正技术领域，特别涉及一种远传抄表数据的自动校正方法与系统。

背景技术

远传抄表作为燃气行业提升服务效率和服务质量的重要手段正逐步实施应用，抄表数据作为燃气业务的核心数据对预付费用管理等燃气后续业务有重要影响。

由于远传表具安装的环境复杂性及网络覆盖能力的差异性，某些情况下会导致远传抄表数据存在缺失或误差，造成数据准确性不足，影响后续业务的开展，而采用人工补正的方式，在处理实时性和工作量方面会造成巨大的压力。

对远传数据实施自动校正，包括对燃气数据的预测纠错与补正，完善燃气核心数据资产，对支撑燃气行业业务具有重大意义，因此目前急需一种可自动校准远程抄表数据的方案。

发明内容

本发明的目的在于改善现有技术中所存在的不足，提供一种远传抄表数据的自动校正方法与系统。

为了实现上述发明目的，本发明实施例提供了以下技术方案：

一种远传抄表数据的自动校正方法，包括以下步骤：

步骤S1：利用历史数据训练得到各类用气特征；

步骤S2：使用所述各类用气特征构建气量拟合模型，从而得到气量预测模型；

步骤S3：基于所述气量预测模型对接入的抄表原始数据进行修正；

步骤S4：将修正后的抄表原始数据存入历史数据，循环步骤S1-步骤S4。

本方案中，利用过去几年的历史数据训练得到各类用气特征，再利用这些用气特征来构建气量拟合模型，结合气量拟合模型和各类用气特征得到气量预测模型，该气量预测模型即用于对接入的新的抄表原始数据进行修正，对历史数据进行训练，提取用气量预测模型以修正新的抄表原始数据，解决了燃气表具远传数据因环境、网络等因素导致的数据误差问题，自动修正数据，使得后端接收的远传数据为准确的数据。并且将修正后的抄表原始数据存入历史数据，以不断更新气量预测模型，使得以后的修正工作越来越准确。

更进一步地，为了更详细的说明如何利用历史数据训练得到各类用气特征，所述步骤S1具体包括以下步骤：

步骤S1-1：对历史数据进行属性扩展预处理，得到扩展后的历史数据，所述扩展后的历史数据包括表号、行业属性、抄表时间、抄表月份、所在月度、抄表读数；

步骤S1-2：对扩展后的历史数据依据抄表所在月份进行差分加工求得用户月度用气量数据；

步骤S1-3：根据行业属性及抄表月份对用户月度用气量数据进行分组统计，整理得到行业月度用气量行为特征，所述行业月度用气量行为特征包括行业属性、抄表月份、所在月度、户数、用气总量、用气均量、用气方差；

步骤S1-4:以抄表月份为参照，将步骤S1-2得到的用户月度用气量数据减去其所在行业月度用气均量，得到用户各月份用气量的残差特征；所述用户各月份用气量的残差特征包括表号、抄表月份、用气量、所在月度、行业属性、行业户均用气量、用气量残差；

步骤S1-5:依据用户各月份用气量残差特征的用户、所在月度对所述残差特征进行分组统计，得到用户残差均量及方差特征；所述用户残差均量及方差特征包括用户、所在月度、用气量残差均值，用气量残差方差；

步骤S1-6：将步骤S1-3得到的行业月度用气量行为特征进一步按所在月度进行分组统计，获得行业月度用气增量特征；所述行业月度用气增量特征包括行业属性、所在月度、用气宏观增量、用气宏观增量方差。

本方案对历史数据进行训练，最终得到行业月度用气量行为特征、用户残差均量及方差特征、行业月度用气增量特征这三个重要的用气特征，以供后续步骤构建模型。

更进一步地，为了更详细的说明如何使用各类用气特征得到气量预测模型，所述步骤S2具体包括以下步骤：

步骤S2-1：采用所述步骤S1得到的各类用气特征进行气量拟合模型的构建和迭代拟合，综合模型的训练误差和测试误差，选定模型参数，得到气量拟合模型；

步骤S2-2：以选定的气量拟合模型参数为基础，存储步骤S1-3、步骤S1-5、步骤S1-6所得到的行业月度用气量行为特征、用户残差均量及方差特征、行业月度用气增量特征，构成气量预测模型。

本方案利用前述步骤得到的行业月度用气量行为特征、用户残差均量及方差特征、行业月度用气增量特征来构建气量拟合模型，再结合气量拟合模型和行业月度用气量行为特征、用户残差均量及方差特征、行业月度用气增量特征得到气量预测模型，该气量预测模型即用于对后续接入的新的抄表原始数据进行修正。

更进一步地，为了更详细的说明如何利用气量预测模型对接入的抄表原始数据进行修正，所述步骤S3具体包括以下步骤：

步骤S3-1：接入抄表原始数据，通过预定义规则对抄表原始数据进行初步过滤；

步骤S3-2：对接入的抄表原始数据及其表号进行行业属性的关联，并根据抄表时间扩展出抄表月份、所在月度的属性，得到扩展后的抄表原始数据；所述扩展后的抄表原始数据包括表号、行业属性、抄表月份、所在月度、抄表读数；

步骤S3-3：结合过滤和扩展后的抄表原始数据，以及步骤S2-2得到的气量预测模型计算气量预测值范围，使用气量预测值范围对本次接入的抄表原始数据进行修正。

本方案利用前述步骤得到的气量预测模型对接入的新的抄表原始数据进行修正，解决了燃气表具远传数据因环境、网络等因素导致的数据误差问题，自动修正数据，使得后端接收的远传数据为准确的数据。

更进一步地，为了更详细的说明如何通过预定义规则对抄表原始数据进行初步过滤：将本次接入的抄表原始数据与上一次接入的抄表原始数据做差，如果得到的差值为负值，则本次接入的原始数据有误，并对本次原始数据进行标注，继续等待接入下一条抄表原始数据；如果得到的差值为正值，则执行步骤S3-2。

更进一步地，为了更详细的说明如何对本次接入的抄表原始数据进行修正：将本次过滤和扩展后的抄表原始数据与步骤S3-3得到的气量预测值范围进行对比，所述气量预测值范围由行业用气范围、用户残差范围、宏观增量范围组成；如果本次实际接入的抄表原始数据计算得到的用气量在气量预测值范围内，则采取实际接入的抄表原始数据；否则，以气量预测值范围修正本次接入的抄表原始数据。

更进一步地，为了更详细的说明为何要将修正后的抄表原始数据存入历史数据，所述步骤S4具体包括以下步骤：

步骤S4-1：将修正后的抄表原始数据存入历史数据；

步骤S4-2：以更新后的历史数据按需定期循环步骤S1以训练得到更新的气量拟合模型。

本方案将修正后的抄表原始数据存入历史数据，以更新训练气量拟合模型，进而得到更新的气量预测模型，使得以后对接入的抄表原始数据的修正越来越准确。

更进一步地，为了更加完善本方案将远传数据修正后的后续工作，还包括步骤S5：将修正后的历史数据上传至上层业务接口，完成对燃气核心数据资产业务的完善工作，比如完善了后续的预付费管理、远程控阀等业务开展。

一种远传抄表数据的自动校正系统，包括：

抄表网络，用于远传采集各处抄表原始数据，并将各个抄表原始数据与其表号、行业属性、抄表时间进行整合后，通过可用的通信协议上传至数据自校正单元；

数据自校正单元，用于对接入的抄表原始数据修正和存储；

上层业务接口，用于接收数据自校正单元修正后的数据。

更进一步地，所述数据自校正单元包括：

历史数据分析模块，用于提取历史数据并训练得到气量拟合模型和气量预测模型；

抄表数据接入规则过滤模块，用于接入抄表网络上传的抄表原始数据，并对抄表原始数据进行过滤和扩展；

数据校正模块，用于根据历史数据分析模块得到的气量预测模型，对过滤和扩展后的抄表原始数据进行修正；

抄表数据存储模块，用于存储气量拟合参数、气量预测模型以及修正后的抄表原始数据。

与现有技术相比，本发明的有益效果：

(1)本发明利用过去几年的历史数据训练得到行业月度用气量行为特征、用户残差均量及方差特征、行业月度用气增量特征，利用这些用气特征构建出气量拟合模型，结合气量拟合模型和各类用气特征事先得到气量预测模型，当接入了新的抄表原始数据后，使用气量预测模型来修正抄表原始数据，解决了燃气表具远传数据因环境、网络等因素造成数据误差的问题，使后端燃气核心数据资产业务能更快捷、准确的完成，并且将修正后的抄表原始数据存入历史数据，循环更新气量预测模型，使得数据修正越来越准确。

(2)本发明省去了硬件设计的苛刻要求，减少环境、网络对硬件的影响而造成的数据缺失或误差，降低现有抄表系统体系的复杂性，实施低成本的业务运行。

(3)本发明将修正后的数据继续存档，周期性的自动循环数据修正和历史数据存档的工作，使历史数据的准确率不断提升，同时也减少人为干预加入的失误性错误。

(4)不限于接入远传抄表原始数据的方式，可使用多种通用的通信协议接入抄表原始数据，如图3所示，比如包括Lora、NB-loT、GPRS等通信协议均可使用，不对特定的通信协议具有依赖，可广泛适用于多种通信方式。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明自动校正方法流程图；

图2为本发明自动校正系统模块框图；

图3为本发明抄表网络模块框图；

图4为本发明数据自校准单元模块框图；

图5为本发明上层业务接口模块框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图和实施例中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

实施例：

本发明通过下述技术方案实现，如图1所示，一种远传抄表数据的自动校正方法，包括对抄表原始数据的离线校正任务和在线校正任务，具体包括以下步骤：

步骤S1：利用历史数据训练得到各类用气特征。

本步骤属于对抄表原始数据的离线校正任务，意在通过数据训练的方式得到相关的各类用气特征。

本实施例假设提取近5年的抄表历史数据，通过数据采样的方式采集以月为单位频率的用气量数据，首先对历史数据进行相关行业属性扩展预处理，得到扩展后的抄表数据，所述扩展后的抄表数据包括但不限于表号、行业属性、抄表时间、抄表月份、所在月度、抄表读数。

对扩展预处理后的历史数据依据抄表所在月份进行差分加工求得用户月度用气量数据，根据扩展得到的行业属性和抄表月份对所述用户月度用气量数据进行分组统计，并整理得到行业月度用气量行为特征，所述行业月度用气量行为特征包括行业属性、抄表月份、所在月度、户数、用气总量、用气均量、用气方差。

以抄表月份为参照，将所述用户月度用气量数据减去其所在行业月度用气均量，得到用户各月份用气量的残差特征，所述用户各月份用气量的残差特征包括但不限于表号、抄表月份、用气量、所在月度、行业属性、行业户均用气量、用气量残差。

依据用户各月份用气量残差特征的用户、所在月度对所述残差特征进行分组统计，得到用户残差均量及方差特征，所述用户残差均量及方差特征包括但不限于用户、所在月度、用气量残差均值、用气量残差方差。

将所述行业月度用气量行为特征进一步按所在月度进行分组统计，获得行业月度用气增量特征，所述行业月度用气增量特征包括但不限于行业属性、所在月度、用气宏观增量、用气宏观增量方差。

本步骤得到了三类重要的用气特征，即行业月度用气量行为特征、用户残差均量及方差特征、行业月度用气增量特征，以供后续的步骤构建得到气量拟合模型和气量预测模型。

步骤S2：使用所述各类用气特征构建气量拟合模型，从而得到气量预测模型。

采用步骤S1得到的行业月度用气量行为特征、用户残差均量及方差特征、行业月度用气增量特征进行气量拟合模型的构建和迭代拟合。首先对普通的气量拟合模型进行训练误差和测试误差，选定模型参数，得到气量拟合模型。以选定的气量拟合模型参数为基础，存储行业月度用气量行为特征、用户残差均量及方差特征、行业月度用气增量特征，最终构成气量预测模型。

本步骤采用步骤S1中得到的行业月度用气量行为特征、用户残差均量及方差特征、行业月度用气增量特征来构建气量拟合模型，再将气量拟合模型和前述行业月度用气量行为特征、用户残差均量及方差特征、行业月度用气增量特征结合起来，得到气量预测模型，所述气量预测模型用于后续步骤修正新接入的抄表原始数据，到此即完成离线校正任务。

步骤S3：基于所述气量预测模型对接入的抄表原始数据进行修正。

接入新的抄表原始数据，通过预定义规则对抄表原始数据进行初步过滤，将本次接入的抄表原始数据与上一次接入的抄表原始数据做差，如果得到的差值为负值，则说明本次接入的原始数据有误，并对本次原始数据进行标注，继续等待接入下一条抄表原始数据；如果得到的差值为正值或为零，则进行后续步骤。

此处需要说明的是，接入抄表原始数据是指累计值，比如从使用燃气开始计算，使用的气量只会越来越多，而非一个月期间使用的气量，所以只有当本次接入的抄表原始数据比上一次接入的抄表原始数据多或增值为零的时候，才是正常的数据。

对接入的抄表数据进行初步过滤后，将该抄表原始数据及其表号进行行业属性关联，并根据抄表时间扩展出抄表月份、所在月度的属性，得到扩展后的抄表原始数据，所述扩展后的抄表原始数据包括表号、行业属性、抄表月份、所在月度、抄表读数。

结合进行了初步过滤和扩展后的抄表原始数据，以及步骤S2得到的气量预测模型计算本次的气量预测值范围，使用气量预测值范围对本次接入的抄表原始数据进行修正。

具体的修正方法为：将本次过滤和扩展后的抄表原始数据与气量预测值范围进行对比，所述气量预测值范围由行业用气范围、用户残差范围、宏观增量范围三个范围叠加而成。其中所述行业用气范围＝(所在行业、上一年该月度户均用气量的均值±上一年该月度户均用气量标准差*3)；所述用户残差范围＝(表号所代表的用户的该月度用气量残差±3*气量残差标注差)；所述宏观增量范围＝(所在行业、所在月度的平均宏观增量±3*宏观增量方差)；所述标准差为对应方差开方。如果本次实际接入的抄表原始数据计算得到的用气量在用气预测值范围内，则采取实际接入的抄表原始数据；否则，以气量预测值范围修正本次接入的抄表原始数据。

需要说明得是，上述行业用气范围＝(所在行业、上一年该月度户均用气量的均值±上一年该月度户均用气量标准差*3)更详细的来说，该行业用气范围表示(所在行业、上一年该月度户均用气量的均值-上一年该月度户均用气量标准差*3)至(所在行业、上一年该月度户均用气量的均值+上一年该月度户均用气量标准差*3)，比如(n±m)的范围表示为(n-m，n+m)，替他范围表示与此相同，不再赘述。

步骤S4：将修正后的抄表原始数据存入历史数据，循环步骤S1-步骤S4。

本发明意在解决燃气表具远传数据因安装环境、网络等原因造成数据误差的问题，步骤S1-步骤S3利用历史数据构建气量预测模型，使用气量预测模型对接入的新的抄表原始数据(也可称为抄表数据)进行修正，以得到准确的远传数据。由于步骤S1利用的是历史数据，为了使提取的历史数据也更准确，因此本步骤将前述步骤修正得到的抄表数据存入历史数据，在循环步骤S1-步骤S4时，能使用更新后的历史数据来得到气量预测模型，使得数据修正越来越精确。

步骤S5：将修正后的历史数据上传至上层业务接口，完成对燃气核心数据资产业务的完善工作，如图5所示，比如完善了后续的预付费管理、远程控阀等业务开展。

基于上述方法，本发明还提出一种远传抄表数据的自动校正系统，如图2所示，包括：

抄表网络，用于远传采集各处抄表原始数据，并将各个抄表原始数据与其表号、行业属性、抄表时间进行整合后，通过可用的通信协议上传至数据自校正单元；

数据自校正单元，用于对接入的抄表原始数据修正和存储；

上层业务接口，用于接收数据自校正单元修正后的数据。

更进一步地，如图4所示，所述数据自校正单元包括：

历史数据分析模块，用于提取历史数据并训练得到气量拟合模型和气量预测模型；

抄表数据接入规则过滤模块，用于接入抄表网络上传的抄表原始数据，并对抄表原始数据进行过滤和扩展；

数据校正模块，用于根据历史数据分析模块得到的气量预测模型，对过滤和扩展后的抄表原始数据进行修正；

抄表数据存储模块，用于存储气量拟合参数、气量预测模型以及修正后的抄表原始数据。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种远传抄表数据的自动校正方法，其特征在于：包括以下步骤：

步骤S1：利用历史数据训练得到各类用气特征；

步骤S2：使用所述各类用气特征构建气量拟合模型，从而得到气量预测模型；

步骤S3：基于所述气量预测模型对接入的抄表原始数据进行修正；

步骤S4：将修正后的抄表原始数据存入历史数据，循环步骤S1-步骤S4。

2.根据权利要求1所述的方法，其特征在于：所述步骤S1具体包括以下步骤：

步骤S1-1：对历史数据进行属性扩展预处理，得到扩展后的历史数据，所述扩展后的历史数据包括表号、行业属性、抄表时间、抄表月份、所在月度、抄表读数；

步骤S1-2：对扩展后的历史数据依据抄表所在月份进行差分加工求得用户月度用气量数据；

步骤S1-3：根据行业属性及抄表月份对用户月度用气量数据进行分组统计，整理得到行业月度用气量行为特征，所述行业月度用气量行为特征包括行业属性、抄表月份、所在月度、户数、用气总量、用气均量、用气方差；

步骤S1-4:以抄表月份为参照，将步骤S1-2得到的用户月度用气量数据减去其所在行业月度用气均量，得到用户各月份用气量的残差特征；所述用户各月份用气量的残差特征包括表号、抄表月份、用气量、所在月度、行业属性、行业户均用气量、用气量残差；

步骤S1-5:依据用户各月份用气量残差特征的用户、所在月度对所述残差特征进行分组统计，得到用户残差均量及方差特征；所述用户残差均量及方差特征包括用户、所在月度、用气量残差均值，用气量残差方差；

步骤S1-6：将步骤S1-3得到的行业月度用气量行为特征进一步按所在月度进行分组统计，获得行业月度用气增量特征；所述行业月度用气增量特征包括行业属性、所在月度、用气宏观增量、用气宏观增量方差。

3.根据权利要求2所述的方法，其特征在于：所述步骤S2具体包括以下步骤：

步骤S2-1：采用所述步骤S1得到的各类用气特征进行气量拟合模型的构建和迭代拟合，综合模型的训练误差和测试误差，选定模型参数，得到气量拟合模型；

步骤S2-2：以选定的气量拟合模型参数为基础，存储步骤S1-3、步骤S1-5、步骤S1-6所得到的行业月度用气量行为特征、用户残差均量及方差特征、行业月度用气增量特征，构成气量预测模型。

4.根据权利要求3所述的方法，其特征在于：所述步骤S3具体包括以下步骤：

步骤S3-1：接入抄表原始数据，通过预定义规则对抄表原始数据进行初步过滤；

步骤S3-2：对接入的抄表原始数据及其表号进行行业属性的关联，并根据抄表时间扩展出抄表月份、所在月度的属性，得到扩展后的抄表原始数据；所述扩展后的抄表原始数据包括表号、行业属性、抄表月份、所在月度、抄表读数；

步骤S3-3：结合过滤和扩展后的抄表原始数据，以及步骤S2-2得到的气量预测模型计算气量预测值范围，使用气量预测值范围对本次接入的抄表原始数据进行修正。

5.根据权利要求4所述的方法，其特征在于：所述通过预定义规则对抄表原始数据进行初步过滤的步骤，包括：将本次接入的抄表原始数据与上一次接入的抄表原始数据做差，如果得到的差值为负值，则本次接入的原始数据有误，并对本次原始数据进行标注，继续等待接入下一条抄表原始数据；如果得到的差值为正值，则执行步骤S3-2。

6.根据权利要求4所述的方法，其特征在于：所述对本次接入的抄表原始数据进行修正的步骤，包括：将本次过滤和扩展后的抄表原始数据与步骤S3-3得到的气量预测值范围进行对比，所述气量预测值范围由行业用气范围、用户残差范围、宏观增量范围组成；如果本次实际接入的抄表原始数据计算得到的用气量在气量预测值范围内，则采取实际接入的抄表原始数据；否则，以气量预测值范围修正本次接入的抄表原始数据。

7.根据权利要求4所述的方法，其特征在于：所述步骤S4具体包括以下步骤：

步骤S4-1：将修正后的抄表原始数据存入历史数据；

步骤S4-2：以更新后的历史数据按需定期循环步骤S1以训练得到更新的气量拟合模型。

8.根据权利要求1所述的方法，其特征在于：还包括步骤S5：将修正后的历史数据上传至上层业务接口。

9.一种远传抄表数据的自动校正系统，其特征在于：包括：

抄表网络，用于远传采集各处抄表原始数据，并将各个抄表原始数据与其表号、行业属性、抄表时间进行整合后，通过可用的通信协议上传至数据自校正单元；

数据自校正单元，用于对接入的抄表原始数据修正和存储；

上层业务接口，用于接收数据自校正单元修正后的数据。

10.根据权利要求9所述的系统，其特征在于：所述数据自校正单元包括：

历史数据分析模块，用于提取历史数据并训练得到气量拟合模型和气量预测模型；

抄表数据接入规则过滤模块，用于接入抄表网络上传的抄表原始数据，并对抄表原始数据进行过滤和扩展；

数据校正模块，用于根据历史数据分析模块得到的气量预测模型，对过滤和扩展后的抄表原始数据进行修正；

抄表数据存储模块，用于气量拟合参数、气量预测模型以及修正后的抄表原始数据。

Images