CN113590608A - 一种基于数据流处理的用户用电信息即采即校方法 - Google Patents
一种基于数据流处理的用户用电信息即采即校方法 Download PDFInfo
- Publication number
- CN113590608A CN113590608A CN202111147265.0A CN202111147265A CN113590608A CN 113590608 A CN113590608 A CN 113590608A CN 202111147265 A CN202111147265 A CN 202111147265A CN 113590608 A CN113590608 A CN 113590608A
- Authority
- CN
- China
- Prior art keywords
- data
- time
- value
- demand
- electricity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供一种基于数据流处理的用户用电信息即采即校方法,涉及电力系统自动化技术领域,该方法包括:获取第一时间段内的第一用电数据;对所述第一用电数据进行校核;若所述第一用电数据校核通过,将所述第一用电数据传输给数据库。该方法能够解决目前传统数据校核方式耗时,严重影响系统运行,不能满足实时分析业务的需求的问题。
Description
技术领域
本申请涉及电力系统自动化技术领域,具体而言,涉及一种基于数据流处理的用户用电信息即采即校方法。
背景技术
目前,随着社会经济的发展和智能电网的建设,电网规模不断扩大,电力用户不断增多,以某一电网为例,目前每日需对4700万电力用户进行信息采集,日处理数据量在100GB以上。现有的采集数据校核方式,存在的缺陷是:
传统数据校核方式采用先入库后分析的方式,Oracle 数据库在读写速度在超过8Mbit/s 后会到达性能瓶颈,上百GB容量的采集数据在校核时对数据库进行大量读写,不仅十分耗时,也严重影响系统运行。
传统数据采集及处理存在实时性不高的缺陷。传统数据校核方式在分析时为批量入库,批量处理,分析方式为定时分析,定时分析的周期固定,且定时分析的周期频率不能设置太高,不能满足实时分析业务的需求。
发明内容
本申请实施例的目的在于提供一种基于数据流处理的用户用电信息即采即校方法,用以解决传统数据采集及处理存在实时性不高的缺陷。
主要包括以下几个方面:
第一方面,本申请提供一种基于数据流处理的用户用电信息即采即校方法,包括:
获取第一时间段内的第一用电数据;
对所述第一用电数据进行校核;
若所述第一用电数据校核通过,将所述第一用电数据传输给数据库。
本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法,对获取到的第一时间段内的第一用电数据进行校核,将校核通过的第一用电数据传输至数据库。这种对第一用电数据即采即校的处理方法,避免了大量的第一用电数据从数据库进行读写的过程,极大降低了数据运算压力,缩短了数据处理时间。
在一些可选的实现方式中,所述第一用电数据包括:示值数据和需量数据,所述对所述第一用电数据进行校核,包括:
对所述示值数据进行校核;
对所述需量数据进行校核;
若所述示值数据和所述需量数据均校核通过,则表征所述第一用电数据校核通过。
在上述实现方式中,可以对示值数据和需量数据进行校核,在示值数据或需量数据校核不通过时,第一用电数据校核未通过,提高第一用电数据的校验的准确性。
在一些可选的实现方式中,所述第一用电数据包括:示值数据,所述对所述示值数据进行校核,包括:
判断所述示值数据的采集时间是否为第一预设时间;
判断所述示值数据是否存在异常;
若所述示值数据的采集时间为所述第一预设时间,且所述示值数据不存在异常,则表征所述示值数据校核通过。
在上述实现方式中,通过判断示值数据的采集时间和是否存在异常,可以得到有效、准确的示值数据。
在一些可选的实现方式中,所述示值数据包括:第一时间段内的总示值、所述第一时间段内多个时间节点的示值;所述判断所述示值数据是否存在异常,包括:
判断所述总示值与所述多个时间节点的示值是否满足预设条件;
判断所述总示值是否大于第一预设值;
若判断所述总示值与所述多个时间节点的示值满足所述预设条件,且所述总示值大于所述第一预设值,则表征所述示值数据不存在异常。
在上述实现方式中,判断总示值与多个时间节点的示值是否满足预设条件,以及总示值是否大于第一预设值。采用这两个判据,可进一步确定出准确、有效的示值数据。
在一些可选的实现方式中,所述第一用电数据包括:需量数据,所述对所述需量数据进行校核,包括:
判断所述需量数据的采集时间是否为第二预设时间;
判断所述需量数据是否存在异常;
若所述需量数据的采集时间为所述第二预设时间,且所述需量数据不存在异常,则表征所述需量数据校核通过。
在上述实现方式中,通过判断需量数据的采集时间和是否存在异常,可以得到有效、准确的需量数据。
在一些可选的实现方式中,所述判断所述需量数据是否存在异常包括:
判断所述需量数据是否等于零;
判断所述第一时间段内的总示值是否大于零;
判断所述需量数据是否大于等于第二预设值;
判断所述需量数据是否小于第三预设值;
若所述需量数据等于零,且所述第一时间段内的总示值不大于零,则表征所述需量数据不存在异常;
若所述需量数据不等于零,所述需量数据大于等于所述第二预设值,且所述需量数据小于所述第三预设值,则表征所述需量数据不存在异常;
在上述实现方式中,判断需量数据是否存在异常,采用了多个判据,只有在相应的判据符合要求时,才能确定该需量数据是有效的。多个判据可进一步确定出准确、有效的需量数据。
在一些可选的实现方式中,若所述第一用电数据为第一指定时刻的用电数据,则对所述第一用电数据进行校核;
若所述第一用电数据校核通过,将所述第一用电数据发送给指定终端;
若所述第一用电数据校核未通过,则判断是否存在第二指定时刻的校核通过的第二用电数据;
若存在所述第二指定时刻的校核通过的所述第二用电数据,将所述第二指定时刻校核通过的所述第二用电数据发送给所述指定终端。
在上述实现方式中,第一指定时刻为当月的最后一天,未获取到第一指定时刻的数据或获取到的第一指定时刻的数据校核不通过,可以采用第二指定时刻校核通过的数据替代。这样,不仅缩短了数据传输时间,也提高了数据传输完整率。
在一些可选的实现方式中,所述获取第一时间段内的第一用电数据,包括:
按照预设时间间隔采集第一时间段内的多组第一用电数据;
所述对所述第一用电数据进行校核,包括:
判断各组所述第一用电数据是否相等。
在上述实现方式中,多次采集第一用电数据并判断采集到的第一用电数据是否相等,由此,可剔除采集过程中不合格的第一用电数据,获得准确的第一用电数据。
第二方面,本申请实施例提供一种基于数据流处理的用户用电信息即采即校装置,所述装置包括:
获取模块,用于获取第一时间段内的第一用电数据;
校核模块,用于对所述第一用电数据进行校核;
传输模块,用于若所述第一用电数据校核成功,将所述第一用电数据传输至数据库。
第三方面,本申请实施例还提供了一种电子设备,所述电子设备包括存储器和处理器,所述存储器中存储有程序指令,所述处理器读取并运行所述程序指令时,执行上述任一实现方式中的步骤。
第四方面,本申请实施例还提供了一种存储介质,所述可读取存储介质中存储有计算机程序指令,所述计算机程序指令被一处理器读取并运行时,执行上述任一实现方式中的步骤。
为使本申请实施例的上述目的、特征和优点能更明显易懂,下面将结合实施例,并配合所附附图,作详细说明。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法的运行环境示意图;
图2为本申请实施例提供的电子设备的方框示意图;
图3为本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法的流程图;
图4为本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法的步骤520的一种具体流程图;
图5为本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法的步骤521的一种具体流程图;
图6为本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法的步骤5212的一种具体流程图;
图7为本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法的步骤522的一种具体流程图;
图8为本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法的步骤5222的一种具体流程图;
图9为本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法的示值数据校核的具体流程图;
图10为本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法的需量数据校核的具体流程图;
图11本申请实施例提供的一种基于数据流处理的用户用电信息即采即校装置的功能模块示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。以下对本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例中,采用了新的数据校核方法,在入库前完成数据校核,避免了海量数据从数据库进行读写的过程,极大降低了数据运算压力,缩短了数据处理时间。传统校核方式采用的批处理方式无法满足实时处理需求,与原先的批量计算相比,采用flink流式计算的方式,从庞大的连续数据流当中进行实时提取、校核操作,实现实时分析功能。在进行数据采集和校核时,如果未采集到月冻结数据或者数据校验不合格,将采用数据替代的方法,用月末日冻结数据等效替代月末冻结数据,不仅缩短了数据推送时间,也提高了数据推送完整率。
为便于对本实施例进行理解,首先对执行本申请实施例所公开的一种基于数据流处理的用户用电信息即采即校方法的电子设备或运行环境进行详细介绍。
如图1所示,是本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法的运行环境示意图。校验设备100通过网络与一个或多个采集机群400进行通信连接,以进行数据通信或交互。示例性地,该校验设备100可以是网络服务器、个人电脑(personal computer,PC)等。该采集机群400可以是具有通信功能的电表、可以是与电表连接的终端设备。该终端设备可以是个人电脑(personal computer,PC)、平板电脑、智能手机、个人数字助理(personal digital assistant,PDA)等。
校验设备100还可以通过网络与数据库200进行通信连接,以将校验后的用电数据存入数据库200。示例性地,该数据库200可以是数据库服务器。
数据库200还可以通过网络与营销系统300进行通信连接,以将存入数据库200的用电数据推送至营销系统300。示例性地,该营销系统300也可以是个人电脑、平板电脑、智能手机、个人数字助理等。
如图2所示,是校验设备100的方框示意图。校验设备100可以包括存储器120和处理器110。本领域普通技术人员可以理解,图2所示的结构仅为示意,其并不对校验设备100的结构造成限定。例如,校验设备100还可包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。
上述的存储器120和处理器110相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器110用于执行存储器中存储的可执行模块。
其中,存储器120可以是,但不限于,随机存取存储器(Random Access Memory,简称RAM),只读存储器(Read Only Memory,简称ROM),可编程只读存储器(ProgrammableRead-Only Memory,简称PROM),可擦除只读存储器(Erasable Programmable Read-OnlyMemory,简称EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory,简称EEPROM)等。其中,存储器120用于存储程序,所述处理器110在接收到执行指令后,执行所述程序,本申请实施例任一实施例揭示的过程定义的校验设备100所执行的方法可以应用于处理器110中,或者由处理器110实现。
上述的处理器110可能是一种集成电路芯片,具有信号的处理能力。上述的处理器110可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(digital signalprocessor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本实施例中的校验设备100可以用于执行本申请实施例提供的各个方法中的各个步骤。下面通过几个实施例详细描述一种基于数据流处理的用户用电信息即采即校方法的实现过程。
请参阅图3,是本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法的流程图。下面将对图3所示的具体流程进行详细阐述。
步骤510、获取第一时间段内的第一用电数据。
示例性地,第一用电数据可以包括示值数据和需量数据。
示值数据可以包括第一时间段内的总示值,以及第一时间段内多个时间节点的示值。第一时间段内的总示值可以为该第一时间段内的总电量值。第一时间段内多个时间节点的示值可以为该第一时间段内不同时间节点的电量值。
需量数据可以是规定时间内的平均功率值。示例性地,该规定时间可以为10分钟、15分钟、20分钟等时长。
为了提高用电数据校核的时效性,可以缩短校核用电数据的间隔。示例性地, 第一时间段可以是24小时、36小时、48小时、72小时等更长时长或者更短时长,本实施例中关于第一时间段的举例仅仅为示意性的,第一时间段的选择可以根据实际情况具体设置,例如,需要校核的用电数据的量较大时,该第一时间段可以选择相对较长的时长,例如,48小时,需要校核的用电数据的量较小时,该第一时间段可以选择相对较短的时长,例如,24小时。
在步骤510的一些实现方式中,可以将获取的第一用电数先按照Kafka数据队列存储,在需要使用该第一用电数据时,可以从该Kafka数据队列中获取第一用电数据。Kafka是一个分布式、分区的、多副本的、多订阅者,基于Zookeeper协调的分布式日志系统。其中,ZooKeeper 是一个集中式服务,用于维护配置信息、命名、提供分布式同步和提供组服务。
步骤520、对第一用电数据进行校核。
示例性地,在redis中存在缓存的档案数据,其中,redis是一个基于Key-Value的NoSQL数据库。其缓存的档案数据可以是另一时间段的示值数据和需量数据。
对第一用电数据校核即是比对第一用电数据和redis中缓存的档案数据,在Kafka和redis之间,部署了分布式实时流计算组件Flink,其中,Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。由此,Flink可以对第一用电数据进行实时处理。
步骤530、若第一用电数据校核通过,将第一用电数据传输给数据库。
在判断第一用电数据校核通过后,将第一用电数据传输给Oracle数据库中。
进一步地,通过实时分析获取的第一用电数据,可以及时采取相关措施,例如,若获取的第一用电数据校核不通过,可以立即补采第一用电数据,可以及时获取到符合要求的用电数据,提高对用电数据的实时性分析能力。本实施例中即采即校再入库的操作方式,避免了数据库需要进行大量数据的读写,极大降低了数据库的运算压力,缩短了数据处理时间。
可选地,第一用电数据可以包括:示值数据和需量数据。在此基础上,如图4所示,图4为本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法的步骤520的一种具体流程图,步骤520可以包括以下步骤521至步骤523。
步骤521、对示值数据进行校核。
示例性地,可以判断示值数据是否为负数,若是,则确定该示值数据为异常数据。
示例性地,可以判断示值数据与上一时间段的示值数据的差值是否为负数,若是,则确定该示值数据为异常数据。
示例性地,可以获取示值数据对应的用户的历史用电数据,根据该历史用电数据确定出该用户在任意与该第一时间段相同时长的用电峰值,判断示值数据是否大于该用电峰值指定倍数,若是,则确定该示值数据为异常数据。可选地,该指定倍数可以是1.2、1.5、2等值。
步骤522、对需量数据进行校核。
示例性地,可以判断需量数据是否为负数,若是,则确定该需量数据为异常数据。
示例性地,可以判断需量数据中的最大需量是否大于电表的需量,该电表的需量可以是用户报给电力公司的值,若是,则确定该需量数据为异常数据。
示例性地,可以获取需量数据对应的用户的历史需量数据,根据该历史需量数据确定出该用户在任意与该第一时间段相同时长的用电最大需量,判断需量数据是否大于该用电最大需量指定倍数,若是,则确定该需量数据为异常数据。可选地,该指定倍数可以是1.2、1.5、2等值。
步骤523、若示值数据和需量数据均校核通过,则表征第一用电数据校核通过。
示例性地,示值数据可以是用户使用的电能总和,需量数据可以是15分钟内用户用电的平均功率,若示值数据和需量数据均校核通过,第一用电数据校核通过。在一个实例中,步骤521和步骤522的顺序可以互换,可以先对需量数据进行校核,再对示值数据进行校核,两者的校核顺序没有必然的先后顺序之分。
图5为本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法的步骤521的一种具体流程图,如图5所示,步骤521可以包括以下步骤5211和步骤5212 。
步骤5211、判断示值数据的采集时间是否为第一预设时间。
在步骤5211中,第一预设时间为示值数据的抄表时刻,该抄表时刻可以是当日晚上十一点或者晚上十二点,也可以是隔天晚上十一点或者晚上十二点。
若示值数据的获取不是第一预设时间,则获取到的示值数据为无效数据。
步骤5212、判断示值数据是否存在异常。
参加图6,图6为本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法的步骤5212的一种具体流程图,步骤5212可以包括以下步骤a至步骤b。
步骤a、判断总示值与多个时间节点的示值是否满足预设条件。
在步骤a中,多个时间节点可以包括:第一时间段内用电量最多的时间段、第一时间段内用电量最少的时间段、第一时间段内用电量变化最平缓的时间段。
例如,该第一时间段内用电量最多的时间段可以是早上8:00至10:00,该第一时间段内用电量最多的时间段也可以是早上9:00至11:30,该第一时间段内用电量最多的时间段也可以是晚上18:00至23:00。
例如,该第一时间段内用电量最少的时间段可以是早上1:00至7:00,该第一时间段内用电量最少的时间段也可以是晚上23:00至早上3:00。
例如,该第一时间段内用电量最平缓的时间段可以是上午10:00至12:00,该第一时间段内用电量最平缓的时间段也可以是下午14:00至18:00。
预设条件可以是多个时间节点的示值与总示值的差值的范围。判断总示值与多个时间节点的示值的差的绝对值是否满足范围,该范围为0~0.3。若总示值与多个时间节点的示值的差的绝对值在0~0.3之间,则获取的总示值为有效数据。
步骤b、判断总示值是否大于第一预设值。
在步骤b中,第一预设值可以是上一个24小时或48小时获取的总示值,判断本次的24小时或48小时获取的总示值与上一个24小时或48小时获取的总示值,若总示值有增加,则获取的总示值为有效数据。
第一预设值也可以是上一个月末获取的总示值,判断本次获取到的总示值与上一个月末获取的总示值,若总示值有增加,则获取的总示值为有效数据。
若判断总示值与多个时间节点的示值满足预设条件,且总示值大于第一预设值,则表征示值数据不存在异常。
通过判断总示值与多个时间节点的示值的差值满足范围条件,且本次获取的总示值大于上次获取的总示值,可以表征获取的示值数据不存在异常。
在步骤5212中,采用多种判据判断示值数据是否存在异常,若示值数据存在异常,则示值数据为无效数据。
若示值数据的采集时间为第一预设时间,且示值数据不存在异常,则表征示值数据校核通过。
需要说明的是,在步骤521中的一些实现方式中,上述步骤5211可以在步骤5212之前执行,即先判断示值数据的采集时间是否为第一预设时间,再判断示值数据是否存在异常。上述步骤5212也可以在步骤5211之前执行,即先判断示值数据是否存在异常,再判断示值数据的采集时间是否为第一预设时间。
参加图7,图7为本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法的步骤522的一种具体流程图,则步骤522可以包括以下步骤5221和步骤5222。
步骤5221、判断需量数据的采集时间是否为第二预设时间。
在步骤5221中,第二预设时间可以为需量数据的发生时刻,该发生时刻可以是24小时内,也可以是一个月内。若需量数据的采集时间是第二预设时间,则采集到的需量数据为有效数据;若需量数据的采集时间不是第二预设时间,则采集到的需量数据为无效数据。
步骤5222、判断需量数据是否存在异常。
在步骤5222中,采用多种判据判断需量数据是否存在异常,若需量数据不存在异常,需量数据为有效数据;若需量数据存在异常,则需量数据为无效数据。
若需量数据的采集时间为第二预设时间,且需量数据不存在异常,则表征需量数据校核通过。
参加图8,图8为本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法的步骤5222的一种具体流程图,则步骤5222包括以下步骤c至步骤f执行时,可以包括如下实现方式:
步骤c、判断需量数据是否等于零。
在步骤c中,需量数据为指定的时间周期内,测得的平均功率值。
步骤d、判断第一时间段内的总示值是否大于零。
在步骤d中,第一时间段内的总示值可以是一日内消耗电能的数量,也可以是一月内消耗电能的数量。第一时间段内的总示值大于零,则表示该日内或该月内有电能消耗。
步骤e、判断需量数据是否大于等于第二预设值。
在步骤e中,第二预设值可以是当月平均功率,若需量数据大于等于当月平均功率,则为有效数据;若需量数据小于当月平均功率,则为无效数据。
步骤f、判断需量数据是否小于第三预设值。
在步骤f中,第三预设值可以是判断需量是否超容的一个值,需量数据与倍率的积小于运行容量与倍数的积,其中,倍率为互感器的倍数,运行容量是变压器的容量,运行容量与倍数的积表示可接受的超过运行容量的值,该倍数可以是1.5,也可以是1.4,也可以是1.3。
在一个实例中,也可以按最大需量判断需量数据是否超容,只要一个月内连续15分钟超过最大需量数据,则判断超容。
若需量数据等于零,且第一时间段内的总示值不大于零,则表征需量数据不存在异常。
若需量数据不等于零,需量数据大于等于第二预设值,且需量数据小于第三预设值,则表征需量数据不存在异常。
在一可选地实施方式中,本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法还可以包括步骤g至步骤j。
步骤g、若第一用电数据为第一指定时刻的用电数据,则对第一用电数据进行校核;
步骤h、若第一用电数据校核通过,将第一用电数据发送给指定终端;
步骤i、若第一用电数据校核未通过,则判断是否存在第二指定时刻的校核通过的第二用电数据;
步骤j、若存在第二指定时刻的校核通过的第二用电数据,将第二指定时刻校核通过的第二用电数据发送给指定终端。
示例性地,第一指定时刻可以是月的最后一天,若月的最后一天获取到了第一用电数据,且第一用电数据校核通过,就把月的最后一天的第一用电数据作为整个月的第一用电数据,该第一用电数据可以包括示值数据和需量数据,将第一用电数据发送给指定终端。在一个实例中,该指定终端可以是具有联网功能的电子设备,该电子设备可以是工程设备的配置器、计算机、个人数字助理等。
第二指定时刻可以是第一指定时刻的前一天,判断第二指定时刻是否存在校核通过的数据,若存在,使用第以指定时刻的前一天的第二用电数据替代第一指定时刻的第一用电数据。
第二指定时刻也可以是第一指定时刻的前两天,在第一指定时刻的前一天不存在校核通过的第二用电数据时,判断第一指定时刻的前两天是否存在校核通过的第二用电数据 ,若存在,使用第一指定时刻的前两天的第二用电数据替代第一指定时刻的第一用电数据。采用这种方式,不仅缩短了数据推送时间,也提高了数据推送完整率。
可选地,获取第一时间段内的第一用电数据,包括:按照预设时间间隔采集第一时间段内的多组第一用电数据;对第一用电数据进行校核,包括:判断各组第一用电数据是否相等。
示例性地,预设时间间隔可以是五分钟,也可以是十分钟,也可以是二十分钟。第一用电数据在第一时间段末进行冻结,按照预设时间间隔去采集多组第一用电数据,第一用电数据包括:总示值、多个时间节点的示值和需量数据。
示例性地,第一组第一用电数据可以包括总示值a1、多个时间节点的示值b11、b12、b 13和需量数据c1等,其中b11为用电量最多的时间段的示值,b12为用电量最少的时间段的示值,b13为用电量变化最平缓的时间段的示值。预设时间间隔后采集第二组第一用电数据,第二组第一用电数据可以包括总示值a2、多个时间节点的示值b21、b22、b23和需量数据c2等。分别判断第一组第一用电数据和其对应第二组第一用电数据的值是否相等,若不相等,则判断第三组第一用电数据与第一组或第二组第一用电数据是否相等,由此类推。若多组第一用电数据均不相等,则第一用电数据校核不通过。
如图9所示,图9为本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法的示值数据校核的具体流程图;
示例性地,获取第一时间端内的示值数据,对该示值数据的校核的步骤为:
判断示值数据是否大于用电峰值指定倍数;判断示值数据与上一时间段的示值数据的差值是否为负数;判断各组第一用电数据是否相等;判断总示值与多个时间节点的示值是否满足预设条件;判断示值数据的采集时间是否为第一预设时间;判断总示值是否大于第一预设值;
若示值数据满足上述步骤的条件,则该示值数据校核通过。
如图10所示,图10为本申请实施例提供的一种基于数据流处理的用户用电信息即采即校方法的需量数据校核的具体流程图;
示例性地,获取第一时间端内的需量数据,对该需量数据的校核的步骤为:
判断需量数据的采集时间是否为第二预设时间;判断需量数据是否等于零;判断第一时间段内的总示值是否大于零;判断需量数据是否大于等于第二预设值;判断需量数据是否小于第三预设值;
若需量数据满足上述步骤的条件,则该需量数据校核通过。
本申请实施例提供的基于数据流处理的用户用电信息即采即校方法能够解决目前传统数据校核方式耗时,严重影响系统运行,不能满足实时分析业务的需求的问题。该用电数据校核方法在入库前完成数据校核,极大降低了数据运算能力,缩短了数据处理时间。并采用了flink流式计算的方式,从庞大的连续数据流当中进行实时提取、校核操作,实现实时分析功能。
该用电数据校核方法在进行数据采集和校核时,对未采集到或校核不通过的数据采用替代的方法,不仅缩短了数据推送时间,也提高了数据推送完整率。
基于同一申请构思,本申请实施例中还提供了与一种基于数据流处理的用户用电信息即采即校方法对应的装置,由于本申请实施例中的装置解决问题的原理与前述的一种基于数据流处理的用户用电信息即采即校方法实施例相似,因此本实施例中的装置的实施可以参见上述方法的实施例中的描述,重复之处不再赘述。
请参阅图11,是本申请实施例提供的一种基于数据流处理的用户用电信息即采即校装置的功能模块示意图。本实施例中的装置中的各个模块用于执行上述方法实施例中的各个步骤。一种基于数据流处理的用户用电信息即采即校装置600包括:获取模块610、校核模块620和传输模块630,其中,各个模块如下所示。
获取模块610,用于获取第一时间段内的第一用电数据;
校核模块620,用于对第一用电数据进行校核;
传输模块630,用于若第一用电数据校核成功,将第一用电数据传输至数据库。
在一可选的实施方式中,第一用电数据包括:示值数据和需量数据,上述的校核模块620,还用于:
对示值数据进行校核;
对需量数据进行校核;
若示值数据和需量数据均校核通过,则表征第一用电数据校核通过。
在一可选的实施方式中,第一用电数据包括:示值数据,上述的校核模块620,还用于:
判断示值数据的采集时间是否为第一预设时间;
判断示值数据是否存在异常;
若示值数据的采集时间为第一预设时间,且示值数据不存在异常,则表征示值数据校核通过。
在一可选的实施方式中,示值数据包括:第一时间段内的总示值、第一时间段内多个时间节点的示值,上述的校核模块620,还用于:
判断总示值与多个时间节点的示值是否满足预设条件;
判断总示值是否大于第一预设值;
若判断总示值与多个时间节点的示值满足预设条件,且总示值大于第一预设值,则表征示值数据不存在异常。
在一可选的实施方式中,第一用电数据包括:需量数据,上述的校核模块620,还用于:
判断需量数据的采集时间是否为第二预设时间;
判断需量数据是否存在异常;
若需量数据的采集时间为第二预设时间,且需量数据不存在异常,则表征需量数据校核通过。
在一可选的实施方式中,上述的校核模块620,还用于:
判断需量数据是否等于零;
判断第一时间段内的总示值是否大于零;
判断需量数据是否大于等于第二预设值;
判断需量数据是否小于第三预设值;
若需量数据等于零,且第一时间段内的总示值不大于零,则表征需量数据不存在异常;
若需量数据不等于零,需量数据大于等于第二预设值,且需量数据小于第三预设值,则表征需量数据不存在异常。
在一可选的实施方式中,用电校验装置还用于:若第一用电数据为第一指定时刻的用电数据,则对第一用电数据进行校核;
若第一用电数据校核通过,将第一用电数据发送给指定终端;
若第一用电数据校核未通过,则判断是否存在第二指定时刻的校核通过的第二用电数据;
若存在第二指定时刻的校核通过的第二用电数据,将第二指定时刻校核通过的第二用电数据发送给指定终端。
在一可选的实施方式中,上述的校核模块620,还用于:
按照预设时间间隔采集第一时间段内的多组第一用电数据;
判断各组所述第一用电数据是否相等。
此外,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的一种基于数据流处理的用户用电信息即采即校方法的步骤。
本申请实施例所提供的一种基于数据流处理的用户用电信息即采即校方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的一种基于数据流处理的用户用电信息即采即校方法的步骤,具体可参见上述方法实施例,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于数据流处理的用户用电信息即采即校方法,其特征在于,包括:
获取第一时间段内的第一用电数据;
对所述第一用电数据进行校核;
若所述第一用电数据校核通过,将所述第一用电数据传输给数据库。
2.根据权利要求1所述的方法,其特征在于,所述第一用电数据包括:示值数据和需量数据,所述对所述第一用电数据进行校核,包括:
对所述示值数据进行校核;
对所述需量数据进行校核;
若所述示值数据和所述需量数据均校核通过,则表征所述第一用电数据校核通过。
3.根据权利要求2所述的方法,其特征在于,所述第一用电数据包括:示值数据,所述对所述示值数据进行校核,包括:
判断所述示值数据的采集时间是否为第一预设时间;
判断所述示值数据是否存在异常;
若所述示值数据的采集时间为所述第一预设时间,且所述示值数据不存在异常,则表征所述示值数据校核通过。
4.根据权利要求3所述的方法,其特征在于,所述示值数据包括:第一时间段内的总示值、所述第一时间段内多个时间节点的示值;所述判断所述示值数据是否存在异常,包括:
判断所述总示值与所述多个时间节点的示值是否满足预设条件;
判断所述总示值是否大于第一预设值;
若判断所述总示值与所述多个时间节点的示值满足所述预设条件,且所述总示值大于所述第一预设值,则表征所述示值数据不存在异常。
5.根据权利要求2所述的方法,其特征在于,所述第一用电数据包括:需量数据,所述对所述需量数据进行校核,包括:
判断所述需量数据的采集时间是否为第二预设时间;
判断所述需量数据是否存在异常;
若所述需量数据的采集时间为所述第二预设时间,且所述需量数据不存在异常,则表征所述需量数据校核通过。
6.根据权利要求5所述的方法,其特征在于,所述判断所述需量数据是否存在异常包括:
判断所述需量数据是否等于零;
判断所述第一时间段内的总示值是否大于零;
判断所述需量数据是否大于等于第二预设值;
判断所述需量数据是否小于第三预设值;
若所述需量数据等于零,且所述第一时间段内的总示值不大于零,则表征所述需量数据不存在异常;
若所述需量数据不等于零,所述需量数据大于等于所述第二预设值,且所述需量数据小于所述第三预设值,则表征所述需量数据不存在异常。
7.根据权利要求1-6任意一项所述的方法,其特征在于,所述方法还包括:
若所述第一用电数据为第一指定时刻的用电数据,则对所述第一用电数据进行校核;
若所述第一用电数据校核通过,将所述第一用电数据发送给指定终端;
若所述第一用电数据校核未通过,则判断是否存在第二指定时刻的校核通过的第二用电数据;
若存在所述第二指定时刻的校核通过的所述第二用电数据,将所述第二指定时刻校核通过的所述第二用电数据发送给所述指定终端。
8.根据权利要求1所述的方法,其特征在于,所述获取第一时间段内的第一用电数据,包括:
按照预设时间间隔采集第一时间段内的多组第一用电数据;
所述对所述第一用电数据进行校核,包括:
判断各组所述第一用电数据是否相等。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器中存储有程序指令,所述处理器运行所述程序指令时,执行权利要求1-8中任一项所述方法中的步骤。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序指令,所述计算机程序指令被一处理器运行时,执行权利要求1-8任一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111147265.0A CN113590608A (zh) | 2021-09-29 | 2021-09-29 | 一种基于数据流处理的用户用电信息即采即校方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111147265.0A CN113590608A (zh) | 2021-09-29 | 2021-09-29 | 一种基于数据流处理的用户用电信息即采即校方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113590608A true CN113590608A (zh) | 2021-11-02 |
Family
ID=78242544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111147265.0A Pending CN113590608A (zh) | 2021-09-29 | 2021-09-29 | 一种基于数据流处理的用户用电信息即采即校方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113590608A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115375192A (zh) * | 2022-10-24 | 2022-11-22 | 国网天津市电力公司营销服务中心 | 一种基于用户用电行为的违约用电研判方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106908753A (zh) * | 2017-03-28 | 2017-06-30 | 云南电网有限责任公司大理供电局 | 一种基于互联网传输数据的电能表现场校验装置与数据云存储系统 |
CN107682329A (zh) * | 2017-09-26 | 2018-02-09 | 国网上海市电力公司 | 一种电力数据传输存储方法及装置 |
CN110930034A (zh) * | 2019-11-22 | 2020-03-27 | 广东电力交易中心有限责任公司 | 一种电力现货市场结算计量数据校验方法、装置及介质 |
CN112347072A (zh) * | 2020-09-30 | 2021-02-09 | 宁波三星医疗电气股份有限公司 | 一种电力采集终端数据的校验方法 |
-
2021
- 2021-09-29 CN CN202111147265.0A patent/CN113590608A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106908753A (zh) * | 2017-03-28 | 2017-06-30 | 云南电网有限责任公司大理供电局 | 一种基于互联网传输数据的电能表现场校验装置与数据云存储系统 |
CN107682329A (zh) * | 2017-09-26 | 2018-02-09 | 国网上海市电力公司 | 一种电力数据传输存储方法及装置 |
CN110930034A (zh) * | 2019-11-22 | 2020-03-27 | 广东电力交易中心有限责任公司 | 一种电力现货市场结算计量数据校验方法、装置及介质 |
CN112347072A (zh) * | 2020-09-30 | 2021-02-09 | 宁波三星医疗电气股份有限公司 | 一种电力采集终端数据的校验方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115375192A (zh) * | 2022-10-24 | 2022-11-22 | 国网天津市电力公司营销服务中心 | 一种基于用户用电行为的违约用电研判方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114298863B (zh) | 一种智能抄表终端的数据采集方法及系统 | |
CN112199367B (zh) | 一种长时间尺度功率平衡校验和大数据分析方法及系统 | |
CN112199421B (zh) | 一种多源异构数据融合和量测数据多源互校验方法及系统 | |
CN109255523B (zh) | 基于kks编码规则和大数据架构的分析指标计算平台 | |
CN104811344A (zh) | 网络动态业务监控方法及装置 | |
CN112307003B (zh) | 电网数据多维辅助分析方法、系统、终端及可读存储介质 | |
CN114444827B (zh) | 一种集群性能的评估方法和装置 | |
CN114595210A (zh) | 一种多维数据的异常检测方法、装置及电子设备 | |
CN115905927A (zh) | 用电异常用户的识别方法、装置、电子设备及存储介质 | |
CN116231633A (zh) | 配电网碳排放量的监测方法、装置、设备及存储介质 | |
CN113590608A (zh) | 一种基于数据流处理的用户用电信息即采即校方法 | |
CN111612647A (zh) | 计量表异常数据检测方法、装置、计量表及可读存储介质 | |
CN110991761A (zh) | 一种供热负荷预测方法及装置 | |
CN113391256B (zh) | 一种现场作业终端的电能表计量故障分析方法及系统 | |
Hodge et al. | Examining information entropy approaches as wind power forecasting performance metrics | |
CN112949697B (zh) | 一种管道异常的确认方法、装置及计算机可读存储介质 | |
CN114154716A (zh) | 一种基于图神经网络的企业能耗预测方法及装置 | |
CN116303480B (zh) | 基于云计算的电能表误差校验方法 | |
CN116166655B (zh) | 大数据清洗系统 | |
CN115600831A (zh) | 用户理论响应潜力评估方法、装置、终端及存储介质 | |
CN116186950A (zh) | 燃气管网模拟仿真的处理方法、系统、装置和存储介质 | |
CN113376564B (zh) | 基于数据分析的智能电表计量校正方法、装置及终端 | |
CN115207909A (zh) | 一种台区拓扑识别方法、装置、设备及存储介质 | |
CN102547789A (zh) | 端到端业务质量预警方法、装置及系统 | |
CN111695829B (zh) | 一种指标波动周期计算方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211102 |
|
RJ01 | Rejection of invention patent application after publication |