CN103678522B - 一种智能变电站计量系统数据采集和转换方法 - Google Patents

一种智能变电站计量系统数据采集和转换方法 Download PDF

Info

Publication number
CN103678522B
CN103678522B CN201310624704.1A CN201310624704A CN103678522B CN 103678522 B CN103678522 B CN 103678522B CN 201310624704 A CN201310624704 A CN 201310624704A CN 103678522 B CN103678522 B CN 103678522B
Authority
CN
China
Prior art keywords
data
time
metering system
conversion method
intelligent substation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310624704.1A
Other languages
English (en)
Other versions
CN103678522A (zh
Inventor
徐云松
崔占平
张乔宾
张春峰
沈沉
陈春红
李�杰
顾峰
王西邓
马仪成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XJ Electric Co Ltd
Xuchang XJ Software Technology Co Ltd
Original Assignee
XJ Electric Co Ltd
Xuchang XJ Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XJ Electric Co Ltd, Xuchang XJ Software Technology Co Ltd filed Critical XJ Electric Co Ltd
Priority to CN201310624704.1A priority Critical patent/CN103678522B/zh
Publication of CN103678522A publication Critical patent/CN103678522A/zh
Application granted granted Critical
Publication of CN103678522B publication Critical patent/CN103678522B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Selective Calling Equipment (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Abstract

本发明公开了一种智能变电站计量系统数据采集和转换方法，首先按照设定规约类型实时采集一组待测数据；再设定T为缓存时间缓存状态变化的待测数据，并在经过缓存时间T后，发送数据；抽取发送的数据中感兴趣的数据，更新存储到设定的数据库中，以供其他规约类型的进程根据需要进行调用。本发明的智能变电站计量系统数据采集和转换方法通过利用数据缓存进行成批处理的方式来完成数据的采集、转换、入库及二次使用，对一段时间内发生的多个数据变化一次处理完毕，减少程序运算的次数，处理效率高，在保证数据响应速度、不丢失数据的前提下，减少了CPU占用率；使用数据库缓存数据，数据库提供标准访问接口，为一个或者多个访问程序提供服务。

Description

一种智能变电站计量系统数据采集和转换方法
技术领域
本发明涉及一种智能变电站计量系统数据采集和转换方法。
背景技术
在新一代智能变电站中，对计量系统的电能采集终端提出了更为高级的要求。要求电能采集终端采集IEC61850数据，把IEC61850数据转换成IEC102（或者其它规约）数据，而IEC61850的数据模型和IEC102（或者其它规约）的数据模型和建模方式都不相同，这就需要将两个或多个不同规约类型的数据进行转换。
IEC61850是面向对象的建模方法，是基于对象的交互，它以数据为中心来描述系统，把每块电表看成是一个对象，该对象封装了数据和数据的行为。数据成员DO（数据对象）包含在IED（智能电子设备）—>LD（逻辑设备）—>LN（逻辑节点）层级中。数据对象的行为映射成服务，包括报告服务、读服务、写服务、控制服务、取代服务、定值服务等。通过以太网，使用基于MMS（制造报文规范）的ACSI（抽象通信服务接口）传输数据。报告是上送信息最主要的手段，有变位上送、循环上送和总召上送三种方式。
IEC102是结构化的建模方法，结构化的建模方法是基于功能的分解和抽象，模型简单、直观，可读性好。
目前，对于各种不同的数据从一个模型空间转换到另外一个模型空间一般采用直接转换的方式进行处理，具体过程如下：当收到一个A模型空间的数据时，立刻根据所需的另一模型的规则对其进行转换并发送出去，即当A模型空间一个遥信状态发生改变时，程序立刻将其弹出，守护进程截获弹出的消息后，把数据提取出来进行重整后再发出。这种处理方式虽然程序架构简单，但是每个数据都被直接处理，CPU占用率较高，当增加其它规约的时候，程序需要全部重写，可扩展性差。
发明内容
本发明的目的是提供一种智能变电站计量系统数据采集和转换方法，以解决现有采集转换方法报文频繁上送导致的CPU占用率高以及扩展性差的问题。
为了实现以上目的，本发明所采用的技术方案是：一种智能变电站计量系统数据采集和转换方法，包括如下步骤：
（1）按照设定规约类型实时采集一组待测数据；
（2）设定T为缓存时间，缓存状态变化的待测数据，并在经过缓存时间T后，发送数据。
（3）抽取所述步骤2）发送的数据中感兴趣的数据，更新存储到设定的数据库中，以供一个或多个其他规约类型的进程根据需要进行调用。
所述步骤（2）中，缓存状态变化的待测数据具体过程如下：当该组待测数据中的其中一个状态发生变化时，开始计时，并将该变化的数据进行缓存，当达到设定的缓存时间T后，把该T时段内所有发生变化的数据统一进行发送；如果在该T时段内有同一个数据发生第二次变化，则立刻将此T时段内该数据第二次变化时刻之前所有发生变化的数据统一进行发送，同时将该数据第二次变化的时刻作为缓存时间T重新计时的起始时刻，重新开始新的缓存周期。
各待测数据以变位的方式进行实时采集，且每个采集周期均进行缓存，采集周期为Tb，0<Tb<T。
所述步骤（2）中的缓存时间T为一个滑动时间窗，其起始时刻随缓存时间到期或者同一个数据在T时间段内发生两次变化而更新起始时刻。
所述步骤（3）中感兴趣的数据包括数据的数值、品质和时标。
所述步骤（3）中，首先根据所述发送数据的参引计算hash值，根据hash值查找索引号，通过索引号找到映射关系后，完成数据抽取。
将数据统一发送或更新存储至数据库时均采用FIFO的原则。
所述步骤（1）中的待测数据包括遥测、遥信、电能、需量数据。
本发明的智能变电站计量系统数据采集和转换方法通过利用数据缓存进行成批处理的方式来完成数据的采集、转换、入库及二次使用，对一段时间内发生的多个数据变化一次处理完毕，可以减少程序运算的次数，处理效率高，在保证数据响应速度、不丢失数据的前提下，减少了CPU占用率；使用数据库缓存数据，数据库提供标准访问接口，为一个或者多个访问程序提供服务，后台不使用IEC102规约，而使用其它规约的时候，只需要更换一个规约模块即可，IEC61850和数据库模块不需要任何改动，减少研发任务的工作量、缩短研发周期。
附图说明
图1为本发明计量系统电能采集终端的结构示意图；
图2为本发明计量系统电能采集终端的数据流向图；
图3为本发明数据采集和转换方法的数据缓存示意图；
图4为本发明数据采集和转换方法的流程图。
具体实施方式
下面结合附图及具体的实施例对本发明进行进一步介绍。
如图1所示为本发明智能变电站计量系统数据采集和转换方法所采用的装置结构图，由图可知，该装置包括一个CPU处理器芯片和多个网口，该网卡包括对下网口和对上网口，每个对下网口连接一个或者多个数字化电能表（电能采集终端），数字化电能表承担数据源服务器的角色，是分散的数据源，对上网口连接对应的监控系统。
本实施例的电能采集终端以IEC61850进程作为客户端，从这些数据源获取数据；对上以IEC102进程作为服务器端，向作为客户端的调度等远端监控提供数据。
如图2所示，按照数据传输的流向图，本发明的智能变电站计量系统数据采集和转换方法包括如下步骤：
（1）利用数据采集模块实时采集计量系统的设定规约类型（本实施例以61850为例）的一组待测数据，具体包括遥测、遥信、电能、需量数据；这里的需量（demand）指的是一个规定的时间间隔内的功率的平均值，工程中常以15分钟作为时间间隔；
（2）设定T为缓存时间缓存状态变化的待测数据，并在经过缓存时间T后，发送数据。
缓存状态变化的待测数据的具体过程如下：当该组待测数据中的其中一个状态发生变化时，开始计时，并将该变化的数据进行缓存，当达到设定的缓存时间T后，把该T时段内所有发生变化的数据统一进行发送；如果在该T时段内有同一个数据发生第二次变化，则立刻将此T时段内该数据第二次变化时刻之前所有发生变化的数据统一进行发送，同时将该数据第二次变化的时刻作为缓存时间T重新计时的起始时刻，重新开始新的缓存周期。
本实施例以循环和突变的方式实时采集各待测数据，且每个采集周期均进行缓存，采集周期为Tb，0<Tb<T，每次采集时均记录当时的时刻。本实施例的数据采集模块设有查询功能，每隔10ms扫描一次数据变化，通过IEC61850的Report服务，数据按照发生变化的先后顺序弹出，当程序截获到第一个数据的状态发生变化时，更新缓存定时器的起始时刻，在时间T内，把该时间段内所有变化的数据送入数据缓存模块，缓存模块使用队列缓存数据；再循环比较新变位的数据是否和已被缓存的数据是同一个数据，如果是同一个数据，立刻把已缓存的所有数据按FIFO原则打包发送给数据映射处理模块，同时把这个数据作为新建缓存的第一个数据，开始新的缓存周期。由此可见，本实施例中的缓存时间T为一个滑动时间窗，其起始时刻随缓存时间到期或者同一个数据在T时间段内发生两次变化而更新起始时刻。
如图3所示，t1、t2、t3、tn为各状态变化时刻，T是缓存时间。在计量系统的数据采集过程中，当CPU查询到t1时刻第一个数据的状态发生改变时，便开始计时，同时将该数据送入缓存队列，当t2时刻有第二个数据发生改变时，将该数据送入缓存队列，依此类推。如果t3时刻第一个数据又一次发生改变，则将缓存的第一个和第二个数据弹出，并将t3时刻作为新的t1重新缓存数据；如果直到缓存周期T结束都没有重复的数据变位，那么在T到达后，将所有缓存的数据发出，系统进入空闲状态，直到有一个数据发生变位为止。
（3）数据映射处理模块根据配置规则，抽取所述步骤2）发送的数据中感兴趣的数据，更新存储到设定的数据库中，以供一个或多个其他规约类型的进程根据需要进行调用。
本实施例感兴趣的数据包括数据的状态、数值v、品质q和时标t。
数据映射处理模块把数据包内的数据对象抽象成统一的数据结构，根据初始化时候建立的索引关系，以索引为唯一标识在数据库中查找该数据所在的条目，查到条目后，更新数据，每个输入数据对应数据库中的一个条目，数据库记录该数据的状态、品质和状态变化时间。本实施例首先根据数据包内数据的参引计算hash值，根据hash值查找索引号，通过索引号找到映射关系后，完成数据抽取，采用FIFO的原则将数据更新存储至数据库。
根据监控系统使用的不同规约（例如常见的IEC102规约），从数据库中获取数据，然后根据各自的需求，把数据格式加以整理后，把数据库中的数据转到该规约的数据模型空间中，上送到监控系统。
如图4，在采集数据时，数据采集模块首先对待采集模块的数据缓存队列进行遍历，对于其中的每一项待处理数据，均需作比较，判断其是否已处于缓存状态，如已在缓存队列中，则说明当前时刻数据变化前的某个时刻，该数据已经发生过变化，且还未对该次变化做处理，需要把该数据连同缓存的其它数据一并进行发送，否则就会造成中间状态丢失的严重问题。
数据映射处理模块收到数据包后，先检索数据是否在需要处理的范围内，如果数据是需要处理的数据，就进行处理，否则就抛弃该数据，重新进入接收流程。
本发明的智能变电站计量系统数据采集和转换方法可以完成两个任务，一个任务负责数据采集、转换和入库，另一个任务负责数据使用，两个任务通过数据库交换数据，两个任务对象空间的数据索引使用hash算法进行快速搜索。接收任务根据比较数据值和数据库中的值是否相同来决定是否更新数据库，如果值没有变化，就不更新数据库；如果值、品质或者时标发生变化，就立刻更新数据库。

Claims (7)

1.一种智能变电站计量系统数据采集和转换方法，其特征在于，包括如下步骤：
(1)按照设定规约类型实时采集一组待测数据；
(2)设定T为缓存时间，缓存状态变化的待测数据，并在经过缓存时间T后，发送数据；缓存状态变化的待测数据具体过程如下：当该组待测数据中的其中一个状态发生变化时，开始计时，并将该变化的数据进行缓存，当达到设定的缓存时间T后，把该T时段内所有发生变化的数据统一进行发送；如果在该T时段内有同一个数据发生第二次变化，则立刻将此T时段内该数据第二次变化时刻之前所有发生变化的数据统一进行发送，同时将该数据第二次变化的时刻作为缓存时间T重新计时的起始时刻，重新开始新的缓存周期；
(3)抽取所述步骤(2)发送的数据中感兴趣的数据，更新存储到设定的数据库中，以供一个或多个其他规约类型的进程根据需要进行调用。
2.根据权利要求1所述的智能变电站计量系统数据采集和转换方法，其特征在于：各待测数据以变位的方式进行实时采集，且每个采集周期均进行缓存，采集周期为Tb，0<Tb<T。
3.根据权利要求2所述的智能变电站计量系统数据采集和转换方法，其特征在于：所述步骤(2)中的缓存时间T为一个滑动时间窗，其起始时刻随缓存时间到期或者同一个数据在T时间段内发生两次变化而更新起始时刻。
4.根据权利要求1所述的智能变电站计量系统数据采集和转换方法，其特征在于：所述步骤(3)中感兴趣的数据包括数据的数值、品质和时标。
5.根据权利要求1所述的智能变电站计量系统数据采集和转换方法，其特征在于：所述步骤(3)中，首先根据所述发送数据的参引计算hash值，根据hash值查找索引号，通过索引号找到映射关系后，完成数据抽取。
6.根据权利要求1所述的智能变电站计量系统数据采集和转换方法，其特征在于：将数据统一发送或更新存储至数据库时均采用FIFO的原则。
7.根据权利要求1～6任意一项所述的智能变电站计量系统数据采集和转换方法，其特征在于：所述步骤(1)中的待测数据包括遥测、遥信、电能、需量数据。
CN201310624704.1A 2013-11-28 2013-11-28 一种智能变电站计量系统数据采集和转换方法 Expired - Fee Related CN103678522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310624704.1A CN103678522B (zh) 2013-11-28 2013-11-28 一种智能变电站计量系统数据采集和转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310624704.1A CN103678522B (zh) 2013-11-28 2013-11-28 一种智能变电站计量系统数据采集和转换方法

Publications (2)

Publication Number Publication Date
CN103678522A CN103678522A (zh) 2014-03-26
CN103678522B true CN103678522B (zh) 2017-06-23

Family

ID=50316067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310624704.1A Expired - Fee Related CN103678522B (zh) 2013-11-28 2013-11-28 一种智能变电站计量系统数据采集和转换方法

Country Status (1)

Country Link
CN (1) CN103678522B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033289A (zh) * 2018-07-13 2018-12-18 天津瑞能电气有限公司 一种用于微电网的高频实时数据的存库方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104283890B (zh) * 2014-07-02 2018-07-31 许继电气股份有限公司 一种针对iec61850报告服务数据通讯映射的改进方法
CN104320438B (zh) * 2014-10-08 2018-11-13 成都交大许继电气有限责任公司 牵引供电运营管理系统的高可靠性数据传输系统
CN106021380A (zh) * 2016-05-12 2016-10-12 中国商用飞机有限责任公司 基于维修工程分析数据编制飞机技术出版物的方法及装置
CN106649140A (zh) * 2016-12-29 2017-05-10 深圳前海弘稼科技有限公司 一种数据处理方法、装置及系统
CN107682356B (zh) * 2017-10-26 2020-08-04 广州市雷军游乐设备有限公司 数据的更新方法及装置、设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1387049A (zh) * 2002-07-12 2002-12-25 深圳市殷图科技发展有限公司 实时闭环测试电力系统继电保护装置的数据缓存方法
US8195603B2 (en) * 2008-02-01 2012-06-05 American Express Travel Related Services Company, Inc. Rapid caching and data delivery system and method
CN202841196U (zh) * 2011-12-04 2013-03-27 江苏省电力公司南京供电公司 电力营销与配电业务数据同步装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1387049A (zh) * 2002-07-12 2002-12-25 深圳市殷图科技发展有限公司 实时闭环测试电力系统继电保护装置的数据缓存方法
US8195603B2 (en) * 2008-02-01 2012-06-05 American Express Travel Related Services Company, Inc. Rapid caching and data delivery system and method
CN202841196U (zh) * 2011-12-04 2013-03-27 江苏省电力公司南京供电公司 电力营销与配电业务数据同步装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033289A (zh) * 2018-07-13 2018-12-18 天津瑞能电气有限公司 一种用于微电网的高频实时数据的存库方法

Also Published As

Publication number Publication date
CN103678522A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
CN103678522B (zh) 一种智能变电站计量系统数据采集和转换方法
CN202058147U (zh) 分布式实时数据库管理系统
CN108009236A (zh) 一种大数据查询方法、系统、计算机及存储介质
CN103517405B (zh) 一种网络定位的方法及系统、移动终端和网络侧设备
CN106664254A (zh) 优化移动网络中的网络流量管理
US20160012150A1 (en) System and method for main distribution network graph/model/data integration based on remote access and information interaction
CN102681999A (zh) 一种用户行为信息收集及信息发送方法及装置
CN103326958A (zh) 监控数据缓存方法及系统
CN102355374A (zh) 一种数据获取方法和设备
CN202455368U (zh) 一种用于运载火箭的地面实时网络系统
Shaikh et al. Crop irrigation control using wireless sensor and actuator network (WSAN)
CN110320853A (zh) 一种plc数据采集分析方法及系统
CN110769074B (zh) 一种新能源集控系统数据断点续传方法
CN110515938B (zh) 基于kafka消息总线的数据汇聚存储方法、设备和存储介质
CN113206875B (zh) 数据传输方法、装置及存储介质
CN109344037B (zh) 一种基于实时统计与告警公式的业务监控方法
CN107506438A (zh) 一种用于物联网的数据处理存储方法以及装置
CN110362055A (zh) 一种终端可扩展的工业数据采集系统及方法
CN109462522A (zh) 一种终端外接设备的状态监测方法、终端及其系统
CN104601424B (zh) 设备控制网中利用概率模型的主被动数据收集装置及方法
CN104866410B (zh) 一种基于iec 61850的状态监测日志存储及访问方法
CN105786945B (zh) 一种基于数据通道的用电信息数据高效处理方法
US10965403B2 (en) Gap data collection for low energy devices
CN205563692U (zh) 一种基于云端的运营数据智能分析系统
CN110856040A (zh) 客户端中监控数据的处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170623

Termination date: 20201128