CN117650622A - 一种基于大模型的61850转出数据处理方法及系统 - Google Patents
一种基于大模型的61850转出数据处理方法及系统 Download PDFInfo
- Publication number
- CN117650622A CN117650622A CN202311496691.4A CN202311496691A CN117650622A CN 117650622 A CN117650622 A CN 117650622A CN 202311496691 A CN202311496691 A CN 202311496691A CN 117650622 A CN117650622 A CN 117650622A
- Authority
- CN
- China
- Prior art keywords
- data
- communication module
- real
- data point
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 238000004891 communication Methods 0.000 claims abstract description 100
- 238000013507 mapping Methods 0.000 claims abstract description 42
- 230000001133 acceleration Effects 0.000 claims abstract description 22
- 230000008859 change Effects 0.000 claims abstract description 19
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 230000005540 biological transmission Effects 0.000 claims abstract description 4
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 17
- 238000012546 transfer Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 3
- 230000035772 mutation Effects 0.000 description 6
- 238000013523 data management Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
- H02J13/00004—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by the power network being locally controlled
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
- H02J13/00006—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment
- H02J13/00028—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment involving the use of Internet protocols
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
- H02J13/00032—Systems characterised by the controlled or operated power network elements or equipment, the power network elements or equipment not otherwise provided for
- H02J13/00034—Systems characterised by the controlled or operated power network elements or equipment, the power network elements or equipment not otherwise provided for the elements or equipment being or involving an electric power substation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于大模型的61850转出数据处理方法，该方法用于电力系统调度主站与变电站之间采用61850通信协议进行数据传输的变电站通信网关机设备中，用于61850转出系统提升模型解析初始化速度以及变化数据上传至调度主站的效率。通过对模型加速文件的读取，创建通信模块实时库数据点与所属数据集及报告控制块的内存关联关系，节省通信模块从SCD模型解析此部分关联关系信息时间。通信网关机发生数据变化后，应用模块以数据点号为关键字，通过哈希映射表获取该点在通信模块实时库中的内存地址，通信模块根据此内存地址快速提取报告控制块信息，直接组61850报告报文，实现报文快速上传到调度主站。
Description
技术领域
本发明属于变电站控制技术领域，更具体地，涉及一种基于大模型的61850转出数据处理方法及系统。
背景技术
变电站二次系统由保护设备、自动化设备、站控层设备和软件、计量及电能质量设备、通信及安全设备、辅助设备等设备和系统构成，担负着保护、控制、测量、监视的任务，实现设备运行数据、告警信息、监视数据等数据信息实时采集与上送，为远方主站提供运行及数据支撑。随着61850智能设备在变电站内大规模应用，转出到调度主站、集控主站的设备信息量增大，通信网关机作为连接远方调度主站或集控主站与就地变电站的关键自动化通信设备，数据处理能力急需提升。
通信网关机属于嵌入式硬件设备，受到CPU主频、内存等资源限制，设备对数据的处理能力有限。基于此物理条件，随着数据转出量的需求增加，一方面61850转出基于的SCD模型文件增大，程序解析SCD模型文件耗时增加，当SCD模型大于100M时，模型解析及初始化时间激增到30分钟，严重影响设备的启动时间；另一方面实时数据采集及转出数据点数激增，当转出数据点数达到20万点时，单个突变数据的转出实时性快速下降，转出到调度主站时间增加到10秒。因此需要一种数据快速处理方法，提升数据综合处理及管理能力。
发明内容
为解决现有技术中存在的以上问题，本发明提出一种基于大模型的61850转出数据快速处理方法，该方法充分考虑变电站内各种智能电气设备数据建模特点、数据采集后的缓存、处理、转出多环节的快速处理需求，对数据处理的多个关键环节进行全面管理，为变电站实现基于大数据模型SCD的61850转出通信提供数据快速处理解决方案。
本发明采用如下的技术方案。本发明的第一方面提供了一种基于大模型的61850转出数据处理方法，包括以下步骤：
步骤1，61850转出系统启动，应用模块读取transcfg.bin加速文件，将加速文件中的转出数据点信息传递给通信模块，通信模块根据转出数据点信息，建立转出数据点与所属数据集的内存映射关系，转出数据点与所属报告控制块的内存映射关系；
步骤2，通信模块遍历所有转出数据点，将每个数据点的全路径referance以及该点在通信模块实时库中的内存地址信息datPtrIn61850回传给应用模块；应用模块根据referance和datPtrIn61850的对应关系，创建应用模块实时库与通信模块实时库之间的映射关系，通过此映射关系，实现系统运行过程中对突变数据点信息的查找；
步骤3，应用模块周期扫描当前应用消息队列，实时获取到应用消息后，通过应用模块实时库与通信模块实时库之间的映射关系表，获取该点在通信模块实时库中的内存地址信息datPtrIn61850，组织为转出消息并传递给通信模块；
步骤4，通信模块接收到转出消息，根据消息结构中包含的数据点内存地址datPtrIn61850，一次性提取到此数据点所属报告控制块相关信息，结合转出消息结构中的值信息，直接组织报告报文上送给调度主站。
优选地，在步骤1中，所述transcfg.bin加速文件，为二进制格式文件，由模型分析工具离线生成，用于存储需要转出的数据点的信息，文件内容包括转出数据点的全路径referance、所属逻辑设备LD、所属数据集dataSet、所属报告控制块rptId信息。
优选地，在步骤1中，所述应用模块、通信模块为两个独立程序模块，两个模块通过服务调用进行数据交互。
优选地，在步骤1中，所述转出数据点与所属数据集的内存映射关系，转出数据点与所属报告控制块的内存映射关系，设计为单向链表，存储于通信模块。
优选地，在步骤2中，应用模块实时库设计为数据点的全路径referance与点号ID64存储于一张表中，数据点的全路径referance在实时库中具有唯一性，数据点的点号ID64在实时库中具有唯一性；
数据点的全路径referance和ID64都为应用模块实时库的关键字索引，实时库提供了查询方法，通过数据点的全路径referance可查询到数据点的ID64，通过数据点的全路径ID64可查询到数据点的referance。
优选地，在步骤2中，所述应用模块实时库与通信模块实时库之间的映射关系，设计为哈希表，存储于应用模块；
哈希表中存储的元素设计为结构类型，结构内容包括数据点的ID64，及该点在通信模块实时库中的内存地址datPtrIn61850，数据点的ID64设计为哈希表的关键字，针对哈希表的创建和读取计及哈希碰撞问题。
优选地，在步骤3中，所述转出应用模块从当前应用消息队列实时获取的应用消息，设计为结构类型，结构内容包括数据点的ID64，变化值，变化时间，数据品质；
所述传递给通信模块的转出消息，设计为结构类型，结构内容包括数据点在通信模块实时库中的内存地址datPtrIn61850、变化数据信息。
优选地，传递给通信模块的转出消息中的变化数据信息，包括变化值，变化时间，数据品质，来源于步骤3中所述的应用消息。
优选地，在步骤4中，所述数据点内存地址datPtrIn61850，为数据点在通信模块实时库的内存位置，内存位置关联存储了此数据点的全路径referance、值、所属数据集、所属报告控制块信息。
本发明的第二方面提供了一种基于大模型的61850转出数据处理系统，包括：数据处理单元、加速文件存储单元、通信模块和应用模块：
数据处理单元用于执行步骤1到步骤4的方法，包括应用模块和通信模块，协同工作实现数据的处理和上送，应用模块负责解析数据配置文件、处理应用消息并将其转化为转出消息，并通过哈希映射表实现快速数据点查找。通信模块负责与调度主站通信、接收应用模块传递的转出消息，并将数据组织为报告报文上送至调度主站，从而实现了高效的数据传输和处理，提升了变电站的数据通信性能；
加速文件存储单元用于存储transcfg.bin加速文件，包含了需要转出的所有数据点、它们所属的数据集和报告控制块关联信息；
通信模块用于处理应用模块传递的转出消息，通过内存映射关系，提取数据值和报告信息，组织报告报文，发送给调度主站；
应用模块用于周期扫描通信应用消息队列，实时获取应用消息，通过哈希映射表获取数据点信息，传递给通信模块。
与现有技术相比，本发明的有益效果至少包括：本发明能够实现基于转出SCD模型100M、转出点数20w时，服务启动时间降低到2分钟内、单个突变数据转出时间降低到200ms内，满足变电站数据上传实时性要求；减少用户对嵌入式设备硬件升级的成本投资，在现有硬件基础上，实现数据处理性能提升；此方法基于软件实现，对硬件平台、操作系统、应用平台及运行环境无特定要求，可方便其他产品移植复用，减少重复开发成本。
附图说明
图1为基于大模型的61850转出数据快速处理方法的流程图；
图2为基于大模型的61850转出数据快速处理方法的应用模块数据管理示意图；
图3为基于大模型的61850转出数据快速处理方法的数据突变处理流程图；
图4为基于大模型的61850转出数据快速处理方法的通信模块数据管理示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述。本申请所描述的实施例仅仅是本发明一部分的实施例，而不是全部实施例。基于本发明精神，本领域普通技术人员在没有作出创造性劳动前提下所获得的有所其它实施例，都属于本发明的保护范围。
基于大模型的61850转出数据快速处理方法充分考虑变电站内各种智能电气设备数据建模特点、数据采集后的缓存、处理、转出多环节的快速处理需求，对数据处理的多个关键环节进行全面管理，从而实现变电站基于大数据模型SCD的61850转出通信数据快速上送至调度主站。
如图1所示，本发明的实施例1提供了一种基于大模型的61850转出数据处理方法，包括以下步骤：
步骤1，应用模块读取transcfg.bin加速文件，加速文件内容包括转出数据点的全路径referance，所属逻辑设备LD，所属数据集dataSet，所属报告控制块rptId；
并将这些信息传递给通信模块，通信模块通过这些信息，实现快速建立转出数据点与所属数据集的内存映射关系，转出数据点与所属报告控制块的内存映射关系；
所述加速文件为二进制格式文件，由模型分析工具离线生成；
优选地，此加速文件包含需要转出的所有数据点，每个数据点包含：此点全路径信息，预留129字节，不足补0；此点所属逻辑设备，预留64字节，不足补0；此点所属数据集，预留64字节，不足补0；此点日志所属逻辑设备，预留64字节，不足补0；此点日志所属日志数据集，预留64字节，不足补0。以一个数据点为例：
全路径信息：PL3502LD0/GGIO11$ST$SumIAlm
所属逻辑设备：PL3502LD0
所属数据集：LLN0$dsAlarm
所属报告控制块：LLN0$BR$brcbAlarm
应用模块以二进制字节流方式读取文件内容，并传送给通信模块，通信模块通过此文件内容信息，直接创建数据点与所属数据集、所属报告控制块之间的关系映射并缓存在内存中。
大模型SCD中包含的数据集多，总的数据点数量多，分析数据集包含的数据点及每个数据点与所属数据集及报告的关联关系，需要分析模型上下文信息来确定，耗时长。通过引入中间加速文件，通信模块无需通过遍历分析SCD模型文件来获取这些关联关系，节省了SCD模型解析及分析相关时间。
步骤2，通信模块遍历所有转出数据点，将每个数据点的全路径referance以及该点在通信模块实时库中的内存地址信息datPtrIn61850回传给应用模块，应用模块通过数据点的全路径referance，从应用实时库中获取数据点的点号ID64，以点号ID64为关键字，创建应用模块实时库与通信模块实时库之间的哈希映射表；
通过此哈希映射表，实现程序运行过程中对突变数据点信息的快速查找。所述数据点的全路径信息referance、点号ID64在应用模块实时库中具有唯一性；
如图2所示为基于大模型的61850转出数据快速处理方法的应用模块数据管理示意图。哈希映射表中的元素定义为Stru_Hash_Item结构，该结构包括数据点的点号ID64，数据点在通信模块实时库中的内存地址datPtrIn61850。
所述基于大模型的61850转出数据快速处理方法针对此哈希映射表，应用模块封装了四种操作，设计思想如下：
初始化哈希映射表InitHash，此操作根据需要管理的数据点数N，预先创建一个哈希表，该哈希表包含N个元素，每个元素都为Stru_Hash_Item结构类型的指针，并将指针赋空值，所述N个元素在内存上连续存储；
向哈希映射表中添加元素AddToHash，此操作将一个Stru_Hash_Item结构体添加到哈希映射表中，方法为：使用Stru_Hash_Item结构体中的数据点号ID64进行模N操作，得到的值作为此Stru_Hash_Item结构体存于哈希表中的位置X；所述模N操作，即对数据点个数N进行求余计算。针对可能存在的哈希碰撞，在给哈希表此位置赋值之前，先判断此位置是否为空。如果为空，直接赋值此Stru_Hash_Item结构体地址；如果不为空，则认为存在哈希碰撞，在哈希表此位置的链表尾部赋值此Stru_Hash_Item结构体地址；
从哈希映射表中获取元素GetFromHash，此操作从哈希映射表中获取数据点号ID64对应的Stru_Hash_Item结构，方法为：对数据点号ID64，进行模N操作，得到的值为此数据点号ID64对应的Stru_Hash_Item结构存于哈希表中的位置。所述模N操作，即对数据点个数N进行求余计算。针对可能存在的哈希碰撞，需要遍历哈希表中此位置的链表，寻找与目标数据点号ID64相同的链表元素，即为数据点号ID64相对应的Stru_Hash_Item结构；
释放哈希映射表FreeHash；此操作将已创建的哈希映射表，根据需要管理的数据点数N，逐个元素进行进行内存回收，并将整个哈希映射表销毁。
所述基于大模型的61850转出数据快速处理方法，使用上述哈希映射表的操作方法，创建应用模块实时库与通信模块实时库之间的哈希映射表，此映射表创建流程设计思想如下：
应用模块使用InitHash，完成初始态链表创建；
通信模块将加速文件中转出数据点的信息传递给应用模块，所述转数据点信息包括数据点的全路径referance，数据点在通信模块实时库中的内存地址datPtrIn61850；
应用模块，根据转出数据点的全路径信息referance，通过应用模块实时库接口获取转出数据点的ID64。所述转出数据点的全路径信息referance与ID64信息存储于应用模块实时库的同一张表中，转出数据点的全路径信息referance在全库具备唯一性，例如，转出数据点的全路径信息
PL3502LD0/GGIO11$ST$SumIAlm。
应用模块，为每个转出数据点创建一个Stru_Hash_Item结构，将转出数据点在通信模块实时库中的内存地址datPtrIn61850，填充到Stru_Hash_Item结构，将转出数据点的ID64，填充到Stru_Hash_Item结构，使用AddToHash方法将Stru_Hash_Item结构添加到哈希映射表中。
应用模块通过对所有转出数据点进行遍历，完成哈希映射表的创建。经过此步骤，61850转出系统初始化完成，可以与调度主站建立通信连接，开启数据交互。
步骤3，应用模块周期扫描当前应用消息队列，实时获取应用消息，通过应用模块实时库与通信模块实时库之间的映射关系表，快速获取该点在通信模块实时库中的内存地址信息datPtrIn61850，之后将此变化数据点的内存地址、值信息组织成转出消息，传递给通信模块；
所述基于大模型的61850转出数据快速处理方法从当前通信通道消息队列实时获取的应用消息类别包括：“遥信变位”、“遥测变化”、“SOE”、“保护事件”；
所述消息队列中的应用消息内容包括：数据点的ID64、值、质量、时间；
所述基于大模型的61850转出数据快速处理方法，传递给通信模块的转出消息结构定义为Stru_DatVal，该结构包括数据对象值信息datVal，数据对象在通信模块实时库中的内存地址datPtrIn61850。
如图3所示为基于大模型的61850转出数据快速处理方法的数据突变处理流程图。所述基于大模型的61850转出数据快速处理方法，将应用消息转换为转出消息，并传递给通信模块，设计思想如下：
应用模块获取到应用消息，应用消息内容包括：数据点的ID64、值、质量、时间；
应用模块使用GetFromHash方法从哈希映射表中获取数据点号ID64对应的Stru_Hash_Item结构；
应用模块，创建一个Stru_DatVal结构对象，将数据点变化的数据量：值、质量、时间信息填充到Stru_DatVal结构的值信息区datVal；将Stru_Hash_Item结构中数据点内存地址datPtrIn61850，填充到Stru_DatVal结构的地址信息区datPtrIn61850；
应用模块，将Stru_DatVal结构对象传递给通信模块；
经过应用消息转换为转出消息，并传递给通信模块，应用模块通过哈希映射表快速获取数据点信息，完成应用消息向转出消息的转变，并完成消息传递。
步骤4，通信模块接收到转出消息，消息结构中包含的数据点内存地址，即为此数据点在通信模块实时库的内存位置，所述内存位置关联存储了数据点值、所属数据集、报告控制块信息；
通信模块可一次性提取到数据值和报告控制块相关信息，直接组织报告报文发送给调度主站；
原有的通信网关机设备，发生数据变化后，61850报告报文上送过程慢，主要是因为通信模块在扫描数据变化时需要全实时库扫描，当模型中报告控制块和数据点个数很多时，全数据扫描一次的时间较长，当多个报告的多个数据点发生变化需要生成报告时耗费时间明显变长。本发明中的通信模块数据映射关联机制节省了根据全路径信息遍历SCD模型树，查找叶子节点在通信模块实时库中位置的过程，以及搜索报告控制块的过程，从而实现报告上送加速。
如图4所示为基于大模型的61850转出数据快速处理方法的通信模块数据管理示意图。所述基于大模型的61850转出数据快速处理方法，通信模块组织报告报文发送给调度主站，数据管理及处理设计思想如下：
通信模块收到结构为Stru_DatVal的转出消息，其中包含数据点变化数据值datVal和数据点在通信模块实时库中的内存地址datPtrIn61850；
根据datPtrIn61850可直接索引到通信模块实时库中的对应数据，此数据由数据结构Stru_61850Dat存储，内存地址datPtrIn61850，即初始化时传递给应用模块的datPtrIn61850；
根据datPtrIn61850可直接索引到数据值在通信模块实时库中的位置，更新数据值datVal到通信模块实时库中，节省了根据全路径信息reference查找数据点在实时库中位置的过程。
Stru_61850Dat中包含的报告控制块datRpt信息，通信模块提取数据值和报告控制块信息，即可直接组织为61850报告报文，节省了扫描实时实时库和搜索报告控制块的时间。
本发明的有益效果至少包括：本发明能够实现基于转出SCD模型100M、转出点数20w时，服务启动时间降低到2分钟内、单个突变数据转出时间降低到200ms内，满足变电站数据上传实时性要求；减少用户对嵌入式设备硬件升级的成本投资，在现有硬件基础上，实现数据处理性能提升；此方法基于软件实现，对硬件平台、操作系统、应用平台及运行环境无特定要求，可方便其他产品移植复用，减少重复开发成本。
本方案可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本方案的各个方面的计算机可读程序指令。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种基于大模型的61850转出数据处理方法，其特征在于，包括以下步骤：
步骤1，61850转出系统启动，读取transcfg.bin加速文件，建立转出数据点与所属数据集、所属报告控制块的内存映射关系；
步骤2，通信模块遍历所有转出数据点，将每个数据点的全路径referance以及该点在通信模块实时库中的内存地址信息datPtrIn61850回传；应用模块根据referance和datPtrIn61850的对应关系，创建应用模块实时库与通信模块实时库之间的映射关系，通过此映射关系，实现系统运行过程中对突变数据点信息的查找；
步骤3，应用模块周期扫描当前应用消息队列，实时获取到应用消息后，通过应用模块实时库与通信模块实时库之间的映射关系表，获取该点在通信模块实时库中的内存地址信息datPtrIn61850，组织为转出消息并传递给通信模块；
步骤4，通信模块接收到转出消息，根据消息结构中包含的数据点内存地址datPtrIn61850，一次性提取到此数据点所属报告控制块相关信息，结合转出消息结构中的值信息，直接组织报告报文上送给调度主站。
2.根据权利要求1所述的基于大模型的61850转出数据处理方法，其特征在于：
在步骤1中，应用模块被配置为读取transcfg.bin加速文件，将加速文件中的转出数据点信息传递给通信模块；所述transcfg.bin加速文件，为二进制格式文件，由模型分析工具离线生成，用于存储需要转出的数据点的信息，文件内容包括转出数据点的全路径referance、所属逻辑设备LD、所属数据集dataSet、所属报告控制块rptId信息；
通信模块被配置为接收加速文件中的转出数据点信息，并建立相关内存映射关系。
3.根据权利要求1所述的基于大模型的61850转出数据处理方法，其特征在于：
在步骤1中，所述应用模块、通信模块为两个独立程序模块，两个模块通过服务调用进行数据交互。
4.根据权利要求1所述的基于大模型的61850转出数据处理方法，其特征在于：
在步骤1中，所述转出数据点与所属数据集的内存映射关系，转出数据点与所属报告控制块的内存映射关系，设计为单向链表，存储于通信模块。
5.根据权利要求1所述的基于大模型的61850转出数据处理方法，其特征在于：
在步骤2中，应用模块实时库设计为数据点的全路径referance与点号ID64存储于一张表中，数据点的全路径referance在实时库中具有唯一性，数据点的点号ID64在实时库中具有唯一性；
数据点的全路径referance和ID64都为应用模块实时库的关键字索引，实时库提供了查询方法，通过数据点的全路径referance可查询到数据点的ID64，通过数据点的全路径ID64可查询到数据点的referance。
6.根据权利要求1所述的基于大模型的61850转出数据处理方法，其特征在于：
在步骤2中，所述应用模块实时库与通信模块实时库之间的映射关系，设计为哈希表，存储于应用模块；
哈希表中存储的元素设计为结构类型，结构内容包括数据点的ID64，及该点在通信模块实时库中的内存地址datPtrIn61850，数据点的ID64设计为哈希表的关键字，针对哈希表的创建和读取计及哈希碰撞问题。
7.根据权利要求1所述的基于大模型的61850转出数据处理方法，其特征在于：
在步骤3中，所述转出应用模块从当前应用消息队列实时获取的应用消息，设计为结构类型，结构内容包括数据点的ID64，变化值，变化时间，数据品质；
所述传递给通信模块的转出消息，设计为结构类型，结构内容包括数据点在通信模块实时库中的内存地址datPtrIn61850、变化数据信息。
8.根据权利要求7所述的基于大模型的61850转出数据处理方法，其特征在于：
传递给通信模块的转出消息中的变化数据信息，包括变化值，变化时间，数据品质，来源于步骤3中所述的应用消息。
9.根据权利要求1所述的基于大模型的61850转出数据处理方法，其特征在于：
在步骤4中，所述数据点内存地址datPtrIn61850，为数据点在通信模块实时库的内存位置，内存位置关联存储了此数据点的全路径referance、值、所属数据集、所属报告控制块信息。
10.一种利用权利要求1-9所述基于大模型的61850转出数据处理方法的数据处理系统，包括：数据处理单元、加速文件存储单元、通信模块和应用模块，其特征在于：
数据处理单元用于执行步骤1到步骤4的方法，包括应用模块和通信模块，协同工作实现数据的处理和上送，应用模块负责解析数据配置文件、处理应用消息并将其转化为转出消息，并通过哈希映射表实现数据点快速查找。通信模块负责与调度主站通信、接收应用模块传递的转出消息，并将数据组织为报告报文上送至调度主站，从而实现了高效的数据传输和处理，提升了变电站的数据通信性能；
加速文件存储单元用于存储transcfg.bin加速文件，包含了需要转出的所有数据点、它们所属的数据集和报告控制块关联信息；
通信模块用于处理应用模块传递的转出消息，通过内存映射关系，提取数据值和报告信息，组织报告报文，发送给调度主站；
应用模块用于周期扫描通信应用消息队列，实时获取应用消息，通过哈希映射表获取数据点信息，传递给通信模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311496691.4A CN117650622A (zh) | 2023-11-10 | 2023-11-10 | 一种基于大模型的61850转出数据处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311496691.4A CN117650622A (zh) | 2023-11-10 | 2023-11-10 | 一种基于大模型的61850转出数据处理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117650622A true CN117650622A (zh) | 2024-03-05 |
Family
ID=90045762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311496691.4A Pending CN117650622A (zh) | 2023-11-10 | 2023-11-10 | 一种基于大模型的61850转出数据处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117650622A (zh) |
-
2023
- 2023-11-10 CN CN202311496691.4A patent/CN117650622A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102685221B (zh) | 一种状态监测数据的分布式存储与并行挖掘方法 | |
| CN106951694B (zh) | 一种电力系统二次设备在线监测系统自适应建模方法 | |
| CN109391629B (zh) | 轨道交通综合监控系统数据处理方法 | |
| CN113900810A (zh) | 分布式图处理方法、系统及存储介质 | |
| CN111585344B (zh) | 一种基于全站ied仿真的变电站智能校核方法及装置 | |
| CN101827302A (zh) | 多业务统一处理方法及统一业务平台 | |
| CN108446396B (zh) | 一种基于改进型cim模型的电力数据处理方法 | |
| CN113037802A (zh) | 一种用于电力物联网的云边数据协同方法 | |
| CN112347105B (zh) | 一种基于资源树的通用数据服务平台 | |
| CN113054743A (zh) | 一种适用于配电云主站的物联终端数据接入系统及方法 | |
| CN113032379B (zh) | 面向配网运检多源数据采集的方法 | |
| CN103778212A (zh) | 基于数据节点的并行海量数据处理方法 | |
| CN114398567A (zh) | 一种多时态电网拓扑图数据管理方法、装置及计算机设备 | |
| CN102750368A (zh) | 一种数据库集群数据高速导入方法 | |
| CN112711488B (zh) | 基于微服务和消息队列的设备初始化方法和系统 | |
| CN111913933A (zh) | 基于统一支撑平台的电网历史数据管理方法及系统 | |
| CN103944957A (zh) | 一种工业监控系统所用的离线数据采集方法及其采集系统 | |
| CN110674221B (zh) | 一种空间数据同步方法、终端及计算机可读存储介质 | |
| CN117650622A (zh) | 一种基于大模型的61850转出数据处理方法及系统 | |
| CN115687477A (zh) | 数据转换方法、装置、信息消费端及存储介质 | |
| CN113297218B (zh) | 一种多系统数据交互方法、装置及系统 | |
| CN103633736A (zh) | 从变电子站至主站的在线监测通信方法 | |
| CN114116252A (zh) | 一种调控系统运行量测数据存储系统及方法 | |
| CN115391286A (zh) | 一种链路追踪数据管理方法、装置、设备及存储介质 | |
| CN115374101A (zh) | 轨道交通站段级数据管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |