CN112333687A - 终端数据批量处理方法 - Google Patents

终端数据批量处理方法 Download PDF

Info

Publication number
CN112333687A
CN112333687A CN202011115711.5A CN202011115711A CN112333687A CN 112333687 A CN112333687 A CN 112333687A CN 202011115711 A CN202011115711 A CN 202011115711A CN 112333687 A CN112333687 A CN 112333687A
Authority
CN
China
Prior art keywords
data
terminal
communication
processing
sending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011115711.5A
Other languages
English (en)
Other versions
CN112333687B (zh
Inventor
喻宜
吕志来
王攀峰
张志学
王云鹏
张东
毛春旺
刘宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xu Ji Electric Co ltd
State Grid Corp of China SGCC
Original Assignee
Beijing Xu Ji Electric Co ltd
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xu Ji Electric Co ltd, State Grid Corp of China SGCC filed Critical Beijing Xu Ji Electric Co ltd
Priority to CN202011115711.5A priority Critical patent/CN112333687B/zh
Publication of CN112333687A publication Critical patent/CN112333687A/zh
Application granted granted Critical
Publication of CN112333687B publication Critical patent/CN112333687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/02—Processing of mobility data, e.g. registration information at HLR [Home Location Register] or VLR [Visitor Location Register]; Transfer of mobility data, e.g. between HLR, VLR or external networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/18—Processing of user or subscriber data, e.g. subscribed services, user preferences or user profiles; Transfer of user or subscriber data
    • H04W8/183—Processing at user equipment or user record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/22—Processing or transfer of terminal data, e.g. status or physical capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Communication Control (AREA)

Abstract

本发明实施例公开了一种终端数据批量处理方法，包括：对终端设备进行分组，并针对每一组终端设备进行以下处理：通信处理过程、协议处理过程。

Description

终端数据批量处理方法
技术领域
本发明涉及电子技术领域，特别是一种终端数据批量处理方法。
背景技术
在工业自动化等很多领域，都需要采集大量终端设备的数据。
传统的前置数据采集系统采用每个终端设备独立通信及协议分析处理模式，这种模式在面对大批量终端情况下会出现系统运行缓慢，在面对海量终端情况下由于进程或线程资源不足而无法正常工作。
发明内容
针对现有技术中存在的问题，本发明实施例的目的是提供一种终端数据批量处理方法，能够批量对终端数据进行采集以提高效率。
为了实现上述目的，本发明实施例提出了一种终端数据批量处理方法，包括：对终端设备进行分组，并针对每一组终端设备进行以下处理：通信处理过程、协议处理过程。
在一些实施例中，其中所述通信处理过程包括：
判断发送缓冲区中是否有数据，如果有则读取发送缓冲区内的数据，并将数据发送到对应的一组终端设备，清空发送缓冲区。
在一些实施例中，其中所述通信处理过程还包括：
接收多个终端设备的数据，判断接收缓冲区是否为空，如果是则将一组终端设备的数据发送到该接收缓冲区。
在一些实施例中，其中所述协议处理过程包括：
判断接收缓冲区中是否有数据，如果有则读取接收缓冲区内的一组终端设备对应的数据，并确定该数据对应的协议源码，解析该协议源码以获得采集数据；将所述采集数据发送到前置模型库，清空接收缓冲区。
在一些实施例中，其中所述协议处理过程还包括：
当需要发送下行命令处理时，判断发送缓冲区中是否有数据，如果所述发送缓冲区为空，则将对应于一组终端设备的下行命令处理的源码发送到该发送缓冲区。
在一些实施例中，其中所述对终端设备进行分组，包括：
根据终端设备的通信媒介或通信通道，对终端设备进行分组。
在一些实施例中，在通信处理过程，各组终端设备之间共用单独线程进行通信处理；且在通信线程中，组内设备通信采用异步通信方式，分时读取或写入接收缓存区和/或发送缓存区。
在一些实施例中，在协议处理过程中，各组终端设备之间共用单独线程进行协议处理；且在分析协议源码线程中，组内设备通信采用异步通信方式，分时读取或写入接收缓存区和/或发送缓存区。
本发明的上述技术方案的有益效果如下：上述技术方案采用设备通信及协议分析分组分时处理策略，通过异步方式分离媒介通信处理和协议分析处理过程，并通过分时机制保证设备通信和协议处理的并发性，从而有效提高终端数据采集处理效率，并解决大批量终端的数据采集处理问题。
附图说明
图1为本发明实施例的原理图；
图2为本发明实施例的通信处理系统逻辑框图；
图3为本发明实施例的协议处理系统逻辑框图。
具体实施方式
为了说明本发明下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例提出了一种终端数据批量采集方法，其改变终端设备独立通信和协议分析处理模式，采用设备通信及协议分析分组分时处理策略，通过异步方式分离媒介通信处理和协议分析处理过程，并通过分时机制保证设备通信和协议处理的并发性，从而有效提高终端数据采集处理效率，并解决大批量终端的数据采集处理问题。
如图1所示的，本发明实施例提出的终端数据批量采集方法包括：
对终端设备进行分组，并针对每一组终端设备进行以下处理：通信处理过程、协议处理过程；
其中所述通信处理过程包括：
判断发送缓冲区中是否有数据，如果有则读取发送缓冲区内的数据，并将数据发送到对应的一组终端设备，清空发送缓冲区；
接收多个终端设备的数据，判断接收缓冲区是否为空，如果是则将一组终端设备的数据发送到该接收缓冲区；
其中所述协议处理过程包括：
判断接收缓冲区中是否有数据，如果有则读取接收缓冲区内的一组终端设备对应的数据，并确定该数据对应的协议源码，解析该协议源码以获得采集数据；将所述采集数据发送到前置模型库，清空接收缓冲区。
当需要发送下行命令处理时，判断发送缓冲区中是否有数据，如果所述发送缓冲区为空，则将对应于一组终端设备的下行命令处理的源码发送到该发送缓冲区。
具体的，如图1所示的，首先将媒介通信处理和协议处理过程进行分离，通过多组线程并发处理，数据通过中间缓存区(包括接收缓冲区和发送缓冲区)来为两个处理过程进行信息交换，这样既可以有效提高媒介通信和协议处理的效率，还能够避免处理过程中的彼此等待所造成的资源浪费。
具体的，该通信处理过程如图2所示的，在媒介通信处理中采用分组分时机制，针对不同通信媒介及通信通道情况进行分组操作，每组共用单独线程进行通信处理，在通信线程中，组内设备通信采用异步通信方式，分时读取或写入媒介数据；媒介读取的数据写入设备的数据接收缓存区，如果设备发送缓存区中有数据则写入媒介中。
具体的，该协议处理过程如图3所示的，在协议处理中同样采用分组分时机制，对设备的协议处理进行分组操作，每组共用单独线程进行协议处理，协议处理通过设备的接收缓存区来获取协议源码，在分析协议源码基础上获取采集数据，同时将协议处理中的下行命令源码写入设备发送缓存区中。
本发明可以根据设备规模进行设备分组，从而有效减少线程使用数量，避免线程使用过多造成系统运行缓慢；同时通过异步分时处理策略，避免单一设备通信和协议处理占用过多系统资源，从而可以有效解决大批量终端设备的数据采集问题。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种终端数据批量处理方法，其特征在于，包括：
对终端设备进行分组，并针对每一组终端设备进行以下处理：通信处理过程、协议处理过程。
2.根据权利要求1所述的终端数据批量处理方法，其特征在于，其中所述通信处理过程包括：
判断发送缓冲区中是否有数据，如果有则读取发送缓冲区内的数据，并将数据发送到对应的一组终端设备，清空发送缓冲区。
3.根据权利要求2所述的终端数据批量处理方法，其特征在于，其中所述通信处理过程还包括：
接收多个终端设备的数据，判断接收缓冲区是否为空，如果是则将一组终端设备的数据发送到该接收缓冲区。
4.根据权利要求1所述的终端数据批量处理方法，其特征在于，其中所述协议处理过程包括：
判断接收缓冲区中是否有数据，如果有则读取接收缓冲区内的一组终端设备对应的数据，并确定该数据对应的协议源码，解析该协议源码以获得采集数据；将所述采集数据发送到前置模型库，清空接收缓冲区。
5.根据权利要求4所述的终端数据批量处理方法，其特征在于，其中所述协议处理过程还包括：
当需要发送下行命令处理时，判断发送缓冲区中是否有数据，如果所述发送缓冲区为空，则将对应于一组终端设备的下行命令处理的源码发送到该发送缓冲区。
6.根据权利要求1所述的终端数据批量处理方法，其特征在于，其中所述对终端设备进行分组，包括：
根据终端设备的通信媒介或通信通道，对终端设备进行分组。
7.根据权利要求6所述的终端数据批量处理方法，其特征在于，在通信处理过程，各组终端设备之间共用单独线程进行通信处理；且在通信线程中，组内设备通信采用异步通信方式，分时读取或写入接收缓存区和发送缓存区。
8.根据权利要求6所述的终端数据批量处理方法，其特征在于，在协议处理过程中，各组终端设备之间共用单独线程进行协议处理；且在分析协议源码线程中，组内设备通信采用异步通信方式，分时读取或写入接收缓存区和发送缓存区。
CN202011115711.5A 2020-10-19 2020-10-19 终端数据批量处理方法 Active CN112333687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011115711.5A CN112333687B (zh) 2020-10-19 2020-10-19 终端数据批量处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011115711.5A CN112333687B (zh) 2020-10-19 2020-10-19 终端数据批量处理方法

Publications (2)

Publication Number Publication Date
CN112333687A true CN112333687A (zh) 2021-02-05
CN112333687B CN112333687B (zh) 2023-09-29

Family

ID=74314327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011115711.5A Active CN112333687B (zh) 2020-10-19 2020-10-19 终端数据批量处理方法

Country Status (1)

Country Link
CN (1) CN112333687B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204272169U (zh) * 2014-10-31 2015-04-15 国家电网公司 基于fpga的电力通信协议报文解析卡
CN105260810A (zh) * 2015-07-31 2016-01-20 国网四川省电力公司 一种基于主网调度系统的配网备用调度控制系统建设方法
CN107222336A (zh) * 2017-05-27 2017-09-29 国网山东省电力公司临沂供电公司 一种图形化网络管理系统和方法
CN108322515A (zh) * 2018-01-10 2018-07-24 南京南瑞继保电气有限公司 一种前置数据采集方法、装置、系统及存储介质
US20190068433A1 (en) * 2017-08-30 2019-02-28 Boe Technology Group Co., Ltd. Management method and management apparatus of internet of things and internet of things system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204272169U (zh) * 2014-10-31 2015-04-15 国家电网公司 基于fpga的电力通信协议报文解析卡
CN105260810A (zh) * 2015-07-31 2016-01-20 国网四川省电力公司 一种基于主网调度系统的配网备用调度控制系统建设方法
CN107222336A (zh) * 2017-05-27 2017-09-29 国网山东省电力公司临沂供电公司 一种图形化网络管理系统和方法
US20190068433A1 (en) * 2017-08-30 2019-02-28 Boe Technology Group Co., Ltd. Management method and management apparatus of internet of things and internet of things system
CN108322515A (zh) * 2018-01-10 2018-07-24 南京南瑞继保电气有限公司 一种前置数据采集方法、装置、系统及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
喻宜等: "分布式海量时序数据管理平台研究", 电力系统保护与控制, vol. 44, no. 17, pages 165 - 170 *

Also Published As

Publication number Publication date
CN112333687B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN100449477C (zh) 用于嵌入式系统的实时调试器接口
CN104111870B (zh) 一种中断处理装置及中断处理方法
CN103684898A (zh) 一种监测用户请求在分布式系统中运行的方法及装置
JP2022528349A (ja) データ記憶用の装置、方法及び読み取り可能な媒体
CN116614492B (zh) 基于物联网多样数据源的实验室统一数据采集平台
CN107066413B (zh) 一种用于处理多个总线设备数据的方法及其总线系统
CN112333687A (zh) 终端数据批量处理方法
CN109407578A (zh) 一种Profibus-DP总线控制器的数据处理方法
CN106204788B (zh) 振动感知传感网工业缝制设备自动计数方法
CN117033008A (zh) 一种基于描述符共享循环队列的多核快速消息通信方法
CN109120731B (zh) 一种通用型通讯方法、系统及装置
CN106982176B (zh) 一种数据传输方法及设备
CN115412375A (zh) 一种工业互联网数据防护系统
CN101507962A (zh) 一种水果按通道分级的方法
CN101739338B (zh) 一种处理器地址数据跟踪的装置及方法
CN116627495A (zh) 一种信息交互方法、系统、装置、设备及介质
CN108183769B (zh) 一种基于LabVIEW的多通道多采样率CAN总线数据解析方法
CN107390638B (zh) 一种机床加工方法、终端及数控机床
CN117009265B (zh) 一种应用于片上系统的数据处理装置
CN105589819B (zh) 一种基于iic接口操作eeprom芯片的方法
CN114125079B (zh) 一种火电安全模拟平台协议解析系统及其解析方法
CN218866349U (zh) 车间电气设备智能管理系统
CN115216400B (zh) 一种核酸提取检测控制系统与控制方法
CN103605622B (zh) 一种传输数据的方法和设备
CN114791723B (zh) 一种大型plc系统及其数据压缩方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant