CN109302724B - 一种分布式多节点无线电实时数据处理系统及方法 - Google Patents

一种分布式多节点无线电实时数据处理系统及方法 Download PDF

Info

Publication number
CN109302724B
CN109302724B CN201711386588.9A CN201711386588A CN109302724B CN 109302724 B CN109302724 B CN 109302724B CN 201711386588 A CN201711386588 A CN 201711386588A CN 109302724 B CN109302724 B CN 109302724B
Authority
CN
China
Prior art keywords
data
layer
data processing
server
control layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711386588.9A
Other languages
English (en)
Other versions
CN109302724A (zh
Inventor
陶银局
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai TransCom Instruments Co Ltd
Original Assignee
Shanghai TransCom Instruments Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai TransCom Instruments Co Ltd filed Critical Shanghai TransCom Instruments Co Ltd
Priority to CN201711386588.9A priority Critical patent/CN109302724B/zh
Publication of CN109302724A publication Critical patent/CN109302724A/zh
Application granted granted Critical
Publication of CN109302724B publication Critical patent/CN109302724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H04B17/345—Interference values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/382—Monitoring; Testing of propagation channels for resource allocation, admission control or handover
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/04—Arrangements for maintaining operational condition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明属于无线电监测技术领域，尤其涉及一种分布式多节点无线电实时数据处理系统，包括：原始数据处理层：初步处理设备驱动层获取的数据，并将其转换为逻辑分析控制层需要的数据；数据传输控制层：控制并收发多节点的无线电数据，对多节点进行高性能的有效管理，是整体程序分布式实现的基础；逻辑分析控制层：接受监测显示层的控制参数，对驱动层上传的数据进行分析，并与样本库中的样本进行比较，计算并分析整体数据；设备驱动层：用于和多种设备监测设备进行数据交互和控制，把逻辑分析控制层的参数转换成设备能处理的命令。本发明与现有技术相比具有以下有益效果：提高了数据传输的效率；提高了TCP连接的可靠性与并发性。

Description

一种分布式多节点无线电实时数据处理系统及方法
技术领域
本发明涉及无线电监测技术领域，具体指一种分布式多节点无线电实时数据处理系统方法。
背景技术
传统的数据接收会监听数据来源接口并阻塞至接口建立连接，无法同时处理多节点发出的连接请求。因此需要开启大量线程进行异步的数据端口监听，同时开启大量的数据端口会极大的消耗系统资源且不利于管理。
在对无线电实时数据进行处理的过程中会对大量数据进行复杂的运算，对服务器会造成非常大的压力，极大的拖慢数据处理速度。
单个服务器在处理多节点数据时，随着数据量的不断增大，计算占用度等算法会严重占用服务器CPU、内存资源，导致服务器计算速度下降，严重时导致服务器崩溃。
发明内容
本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种分布式多节点无线电实时数据处理系统及方法。
为了解决上述技术问题，本发明采用的技术方案为：一种分布式多节点无线电实时数据处理系统，包括：
原始数据处理层：初步处理设备驱动层获取的数据，并将其转换为逻辑分析控制层需要的数据；
数据传输控制层：控制并收发多节点的无线电数据，对多节点进行高性能的有效管理，是整体程序分布式实现的基础；
逻辑分析控制层：接受监测显示层的控制参数，对驱动层上传的数据进行分析，并与样本库中的样本进行比较，计算并分析整体数据；
设备驱动层：用于和多种设备监测设备进行数据交互和控制，把逻辑分析控制层的参数转换成设备能处理的命令。
作为本发明一种优选技术方案，系统采用信道传输，信道将每个客户端与服务器的连接均划分出一条信道，所有的输入与输出均在信道内完成。
作为本发明一种优选技术方案，该系统采用了设备管理器；设备管理器将不同的节点所接受到的数据进行分类管理并发送到相应的服务器中。
作为本发明一种优选技术方案，该系统为服务器集式的分布式系统。
本发明还提供了上述分布式多节点无线电实时数据处理系统的处理方法，
无线电实时数据从设备采集到其相应的原始数据处理层，在由原始数据处理层发送给相应服务器的数据传输控制层；多个数据传输控制层会将得到的无线电实时数据发送到对应的任务的服务器进行计算，最后得出结果。
本发明与现有技术相比具有以下有益效果：
1、提高了数据传输的效率；
2、提高了TCP连接的可靠性与并发性；
3、提高了在相同服务器下的数据处理效率；
4、提高了服务器在处理大量数据时的稳定性；
5、实现了TCP长连接的心跳包礼让数据；
6、实现了高并发性的TCP长连接；
7、分布式系统的实现避免了由于单个服务器失效而整个系统崩溃的风险。
附图说明
下面结合附图对本发明做进一步详细的说明。
图1是本发明的系统框架图。
图2是本发明的数据传输流程图。
图3是本发明的服务器间数据传输模型图。
图4是本发明在产品中的应用示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明分布式多节点无线电实时数据处理系统，包括：
原始数据处理层：初步处理设备驱动层获取的数据，并将其转换为逻辑分析控制层需要的数据。
数据传输控制层：控制并收发多节点的无线电数据，对多节点进行高性能的有效管理，是整体程序分布式实现的基础。
逻辑分析控制层：接受监测显示层的控制参数，对驱动层上传的数据进行分析，并与样本库中的样本进行比较，计算并分析整体数据。
设备驱动层：用于和多种设备监测设备进行数据交互和控制，把逻辑分析控制层的参数转换成设备能处理的命令。
该系统采用了信道来代替原有的TCP连接。信道将每个客户端与服务器的连接均划分出一条信道，所有的输入与输出均在信道内完成。
该系统采用了事件组与服务引导功能。服务引导功能将所有的服务器连接采用统一的线程进行监听，事件组将所有的连接划分为相应的信道并针对不同的信道进行相对应的操作。
该系统采用了设备管理器。设备管理器将不同的节点所接受到的数据进行分类管理并发送到相应的服务器中去。
该系统采用分布式系统。分布式系统用服务器集群代替原来的单个服务器，在服务器种类不变的情况下，极大的提升了服务器计算效率。其效率大约提升40％以上。
如图2所示，具体处理方法为：无线电实时数据从设备采集到其相应的原始数据处理层，在由原始数据处理层发送给相应服务器的数据传输控制层。
多个数据传输控制层会将得到的无线电实时数据发送到对应的任务的服务器进行计算，最后得出结果。
技术采用的模型主要有：
1)数据传输控制层采用的是典型的Reactor模型结构，mainRector负责监听Server Socket，acceptor新建连接，并将建立的socket分派给subReactor。subReactor负责多路分离已经连接的socket，读写网络数据，对数据进行处理。
数据传输层通过采用Reactor模型实现了非阻塞IO，不会再处理IO过程发生无意义的阻塞，减少了实现“阻塞需求”的线程处理，提高了系统对IO处理的性能，同时增加了稳定性。
连接效率如下：
从表中可以发现创建连接和重用连接的差别不大，性能损耗几乎没有影响。
2)数据处理采用分布式，将原本单服务器上的服务分配给多台服务器同时计算，当数据量越大，数据传输速率越高时，计算数据效率越高。
处理相同服务计算效率如下：
如图3所示，服务器与服务器之间的数据传输底层采用TCP协议，表层使用JAVA的RMI技术实现对另一台服务器中服务的远程调用。
RMI技术可以高效的进行远程数据调用，服务器之间不依靠消息队列也可以进行相应的数据传输并获取相应服务的计算结果。
RMI技术的使用可以在本地服务器上调用任意一台服务器上的服务，当服务器崩溃时可以使用备用服务器完成相应的任务服务。
如图4所示，服务器端的数据传输层使用数据传输框架连接接收机控制服务，并控制接收机。在无线电监测时会用到大量的设备并共同工作，使用传输层框架能快速连接多台设备并完成数据交互。
当大量的且快速的无线电扫描数据传输到服务器端时，为了加快数据处理速度，减低服务器的负载压力并加快浏览器的响应速度，需要使用多个服务器同时对接收到的数据进行处理与计算，此时使用RMI技术避免了消息队列的不稳定性，数据重复传输等问题。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种分布式多节点无线电实时数据处理系统，其特征在于，包括：
原始数据处理层：初步处理设备驱动层获取的数据，并将其转换为逻辑分析控制层需要的数据；
数据传输控制层：控制并收发多节点的无线电数据，对多节点进行高性能的有效管理，是整体程序分布式实现的基础；所述数据传输控制层采用的是Reactor模型结构，mainRector负责监听服务器端口，接收器新建连接，并将建立的端口分派给子接口，子接口负责多路分离已经连接的端口，读写网络数据，对数据进行处理；
逻辑分析控制层：接受监测显示层的控制参数，对驱动层上传的数据进行分析，并与样本库中的样本进行比较，计算并分析整体数据；
设备驱动层：用于和多种设备监测设备进行数据交互和控制，把逻辑分析控制层的参数转换成设备能处理的命令。
2.根据权利要求1所述的一种分布式多节点无线电实时数据处理系统，其特征在于，该系统采用信道传输，信道将每个客户端与服务器的连接均划分出一条信道，所有的输入与输出均在信道内完成。
3.根据权利要求1所述的一种分布式多节点无线电实时数据处理系统，其特征在于，该系统采用了设备管理器；设备管理器将不同的节点所接受到的数据进行分类管理并发送到相应的服务器中。
4.根据权利要求1所述的一种分布式多节点无线电实时数据处理系统，其特征在于，该系统为服务器集式的分布式系统。
5.根据权利要求1-4任一所述的一种分布式多节点无线电实时数据处理系统，其特征在于，无线电实时数据从设备采集到其相应的原始数据处理层，在由原始数据处理层发送给相应服务器的数据传输控制层；多个数据传输控制层会将得到的无线电实时数据发送到对应的任务的服务器进行计算，最后得出结果。
CN201711386588.9A 2017-12-20 2017-12-20 一种分布式多节点无线电实时数据处理系统及方法 Active CN109302724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711386588.9A CN109302724B (zh) 2017-12-20 2017-12-20 一种分布式多节点无线电实时数据处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711386588.9A CN109302724B (zh) 2017-12-20 2017-12-20 一种分布式多节点无线电实时数据处理系统及方法

Publications (2)

Publication Number Publication Date
CN109302724A CN109302724A (zh) 2019-02-01
CN109302724B true CN109302724B (zh) 2024-06-07

Family

ID=65168121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711386588.9A Active CN109302724B (zh) 2017-12-20 2017-12-20 一种分布式多节点无线电实时数据处理系统及方法

Country Status (1)

Country Link
CN (1) CN109302724B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992216B (zh) * 2021-11-18 2023-02-24 上海创远仪器技术股份有限公司 基于微服务架构的无线电接收机系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1670171A1 (en) * 2004-12-10 2006-06-14 Tata Consultancy Services Limited Method and apparatus for a security system for wireless networks
CN102111796A (zh) * 2010-12-14 2011-06-29 广州市香港科大霍英东研究院 一种面向大规模无线传感器网络的分布式交互方法
CN103078865A (zh) * 2013-01-11 2013-05-01 北京汉邦高科数字技术股份有限公司 一种基于tcp协议的网络服务器通信模型
CN103685236A (zh) * 2013-11-21 2014-03-26 南京信息工程大学 一种无线传感器网络数据传输中用户层面数据处理方法
CN105306598A (zh) * 2015-11-19 2016-02-03 炫彩互动网络科技有限公司 一种可实现负载均衡的远程数据调用方法
CN106126407A (zh) * 2016-06-22 2016-11-16 西安交通大学 一种针对分布式存储系统的性能监控调优系统及方法
CN106990963A (zh) * 2017-03-30 2017-07-28 南京车喇叭信息科技有限公司 一种为软件系统的快速搭建提供快速扩展的方法
CN107223243A (zh) * 2015-02-23 2017-09-29 西门子公司 用于嵌入式控制器的分布式数据管理系统
CN207854193U (zh) * 2017-12-20 2018-09-11 上海创远仪器技术股份有限公司 一种分布式多节点无线电实时数据处理系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009023949B4 (de) * 2009-06-04 2015-04-30 Abb Technology Ag Fernwirkgerät zur Anbindung eines unterlagerten Prozesses an ein auf der Basis des Standards IEC61850 arbeitendes Stationsleitsystem

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1670171A1 (en) * 2004-12-10 2006-06-14 Tata Consultancy Services Limited Method and apparatus for a security system for wireless networks
CN102111796A (zh) * 2010-12-14 2011-06-29 广州市香港科大霍英东研究院 一种面向大规模无线传感器网络的分布式交互方法
CN103078865A (zh) * 2013-01-11 2013-05-01 北京汉邦高科数字技术股份有限公司 一种基于tcp协议的网络服务器通信模型
CN103685236A (zh) * 2013-11-21 2014-03-26 南京信息工程大学 一种无线传感器网络数据传输中用户层面数据处理方法
CN107223243A (zh) * 2015-02-23 2017-09-29 西门子公司 用于嵌入式控制器的分布式数据管理系统
CN105306598A (zh) * 2015-11-19 2016-02-03 炫彩互动网络科技有限公司 一种可实现负载均衡的远程数据调用方法
CN106126407A (zh) * 2016-06-22 2016-11-16 西安交通大学 一种针对分布式存储系统的性能监控调优系统及方法
CN106990963A (zh) * 2017-03-30 2017-07-28 南京车喇叭信息科技有限公司 一种为软件系统的快速搭建提供快速扩展的方法
CN207854193U (zh) * 2017-12-20 2018-09-11 上海创远仪器技术股份有限公司 一种分布式多节点无线电实时数据处理系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
史兴领 ; 夏力伟 ; 李剑 ; 崔显成 ; 蒋莹莹 ; 毛飞 ; .电厂设备在线监测与故障预警系统的设计与实现.电力信息与通信技术.2017,(11),全文. *
高倩 ; 李旭杰 ; 潘少军 ; 葛宝珊 ; 肖立民 ; .一种智能化数据采集设备在桥梁测试中的应用.测控技术.2017,(09),全文. *

Also Published As

Publication number Publication date
CN109302724A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN109327509B (zh) 一种主/从架构的低耦合的分布式流式计算系统
US20220086052A1 (en) Intelligent management method and system based on edge computing
WO2017032254A1 (zh) 网络控制策略的生成方法、装置及网络控制器
CN103699447B (zh) 一个基于云计算的视频会议的转码分发系统
CN109274730B (zh) 物联网系统、mqtt消息传输的优化方法及装置
CN104021040B (zh) 基于时间约束条件下的云计算关联任务调度方法和装置
CN103812949B (zh) 一种面向实时云平台的任务调度与资源分配方法及系统
CN111082997B (zh) 移动边缘计算平台中基于业务识别的网络功能编排方法
WO2021073054A1 (zh) 数据处理的方法、装置、设备和存储介质
CN109828940A (zh) 一种智能网卡及数据处理系统和方法
CN113452667A (zh) 一种适用于多种协议类型的边缘物联终端接入方法
CN109302724B (zh) 一种分布式多节点无线电实时数据处理系统及方法
CN106648905A (zh) 一种电力大数据分布控制系统及其构建方法
WO2014015665A1 (zh) 数据处理方法、装置和系统
CN114697619A (zh) 一种工业智能视频监控系统及多视频流自适应配置方法
CN112202932B (zh) 一种基于边缘计算的对视频进行结构化分析的方法及装置
CN207854193U (zh) 一种分布式多节点无线电实时数据处理系统
CN109040304B (zh) 一种CloudROS云机器人架构
CN111245878A (zh) 一种基于混合云计算和雾计算的计算卸载通信网络的方法
CN112817732B (zh) 一种适应云边协同多数据中心场景下的流数据处理方法及系统
CN114301816A (zh) 一种多路分析方法及装置
CN110661731B (zh) 一种报文处理方法及其装置
CN110795152B (zh) 一种基于金融数据处理的时间调节系统
CN210274135U (zh) 一种远程连接系统
CN113656150A (zh) 深度学习算力虚拟化系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant