CN109302724A - 一种分布式多节点无线电实时数据处理系统及方法 - Google Patents
一种分布式多节点无线电实时数据处理系统及方法 Download PDFInfo
- Publication number
- CN109302724A CN109302724A CN201711386588.9A CN201711386588A CN109302724A CN 109302724 A CN109302724 A CN 109302724A CN 201711386588 A CN201711386588 A CN 201711386588A CN 109302724 A CN109302724 A CN 109302724A
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- multinode
- radio
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 12
- 230000005540 biological transmission Effects 0.000 claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 230000003993 interaction Effects 0.000 claims abstract description 5
- 238000012806 monitoring device Methods 0.000 claims abstract description 4
- 238000012546 transfer Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000000926 separation method Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 30
- 230000008569 process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/08—Testing, supervising or monitoring using real traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/309—Measuring or estimating channel quality parameters
- H04B17/345—Interference values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/382—Monitoring; Testing of propagation channels for resource allocation, admission control or handover
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/04—Arrangements for maintaining operational condition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明属于无线电监测技术领域，尤其涉及一种分布式多节点无线电实时数据处理系统，包括：原始数据处理层：初步处理设备驱动层获取的数据，并将其转换为逻辑分析控制层需要的数据；数据传输控制层：控制并收发多节点的无线电数据，对多节点进行高性能的有效管理，是整体程序分布式实现的基础；逻辑分析控制层：接受监测显示层的控制参数，对驱动层上传的数据进行分析，并与样本库中的样本进行比较，计算并分析整体数据；设备驱动层：用于和多种设备监测设备进行数据交互和控制，把逻辑分析控制层的参数转换成设备能处理的命令。本发明与现有技术相比具有以下有益效果：提高了数据传输的效率；提高了TCP连接的可靠性与并发性。
Description
技术领域
本发明涉及无线电监测技术领域，具体指一种分布式多节点无线电实时数据处理系统方法。
背景技术
传统的数据接收会监听数据来源接口并阻塞至接口建立连接，无法同时处理多节点发出的连接请求。因此需要开启大量线程进行异步的数据端口监听，同时开启大量的数据端口会极大的消耗系统资源且不利于管理。
在对无线电实时数据进行处理的过程中会对大量数据进行复杂的运算，对服务器会造成非常大的压力，极大的拖慢数据处理速度。
单个服务器在处理多节点数据时，随着数据量的不断增大，计算占用度等算法会严重占用服务器CPU、内存资源，导致服务器计算速度下降，严重时导致服务器崩溃。
发明内容
本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种分布式多节点无线电实时数据处理系统及方法。
为了解决上述技术问题，本发明采用的技术方案为：一种分布式多节点无线电实时数据处理系统，包括：
原始数据处理层：初步处理设备驱动层获取的数据，并将其转换为逻辑分析控制层需要的数据；
数据传输控制层：控制并收发多节点的无线电数据，对多节点进行高性能的有效管理，是整体程序分布式实现的基础；
逻辑分析控制层：接受监测显示层的控制参数，对驱动层上传的数据进行分析，并与样本库中的样本进行比较，计算并分析整体数据；
设备驱动层：用于和多种设备监测设备进行数据交互和控制，把逻辑分析控制层的参数转换成设备能处理的命令。
作为本发明一种优选技术方案，系统采用信道传输，信道将每个客户端与服务器的连接均划分出一条信道，所有的输入与输出均在信道内完成。
作为本发明一种优选技术方案，该系统采用了设备管理器；设备管理器将不同的节点所接受到的数据进行分类管理并发送到相应的服务器中。
作为本发明一种优选技术方案，该系统为服务器集式的分布式系统。
本发明还提供了上述分布式多节点无线电实时数据处理系统的处理方法，
无线电实时数据从设备采集到其相应的原始数据处理层，在由原始数据处理层发送给相应服务器的数据传输控制层；多个数据传输控制层会将得到的无线电实时数据发送到对应的任务的服务器进行计算，最后得出结果。
本发明与现有技术相比具有以下有益效果：
1、提高了数据传输的效率；
2、提高了TCP连接的可靠性与并发性；
3、提高了在相同服务器下的数据处理效率；
4、提高了服务器在处理大量数据时的稳定性；
5、实现了TCP长连接的心跳包礼让数据：
6、实现了高并发性的TCP长连接；
7、分布式系统的实现避免了由于单个服务器失效而整个系统崩溃的风险。
附图说明
下面结合附图对本发明做进一步详细的说明。
图1是本发明的系统框架图。
图2是本发明的数据传输流程图。
图3是本发明的服务器间数据传输模型图。
图4是本发明在产品中的应用示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明分布式多节点无线电实时数据处理系统，包括：
原始数据处理层：初步处理设备驱动层获取的数据，并将其转换为逻辑分析控制层需要的数据。
数据传输控制层：控制并收发多节点的无线电数据，对多节点进行高性能的有效管理，是整体程序分布式实现的基础。
逻辑分析控制层：接受监测显示层的控制参数，对驱动层上传的数据进行分析，并与样本库中的样本进行比较，计算并分析整体数据。
设备驱动层：用于和多种设备监测设备进行数据交互和控制，把逻辑分析控制层的参数转换成设备能处理的命令。
该系统采用了信道来代替原有的TCP连接。信道将每个客户端与服务器的连接均划分出一条信道，所有的输入与输出均在信道内完成。
该系统采用了事件组与服务引导功能。服务引导功能将所有的服务器连接采用统一的线程进行监听，事件组将所有的连接划分为相应的信道并针对不同的信道进行相对应的操作。
该系统采用了设备管理器。设备管理器将不同的节点所接受到的数据进行分类管理并发送到相应的服务器中去。
该系统采用分布式系统。分布式系统用服务器集群代替原来的单个服务器，在服务器种类不变的情况下，极大的提升了服务器计算效率。其效率大约提升40％以上。
如图2所示，具体处理方法为：无线电实时数据从设备采集到其相应的原始数据处理层，在由原始数据处理层发送给相应服务器的数据传输控制层。
多个数据传输控制层会将得到的无线电实时数据发送到对应的任务的服务器进行计算，最后得出结果。
技术采用的模型主要有：
1)数据传输层采用的是典型的Reactor模型结构，mainRector负责监听ServerSocket，acceptor新建连接，并将建立的socket分派给subReactor。subReactor负责多路分离已经连接的socket，读写网络数据，对数据进行处理。
数据传输层通过采用Reactor模型实现了非阻塞IO，不会再处理IO过程发生无意义的阻塞，减少了实现“阻塞需求”的线程处理，提高了系统对IO处理的性能，同时增加了稳定性。
连接效率如下：
从表中可以发现创建连接和重用连接的差别不大，性能损耗几乎没有影响。
2)数据处理采用分布式，将原本单服务器上的服务分配给多台服务器同时计算，当数据量越大，数据传输速率越高时，计算数据效率越高。
处理相同服务计算效率如下：
如图3所示，服务器与服务器之间的数据传输底层采用TCP协议，表层使用JAVA的RMI技术实现对另一台服务器中服务的远程调用。
RMI技术可以高效的进行远程数据调用，服务器之间不依靠消息队列也可以进行相应的数据传输并获取相应服务的计算结果。
RMI技术的使用可以在本地服务器上调用任意一台服务器上的服务，当服务器崩溃时可以使用备用服务器完成相应的任务服务。
如图4所示，服务器端的数据传输层使用数据传输框架连接接收机控制服务，并控制接收机。在无线电监测时会用到大量的设备并共同工作，使用传输层框架能快速连接多台设备并完成数据交互。
当大量的且快速的无线电扫描数据传输到服务器端时，为了加快数据处理速度，减低服务器的负载压力并加快浏览器的响应速度，需要使用多个服务器同时对接收到的数据进行处理与计算，此时使用RMI技术避免了消息队列的不稳定性，数据重复传输等问题。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种分布式多节点无线电实时数据处理系统，其特征在于，包括：
原始数据处理层：初步处理设备驱动层获取的数据，并将其转换为逻辑分析控制层需要的数据；
数据传输控制层：控制并收发多节点的无线电数据，对多节点进行高性能的有效管理，是整体程序分布式实现的基础；
逻辑分析控制层：接受监测显示层的控制参数，对驱动层上传的数据进行分析，并与样本库中的样本进行比较，计算并分析整体数据；
设备驱动层：用于和多种设备监测设备进行数据交互和控制，把逻辑分析控制层的参数转换成设备能处理的命令。
2.根据权利要求1所述的一种分布式多节点无线电实时数据处理系统，其特征在于，该系统采用信道传输，信道将每个客户端与服务器的连接均划分出一条信道，所有的输入与输出均在信道内完成。
3.根据权利要求1所述的一种分布式多节点无线电实时数据处理系统，其特征在于，该系统采用了设备管理器；设备管理器将不同的节点所接受到的数据进行分类管理并发送到相应的服务器中。
4.根据权利要求1所述的一种分布式多节点无线电实时数据处理系统，其特征在于，该系统为服务器集式的分布式系统。
5.一种分布式多节点无线电实时数据处理方法，其特征在于，无线电实时数据从设备采集到其相应的原始数据处理层，在由原始数据处理层发送给相应服务器的数据传输控制层；多个数据传输控制层会将得到的无线电实时数据发送到对应的任务的服务器进行计算，最后得出结果。
6.根据权利要求5所述的一种低成本超宽带的扼流电路，其特征在于，数据传输层采用的是Reactor模型结构，mainRector负责监听服务器端口，接收器新建连接，并将建立的端口分派给子接口，子接口负责多路分离已经连接的端口，读写网络数据，对数据进行处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711386588.9A CN109302724B (zh) | 2017-12-20 | 2017-12-20 | 一种分布式多节点无线电实时数据处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711386588.9A CN109302724B (zh) | 2017-12-20 | 2017-12-20 | 一种分布式多节点无线电实时数据处理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109302724A true CN109302724A (zh) | 2019-02-01 |
| CN109302724B CN109302724B (zh) | 2024-06-07 |
Family
ID=65168121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711386588.9A Active CN109302724B (zh) | 2017-12-20 | 2017-12-20 | 一种分布式多节点无线电实时数据处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109302724B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113992216A (zh) * | 2021-11-18 | 2022-01-28 | 上海创远仪器技术股份有限公司 | 基于微服务架构的无线电接收机系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1670171A1 (en) * | 2004-12-10 | 2006-06-14 | Tata Consultancy Services Limited | Method and apparatus for a security system for wireless networks |
| CN102111796A (zh) * | 2010-12-14 | 2011-06-29 | 广州市香港科大霍英东研究院 | 一种面向大规模无线传感器网络的分布式交互方法 |
| US20120131122A1 (en) * | 2009-06-04 | 2012-05-24 | Abb Technology Ag | Data trasmission device for remote monitoring and remote controlling in a distributed process system |
| CN103078865A (zh) * | 2013-01-11 | 2013-05-01 | 北京汉邦高科数字技术股份有限公司 | 一种基于tcp协议的网络服务器通信模型 |
| CN103685236A (zh) * | 2013-11-21 | 2014-03-26 | 南京信息工程大学 | 一种无线传感器网络数据传输中用户层面数据处理方法 |
| CN105306598A (zh) * | 2015-11-19 | 2016-02-03 | 炫彩互动网络科技有限公司 | 一种可实现负载均衡的远程数据调用方法 |
| CN106126407A (zh) * | 2016-06-22 | 2016-11-16 | 西安交通大学 | 一种针对分布式存储系统的性能监控调优系统及方法 |
| CN106990963A (zh) * | 2017-03-30 | 2017-07-28 | 南京车喇叭信息科技有限公司 | 一种为软件系统的快速搭建提供快速扩展的方法 |
| CN107223243A (zh) * | 2015-02-23 | 2017-09-29 | 西门子公司 | 用于嵌入式控制器的分布式数据管理系统 |
| CN207854193U (zh) * | 2017-12-20 | 2018-09-11 | 上海创远仪器技术股份有限公司 | 一种分布式多节点无线电实时数据处理系统 |
-
2017
- 2017-12-20 CN CN201711386588.9A patent/CN109302724B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1670171A1 (en) * | 2004-12-10 | 2006-06-14 | Tata Consultancy Services Limited | Method and apparatus for a security system for wireless networks |
| US20120131122A1 (en) * | 2009-06-04 | 2012-05-24 | Abb Technology Ag | Data trasmission device for remote monitoring and remote controlling in a distributed process system |
| CN102111796A (zh) * | 2010-12-14 | 2011-06-29 | 广州市香港科大霍英东研究院 | 一种面向大规模无线传感器网络的分布式交互方法 |
| CN103078865A (zh) * | 2013-01-11 | 2013-05-01 | 北京汉邦高科数字技术股份有限公司 | 一种基于tcp协议的网络服务器通信模型 |
| CN103685236A (zh) * | 2013-11-21 | 2014-03-26 | 南京信息工程大学 | 一种无线传感器网络数据传输中用户层面数据处理方法 |
| CN107223243A (zh) * | 2015-02-23 | 2017-09-29 | 西门子公司 | 用于嵌入式控制器的分布式数据管理系统 |
| CN105306598A (zh) * | 2015-11-19 | 2016-02-03 | 炫彩互动网络科技有限公司 | 一种可实现负载均衡的远程数据调用方法 |
| CN106126407A (zh) * | 2016-06-22 | 2016-11-16 | 西安交通大学 | 一种针对分布式存储系统的性能监控调优系统及方法 |
| CN106990963A (zh) * | 2017-03-30 | 2017-07-28 | 南京车喇叭信息科技有限公司 | 一种为软件系统的快速搭建提供快速扩展的方法 |
| CN207854193U (zh) * | 2017-12-20 | 2018-09-11 | 上海创远仪器技术股份有限公司 | 一种分布式多节点无线电实时数据处理系统 |
Non-Patent Citations (2)
| Title |
|---|
| 史兴领;夏力伟;李剑;崔显成;蒋莹莹;毛飞;: "电厂设备在线监测与故障预警系统的设计与实现", no. 11 * |
| 高倩;李旭杰;潘少军;葛宝珊;肖立民;: "一种智能化数据采集设备在桥梁测试中的应用", no. 09 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113992216A (zh) * | 2021-11-18 | 2022-01-28 | 上海创远仪器技术股份有限公司 | 基于微服务架构的无线电接收机系统 |
| CN113992216B (zh) * | 2021-11-18 | 2023-02-24 | 上海创远仪器技术股份有限公司 | 基于微服务架构的无线电接收机系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109302724B (zh) | 2024-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103870340B (zh) | 流计算系统中的数据处理方法、控制节点及流计算系统 | |
| CN102915254B (zh) | 任务管理方法及装置 | |
| CN103699447B (zh) | 一个基于云计算的视频会议的转码分发系统 | |
| CN109451072A (zh) | 一种基于Kafka的消息缓存系统和方法 | |
| CN109788315A (zh) | 视频转码方法、装置及系统 | |
| CN107025139A (zh) | 一种基于云计算的高性能计算调度框架 | |
| CN102724103B (zh) | 代理服务器、分层次网络系统及分布式工作负载管理方法 | |
| CN106533806B (zh) | 多租户SDN网络中基于应用感知提供跨层QoS的方法 | |
| CN108923958B (zh) | 基于sdn的虚拟网络映射系统及方法 | |
| CN106953744A (zh) | 一种sdn集群控制器高可用架构设计方法 | |
| CN109274747A (zh) | 行情网关系统及其处理方法 | |
| CN105786611A (zh) | 一种分布式集群的任务调度方法及装置 | |
| CN109729310A (zh) | 一种监控巡检数据导出的方法和装置 | |
| CN111082997A (zh) | 移动边缘计算平台中基于业务识别的网络功能编排方法 | |
| CN110213175A (zh) | 一种面向知识定义网络的智能管控系统及管控方法 | |
| CN106941431A (zh) | 服务器监控系统 | |
| CN105471755B (zh) | 网络流量均衡的方法及超级控制器 | |
| CN110300188A (zh) | 数据传输系统、方法和设备 | |
| CN107147734A (zh) | 一种基于两级转发的网络流量线程级动态负载均衡方法及系统 | |
| CN106648905A (zh) | 一种电力大数据分布控制系统及其构建方法 | |
| CN108391082A (zh) | 一种基于gb28181协议的目标结构化服务接入方法、装置和系统 | |
| CN207854193U (zh) | 一种分布式多节点无线电实时数据处理系统 | |
| CN109302724A (zh) | 一种分布式多节点无线电实时数据处理系统及方法 | |
| CN107360473A (zh) | 一种基于sdn的拥塞感知的流量调度的dash系统 | |
| CN110442446A (zh) | 实时处理高速数字信号数据流的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |