CN115884108A - 一种提高大数据传输稳定性的方法 - Google Patents
一种提高大数据传输稳定性的方法 Download PDFInfo
- Publication number
- CN115884108A CN115884108A CN202211505086.4A CN202211505086A CN115884108A CN 115884108 A CN115884108 A CN 115884108A CN 202211505086 A CN202211505086 A CN 202211505086A CN 115884108 A CN115884108 A CN 115884108A
- Authority
- CN
- China
- Prior art keywords
- data
- message
- client
- server
- data transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 39
- 241000854291 Dianthus carthusianorum Species 0.000 claims abstract description 63
- 239000000284 extract Substances 0.000 claims abstract description 9
- 238000012790 confirmation Methods 0.000 claims abstract description 6
- 238000007726 management method Methods 0.000 claims description 28
- 230000002688 persistence Effects 0.000 claims description 24
- 238000003860 storage Methods 0.000 claims description 15
- 238000013500 data storage Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 12
- 238000013523 data management Methods 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 10
- 238000004519 manufacturing process Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 claims description 4
- 238000005265 energy consumption Methods 0.000 abstract description 42
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005538 encapsulation Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101710131167 Ribose-5-phosphate isomerase A 2 Proteins 0.000 description 1
- IRLXSDZTLYOBQH-WOUKDFQISA-N [(2r,3s,4r,5r)-3,4-dihydroxy-5-imidazo[2,1-f]purin-3-yloxolan-2-yl]methyl dihydrogen phosphate Chemical group O[C@@H]1[C@H](O)[C@@H](COP(O)(O)=O)O[C@H]1N1C(N=CN2C=CN=C22)=C2N=C1 IRLXSDZTLYOBQH-WOUKDFQISA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种提高大数据传输稳定性的方法，所述方法包括以下步骤：服务器端验证客户端用户登录信息，用户通过客户端与服务器端交互；服务器端与客户端通过路由无线连接；服务器端连接后保存、上传数据，并进行二次确认，连接建立后，服务器端提取信息推送至客户端显示；服务器端接收返回数据并归档。本发明大数据传输方法基于路由向服务器端传输数据，路由以最优簇首节点传输数据，能耗低且传输稳定性好，并且服务器端对上传数据进行多次确认，从而保证大数据传输的安全性以及稳定性。
Description
技术领域
本发明涉及无线数据传输技术领域，具体涉及一种提高大数据传输稳定性的方法。
背景技术
人工智能和大数据是目前科技领域的热门方向，大数据技术目前正处在落地应用的初期，伴随着产业互联网的发展，大数据在未来将有广阔的发展前景，人工智能在大数据相关技术的推动下，也在近些年取得了一定的发展，一些人工智能产品也陆续开始投入到使用当中，从行业属性来看，大数据与人工智能属于科技领域，目前从事大数据和人工智能研究的公司主要集中在高新技术企业以及互联网公司，另外，科研院所和高校也是研发的重要力量，从应用领域来看，未来大数据与人工智能将广泛地参与到社会活动中，包括金融、教育、医疗、出行、工业生产等诸多领域。
专利号CN109831805B公开了一种提高大数据传输稳定性的方法，包括如下步骤：由低复杂度移动终端收集大数据信息；由低复杂度移动终端以预定义周期来周期性的测量来自多个基站的参考信号强度；由低复杂度移动终端基于所测量的强度，生成测量报告；由低复杂度移动终端将测量报告发送给第一基站，其中，第一基站被配置为基于测量报告，确定是否将与低复杂度移动终端的通信移交给第二基站；如果第一基站确定应当将与低复杂度移动终端的通信移交给第二基站，则由第一基站向第二基站发送移交请求消息；当第二基站成功解码移交请求消息并且第二基站能够接收被移交的通信时，由第一基站接收由第二基站发送的指示以便移交与低复杂度移动终端的通信。
现有技术存在以下不足：现有大数据无线传输方法中，客户端向服务器端发起无线连接时，由于无线路由的簇首节点数量多，无线路由不能在第一时间选择最优簇首节点传输数据，不仅传输能耗高，并且传输稳定性差，且服务器端对客户端数据仅单次确认，安全性差。
发明内容
本发明的目的是提供一种提高大数据传输稳定性的方法，以解决背景技术中不足。
为了实现上述目的，本发明提供如下技术方案：一种提高大数据传输稳定性的方法，所述方法包括以下步骤：
S1：服务器端验证客户端用户登录信息，用户通过客户端与服务器端交互；
S2：服务器端与客户端通过路由无线连接；
S3：服务器端连接后保存、上传数据，并进行二次确认，连接建立后，服务器端提取信息推送至客户端显示；
S4：服务器端接收返回数据并归档。
优选的，服务器端与客户端连接建立后，服务器端提取信息推送至客户端显示，客户端根据信息内容下载对应数据，下载数据返回服务器端归档。
优选的，所述客户端包括服务连接、数据发送和数据接收；
(1)服务连接负责客户端与服务器间的通讯建立和维护；
(2)数据发送和接收基于路由无线发送或接收数据，负责业务数据交互。
优选的，所述服务器端包括连接管理、数据存储、大数据传输以及消息管理：
(1)连接管理部分负责客户端登录验证，以及目标队列的信息维护；
(2)数据存储部分根据服务器选择情况提供不同的存储模式；
(3)大数据传输提供大数据相关操作的服务，保证数据高效稳定的传输；
(4)消息管理是与客户端进行数据交互，并且根据实际业务情况选择不同的处理策略。
优选的，所述数据存储包括JDBC持久化、文件持久化和文件非持久化，JDBC持久化包括Oracle、MySQL持久化，文件持久化用于将存储数据以文件的形式存储在磁盘上；文件非持久化用于将数据缓存在内存中。
优选的，所述消息管理包括消息接收、消息提取以及消息推送，消息接收用于接收相应客户端发送的请求，解析请求报文，并将报文转化为系统识别格式，消息提取将已经消息从存储介质中提取出来并交给消息推送，消息推送与消息消费者的连接，并通过主动推送的方式将消息发给消息消费者。
优选的，所述连接管理包括以下安全验证步骤：
(1)从配置文件中读取信息，进行验证初始化；
(2)用户发送用户名密码连接信息到服务器端；
(3)服务器对于用户登录的IP进行验证；
(4)对于用户发送的用户名密码进行匹配验证；
(5)最后，服务器端将验证结果返回给用户。
优选的，所述大数据传输包括数据接收、数据推送以及数据管理，数据接收用于更新消息状态，数据推送用于获取推送数据，数据管理用于记录并上传数据。
优选的，所述客户端包括生产客户端以及消费客户端，生产客户端负责将数据从客户端本地发往数据传输服务器，消费客户端是从数据传输服务器上获取数据到客户端本地。
优选的，大数据基于路由无线收/发数据，路由簇首个数的计算公式为：
其中，簇首节点kopt的个数与网络分布区域长度M及网络中的节点总数N*εfs成正比，簇首节点kopt的个数与簇首离基站的距离几*εamp*(d 4+d4 BS)成反比。
在上述技术方案中，本发明提供的技术效果和优点：
1、本发明客户端基于路由向服务器端发起无线连接，服务器端连接后保存、上传数据，并进行二次确认，连接建立后，服务器端提取信息推送至客户端显示，客户端根据信息内容下载对应数据，下载数据返回服务器端归档，该大数据传输方法基于路由向服务器端传输数据，路由以最优簇首节点传输数据，能耗低且传输稳定性好，并且服务器端对上传数据进行多次确认，从而保证大数据传输的安全性以及稳定性。
2、本发明通过优化簇首节点的个数与网络分布区域长度及网络中的节点总数成正比，与簇首离基站的距离成反比，以达到节省能量的目的，反之，应减少簇首节点个数，然而，当簇首离基站的距离较大时，簇首节点与基站之间的通信能耗会更大，故应适当减少簇首节点的个数，反之，应增加簇首节点个数，通过优化路由无线协议算法，使得大数据无线传输的能耗降低，且稳定性更好。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明的纵向剖视图。
图2为本发明的大数据传输交互示意图。
图3为本发明中数据传输模块的交互流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1和图2所示，本实施例所述一种提高大数据传输稳定性的方法，所述方法包括以下步骤：
用户登录客户端，服务器端验证登录后，用户通过客户端与服务器端交互，客户端基于路由向服务器端发起无线连接，服务器端连接后保存、上传数据，并进行二次确认，连接建立后，服务器端提取信息推送至客户端显示，客户端根据信息内容下载对应数据，下载数据返回服务器端归档，该大数据传输方法基于路由向服务器端传输数据，路由以最优簇首节点传输数据，能耗低且传输稳定性好，并且服务器端对上传数据进行多次确认，从而保证大数据传输的安全性以及稳定性。
其中，用户通过客户端与服务器端进行交互。
客户端包括：
(1)辅助用户进行相关系统结构的开发，只要进行简单的参数填写和功能调用就能与数据传输系统进行对接，缩短系统调试周期，降低维护难度和风险；
(2)客户端功能包括服务连接、数据发送和数据接收；
其中，
服务连接负责客户端与服务器间的通讯建立和维护；
数据发送和接收基于路由无线发送或接收数据，负责业务数据交互。
服务器端包括连接管理、数据存储、大数据传输以及消息管理：
(1)连接管理部分负责客户端登录验证，以及目标队列的信息维护；
(2)数据存储部分根据服务器选择情况提供不同的存储模式；
(3)大数据传输提供大数据相关操作的服务，保证数据高效稳定的传输；
(4)消息管理是与客户端进行数据交互，并且根据实际业务情况选择不同的处理策略。
大数据传输数据表定义时尽量少的采用数据关联，降低耦合度加速数据处理速度，以满足服务级业务的要求，数据表定义主要作用是进行系统初始化，以及记录消息和订阅状态，数据表包括通道表、目的地表、消息表以及订阅者列表。
通道表如表1所示：
| 序号 | 字段名 | 类型 | 为空 | 键 | 默认值 | 描述 |
| 1 | CHANNELID | BIGINT(255) | NO | PRI | ||
| 2 | CHANNELNAME | VARchar(256) | NO | |||
| 3 | CHANNELTYPE | VARchar(128) | NO | comm | 目标类型 | |
| 4 | CREATEUSER | VARchar(256) | NO | 目标创建用户 | ||
| 5 | CREATEDATE | DATATIME | NO | 目标创建时间 | ||
| 6 | EDITDATE | DATATIME | YES | 目标修改时间 | ||
| 7 | STATE | char | NO | 0 | 0:在用，9:作废 |
表1
通道表是将队列中的共通属性进行抽取而形成的数据表，其中定义的属性从总体上约束其下属数据存储队列。
目的地表如表2所示：
| 序号 | 字段名 | 类型 | 为空 | 键 | 默认值 | 描述 |
| 1 | DESTID | BIGINT(255) | NO | PRI | 目标ID | |
| 2 | CHANNELID | VARchar(256) | NO | 通道ID | ||
| 3 | DESTNAME | VARchar(256) | NO | 目标名称. | ||
| 4 | DESTTYPE | VARchar(128) | NO | 类型 | ||
| 5 | PUT_FLAG | char | NO | Y | 是否允许放入消息 | |
| 6 | EXTRACTFLAG | char | NO | Y | 是否允许提取消息 | |
| 7 | DEFAULT-PRIORITY | BIGINT(1) | NO | 4 | 默认优先级 |
表2
目的地表是实际的数据交互对应的数据表，其中定义数据交互队列的详细参数信息。
消息表如表3所示：
表3
消息表用于保存消息相关数据，系统会根据消息的不同状态来进行不同流程的处理。订阅者列表如表4所示：
表4
消息在数据传输服务器中有两种运转模式：队列和主题模式，队列模式指一条消息只能有一位消费者获取，当被消费后其他用户不能再次获取到；主题模式是指一条消息可能被所有订阅该主题的用户所获取。
大数据传输是系统的标志性业务，在存储上也是进行独立操作，是通过文件进行存储，这样可以不依赖于任何第三方软件(数据库、FTP服务器等)进行操作，本实施例中，大数据存储描述文件采用的是XML文档。
实施例2
上述实施例1中，数据存储基于数据存储模块实现，数据存储模块是数据可靠传输的基础，保证消息到达数据传输服务器之后，消息不会丢失，数据存储模块包括JDBC持久化、文件持久化和文件非持久化。
其中，
JDBC持久化包括了Oracle、MySQL两种方式的持久化，但是不局限于这两种数据库支持，系统提供了JDBC的可扩展接口，通过对接口的扩展可以新增其他JDBC数据库的支持。
文件持久化就是存储的数据以文件的形式存储在磁盘上，文件持久化提供了更好的存、取、读性能，尤其对于批量信息插入和提取，优势尤为突出。
文件非持久化是一种不将数据存储到磁盘上的存储方式，而是将数据缓存在内存中，提供了更好的性能和效率，但是非持久化存储并不保证数据的可靠性传输，当在系统运行状况下出现宕机等系统级错误，系统重新启动后原运行系统内存中的数据将全部丢失且不可恢复。
消息管理基于消息管理模块实现，消息管理模块负责消息在数据传输服务器中流转的每个环节的处理，对数据传输服务器的生命周期景象管理和维护，消息管理模块包括消息接收、消息提取以及消息推送。
其中，
(1)消息接收负责相应客户端发送的请求，并解析请求报文，将报文转化为系统可以识别的格式。
(2)消息提取将已经消息从存储介质中提取出来并交给消息推送。
(3)消息推送负责与消息消费者的连接，并通过主动推送的方式将消息发给消息消费者。
综上所述，根据上述数据运转流程可将消息分为消息生产以及消息消费。
其中，
消息生产包括以下步骤：
(1)生产者使用客户端发送消息。
(2)客户端首先获取与数据传输服务器之间的物理连接。
(3)获取到物理连接后，使用获取到的连接，将客户端发送的消息以报文的形式发送给数据传输服务。
(4)消息接收模块对于数据信息进行解析。
(5)消息转换模块将网络传输的报文进行解析，识别成为系统内部可以识别的数据实体，这里可以识别的消息类型可以是多种，并且可以进行扩展。
(6)调用数据存储模块进行消息的持久化操作。对于应答消息将会调用应答处理模块，对于带有附件的消息，将会调用附件管理模块进行后续的处理。
消息消费包括以下步骤：
(1)消息推送线程既是消息消费客户端的客户端连接的服务线程，当消息消费客户端与数据传输服务建立物理连接后，数据传输服务会为每一个消费客户端维持一个服务线程。
(2)消息推送线程推送的实体数据是消息，对于消息的提取统一由消息提取完成，消息推送线程需要将提取消息的条件传递给消息提取并接收返回结果即可。
(3)消息提取模块接收消息推送线程的调用并根据传递的查询参数对消息存储介质查询满足条件的消息或消息集合，并将查询结构返回给消息推送线程。
(4)消息提取向消息推送线程返回查询结果的过程。
(5)消息推送线程将返回的消息以报文的形式，通过tcpSocket传递给消息消费者。
(6)消息消费者取得消息后，向数据传输服务发送应答消息表明当前消息已经被处理完成。
连接管理基于安全模块实现，安全模块保证系统能够安全稳定运行，数据能够完整的传递到目的地，不会出现丢失和篡改，主要通过用户名密码验证和IP地址验证两步，从入口处保证连接用户都是合法用户。
所述安全模块包括以下验证步骤：
(1)从配置文件中读取基本信息，进行验证初始化。
(2)用户发送用户名密码等连接信息到服务器端。
(3)服务器对于用户登录的IP进行验证。
(4)对于用户发送的用户名密码进行匹配验证。
(5)最后，服务器端将验证结果返回给用户。
大数据传输基于数据传输模块实现，数据传输模块负责大数据相关操作，与系统的其他部分紧密结合，共同完成数据的安全、完整、高效传输。
请参阅图3所示，大数据传输模块包括数据接收、数据推送以及数据管理，数据接收用于更新消息状态，数据推送用于获取推送数据，数据管理用于记录并上传数据。
对于大数据的传输，点对点模式和订阅/发布模式存在着细微的差别，订阅/发布模式下，就是一种对于点对点模式的扩展，对文件的发送流程完全相同；
对于文件的消费，订阅/发布模式下会有多用户接收到该文件，点对点模式下只有单用户会接收到该文件，断点相关信息的保存是与用户一一对应的，数据传输服务器会为每一个消费者(无论是点对点模式用户还是订阅/发布模式)记录一份断点续传，这是这两种模式的唯一区别。
综上所述，大数据传输过程中包括大数据生产流程以及大数据消费流程。
其中，
大数据生产包括以下步骤：
(1)调用客户端发送消息。
(2)发送消息客户端进行消息封装，然后将其转发给数据传输服务器的消息接收模块。
(3)消息管理模块进行消息存储，并将其中数据相关参数转给数据管理模块进行查询。
(4)数据管理模块分析客户端的附件信息，匹配通道队列属性等附件传输规则，如果是新消息则调用消息存储模块接口，新建消息。
(5)返回数据传输参数给消息管理模块。
(6)消息接收模块将查询结果返回客户端。
(7)客户端根据参数进行数据发送初始化，包括压缩、分片等操作。
(8)客户端根据传输参数要求，启动相应线程进行数据发送。
(9)数据传输服务器的数据接收模块进行数据存储。
(10)数据管理模块记录数据传输信息。
(11)数据管理模块调用消息存储模块接口，更新消息状态。
大数据消费包括以下步骤：
(1)消费者申请消费消息。
(2)客户端连接数据传输服务器的消息推送模块获取消息。
(3)消息推送模块查询符合要求的消息进行推送。
(4)客户端接收消息后，查询本地是否存在与该消息附件相匹配的断点信息，封装后进行返回。
(5)消息推送模块接收后，将客户端信息转发给附件管理模块。
(6)附件管理模块分析客户端信息，结合通道队列属性，进行附件推送的初始化。
(7)附件管理模块将推送参数传输给附件推送模块。
(8)附件推送模块根据参数要求，将附件推送到客户端。
(9)客户端接收附件后，进行组片、解压缩等操作，完成附件存储。
(10)接收完成后，进行消息应答。
(11)消息管理模块接受应答后，更新消息状态。
实施例3
本实施例中，由于客户端是辅助用户进行相关系统结构的开发，只要进行简单的参数填写和功能调用就能与数据传输系统进行对接，本实施例中，主要对客户端进行设计，客户端包括生产客户端以及消费客户端，生产客户端负责将数据从客户端本地发往数据传输服务器，消费客户端是从数据传输服务器上获取数据到客户端本地。
其中，
生产客户端先从数据传输服务器获取连接，以及数据传输相关参数，数据通过发送模块进行参数解析，包含数据分片、压缩等信息，然后根据要求进行配置，选择具体发送方式，最后调用发送线程进行数据发送。
消费客户端与生产客户端相对应，基本流程相似，区别在于多了数据整理步骤，因为数据在接受到客户端以后要根据文件属性进行分析，如果是分片数据需要进行组合，压缩数据需要进行解压缩工作，保证文件与生产者发送时相一致。
实施例4
大数据基于路由无线收/发数据时，无线网络中的簇首节点在网络中所占的比例直接影响着网络资源的利用率，因此确定合适的簇首数目将会充分发挥路由无线协议的节能优势。
本实施例中，结合网络在簇的形成阶段和稳定传输阶段的能耗，提出了最优簇首比例的计算方法。
初始化网络模型，网络中的相关参数如表5所示：
| 节点总数 | N |
| 簇首个数 | k |
| 分布区域 | M*M |
| 簇平均节点数 | N/k |
| 簇首与基站间的距离 | dBS |
| 簇内成员节点到簇首间的距离 | dCH |
| 融合单位数据的能耗 | EDA |
| 自由空间模型系数 | εfs |
| 多径衰落空间模型系数 | εamp |
| 发射/接收电路单位能耗 | Eelce |
表5
即假设网络中有N个节点随机分布在M*M的区域内，分簇个数为k，则可知平均每个簇内就包含1个簇首和N/k-1个成员节点。
在一阶无线电的能耗模型基础上，通过最小化节点传输所消耗的能量，得到了最优的簇首个数kopt，计算公式如下：
然而上述计算方法只考虑了稳定传输阶段的能耗，并未考虑簇的形成阶段的能耗，因此在该模型的基础上，结合簇形成阶段的能耗和稳定传输阶段的能耗两方面提出了最优簇首数目的计算方法，具体步骤如下：
(1)簇的形成阶段的能耗：簇的形成阶段包含三个部分，即簇首宣告、成员入簇及簇首广播TDMA时隙表等。
其中，
簇首宣告：簇首需要告知其他节点自己成为簇首节点的消息，当其他节点接收到簇首的宣告信息后，其会选取加入距离自己最近的簇首节点；
成员入簇：确定好自己的簇首节点后，节点便向该簇首节点发送请求加入的信息；
簇首广播TDMA时隙表：簇首接收到簇成员节点的加入信息请求后，便会为每个成员节点分配传送信息的时隙，并以TDMA时隙表的形式广播给各成员节点，成员节点收到该消息后便可在属于自己的时隙内向簇首传输数据，能量消耗如表6所示：
表6
在该阶段簇首节点的能耗包括有广播宣告消息的能耗、接收簇成员的加入请求信息的能耗及向成员节点广播(因只在簇内进行广播，故可看作近距离广播)时隙表的能耗，故在簇的形成阶段中单个簇首节点的总能耗为：
在该阶段簇成员节点的能耗包括接收簇首节点的宣告消息的能耗、向簇首节点发送请求加入的信息的能耗及接收簇首节点为其分配的TDMA时隙表的能耗，故在簇的形成阶段中簇内所有成员节点的总能耗为：
所以，在簇的形成阶段网络的总能耗为：
(2)稳定传输阶段能耗：路由无线算法的稳定传输阶段包括簇内成员节点源源不断地将采集到的信息发送给簇首节点，簇首节点收到该信息后将其与自身采集到的信息进行压缩融合，并将处理后的数据传输给基站，能量消耗如表7所示：
表7
假设传送的消息长度为l比特，单个簇首节点在该阶段一帧中的能耗包含接收簇内成员节点的能耗、对数据进行融合处理的能耗及将数据传输至基站的能耗等三部分，具体公式如下：
其中，EDA为融合单位数据所消耗的能量，dBS为簇首节点到基站的距离，因基站与簇首的距离默认是很远的，故应采用多径信道衰落模型进行传输。
簇内成员节点在该阶段一帧中的能耗即为将采集到的数据发送至簇首节点的能耗，故簇内所有成员节点的总能耗为：
故网络中稳定传输阶段的一帧中的总能耗为：
综上所述，我们将簇建立阶段的能耗与稳定阶段一帧的能耗之和看作一轮的总能耗的代表，具体公式如下：
现有公知技术中，
带入上式可得：
从上式可知，Etoal是关于k的函数，且公式中其他参数均为固定值，为使能耗最小化，使用数学求导的方法可得到最优簇首个数的公式，具体如下：
从上式可看出，簇首节点kopt的个数与网络分布区域长度M及网络中的节点总数N*εfs成正比，簇首节点kopt的个数与簇首离基站的距离几*εamp*(d4+d4 BS)成反比，说明在节点分布区域较大时或节点总数较多时，应适当增加簇首节点的个数，以达到节省能量的目的，反之，应减少簇首节点个数，然而，当簇首离基站的距离较大时，簇首节点与基站之间的通信能耗会更大，故应适当减少簇首节点的个数，反之，应增加簇首节点个数，通过优化路由无线协议算法，使得大数据无线传输的能耗降低，且稳定性更好。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种提高大数据传输稳定性的方法，其特征在于：所述方法包括以下步骤：
S1：服务器端验证客户端用户登录信息，用户通过客户端与服务器端交互；
S2：服务器端与客户端通过路由无线连接；
S3：服务器端连接后保存、上传数据，并进行二次确认，连接建立后，服务器端提取信息推送至客户端显示；
S4：服务器端接收返回数据并归档。
2.根据权利要求1所述的一种提高大数据传输稳定性的方法，其特征在于：服务器端与客户端连接建立后，服务器端提取信息推送至客户端显示，客户端根据信息内容下载对应数据，下载数据返回服务器端归档。
3.根据权利要求2所述的一种提高大数据传输稳定性的方法，其特征在于：所述客户端包括服务连接、数据发送和数据接收；服务连接负责客户端与服务器间的通讯建立和维护；数据发送和接收基于路由无线发送或接收数据，负责业务数据交互。
4.根据权利要求2所述的一种提高大数据传输稳定性的方法，其特征在于：所述服务器端包括连接管理、数据存储、大数据传输以及消息管理：连接管理部分负责客户端登录验证，以及目标队列的信息维护；数据存储部分根据服务器选择情况提供不同的存储模式；大数据传输提供大数据相关操作的服务，保证数据高效稳定的传输；消息管理是与客户端进行数据交互，并且根据实际业务情况选择不同的处理策略。
5.根据权利要求4所述的一种提高大数据传输稳定性的方法，其特征在于：所述数据存储包括JDBC持久化、文件持久化和文件非持久化，JDBC持久化包括Oracle、MySQL持久化，文件持久化用于将存储数据以文件的形式存储在磁盘上；文件非持久化用于将数据缓存在内存中。
6.根据权利要求5所述的一种提高大数据传输稳定性的方法，其特征在于：所述消息管理包括消息接收、消息提取以及消息推送，消息接收用于接收相应客户端发送的请求，解析请求报文，并将报文转化为系统识别格式，消息提取将已经消息从存储介质中提取出来并交给消息推送，消息推送与消息消费者的连接，并通过主动推送的方式将消息发给消息消费者。
7.根据权利要求6所述的一种提高大数据传输稳定性的方法，其特征在于：所述连接管理包括以下安全验证步骤：从配置文件中读取信息，进行验证初始化；用户发送用户名密码连接信息到服务器端；服务器对于用户登录的IP进行验证；对于用户发送的用户名密码进行匹配验证；最后，服务器端将验证结果返回给用户。
8.根据权利要求7所述的一种提高大数据传输稳定性的方法，其特征在于：所述大数据传输包括数据接收、数据推送以及数据管理，数据接收用于更新消息状态，数据推送用于获取推送数据，数据管理用于记录并上传数据。
9.根据权利要求1所述的一种提高大数据传输稳定性的方法，其特征在于：所述客户端包括生产客户端以及消费客户端，生产客户端负责将数据从客户端本地发往数据传输服务器，消费客户端是从数据传输服务器上获取数据到客户端本地。
10.根据权利要求1-9任一项所述的一种提高大数据传输稳定性的方法，其特征在于：大数据基于路由无线收/发数据，路由簇首个数的计算公式为：
其中，簇首节点kopt的个数与网络分布区域长度M及网络中的节点总数N*εfs成正比，簇首节点kopt的个数与簇首离基站的距离几*εamp*(d 4+d4 BS)成反比。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211505086.4A CN115884108A (zh) | 2022-11-29 | 2022-11-29 | 一种提高大数据传输稳定性的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211505086.4A CN115884108A (zh) | 2022-11-29 | 2022-11-29 | 一种提高大数据传输稳定性的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115884108A true CN115884108A (zh) | 2023-03-31 |
Family
ID=85764405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211505086.4A Pending CN115884108A (zh) | 2022-11-29 | 2022-11-29 | 一种提高大数据传输稳定性的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115884108A (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070038681A1 (en) * | 2005-08-10 | 2007-02-15 | Spare Backup, Inc. | System and method of remote storage of data through connection from a server to a client |
| US20140259147A1 (en) * | 2011-09-29 | 2014-09-11 | Israel L'Heureux | Smart router |
| CN104980441A (zh) * | 2015-06-26 | 2015-10-14 | 浪潮软件股份有限公司 | 一种实现租户鉴权机制的方法 |
| CN106331184A (zh) * | 2016-12-01 | 2017-01-11 | 网宿科技股份有限公司 | 基于互联网的大数据分发方法和分发平台 |
| US20170223004A1 (en) * | 2014-05-26 | 2017-08-03 | Tencent Technology (Shenzhen) Company Limited | Login information transmission method, code scanning method and apparatus, and server |
| US20180035148A1 (en) * | 2016-07-26 | 2018-02-01 | At&T Mobility Ii Llc | Method and apparatus for sponsored messaging |
| CN108289317A (zh) * | 2018-05-13 | 2018-07-17 | 广东理致技术有限公司 | 一种基于大数据分析的无线传感网络路由方法及装置 |
| US20190379735A1 (en) * | 2017-07-18 | 2019-12-12 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for multimedia communication, and storage medium |
| CN111245699A (zh) * | 2020-01-15 | 2020-06-05 | 广州华多网络科技有限公司 | 远程通信服务控制方法、服务器及客户端 |
| CN113032598A (zh) * | 2021-04-12 | 2021-06-25 | 郑州航空工业管理学院 | 基于大数据的图像设计视觉传达系统 |
| KR20210117745A (ko) * | 2020-03-20 | 2021-09-29 | 주식회사 인티그리티 | 모바일 및 웹 환경 기반 온-오프라인 연계의 의류 디자인 중계 서비스 방법 |
| CN113821525A (zh) * | 2021-11-24 | 2021-12-21 | 北京金堤科技有限公司 | 数据更新系统和方法、以及存储介质和电子设备 |
| US20220179982A1 (en) * | 2020-12-04 | 2022-06-09 | TruU, Inc. | Proximity Based Identity Modulation for an Identity Verification System |
| CN114844847A (zh) * | 2021-12-14 | 2022-08-02 | 合肥哈工轩辕智能科技有限公司 | 一种高可靠性的实时消息分发方法及装置 |
-
2022
- 2022-11-29 CN CN202211505086.4A patent/CN115884108A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070038681A1 (en) * | 2005-08-10 | 2007-02-15 | Spare Backup, Inc. | System and method of remote storage of data through connection from a server to a client |
| US20140259147A1 (en) * | 2011-09-29 | 2014-09-11 | Israel L'Heureux | Smart router |
| US20170223004A1 (en) * | 2014-05-26 | 2017-08-03 | Tencent Technology (Shenzhen) Company Limited | Login information transmission method, code scanning method and apparatus, and server |
| CN104980441A (zh) * | 2015-06-26 | 2015-10-14 | 浪潮软件股份有限公司 | 一种实现租户鉴权机制的方法 |
| US20180035148A1 (en) * | 2016-07-26 | 2018-02-01 | At&T Mobility Ii Llc | Method and apparatus for sponsored messaging |
| CN106331184A (zh) * | 2016-12-01 | 2017-01-11 | 网宿科技股份有限公司 | 基于互联网的大数据分发方法和分发平台 |
| US20190379735A1 (en) * | 2017-07-18 | 2019-12-12 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for multimedia communication, and storage medium |
| CN108289317A (zh) * | 2018-05-13 | 2018-07-17 | 广东理致技术有限公司 | 一种基于大数据分析的无线传感网络路由方法及装置 |
| CN111245699A (zh) * | 2020-01-15 | 2020-06-05 | 广州华多网络科技有限公司 | 远程通信服务控制方法、服务器及客户端 |
| KR20210117745A (ko) * | 2020-03-20 | 2021-09-29 | 주식회사 인티그리티 | 모바일 및 웹 환경 기반 온-오프라인 연계의 의류 디자인 중계 서비스 방법 |
| US20220179982A1 (en) * | 2020-12-04 | 2022-06-09 | TruU, Inc. | Proximity Based Identity Modulation for an Identity Verification System |
| CN113032598A (zh) * | 2021-04-12 | 2021-06-25 | 郑州航空工业管理学院 | 基于大数据的图像设计视觉传达系统 |
| CN113821525A (zh) * | 2021-11-24 | 2021-12-21 | 北京金堤科技有限公司 | 数据更新系统和方法、以及存储介质和电子设备 |
| CN114844847A (zh) * | 2021-12-14 | 2022-08-02 | 合肥哈工轩辕智能科技有限公司 | 一种高可靠性的实时消息分发方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 张现利: "基于LEACH协议改进的物联网能耗均衡路由算法", 中国优秀硕士学位论文全文数据库 (信息科技辑), no. 2016, 15 December 2016 (2016-12-15), pages 4 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101526637B1 (ko) | 무선 액세스 포인트에 의한 복수의 서비스 네트워크에 대한 지원의 애드버타이즈 | |
| US9467499B2 (en) | Method and management apparatus for performing operation on device resource | |
| US8811979B2 (en) | Method for providing private information to mobile user and associated wireless communication network and mobile station | |
| US20140120964A1 (en) | Group messaging at mobile terminal in autonomous network | |
| KR20200039295A (ko) | 5g 이동 통신 시스템에서 네트워크 분석 정보를 활용한 효율적 mico 모드 관리 방법 | |
| CN104660708A (zh) | 一种基于http的移动应用消息推送方法及系统 | |
| RU2665894C2 (ru) | Система и способ использования сохраненной информации более высокого уровня | |
| CN103795689A (zh) | 资源订阅方法及装置 | |
| US20100103871A1 (en) | Methods and systems for providing user information in telecommunications networks | |
| CN102724651B (zh) | 数据直通处理方法、设备和系统 | |
| EP2034697A2 (en) | Apparatus and method for transmitting/receiving content in a mobile communication system | |
| CN113452431B (zh) | 一种利用边缘计算技术优化卫星网络数据业务的方法 | |
| WO2024098815A1 (zh) | 一种数据传输处理方法、装置、存储介质及电子装置 | |
| CN114039648A (zh) | 一种卫星网络的覆盖扩展方法及装置 | |
| CN111884938B (zh) | 路由器信息采集方法及装置 | |
| CN105635966A (zh) | 一种基于北斗卫星通信的应急救援方法及系统 | |
| CN115884108A (zh) | 一种提高大数据传输稳定性的方法 | |
| CN112422300A (zh) | 基于区块链的云网专线管理方法、upf及区域链平台 | |
| CN102523567B (zh) | 电信智能卡内数据更新的方法、系统及电信智能卡 | |
| CN116567802A (zh) | 一种5g核心网服务化接口切片纠错的实现方法 | |
| JP6807952B2 (ja) | 通信サービスを端末通信装置に提供する通信ネットワークを決定する方法及び装置 | |
| CN102378406B (zh) | 一种网状卫星通信网的终端站时延动态调整方法 | |
| WO2024098814A1 (zh) | 一种数据传输处理方法、装置、存储介质及电子装置 | |
| CN116546117B (zh) | 智能融合终端mqtt协议解析方法及系统 | |
| CN115915174B (zh) | 网络状态信息获取方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |