CN116489178B - 一种分布式存储通讯信息的方法及装置 - Google Patents
一种分布式存储通讯信息的方法及装置 Download PDFInfo
- Publication number
- CN116489178B CN116489178B CN202310455499.4A CN202310455499A CN116489178B CN 116489178 B CN116489178 B CN 116489178B CN 202310455499 A CN202310455499 A CN 202310455499A CN 116489178 B CN116489178 B CN 116489178B
- Authority
- CN
- China
- Prior art keywords
- time
- communication information
- storage
- real
- access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims abstract description 229
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000005192 partition Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 28
- 230000011218 segmentation Effects 0.000 claims description 28
- 238000000638 solvent extraction Methods 0.000 claims description 25
- 238000004140 cleaning Methods 0.000 claims description 17
- 238000012502 risk assessment Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 abstract description 13
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0626—Reducing size or complexity of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/63—Routing a service request depending on the request content or context
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分布式存储通讯信息的方法及装置,涉及通讯信息存储技术领域,解决了现有技术中,通讯信息在存储过程中无法进行垂直分割以及水平分区,导致数据访问和数据存储过程中运行效率低的技术问题;本发明是将对应通讯信息进行垂直分割,保证通讯信息在存储过程中实时访问的高效性,提高通讯信息的存储节点使用的及时性,防止同类型的通讯信息访问过程中请求多个节点进行访问,导致数据存储节点的运行数量大容易造成通讯信息访问拥堵;还根据实时通讯信息存储节点的存储运行进行分析,将通讯信息在存储过程中进行水平分区,在通讯信息存储节点进行数据存储水平分区,防止数据存储节点的存储空间利于不均衡。
Description
技术领域
本发明涉及通讯信息存储技术领域,具体为一种分布式存储通讯信息的方法及装置。
背景技术
分布式存储是将数据分散存储在多台独立的设备上,传统的网络存储是采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要,而分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,不但提高系统的可靠性、可用性和存取效率,还易于扩展;
但是在现有技术中,通讯信息在存储过程中无法进行垂直分割以及水平分区,导致数据访问和数据存储过程中运行效率低,且无法保证通讯信息对应存储节点的访问并发效率;
针对上述的技术缺陷,现提出一种解决方案。
发明内容
本发明的目的就在于为了解决上述提出的问题,而提出一种分布式存储通讯信息的方法及装置,在完成垂直分割和水平分区后,对存储的通讯信息进行查询管控,根据实时查询进程进行路由匹配,防止数据访问过程中路由匹配不合理导致查询进程并发概率增加,容易造成数据访问查询拥堵,影响实时访问效率,且通讯信息分布式存储过程中访问操作进行风险预警,便于对垂直分割和水平分区的可行性进行检测。
本发明的目的可以通过以下技术方案实现:
一种分布式存储通讯信息的方法,具体分布式存储方法步骤如下:
步骤一、垂直分割,根据实时存储的通讯信息访问分析,将对应通讯信息进行垂直分割,将实时存储的通讯信息进行分析,并将实时存储的通讯信息进行字段提取,且将提取字段设置标号i,i为大于1的自然数,获取到实时存储通讯信息内提取字段的分割系数,根据分割系数比较对提取字段进行划分;
步骤二、水平分区,根据实时通讯信息存储节点的存储运行进行分析,将通讯信息在存储过程中进行水平分区,在实时存储通讯信息完成垂直分割后,对现使用的存储节点进行存储管控,通过分析判定现使用存储节点是否进行分区;
步骤三、查询划分,在完成垂直分割和水平分区后,对存储的通讯信息进行查询管控,根据实时查询进程进行路由匹配;
步骤四、风险预警,在通讯信息分布式存储过程中访问操作进行风险预警,便于对垂直分割和水平分区的可行性进行检测。
作为本发明的一种优选实施方式,步骤一中垂直分割的具体过程如下:
获取到通讯信息的实时访问时间段,采集到实时访问时间段内通讯信息内提取字段由同一访问终端同时访问的频率以及通讯信息内提取字段对应权限等级一致的访问终端数量占比;采集到实时访问时间段内通讯信息内提取字段由非同一访问终端非同时访问次数;
通过分析获取到实时存储通讯信息内提取字段的分割系数;
将实时存储通讯信息内提取字段的分割系数与分割系数阈值进行比较:
若实时存储通讯信息内提取字段的分割系数超过分割系数阈值,则对应提取字段标记为可分割字段,并将可分割字段进行分割且完成分割后存储至同一存储节点;若实时存储通讯信息内提取字段的分割系数未超过分割系数阈值,则对应提取字段标记为非可分割字段,并将非可分割字段进行分布存储。
作为本发明的一种优选实施方式,步骤二中水平分区域具体步骤如下:
在实时存储通讯信息完成垂直分割后,对现使用的存储节点进行存储管控,采集到现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值以及现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值,并将其分别与速度最大差值阈值范围和访问时长最大差值阈值进行比较:
若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值超过速度最大差值阈值范围,则判定当前现使用存储节点的使用效率低,将对应现使用存储节点不进行分区;若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值未超过速度最大差值阈值范围,则将对应现使用存储节点进行分区;
若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值处于速度最大差值阈值范围,则对现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值进行比较:
若现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值超过访问时长最大差值阈值,则将对应现使用存储节点进行分区;若现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值未超过访问时长最大差值阈值,则将对应现使用存储节点不进行分区。
作为本发明的一种优选实施方式,在现使用存储节点进行数据访问时,将访问终端与存储节点之间通讯枢纽设置为路由,采集到数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值以及同一路由的剩余处理指令降低量与实时接收访问指令量的差值,并将其分别与速度偏差值阈值和指令量差值阈值进行比较:
若数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值超过速度偏差值阈值,且同一路由的剩余处理指令降低量与实时接收访问指令量的差值未超过指令量差值阈值,则将对应路由标记为可运行路由,并将在存储节点接收到访问指令后将可运行路由进行优先匹配;
若数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值未超过速度偏差值阈值,或者同一路由的剩余处理指令降低量与实时接收访问指令量的差值超过指令量差值阈值,则将对应路由标记为非可运行路由,并将在存储节点接收到访问指令后将可运行路由当前指令处理量完成后进行任务匹配。
作为本发明的一种优选实施方式,步骤四中风险预警具体步骤如下:
将实时通讯信息分布式存储过程中进行风险分析,采集到实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值以及实时通讯信息存储更新周期与存储更新周期的偏差量,并将其分别与缓冲时长值阈值和周期偏差量阈值进行比较:
若实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值超过缓冲时长值阈值,或者实时通讯信息存储更新周期与存储更新周期的偏差量超过周期偏差量阈值,则判定实时通讯信息存储存在风险,生成存储风险预警信号并将存储风险预警信号发送至管理员终端;
若实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值未超过缓冲时长值阈值,且实时通讯信息存储更新周期与存储更新周期的偏差量未超过周期偏差量阈值,则判定实时通讯信息存储不存在风险,生成存储风险正常信号并将存储风险正常信号发送至管理员终端。
一种分布式存储通讯信息的装置,包括服务器,服务器通讯连接有数据垂直分割单元、数据水平分区单元、查询划分单元以及风险预警单元;
数据垂直分割单元用于根据实时存储的通讯信息访问分析,将对应通讯信息进行垂直分割,将实时存储的通讯信息进行分析;数据水平分区单元用于根据实时通讯信息存储节点的存储运行进行分析,将通讯信息在存储过程中进行水平分区,在实时存储通讯信息完成垂直分割后,对现使用的存储节点进行存储管控,通过分析判定现使用存储节点是否进行分区;查询划分单元用于在完成垂直分割和水平分区后,对存储的通讯信息进行查询管控,根据实时查询进程进行路由匹配;风险预警单元用于在通讯信息分布式存储过程中访问操作进行风险预警,便于对垂直分割和水平分区的可行性进行检测。
与现有技术相比,本发明的有益效果是:
1、本发明中,根据实时存储的通讯信息访问分析,将对应通讯信息进行垂直分割,保证通讯信息在存储过程中实时访问的高效性,提高通讯信息的存储节点使用的及时性,防止同类型的通讯信息访问过程中请求多个节点进行访问,导致数据存储节点的运行数量大容易造成通讯信息访问拥堵;还根据实时通讯信息存储节点的存储运行进行分析,将通讯信息在存储过程中进行水平分区,在通讯信息存储节点进行数据存储水平分区,防止数据存储节点的存储空间利于不均衡,造成数据节点存储效率降低,导致现有数据存储节点存储量差异过大,造成整体通讯信息访问效率降低。
2、本发明中,在完成垂直分割和水平分区后,对存储的通讯信息进行查询管控,根据实时查询进程进行路由匹配,防止数据访问过程中路由匹配不合理导致查询进程并发概率增加,容易造成数据访问查询拥堵,影响实时访问效率;且通讯信息分布式存储过程中访问操作进行风险预警,便于对垂直分割和水平分区的可行性进行检测,在通讯信息存储异常时能够及时进行整顿,保证通讯信息分布式存储的效率。
附图说明
为了便于本领域技术人员理解,下面结合附图对本发明作进一步的说明。
图1为本发明一种分布式存储通讯信息的方法的流程图;
图2为本发明一种分布式存储通讯信息的装置的系统框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
请参阅图1所示,一种分布式存储通讯信息的方法,具体分布式存储方法步骤如下:
步骤一、垂直分割,根据实时存储的通讯信息访问分析,将对应通讯信息进行垂直分割,保证通讯信息在存储过程中实时访问的高效性,提高了通讯信息的存储节点使用的及时性,防止同类型的通讯信息访问过程中请求多个节点进行访问,导致数据存储节点的运行数量大容易造成通讯信息访问拥堵;
步骤二、水平分区,根据实时通讯信息存储节点的存储运行进行分析,将通讯信息在存储过程中进行水平分区,在通讯信息存储节点进行数据存储水平分区,防止数据存储节点的存储空间利于不均衡,造成数据节点存储效率降低,导致现有数据存储节点存储量差异过大,造成整体通讯信息访问效率降低;
步骤三、查询划分,在完成垂直分割和水平分区后,对存储的通讯信息进行查询管控,根据实时查询进程进行路由匹配,防止数据访问过程中路由匹配不合理导致查询进程并发概率增加,容易造成数据访问查询拥堵,影响实时访问效率;
步骤四、风险预警,在通讯信息分布式存储过程中访问操作进行风险预警,便于对垂直分割和水平分区的可行性进行检测,在通讯信息存储异常时能够及时进行整顿,保证通讯信息分布式存储的效率;
步骤一中垂直分割的具体过程如下:
将实时存储的通讯信息进行分析,并将实时存储的通讯信息进行字段提取,且将提取字段设置标号i,i为大于1的自然数,获取到通讯信息的实时访问时间段,采集到实时访问时间段内通讯信息内提取字段由同一访问终端同时访问的频率以及通讯信息内提取字段对应权限等级一致的访问终端数量占比,并将通讯信息的实时访问时间段,采集到实时访问时间段内通讯信息内提取字段由同一访问终端同时访问的频率以及通讯信息内提取字段对应权限等级一致的访问终端数量占比分别标记为FWPi和SZBi;采集到实时访问时间段内通讯信息内提取字段由非同一访问终端非同时访问次数,并将实时访问时间段内通讯信息内提取字段由非同一访问终端非同时访问次数标记为FWCi;
通过公式获取到实时存储通讯信息内提取字段的分割系数Xi,其中,f1、f2以及f3均为预设比例系数,且f1>f2>f3>0,β为误差修正因子,取值为0.958;
将实时存储通讯信息内提取字段的分割系数Xi与分割系数阈值进行比较:
若实时存储通讯信息内提取字段的分割系数Xi超过分割系数阈值,则对应提取字段标记为可分割字段,并将可分割字段进行分割且完成分割后存储至同一存储节点;若实时存储通讯信息内提取字段的分割系数Xi未超过分割系数阈值,则对应提取字段标记为非可分割字段,并将非可分割字段进行分布存储,防止存至同一节点内出现数据同步查询拥挤的现象;
步骤二中水平分区域具体步骤如下:
在实时存储通讯信息完成垂直分割后,对现使用的存储节点进行存储管控,采集到现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值以及现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值,并将现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值以及现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值分别与速度最大差值阈值范围和访问时长最大差值阈值进行比较:
若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值超过速度最大差值阈值范围,则判定当前现使用存储节点的使用效率低,将对应现使用存储节点不进行分区;若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值未超过速度最大差值阈值范围,则将对应现使用存储节点进行分区;
若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值处于速度最大差值阈值范围,则对现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值进行比较:
若现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值超过访问时长最大差值阈值,则将对应现使用存储节点进行分区;若现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值未超过访问时长最大差值阈值,则将对应现使用存储节点不进行分区;
本申请中分区表示为现使用存储节点内设置分节点,将使用时长高的通讯信息存至分节点,且在访问终端发送访问指令至存储节点时存储节点将访问指令转送至分节点,分节点内数据访问途径有且仅有接收存储节点的访问指令;
步骤三查询划分步骤如下:
在现使用存储节点进行数据访问时,将访问终端与存储节点之间通讯枢纽设置为路由,采集到数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值以及同一路由的剩余处理指令降低量与实时接收访问指令量的差值,并将数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值以及同一路由的剩余处理指令降低量与实时接收访问指令量的差值分别与速度偏差值阈值和指令量差值阈值进行比较:
若数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值超过速度偏差值阈值,且同一路由的剩余处理指令降低量与实时接收访问指令量的差值未超过指令量差值阈值,则将对应路由标记为可运行路由,并将在存储节点接收到访问指令后将可运行路由进行优先匹配;若数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值未超过速度偏差值阈值,或者同一路由的剩余处理指令降低量与实时接收访问指令量的差值超过指令量差值阈值,则将对应路由标记为非可运行路由,并将在存储节点接收到访问指令后将可运行路由当前指令处理量完成后进行任务匹配;
步骤四中风险预警具体步骤如下:
将实时通讯信息分布式存储过程中进行风险分析,采集到实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值以及实时通讯信息存储更新周期与存储更新周期的偏差量,并将实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值以及实时通讯信息存储更新周期与存储更新周期的偏差量分别与缓冲时长值阈值和周期偏差量阈值进行比较:
若实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值超过缓冲时长值阈值,或者实时通讯信息存储更新周期与存储更新周期的偏差量超过周期偏差量阈值,则判定实时通讯信息存储存在风险,生成存储风险预警信号并将存储风险预警信号发送至管理员终端,管理员终端将存储节点内通讯数据进行更新周期整顿;
若实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值未超过缓冲时长值阈值,且实时通讯信息存储更新周期与存储更新周期的偏差量未超过周期偏差量阈值,则判定实时通讯信息存储不存在风险,生成存储风险正常信号并将存储风险正常信号发送至管理员终端。
请参阅图2所示,一种分布式存储通讯信息的装置,包括服务器,服务器通讯连接有数据垂直分割单元、数据水平分区单元、查询划分单元以及风险预警单元;
数据垂直分割单元用于根据实时存储的通讯信息访问分析,将对应通讯信息进行垂直分割,将实时存储的通讯信息进行分析;数据水平分区单元用于根据实时通讯信息存储节点的存储运行进行分析,将通讯信息在存储过程中进行水平分区,在实时存储通讯信息完成垂直分割后,对现使用的存储节点进行存储管控,通过分析判定现使用存储节点是否进行分区;查询划分单元用于在完成垂直分割和水平分区后,对存储的通讯信息进行查询管控,根据实时查询进程进行路由匹配;风险预警单元用于在通讯信息分布式存储过程中访问操作进行风险预警,便于对垂直分割和水平分区的可行性进行检测。
本发明在使用时,垂直分割,根据实时存储的通讯信息访问分析,将对应通讯信息进行垂直分割,将实时存储的通讯信息进行分析,并将实时存储的通讯信息进行字段提取,且将提取字段设置标号i,i为大于1的自然数,获取到实时存储通讯信息内提取字段的分割系数,根据分割系数比较对提取字段进行划分;水平分区,根据实时通讯信息存储节点的存储运行进行分析,将通讯信息在存储过程中进行水平分区,在实时存储通讯信息完成垂直分割后,对现使用的存储节点进行存储管控,通过分析判定现使用存储节点是否进行分区;查询划分,在完成垂直分割和水平分区后,对存储的通讯信息进行查询管控,根据实时查询进程进行路由匹配;风险预警,在通讯信息分布式存储过程中访问操作进行风险预警,便于对垂直分割和水平分区的可行性进行检测。
上述公式均是采集大量数据进行软件模拟得出且选取与真实值接近的一个公式,公式中的系数是由本领域技术人员根据实际情况进行设置;以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (3)
1.一种分布式存储通讯信息的方法,其特征在于,具体分布式存储方法步骤如下:
步骤一、垂直分割,根据实时存储的通讯信息访问分析,将对应通讯信息进行垂直分割,将实时存储的通讯信息进行分析,并将实时存储的通讯信息进行字段提取,且将提取字段设置标号i,i为大于1的自然数,获取到实时存储通讯信息内提取字段的分割系数,根据分割系数比较对提取字段进行划分;
步骤二、水平分区,根据实时通讯信息存储节点的存储运行进行分析,将通讯信息在存储过程中进行水平分区,在实时存储通讯信息完成垂直分割后,对现使用的存储节点进行存储管控,通过分析判定现使用存储节点是否进行分区;
步骤三、查询划分,在完成垂直分割和水平分区后,对存储的通讯信息进行查询管控,根据实时查询进程进行路由匹配;
步骤四、风险预警,在通讯信息分布式存储过程中访问操作进行风险预警,便于对垂直分割和水平分区的可行性进行检测;
步骤一中垂直分割的具体过程如下:
获取到通讯信息的实时访问时间段,采集到实时访问时间段内通讯信息内提取字段由同一访问终端同时访问的频率以及通讯信息内提取字段对应权限等级一致的访问终端数量占比,并将通讯信息的实时访问时间段,采集到实时访问时间段内通讯信息内提取字段由同一访问终端同时访问的频率以及通讯信息内提取字段对应权限等级一致的访问终端数量占比分别标记为FWPi和SZBi;采集到实时访问时间段内通讯信息内提取字段由非同一访问终端非同时访问次数,并将实时访问时间段内通讯信息内提取字段由非同一访问终端非同时访问次数标记为FWCi;
通过公式获取到实时存储通讯信息内提取字段的分割系数Xi,其中,f1、f2以及f3均为预设比例系数,且f1>f2>f3>0,β为误差修正因子,取值为0.958;
将实时存储通讯信息内提取字段的分割系数Xi与分割系数阈值进行比较:
若实时存储通讯信息内提取字段的分割系数Xi超过分割系数阈值,则对应提取字段标记为可分割字段,并将可分割字段进行分割且完成分割后存储至同一存储节点;若实时存储通讯信息内提取字段的分割系数Xi未超过分割系数阈值,则对应提取字段标记为非可分割字段,并将非可分割字段进行分布存储;
步骤二中水平分区域具体步骤如下:
在实时存储通讯信息完成垂直分割后,对现使用的存储节点进行存储管控,采集到现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值以及现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值,并将其分别与速度最大差值阈值范围和访问时长最大差值阈值进行比较:
若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值超过速度最大差值阈值范围,则判定当前现使用存储节点的使用效率低,将对应现使用存储节点不进行分区;若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值未超过速度最大差值阈值范围,则将对应现使用存储节点进行分区;
若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值处于速度最大差值阈值范围,则对现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值进行比较:
若现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值超过访问时长最大差值阈值,则将对应现使用存储节点进行分区;若现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值未超过访问时长最大差值阈值,则将对应现使用存储节点不进行分区;
步骤四中风险预警具体步骤如下:
将实时通讯信息分布式存储过程中进行风险分析,采集到实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值以及实时通讯信息存储更新周期与存储更新周期的偏差量,并将其分别与缓冲时长值阈值和周期偏差量阈值进行比较:
若实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值超过缓冲时长值阈值,或者实时通讯信息存储更新周期与存储更新周期的偏差量超过周期偏差量阈值,则判定实时通讯信息存储存在风险,生成存储风险预警信号并将存储风险预警信号发送至管理员终端;
若实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值未超过缓冲时长值阈值,且实时通讯信息存储更新周期与存储更新周期的偏差量未超过周期偏差量阈值,则判定实时通讯信息存储不存在风险,生成存储风险正常信号并将存储风险正常信号发送至管理员终端。
2.根据权利要求1所述的一种分布式存储通讯信息的方法,其特征在于,在现使用存储节点进行数据访问时,将访问终端与存储节点之间通讯枢纽设置为路由,采集到数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值以及同一路由的剩余处理指令降低量与实时接收访问指令量的差值,并将其分别与速度偏差值阈值和指令量差值阈值进行比较:
若数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值超过速度偏差值阈值,且同一路由的剩余处理指令降低量与实时接收访问指令量的差值未超过指令量差值阈值,则将对应路由标记为可运行路由,并将在存储节点接收到访问指令后将可运行路由进行优先匹配;
若数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值未超过速度偏差值阈值,或者同一路由的剩余处理指令降低量与实时接收访问指令量的差值超过指令量差值阈值,则将对应路由标记为非可运行路由,并将在存储节点接收到访问指令后将可运行路由当前指令处理量完成后进行任务匹配。
3.一种分布式存储通讯信息的装置,其特征在于,包括服务器,服务器通讯连接有数据垂直分割单元、数据水平分区单元、查询划分单元以及风险预警单元;
数据垂直分割单元用于获取到通讯信息的实时访问时间段,采集到实时访问时间段内通讯信息内提取字段由同一访问终端同时访问的频率以及通讯信息内提取字段对应权限等级一致的访问终端数量占比,并将通讯信息的实时访问时间段,采集到实时访问时间段内通讯信息内提取字段由同一访问终端同时访问的频率以及通讯信息内提取字段对应权限等级一致的访问终端数量占比分别标记为FWPi和SZBi;采集到实时访问时间段内通讯信息内提取字段由非同一访问终端非同时访问次数,并将实时访问时间段内通讯信息内提取字段由非同一访问终端非同时访问次数标记为FWCi;
通过公式获取到实时存储通讯信息内提取字段的分割系数Xi,其中,f1、f2以及f3均为预设比例系数,且f1>f2>f3>0,β为误差修正因子,取值为0.958;
将实时存储通讯信息内提取字段的分割系数Xi与分割系数阈值进行比较:
若实时存储通讯信息内提取字段的分割系数Xi超过分割系数阈值,则对应提取字段标记为可分割字段,并将可分割字段进行分割且完成分割后存储至同一存储节点;若实时存储通讯信息内提取字段的分割系数Xi未超过分割系数阈值,则对应提取字段标记为非可分割字段,并将非可分割字段进行分布存储;
数据水平分区单元用于在实时存储通讯信息完成垂直分割后,对现使用的存储节点进行存储管控,采集到现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值以及现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值,并将其分别与速度最大差值阈值范围和访问时长最大差值阈值进行比较:
若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值超过速度最大差值阈值范围,则判定当前现使用存储节点的使用效率低,将对应现使用存储节点不进行分区;若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值未超过速度最大差值阈值范围,则将对应现使用存储节点进行分区;
若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值处于速度最大差值阈值范围,则对现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值进行比较:
若现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值超过访问时长最大差值阈值,则将对应现使用存储节点进行分区;若现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值未超过访问时长最大差值阈值,则将对应现使用存储节点不进行分区;查询划分单元用于在完成垂直分割和水平分区后,对存储的通讯信息进行查询管控,根据实时查询进程进行路由匹配;
风险预警单元用于将实时通讯信息分布式存储过程中进行风险分析,采集到实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值以及实时通讯信息存储更新周期与存储更新周期的偏差量,并将其分别与缓冲时长值阈值和周期偏差量阈值进行比较:
若实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值超过缓冲时长值阈值,或者实时通讯信息存储更新周期与存储更新周期的偏差量超过周期偏差量阈值,则判定实时通讯信息存储存在风险,生成存储风险预警信号并将存储风险预警信号发送至管理员终端;
若实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值未超过缓冲时长值阈值,且实时通讯信息存储更新周期与存储更新周期的偏差量未超过周期偏差量阈值,则判定实时通讯信息存储不存在风险,生成存储风险正常信号并将存储风险正常信号发送至管理员终端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310455499.4A CN116489178B (zh) | 2023-04-25 | 2023-04-25 | 一种分布式存储通讯信息的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310455499.4A CN116489178B (zh) | 2023-04-25 | 2023-04-25 | 一种分布式存储通讯信息的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116489178A CN116489178A (zh) | 2023-07-25 |
CN116489178B true CN116489178B (zh) | 2023-09-22 |
Family
ID=87213444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310455499.4A Active CN116489178B (zh) | 2023-04-25 | 2023-04-25 | 一种分布式存储通讯信息的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116489178B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117149088B (zh) * | 2023-09-20 | 2024-03-12 | 深圳益国电子科技有限公司 | 一种用于行车记录仪的数据存储更新方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022082892A1 (zh) * | 2020-10-20 | 2022-04-28 | 苏州莱锦机电自动化有限公司 | 大数据分析方法、系统、计算机设备及其存储介质 |
CN115085994A (zh) * | 2022-06-09 | 2022-09-20 | 河南翼宣科技有限公司 | 一种云计算内部物理机的信息集中化安全管理系统 |
CN115934843A (zh) * | 2022-12-28 | 2023-04-07 | 上海绎维软件系统有限公司 | 一种分布式数据读写处理方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116009779A (zh) * | 2022-12-28 | 2023-04-25 | 上海绎维软件系统有限公司 | 一种多维数据的存储方法 |
-
2023
- 2023-04-25 CN CN202310455499.4A patent/CN116489178B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022082892A1 (zh) * | 2020-10-20 | 2022-04-28 | 苏州莱锦机电自动化有限公司 | 大数据分析方法、系统、计算机设备及其存储介质 |
CN115085994A (zh) * | 2022-06-09 | 2022-09-20 | 河南翼宣科技有限公司 | 一种云计算内部物理机的信息集中化安全管理系统 |
CN115934843A (zh) * | 2022-12-28 | 2023-04-07 | 上海绎维软件系统有限公司 | 一种分布式数据读写处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116489178A (zh) | 2023-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111522636B (zh) | 应用容器的调整方法、调整系统、计算机可读介质及终端设备 | |
CN104092756B (zh) | 一种基于dht机制的云存储系统的资源动态分配方法 | |
CN116489178B (zh) | 一种分布式存储通讯信息的方法及装置 | |
CN109617826B (zh) | 一种基于布谷鸟搜索的storm动态负载均衡方法 | |
CN102930062A (zh) | 一种数据库快速水平扩展的方法 | |
CN111966289A (zh) | 基于Kafka集群的分区优化方法和系统 | |
CN112068934B (zh) | 一种容器云服务实例收缩的控制系统和方法 | |
CN116980284B (zh) | 一种基于物联网的光缆分纤箱运维信息传输方法和系统 | |
CN113645118B (zh) | 一种基于sdn的工业互联网标识流量缓存处理方法 | |
CN106973091B (zh) | 分布式内存数据重分布方法及系统、主控服务器 | |
CN112217745A (zh) | 基于智能终端云计算的在线办公处理方法及网络设备 | |
CN110875838B (zh) | 一种资源部署方法、装置和存储介质 | |
CN114465945A (zh) | 一种基于sdn的标识解析网络构建方法 | |
CN102480502B (zh) | 一种i/o负载均衡方法及i/o服务器 | |
CN110597598B (zh) | 一种云环境中的虚拟机迁移的控制方法 | |
CN113805816B (zh) | 一种磁盘空间管理方法、装置、设备及存储介质 | |
US20200293543A1 (en) | Method and apparatus for transmitting data | |
CN113191432A (zh) | 基于离群因子的虚拟机集群的异常检测方法、设备及介质 | |
CN111476401A (zh) | 航班时刻表优化方法及系统 | |
CN116663639A (zh) | 一种梯度数据同步方法、系统、装置及介质 | |
CN115103024B (zh) | 一种序列号生成方法、装置、电子设备及存储介质 | |
CN115914237A (zh) | 一种边缘环境下的深度学习任务调度方法、设备及介质 | |
CN112925793B (zh) | 一种多种结构数据分布式混合存储方法和系统 | |
CN106657333B (zh) | 一种基于云服务模式的集中式目录数据交换系统及方法 | |
CN115795756A (zh) | 光伏电站的区域划分方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |