CN116489178B - 一种分布式存储通讯信息的方法及装置 - Google Patents

一种分布式存储通讯信息的方法及装置 Download PDF

Info

Publication number
CN116489178B
CN116489178B CN202310455499.4A CN202310455499A CN116489178B CN 116489178 B CN116489178 B CN 116489178B CN 202310455499 A CN202310455499 A CN 202310455499A CN 116489178 B CN116489178 B CN 116489178B
Authority
CN
China
Prior art keywords
time
communication information
storage
real
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310455499.4A
Other languages
English (en)
Other versions
CN116489178A (zh
Inventor
李林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Ya Hi Tech Co ltd
Original Assignee
Anhui Ya Hi Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Ya Hi Tech Co ltd filed Critical Anhui Ya Hi Tech Co ltd
Priority to CN202310455499.4A priority Critical patent/CN116489178B/zh
Publication of CN116489178A publication Critical patent/CN116489178A/zh
Application granted granted Critical
Publication of CN116489178B publication Critical patent/CN116489178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0626Reducing size or complexity of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0644Management of space entities, e.g. partitions, extents, pools
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式存储通讯信息的方法及装置,涉及通讯信息存储技术领域,解决了现有技术中,通讯信息在存储过程中无法进行垂直分割以及水平分区,导致数据访问和数据存储过程中运行效率低的技术问题;本发明是将对应通讯信息进行垂直分割,保证通讯信息在存储过程中实时访问的高效性,提高通讯信息的存储节点使用的及时性,防止同类型的通讯信息访问过程中请求多个节点进行访问,导致数据存储节点的运行数量大容易造成通讯信息访问拥堵;还根据实时通讯信息存储节点的存储运行进行分析,将通讯信息在存储过程中进行水平分区,在通讯信息存储节点进行数据存储水平分区,防止数据存储节点的存储空间利于不均衡。

Description

一种分布式存储通讯信息的方法及装置
技术领域
本发明涉及通讯信息存储技术领域,具体为一种分布式存储通讯信息的方法及装置。
背景技术
分布式存储是将数据分散存储在多台独立的设备上,传统的网络存储是采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要,而分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,不但提高系统的可靠性、可用性和存取效率,还易于扩展;
但是在现有技术中,通讯信息在存储过程中无法进行垂直分割以及水平分区,导致数据访问和数据存储过程中运行效率低,且无法保证通讯信息对应存储节点的访问并发效率;
针对上述的技术缺陷,现提出一种解决方案。
发明内容
本发明的目的就在于为了解决上述提出的问题,而提出一种分布式存储通讯信息的方法及装置,在完成垂直分割和水平分区后,对存储的通讯信息进行查询管控,根据实时查询进程进行路由匹配,防止数据访问过程中路由匹配不合理导致查询进程并发概率增加,容易造成数据访问查询拥堵,影响实时访问效率,且通讯信息分布式存储过程中访问操作进行风险预警,便于对垂直分割和水平分区的可行性进行检测。
本发明的目的可以通过以下技术方案实现:
一种分布式存储通讯信息的方法,具体分布式存储方法步骤如下:
步骤一、垂直分割,根据实时存储的通讯信息访问分析,将对应通讯信息进行垂直分割,将实时存储的通讯信息进行分析,并将实时存储的通讯信息进行字段提取,且将提取字段设置标号i,i为大于1的自然数,获取到实时存储通讯信息内提取字段的分割系数,根据分割系数比较对提取字段进行划分;
步骤二、水平分区,根据实时通讯信息存储节点的存储运行进行分析,将通讯信息在存储过程中进行水平分区,在实时存储通讯信息完成垂直分割后,对现使用的存储节点进行存储管控,通过分析判定现使用存储节点是否进行分区;
步骤三、查询划分,在完成垂直分割和水平分区后,对存储的通讯信息进行查询管控,根据实时查询进程进行路由匹配;
步骤四、风险预警,在通讯信息分布式存储过程中访问操作进行风险预警,便于对垂直分割和水平分区的可行性进行检测。
作为本发明的一种优选实施方式,步骤一中垂直分割的具体过程如下:
获取到通讯信息的实时访问时间段,采集到实时访问时间段内通讯信息内提取字段由同一访问终端同时访问的频率以及通讯信息内提取字段对应权限等级一致的访问终端数量占比;采集到实时访问时间段内通讯信息内提取字段由非同一访问终端非同时访问次数;
通过分析获取到实时存储通讯信息内提取字段的分割系数;
将实时存储通讯信息内提取字段的分割系数与分割系数阈值进行比较:
若实时存储通讯信息内提取字段的分割系数超过分割系数阈值,则对应提取字段标记为可分割字段,并将可分割字段进行分割且完成分割后存储至同一存储节点;若实时存储通讯信息内提取字段的分割系数未超过分割系数阈值,则对应提取字段标记为非可分割字段,并将非可分割字段进行分布存储。
作为本发明的一种优选实施方式,步骤二中水平分区域具体步骤如下:
在实时存储通讯信息完成垂直分割后,对现使用的存储节点进行存储管控,采集到现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值以及现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值,并将其分别与速度最大差值阈值范围和访问时长最大差值阈值进行比较:
若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值超过速度最大差值阈值范围,则判定当前现使用存储节点的使用效率低,将对应现使用存储节点不进行分区;若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值未超过速度最大差值阈值范围,则将对应现使用存储节点进行分区;
若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值处于速度最大差值阈值范围,则对现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值进行比较:
若现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值超过访问时长最大差值阈值,则将对应现使用存储节点进行分区;若现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值未超过访问时长最大差值阈值,则将对应现使用存储节点不进行分区。
作为本发明的一种优选实施方式,在现使用存储节点进行数据访问时,将访问终端与存储节点之间通讯枢纽设置为路由,采集到数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值以及同一路由的剩余处理指令降低量与实时接收访问指令量的差值,并将其分别与速度偏差值阈值和指令量差值阈值进行比较:
若数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值超过速度偏差值阈值,且同一路由的剩余处理指令降低量与实时接收访问指令量的差值未超过指令量差值阈值,则将对应路由标记为可运行路由,并将在存储节点接收到访问指令后将可运行路由进行优先匹配;
若数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值未超过速度偏差值阈值,或者同一路由的剩余处理指令降低量与实时接收访问指令量的差值超过指令量差值阈值,则将对应路由标记为非可运行路由,并将在存储节点接收到访问指令后将可运行路由当前指令处理量完成后进行任务匹配。
作为本发明的一种优选实施方式,步骤四中风险预警具体步骤如下:
将实时通讯信息分布式存储过程中进行风险分析,采集到实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值以及实时通讯信息存储更新周期与存储更新周期的偏差量,并将其分别与缓冲时长值阈值和周期偏差量阈值进行比较:
若实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值超过缓冲时长值阈值,或者实时通讯信息存储更新周期与存储更新周期的偏差量超过周期偏差量阈值,则判定实时通讯信息存储存在风险,生成存储风险预警信号并将存储风险预警信号发送至管理员终端;
若实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值未超过缓冲时长值阈值,且实时通讯信息存储更新周期与存储更新周期的偏差量未超过周期偏差量阈值,则判定实时通讯信息存储不存在风险,生成存储风险正常信号并将存储风险正常信号发送至管理员终端。
一种分布式存储通讯信息的装置,包括服务器,服务器通讯连接有数据垂直分割单元、数据水平分区单元、查询划分单元以及风险预警单元;
数据垂直分割单元用于根据实时存储的通讯信息访问分析,将对应通讯信息进行垂直分割,将实时存储的通讯信息进行分析;数据水平分区单元用于根据实时通讯信息存储节点的存储运行进行分析,将通讯信息在存储过程中进行水平分区,在实时存储通讯信息完成垂直分割后,对现使用的存储节点进行存储管控,通过分析判定现使用存储节点是否进行分区;查询划分单元用于在完成垂直分割和水平分区后,对存储的通讯信息进行查询管控,根据实时查询进程进行路由匹配;风险预警单元用于在通讯信息分布式存储过程中访问操作进行风险预警,便于对垂直分割和水平分区的可行性进行检测。
与现有技术相比,本发明的有益效果是:
1、本发明中,根据实时存储的通讯信息访问分析,将对应通讯信息进行垂直分割,保证通讯信息在存储过程中实时访问的高效性,提高通讯信息的存储节点使用的及时性,防止同类型的通讯信息访问过程中请求多个节点进行访问,导致数据存储节点的运行数量大容易造成通讯信息访问拥堵;还根据实时通讯信息存储节点的存储运行进行分析,将通讯信息在存储过程中进行水平分区,在通讯信息存储节点进行数据存储水平分区,防止数据存储节点的存储空间利于不均衡,造成数据节点存储效率降低,导致现有数据存储节点存储量差异过大,造成整体通讯信息访问效率降低。
2、本发明中,在完成垂直分割和水平分区后,对存储的通讯信息进行查询管控,根据实时查询进程进行路由匹配,防止数据访问过程中路由匹配不合理导致查询进程并发概率增加,容易造成数据访问查询拥堵,影响实时访问效率;且通讯信息分布式存储过程中访问操作进行风险预警,便于对垂直分割和水平分区的可行性进行检测,在通讯信息存储异常时能够及时进行整顿,保证通讯信息分布式存储的效率。
附图说明
为了便于本领域技术人员理解,下面结合附图对本发明作进一步的说明。
图1为本发明一种分布式存储通讯信息的方法的流程图;
图2为本发明一种分布式存储通讯信息的装置的系统框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
请参阅图1所示,一种分布式存储通讯信息的方法,具体分布式存储方法步骤如下:
步骤一、垂直分割,根据实时存储的通讯信息访问分析,将对应通讯信息进行垂直分割,保证通讯信息在存储过程中实时访问的高效性,提高了通讯信息的存储节点使用的及时性,防止同类型的通讯信息访问过程中请求多个节点进行访问,导致数据存储节点的运行数量大容易造成通讯信息访问拥堵;
步骤二、水平分区,根据实时通讯信息存储节点的存储运行进行分析,将通讯信息在存储过程中进行水平分区,在通讯信息存储节点进行数据存储水平分区,防止数据存储节点的存储空间利于不均衡,造成数据节点存储效率降低,导致现有数据存储节点存储量差异过大,造成整体通讯信息访问效率降低;
步骤三、查询划分,在完成垂直分割和水平分区后,对存储的通讯信息进行查询管控,根据实时查询进程进行路由匹配,防止数据访问过程中路由匹配不合理导致查询进程并发概率增加,容易造成数据访问查询拥堵,影响实时访问效率;
步骤四、风险预警,在通讯信息分布式存储过程中访问操作进行风险预警,便于对垂直分割和水平分区的可行性进行检测,在通讯信息存储异常时能够及时进行整顿,保证通讯信息分布式存储的效率;
步骤一中垂直分割的具体过程如下:
将实时存储的通讯信息进行分析,并将实时存储的通讯信息进行字段提取,且将提取字段设置标号i,i为大于1的自然数,获取到通讯信息的实时访问时间段,采集到实时访问时间段内通讯信息内提取字段由同一访问终端同时访问的频率以及通讯信息内提取字段对应权限等级一致的访问终端数量占比,并将通讯信息的实时访问时间段,采集到实时访问时间段内通讯信息内提取字段由同一访问终端同时访问的频率以及通讯信息内提取字段对应权限等级一致的访问终端数量占比分别标记为FWPi和SZBi;采集到实时访问时间段内通讯信息内提取字段由非同一访问终端非同时访问次数,并将实时访问时间段内通讯信息内提取字段由非同一访问终端非同时访问次数标记为FWCi;
通过公式获取到实时存储通讯信息内提取字段的分割系数Xi,其中,f1、f2以及f3均为预设比例系数,且f1>f2>f3>0,β为误差修正因子,取值为0.958;
将实时存储通讯信息内提取字段的分割系数Xi与分割系数阈值进行比较:
若实时存储通讯信息内提取字段的分割系数Xi超过分割系数阈值,则对应提取字段标记为可分割字段,并将可分割字段进行分割且完成分割后存储至同一存储节点;若实时存储通讯信息内提取字段的分割系数Xi未超过分割系数阈值,则对应提取字段标记为非可分割字段,并将非可分割字段进行分布存储,防止存至同一节点内出现数据同步查询拥挤的现象;
步骤二中水平分区域具体步骤如下:
在实时存储通讯信息完成垂直分割后,对现使用的存储节点进行存储管控,采集到现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值以及现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值,并将现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值以及现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值分别与速度最大差值阈值范围和访问时长最大差值阈值进行比较:
若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值超过速度最大差值阈值范围,则判定当前现使用存储节点的使用效率低,将对应现使用存储节点不进行分区;若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值未超过速度最大差值阈值范围,则将对应现使用存储节点进行分区;
若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值处于速度最大差值阈值范围,则对现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值进行比较:
若现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值超过访问时长最大差值阈值,则将对应现使用存储节点进行分区;若现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值未超过访问时长最大差值阈值,则将对应现使用存储节点不进行分区;
本申请中分区表示为现使用存储节点内设置分节点,将使用时长高的通讯信息存至分节点,且在访问终端发送访问指令至存储节点时存储节点将访问指令转送至分节点,分节点内数据访问途径有且仅有接收存储节点的访问指令;
步骤三查询划分步骤如下:
在现使用存储节点进行数据访问时,将访问终端与存储节点之间通讯枢纽设置为路由,采集到数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值以及同一路由的剩余处理指令降低量与实时接收访问指令量的差值,并将数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值以及同一路由的剩余处理指令降低量与实时接收访问指令量的差值分别与速度偏差值阈值和指令量差值阈值进行比较:
若数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值超过速度偏差值阈值,且同一路由的剩余处理指令降低量与实时接收访问指令量的差值未超过指令量差值阈值,则将对应路由标记为可运行路由,并将在存储节点接收到访问指令后将可运行路由进行优先匹配;若数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值未超过速度偏差值阈值,或者同一路由的剩余处理指令降低量与实时接收访问指令量的差值超过指令量差值阈值,则将对应路由标记为非可运行路由,并将在存储节点接收到访问指令后将可运行路由当前指令处理量完成后进行任务匹配;
步骤四中风险预警具体步骤如下:
将实时通讯信息分布式存储过程中进行风险分析,采集到实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值以及实时通讯信息存储更新周期与存储更新周期的偏差量,并将实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值以及实时通讯信息存储更新周期与存储更新周期的偏差量分别与缓冲时长值阈值和周期偏差量阈值进行比较:
若实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值超过缓冲时长值阈值,或者实时通讯信息存储更新周期与存储更新周期的偏差量超过周期偏差量阈值,则判定实时通讯信息存储存在风险,生成存储风险预警信号并将存储风险预警信号发送至管理员终端,管理员终端将存储节点内通讯数据进行更新周期整顿;
若实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值未超过缓冲时长值阈值,且实时通讯信息存储更新周期与存储更新周期的偏差量未超过周期偏差量阈值,则判定实时通讯信息存储不存在风险,生成存储风险正常信号并将存储风险正常信号发送至管理员终端。
请参阅图2所示,一种分布式存储通讯信息的装置,包括服务器,服务器通讯连接有数据垂直分割单元、数据水平分区单元、查询划分单元以及风险预警单元;
数据垂直分割单元用于根据实时存储的通讯信息访问分析,将对应通讯信息进行垂直分割,将实时存储的通讯信息进行分析;数据水平分区单元用于根据实时通讯信息存储节点的存储运行进行分析,将通讯信息在存储过程中进行水平分区,在实时存储通讯信息完成垂直分割后,对现使用的存储节点进行存储管控,通过分析判定现使用存储节点是否进行分区;查询划分单元用于在完成垂直分割和水平分区后,对存储的通讯信息进行查询管控,根据实时查询进程进行路由匹配;风险预警单元用于在通讯信息分布式存储过程中访问操作进行风险预警,便于对垂直分割和水平分区的可行性进行检测。
本发明在使用时,垂直分割,根据实时存储的通讯信息访问分析,将对应通讯信息进行垂直分割,将实时存储的通讯信息进行分析,并将实时存储的通讯信息进行字段提取,且将提取字段设置标号i,i为大于1的自然数,获取到实时存储通讯信息内提取字段的分割系数,根据分割系数比较对提取字段进行划分;水平分区,根据实时通讯信息存储节点的存储运行进行分析,将通讯信息在存储过程中进行水平分区,在实时存储通讯信息完成垂直分割后,对现使用的存储节点进行存储管控,通过分析判定现使用存储节点是否进行分区;查询划分,在完成垂直分割和水平分区后,对存储的通讯信息进行查询管控,根据实时查询进程进行路由匹配;风险预警,在通讯信息分布式存储过程中访问操作进行风险预警,便于对垂直分割和水平分区的可行性进行检测。
上述公式均是采集大量数据进行软件模拟得出且选取与真实值接近的一个公式,公式中的系数是由本领域技术人员根据实际情况进行设置;以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (3)

1.一种分布式存储通讯信息的方法,其特征在于,具体分布式存储方法步骤如下:
步骤一、垂直分割,根据实时存储的通讯信息访问分析,将对应通讯信息进行垂直分割,将实时存储的通讯信息进行分析,并将实时存储的通讯信息进行字段提取,且将提取字段设置标号i,i为大于1的自然数,获取到实时存储通讯信息内提取字段的分割系数,根据分割系数比较对提取字段进行划分;
步骤二、水平分区,根据实时通讯信息存储节点的存储运行进行分析,将通讯信息在存储过程中进行水平分区,在实时存储通讯信息完成垂直分割后,对现使用的存储节点进行存储管控,通过分析判定现使用存储节点是否进行分区;
步骤三、查询划分,在完成垂直分割和水平分区后,对存储的通讯信息进行查询管控,根据实时查询进程进行路由匹配;
步骤四、风险预警,在通讯信息分布式存储过程中访问操作进行风险预警,便于对垂直分割和水平分区的可行性进行检测;
步骤一中垂直分割的具体过程如下:
获取到通讯信息的实时访问时间段,采集到实时访问时间段内通讯信息内提取字段由同一访问终端同时访问的频率以及通讯信息内提取字段对应权限等级一致的访问终端数量占比,并将通讯信息的实时访问时间段,采集到实时访问时间段内通讯信息内提取字段由同一访问终端同时访问的频率以及通讯信息内提取字段对应权限等级一致的访问终端数量占比分别标记为FWPi和SZBi;采集到实时访问时间段内通讯信息内提取字段由非同一访问终端非同时访问次数,并将实时访问时间段内通讯信息内提取字段由非同一访问终端非同时访问次数标记为FWCi;
通过公式获取到实时存储通讯信息内提取字段的分割系数Xi,其中,f1、f2以及f3均为预设比例系数,且f1>f2>f3>0,β为误差修正因子,取值为0.958;
将实时存储通讯信息内提取字段的分割系数Xi与分割系数阈值进行比较:
若实时存储通讯信息内提取字段的分割系数Xi超过分割系数阈值,则对应提取字段标记为可分割字段,并将可分割字段进行分割且完成分割后存储至同一存储节点;若实时存储通讯信息内提取字段的分割系数Xi未超过分割系数阈值,则对应提取字段标记为非可分割字段,并将非可分割字段进行分布存储;
步骤二中水平分区域具体步骤如下:
在实时存储通讯信息完成垂直分割后,对现使用的存储节点进行存储管控,采集到现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值以及现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值,并将其分别与速度最大差值阈值范围和访问时长最大差值阈值进行比较:
若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值超过速度最大差值阈值范围,则判定当前现使用存储节点的使用效率低,将对应现使用存储节点不进行分区;若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值未超过速度最大差值阈值范围,则将对应现使用存储节点进行分区;
若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值处于速度最大差值阈值范围,则对现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值进行比较:
若现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值超过访问时长最大差值阈值,则将对应现使用存储节点进行分区;若现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值未超过访问时长最大差值阈值,则将对应现使用存储节点不进行分区;
步骤四中风险预警具体步骤如下:
将实时通讯信息分布式存储过程中进行风险分析,采集到实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值以及实时通讯信息存储更新周期与存储更新周期的偏差量,并将其分别与缓冲时长值阈值和周期偏差量阈值进行比较:
若实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值超过缓冲时长值阈值,或者实时通讯信息存储更新周期与存储更新周期的偏差量超过周期偏差量阈值,则判定实时通讯信息存储存在风险,生成存储风险预警信号并将存储风险预警信号发送至管理员终端;
若实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值未超过缓冲时长值阈值,且实时通讯信息存储更新周期与存储更新周期的偏差量未超过周期偏差量阈值,则判定实时通讯信息存储不存在风险,生成存储风险正常信号并将存储风险正常信号发送至管理员终端。
2.根据权利要求1所述的一种分布式存储通讯信息的方法,其特征在于,在现使用存储节点进行数据访问时,将访问终端与存储节点之间通讯枢纽设置为路由,采集到数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值以及同一路由的剩余处理指令降低量与实时接收访问指令量的差值,并将其分别与速度偏差值阈值和指令量差值阈值进行比较:
若数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值超过速度偏差值阈值,且同一路由的剩余处理指令降低量与实时接收访问指令量的差值未超过指令量差值阈值,则将对应路由标记为可运行路由,并将在存储节点接收到访问指令后将可运行路由进行优先匹配;
若数据访问过程中同一路由的指令处理速度与当前需求处理速度的偏差值未超过速度偏差值阈值,或者同一路由的剩余处理指令降低量与实时接收访问指令量的差值超过指令量差值阈值,则将对应路由标记为非可运行路由,并将在存储节点接收到访问指令后将可运行路由当前指令处理量完成后进行任务匹配。
3.一种分布式存储通讯信息的装置,其特征在于,包括服务器,服务器通讯连接有数据垂直分割单元、数据水平分区单元、查询划分单元以及风险预警单元;
数据垂直分割单元用于获取到通讯信息的实时访问时间段,采集到实时访问时间段内通讯信息内提取字段由同一访问终端同时访问的频率以及通讯信息内提取字段对应权限等级一致的访问终端数量占比,并将通讯信息的实时访问时间段,采集到实时访问时间段内通讯信息内提取字段由同一访问终端同时访问的频率以及通讯信息内提取字段对应权限等级一致的访问终端数量占比分别标记为FWPi和SZBi;采集到实时访问时间段内通讯信息内提取字段由非同一访问终端非同时访问次数,并将实时访问时间段内通讯信息内提取字段由非同一访问终端非同时访问次数标记为FWCi;
通过公式获取到实时存储通讯信息内提取字段的分割系数Xi,其中,f1、f2以及f3均为预设比例系数,且f1>f2>f3>0,β为误差修正因子,取值为0.958;
将实时存储通讯信息内提取字段的分割系数Xi与分割系数阈值进行比较:
若实时存储通讯信息内提取字段的分割系数Xi超过分割系数阈值,则对应提取字段标记为可分割字段,并将可分割字段进行分割且完成分割后存储至同一存储节点;若实时存储通讯信息内提取字段的分割系数Xi未超过分割系数阈值,则对应提取字段标记为非可分割字段,并将非可分割字段进行分布存储;
数据水平分区单元用于在实时存储通讯信息完成垂直分割后,对现使用的存储节点进行存储管控,采集到现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值以及现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值,并将其分别与速度最大差值阈值范围和访问时长最大差值阈值进行比较:
若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值超过速度最大差值阈值范围,则判定当前现使用存储节点的使用效率低,将对应现使用存储节点不进行分区;若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值未超过速度最大差值阈值范围,则将对应现使用存储节点进行分区;
若现使用存储节点内通讯信息实时清理速度与实时存储速度的最大差值处于速度最大差值阈值范围,则对现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值进行比较:
若现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值超过访问时长最大差值阈值,则将对应现使用存储节点进行分区;若现使用存储节点内通讯信息的同类型数据对应数据访问时长最大差值未超过访问时长最大差值阈值,则将对应现使用存储节点不进行分区;查询划分单元用于在完成垂直分割和水平分区后,对存储的通讯信息进行查询管控,根据实时查询进程进行路由匹配;
风险预警单元用于将实时通讯信息分布式存储过程中进行风险分析,采集到实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值以及实时通讯信息存储更新周期与存储更新周期的偏差量,并将其分别与缓冲时长值阈值和周期偏差量阈值进行比较:
若实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值超过缓冲时长值阈值,或者实时通讯信息存储更新周期与存储更新周期的偏差量超过周期偏差量阈值,则判定实时通讯信息存储存在风险,生成存储风险预警信号并将存储风险预警信号发送至管理员终端;
若实时通讯信息存储过程中访问终端访问指令发送时刻与数据访问执行时刻的缓冲时长值未超过缓冲时长值阈值,且实时通讯信息存储更新周期与存储更新周期的偏差量未超过周期偏差量阈值,则判定实时通讯信息存储不存在风险,生成存储风险正常信号并将存储风险正常信号发送至管理员终端。
CN202310455499.4A 2023-04-25 2023-04-25 一种分布式存储通讯信息的方法及装置 Active CN116489178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310455499.4A CN116489178B (zh) 2023-04-25 2023-04-25 一种分布式存储通讯信息的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310455499.4A CN116489178B (zh) 2023-04-25 2023-04-25 一种分布式存储通讯信息的方法及装置

Publications (2)

Publication Number Publication Date
CN116489178A CN116489178A (zh) 2023-07-25
CN116489178B true CN116489178B (zh) 2023-09-22

Family

ID=87213444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310455499.4A Active CN116489178B (zh) 2023-04-25 2023-04-25 一种分布式存储通讯信息的方法及装置

Country Status (1)

Country Link
CN (1) CN116489178B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117149088B (zh) * 2023-09-20 2024-03-12 深圳益国电子科技有限公司 一种用于行车记录仪的数据存储更新方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022082892A1 (zh) * 2020-10-20 2022-04-28 苏州莱锦机电自动化有限公司 大数据分析方法、系统、计算机设备及其存储介质
CN115085994A (zh) * 2022-06-09 2022-09-20 河南翼宣科技有限公司 一种云计算内部物理机的信息集中化安全管理系统
CN115934843A (zh) * 2022-12-28 2023-04-07 上海绎维软件系统有限公司 一种分布式数据读写处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116009779A (zh) * 2022-12-28 2023-04-25 上海绎维软件系统有限公司 一种多维数据的存储方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022082892A1 (zh) * 2020-10-20 2022-04-28 苏州莱锦机电自动化有限公司 大数据分析方法、系统、计算机设备及其存储介质
CN115085994A (zh) * 2022-06-09 2022-09-20 河南翼宣科技有限公司 一种云计算内部物理机的信息集中化安全管理系统
CN115934843A (zh) * 2022-12-28 2023-04-07 上海绎维软件系统有限公司 一种分布式数据读写处理方法

Also Published As

Publication number Publication date
CN116489178A (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN104092756B (zh) 一种基于dht机制的云存储系统的资源动态分配方法
CN111522636B (zh) 应用容器的调整方法、调整系统、计算机可读介质及终端设备
CN116489178B (zh) 一种分布式存储通讯信息的方法及装置
CN109617826B (zh) 一种基于布谷鸟搜索的storm动态负载均衡方法
US20200351207A1 (en) Method and system of limiting traffic
CN111966289A (zh) 基于Kafka集群的分区优化方法和系统
CN112068934B (zh) 一种容器云服务实例收缩的控制系统和方法
CN113655969B (zh) 一种基于流式分布式存储系统的数据均衡存储方法
CN113645118B (zh) 一种基于sdn的工业互联网标识流量缓存处理方法
CN106973091B (zh) 分布式内存数据重分布方法及系统、主控服务器
CN110875838B (zh) 一种资源部署方法、装置和存储介质
CN116980284B (zh) 一种基于物联网的光缆分纤箱运维信息传输方法和系统
CN102480502B (zh) 一种i/o负载均衡方法及i/o服务器
CN110597598B (zh) 一种云环境中的虚拟机迁移的控制方法
CN103034267A (zh) 用于控制设施装置的设备和方法
CN113805816B (zh) 一种磁盘空间管理方法、装置、设备及存储介质
US20200293543A1 (en) Method and apparatus for transmitting data
CN113191432A (zh) 基于离群因子的虚拟机集群的异常检测方法、设备及介质
CN116663639B (zh) 一种梯度数据同步方法、系统、装置及介质
CN111476401A (zh) 航班时刻表优化方法及系统
CN106549983B (zh) 一种数据库的访问方法及终端、服务器
CN115103024B (zh) 一种序列号生成方法、装置、电子设备及存储介质
CN115914237A (zh) 一种边缘环境下的深度学习任务调度方法、设备及介质
CN112925793B (zh) 一种多种结构数据分布式混合存储方法和系统
CN106657333B (zh) 一种基于云服务模式的集中式目录数据交换系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant