CN114598713B - 一种基于云端nas的数据处理系统 - Google Patents

一种基于云端nas的数据处理系统 Download PDF

Info

Publication number
CN114598713B
CN114598713B CN202210237494.XA CN202210237494A CN114598713B CN 114598713 B CN114598713 B CN 114598713B CN 202210237494 A CN202210237494 A CN 202210237494A CN 114598713 B CN114598713 B CN 114598713B
Authority
CN
China
Prior art keywords
storage area
bridge
target
data
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210237494.XA
Other languages
English (en)
Other versions
CN114598713A (zh
Inventor
杨华杰
曹敬涛
徐建刚
王志刚
任友超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Kaixiang Information Technology Co ltd
Original Assignee
Shanghai Kaixiang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Kaixiang Information Technology Co ltd filed Critical Shanghai Kaixiang Information Technology Co ltd
Priority to CN202210237494.XA priority Critical patent/CN114598713B/zh
Publication of CN114598713A publication Critical patent/CN114598713A/zh
Application granted granted Critical
Publication of CN114598713B publication Critical patent/CN114598713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0893Assignment of logical groups to network elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于云端NAS的数据处理系统,所述系统包括:NAS盒子、云端、处理器和存储有计算机程序的存储器,其中,所述云端包括桥接器和对象存储器,所述桥接器包括:第一桥接器和第二桥接器且第二桥接器与第一桥接器结构一致,当所述计算机程序被处理器执行时,实现如下步骤:获取第一桥接器和第二桥接器之间心跳信号的时间间隔且当时间间隔满足第一预设条件时,从第一存储区域中将数据切片列表发送至对应的存储区域内进行存储;当时间间隔满足第二预设条件时,获取第一存储区域中目标数据切片列表未发送的所有数据切片且发送至对应的存储区域内进行存储;当时间间隔满足第三预设条件时,将数据切片上传至对应的第二存储区域内进行存储。

Description

一种基于云端NAS的数据处理系统
技术领域
本申请涉及及计算机领域,具体涉及一种基于云端NAS的数据处理系统。
背景技术
当前,以云计算、大数据、物联网等为代表的新一代信息技术的广泛应用,网络云盘技术也得到了突飞猛进的发展,云盘存储空间大、访问便捷、多端同步、自动备份、易于管理的特点得到了很多用户的青睐。定价问题:诚然,云存储很便宜,但要具体确定成本以便进行准确的预算编制和预测却不是那么容易。存储分为三大类:需要频繁访问的热存储或活动数据,不常访问的冷存储,以及出于合规或监管原因而保留的非活动归档数据。还有未预料到的额外费用。现在有第三方供应商可帮助企业对数据进行分类,以确保数据放入到适当的存储层,甚至可以在以后“修剪”数据以控制成本。随着许多企业开始将数据移动到云或多个云,它们面临跨混合云环境进行管理这一任务,然而市面上多数家庭和企业产品往往需要下载客户端去承载业务,也不具备家庭局域网业务的特性,更是无法保障稳定的传输速率,同时其互联网模式个人认证松散,上传存在一定的合规性风险,例如文件泄密、文件丢失等。
发明内容
针对上述技术问题,本申请采用的技术方案为:
一种基于云端NAS的数据处理系统,所述系统包括:NAS盒子、云端、处理器和存储有计算机程序的存储器,其中,所述云端包括桥接器和对象存储器,所述桥接器包括:第一桥接器和第二桥接器;第一桥接器包括若干个第一存储区域、第一控制器和第一处理器,且第二桥接器与第一桥接器结构一致,当所述计算机程序被处理器执行时,实现如下步骤:
S401、通过Ai对应的第一控制器控制Ai对应的第二处理器接收到Ai对应的第一处理器发送的心跳信号的时间间隔Q且当Q≤Q0时,确定Ai对应的第一桥接器的当前状态为工作状态,并根据Ai对应的第一桥接器的当前状态,从Ai对应的第一存储区域中将Ai'发送至Ci对应的存储区域内进行存储,其中,Ai是指第i个目标设备ID,Ai'为Ai对应的目标数据切片列表;
S403、当Q0'≤Q≤Q0时,确定Ai对应的第一桥接器的当前状态为工作状态,并根据 Ai对应的第一桥接器的当前状态,获取Ai对应的第一存储区域中Ai'未发送的所有目标数据 切片且将发送至Ci对应的存储区域内进行存储,其中,Q0为第一处理器按照预设的 指定时间间隔;
S405、当Q>Q0时,Ci发送数据停止指令至Bi且Bi重新接收到Ai对应的原始数据且根据重新的Ai对应的原始数据,执行特定步骤,上传至Bi对应的第二存储区域内,以从Ai对应的第二存储区域中将Ai'发送至Ci对应的存储区域内进行存储。
本申请至少具有以下技术效果:通过目标设备ID列表中任一目标设备ID对应的第一控制器控制目标设备ID对应的第二处理器接收到目标设备ID对应的第一处理器发送的心跳信号的时间间隔且当时间间隔小于等于预设的第一时间间隔阈值时,从目标设备ID对应的第一存储区域中将目标设备ID对应的目标数据切片列表发送至对象存储器对应的存储区域内进行存储;当时间间隔大于等于预设的第二时间间隔阈值且时间间隔小于等于预设的第一时间间隔阈值时,获取目标设备ID对应的第一存储区域中目标设备ID对应的目标数据切片列表未发送的所有目标数据切片且将未发送的所有目标数据切片发送至对象存储器对应的存储区域内进行存储;当时间间隔大于预设的第一时间间隔阈值时,从目标设备ID对应的第二存储区域中将标设备ID对应的目标数据切片列表发送至对象存储器对应的存储区域内进行存储;本发明解决了上传目标数据切片时,因受到干扰因素影响例如网络波动因素时,系统不需要重新进行上传全部的数据,同时,当第一桥接器出现问题,不能正常工作时,第二存储区域中将Ai'发送至Ci对应的存储区域内进行存储,减少了第一云端和第二云端之间频繁的信息交换次数,降低了对云端设备的要求。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于云端NAS的数据处理系统执行程序实现数据处理方法的流程图;
图2为本发明实施例提供的另一种基于云端NAS的数据处理系统执行程序实现数据处理方法的流程图;
图3为本发明实施例提供的一另一种基于云端NAS的数据处理系统执行程序实现数据处理方法的流程图;
图4为本发明实施例提供的另一种基于云端NAS的数据处理系统执行程序实现数据处理方法的流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例
本实施例提供了一种基于云端NAS的数据处理系统,所述系统包括:NAS盒子、云端、处理器和存储有计算机程序的存储器,其中,所述云端包括桥接器和对象存储器,所述桥接器包括:第一桥接器和第二桥接器;第一桥接器包括若干个第一存储区域、第一控制器和第一处理器,且第二桥接器与第一桥接器结构一致,当所述计算机程序被处理器执行时,实现如下步骤,如图1所示:
S101、从NAS盒子中获取目标网关的IP地址和目标云端的IP地址,其中,所述目标云端包括:目标桥接器和对象存储器。
具体地,所述目标网关和所述目标云端连接到同一NAS盒子。所述目标网关为本领域技术人员可知的的网间连接器或者协议转换器,例如路由设备。
具体地,NAS盒子上运行SMB协议,本领域技术人员可知晓NAS盒子通过运行SMB协议,目标网关的IP地址和目标云端的IP地址连接。
NAS盒子与目标云端通过协议进行联通实现数据传输。
S103、根据目标网关的IP地址,获取连接目标网关的所有设备ID,构建成目标设备列表A={A1,A2,……,Am},其中,Ai是指第i个目标设备ID,i=1……m,m为目标设备数量。
具体地,所述目标设备ID用于表征设备身份的唯一标识,其中,所述目标设备是指连接到目标网关的任一设备。
S105、接收到所有Ai对应的用户信息且根据所有Ai对应的用户信息,获取第一存储区域列表B={B1,B2,……,Bm},其中,Bi是指Ai对应的桥接器中存储区域ID;所述用户信息包括目标存储区域的账号和密码。本领域技术人员可知采取现有任一技术方案通过用户信息确定出存储区域ID,在此不再赘述。
具体地,所述存储区域ID用于表征存储区域身份的唯一标识。
S107、将Ai对应的原始数据发送至Bi对应的存储区域内进行存储。
在一个实施例中,多个目标设备ID对应的原始数据上传Bi中。
具体地,在S107步骤还包括如下步骤:
S1071、将Ai对应的原始数据进行切片处理,得到Ai对应的目标数据切片列表Ai'={Ai1,Ai2,……,Ain},其中,Aij是指第j个目标数据切片ID,j=1……n,n为目标数据切片数量。
具体地,所述目标数据切片是指目标设备发送至目标桥接器中任一存储区域的数据切片。
具体地,n符合如下条件:
n=η/φ,其中,η为Ai对应的原始数据容量,φ为预设的切片容量。
进一步地,所述桥接器中所有存储区域的存储容量一致。
S1073、获取NAS盒子和目标云端之间的线程总数量s且将n与s进行比对。
S1075、当n≥s时,每一Aij对应的目标数据切片通过单一线程发送至Bi对应的存储区域内,可以理解为:每一目标数据切片通过一个线程进行数据传输。
S1079、当n<s时,将k个目标数据切片通过单一线程发送至Bi对应的存储区域内,其中,k符合如下条件:
可以理解为:k个传输数据切片通过一个线程进行均匀数据传输。
基于此,根据n和s的关系,确定目标数据切片在线程中传输的不同的位置,从而更好地利用桥接器的资源,充分利用了CPU的空闲时间,s个线程进行传输目标数据切片,尽可能地减少了目标数据切片上传的时间和用户的等待时间,使整体的运行效率得到较大提高,同时目标数据切片可以在不同线程中及逆行传输,增强了目标数据切片上传的灵活性。
S109、获取第二存储区域列表C={C1,C2,……,Cm},其中,Ci是指Ai对应的对象存储器中存储区域ID,且当Bi对应的存储区域内存储的数据容量满足预设的存储条件时,将Bi中的数据发送至Ci对应的存储区域内进行存储。
具体地,当Bi中的数据发送至Ci对应的存储区域内时,对Bi中的数据进行加密处理,对象存储器中,原始数据以数据切片的形式存在,任何访问者无法直接看到整个数据,也无法获取所有数据切片的组合方式,以这种方式增强对原始数据的保护,提高原始数据的安全性,在数据切片传输到目标存储区域ID中时,还进行了例如对称加密等二次加密。在多方面提高原始数据的安全性。本领域技术人员可以采取现有技术中的任一数据加密处理方法进行实现,在此不再赘述。
在一个具体的实施例中,在S109步骤中还包括如下步骤,如图2所示:
S201、获取Ai'和Ai'对应的指定数据切片的总容量Di0
具体地,所述指定数据切片是指在指定起始时间点T0之前,已存储于桥接器中任一存储区域内的数据切片,其中,T0是指发送目标数据切片列表的起始时间点;优先地,将发送目标数据切片列表中第一个目标数据切片时间点作为T0
具体地,Ai'按照目标设备发送目标数据切片至桥接器中任一存储区域内的时间点进行排序且Aij对应的时间点Tij<Aij+1对应的时间点Tij+1,可以理解为:Aij早于Aij+1发送至桥接器中任一存储区域内。
具体地,在S201步骤之前还包括如下步骤:
获取Di0且将Di0与预设的第一容量阈值D0进行比对;
当Di0>D0时,发出数据停止指令至目标设备且根据所述数据停止指令,以使得所述目标设备停止向桥接器中目标设备ID对应的存储区域发送数据切片;
当Di0≤D0时,执行S201步骤。
进一步地,D0符合如下条件:
,其中,α为桥接器中任一存储存储区域的第一容量占比值,为桥接 器中中任一存储区域的总容量;优选地,α=0.9。
S203、根据Ai'和Di0,得到Ai'对应的目标容量值Di,其中,Di符合如下条件:
,其中,Dij是指Aij对应的目标数据切片容量,可以理解为Dij为Aij对 应的目标数据切片的大小。
S205、当Di≤预设的第二存储容量阈值D0'时,Ai'分别存储在Bi对应的存储区域内和Ci对应的存储区域内;可以理解为:在Bi对应的存储区域内和Ci对应的存储区域内分别存储一份Ai';本领域技术人员可以采取现有技术中任一方法将同一数据切片分别存储在不同的存储区域内,在此不再赘述。
具体地,D0'符合如下条件:
,其中,β为桥接器中任一存储存储区域的第二容量占比值且β<α;优选 地,β=0.8。
具体地,在S205步骤中还包括如下步骤
S2051、将Bi对应的存储区域内存储的Ai'和Ci对应的存储区域内存储的Ai'进行比对;
S2053、当Bi对应的存储区域内存储的Ai'与Ci对应的存储区域内存储的Ai'一致时,执行S207步骤;
S2055、当Bi对应的存储区域内存储的Ai'与Ci对应的存储区域内存储的Ai'不一致时,将Ai'重新发送至Ci对应的存储区域内,重复执行S2051-S2055,直到Bi对应的存储区域内存储的Ai'与Ci对应的存储区域内存储的Ai'一致时,执行S207步骤。
在一个具体的实施例中,在S205步骤之后还包括如下步骤:
S206、当Ai'存储在Bi对应的存储区域内时,将Ai'的存储时间周期Ti≥预设的存储周期阈值T0'。
具体地,在S206步骤中还通过如下步骤获取T0':
获取Ai对应的时间间隔列表Ti={Ti1,Ti2,……,Tip},其中,Tiq是第q个目标时间间隔,q=1……p,p为目标时间间隔数量,且基于Ti,获取T0',其中,T0'符合如下条件:
进一步地,所述目标时间间隔是指同一目标设备发送不同的原始数据之间的相邻的时间间隔;基于此,B在中间存储区域保留预设时间段T0',避免目标设备短时间内传输过多内容,超过D0。降低云端因存储量超过存储区域空间而出现故障,降低存储超载的风险,提高用户友好度。
或者,在S206步骤中还通过如下步骤获取T0':
获取Ai对应的时间间隔列表Ti={Ti1,Ti2,……,Tip},其中,Tiq是第q个目标时间间隔,q=1……p,p为目标时间间隔数量;
遍历Ti,获取Ti对应的第一中间时间间隔列表且从Ti对应的第一中间时间间隔列表中删除前z个中间时间间隔,构建成T对应的第二中间时间间隔列表Ti'={Ti1',Ti2',……,Tip0'},Tiy'是指第二时间间隔列表中第y个目标时间间隔,y=1……p0,p0=p-z且Tiy'≥Tiy+1',且基于Ti',获取T0',其中,T0'符合如下条件:
进一步地,所述第一中间时间间隔列表是指以目标时间间隔的大小进行正序排序的时间间隔列表。
优选地,T0的取值为300s。
S207、当Di>D0'时,将Ai'存储在Ci对应的存储区域内。
在一个具体的实施例中,S207步骤之后还包括如下步骤:
S209、获取Di0对应的数据切片列表Gi={Gi1,Gi2,……,Gir},Gix是指第x个指定数据切片,x=1……r,r为指定数据切片数量;且基于Gi和Ai',获取关键数据切片列表Hi={Hi1,Hi2,……,HiN},其中,Hig是指第g个关键数据切片,g=1……N,N=n+r。
具体地,所述关键数据切片是指目标数据切片或者指定数据切片中任意一种。
具体地,Hi按照指定数据切片的时间点顺序进行正序排序的,可以理解为:Hig对应的时间点<Hig+1对应的时间点。
S2011、遍历Hi且从Hi中删除λ个关键数据切片,获取最终数据切片列表。
具体地,在S2011步骤中还通过如下步骤获取最终数据切片列表:
遍历Hi且当Hig对应的存储时长时,从Hi中删除Hig,获取第一中间数据列表 Hi'={Hi1',Hi2',……,HiN-g'},Hie'是指第e个中间数据切片,e=1……N-g。
基于Hi',获取Hi'对应的数据容量Di',其中,Di'符合如下条件:
当Di'≤D0'时,将Hi'作为最终数据切片列表;可以理解为:Di'≤D0'时,λ=g;
当Di'>D0'时,从Hi'删除g'个关键数据切片,获取第二中间数据列表且将第二中间数据列表作为最终数据切片列表;可以理解为:当Di'>D0'时,λ=g+g',其中,g'符合如下条件:
Di'-D0'≤Hi1'+Hi2'+……+Hig'';
时,从Hi删除λ个关键数据切片,获取最终数据切片列表;其中,λ符合如 下条件:
在一个具体的实施例中,将所述最终数据切片列表作为当目标设备再次发送数原始数据至桥接器中存储区域内的指定数据切片列表。
本发明采用上述系统避免了目标设备ID传输数据过多,在短时间内达到对象存储器总容量,保证上传的存储内容最多只占据D0'。同时,位于云端的对象存储器尽可能多的存储目标设备ID上传的数据。目标设备ID在进行访问时,存储区域相当于本地高速缓存区,存储在存储区域中的数据可以被快速访问,减少用户的等待时间。用户既获得了更大的存储空间,同时又可以以本地磁盘的速度进行访问。
在一个具体的实施例中,所述系统中目标桥接器包括:第一桥接器和第二桥接器;第一桥接器包括若干个第一存储区域、第一控制器和第一处理器,且第二桥接器与第一桥接器结构一致,可以理解为:所述第二桥接器包括与第一桥接器相同数量的第二存储区域、第二控制器和第二处理器;当所述计算机程序被处理器执行时,还实现如下步骤,如图3所示:
S301、当接收到Ai对应的写指令时,获取任一Ai'且根据Ai对应的第一桥接器的当前状态,将Ai'发送至Ai对应的第一存储区域内和Ai对应的第二存储区域内。
具体地,Ai'的获取方式可以参照上述S101-S105步骤,在此不再赘述。
具体地,在S301步骤中还包括如下步骤:
S3011、通过Ai对应的第一控制器控制Ai对应的第一处理器按照预设的指定时间间隔Q0发送心跳信号至Ai对应的第二处理器;其中,本领域技术人员可知两个控制器之间通过心跳信号进行监控,在此不再赘述。
具体地,所述指定时间间隔是指第一处理器发送心跳信号的相邻的时间点之间的时间间隔。
S3013、通过Ai对应的第一控制器控制Ai对应的第二处理器接收到Ai对应的第一处理器发送的心跳信号的时间间隔Q且当Q≤Q0时,确定Ai对应的第一桥接器的当前状态为工作状态,并根据Ai对应的第一桥接器的当前状态,将Ai'同时发送至Ai对应的第一存储区域内和Ai对应的第二存储区域内;可以理解为:当所述第一桥接器的当前状态为工作状态时,将Ai'同时发送至Ai对应的第一存储区域内和Ai对应的第二存储区域内。
具体地,将Ai'同时发送至Ai对应的第一存储区域内和Ai对应的第二存储区域内可以参照S107步骤,在此不再赘述。
具体地,第一控制器同时控制第一处理器和第二处理器,第二控制器与第一控制器一致;可以理解为:第二控制器也同时控制第一处理器和第二处理器。
S3015、当Q>Q0时,确定Ai对应的第一桥接器的当前状态为非工作状态,且根据Ai对应的第一桥接器的当前状态,通过Ai对应的第二控制器控制Ai对应的第二处理器发送停止指令至Ai对应的目标设备;可以理解为:在超过Q0的时间间隔,所述第二控制器第二处理器未接收到第一控制器发送的心跳信号时,即所述第一桥接器的当前状态为非工作状态且根据停止指令,停止Ai'发送至Ai对应的第一存储区域和Ai对应的第二存储区域。
优选地,所述Q0的取值为5s。
基于此,目标设备ID写入数据时,同时写入第一存储区域和第二存储区域,并且在第一存储区域或第二存储区域出现问题,不能写入数据时,保证了存储有两份数据。当人为错误、黑客攻击、病毒攻击、自然灾害、磁干扰等因素造成第一存储区域的数据失效时,目标设备ID可以访问第二存储区域的数据。存储两份数据提高数据的安全性、可靠性和容灾性,降低数据丢失或遭到破坏的风险。
S303、当接收到Ai对应的读取指令时,获取目标配置表且基于根据目标配置表,读取Ai'且基于Ai',构建成Ai对应的原始数据;本领域技术人员可知采取现有的任一方法技术基于数据切片构建文件,在此不再赘述。
具体地,所述目标配置表中字段包括:目标设备ID对应的原始数据ID、原始数据ID对应的第一位置标识和原始数据ID对应的第二位置标识。
进一步地,第一位置标识是指用于识别目标数据切片列表是否存储在桥接器中任一存储区域内的标识,其中,第一位置标识为“1”或者“0”;可以理解为:本领域技术人员可知,当目标数据切片列表存储在桥接器中任一存储区域内时,第一位置标识为“1”或“0”;否则,当目标数据切片列表未存储在桥接器中任一存储区域内时,第一位置标识为“0”或“1”。
优先地,当目标数据切片列表存储在桥接器中任一存储区域内时,第一位置标识为“1”;否则,当目标数据切片列表未存储在桥接器中任一存储区域内时,第一位置标识为“0”。
进一步地,第二位置标识是指用于识别目标数据切片列表是否存储在对象存储器中任一存储区域内的标识,其中,第二位置标识为“1”或者“0”;可以理解为:本领域技术人员可知,当目标数据切片列表存储在对象存储器中任一存储区域内时,第二位置标识为“1”或“0”;否则,当目标数据切片列表未存储在对象存储器中任一存储区域内时,第二位置标识为“0”或“1”。
优先地,当目标数据切片列表存储在对象存储器中任一存储区域内时,第二位置标识为“1”;否则,当目标数据切片列表未存储在对象存储器中任一存储区域内时,第二位置标识为“0”。
具体地,在S303步骤中还包括如下步骤:
S3031、根据Ai对应的原始数据ID,从所述目标配置表中获取Ai对应的第一位置标识和Ai对应的第二位置标识;
S3033、当Ai对应的第一位置标识为0时,从Ci对应的存储区域读取Ai'且基于Ai',构建成Ai对应的原始数据。
S3035、当Ai对应的第一位置标识为1时,从Bi对应的存储区域读取Ai'且基于Ai',构建成Ai对应的原始数据。
具体地,在S3035步骤中还包括如下步骤:
获取Ai对应的目标桥接器的虚拟IP0,其中,所述虚拟IP0包括第一目标地址IP1和第二目标地址IP2
通过所述第一控制器控制所述第二控制器接收到第一控制器发送的心跳信号的时间间隔Q且当Q≤Q0时,确定IP0=IP1且从Ai对应的第一桥接器中第一存储区域读取Ai'且基于Ai',构建成Ai对应的原始数据。
当Q>Q0时,确定IP0=IP2且从Ai对应的第二桥接器中第二存储区域读取Ai'且基于Ai',构建成Ai对应的原始数据。
进一步地,将所述第一桥接器的IP作为第一目标地址IP1或者第二目标地址IP2,同时,将所述第二桥接器IP作为第二目标地址IP2或者第一目标地址IP1,所述第一目标地址IP1和所述第二目标地址IP2为相对设置;可以理解为:当所述第一桥接器的IP作为第一目标地址IP1时,所述第二桥接器IP作为第二目标地址IP2;否则,当所述第一桥接器的IP作为第二目标地址IP2时,所述第二桥接器IP作为第一目标地址IP1
优先地,将所述第一桥接器的IP作为第一目标地址IP1且所述第二桥接器的IP作为第二目标地址IP2
基于此,当本发明采用这样的系统,在第一桥接器的第一存储区域存储有目标数据切片时,通过第一存储区域进行读取目标数据切片列表,在第一桥接器需要日常维护操作和发生系统崩溃时,目标设备ID可以通过访问第二桥接器读取目标数据切片列表,提高系统和设备的可用性,同时,在第一桥接器的第一存储区域没有存储目标数据切片时,从对象存储器读取目标数据切片列表,保证用户可以读取目标数据切片,提高整个系统的安全性。
在一个具体的实施例中,在S109步骤中将Ai'存储在Ci对应的存储区域内,还包括如下步骤:
获取Ai'且根据Bi的当前状态,从Ai对应的存储区域中将Ai'发送至Ci对应的存储区域内进行存储。
具体地,Bi对应的目标桥接器包括:第一桥接器和第二桥接器,第一桥接器和第二桥接器如上一个具体的实施例中所述,在此不再赘述。
具体地,在获取Ai'且根据Bi的当前状态,从Ai对应的存储区域中将Ai'发送至Ci对应的存储区域内进行存储中还包括如下步骤:
S401、通过Ai对应的第一控制器控制Ai对应的第二处理器接收到Ai对应的第一处理器发送的心跳信号的时间间隔Q且当Q≤Q0时,确定Ai对应的第一桥接器的当前状态为工作状态,并根据Ai对应的第一桥接器的当前状态,从Ai对应的第一存储区域中将Ai'发送至Ci对应的存储区域内进行存储;可以理解为:Ai对应的第一桥接器为正常工作状态,可以将第一桥接器中的数据切片发送至Ci对应的存储区域内。
S403、当Q0'≤Q≤Q0时,确定Ai对应的第一桥接器的当前状态为工作状态,并根据Ai对应的第一桥接器的当前状态,获取Ai对应的第一存储区域中Ai'未发送的所有目标数据切片且将/>发送至Ci对应的存储区域内进行存储;可以理解为:Ai对应的第一桥接器因受到干扰因素影响,例如,网络波动因素,Ai对应的第一桥接器的当前状态为非正常状态且在Q0'对应的时间间隔内,第一桥接器的当前状态恢复为正常状态恢复,将Ai'未发送的所有目标数据切片继续发送至Ci对应的存储区域内进行存储。
优选地,Q0'=2Q0
S405、当Q>Q0时,Ci发送数据停止指令至Bi且Bi重新接收到Ai对应的原始数据且根据重新的Ai对应的原始数据,执行S101-S109步骤,上传至Bi对应的第二存储区域内,以从Ai对应的第二存储区域中将Ai'发送至Ci对应的存储区域内进行存储。
进一步地,当Ai对应的第一桥接器的当前状态为恢复为正常状态时,Ai对应的第二存储区域向Ai对应的第一存储区域发送指定数据切片列表;能够保证第一桥接器中第一存储区域和第二桥接器中第二存储区域内数据的一致性,进而保证第一桥接器能够正常稳定工作。
基于此,本系统解决了上传目标数据切片时,第一桥接器因受到干扰因素影响例如网络波动因素时,不需要重新进行上传全部的数据切片,只需要将未发送的所有目标数据切片继续发送至Ci对应的存储区域内进行存储,用户可以节省时间,提高速度,减少了用户的烦恼,同时,第一桥接器出现问题,不能正常工作时,第二存储区域中将Ai'发送至Ci对应的存储区域内进行存储,减少了第一云端和第二云端之间频繁的信息交换次数,降低了对云端设备的要求。
在S3033步骤中当接收到Ai对应的读取指令时且Ai对应的第一位置标识为0时,从Ci对应的存储区域内读取Ai',并基于Ai',构建成Ai对应的原始数据,还包括如下步骤:
S501、获取Ai对应的目标桥接器的虚拟IP0,其中,所述虚拟IP0包括第一目标地址IP1和第二目标地址IP2
S503、通过所述第一控制器控制所述第二控制器接收到第一控制器发送的心跳信号的时间间隔Q且当Q≤Q0时,确定IP0=IP1且Ai对应的第一桥接器从Ci对应的存储区域内读取Ai'且基于Ai',构建成Ai对应的原始数据。
S505、当Q>Q0时,确定IP0=IP2且Ai对应的第二桥接器从Ci对应的存储区域内读取Ai'且基于Ai',构建成Ai对应的原始数据。
基于此,当第一控制器不满足工作状态时,目标设备可以在无感知的情况下,从对应的存储区域进行读取,减少用户的操作过程,提高用户体验。
本申请的实施例还提供了一种非瞬时性计算机可读存储介质,该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。
本申请的实施例还提供了一种电子设备,包括处理器和前述的非瞬时性计算机可读存储介质。
本申请的实施例还提供一种计算机程序产品,其包括程序代码,当所述程序产品在电子设备上运行时,所述程序代码用于使该电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤。
虽然已经通过示例对本申请的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本申请的范围。本领域的技术人员还应理解,可以对实施例进行多种修改而不脱离本申请的范围和精神。本申请开的范围由所附权利要求来限定。

Claims (5)

1.一种基于云端NAS的数据处理系统,其特征在于,所述系统包括:NAS盒子、云端、处理器和存储有计算机程序的存储器,其中,所述云端包括桥接器和对象存储器,所述桥接器包括:第一桥接器和第二桥接器;第一桥接器包括若干个第一存储区域、第一控制器和第一处理器,且第二桥接器与第一桥接器结构一致,当所述计算机程序被处理器执行时,实现如下步骤:
S401、通过Ai对应的第一控制器控制Ai对应的第二处理器接收到Ai对应的第一处理器发送的心跳信号的时间间隔Q且当Q≤Q0时,确定Ai对应的第一桥接器的当前状态为工作状态,并根据Ai对应的第一桥接器的当前状态,从Ai对应的第一存储区域中将Ai'发送至Ci对应的存储区域内进行存储,其中,Ai是指第i个目标设备ID,Ai'为Ai对应的目标数据切片列表,Ci是指Ai对应的对象存储器中存储区域ID;
S403、当Q0'≤Q≤Q0时,确定Ai对应的第一桥接器的当前状态为工作状态,并根据Ai对应的第一桥接器的当前状态,获取Ai对应的第一存储区域中Ai'未发送的所有目标数据切片且将/>发送至Ci对应的存储区域内进行存储,其中,Q0为第一处理器按照预设的指定时间间隔,其中,2Q0'=Q0
S405、当Q>Q0时,Ci发送数据停止指令至Bi且Bi重新接收到Ai对应的原始数据且根据重新的Ai对应的原始数据,执行特定步骤,上传至Bi对应的第二存储区域内,以从Ai对应的第二存储区域中将Ai'发送至Ci对应的存储区域内进行存储,Bi是指Ai对应的桥接器中存储区域ID;
所述特定步骤包括如下步骤:
S101、从NAS盒子中获取目标网关的IP地址和目标云端的IP地址,其中,所述目标云端包括:目标桥接器和对象存储器,所述目标网关和所述目标云端连接到同一NAS盒子,NAS盒子与目标云端通过协议进行联通实现数据传输;
S103、根据目标网关的IP地址,获取连接目标网关的所有设备ID,构建成目标设备列表A={A1,A2,……,Am},其中,Ai是指第i个目标设备ID,i=1……m,m为目标设备数量,所述目标设备ID用于表征设备身份的唯一标识;
S105、接收到所有Ai对应的用户信息且根据所有Ai对应的用户信息,获取第一存储区域列表B={B1,B2,……,Bm},其中,Bi是指Ai对应的桥接器中存储区域ID,所述用户信息包括目标存储区域的账号和密码,所述存储区域ID用于表征存储区域身份的唯一标识;
S107、将Ai对应的原始数据发送至Bi对应的存储区域内进行存储;
S109、获取第二存储区域列表C={C1,C2,……,Cm},其中,Ci是指Ai对应的对象存储器中存储区域ID,且当Bi对应的存储区域内存储的数据容量满足预设的存储条件时,将Bi中的数据发送至Ci对应的存储区域内进行存储。
2.根据权利要求1所述的系统,其特征在于,当Ai对应的第一桥接器的当前状态为恢复为正常状态时,Ai对应的第二存储区域向Ai对应的第一存储区域发送指定数据切片列表。
3.根据权利要求1所述的系统,其特征在于,在接收到Ai对应的读取指令时且Ai对应的第一位置标识为0时,从Ci对应的存储区域内读取Ai',并基于Ai',构建成Ai对应的原始数据,还包括如下步骤:
S501、获取Ai对应的目标桥接器的虚拟IP0,其中,所述虚拟IP0包括第一目标地址IP1和第二目标地址IP2;
S503、通过所述第一控制器控制第二控制器接收到第一控制器发送的心跳信号的时间间隔Q且当Q≤Q0时,确定IP0=IP1且Ai对应的第一桥接器从Ci对应的存储区域内读取Ai'且基于Ai',构建成Ai对应的原始数据;
S505、当Q>Q0时,确定IP0=IP2且Ai对应的第二桥接器从Ci对应的存储区域内读取Ai'且基于Ai',构建成Ai对应的原始数据;
在S109后还包括:
S301、当接收到Ai对应的写指令时,获取任一Ai'且根据Ai对应的第一桥接器的当前状态,将Ai'发送至Ai对应的第一存储区域内和Ai对应的第二存储区域内;
S303、当接收到Ai对应的读取指令时,获取目标配置表且基于根据目标配置表,读取Ai'且基于Ai',构建成Ai对应的原始数据。
4.根据权利要求3所述的系统,其特征在于,在S301步骤中还包括如下步骤:
S3031、根据Ai对应的原始数据ID,从所述目标配置表中获取Ai对应的第一位置标识和Ai对应的第二位置标识;
S3033、当Ai对应的第一位置标识为0时,从Ci对应的存储区域读取Ai'且基于Ai',构建成Ai对应的原始数据;
S3035、当Ai对应的第一位置标识为1时,从Bi对应的存储区域读取Ai'且基于Ai',构建成Ai对应的原始数据。
5.根据权利要求1所述的系统,其特征在于,在S109步骤中将Ai'存储在Ci对应的存储区域内,还包括如下步骤:
获取Ai'且根据Bi的当前状态,从Ai对应的存储区域中将Ai'发送至Ci对应的存储区域内进行存储。
CN202210237494.XA 2022-03-11 2022-03-11 一种基于云端nas的数据处理系统 Active CN114598713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210237494.XA CN114598713B (zh) 2022-03-11 2022-03-11 一种基于云端nas的数据处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210237494.XA CN114598713B (zh) 2022-03-11 2022-03-11 一种基于云端nas的数据处理系统

Publications (2)

Publication Number Publication Date
CN114598713A CN114598713A (zh) 2022-06-07
CN114598713B true CN114598713B (zh) 2024-01-12

Family

ID=81816644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210237494.XA Active CN114598713B (zh) 2022-03-11 2022-03-11 一种基于云端nas的数据处理系统

Country Status (1)

Country Link
CN (1) CN114598713B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105610864A (zh) * 2016-02-04 2016-05-25 上海盛巨信息技术有限公司 一种用于连接nas存储于云存储的云桥系统
CN110771124A (zh) * 2017-08-29 2020-02-07 西部数据技术公司 对本地网络上的数据存储系统的访问的基于云的管理
CN110995690A (zh) * 2019-11-28 2020-04-10 深圳供电局有限公司 一种基于云存储的安全存储方法和设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9986033B2 (en) * 2015-03-17 2018-05-29 Panzura, Inc. Facilitating access to remote cloud services
US10742732B1 (en) * 2017-03-02 2020-08-11 Apple Inc. Cloud storage and synchronization of messages
US11321374B2 (en) * 2020-04-29 2022-05-03 Sap Se External storage of unstructured database objects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105610864A (zh) * 2016-02-04 2016-05-25 上海盛巨信息技术有限公司 一种用于连接nas存储于云存储的云桥系统
CN110771124A (zh) * 2017-08-29 2020-02-07 西部数据技术公司 对本地网络上的数据存储系统的访问的基于云的管理
CN110995690A (zh) * 2019-11-28 2020-04-10 深圳供电局有限公司 一种基于云存储的安全存储方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Docker的轻量级云存储系统研究;刘毅文;黄显宁;文坤辉;米春桥;;计算机技术与发展(第11期);第165-168页 *

Also Published As

Publication number Publication date
CN114598713A (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
EP3419247B1 (en) Method and device for storage resource allocation for video cloud storage
US20210255791A1 (en) Distributed storage system and data management method for distributed storage system
US7490185B2 (en) Data processing system, access control method, and access control device
Li et al. Blockchain-based security architecture for distributed cloud storage
CN114461593B (zh) 日志写入方法及其装置、电子设备及存储介质
CN111475108A (zh) 一种分布式存储方法、计算机设备及计算机可读存储介质
CN112416888A (zh) 用于分布式文件系统的动态负载均衡方法及系统
US11972148B2 (en) Proactive storage operation management using thermal states
CN114301931B (zh) 一种基于云端nas的数据同步系统
US20240314202A1 (en) Data acquisition method and apparatus for artificial intelligence platform, device and medium
CN114598713B (zh) 一种基于云端nas的数据处理系统
CN114598714B (zh) 一种基于云端nas的数据存储系统
CN114598712B (zh) 一种基于云端nas的数据传输系统
JP2019153189A (ja) セッション情報セットをキャッシュするサーバ、及び、セッション情報セットのキャッシュ制御方法
JP2009289161A (ja) クラスタ型ストレージシステム、そのノード装置、データの読み出しおよび書き込み制御方法およびそのプログラム
EP3166027B1 (en) Method and apparatus for determining hot page in database
CN115544172A (zh) 一种一主多从的集群间数据实时同步的方法和系统
KR102610846B1 (ko) 고속 분산 저장 장치 및 방법
CN112217740B (zh) 一种基于边缘计算网络的请求处理方法及装置
RU2749649C2 (ru) Способ и система для планирования обработки операций ввода/вывода
CN113438274A (zh) 数据传输方法、装置、计算机设备及可读存储介质
Meng et al. A network load sensitive block placement strategy of HDFS
CN111241005A (zh) 一种基于键值对的安全分区存储方法及系统
CN107948191A (zh) 一种云存储系统及其数据存取方法
RU2768615C1 (ru) Система хранения данных в соответствии с профилем хранения данных

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant