CN114598714B - 一种基于云端nas的数据存储系统 - Google Patents

一种基于云端nas的数据存储系统 Download PDF

Info

Publication number
CN114598714B
CN114598714B CN202210237495.4A CN202210237495A CN114598714B CN 114598714 B CN114598714 B CN 114598714B CN 202210237495 A CN202210237495 A CN 202210237495A CN 114598714 B CN114598714 B CN 114598714B
Authority
CN
China
Prior art keywords
target
data
storage area
bridge
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210237495.4A
Other languages
English (en)
Other versions
CN114598714A (zh
Inventor
曹敬涛
杨华杰
徐建刚
王志刚
任友超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Kaixiang Information Technology Co ltd
Original Assignee
Shanghai Kaixiang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Kaixiang Information Technology Co ltd filed Critical Shanghai Kaixiang Information Technology Co ltd
Priority to CN202210237495.4A priority Critical patent/CN114598714B/zh
Publication of CN114598714A publication Critical patent/CN114598714A/zh
Application granted granted Critical
Publication of CN114598714B publication Critical patent/CN114598714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0435—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply symmetric encryption, i.e. same key used for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Health & Medical Sciences (AREA)
  • Power Engineering (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种基于云端NAS的数据存储系统，所述系统包括：NAS盒子、云端、处理器和存储有计算机程序的存储器，实现如下步骤：从NAS盒子中获取目标网关的IP地址和目标云端的IP地址；根据目标网关的IP地址，获取连接目标网关的所有设备ID，构建成目标设备列表；接收到所有设备ID对应的用户信息且根据用户信息，获取第一存储区域列表；将任一设备ID对应的原始数据发送至桥接器对应的存储区域内进行存储且当桥接器对应的存储区域内存储的数据容量满足预设的存储条件时，将当桥接器对应的存储区域内中的数据发送至对象存储器对应的存储区域内进行存储；本发明能够设备中的数据存储在云端中，便于数据保存避免数据遗失，同时提高数据的安全性。

Description

一种基于云端NAS的数据存储系统
技术领域
本申请涉及及计算机领域，具体涉及一种基于云端NAS的数据存储系统。
背景技术
目前，数据存储一般为内存储器和外存储器，内存储器直接与计算机的CPU相连，它的存取速度要求能与CPU相匹配，由于成本高，容量通常不太大。大量数据的保存通常要使用外存储器。外存储器又可以分成几个层次。例如有与内存储器相连接的是联机存储器，如硬磁盘机、磁盘阵列等，由存取速度比硬盘更慢的光盘机、光盘库、磁带库等设备组成的后援存储器，由磁带机和磁带库等组成的脱机存储器。云端存储大多是采用公有云的方式。公有云要求把数据从内部网络转移外部网络中，需要高带宽的支持，传输需要更长的时间。
上述现有技术还存在的问题有：需要高带宽的支持，存储容量不够大或者存储速度比较慢。同时安全性没办法保证。
发明内容
一种基于云端NAS的数据存储系统，所述系统包括：NAS盒子、云端、处理器和存储有计算机程序的存储器，其中，所述云端包括桥接器和对象存储器，当所述计算机程序被处理器执行时，实现如下步骤：
S101、从NAS盒子中获取目标网关的IP地址和目标云端的IP地址，其中，所述目标云端包括：目标桥接器和对象存储器，所述目标网关和所述目标云端连接到同一NAS盒子，NAS盒子与目标云端通过协议进行联通实现数据传输；
S103、根据目标网关的IP地址，获取连接目标网关的所有设备ID，构建成目标设备列表A={A1，A2，……，Am}，其中，Ai是指第i个目标设备ID，i=1……m，m为目标设备数量；
S105、接收到所有Ai对应的用户信息且根据所有Ai对应的用户信息，获取第一存储区域列表B={B1，B2，……，Bm}，其中，Bi是指Ai对应的桥接器中存储区域ID；
S107、将Ai对应的原始数据发送至Bi对应的存储区域内进行存储；
S109、获取第二存储区域列表C={C1，C2，……，Cm}，其中，Ci是指Ai对应的对象存储器中存储区域ID，且当Bi对应的存储区域内存储的数据容量满足预设的存储条件时，将Bi中的数据发送至Ci对应的存储区域内进行存储。
本申请至少具有以下技术效果：本发明从NAS盒子中获取目标网关的IP地址和目标云端的IP地址；根据目标网关的IP地址，获取连接目标网关的所有设备ID，构建成目标设备列表；接收到所有设备ID对应的用户信息且根据用户信息，获取第一存储区域列表；将任一设备ID对应的原始数据发送至桥接器对应的存储区域内进行存储且当桥接器对应的存储区域内存储的数据容量满足预设的存储条件时，将当桥接器对应的存储区域内中的数据发送至对象存储器对应的存储区域内进行存储。根据用户需求可以有足够的存储空间，在目标存储区域ID中，原始数据以数据切片的形式存在，任何访问者无法直接看到整个数据，也无法获取所有数据切片的组合方式，以这种方式增强对原始数据的保护，提高原始数据的安全性，在数据切片传输到目标存储区域ID中时，还进行了例如对称加密等二次加密。在多方面提高原始数据的安全性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于云端NAS的数据存储系统执行程序实现数据存储方法的流程图；
图2为本发明实施例提供的另一种基于云端NAS的数据存储系统执行程序实现数据存储方法的流程图；
图3为本发明实施例提供的一种基于云端NAS的数据存储系统执行程序实现数据存储方法的流程图；
图4为本发明实施例提供的一种基于云端NAS的数据存储系统执行程序实现数据存储方法的流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例
本实施例提供了一种基于云端NAS的数据存储系统，所述系统包括：NAS盒子、云端、处理器和存储有计算机程序的存储器，其中，所述云端包括桥接器（即云桥）和对象存储器，当所述计算机程序被处理器执行时，实现如下步骤，如图1所示：
S101、从NAS盒子中获取目标网关的IP地址和目标云端的IP地址，其中，所述目标云端包括：目标桥接器和对象存储器。
具体地，所述目标网关和所述目标云端连接到同一NAS盒子。所述目标网关为本领域技术人员可知的的网间连接器或者协议转换器，例如WiFi设备。
具体地，NAS盒子上运行SMB协议，本领域技术人员可知晓NAS盒子通过运行SMB协议，目标网关的IP地址和目标云端的IP地址连接。
NAS盒子与目标云端通过协议进行联通实现数据传输。
S103、根据目标网关的IP地址，获取连接目标网关的所有设备ID，构建成目标设备列表A={A1，A2，……，Am}，其中，Ai是指第i个目标设备ID，i=1……m，m为目标设备数量。
具体地，所述目标设备ID用于表征设备身份的唯一标识，其中，所述目标设备是指连接到目标网关的任一设备。
S105、接收到所有Ai对应的用户信息且根据所有Ai对应的用户信息，获取第一存储区域列表B={B1，B2，……，Bm}，其中，Bi是指Ai对应的桥接器中存储区域ID；所述用户信息包括目标存储区域的账号和密码；本领域技术人员可知采取现有任一技术方案通过用户信息确定出存储区域ID，在此不再赘述。
具体地，所述存储区域ID用于表征存储区域身份的唯一标识。
S107、将Ai对应的原始数据发送至Bi对应的存储区域内进行存储。
在一个实施例中，多个目标设备ID对应的原始数据上传Bi中。
具体地，在S107步骤还包括如下步骤：
S1071、将Ai对应的原始数据进行切片处理，得到Ai对应的目标数据切片列表Ai'={Ai1，Ai2，……，Ain}，其中，Aij是指第j个目标数据切片ID，j=1……n，n为目标数据切片数量。
具体地，所述目标数据切片是指目标设备发送至目标桥接器中任一存储区域的数据切片。
具体地，n符合如下条件：
n=η/φ，其中，η为Ai对应的原始数据容量，φ为预设的切片容量。
进一步地，所述桥接器中所有存储区域的存储容量一致。
S1073、获取NAS盒子和目标云端之间的线程总数量s且将n与s进行比对。
S1075、当n≥s时，每一Aij对应的目标数据切片通过单一线程发送至Bi对应的存储区域内，可以理解为：每一目标数据切片通过一个线程进行数据传输。
S1079、当n＜s时，将k个目标数据切片通过单一线程发送至Bi对应的存储区域内，其中，k符合如下条件：
可以理解为：k个传输数据切片通过一个线程进行均匀数据传输。
基于此，根据n和s的关系，确定目标数据切片在线程中传输的不同的位置，从而更好地利用桥接器的资源，充分利用了CPU的空闲时间，s个线程进行传输目标数据切片，尽可能地减少了目标数据切片上传的时间和用户的等待时间，使整体的运行效率得到较大提高，同时目标数据切片可以在不同线程中及逆行传输，增强了目标数据切片上传的灵活性。
S109、获取第二存储区域列表C={C1，C2，……，Cm}，其中，Ci是指Ai对应的对象存储器中存储区域ID，且当Bi对应的存储区域内存储的数据容量满足预设的存储条件时，将Bi中的数据发送至Ci对应的存储区域内进行存储。
具体地，当Bi中的数据发送至Ci对应的存储区域内时，对Bi中的数据进行加密处理，对象存储器中，原始数据以数据切片的形式存在，任何访问者无法直接看到整个数据，也无法获取所有数据切片的组合方式，以这种方式增强对原始数据的保护，提高原始数据的安全性，在数据切片传输到目标存储区域ID中时，还进行了例如对称加密等二次加密。在多方面提高原始数据的安全性。本领域技术人员可以采取现有技术中的任一数据加密处理方法进行实现，在此不再赘述。
在一个具体的实施例中，在S109步骤中还包括如下步骤，如图2所示：
S201、获取Ai'和Ai'对应的指定数据切片的总容量Di0。
具体地，所述指定数据切片是指在指定起始时间点T0之前，已存储于桥接器中任一存储区域内的数据切片，其中，T0是指发送目标数据切片列表的起始时间点；优先地，将发送目标数据切片列表中第一个目标数据切片时间点作为T0。
具体地，Ai'按照目标设备发送目标数据切片至桥接器中任一存储区域内的时间点进行排序且Aij对应的时间点Tij＜Aij+1对应的时间点Tij+1，可以理解为：Aij早于Aij+1发送至桥接器中任一存储区域内。
具体地，在S201步骤之前还包括如下步骤：
获取Di0且将Di0与预设的第一容量阈值D0进行比对；
当Di0＞D0时，发出数据停止指令至目标设备且根据所述数据停止指令，以使得所述目标设备停止向桥接器中目标设备ID对应的存储区域发送数据切片；
当Di0≤D0时，执行S201步骤。
进一步地，D0符合如下条件：
，其中，α为桥接器中任一存储存储区域的第一容量占比值，为桥接 器中中任一存储区域的总容量；优选地，α=0.9。
S203、根据Ai'和Di0，得到Ai'对应的目标容量值Di，其中，Di符合如下条件：
，其中，Dij是指Aij对应的目标数据切片容量，可以理解为Dij 为Aij对应的目标数据切片的大小。
S205、当Di≤预设的第二存储容量阈值D0'时，Ai'分别存储在Bi对应的存储区域内和Ci对应的存储区域内；可以理解为：在Bi对应的存储区域内和Ci对应的存储区域内分别存储一份Ai'；本领域技术人员可以采取现有技术中任一方法将同一数据切片分别存储在不同的存储区域内，在此不再赘述。
具体地，D0'符合如下条件：
，其中，β为桥接器中任一存储存储区域的第二容量占比值且β＜α； 优选地，β=0.8。
具体地，在S205步骤中还包括如下步骤
S2051、将Bi对应的存储区域内存储的Ai'和Ci对应的存储区域内存储的Ai'进行比对；
S2053、当Bi对应的存储区域内存储的Ai'与Ci对应的存储区域内存储的Ai'一致时，执行S207步骤；
S2055、当Bi对应的存储区域内存储的Ai'与Ci对应的存储区域内存储的Ai'不一致时，将Ai'重新发送至Ci对应的存储区域内，重复执行S2051-S2055，直到Bi对应的存储区域内存储的Ai'与Ci对应的存储区域内存储的Ai'一致时，执行S207步骤。
在一个具体的实施例中，在S205步骤之后还包括如下步骤：
S206、当Ai'存储在Bi对应的存储区域内时，将Ai'的存储时间周期Ti≥预设的存储周期阈值T0'。
具体地，在S206步骤中还通过如下步骤获取T0'：
获取Ai对应的时间间隔列表Ti={Ti1，Ti2，……，Tip}，其中，Tiq是第q个目标时间间隔，q=1……p，p为目标时间间隔数量，且基于Ti，获取T0'，其中，T0'符合如下条件：
。
进一步地，所述目标时间间隔是指同一目标设备发送不同的原始数据之间的相邻的时间间隔；基于此，B在中间存储区域保留预设时间段T0'，避免目标设备短时间内传输过多内容，超过D0。降低云端因存储量超过存储区域空间而出现故障，降低存储超载的风险，提高用户友好度。
或者，在S206步骤中还通过如下步骤获取T0'：
获取Ai对应的时间间隔列表Ti={Ti1，Ti2，……，Tip}，其中，Tiq是第q个目标时间间隔，q=1……p，p为目标时间间隔数量；
遍历Ti，获取Ti对应的第一中间时间间隔列表且从Ti对应的第一中间时间间隔列表中删除前z个中间时间间隔，构建成T对应的第二中间时间间隔列表Ti'={Ti1'，Ti2'，……，Tip0'}，Tiy'是指第二时间间隔列表中第y个目标时间间隔，y=1……p0，p0=p-z且Tiy'≥Tiy+1'，且基于Ti'，获取T0'，其中，T0'符合如下条件：
进一步地，所述第一中间时间间隔列表是指以目标时间间隔的大小进行正序排序的时间间隔列表。
优选地，T0的取值为300s。
S207、当Di＞D0'时，将Ai'存储在Ci对应的存储区域内。
在一个具体的实施例中，S207步骤之后还包括如下步骤：
S209、获取Di0对应的数据切片列表Gi={Gi1，Gi2，……，Gir}，Gix是指第x个指定数据切片，x=1……r，r为指定数据切片数量；且基于Gi和Ai'，获取关键数据切片列表Hi={Hi1，Hi2，……，HiN}，其中，Hig是指第g个关键数据切片，g=1……N，N=n+r。
具体地，所述关键数据切片是指目标数据切片或者指定数据切片中任意一种。
具体地，Hi按照指定数据切片的时间点顺序进行正序排序的，可以理解为：Hig对应的时间点＜Hig+1对应的时间点。
S2011、遍历Hi且从Hi中删除λ个关键数据切片，获取最终数据切片列表。
具体地，在S2011步骤中还通过如下步骤获取最终数据切片列表：
遍历Hi且当Hig对应的存储时长、时，从Hi中删除Hig，获取第一中间 数据列表Hi'={Hi1'，Hi2'，……，HiN-g'}，Hie'是指第e个中间数据切片，e=1……N-g。
基于Hi'，获取Hi'对应的数据容量Di'，其中，Di'符合如下条件：
。
当Di'≤D0'时，将Hi'作为最终数据切片列表；可以理解为：Di'≤D0'时，λ=g；
当Di'＞D0'时，从Hi'删除g'个关键数据切片，获取第二中间数据列表且将第二中间数据列表作为最终数据切片列表；可以理解为：当Di'＞D0'时，λ=g+g'，其中，g'符合如下条件：
Di'-D0'≤Hi1'+Hi2'+……+Hig''；
当时，从Hi删除λ个关键数据切片，获取最终数据切片列表；其中，λ 符合如下条件：
。
在一个具体的实施例中，将所述最终数据切片列表作为当目标设备再次发送数原始数据至桥接器中存储区域内的指定数据切片列表。
本发明采用上述系统避免了目标设备ID传输数据过多，在短时间内达到对象存储器总容量，保证上传的存储内容最多只占据D0'。同时，位于云端的对象存储器尽可能多的存储目标设备ID上传的数据。目标设备ID在进行访问时，存储区域相当于本地高速缓存区，存储在存储区域中的数据可以被快速访问，减少用户的等待时间。用户既获得了更大的存储空间，同时又可以以本地磁盘的速度进行访问。
在一个具体的实施例中，所述系统中目标桥接器包括：第一桥接器和第二桥接器；第一桥接器包括若干个第一存储区域、第一控制器和第一处理器，且第二桥接器与第一桥接器结构一致，可以理解为：所述第二桥接器包括与第一桥接器相同数量的第二存储区域、第二控制器和第二处理器；当所述计算机程序被处理器执行时，还实现如下步骤，如图3所示：
S301、当接收到Ai对应的写指令时，获取任一Ai'且根据Ai对应的第一桥接器的当前状态，将Ai'发送至Ai对应的第一存储区域内和Ai对应的第二存储区域内。
具体地，Ai'的获取方式可以参照上述S101-S105步骤，在此不再赘述。
具体地，在S301步骤中还包括如下步骤：
S3011、通过Ai对应的第一控制器控制Ai对应的第一处理器按照预设的指定时间间隔Q0发送心跳信号至Ai对应的第二处理器；其中，本领域技术人员可知两个控制器之间通过心跳信号进行监控，在此不再赘述。
具体地，所述指定时间间隔是指第一处理器发送心跳信号的相邻的时间点之间的时间间隔。
S3013、通过Ai对应的第一控制器控制Ai对应的第二处理器接收到Ai对应的第一处理器发送的心跳信号的时间间隔Q且当Q≤Q0时，确定Ai对应的第一桥接器的当前状态为工作状态，并根据Ai对应的第一桥接器的当前状态，将Ai'同时发送至Ai对应的第一存储区域内和Ai对应的第二存储区域内；可以理解为：当所述第一桥接器的当前状态为工作状态时，将Ai'同时发送至Ai对应的第一存储区域内和Ai对应的第二存储区域内。
具体地，将Ai'同时发送至Ai对应的第一存储区域内和Ai对应的第二存储区域内可以参照S107步骤，在此不再赘述。
具体地，第一控制器同时控制第一处理器和第二处理器，第二控制器与第一控制器一致；可以理解为：第二控制器也同时控制第一处理器和第二处理器。
S3015、当Q＞Q0时，确定Ai对应的第一桥接器的当前状态为非工作状态，且根据Ai对应的第一桥接器的当前状态，通过Ai对应的第二控制器控制Ai对应的第二处理器发送停止指令至Ai对应的目标设备；可以理解为：在超过Q0的时间间隔，所述第二控制器第二处理器未接收到第一控制器发送的心跳信号时，即所述第一桥接器的当前状态为非工作状态且根据停止指令，停止Ai'发送至Ai对应的第一存储区域和Ai对应的第二存储区域。
优选地，所述Q0的取值为5s。
基于此，目标设备ID写入数据时，同时写入第一存储区域和第二存储区域，并且在第一存储区域或第二存储区域出现问题，不能写入数据时，保证了存储有两份数据。当人为错误、黑客攻击、病毒攻击、自然灾害、磁干扰等因素造成第一存储区域的数据失效时，目标设备ID可以访问第二存储区域的数据。存储两份数据提高数据的安全性、可靠性和容灾性，降低数据丢失或遭到破坏的风险。
S303、当接收到Ai对应的读取指令时，获取目标配置表且基于根据目标配置表，读取Ai'且基于Ai'，构建成Ai对应的原始数据；本领域技术人员可知采取现有的任一方法技术基于数据切片构建文件，在此不再赘述。
具体地，所述目标配置表中字段包括：目标设备ID对应的原始数据ID、原始数据ID对应的第一位置标识和原始数据ID对应的第二位置标识。
进一步地，第一位置标识是指用于识别目标数据切片列表是否存储在桥接器中任一存储区域内的标识，其中，第一位置标识为“1”或者“0”；可以理解为：本领域技术人员可知，当目标数据切片列表存储在桥接器中任一存储区域内时，第一位置标识为“1”或“0”；否则，当目标数据切片列表未存储在桥接器中任一存储区域内时，第一位置标识为“0”或“1”。
优先地，当目标数据切片列表存储在桥接器中任一存储区域内时，第一位置标识为“1”；否则，当目标数据切片列表未存储在桥接器中任一存储区域内时，第一位置标识为“0”。
进一步地，第二位置标识是指用于识别目标数据切片列表是否存储在对象存储器中任一存储区域内的标识，其中，第二位置标识为“1”或者“0”；可以理解为：本领域技术人员可知，当目标数据切片列表存储在对象存储器中任一存储区域内时，第二位置标识为“1”或“0”；否则，当目标数据切片列表未存储在对象存储器中任一存储区域内时，第二位置标识为“0”或“1”。
优先地，当目标数据切片列表存储在对象存储器中任一存储区域内时，第二位置标识为“1”；否则，当目标数据切片列表未存储在对象存储器中任一存储区域内时，第二位置标识为“0”。
具体地，在S303步骤中还包括如下步骤：
S3031、根据Ai对应的原始数据ID，从所述目标配置表中获取Ai对应的第一位置标识和Ai对应的第二位置标识；
S3033、当Ai对应的第一位置标识为0时，从Ci对应的存储区域读取Ai'且基于Ai'，构建成Ai对应的原始数据。
S3035、当Ai对应的第一位置标识为1时，从Bi对应的存储区域读取Ai'且基于Ai'，构建成Ai对应的原始数据。
具体地，在S3035步骤中还包括如下步骤：
获取Ai对应的目标桥接器的虚拟IP0，其中，所述虚拟IP0包括第一目标地址IP1和第二目标地址IP2；
通过所述第一控制器控制所述第二控制器接收到第一控制器发送的心跳信号的时间间隔Q且当Q≤Q0时，确定IP0=IP1且从Ai对应的第一桥接器中第一存储区域读取Ai'且基于Ai'，构建成Ai对应的原始数据。
当Q＞Q0时，确定IP0=IP2且从Ai对应的第二桥接器中第二存储区域读取Ai'且基于Ai'，构建成Ai对应的原始数据。
进一步地，将所述第一桥接器的IP作为第一目标地址IP1或者第二目标地址IP2，同时，将所述第二桥接器IP作为第二目标地址IP2或者第一目标地址IP1，所述第一目标地址IP1和所述第二目标地址IP2为相对设置；可以理解为：当所述第一桥接器的IP作为第一目标地址IP1时，所述第二桥接器IP作为第二目标地址IP2；否则，当所述第一桥接器的IP作为第二目标地址IP2时，所述第二桥接器IP作为第一目标地址IP1。
优先地，将所述第一桥接器的IP作为第一目标地址IP1且所述第二桥接器的IP作为第二目标地址IP2。
基于此，当本发明采用这样的系统，在第一桥接器的第一存储区域存储有目标数据切片时，通过第一存储区域进行读取目标数据切片列表，在第一桥接器需要日常维护操作和发生系统崩溃时，目标设备ID可以通过访问第二桥接器读取目标数据切片列表，提高系统和设备的可用性，同时，在第一桥接器的第一存储区域没有存储目标数据切片时，从对象存储器读取目标数据切片列表，保证用户可以读取目标数据切片，提高整个系统的安全性。
在一个具体的实施例中，在S109步骤中将Ai'存储在Ci对应的存储区域内，还包括如下步骤：
获取Ai'且根据Bi的当前状态，从Ai对应的存储区域中将Ai'发送至Ci对应的存储区域内进行存储。
具体地，Bi对应的目标桥接器包括：第一桥接器和第二桥接器，第一桥接器和第二桥接器如上一个具体的实施例中所述，在此不再赘述。
具体地，在获取Ai'且根据Bi的当前状态，从Ai对应的存储区域中将Ai'发送至Ci对应的存储区域内进行存储中还包括如下步骤：
S401、通过Ai对应的第一控制器控制Ai对应的第二处理器接收到Ai对应的第一处理器发送的心跳信号的时间间隔Q且当Q≤Q0时，确定Ai对应的第一桥接器的当前状态为工作状态，并根据Ai对应的第一桥接器的当前状态，从Ai对应的第一存储区域中将Ai'发送至Ci对应的存储区域内进行存储；可以理解为：Ai对应的第一桥接器为正常工作状态，可以将第一桥接器中的数据切片发送至Ci对应的存储区域内。
S403、当Q0'≤Q≤Q0时，确定Ai对应的第一桥接器的当前状态为工作状态，并根据Ai对应的第一桥接器的当前状态，获取Ai对应的第一存储区域中Ai'未发送的所有目标数据切片且将/>发送至Ci对应的存储区域内进行存储；可以理解为：Ai对应的第一桥接器因受到干扰因素影响，例如，网络波动因素，Ai对应的第一桥接器的当前状态为非正常状态且在Q0'对应的时间间隔内，第一桥接器的当前状态恢复为正常状态恢复，将Ai'未发送的所有目标数据切片继续发送至Ci对应的存储区域内进行存储。
优选地，Q0'=2Q0。
S405、当Q＞Q0时，Ci发送数据停止指令至Bi且Bi重新接收到Ai对应的原始数据且根据重新的Ai对应的原始数据，执行S101-S109步骤，上传至Bi对应的第二存储区域内，以从Ai对应的第二存储区域中将Ai'发送至Ci对应的存储区域内进行存储。
进一步地，当Ai对应的第一桥接器的当前状态为恢复为正常状态时，Ai对应的第二存储区域向Ai对应的第一存储区域发送指定数据切片列表；能够保证第一桥接器中第一存储区域和第二桥接器中第二存储区域内数据的一致性，进而保证第一桥接器能够正常稳定工作。
基于此，本系统解决了上传目标数据切片时，第一桥接器因受到干扰因素影响例如网络波动因素时，不需要重新进行上传全部的数据切片，只需要将未发送的所有目标数据切片继续发送至Ci对应的存储区域内进行存储，用户可以节省时间，提高速度，减少了用户的烦恼，同时，第一桥接器出现问题，不能正常工作时，第二存储区域中将Ai'发送至Ci对应的存储区域内进行存储，减少了第一云端和第二云端之间频繁的信息交换次数，降低了对云端设备的要求。
在S3033步骤中当接收到Ai对应的读取指令时且Ai对应的第一位置标识为0时，从Ci对应的存储区域内读取Ai'，并基于Ai'，构建成Ai对应的原始数据，还包括如下步骤：
S501、获取Ai对应的目标桥接器的虚拟IP0，其中，所述虚拟IP0包括第一目标地址IP1和第二目标地址IP2；
S503、通过所述第一控制器控制所述第二控制器接收到第一控制器发送的心跳信号的时间间隔Q且当Q≤Q0时，确定IP0=IP1且Ai对应的第一桥接器从Ci对应的存储区域内读取Ai'且基于Ai'，构建成Ai对应的原始数据。
S505、当Q＞Q0时，确定IP0=IP2且Ai对应的第二桥接器从Ci对应的存储区域内读取Ai'且基于Ai'，构建成Ai对应的原始数据。
基于此，当第一控制器不满足工作状态时，目标设备可以在无感知的情况下，从对应的存储区域进行读取，减少用户的操作过程，提高用户体验。
本申请的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。
本申请的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。
本申请的实施例还提供一种计算机程序产品，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤。
虽然已经通过示例对本申请的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本申请的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本申请的范围和精神。本申请开的范围由所附权利要求来限定。

Claims (8)

1.一种基于云端NAS的数据存储系统，其特征在于，所述系统包括：NAS盒子、云端、处理器和存储有计算机程序的存储器，其中，所述云端包括桥接器和对象存储器，当所述计算机程序被处理器执行时，实现如下步骤：
S101、从NAS盒子中获取目标网关的IP地址和目标云端的IP地址，其中，所述目标云端包括：目标桥接器和对象存储器，所述目标网关和所述目标云端连接到同一NAS盒子，NAS盒子与目标云端通过协议进行联通实现数据传输；
S103、根据目标网关的IP地址，获取连接目标网关的所有设备ID，构建成目标设备列表A={A1，A2，……，Am}，其中，Ai是指第i个目标设备ID，i=1……m，m为目标设备数量；
S105、接收到所有Ai对应的用户信息且根据所有Ai对应的用户信息，获取第一存储区域列表B={B1，B2，……，Bm}，其中，Bi是指Ai对应的桥接器中存储区域ID；
S107、将Ai对应的原始数据发送至Bi对应的存储区域内进行存储；
S109、获取第二存储区域列表C={C1，C2，……，Cm}，其中，Ci是指Ai对应的对象存储器中存储区域ID，且当Bi对应的存储区域内存储的数据容量满足预设的存储条件时，将Bi中的数据发送至Ci对应的存储区域内进行存储。
2.根据权利要求1所述的系统，其特征在于，在S107步骤还包括如下步骤：
S1071、将Ai对应的原始数据进行切片处理，得到Ai对应的目标数据切片列表Ai'={Ai1，Ai2，……，Ain}，其中，Aij是指第j个目标数据切片ID，j=1……n，n为目标数据切片数量，所述目标数据切片是指目标设备发送至目标桥接器中任一存储区域的数据切片；
S1073、获取NAS盒子和目标云端之间的线程总数量s且将n与s进行比对，得到对比结果。
3.根据权利要求1所述的系统，其特征在于，多个目标设备ID对应的原始数据上传Bi中。
4.根据权利要求2所述的系统，其特征在于，所述桥接器中所有存储区域的存储容量一致。
5.根据权利要求2所述的系统，其特征在于，对比结果为当n≥s时，每一Aij对应的目标数据切片通过单一线程发送至Bi对应的存储区域内。
6.根据权利要求2所述的系统，其特征在于，对比结果为当n＜s时，将k个目标数据切片通过单一线程发送至Bi对应的存储区域内，其中，k符合如下条件：
。
7.根据权利要求1所述的系统，其特征在于，所述目标设备ID用于表征设备身份的唯一标识，其中，所述目标设备是指连接到目标网关的任一设备。
8.根据权利要求1所述的系统，其特征在于，所述存储区域ID用于表征存储区域身份的唯一标识。
CN202210237495.4A 2022-03-11 2022-03-11 一种基于云端nas的数据存储系统 Active CN114598714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210237495.4A CN114598714B (zh) 2022-03-11 2022-03-11 一种基于云端nas的数据存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210237495.4A CN114598714B (zh) 2022-03-11 2022-03-11 一种基于云端nas的数据存储系统

Publications (2)

Publication Number Publication Date
CN114598714A CN114598714A (zh) 2022-06-07
CN114598714B true CN114598714B (zh) 2023-08-18

Family

ID=81818776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210237495.4A Active CN114598714B (zh) 2022-03-11 2022-03-11 一种基于云端nas的数据存储系统

Country Status (1)

Country Link
CN (1) CN114598714B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427537A (zh) * 2018-01-12 2018-08-21 上海凯翔信息科技有限公司 分布式存储系统及其文件写入优化方法、客户端处理方法
CN113315800A (zh) * 2020-02-27 2021-08-27 华为技术有限公司 镜像存储、下载方法、设备以及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105677250B (zh) * 2016-01-04 2019-07-12 北京百度网讯科技有限公司 对象存储系统中的对象数据的更新方法和更新装置
JP6746041B1 (ja) * 2019-02-14 2020-08-26 三菱電機株式会社 データ処理装置及びデータ処理システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427537A (zh) * 2018-01-12 2018-08-21 上海凯翔信息科技有限公司 分布式存储系统及其文件写入优化方法、客户端处理方法
CN113315800A (zh) * 2020-02-27 2021-08-27 华为技术有限公司 镜像存储、下载方法、设备以及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种支持数据去冗和扩容的多媒体文件云存储系统实现;汪帅等;计算机研究与发展(第05期);第144-158页 *

Also Published As

Publication number Publication date
CN114598714A (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
EP3419247B1 (en) Method and device for storage resource allocation for video cloud storage
US7490185B2 (en) Data processing system, access control method, and access control device
US20170293426A1 (en) Flow control for unaligned writes in network storage device
DE102019124450A1 (de) Bandbreitenbegrenzung in solid-state-laufwerken
DE102010044531B4 (de) Autonome Speicherarchitektur
CN110636122A (zh) 分布式存储方法、服务器、系统、电子设备以及存储介质
CN114461593B (zh) 日志写入方法及其装置、电子设备及存储介质
CN114301931B (zh) 一种基于云端nas的数据同步系统
WO2014003707A2 (en) Hardware-based accelerator for managing copy-on-write
US10216634B2 (en) Cache directory processing method for multi-core processor system, and directory controller
CN114598714B (zh) 一种基于云端nas的数据存储系统
DE102017120832A1 (de) Intelligentes SAS-Phy-Leistungsmanagement
CN114598712B (zh) 一种基于云端nas的数据传输系统
CN114598713B (zh) 一种基于云端nas的数据处理系统
JP4597038B2 (ja) 計算機システム、帯域制御方法及びプログラム
DE10310055A1 (de) Systeme und Verfahren zum Erfassen und Kompensieren von Kleinblockdatenübertragungen
CN112416888A (zh) 用于分布式文件系统的动态负载均衡方法及系统
US9519527B1 (en) System and method for performing internal system interface-based communications in management controller
CN111258501B (zh) 一种逻辑卷删除的控制方法、装置及设备
CN107085557A (zh) 直接存储器访问系统以及相关方法
US11042656B2 (en) Data porch for throttling data access
EP3166027A1 (en) Method and apparatus for determining hot page in database
US11513737B2 (en) Preventing data overflow in edge computing systems
CN108255624A (zh) 一种数据的处理方法及处理装置
CN117093065A (zh) 多核处理器的功率调控方法、装置、计算机设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Data Storage System Based on Cloud NAS

Effective date of registration: 20231225

Granted publication date: 20230818

Pledgee: Jing'an Sub-branch of Shanghai Rural Commercial Bank Co.,Ltd.

Pledgor: SHANGHAI KAIXIANG INFORMATION TECHNOLOGY CO.,LTD.

Registration number: Y2023310000918

PE01 Entry into force of the registration of the contract for pledge of patent right