CN105141666B - 信息数据存储方法及装置 - Google Patents

信息数据存储方法及装置 Download PDF

Info

Publication number
CN105141666B
CN105141666B CN201510455406.3A CN201510455406A CN105141666B CN 105141666 B CN105141666 B CN 105141666B CN 201510455406 A CN201510455406 A CN 201510455406A CN 105141666 B CN105141666 B CN 105141666B
Authority
CN
China
Prior art keywords
file
information data
catalogue
address
node server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510455406.3A
Other languages
English (en)
Other versions
CN105141666A (zh
Inventor
高英杰
徐永丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGSU TIANLIAN INFORMATION TECHNOLOGY DEVELOPMENT Co Ltd
Original Assignee
JIANGSU TIANLIAN INFORMATION TECHNOLOGY DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIANGSU TIANLIAN INFORMATION TECHNOLOGY DEVELOPMENT Co Ltd filed Critical JIANGSU TIANLIAN INFORMATION TECHNOLOGY DEVELOPMENT Co Ltd
Priority to CN201510455406.3A priority Critical patent/CN105141666B/zh
Publication of CN105141666A publication Critical patent/CN105141666A/zh
Application granted granted Critical
Publication of CN105141666B publication Critical patent/CN105141666B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

信息数据存储方法及装置，所述方法包括：判断待存储的信息数据的数据量是否小于预设的阈值；当确定所述信息数据的数据量小于预设的阈值时，采用分布式结构存储所述信息数据。上述的方案可以简化信息数据的存储，节约成本。

Description

信息数据存储方法及装置
技术领域
本发明涉及数据存储技术领域，特别是涉及一种信息数据存储方法及装置。
背景技术
内容分发网络(Content Delivery Network，英文缩写CDN)，通过在网络各处放置节点服务器，在现有的互联网基础之上构建一层智能虚拟网络，将网站的内容发布到最接近用户的网络“边缘”，使用户可以就近取得所需的内容。而这些“边缘”，也即是缓存服务器，用以缓存源站内容。
在CDN中，文件可能会由于网络故障、软硬件等多方面因素而无法正常传输至服务器上的情况。此时，需要将文件发送失败的相关情况进行记录并存储，以便后续的重试或查询处理。
现有技术中，通过专门的数据库对上述的文件发送失败的信息进行记录和存储，存在着操作繁琐，且成本较高的问题。
发明内容
本发明实施例解决的技术问题是如何简化信息数据的存储，节约成本。
为解决上述问题，本发明实施例提供了一种信息数据存储方法，包括：
判断待存储的信息数据的数据量是否小于预设的阈值；
当确定所述信息数据的数据量小于预设的阈值时，采用分布式结构存储所述信息数据。
可选地，所述信息数据为将文件发送至对应的节点服务器失败的信息数据，所述采用分布式结构存储所述信息数据，包括：
当确定将所述文件发送至所述节点服务器失败时，确定所述文件的存储位置；
在所确定的存储位置创建以所述节点服务器的IP地址命名的目录；
在创建的目录下存储所述文件。
可选地，所述采用分布式结构存储所述信息数据，还包括：
当所述文件发送至其他节点服务器失败时，创建以所述其他节点服务器的IP地址命名的目录；
在所述其他节点服务器的IP地址命名的目录中创建一硬链接，所述硬链接指向至所述文件的首个存储位置。
可选地，所述方法还包括：当将所述文件重新发送至所述节点服务器且成功时，则删除以所述节点服务器的IP地址命名的目录下的所述文件。
可选地，所述方法还包括：当以所述节点服务器的IP地址命名的目录下的文件全部删除时，删除所述以所述节点服务器的IP地址命名的目录。
可选地，所述分布式结构为key/value存储结构。
本发明实施例还提供了一种信息数据存储装置，所述装置包括：
判断单元，适于判断待存储的信息数据的数据量是否小于预设的阈值；
存储单元，适于当确定所述信息数据的数据量小于预设的阈值时，采用分布式结构存储所述信息数据。
可选地，所述存储单元，适于当确定将所述文件发送至所述节点服务器失败时，确定所述文件的存储位置；在所确定的存储位置创建以所述节点服务器的IP地址命名的目录；在创建的目录下存储所述文件。
可选地，所述存储单元，还适于当所述文件发送至其他节点服务器失败时，创建以所述其他节点服务器的IP地址命名的目录；在所述其他节点服务器的IP地址命名的目录中创建一硬链接，所述硬链接指向至所述文件的首个存储位置。
可选地，所述装置还包括：第一删除单元，适于当将所述文件重新发送至所述节点服务器且成功时，则删除以所述节点服务器的IP地址命名的目录下的所述文件。
可选地，所述装置还还包括：第二删除单元，适于当以所述节点服务器的IP地址命名的目录下的文件全部删除时，删除所述以所述节点服务器的IP地址命名的目录。
可选地，所述分布式结构为key/value存储结构。
与现有技术相比，本发明的技术方案具有以下的优点：
上述的方案，采用分布式结构来存储数据量较小的信息数据，存储结构简单，便于查询、删除等数据操作，而无需使用数据库，因此，可以节约成本，提升用户的使用体验。
进一步地，当将同一文件发送至多个节点服务器失败时，通过硬链接的方式将在后存储的节点服务器的IP地址命名的目录中创建指向所述文件的首个存储位置的硬链接，可以避免文件的重复存储，节省存储资源。
进一步地，当以所述节点服务器的IP地址命名的目录下的文件全部删除时，删除所述以所述节点服务器的IP地址命名的目录，可以进一步节省存储资源。
附图说明
图1是本发明实施例中的一种信息数据存储方法的流程图；
图2是本发明实施例中的另一种信息数据存储方法的流程图；
图3是本发明实施例中的文件发送至节点服务器失败的信息数据的存储结构的示意图；
图4是本发明实施例中的信息数据存储装置的结构示意图。
具体实施方式
为解决现有技术中存在的上述问题，本发明实施例采用的技术方案采用分布式结构来存储数据量较小的信息数据，与采用数据库存储信息数据相比，分布式结构更加简单，且便于所述信息数据的查询操作，可以节约成本，提升用户的使用体验。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1示出了本发明实施例中的一种信息数据存储方法的流程图。如图1所示的信息数据存储方法，可以包括：
步骤S101：判断待存储的信息数据的数据量是否小于预设的阈值，当判断结果为是时，可以执行步骤S102，反之，则不执行任何的操作。
步骤S102：当确定所述信息数据的数据量小于预设的阈值时，采用分布式结构存储所述信息数据。
下面将结合图2和具体实施例来对本发明实施例中的信息数据的存储方法做进一步详细的介绍。
图2示出了本发明实施例中的一种信息数据存储方法的流程图。如图2所示的信息数据存储方法，可以包括：
步骤S201：当将文件发送至对应的节点服务器失败时，确定所述文件的存储位置。
在具体实施中，所述信息数据为文件发送至相应的节点服务器失败的信息数据。在对所述文件发送至相应的节点服务器失败的信息数据进行记录时，当确定文件发送至对应的节点服务器失败时，为了后续将所述文件重新发送，可以将发送失败的文件以及对应的节点服务器的信息进行存储。
在进行存储之前，首先可以确定一存储位置。其中，所述存储位置可以根据实际的需要进行设置。
步骤S202：在所确定的存储位置创建以所述节点服务器的IP地址命名的目录。
在本发明一实施例中，采用key/value存储结构存储对文件发送至相应的节点服务器失败的信息数据进行存储。其中，key/value存储结构中的key采用字符串的形式，value则可以根据实际的需要设置为各种不同的形式，如字符串或者哈希值等。
在具体实施中，在确定存储位置之后，可以在所确定的存储位置创建以字符串命名的目录(key)。在本发明一实施例中，可以将所述节点服务器的IP地址作为所述目录的名称，例如，当节点服务器的IP地址为192.168.1.2时，可以将192.168.1.2作为创建的目录的名称。
步骤S203：在创建的目录下存储所述文件。
在具体实施中，在所述存储位置创建目录之后，在所创建的目录下建立一个文件，同时将所建立的文件采用所述发送失败的文件的文件名(value)进行命名。
这里需要指出的是，当发送失败的文件的文件名，即value的值较大或者较为复杂时，可以根据所述发送失败的文件的文件名得到一简易名称，作为所创建的文件的文件名，同时，将所述发送失败的文件的文件名写入所创建的文件中进行存储。例如，当所述发送失败的文件的文件名较为复杂时，可以计算所述文件名的哈希值，并将所述哈希值作为所创建的文件的文件名，同时，将所述发送失败的文件的文件名写入以所述哈希值命名的文件中。
例如，在一文件传输系统中，服务器向3台客户机发送文件，当文件发送至相应的客户机失败时，记录下发送失败的文件名和发送失败的客户机的IP地址，如表1所示：
表1
客户机IP地址 文件名
192.168.1.2 Test1.tar.gz
192.168.1.3 Test1.tar.gz
192.168.1.4 Test1.tar.gz
192.168.1.2 Test2.tar.gz
192.168.1.3 Test2.tar.gz
192.168.1.4 Test2.tar.gz
其中，192.168.1.2、192.168.1.3和192.168.1.4分别为3台客户机的IP地址，Test1.tar.gz、Test2.tar.gz分别为服务器发送的文件的文件名。
采用本发明的信息数据存储方法将表1中的信息进行处理后，可以得到图3所示的数据存储结构。
请参见图3所示，一个名为发送失败的目录下三个子目录分别以3台客户机的IP地址192.168.1.2、192.168.1.3、192.168.1.4命名，这三个目录下存放发送失败的文件的文件名Test1.tar.gz和Test2.tar.gz。
通过图3所示的方式，建立发送失败的文件与对应的节点服务器IP地址之间的对应关系。在获取信息数据时，查询每个节点服务器IP地址命名的目录下的文件名，便可以查询出相应的发送失败的文件，而无需采用数据库，省去数据库的操作，也无需使用其他的数据存储引擎，因此，可以方便信息数据的操作。
在具体实施中，为了进一步简化信息数据的存储，本发明实施例中的信息数据存储方法，还可以包括：
步骤S204：当所述文件发送至其他节点服务器失败时，创建以所述其他节点服务器的IP地址命名的目录。
在具体实施中，相同的文件可以发送至不同的节点服务器，因此，可能出现同一文件发送至不同的节点服务器均失败的情形。此时，可以在存储所述文件发送至其他节点服务器失败的信息时，在确定预设的存储位置首先创建以所述其他节点服务器的IP地址命名的目录。
步骤S205：在所述其他节点服务器的IP地址命名的目录中创建一硬链接，所述硬链接指向至所述文件的首个存储位置。
在具体实施中，当创建完成以所述其他节点服务器的IP地址命名的目录之后，在所述以所述其他节点服务器的IP地址命名的目录下创建一硬链接，所述硬链接执行所述文件的首个存储位置，而无需在创建以所述其他节点服务器的IP地址命名的目录下创建以所述文件的文件名命名的文件，可以在节约时间、提高效率的同时，将同一文件对应的多个节点服务器关联起来。
在具体实施中，本发明实施例中的信息数据存储方法，还可以包括：
步骤S206：当将所述文件重新发送至所述节点服务器且成功时，则删除以所述节点服务器的IP地址命名的目录下的所述文件。
在具体实施中，在采用上述的方式将文件发送至相应的节点服务器失败的信息数据存储之后，为了将文件成功发送至相应的节点服务器，可以再次通过上述方式从文件发送至相应的节点服务器失败的信息数据中查询出发送失败的文件和对应的节点服务器的信息，并重新将所述发送失败的文件发送至对应的节点服务器。
当再次将文件发送至相应的节点服务器成功时，将所述信息数据中记录的相应的信息删除，具体而言，将所述节点服务器命名的目录下的所述文件删除。
步骤S207：当以所述节点服务器的IP地址命名的目录下的文件全部删除时，删除所述以所述节点服务器的IP地址命名的目录。
在具体实施中，当重新将发送至所述节点服务器失败的所有文件发送至所述节点服务器且均成功时，以所述节点服务器的IP地址命名的目录向的文件将全部被删除，也即是所述节点服务器的IP地址命名的目录为空，此时，为了节省存储资源，将以所述节点服务器的IP地址命名的目录删除。
这里需要指出的是，图2以文件发送至节点服务器失败的信息数据的存储为例对本发明实施例中的信息数据的存储方法做了详细的介绍。本领域技术人员可以理解的是，本发明实施例中的信息数据的存储方法也可以用于其它数据量小的信息数据的存储，在此不再赘述。
图4示出了本发明实施例中的一种信息数据存储装置的结构示意图。如图3所示的信息数据存储装置400，可以包括：
判断单元401，适于判断待存储的信息数据的数据量是否小于预设的阈值。
存储单元402，适于当确定所述信息数据的数据量小于预设的阈值时，采用分布式结构存储所述信息数据。
在具体实施中，所述存储单元402适于当确定将所述文件发送至所述节点服务器失败时，确定所述文件的存储位置；在所确定的存储位置创建以所述节点服务器的IP地址命名的目录；在创建的目录下存储所述文件。
在具体实施中，所述存储单元402还适于当所述文件发送至其他节点服务器失败时，创建以所述其他节点服务器的IP地址命名的目录；在所述其他节点服务器的IP地址命名的目录中创建一硬链接，所述硬链接指向至所述文件的首个存储位置。
在具体实施中，如图401所示的信息数据存储方法400还可以包括第一删除单元403，其中：
第一删除单元403，适于当将所述文件重新发送至所述节点服务器且成功时，则删除以所述节点服务器的IP地址命名的目录下的所述文件。
在具体实施中，如图3所示的信息数据存储方法400还可以包括第二删除单元404，其中：
第二删除单元404，适于当以所述节点服务器的IP地址命名的目录下的文件全部删除时，删除所述以所述节点服务器的IP地址命名的目录。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上对本发明实施例的方法及系统做了详细的介绍，本发明并不限于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (8)

1.一种信息数据存储方法，其特征在于，包括：
判断待存储的信息数据的数据量是否小于预设的阈值；所述信息数据为将文件发送至对应的节点服务器失败的信息数据；
当确定所述信息数据的数据量小于预设的阈值时，采用分布式结构存储所述信息数据，包括：
当确定将所述文件发送至所述节点服务器失败时，确定所述文件的存储位置，在所确定的存储位置创建以所述节点服务器的IP地址命名的目录，在创建的目录下存储所述文件；
当所述文件发送至其他节点服务器失败时，创建以所述其他节点服务器的IP地址命名的目录，在所述其他节点服务器的IP地址命名的目录中创建一硬链接，所述硬链接指向至所述文件的首个存储位置。
2.根据权利要求1所述的信息数据存储方法，其特征在于，还包括：当将所述文件重新发送至所述节点服务器且成功时，则删除以所述节点服务器的IP地址命名的目录下的所述文件。
3.根据权利要求2所述的信息数据存储方法，其特征在于，还包括：当以所述节点服务器的IP地址命名的目录下的文件全部删除时，删除所述以所述节点服务器的IP地址命名的目录。
4.根据权利要求1-3任一项所述的信息数据存储方法，其特征在于，所述分布式结构为key/value存储结构。
5.一种信息数据存储装置，其特征在于，包括：
判断单元，适于判断待存储的信息数据的数据量是否小于预设的阈值；所述信息数据为将文件发送至对应的节点服务器失败的信息数据；
存储单元，适于当确定所述信息数据的数据量小于预设的阈值时，采用分布式结构存储所述信息数据，包括：当确定将所述文件发送至所述节点服务器失败时，确定所述文件的存储位置，在所确定的存储位置创建以所述节点服务器的IP地址命名的目录，在创建的目录下存储所述文件；当所述文件发送至其他节点服务器失败时，创建以所述其他节点服务器的IP地址命名的目录，在所述其他节点服务器的IP地址命名的目录中创建一硬链接，所述硬链接指向至所述文件的首个存储位置。
6.根据权利要求5所述的信息数据存储装置，其特征在于，还包括：第一删除单元，适于当将所述文件重新发送至所述节点服务器且成功时，则删除以所述节点服务器的IP地址命名的目录下的所述文件。
7.根据权利要求6所述的信息数据存储装置，其特征在于，还包括：第二删除单元，适于当以所述节点服务器的IP地址命名的目录下的文件全部删除时，删除所述以所述节点服务器的IP地址命名的目录。
8.根据权利要求5-7任一项所述的信息数据存储装置，其特征在于，所述分布式结构为key/value存储结构。
CN201510455406.3A 2015-07-29 2015-07-29 信息数据存储方法及装置 Expired - Fee Related CN105141666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510455406.3A CN105141666B (zh) 2015-07-29 2015-07-29 信息数据存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510455406.3A CN105141666B (zh) 2015-07-29 2015-07-29 信息数据存储方法及装置

Publications (2)

Publication Number Publication Date
CN105141666A CN105141666A (zh) 2015-12-09
CN105141666B true CN105141666B (zh) 2018-12-14

Family

ID=54726870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510455406.3A Expired - Fee Related CN105141666B (zh) 2015-07-29 2015-07-29 信息数据存储方法及装置

Country Status (1)

Country Link
CN (1) CN105141666B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107870940B (zh) * 2016-09-28 2021-06-18 杭州海康威视数字技术股份有限公司 一种文件存储方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014150A (zh) * 2010-09-29 2011-04-13 厦门市美亚柏科信息股份有限公司 一种基于udp分布式小文件存储系统及其数据处理方法
CN102332029A (zh) * 2011-10-15 2012-01-25 西安交通大学 一种基于Hadoop的海量可归类小文件关联存储方法
CN102332027A (zh) * 2011-10-15 2012-01-25 西安交通大学 一种基于Hadoop的海量非独立小文件关联存储方法
CN103248707A (zh) * 2013-05-22 2013-08-14 北京奇虎科技有限公司 文件访问方法、系统以及设备
CN103916465A (zh) * 2014-03-21 2014-07-09 中国科学院计算技术研究所 一种基于分布式文件系统的数据预读装置及其方法
CN104111804A (zh) * 2014-06-27 2014-10-22 暨南大学 一种分布式文件系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7941404B2 (en) * 2006-03-08 2011-05-10 International Business Machines Corporation Coordinated federated backup of a distributed application environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014150A (zh) * 2010-09-29 2011-04-13 厦门市美亚柏科信息股份有限公司 一种基于udp分布式小文件存储系统及其数据处理方法
CN102332029A (zh) * 2011-10-15 2012-01-25 西安交通大学 一种基于Hadoop的海量可归类小文件关联存储方法
CN102332027A (zh) * 2011-10-15 2012-01-25 西安交通大学 一种基于Hadoop的海量非独立小文件关联存储方法
CN103248707A (zh) * 2013-05-22 2013-08-14 北京奇虎科技有限公司 文件访问方法、系统以及设备
CN103916465A (zh) * 2014-03-21 2014-07-09 中国科学院计算技术研究所 一种基于分布式文件系统的数据预读装置及其方法
CN104111804A (zh) * 2014-06-27 2014-10-22 暨南大学 一种分布式文件系统

Also Published As

Publication number Publication date
CN105141666A (zh) 2015-12-09

Similar Documents

Publication Publication Date Title
US11734125B2 (en) Tiered cloud storage for different availability and performance requirements
CN106156359B (zh) 一种云计算平台下的数据同步更新方法
CN106250270B (zh) 一种云计算平台下的数据备份方法
US11372897B1 (en) Writing of data to a storage system that implements a virtual file structure on an unstructured storage layer
US8874520B2 (en) Processes and methods for client-side fingerprint caching to improve deduplication system backup performance
CN103414759B (zh) 网盘文件传输方法和装置
US20110078117A1 (en) Backup control apparatus and method eliminating duplication of information resources
CN106294585A (zh) 一种云计算平台下的存储方法
CN107656695B (zh) 一种数据存储、删除方法、装置及分布式存储系统
CN103227818A (zh) 终端、服务器、文件传输方法、文件存储管理系统和方法
US20170134495A1 (en) Method and apparatus for sharing collaboratively edited document
CN105868231A (zh) 缓存数据的更新方法及装置
CN104516974B (zh) 一种文件系统目录项的管理方法及装置
CN105824932A (zh) 一种基于阿里云对象存储oss的档案系统
CN107870726A (zh) 基于冗余机制的数据存储方法和装置、服务器
CN108090078A (zh) 文档在线预览方法及装置
CN105183400A (zh) 一种基于内容寻址的对象存储方法和系统
CN106850761A (zh) 日志文件存储方法及装置
CN109558378A (zh) 文件管理方法、装置、设备及存储介质
CN105653209A (zh) 一种对象存储数据传输方法及装置
CN102523301A (zh) 一种云存储中在客户端缓存数据的方法
CN106991118A (zh) 基于ceph纠删除容错的读取文件方法及装置
CN105187565A (zh) 一种利用网络存储数据的方法
US20130179398A1 (en) Device for synchronously sharing files and method for synchronously sharing files
CN103248674A (zh) 跨域云平台的共享文件管理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181214

Termination date: 20210729