CN117056133B - 一种基于分布式物联网架构的数据备份方法、装置及介质 - Google Patents

一种基于分布式物联网架构的数据备份方法、装置及介质 Download PDF

Info

Publication number
CN117056133B
CN117056133B CN202311316357.6A CN202311316357A CN117056133B CN 117056133 B CN117056133 B CN 117056133B CN 202311316357 A CN202311316357 A CN 202311316357A CN 117056133 B CN117056133 B CN 117056133B
Authority
CN
China
Prior art keywords
backed
node
data
target
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311316357.6A
Other languages
English (en)
Other versions
CN117056133A (zh
Inventor
张二青
王燕灵
原雷
徐宏
潘琦刚
王伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou New China And Big Polytron Technologies Inc
Hangzhou Haolian Intelligent Technology Co ltd
Original Assignee
Hangzhou New China And Big Polytron Technologies Inc
Hangzhou Haolian Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou New China And Big Polytron Technologies Inc, Hangzhou Haolian Intelligent Technology Co ltd filed Critical Hangzhou New China And Big Polytron Technologies Inc
Priority to CN202311316357.6A priority Critical patent/CN117056133B/zh
Publication of CN117056133A publication Critical patent/CN117056133A/zh
Application granted granted Critical
Publication of CN117056133B publication Critical patent/CN117056133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1464Management of the backup or restore process for networked environments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1469Backup restoration techniques

Abstract

本发明公开了一种基于分布式物联网架构的数据备份方法、装置及介质。通过实时获取目标收发节点对应的待备份数据,并通过预设的数据块分割处理方法对其进行分割处理,得到各待备份数据块;获取各云端节点和物联网设备节点,并通过预先构建的节点混合选择算法来计算出云端节点权重和物联网设备节点权重;将获取到的随机生成概率值与云端节点权重和物联网设备节点权重进行比较,确定出目标待备份数据节点;通过预设的分段轨道存储法,将目标待备份数据块分段存储于目标待备份数据节点对应的各存储轨道中,以实现对目标待备份数据块的数据备份操作。解决了对待备份数据直接备份至云端而造成的成本高和速度慢的问题,提高了数据备份的安全性和可靠性。

Description

一种基于分布式物联网架构的数据备份方法、装置及介质
技术领域
本发明涉及数据处理技术领域,尤其涉及一种基于分布式物联网架构的数据备份方法、装置及介质。
背景技术
随着物联网技术的迅速发展,越来越多的物联网设备接入互联网,形成了庞大的网络,这些设备不仅能够收集各种数据。由于越来越多的设备被联网并产生了大量的数据,这些数据具有重要的商业和技术价值,因此备份这些数据是非常重要的。
发明人在实现本发明的过程中,发现现有技术存在如下缺陷:目前,传统的数据备份方法往往是将数据备份到云端,这样做有一些缺点,例如备份速度慢、存储成本高、安全性难以保证以及可靠性差等问题。
发明内容
本发明提供了一种基于分布式物联网架构的数据备份方法、装置及介质,以实现提高数据备份的可靠性和效率,降低了数据备份的成本。
根据本发明的一方面,提供了一种基于分布式物联网架构的数据备份方法,其中,包括:
在基于分布式物联网架构上,实时获取目标收发节点对应的待备份数据,并通过预设的数据块分割处理方法对所述待备份数据进行分割处理,得到至少一个待备份数据块;
获取与所述目标收发节点对应的至少一个云端节点和至少一个物联网设备节点,并通过预先构建的节点混合选择算法来计算得到与各所述云端节点分别对应的云端节点权重、以及与各所述物联网设备节点分别对应的物联网设备节点权重;
获取随机生成概率值,并将所述随机生成概率值分别与各所述云端节点权重和物联网设备节点权重进行比较,确定出目标待备份数据节点;
根据所述目标待备份数据节点对应的各存储轨道和目标待备份数据块,通过预先设置的分段轨道存储法,将所述目标待备份数据块分段存储于所述目标待备份数据节点对应的各存储轨道中,以实现对所述目标待备份数据块的数据备份操作。
根据本发明的另一方面,提供了一种基于分布式物联网架构的数据备份装置,其中,包括:
待备份数据块确定模块,用于在基于分布式物联网架构上,实时获取目标收发节点对应的待备份数据,并通过预设的数据块分割处理方法对所述待备份数据进行分割处理,得到至少一个待备份数据块;
云端节点权重和物联网设备节点权重计算模块,用于获取与所述目标收发节点对应的至少一个云端节点和至少一个物联网设备节点,并通过预先构建的节点混合选择算法来计算得到与各所述云端节点分别对应的云端节点权重、以及与各所述物联网设备节点分别对应的物联网设备节点权重;
目标待备份数据节点确定模块,用于获取随机生成概率值,并将所述随机生成概率值分别与各所述云端节点权重和物联网设备节点权重进行比较,确定出目标待备份数据节点;
分段存储模块,用于根据所述目标待备份数据节点对应的各存储轨道和目标待备份数据块,通过预先设置的分段轨道存储法,将所述目标待备份数据块分段存储于所述目标待备份数据节点对应的各存储轨道中,以实现对所述目标待备份数据块的数据备份操作。
根据本发明的另一方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现本发明任一实施例所述的基于分布式物联网架构的数据备份方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于分布式物联网架构的数据备份方法。
本发明实施例的技术方案,通过在基于分布式物联网架构上,实时获取目标收发节点对应的待备份数据,并通过预设的数据块分割处理方法对所述待备份数据进行分割处理,得到至少一个待备份数据块;获取与所述目标收发节点对应的至少一个云端节点和至少一个物联网设备节点,并通过预先构建的节点混合选择算法来计算得到与各所述云端节点分别对应的云端节点权重、以及与各所述物联网设备节点分别对应的物联网设备节点权重;获取随机生成概率值,并将所述随机生成概率值分别与各所述云端节点权重和物联网设备节点权重进行比较,确定出目标待备份数据节点;根据所述目标待备份数据节点对应的各存储轨道和目标待备份数据块,通过预先设置的分段轨道存储法,将所述目标待备份数据块分段存储于所述目标待备份数据节点对应的各存储轨道中,以实现对所述目标待备份数据块的数据备份操作。解决了对待备份数据直接备份至云端而造成的成本高和速度慢的问题,通过将待备份数据分割成多个待备份数据块,以及对待备份数据块进行分段分轨道存储,提高了数据备份的安全性和节约了时间成本;另外的,由于存储于各标号存储轨道的数据不可以进行更改和删除,可以有效地避免了连续修改或者删除造成数据的可靠性较低,从而提高了数据备份的可靠性和效率;通过流截取函数方法将待备份数据块进行分段处理,提高了数据备份的加密强度,保证了备份数据的安全。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种基于分布式物联网架构的数据备份方法的流程图;
图2是根据本发明实施例二提供的一种基于分布式物联网架构的数据备份装置的结构示意图;
图3是根据本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“目标”、“当前”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种基于分布式物联网架构的数据备份方法的流程图,本实施例可适用于对待备份的数据进行数据备份的情况,该方法可以由基于分布式物联网架构的数据备份装置来执行,该基于分布式物联网架构的数据备份装置可以采用硬件和/或软件的形式实现。
相应的,如图1所示,该方法包括:
S110、在基于分布式物联网架构上,实时获取目标收发节点对应的待备份数据,并通过预设的数据块分割处理方法对所述待备份数据进行分割处理,得到至少一个待备份数据块。
其中,待备份数据可以是在目标收发节点获取到的需要进行备份的数据。
在本实施例中,需要构建分布式物联网架构,在该分布式物联网架构上包括多个物联网设备和云端设备。其中,每台物联网设备可以看作一个节点,并且可以根据所述物联网设备对应的功能、以及地理位置等因素进行划分和组织,来形成一个庞大的物联网网络。
同理可知,每台云端设备也均可以看作一个节点,每个节点均可以进行数据的备份,并且,每个节点可以包含多个存储轨道。
具体的,在多个物联网设备和多个云端设备可以确定出目标数据备份设备,可以理解的是,该目标数据备份设备可以看作目标收发节点。进一步的,目标数据备份设备可以关联至少一个物联网设备和至少一个云端设备,也即目标收发节点可以关联至少一个物联网设备节点和至少一个云端节点。
相应的,可以实时或者周期性地对目标收发节点进行数据检测,如果检测到存在待备份数据,则需要将所述待备份数据在与所述目标收发节点对应的节点进行数据备份处理。
在本实施例中,在获取到目标收发节点对应的待备份数据之后,需要首先对待备份数据进行数据块分割处理,得到多个待备份数据块。这样通过将待备份数据进行多数据块的切分处理,可以对数据较大的待备份数据进行切分处理,减轻了将整个待备份数据存储于一个节点的压力,同时,以多块数据块的形式分别存储于不同的节点可以实现待备份数据的加密处理。
数据通常以文件的形式存储在节点中。在计算机系统中,文件是最基本的数据单位,它可以包含多种类型的数据,如文本、图像、音频等。文件存储分为本地存储和远程存储两种方式,通过文件系统对数据进行管理和操作。比如说,存储介质可以包括硬盘、U盘和移动硬盘等。在系统层面,文件存储通过文件系统对存储的数据进行管理和访问。文件系统会将文件划分为若干个子块进行存储,并记录每个文件的元数据信息,如文件名、大小、以及创建时间等。用户可以通过文件系统提供的文件管理器对本地文件进行查看、修改和复制等操作。文件修改时,将文件的全部子块读入内存,并展示给用户。修改完成后,将作为新文件,重新划分为若干个子块进行存储。
另外的,文件系统中分配存储空间的基本单位是磁盘块,大小一般为512字节,也有一些系统的磁盘块的大小更大。磁盘块是计算机操作系统使用的一种物理存储单位,它有助于操作系统更好的管理磁盘空间。操作系统将文件划分的子块大小与磁盘块相符,即一个磁盘块存储一个子块。每个磁盘块都有一个唯一的编号,以便操作系统能够识别并管理。文件系统则需要记录每个文件使用的全部磁盘块的编号及次序,以便能够完整的读取出文件。现有技术中,会导致文件系统需要维护的索引目录十分庞大繁重,最终会严重影响文件的查询和读取效率。因此需要高效准确地进行数据备份至关重要。
S120、获取与所述目标收发节点对应的至少一个云端节点和至少一个物联网设备节点,并通过预先构建的节点混合选择算法来计算得到与各所述云端节点分别对应的云端节点权重、以及与各所述物联网设备节点分别对应的物联网设备节点权重。
其中,云端节点权重可以是描述每个云端节点分别对应的权重的大小。物联网设备节点权重可以是描述每个物联网设备分别对应的权重的大小。
其中,节点混合选择算法可以是对各云端节点和各物联网设备节点进行节点权重计算的算法。
在本实施例中,假设目标收发节点分别对应3个云端节点(包括云端节点1、云端节点2和云端节点3)和3个物联网设备节点(包括物联网设备节点1、物联网设备节点2和物联网设备节点3)。假设可以得到云端节点1的初始权重为0.2;云端节点2的初始权重为0.1;云端节点3的初始权重为0.25;物联网设备节点1的初始权重为0.2、物联网设备节点2的初始权重为0. 15和物联网设备节点3的初始权重为0.1。由于6个节点的总权重和为1(0.2+0.1+0.25+0.2+0.15+0.1=1)。
进一步的,可以根据各初始权重和总权重和,通过节点混合选择算法来分别计算出云端节点1的节点权重为0.2(具体的,通过初始权重除以总权重和来分别计算出每个节点对应的节点权重);云端节点2的节点权重为0.1;云端节点3的节点权重为0.25;物联网设备节点1的节点权重为0.2、物联网设备节点2的节点权重为0. 15和物联网设备节点3的节点权重为0.1。
S130、获取随机生成概率值,并将所述随机生成概率值分别与各所述云端节点权重和物联网设备节点权重进行比较,确定出目标待备份数据节点。
其中,随机生成概率值可以是随机生成的节点选择的概率值的大小。
在本实施例中,可以根据随机种子数来随机生成概率值,进一步的可以将每个云端节点权重和物联网设备节点权重来分别与随机生成概率值进行比较处理,从而确定满足随机生成概率值要求的节点,并将其确定为目标待备份数据节点。
可选的,所述获取随机生成概率值,并将所述随机生成概率值分别与各所述云端节点权重和物联网设备节点权重进行比较,确定出目标待备份数据节点,包括:获取随机生成概率值,并在各所述云端节点权重和各物联网设备节点权重中,确定出大于所述随机生成概率值的初始待备份数据节点;其中,所述初始待备份数据节点包括至少一个云端节点、和/或至少一个物联网设备节点;获取各所述初始待备份数据节点对应的存储空间响应描述信息,并根据所述存储空间响应描述信息,来分别计算各所述初始待备份数据节点对应的联合节点权重;根据所述联合节点权重,确定最大的联合节点权重对应的节点为目标待备份数据节点。
其中,初始待备份数据节点可以是节点权重大于随机生成概率值的节点。可以理解的是,初始待备份数据节点的数量是不固定的,可能存在一个,或者至少一个,或者存在零个。
其中,存储空间响应描述信息可以是描述每个节点分别对应的节点存储空间信息和节点响应时间消息。联合节点权重可以是根据节点存储空间信息和节点响应时间消息来计算出的联合的节点权重的大小。
示例性的,假设随机生成概率值为0.18,由于云端节点1的权重为0.2;云端节点2的权重为0.1;云端节点3的权重为0.25;物联网设备节点1的权重为0.2;物联网设备节点2的权重为0. 15和物联网设备节点3的权重为0.1。
进一步的,在各云端节点权重和各物联网设备节点权重中,确定出大于随机生成概率值的初始待备份数据节点,可以确定出初始待备份数据节点为云端节点1、云端节点3和物联网设备节点1。
相应的,获取各初始待备份数据节点(也即云端节点1、云端节点3和物联网设备节点1)对应的存储空间响应描述信息,并根据存储空间响应描述信息,来分别计算各初始待备份数据节点对应的联合节点权重;根据联合节点权重,确定最大的联合节点权重对应的节点为目标待备份数据节点。
可选的,所述获取各所述初始待备份数据节点对应的存储空间响应描述信息,并根据所述存储空间响应描述信息,来分别计算各所述初始待备份数据节点对应的联合节点权重,包括:获取各所述初始待备份数据节点对应的存储空间响应描述信息;其中,各所述存储空间响应描述信息包括节点剩余存储空间、节点总存储空间、历史平均响应时间和当前响应时间;根据公式,来分别计算各所述初始待备份数据节点对应的联合节点权重W; 其中,/>表示节点剩余存储空间;/>表示节点总存储空间;/>表示历史平均响应时间;/>表示当前响应时间;α表示节点存储空间的权重参数;β表示节点响应时间的权重参数;/>
在本实施例中,可以知道存储空间响应描述信息可以包括节点剩余存储空间、节点总存储空间、历史平均响应时间和当前响应时间。
续前例的,在获取每个节点分别对应的节点剩余存储空间、节点总存储空间、历史平均响应时间和当前响应时间之后,可以根据,来分别计算出云端节点1、云端节点3和物联网设备节点1的联合节点权重。
其中,α表示节点存储空间的权重参数;β表示节点响应时间的权重参数,假设α=0.65;β=0.35。可以进一步的计算出云端节点1的联合节点权重为10.8;云端节点3的联合节点权重为8.8;物联网设备节点1的联合节点权重为9.8。
进一步的,可以确定出云端节点1的联合节点权重最大,则可以将云端节点1为目标待备份数据节点。
S140、根据所述目标待备份数据节点对应的各存储轨道和目标待备份数据块,通过预先设置的分段轨道存储法,将所述目标待备份数据块分段存储于所述目标待备份数据节点对应的各存储轨道中,以实现对所述目标待备份数据块的数据备份操作。
在本实施例中,在每个目标待备份数据节点上均设置至少一个存储轨道,当确定目标待备份数据节点之后,需要将目标待备份数据块存储于目标待备份数据节点。
具体的,需要将目标待备份数据块进行分段处理,每一段目标待备份数据块的长度不一定相同,需要将分段之后的目标待备份数据块分别存储于不同的存储轨道上。从而实现目标待备份数据块分段存储于目标待备份数据节点的不同存储轨道上,从而实现了数据备份的加密存储操作。
可选的,所述根据所述目标待备份数据节点对应的各存储轨道和目标待备份数据块,通过预先设置的分段轨道存储法,将所述目标待备份数据块分段存储于所述目标待备份数据节点对应的各存储轨道中,包括:获取所述目标待备份数据节点对应的至少一个存储轨道,并将各所述存储轨道进行编号处理,得到编号存储轨道和存储轨道数量;将所述目标待备份数据块转化成目标二进制待备份数据,并将所述目标二进制待备份数据通过预先构建的流截取函数方法进行截取,得到至少一个目标二进制分段待备份数据;分别获取各所述目标二进制分段待备份数据对应的末位二进制流;根据所述存储轨道数量和各所述末位二进制流,通过预先设置的分段轨道存储法,将所述目标待备份数据块分段存储于所述目标待备份数据节点对应的各所述编号存储轨道中。
其中,编号存储轨道可以是对存储轨道进行编号得到的轨道。存储轨道数量可以是每个目标待备份数据节点包含的存储轨道的数量的大小。
其中,流截取函数方法可以是将目标二进制待备份数据进行分段处理的方法。分段轨道存储法可以是对不同的分段之后的目标二进制待备份数据进行不同存储轨道存储的方法。
在本实施例中,假设目标待备份数据节点,也即云端节点1包含4个存储轨道(分别为存储轨道1、存储轨道2、存储轨道3和存储轨道4)。
进一步的,需要将目标待备份数据块转化成目标二进制待备份数据,并通过预先构建的流截取函数方法来得到至少一个目标二进制分段待备份数据。
可选的,所述将所述目标二进制待备份数据通过预先构建的流截取函数方法进行截取,得到至少一个目标二进制分段待备份数据,包括:通过预先构建的流截取函数方法,获取数值整除预设值和位数常数值阈值;获取与所述目标二进制待备份数据对应的目标二进制输入流待备份数值,并判断所述目标二进制输入流待备份数值是否被所述数值整除预设值整除;若否,则获取下一位的目标二进制输入流待备份数值,并返回执行判断所述目标二进制输入流待备份数值是否被所述数值整除预设值整除的操作,直至所述目标二进制输入流待备份数值被所述数值整除预设值整除,或者所述目标二进制输入流待备份数值的位数达到位数常数值阈值,并得到至少一个目标二进制分段待备份数据。
示例性的,假设数值整除预设值为3和位数常数值阈值为11;首先通过预先构建的流截取函数方法在目标二进制待备份数据随机截取对应的目标二进制输入流待备份数值,将所述目标二进制输入流待备份数值作为输入流,假设该目标二进制输入流待备份数值对应的初始长度为8,需要进一步地判断目标二进制输入流待备份数值是否被数值整除预设值整除,由于8不能被3整除,所以需要在目标二进制待备份数据中获取与目标二进制输入流待备份数值对应的下一位数据,并将其添加至目标二进制输入流待备份数值中,此时该目标二进制输入流待备份数值的初始长度为9,进一步地需要判断是否能被3整除,由于可以被3整除,所以得到目标二进制分段待备份数据。
可以理解的,对于剩余的目标二进制待备份数据仍然按照上述方法进行下一个目标二进制分段待备份数据的获取。直至遍历完成目标二进制待备份数据。
另外的,假设下一个获取到的目标二进制输入流待备份数值对应的初始长度为10,由于10不能被3整除,因此需要获取下一位,由于11仍然不能被3整除,还需要继续获取下一位,但是由于该初始长度位数已经满足位数常数值阈值,因此不能继续获取下一位,这是可以再重新进行初始长度的获取。
在本实施例中,数值整除预设值不做具体限定,但是在通常数据备份过程中,数值整除预设值一般选取3。由于选取数值整除预设值为3,可以实现输入流被整除的概率较高,能更好地进行流截取函数方法的执行。
可选的,所述根据所述存储轨道数量和各所述末位二进制流,通过预先设置的分段轨道存储法,将所述目标待备份数据块分段存储于所述目标待备份数据节点对应的各所述编号存储轨道中,包括:获取所述存储轨道数量对应的存储轨道数量二进制流;通过预先设置的分段轨道存储法,分别将各所述末位二进制流对所述存储轨道数量二进制流进行取余操作,确定出二进制流取余结果;根据所述二进制流取余结果来分别确定出与各所述目标二进制分段待备份数据对应的所述编号存储轨道,并将各所述目标二进制分段待备份数据分别存储于各所述编号存储轨道中。
其中,末位二进制流可以是目标二进制分段待备份数据对应的末位几位数构成的二进制流。存储轨道数量二进制流可以是轨道数量对应的二进制流。
示例性的,假设将目标二进制待备份数据分成两个目标二进制分段待备份数据。假设目标二进制分段待备份数据1的二进制流为1111 1101 1100 0011;目标二进制分段待备份数据2的二进制流为1101 0001 1101 0101;假设分别选取其后8个末位来作为末位二进制流。也即,目标二进制分段待备份数据1对应的末位二进制流为1100 0011;目标二进制分段待备份数据2对应的末位二进制流为1101 0101。由于存储轨道数量为4,则存储轨道数量二进制流为0100。
进一步的,通过预先设置的分段轨道存储法,分别将各末位二进制流对存储轨道数量二进制流进行取余操作,确定出二进制流取余结果。具体的,将1100 0011对0100取余,得到余数为0011,也即编号为3的存储轨道。另外的,将1101 0101对对0100取余,得到余数为0001,也即编号为1的存储轨道。
相应的,将目标二进制分段待备份数据1存储于编号3存储轨道中;将目标二进制分段待备份数据2存储于编号1存储轨道中。
可选的,在所述根据所述二进制流取余结果来分别确定出与各所述目标二进制分段待备份数据对应的所述编号存储轨道,并将各所述目标二进制分段待备份数据分别存储于各所述编号存储轨道中之后,还包括:在各所述编号存储轨道中,获取包含至少一个目标二进制分段待备份数据的目标编号存储轨道;在每个所述目标编号存储轨道中,分别在各所述目标二进制分段待备份数据之间添加随机二进制混淆数,得到目标二进制分段待备份加密数据。
在本实施例中,由于将目标二进制分段待备份数据分别存储于不同的编号存储轨道中,假设在编号1存储轨道中分别存储了3个不同的目标二进制分段待备份数据(假设顺序分别为b1.1、b1.3和b2.3),因此需要在b1.1和b1.3之间添加一定位数的随机二进制混淆数,假设该随机二进制混淆数的长度为r。可以理解的,可以在b1.3和b2.3之间添加r位的随机二进制混淆数。
这样设置的好处在于:可以根据一定的规则来进行随机二进制混淆数的添加处理,从而实现目标二进制分段待备份数据的加密,从而提高了数据备份的安全性。
可选的,在所述根据所述二进制流取余结果来分别确定出与各所述目标二进制分段待备份数据对应的所述编号存储轨道,并将各所述目标二进制分段待备份数据分别存储于各所述编号存储轨道中之后,还包括:获取与各所述目标二进制分段待备份数据对应的数据备份信息;其中,所述数据备份信息包括下述至少一项:目标二进制分段待备份数据身份编号、分段数据块起始存储地址、分段数据块终止存储地址、分段数据块校验码、分段数据块起始轨道、以及随机二进制混淆数信息;将所述数据备份信息存储于数据备份信息描述表中,以实现根据所述数据备份信息描述表进行数据的管理处理。
在本实施例中,在备份完成目标二进制分段待备份数据之后,还需要继续获取数据备份信息,也即目标二进制分段待备份数据身份编号、分段数据块起始存储地址、分段数据块终止存储地址、分段数据块校验码、分段数据块起始轨道、以及随机二进制混淆数信息。
进一步的,将该目标二进制分段待备份数据身份编号、分段数据块起始存储地址、分段数据块终止存储地址、分段数据块校验码、分段数据块起始轨道、以及随机二进制混淆数信息进行数据制表处理,来得到数据备份信息描述表,从而可以方便于根据数据备份信息描述表来进行数据的读取操作。
在对某个数据进行提取的时候,可以根据该数据备份信息描述表来进行数据备份信息的获取。首先可以根据记录的随机二进制混淆数信息将每个编号存储轨道中的随机二进制混淆数信息进行舍弃,后来在对每个编号存储轨道进行数据的提取操作。
具体的,任意选取一个编号存储轨道,根据目标二进制分段待备份数据身份编号在每个编号存储轨道来确定出分段数据块起始存储地址,并从分段数据块起始存储地址开始,读取预设长度的二进制数据,作为输入流输入到流截取函数,若流截取函数方法的输出为假,则从编号存储轨道上按位读取并添加到输入流中,输入到流截取函数方法中,直至流截取函数方法输出为真。
重复上述步骤,直到读取到该编号存储轨道的分段数据块终止存储地址,获得当前选择的起始轨道对应的目标二进制分段待备份数据,若该目标二进制分段待备份数据与分段数据块校验码相符,则判定读取到正确的目标二进制分段待备份数据,则结束本次数据提取操作。
反之,若其与分段数据块校验码不相符,则更换一个编号存储轨道作为新的起始轨道,直至完成本次数据提取操作。
另外的,如果数据备份信息描述表记录着起始编号存储轨道,直接从目标待备份数据块对应的起始编号存储轨道进行读取即可,不需要随机获取起始编号存储轨道。
本发明实施例的技术方案,通过在基于分布式物联网架构上,实时获取目标收发节点对应的待备份数据,并通过预设的数据块分割处理方法对所述待备份数据进行分割处理,得到至少一个待备份数据块;获取与所述目标收发节点对应的至少一个云端节点和至少一个物联网设备节点,并通过预先构建的节点混合选择算法来计算得到与各所述云端节点分别对应的云端节点权重、以及与各所述物联网设备节点分别对应的物联网设备节点权重;获取随机生成概率值,并将所述随机生成概率值分别与各所述云端节点权重和物联网设备节点权重进行比较,确定出目标待备份数据节点;根据所述目标待备份数据节点对应的各存储轨道和目标待备份数据块,通过预先设置的分段轨道存储法,将所述目标待备份数据块分段存储于所述目标待备份数据节点对应的各存储轨道中,以实现对所述目标待备份数据块的数据备份操作。解决了对待备份数据直接备份至云端而造成的成本高和速度慢的问题,通过将待备份数据分割成多个待备份数据块,以及对待备份数据块进行分段分轨道存储,提高了数据备份的安全性和节约了时间成本;另外的,由于存储于各标号存储轨道的数据不可以进行更改和删除,可以有效地避免了连续修改或者删除造成数据的可靠性较低,从而提高了数据备份的可靠性和效率;通过流截取函数方法将待备份数据块进行分段处理,提高了数据备份的加密强度,保证了备份数据的安全。
实施例二
图2为本发明实施例二提供的一种基于分布式物联网架构的数据备份装置的结构示意图。本实施例所提供的一种基于分布式物联网架构的数据备份装置可以通过软件和/或硬件来实现,可配置于终端设备或者服务器中,来实现本发明实施例中的一种基于分布式物联网架构的数据备份方法。如图2所示,该装置包括:待备份数据块确定模块210、云端节点权重和物联网设备节点权重计算模块220、目标待备份数据节点确定模块230和分段存储模块240。
其中,待备份数据块确定模块210,用于在基于分布式物联网架构上,实时获取目标收发节点对应的待备份数据,并通过预设的数据块分割处理方法对所述待备份数据进行分割处理,得到至少一个待备份数据块;
云端节点权重和物联网设备节点权重计算模块220,用于获取与所述目标收发节点对应的至少一个云端节点和至少一个物联网设备节点,并通过预先构建的节点混合选择算法来计算得到与各所述云端节点分别对应的云端节点权重、以及与各所述物联网设备节点分别对应的物联网设备节点权重;
目标待备份数据节点确定模块230,用于获取随机生成概率值,并将所述随机生成概率值分别与各所述云端节点权重和物联网设备节点权重进行比较,确定出目标待备份数据节点;
分段存储模块240,用于根据所述目标待备份数据节点对应的各存储轨道和目标待备份数据块,通过预先设置的分段轨道存储法,将所述目标待备份数据块分段存储于所述目标待备份数据节点对应的各存储轨道中,以实现对所述目标待备份数据块的数据备份操作。
本发明实施例的技术方案,通过在基于分布式物联网架构上,实时获取目标收发节点对应的待备份数据,并通过预设的数据块分割处理方法对所述待备份数据进行分割处理,得到至少一个待备份数据块;获取与所述目标收发节点对应的至少一个云端节点和至少一个物联网设备节点,并通过预先构建的节点混合选择算法来计算得到与各所述云端节点分别对应的云端节点权重、以及与各所述物联网设备节点分别对应的物联网设备节点权重;获取随机生成概率值,并将所述随机生成概率值分别与各所述云端节点权重和物联网设备节点权重进行比较,确定出目标待备份数据节点;根据所述目标待备份数据节点对应的各存储轨道和目标待备份数据块,通过预先设置的分段轨道存储法,将所述目标待备份数据块分段存储于所述目标待备份数据节点对应的各存储轨道中,以实现对所述目标待备份数据块的数据备份操作。解决了对待备份数据直接备份至云端而造成的成本高和速度慢的问题,通过将待备份数据分割成多个待备份数据块,以及对待备份数据块进行分段分轨道存储,提高了数据备份的安全性和节约了时间成本;另外的,由于存储于各标号存储轨道的数据不可以进行更改和删除,可以有效地避免了连续修改或者删除造成数据的可靠性较低,从而提高了数据备份的可靠性和效率;通过流截取函数方法将待备份数据块进行分段处理,提高了数据备份的加密强度,保证了备份数据的安全。
可选的,所述目标待备份数据节点确定模块230,可以具体用于:获取随机生成概率值,并在各所述云端节点权重和各物联网设备节点权重中,确定出大于所述随机生成概率值的初始待备份数据节点;其中,所述初始待备份数据节点包括至少一个云端节点、和/或至少一个物联网设备节点;获取各所述初始待备份数据节点对应的存储空间响应描述信息,并根据所述存储空间响应描述信息,来分别计算各所述初始待备份数据节点对应的联合节点权重;根据所述联合节点权重,确定最大的联合节点权重对应的节点为目标待备份数据节点。
可选的,所述目标待备份数据节点确定模块230,还可以具体用于:获取各所述初始待备份数据节点对应的存储空间响应描述信息;其中,各所述存储空间响应描述信息包括节点剩余存储空间、节点总存储空间、历史平均响应时间和当前响应时间;根据公式,来分别计算各所述初始待备份数据节点对应的联合节点权重W;其中,/>表示节点剩余存储空间;/>表示节点总存储空间;/>表示历史平均响应时间;/>表示当前响应时间;α表示节点存储空间的权重参数;β表示节点响应时间的权重参数;/>。/>
可选的,所述分段存储模块240,可以具体包括:编号存储轨道和存储轨道数量确定单元,可以具体用于:获取所述目标待备份数据节点对应的至少一个存储轨道,并将各所述存储轨道进行编号处理,得到编号存储轨道和存储轨道数量;目标二进制分段待备份数据确定单元,可以具体用于:将所述目标待备份数据块转化成目标二进制待备份数据,并将所述目标二进制待备份数据通过预先构建的流截取函数方法进行截取,得到至少一个目标二进制分段待备份数据;末位二进制流获取单元,可以具体用于:分别获取各所述目标二进制分段待备份数据对应的末位二进制流;分段存储单元,可以具体用于根据所述存储轨道数量和各所述末位二进制流,通过预先设置的分段轨道存储法,将所述目标待备份数据块分段存储于所述目标待备份数据节点对应的各所述编号存储轨道中。
可选的,所述目标二进制分段待备份数据确定单元,还可以具体用于:通过预先构建的流截取函数方法,获取数值整除预设值和位数常数值阈值;获取与所述目标二进制待备份数据对应的目标二进制输入流待备份数值,并判断所述目标二进制输入流待备份数值是否被所述数值整除预设值整除;若否,则获取下一位的目标二进制输入流待备份数值,并返回执行判断所述目标二进制输入流待备份数值是否被所述数值整除预设值整除的操作,直至所述目标二进制输入流待备份数值被所述数值整除预设值整除,或者所述目标二进制输入流待备份数值的位数达到位数常数值阈值,并得到至少一个目标二进制分段待备份数据。
可选的,所述分段存储单元,还可以具体用于:获取所述存储轨道数量对应的存储轨道数量二进制流;通过预先设置的分段轨道存储法,分别将各所述末位二进制流对所述存储轨道数量二进制流进行取余操作,确定出二进制流取余结果;根据所述二进制流取余结果来分别确定出与各所述目标二进制分段待备份数据对应的所述编号存储轨道,并将各所述目标二进制分段待备份数据分别存储于各所述编号存储轨道中。
可选的,还包括,目标编号存储轨道获取单元,可以具体用于:在所述根据所述二进制流取余结果来分别确定出与各所述目标二进制分段待备份数据对应的所述编号存储轨道,并将各所述目标二进制分段待备份数据分别存储于各所述编号存储轨道中之后,在各所述编号存储轨道中,获取包含至少一个目标二进制分段待备份数据的目标编号存储轨道;在每个所述目标编号存储轨道中,分别在各所述目标二进制分段待备份数据之间添加随机二进制混淆数,得到目标二进制分段待备份加密数据。
可选的,还包括,数据备份信息获取单元,可以具体用于:在所述根据所述二进制流取余结果来分别确定出与各所述目标二进制分段待备份数据对应的所述编号存储轨道,并将各所述目标二进制分段待备份数据分别存储于各所述编号存储轨道中之后,获取与各所述目标二进制分段待备份数据对应的数据备份信息;其中,所述数据备份信息包括下述至少一项:目标二进制分段待备份数据身份编号、分段数据块起始存储地址、分段数据块终止存储地址、分段数据块校验码、分段数据块起始轨道、以及随机二进制混淆数信息;将所述数据备份信息存储于数据备份信息描述表中,以实现根据所述数据备份信息描述表进行数据的管理处理。
本发明实施例所提供的基于分布式物联网架构的数据备份装置可执行本发明任意实施例所提供的基于分布式物联网架构的数据备份方法,具备执行方法相应的功能模块和有益效果。
实施例三
图3示出了可以用来实施本发明的实施例三的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图3所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如基于分布式物联网架构的数据备份方法。
在一些实施例中,基于分布式物联网架构的数据备份方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的基于分布式物联网架构的数据备份方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行基于分布式物联网架构的数据备份方法。
该方法包括:在基于分布式物联网架构上,实时获取目标收发节点对应的待备份数据,并通过预设的数据块分割处理方法对所述待备份数据进行分割处理,得到至少一个待备份数据块;获取与所述目标收发节点对应的至少一个云端节点和至少一个物联网设备节点,并通过预先构建的节点混合选择算法来计算得到与各所述云端节点分别对应的云端节点权重、以及与各所述物联网设备节点分别对应的物联网设备节点权重;获取随机生成概率值,并将所述随机生成概率值分别与各所述云端节点权重和物联网设备节点权重进行比较,确定出目标待备份数据节点;根据所述目标待备份数据节点对应的各存储轨道和目标待备份数据块,通过预先设置的分段轨道存储法,将所述目标待备份数据块分段存储于所述目标待备份数据节点对应的各存储轨道中,以实现对所述目标待备份数据块的数据备份操作。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
实施例四
本发明实施例四还提供一种包含计算机可读存储介质,所述计算机可读指令在由计算机处理器执行时用于执行一种基于分布式物联网架构的数据备份方法,该方法包括:在基于分布式物联网架构上,实时获取目标收发节点对应的待备份数据,并通过预设的数据块分割处理方法对所述待备份数据进行分割处理,得到至少一个待备份数据块;获取与所述目标收发节点对应的至少一个云端节点和至少一个物联网设备节点,并通过预先构建的节点混合选择算法来计算得到与各所述云端节点分别对应的云端节点权重、以及与各所述物联网设备节点分别对应的物联网设备节点权重;获取随机生成概率值,并将所述随机生成概率值分别与各所述云端节点权重和物联网设备节点权重进行比较,确定出目标待备份数据节点;根据所述目标待备份数据节点对应的各存储轨道和目标待备份数据块,通过预先设置的分段轨道存储法,将所述目标待备份数据块分段存储于所述目标待备份数据节点对应的各存储轨道中,以实现对所述目标待备份数据块的数据备份操作。
当然,本发明实施例所提供的一种包含计算机可读存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的基于分布式物联网架构的数据备份方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述基于分布式物联网架构的数据备份装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (11)

1.一种基于分布式物联网架构的数据备份方法,其特征在于,包括:
在基于分布式物联网架构上,实时获取目标收发节点对应的待备份数据,并通过预设的数据块分割处理方法对所述待备份数据进行分割处理,得到至少一个待备份数据块;
获取与所述目标收发节点对应的至少一个云端节点和至少一个物联网设备节点,并通过预先构建的节点混合选择算法来计算得到与各所述云端节点分别对应的云端节点权重、以及与各所述物联网设备节点分别对应的物联网设备节点权重;
其中,所述节点混合选择算法是对各云端节点和各物联网设备节点进行节点权重计算的算法;
获取随机生成概率值,并将所述随机生成概率值分别与各所述云端节点权重和物联网设备节点权重进行比较,确定出目标待备份数据节点;
根据所述目标待备份数据节点对应的各存储轨道和目标待备份数据块,通过预先设置的分段轨道存储法,将所述目标待备份数据块分段存储于所述目标待备份数据节点对应的各存储轨道中,以实现对所述目标待备份数据块的数据备份操作。
2.根据权利要求1所述的方法,其特征在于,所述获取随机生成概率值,并将所述随机生成概率值分别与各所述云端节点权重和物联网设备节点权重进行比较,确定出目标待备份数据节点,包括:
获取随机生成概率值,并在各所述云端节点权重和各物联网设备节点权重中,确定出大于所述随机生成概率值的初始待备份数据节点;
其中,所述初始待备份数据节点包括至少一个云端节点、和/或至少一个物联网设备节点;
获取各所述初始待备份数据节点对应的存储空间响应描述信息,并根据所述存储空间响应描述信息,来分别计算各所述初始待备份数据节点对应的联合节点权重;
根据所述联合节点权重,确定最大的联合节点权重对应的节点为目标待备份数据节点。
3.根据权利要求2所述的方法,其特征在于,所述获取各所述初始待备份数据节点对应的存储空间响应描述信息,并根据所述存储空间响应描述信息,来分别计算各所述初始待备份数据节点对应的联合节点权重,包括:
获取各所述初始待备份数据节点对应的存储空间响应描述信息;
其中,各所述存储空间响应描述信息包括节点剩余存储空间、节点总存储空间、历史平均响应时间和当前响应时间;
根据公式,来分别计算各所述初始待备份数据节点对应的联合节点权重W;
其中,表示节点剩余存储空间;/>表示节点总存储空间;/>表示历史平均响应时间;/>表示当前响应时间;α表示节点存储空间的权重参数;β表示节点响应时间的权重参数;/>
4.根据权利要求3所述的方法,其特征在于,所述根据所述目标待备份数据节点对应的各存储轨道和目标待备份数据块,通过预先设置的分段轨道存储法,将所述目标待备份数据块分段存储于所述目标待备份数据节点对应的各存储轨道中,包括:
获取所述目标待备份数据节点对应的至少一个存储轨道,并将各所述存储轨道进行编号处理,得到编号存储轨道和存储轨道数量;
将所述目标待备份数据块转化成目标二进制待备份数据,并将所述目标二进制待备份数据通过预先构建的流截取函数方法进行截取,得到至少一个目标二进制分段待备份数据;
分别获取各所述目标二进制分段待备份数据对应的末位二进制流;
其中,所述末位二进制流是目标二进制分段待备份数据对应的末位的多个位数构成的二进制流;
根据所述存储轨道数量和各所述末位二进制流,通过预先设置的分段轨道存储法,将所述目标待备份数据块分段存储于所述目标待备份数据节点对应的各所述编号存储轨道中。
5.根据权利要求4所述的方法,其特征在于,所述将所述目标二进制待备份数据通过预先构建的流截取函数方法进行截取,得到至少一个目标二进制分段待备份数据,包括:
通过预先构建的流截取函数方法,获取数值整除预设值和位数常数值阈值;
获取与所述目标二进制待备份数据对应的目标二进制输入流待备份数值,并判断所述目标二进制输入流待备份数值是否被所述数值整除预设值整除;
若否,则获取下一位的目标二进制输入流待备份数值,并返回执行判断所述目标二进制输入流待备份数值是否被所述数值整除预设值整除的操作,直至所述目标二进制输入流待备份数值被所述数值整除预设值整除,或者所述目标二进制输入流待备份数值的位数达到位数常数值阈值,并得到至少一个目标二进制分段待备份数据。
6.根据权利要求5所述的方法,其特征在于,所述根据所述存储轨道数量和各所述末位二进制流,通过预先设置的分段轨道存储法,将所述目标待备份数据块分段存储于所述目标待备份数据节点对应的各所述编号存储轨道中,包括:
获取所述存储轨道数量对应的存储轨道数量二进制流;
通过预先设置的分段轨道存储法,分别将各所述末位二进制流对所述存储轨道数量二进制流进行取余操作,确定出二进制流取余结果;
根据所述二进制流取余结果来分别确定出与各所述目标二进制分段待备份数据对应的所述编号存储轨道,并将各所述目标二进制分段待备份数据分别存储于各所述编号存储轨道中。
7.根据权利要求6所述的方法,其特征在于,在所述根据所述二进制流取余结果来分别确定出与各所述目标二进制分段待备份数据对应的所述编号存储轨道,并将各所述目标二进制分段待备份数据分别存储于各所述编号存储轨道中之后,还包括:
在各所述编号存储轨道中,获取包含至少一个目标二进制分段待备份数据的目标编号存储轨道;
在每个所述目标编号存储轨道中,分别在各所述目标二进制分段待备份数据之间添加随机二进制混淆数,得到目标二进制分段待备份加密数据。
8.根据权利要求7所述的方法,其特征在于,在所述根据所述二进制流取余结果来分别确定出与各所述目标二进制分段待备份数据对应的所述编号存储轨道,并将各所述目标二进制分段待备份数据分别存储于各所述编号存储轨道中之后,还包括:
获取与各所述目标二进制分段待备份数据对应的数据备份信息;
其中,所述数据备份信息包括下述至少一项:目标二进制分段待备份数据身份编号、分段数据块起始存储地址、分段数据块终止存储地址、分段数据块校验码、分段数据块起始轨道、以及随机二进制混淆数信息;
将所述数据备份信息存储于数据备份信息描述表中,以实现根据所述数据备份信息描述表进行数据的管理处理。
9.一种基于分布式物联网架构的数据备份装置,其特征在于,包括:
待备份数据块确定模块,用于在基于分布式物联网架构上,实时获取目标收发节点对应的待备份数据,并通过预设的数据块分割处理方法对所述待备份数据进行分割处理,得到至少一个待备份数据块;
云端节点权重和物联网设备节点权重计算模块,用于获取与所述目标收发节点对应的至少一个云端节点和至少一个物联网设备节点,并通过预先构建的节点混合选择算法来计算得到与各所述云端节点分别对应的云端节点权重、以及与各所述物联网设备节点分别对应的物联网设备节点权重;
其中,所述节点混合选择算法是对各云端节点和各物联网设备节点进行节点权重计算的算法;
目标待备份数据节点确定模块,用于获取随机生成概率值,并将所述随机生成概率值分别与各所述云端节点权重和物联网设备节点权重进行比较,确定出目标待备份数据节点;
分段存储模块,用于根据所述目标待备份数据节点对应的各存储轨道和目标待备份数据块,通过预先设置的分段轨道存储法,将所述目标待备份数据块分段存储于所述目标待备份数据节点对应的各存储轨道中,以实现对所述目标待备份数据块的数据备份操作。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-8中任一项所述的一种基于分布式物联网架构的数据备份方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现如权利要求1-8中任一项所述的一种基于分布式物联网架构的数据备份方法。
CN202311316357.6A 2023-10-12 2023-10-12 一种基于分布式物联网架构的数据备份方法、装置及介质 Active CN117056133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311316357.6A CN117056133B (zh) 2023-10-12 2023-10-12 一种基于分布式物联网架构的数据备份方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311316357.6A CN117056133B (zh) 2023-10-12 2023-10-12 一种基于分布式物联网架构的数据备份方法、装置及介质

Publications (2)

Publication Number Publication Date
CN117056133A CN117056133A (zh) 2023-11-14
CN117056133B true CN117056133B (zh) 2024-02-06

Family

ID=88653972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311316357.6A Active CN117056133B (zh) 2023-10-12 2023-10-12 一种基于分布式物联网架构的数据备份方法、装置及介质

Country Status (1)

Country Link
CN (1) CN117056133B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105120003A (zh) * 2015-09-10 2015-12-02 浪潮(北京)电子信息产业有限公司 一种实现云环境下数据备份的方法
GB201617019D0 (en) * 2015-10-09 2016-11-23 Fisher Rosemount Systems Inc Distributed industrial performance monitoring and analytics
CN106202070A (zh) * 2015-04-29 2016-12-07 中国电信股份有限公司 文件存储处理方法与系统
CN107040406A (zh) * 2017-03-14 2017-08-11 西安电子科技大学 一种端云协同计算系统及其容错方法
CN107454161A (zh) * 2017-07-31 2017-12-08 郑州云海信息技术有限公司 一种数据备份方法及装置
CN110389725A (zh) * 2019-07-26 2019-10-29 成都信息工程大学 一种物联网终端数据高效存储系统
CN110795244A (zh) * 2019-10-24 2020-02-14 浙江大华技术股份有限公司 一种任务分配方法、装置、设备及介质
CN110908833A (zh) * 2019-11-07 2020-03-24 苏州浪潮智能科技有限公司 一种数据备份方法、装置、设备及计算机可读存储介质
KR20210054480A (ko) * 2019-11-05 2021-05-13 주식회사 테라텍 대규모 클라우드 데이터 센터 자율 운영을 위한 백업 복구 방법
WO2021120677A1 (zh) * 2020-07-07 2021-06-24 平安科技(深圳)有限公司 一种仓储模型训练方法、装置、计算机设备及存储介质
WO2021135530A1 (zh) * 2020-07-21 2021-07-08 平安科技(深圳)有限公司 数据恢复方法、装置、电子设备及介质
WO2021189902A1 (zh) * 2020-09-24 2021-09-30 平安科技(深圳)有限公司 基于云存储的数据存储方法、装置、计算机设备及存储介质
WO2022057028A1 (zh) * 2020-09-15 2022-03-24 苏州律点信息科技有限公司 一种数据库远程备份方法、装置和云端服务器
CN115225643A (zh) * 2022-07-18 2022-10-21 福州黄金网络科技有限公司 点云平台大数据分布式管理方法、装置及系统
CN115599605A (zh) * 2022-11-04 2023-01-13 济南浪潮数据技术有限公司(Cn) 一种边缘节点的数据备份方法、系统及相关组件
CN115904805A (zh) * 2022-11-10 2023-04-04 浙江大华技术股份有限公司 一种数据备份方法、装置、电子设备和存储介质
CN116614554A (zh) * 2023-04-07 2023-08-18 杭州浩联智能科技有限公司 一种基于物联网设备的数据处理方法及装置
CN116795587A (zh) * 2022-08-12 2023-09-22 中移(苏州)软件技术有限公司 一种云主机的备份方法、装置、电子设备和存储介质

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202070A (zh) * 2015-04-29 2016-12-07 中国电信股份有限公司 文件存储处理方法与系统
CN105120003A (zh) * 2015-09-10 2015-12-02 浪潮(北京)电子信息产业有限公司 一种实现云环境下数据备份的方法
GB201617019D0 (en) * 2015-10-09 2016-11-23 Fisher Rosemount Systems Inc Distributed industrial performance monitoring and analytics
CN107040406A (zh) * 2017-03-14 2017-08-11 西安电子科技大学 一种端云协同计算系统及其容错方法
CN107454161A (zh) * 2017-07-31 2017-12-08 郑州云海信息技术有限公司 一种数据备份方法及装置
CN110389725A (zh) * 2019-07-26 2019-10-29 成都信息工程大学 一种物联网终端数据高效存储系统
CN110795244A (zh) * 2019-10-24 2020-02-14 浙江大华技术股份有限公司 一种任务分配方法、装置、设备及介质
KR20210054480A (ko) * 2019-11-05 2021-05-13 주식회사 테라텍 대규모 클라우드 데이터 센터 자율 운영을 위한 백업 복구 방법
CN110908833A (zh) * 2019-11-07 2020-03-24 苏州浪潮智能科技有限公司 一种数据备份方法、装置、设备及计算机可读存储介质
WO2021120677A1 (zh) * 2020-07-07 2021-06-24 平安科技(深圳)有限公司 一种仓储模型训练方法、装置、计算机设备及存储介质
WO2021135530A1 (zh) * 2020-07-21 2021-07-08 平安科技(深圳)有限公司 数据恢复方法、装置、电子设备及介质
WO2022057028A1 (zh) * 2020-09-15 2022-03-24 苏州律点信息科技有限公司 一种数据库远程备份方法、装置和云端服务器
WO2021189902A1 (zh) * 2020-09-24 2021-09-30 平安科技(深圳)有限公司 基于云存储的数据存储方法、装置、计算机设备及存储介质
CN115225643A (zh) * 2022-07-18 2022-10-21 福州黄金网络科技有限公司 点云平台大数据分布式管理方法、装置及系统
CN116795587A (zh) * 2022-08-12 2023-09-22 中移(苏州)软件技术有限公司 一种云主机的备份方法、装置、电子设备和存储介质
CN115599605A (zh) * 2022-11-04 2023-01-13 济南浪潮数据技术有限公司(Cn) 一种边缘节点的数据备份方法、系统及相关组件
CN115904805A (zh) * 2022-11-10 2023-04-04 浙江大华技术股份有限公司 一种数据备份方法、装置、电子设备和存储介质
CN116614554A (zh) * 2023-04-07 2023-08-18 杭州浩联智能科技有限公司 一种基于物联网设备的数据处理方法及装置

Also Published As

Publication number Publication date
CN117056133A (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
CN114996173B (zh) 一种管理存储设备写操作的方法和装置
CN114817651B (zh) 数据存储方法、数据查询方法、装置和设备
CN115934414A (zh) 数据备份方法、数据恢复方法、装置、设备及存储介质
CN110019193B (zh) 相似帐号识别方法、装置、设备、系统及可读介质
CN112436943B (zh) 基于大数据的请求去重方法、装置、设备及存储介质
CN113468226A (zh) 一种业务处理方法、装置、电子设备和存储介质
CN112433757A (zh) 一种确定接口调用关系的方法和装置
CN117056133B (zh) 一种基于分布式物联网架构的数据备份方法、装置及介质
CN116842012A (zh) 一种Redis集群的分片存储方法、装置、设备及存储介质
CN115099175B (zh) 一种时序网表的获取方法、装置、电子设备和存储介质
CN116610731A (zh) 一种大数据分布式存储方法、装置、电子设备及存储介质
CN114518848B (zh) 存储数据的处理方法、装置、设备和介质
CN113868254B (zh) 图数据库中的实体节点去重方法、设备和存储介质
CN115665159A (zh) 一种大数据环境下的元数据管理方法及系统
CN115639966A (zh) 一种数据写入方法、装置、终端设备及存储介质
CN112887426B (zh) 信息流的推送方法、装置、电子设备以及存储介质
CN113836157A (zh) 获取数据库增量数据的方法和装置
CN112559497A (zh) 一种数据处理方法、一种信息传输方法、装置及电子设备
CN114650252B (zh) 基于企业服务总线的路由方法、装置及计算机设备
CN117729176B (zh) 基于网络地址和响应体的应用程序接口聚合方法及装置
CN116578646A (zh) 一种时序数据同步方法、装置、设备及存储介质
CN113946702A (zh) 图像特征的存储方法、装置、存储介质及电子设备
CN115408547A (zh) 一种字典树构建方法、装置、设备及存储介质
CN117633550A (zh) 基于FM-index算法的分块模式匹配方法及介质
CN113190551A (zh) 特征检索系统的构建方法、特征检索方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant