CN112905539A

CN112905539A - 一种基于消息摘要的数据自动存储方法、装置

Info

Publication number: CN112905539A
Application number: CN202110318326.9A
Authority: CN
Inventors: 张彦斌; 刘亮; 王景伟; 汪照辉; 高江伟; 张世光
Original assignee: Sesame Chain Beijing Technology Co ltd
Current assignee: Sesame Chain Beijing Technology Co ltd
Priority date: 2021-03-25
Filing date: 2021-03-25
Publication date: 2021-06-04

Abstract

本发明提出了一种基于消息摘要的数据自动存储方法、装置、系统、电子设备及存储介质，所述存储方法通过计算同步文件夹数据的消息摘要变动情况以判断是否有新的数据需要保存，从而使实时增加的数据进行实时的存储，能够对实时产生的数据进行实时的存储和备份，提高了效率；并且存储过程自动进行，无须额外的人为的干预，简化了操作工序，使得整个存储和备份过程变得简便。

Description

一种基于消息摘要的数据自动存储方法、装置

技术领域

本发明涉及及数据处理技术领域，尤其涉及一种基于消息摘要的数据自动存储方法、装置、系统、电子设备及存储介质。

背景技术

5G时代的到来及国家新基建启动，意味着个人大数据时代的到来。

对于个人用户来说，最大的体现将是流量大幅度提升了，个人产生的数据将大幅度增加，各类移动应用app将大幅增加，伴随终端进一步智能化，特别是存储在个人移动终端的数据量，将呈爆炸式增长，比如大像素的图片和各种高清晰的视频，以及各类app产生的文档数据，将占据移动终端大量的存储空间，对这些数据的及时转移和备份变得非常有必要。

现有的终端数据转移和备份方式，通常可以通过无线网络传输到中心云去进行存储，或者通过连接数据线保存到指定的存储设备。去中心云存储个人数据存在泄露个人隐私的风险，而且消耗网络资源，传输的速度也相对慢；数据线保存的方式，一般采用通用的计算机网络传输协议，比如文件传输协议FTP协议，或者数据拷贝的方式。请求之前，双方需要建立网络连接，比如TCP连接，然后由发起传输的请求方，将需要传输的文档数据放入相应的传输工具。这种方式需要人为的干预，需要人为的触发传输请求；且这种方式属于老式的数据存储和备份的方法，且操作繁杂。

发明内容

本发明的目的在于提供一种基于消息摘要的数据自动存储方法、装置、系统、电子设备及存储介质，以实现数据自动存储到存储端的目的。

第一方面，本发明实施例提供了一种基于消息摘要的数据自动存储方法，所述存储方法包括：

计算同步文件夹元数据的消息摘要的变动情况以判断是否有新的数据需要保存，以使实时增加的数据进行实时的存储。

进一步地，计算同步文件夹元数据的消息摘要的变动情况以判断是否有新的数据需要保存，以使实时增加的数据进行实时的存储和备份包括：

获取文件夹的元数据M_n；

通过哈希算法计算同步文件夹元数据的消息摘要D_n，D_n＝H(M_n)，其中H为哈希函数；

经过预设周期对所述同步文件夹进行文件扫描，获取同步文件夹元数据M_n-1；

通过哈希算法计算同步文件夹的元数据消息摘要M_n-1，D_n-1＝H(M_n-1)；

比较D_n和D_n-1的散列值，当D_n和D_n-1的散列值不同时，启动文件扫描程序，将变动的数据文件传输到同步文件夹，其中n为自然数。

可选地，所述预设周期为10s-300s。

进一步地，所述存储方法还包括：

数据文件传输到同步文件夹后，对传输文件的正确性进行确认的步骤。

第二方面，本发明实施例提供了一种基于消息摘要的数据自动存储装置，所述存储装置包括：

第一获取模块，用于获取文件夹的元数据M_n；

第一计算模块，用于通过哈希算法计算同步文件夹的元数据消息摘要D_n，D_n＝H(M_n)，其中H为哈希函数；

第二获取模块，用于经过预设周期对所述同步文件夹进行文件扫描，获取同步文件夹数据M_n-1；

第二计算模块，用于通过哈希算法计算同步文件夹的元数据消息摘要M_n-1，D_n-1＝H(M_n-1)；

传输模块，用于比较Dn和Dn-1的散列值，当Dn和Dn-1的散列值不同时，启动文件扫描程序，将变动的数据文件传输到同步文件夹，其中n为自然数。

第三方面，本发明实施例提供了一种基于消息摘要的数据自动存储系统，所述存储系统包括：

终端和存储端，所述终端和存储端分别设定同步文件夹，所述终端侧的文件夹用于放置需要传输的文件和数据；所述边存储端的文件夹用于接收终端上传的数据；

通信模块，用于建立通信数据连接，以使同步文件夹进入同步状态；

软件，所述软件通过哈希算法计算同步文件夹的元数据消息摘要D_n，D_n＝H(M_n)，其中H为哈希函数；通过哈希算法计算同步文件夹的元数据消息摘要M_n-1，D_n-1＝H(M_n-1)；比较Dn和Dn-1的散列值，当Dn和Dn-1的散列值不同时，启动文件扫描程序，将变动的数据文件通过所述通信模块传输到同步文件夹，其中n为自然数。

可选地，所述存储端包括：

边缘云端。

进一步地，所述边缘云端的数据可以通过安装所述软件，将需要传输的文件和数据要同步和存储到本地文件夹。

第四方面，本发明实施例提供了一种电子设备，包括：

处理器；用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现上述的方法。

第五方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述方法的步骤。

有益效果

本发明提出了一种基于消息摘要的数据自动存储方法、装置、系统、电子设备及存储介质，所述存储方法通过计算同步文件夹元数据的消息摘要的变动情况以判断是否有新的数据需要保存，以使实时增加的数据进行实时的存储，能够对实时产生的数据进行实时的存储和备份，提高了效率；并且存储过程自动进行，无须额外的人为的干预，简化了操作工序，使得整个存储和备份过程变得简便。

附图说明

图1为本发明实施例的一种基于消息摘要的数据自动存储方法的流程图；

图2为本发明另一种实施例基于消息摘要的数据自动存储方法的流程图；

图3为本发明一种实施例一种基于消息摘要的数据自动存储装置的结构框图；

图4为本发明另一种实施例的一种基于消息摘要的数据自动存储系统工作的流程图；

图5本发明一种实施例的电子设备的结构框图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着5G以及大数据时代的到来，终端中各类应用带来的数据大幅度增加，个人数据的保存、转移和备份也变得有必要，为了更好的存储，以及保护隐私和数据安全。

下面结合附图说明和具体实施例对本发明作进一步描述：

本发明的目的在于提供一种基于消息摘要的数据自动存储方法，所述存储方法包括：

图1示出了计算同步文件夹元数据的消息摘要的变动情况以判断是否有新的数据需要保存，以使实时增加的数据进行实时的存储的方法具体步骤，如图1所示，计算同步文件夹数据的元数据消息摘要的变动情况以判断是否有新的数据需要保存，以使实时增加的数据进行实时的存储和备份包括：

S20、获取文件夹的元数据M_n；

S40、通过哈希算法计算同步文件夹的元数据消息摘要D_n，D_n＝H(M_n)，其中H为哈希函数；

S60、经过预设周期对所述同步文件夹进行文件扫描，获取同步文件夹数据M_n-1；

S80、通过哈希算法计算同步文件夹的元数据消息摘要D_n-1，D_n-1＝H(M_n-1)；

S100、比较D_n和D_n-1的散列值，当D_n和D_n-1的散列值不同时，启动文件扫描程序，将变动的数据文件传输到同步文件夹，其中n为自然数。

需要说明的是，所述消息摘要是固定长度的，其具体的长度是和选定的哈希函数有关。

本实施例提出了一种基于消息摘要的数据自动存储方法、所述存储方法通过计算同步文件夹元数据的消息摘要的变动情况以判断是否有新的数据需要保存，以使实时增加的数据进行实时的存储，能够对实时产生的数据进行实时的存储和备份，提高了效率；并且存储过程自动进行，无须额外的人为的干预，简化了操作工序，使得整个存储和备份过程变得简便。

具体地，所述预设周期为10s-300s，以使实时增加的数据进行实时的存储；

进一步地，所述存储方法还包括：

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括计算同步文件夹元数据的消息摘要的变动情况以判断是否有新的数据需要保存，以使实时增加的数据进行实时的存储”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

在一些实施例中具体可以使用上述实施例中本发明详述的数据同步和保存的方法。

具体地，第一步需要设置边缘服务器，使该服务器和终端在网络层可达，或者为实现方便可将二者部署在一个无线网络下面。第二步，终端侧安装信息摘要计算和比较软件，用以实现上述的判断功能，另外终端侧和边缘云服务器侧都需要安装文件传输工具，用来同步和传输文件数据。对于服务器侧，需要预留一定的硬盘空间；第三步，需要选定终端侧的同步文件夹，服务器侧需要选定用来保存数据用的位置。第四步，终端和服务器两侧启动软件，建立同步连接。第五步，在终端侧同步文件夹中放入测试文件，等待一段时间以后，该文件会被自动传输到服务器侧，这样边实现了终端数据的自动存储和备份功能。

下面以一较优的实施方式对本发明所述基于消息摘要的数据自动存储方法进行说明：如图2所示，

S1、获取文件夹的初始元元数据M₀,

S2、通过哈希算法计算同步文件夹的元数据信息摘要D₀，D₀＝H(M₀)，其中H为哈希函数，

S3、扫描程序经过一个扫描周期，获取同步文件夹的元数据M1

S4、再次通过哈希算法计算同步文件夹的元数据信息摘要M₁，D₁＝H(M₁)

S5、比较D₁和D₀的散列值，二者相等，则说明此时同步文件夹里面的内容没有任何的变化，无需任何操作；如果二者不等，则启动变动扫描程序和文件传输程序，将变动的内容同步到远端；

S6、通常的，这个是一个周期性的循环，获取文件夹的元数据M_n,计算其信息摘要值D_n,并与紧挨的上一次的摘要值D_n-1进行比较，重复S3到S7的步骤，以保持同步文件夹里面的任何变动都会更新到远端；

需要说明的是，在通信的另外一方，如果数据要同步和存储到本地，也可以采用同样的机制来实现。

基于同一发明构思，本申请实施例还提供了一种基于消息摘要的数据自动存储装置，可以用于实现上述实施例中所描述的方法，如下面实施例所述。由于该基于区块链的数据存储交易装置解决问题的原理与基于消息摘要的数据自动存储方法相似，因此基于消息摘要的数据自动存储装置的实施可以参见一种基于消息摘要的数据自动存储方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

如图3所示，所述存储装置包括：

第一获取模块20，用于获取文件夹的元数据M_n；

第一计算模块40，用于通过哈希算法计算同步文件夹的元数据消息摘要D_n，D_n＝H(M_n)，其中H为哈希函数；

第二获取模块60，用于经过预设周期对所述同步文件夹进行文件扫描，获取同步文件夹数据M_n-1；

第二计算模块80，用于通过哈希算法计算同步文件夹的元数据消息摘要M_n-1，D_n-1＝H(M_n-1)；

传输模块100，用于比较Dn和Dn-1的散列值，当Dn和Dn-1的散列值不同时，启动文件扫描程序，将变动的数据文件传输到同步文件夹，其中n为自然数。

本实施例提出了一种基于消息摘要的数据自动存储装置、所述存储装置通过第一获取模块20获取文件夹的元数据M_n；第一计算模块40通过哈希算法计算同步文件夹的元数据消息摘要D_n，D_n＝H(M_n)；第二获取模块60经过预设周期对所述同步文件夹进行文件扫描，获取同步文件夹元数据M_n-1，第二计算模块80通过哈希算法计算同步文件夹的元数据消息摘要M_n-1，D_n-1＝H(M_n-1)；传输模块100比较Dn和Dn-1的散列值，当Dn和Dn-1的散列值不同时，启动文件扫描程序，将变动的数据文件传输到同步文件夹，能够对实时产生的数据进行实时的存储和备份，提高了效率；并且存储过程自动进行，无须额外的人为的干预，简化了操作工序，使得整个存储和备份过程变得简便。

基于同一发明构思，如图4所示，本申请实施例还提供了一种基于消息摘要的数据自动存储系统，所述存储系统包括：

软件，所述软件通过哈希算法计算同步文件夹的元数据消息摘要D_n，D_n＝H(M_n)，其中H为哈希函数；通过哈希算法计算同步文件夹的元数据消息摘要M_n-1，D_n-1＝H(M_n-1)；比较D_n和D_n-1的散列值，当D_n和D_n-1的散列值不同时，启动文件扫描程序，将变动的数据文件通过所述通信模块传输到同步文件夹，其中n为自然数。

可选地，所述存储端包括：

边缘云端。

下面以一较优的实施方式对本发明所述基于消息摘要的数据自动存储系统进行说明，本实施方式所述存储端以边缘云端为例：

如图4所示，整个系统有终端和边缘云端两部分，如果有多个终端以在本发明方法的保护范围内，在此图示和方案中，为方便说明，仅以一个终端为例。

具体步骤如下

S11、终端和边缘云端分别设定同步文件夹，终端侧的文件夹用于放置需要传输的文件和数据；边缘云端的文件夹用于接收终端上传的数据；

S12、双方建立通信数据连接，以及进入同步状态；

S13、终端侧定期的计算同步文件夹元数据信息的消息摘要D，如果是第一个周期，则是D0，第二个是D1，第三个是D2，…,第n个为Dn-1，第n+1个为Dn以此类推；

S14、终端侧软件根据计算出的Dn和前一个周期的Dn-1进行比较；

S15、如果两个值不等，终端侧则启动文件扫描程序，确定需要传输的数据文件，交给下层的通讯模块去传输到对端；如果传输完成，云端侧进行确认。

S16、如果两个值相等，则说明该文件暂时无变动，无需额外的操作。

图5本发明一种实施例的电子设备的结构框图，如图5所示，该计算机电子设备包括，中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有系统操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中一种基于消息摘要的数据自动存储装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入电子设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的基于消息摘要的数据自动存储方法。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种基于消息摘要的数据自动存储方法，其特征在于，所述存储方法包括：

计算同步文件夹元数据的消息摘要变动情况以判断是否有新的数据需要保存，以使实时增加的数据进行实时的存储。

2.一种基于消息摘要的数据自动存储方法，其特征在于，计算同步文件夹元数据的消息摘要变动情况以判断是否有新的数据需要保存，以使实时增加的数据进行实时的存储和备份包括：

获取文件夹的元数据M_n；

通过哈希算法计算同步文件夹的元数据消息摘要D_n，D_n＝H(M_n)，其中H为哈希函数；

通过哈希算法计算同步文件夹的消息摘要D_n-1，D_n-1＝H(M_n-1)；

3.根据权利要求1或2所述的存储方法，其特征在于，所述预设周期为10s-300s。

4.根据权利要求1或2所述的存储方法，其特征在于，所述存储方法还包括：

5.一种基于消息摘要的数据自动存储装置，其特征在于，所述存储装置包括：

第一获取模块，用于获取文件夹的元数据M_n；

第一计算模块，用于通过哈希算法计算同步文件夹的元数据的消息摘要D_n，D_n＝H(M_n)，其中H为哈希函数；

第二获取模块，用于经过预设周期对所述同步文件夹进行文件扫描，获取同步文件夹元数据M_n-1；

第二计算模块，用于通过哈希算法计算同步文件夹元数据的消息摘要D_n-1，D_n-1＝H(M_n-1)；

6.一种基于消息摘要的数据自动存储系统，其特征在于，所述存储系统包括：

7.根据权利要求6所述的存储系统，其特征在于，所述存储端包括：

边缘云端。

8.根据权利要求7所述的存储系统，其特征在于，所述边缘云端的数据可以通过安装所述软件，将需要传输的文件和数据要同步和存储到本地文件夹。

9.一种电子设备，包括：

处理器；用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现如权利要求1-4中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如权利要求1-4中任一项所述方法的步骤。