CN109145643A - 一种基于私有云的个人多源数据管理方法与系统 - Google Patents

Abstract

一种基于私有云的个人多源数据管理方法和系统，前端程序生成前端设备数据索引，发送给私有云系统端；离线数据储存设备数据发送给私有云系统端，在私有云系统端生成索引；私有云系统硬盘数据在私有云系统端生成索引；在私有云系统端，汇集三部分索引形成总索引；查询时，私有云系统端从总索引中检索到匹配的结果，发送给前端；前端根据索引结果，如果是本地文件则直接打开，如果是备份到私有云系统端的文件则在线进行传输，得到所需文件调用本地资源管理器打开，如果是其它设备的文件，则显示所得到的索引结果信息，由用户决定是否打开。本发明通过对多源数据建立索引，使用关键字、语义、类型等信息查询索引，实现了多源数据的汇集和管理。

Description

一种基于私有云的个人多源数据管理方法与系统

技术领域

本发明属于计算机数据管理技术领域，特别涉及一种基于私有云的个人多源数据管理方法与系统。

背景技术

目前，现有个人文件资源管理工具仅适用于单个设备或单个分区。随着笔记本、手机、SD卡等多种设备的出现，产生了大量的多源数据。统一管理多源数据便成了迫切的需求。当前主要管理多源数据有两种方法：一种方法是把多源数据同步到公共云系统，在云端进行统一管理。另一种方法是将多源数据通过网络映射为网络驱动器，通过本地资源管理器统一管理。

第一种方法在上传到公共云系统时需要占用大量的带宽，尤其对于视频等文件，同时不能有效保护个人隐私。第二种方法通过FTP、Samba等技术把多源数据映射到同一系统。该方法实现了异地访问，但不支持实时查询，查询速度慢。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于私有云的个人多源数据管理方法与系统，占用内存小，通过建立索引，方便随时查询访问文件和进行文件传输，而且通过防护系统可以实现个人隐私保护。

为了实现上述目的，本发明采用的技术方案是：

一种基于私有云的个人多源数据管理方法，其特征在于，包括如下步骤：

前端程序生成前端设备数据索引，然后发送给私有云系统端；

离线数据储存设备数据直接发送给私有云系统端；

在私有云系统端，离线数据储存设备数据生成离线储存数据索引，私有云系统硬盘数据直接生成索引，并将所述前端设备数据索引和离线储存及私有云系统硬盘数据索引汇集形成总索引；

当用户通过前端程序输入特征信息查询时，发送给私有云系统端查询指令，从总索引中检索到匹配的结果，并把索引结果发送给前端显示；

前端根据查询所得到的索引结果，如果是本地文件则直接打开，如果是备份到私有云系统端的文件则在线进行传输，得到所需文件调用本地资源管理器打开，如果是其它设备的文件，则显示所得到的索引结果信息，并由用户决定是否需要打开该文件，若打开，则：当用户前端设备和文件所在设备均在局域网的时候，通过局域网之间建立连接进行文件传输，获取该文件，否则，通过互联网建立VPN连接，进而访问局域网，再进行文件传输获取该文件，之后调用本地资源管理器打开。

所述前端设备数为移动电子设备或台式计算机，前端程序为手机APP或Desktop程序。

所述离线数据储存设备为SD卡、U盘或移动硬盘。

所述私有云系统端主要数据为索引文件，仅离线数据存储设备数据需要备份并形成索引，由此极大减少了私有云系统端的消耗。

所述前端设备数据索引和离线储存及私有云系统硬盘数据索引均包括存储文件名称、大小、创建及修改时间、文件类型、文件位置、文件源、关键字以及缩略图信息。

所述将前端设备数据索引和离线储存及私有云系统硬盘数据索引汇集形成总索引的具体方法是：

先将不同数据源的索引文件同步到总索引文件，从而保证生成索引和查询索引的异步性；

当某个数据源索引更新或新的数据源生成索引文件时，便同步至总索引文件。

所述用户在前端程序输入的特征信息为关键字、语义、类型中的一种或者多种，索引结果会按搜索关联度从高到低依次显示。用户需要查询所需文件时，在前端程序输入特征信息，然后发送到私有云系统端查询索引，得到匹配结果。

如果查询所得到的索引结果对应的是其它设备的文件，则根据文件所在设备的物理位置，选择直接在相应设备上打开文件，或者，通过数据传输，将文件从相应设备传输至用户前端设备，然后在用户前端设备打开文件。即，如果文件所在设备在身边，则可直接根据索引结果可取设备寻找所需文件：当然，也可以进行数据传输得到所需文件。

所述将文件从相应设备传输至当前设备的方法：当用户前端设备和文件所在设备均在局域网的时候，通过局域网之间建立连接进行文件传输，获取该文件，否则，通过家庭网关建立VPN连接，进而访问局域网，再进行文件传输获取该文件，之后调用本地资源管理器打开。

所述用户所需文件即可以查找的文件类型包括视频、音频、文档、其他类型文件和文件夹等。

当前端设备、离线数据储存设备和私有云系统端在同一个局域网下时，能够进行数据备份、索引生成以及索引查询；当前端设备、离线数据储存设备和私有云系统端不在同一个局域网下时，前端设备通过因特网访问私有云系统端，但需要通过身份认证以及设备认证。

本发明的网络连接可以是蜂窝式电话网络、WiFi、无线数据网络、宽带网络或其它替代地可以通过间接装置来连接的方式，诸如由因特网或通过另一网络连接。

所述外部设备之间的文件访问通过VPN来访对文件进行传输，需要设备之间进行身份认证。

所述用户前端设备需要身份认证来登录并访问私有云系统端，同时系统端也会有防护系统进行系统数据备份、防火墙等来应对外界干扰和紧急情况，以保证用户数据安全。

本发明还提供了一种基于私有云的个人多源数据管理系统，包括前端和私有云系统端；所述前端包括查询显示模块、前端索引生成模块和索引发送模块，所述私有云系统端包括索引接收模块、数据同步模块、同步数据存储区、私有云系统端索引生成模块、索引汇集模块、总索引和索引查询模块；

所述前端索引生成模块生成前端设备数据索引，所述索引发送模块将所述前端设备数据索引发送至私有云系统端，由索引接收模块接收；

所述私有云系统端同时接收离线数据储存设备数据，由数据同步模块将离线数据储存设备数据同步存储于同步数据存储区，并由私有云系统端索引生成模块根据同步数据存储区的数据和私有云系统硬盘数据存储区的数据，生成离线储存及私有云系统硬盘数据索引；

所述索引汇集模块将所述前端设备数据索引和离线储存及私有云系统硬盘数据索引汇集形成总索引；

所述查询显示模块向私有云系统端发送查询指令实现特征信息查询，根据查询索引模块从总索引中获取查询结果；

前端根据查询所得到的索引结果，如果是本地文件则直接打开，如果是备份到私有云系统端的文件则在线进行传输，得到所需文件调用本地资源管理器打开，如果是其它设备的文件，则显示所得到的索引结果信息，并由用户决定是否需要打开该文件，若打开，则：当用户前端设备和文件所在设备均在局域网的时候，通过局域网之间建立连接进行文件传输，获取该文件，否则，通过家庭网关建立VPN连接，进而访问局域网，再进行文件传输获取该文件，之后调用本地资源管理器打开。

与现有技术相比，本发明的有益效果是：在不占用过多带宽的情况下实现了多源数据的快速查找和获取，且有效保护了个人隐私。

附图说明

构成说明书的一部分附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。

图1是示出根据本发明的实施例基于私有云的个人多源数据管理系统的总体结构示意图。

图2是示出根据本发明的实施例基于私有云的个人多源数据管理系统运行的场景示意图。

图3是示出根据本发明的实施例的索引建立流程示意图。

图4是示出根据本发明的实施例的索引的具体结构示意图。

图5是示出根据本发明的实施例的多源个人数据池的结构示意图。

图6是示出根据本发明的实施例的浏览器页面的结构示意图。

图7是示出根据本发明的实施例的个人数据快速访问的结构示意图。

具体实施方式

下面参照附图对本发明的示例性实施例的详细描述，可以更加清晰的理解本发明，本发明的其他特征及其优点将会变的更清楚。

以下对示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的不见和步骤的相对布置、数字表达式和数值不限制本发明的范围。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

如图1所示，本发明一种基于私有云的个人多源数据管理系统，包括前端和私有云系统端(即后端)。前端包括用户界面、查询显示模块、前端索引生成模块和索引发送模块，私有云系统端包括索引接收模块、数据同步模块、同步数据存储区、私有云系统端索引生成模块、索引汇集模块、总索引和索引查询模块。同时离线数据储存设备和其他的系统储存装置也可以和私有云系统端连接。查询显示模块向私有云系统端发送查询指令实现特征信息查询，根据查询索引模块从总索引中获取查询结果。

如图2所示，私有云系统端可以通过多种方式连接不同数据源的设备。常见的前端如移动电子设备、台式计算机等，通过家庭网关直接连接私有云系统端，也可以通过Internet网络连接到私有云系统端。

设备应该提前与私有云系统端通过注册账号的方式进行绑定，从而下次访问时私有云系统端可以访问设备，保证个人信息的安全性。例如，同一局域网中的台式计算机和手机等设备通过局域网连到部署私有云系统的路由器。SD卡、U盘等离线数据储存设备通过插槽可以连接到该系统。在工作场所或出差时，台式计算机和手机可以通过家庭网关建立VPN连接，然后进入局域网连接到该系统。

如图3所示，本发明总索引建立的的流程包括：

前端设备的索引生成模块根据它们存储区数据建立前端设备数据索引文件，索引文件的表现形式如图3所示；

前端设备的索引发送模块根据设置好的接收端地址把前端设备数据索引文件发送到私有云系统端，由私有云系统端的索引接收模块接收；

私有云系统端的数据同步模块把离线数据储存设备中的数据同步到私有云系统硬盘的同步数据存储区；

私有云系统端的索引生成模块根据同步数据存储区的数据和私有云系统硬盘数据存储区的数据，生成离线储存及私有云系统硬盘数据索引，索引文件的表现形式如图3所示；

私有云系统端的索引汇集模块将前端设备数据索引和离线储存及私有云系统硬盘数据索引汇集形成总索引。

例如，对于台式计算机和手机等大容量的存储设备，直接同步数据到私有云系统会非常耗时，且需要私有云系统有足够的存储容量。如果在存储设备端建立索引并同步索引到私有云系统，则可节省网络带宽以及私有云系统的存储。对于通过插槽直接连接到私有云系统的SD卡和U盘等小容量存储设备，则同步数据到私有云系统硬盘并建立索引。

如图4所示，本发明索引文件的具体结构，每个索引文件结构包括文件名、创建及修改时间、存储位置、缩略图、文件大小、文件类型、关键字和存储源等信息。这些信息会保存为一个索引文件，当用户需要查询所需文件时，在前端程序输入的特征信息为关键字、语义、类型中的一种或者多种，然后发送到私有云系统端查询索引，得到匹配结果，以索引文件形式返回给用户。

如图5所示，私有云系统硬盘包括同步数据存储区、保留数据存储区和索引区。同步数据存储区用来存储SD卡、U盘等离线数据储存设备的同步数据，保留数据数据存储区用来存储设备运行的一些系统信息，索引区用来存储总索引文件。

如图6所示，前端程序的软件页面包括：查询框，属性选择框和数据浏览框。在没有查询时，数据浏览框内显示的内容是按照以时间先后的方式显示文件夹和文件。在查询时，根据查询框输入关键字、语义、类型等特征信息，以及属性选择框选中的属性，数据浏览框显示匹配到的文件夹和文件。选中数据后，调用资源管理器打开文件夹或利用本地程序打开文件。

进一步，在索引查找这方面，如果想进一步提高查找效率，可对索引文件进行进一步处理例如对索引文件按源文件格式进行分类存储，方便查找或者用匹配算法来增加查找结果的正确率等。

例如，当用户需要查找所需要文件时，可以根据自己所知道的内容来选择填写属性框中的内容：存储源、时间、类型、大小等，然后再根据自己记忆的关键字等特征信息输入查询框，缩小文件查找范围和所得结果，然后将查询结果显示到前端界面，显示结果为上述类型的索引文件。具体场景：当用户需要查找一个在山东旅游的时候用手机拍摄视频文件时，存储源设为手机，类型可以多选为mp4、avi等视频格式，然后输入山东即可进行查询，然后得到查询结果，进行下一步操作。

如图7所示，个人数据快速访问包括：网络连接模块根据已选中文件和文件夹的存储地址，把存储端映射到用户访问端；用户前端得到搜索结果进行下一步操作包括：若索引文件显示是本地文件，则调用本地资源管理器打开；若为后端备份文件，则通过因特网进行传输，再调用本地资源管理器打开；如果是其它设备的文件，则显示所得到的索引结果信息，并由用户决定是否需要打开该文件，若如有打开，则：当用户前端设备和文件所在设备均在局域网的时候，通过局域网之间建立连接进行文件传输，获取该文件，否则，通过家庭网关建立VPN连接，进而访问局域网，再进行文件传输获取该文件，之后调用本地资源管理器打开。

对于VPN的接入，有以下方法：当设备需要与其他设备建议VPN连接时，首先对家庭网关发送登录请求；之后会生成与该设备匹配的VPN账号和密码；下一步用上述账号和密码执行设备认证，与目标设备进行连接；通过认证后，则建立该设备与目标设备之间的连接，进行所需要的操作。

另外，为了更好的保护用户数据资料，可对访问私有云系统端的账户进行分级。例如，可对某些设备赋予其管理员权限。当该设备访问私有云系统端的时候，首先判断该设备是否拥有管理员权限，若该设备具有管理员权限，则根据用户在前端程序发送的查询或者控制指令，对私有云系统端进行访问或者修改；若该设备不具有管理员权限，则只能进行查询索引，不能对文件和私有云系统端进行操作。在实际操作中，可以根据实际需要对该管理系统设置多级权限。

至此，已经详细描述了本发明，为了避免遮蔽本发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

Claims (10)

1.一种基于私有云的个人多源数据管理方法，其特征在于，包括如下步骤：

前端程序生成前端设备数据索引，然后发送给私有云系统端；

离线数据储存设备数据直接发送给私有云系统端；

在私有云系统端，离线数据储存设备数据生成离线储存数据索引，私有云系统硬盘数据直接生成索引，并将所述前端设备数据索引和离线储存及私有云系统硬盘数据索引汇集形成总索引；

当用户通过前端程序输入特征信息查询时，发送给私有云系统端查询指令，从总索引中检索到匹配的结果，并把索引结果发送给前端显示；

前端根据查询所得到的索引结果，如果是本地文件则直接打开，如果是备份到私有云系统端的文件则在线进行传输，得到所需文件调用本地资源管理器打开，如果是其它设备的文件，则显示所得到的索引结果信息，并由用户决定是否需要打开该文件。

2.根据权利要求1所述基于私有云的个人多源数据管理方法，其特征在于，所述前端设备数为移动电子设备或台式计算机，前端程序为手机APP或Desktop程序，所述离线数据储存设备为SD卡、U盘或移动硬盘，所述前端设备数据索引和离线储存及私有云系统硬盘数据索引均包括存储文件名称、大小、创建及修改时间、文件类型、文件位置、文件源、关键字以及缩略图信息。

3.根据权利要求1或2所述基于私有云的个人多源数据管理方法，其特征在于，所述私有云系统端主要数据为索引文件，仅离线数据存储设备数据需要备份并形成索引，由此极大减少了私有云系统端的消耗。

4.根据权利要求1所述基于私有云的个人多源数据管理方法，其特征在于，所述将前端设备数据索引和离线储存及私有云系统硬盘数据索引汇集形成总索引的具体方法是：

先将不同数据源的索引文件同步到总索引文件，从而保证生成索引和查询索引的异步性；

当某个数据源索引更新或新的数据源生成索引文件时，便同步至总索引文件。

5.根据权利要求1所述基于私有云的个人多源数据管理方法，其特征在于，所述用户需要查询所需文件时，在前端程序输入的特征信息为关键字、语义、类型中的一种或者多种，然后发送到私有云系统端查询索引，得到匹配结果。

6.根据权利要求1所述基于私有云的个人多源数据管理方法，其特征在于，如果查询所得到的索引结果对应的是其它设备的文件，则根据文件所在设备的物理位置，选择直接在相应设备上打开文件，或者，通过数据传输，将文件从相应设备传输至用户前端设备，然后在用户前端设备打开文件。

7.根据权利要求6所述基于私有云的个人多源数据管理方法，其特征在于，其特征在于，所述将文件从相应设备传输至当前设备的方法：当用户前端设备和文件所在设备均在局域网的时候，通过局域网之间建立连接进行文件传输，获取该文件，否则，通过家庭网关建立VPN连接，进而访问局域网，再进行文件传输获取该文件，之后调用本地资源管理器打开。

8.根据权利要求1所述基于私有云的个人多源数据管理方法，其特征在于，当前端设备、离线数据储存设备和私有云系统端在同一个局域网下时，能够进行数据备份、索引生成以及索引查询；当前端设备、离线数据储存设备和私有云系统端不在同一个局域网下时，前端设备通过因特网访问私有云系统端，但需要通过身份认证以及设备认证。

9.根据权利要求1或8所述基于私有云的个人多源数据管理方法，其特征在于，用户前端设备需要身份认证来登录并访问私有云系统端，同时云系统端具有用以保证用户数据安全的防护系统，外部设备之间的文件访问通过VPN来访进行传输，需要设备之间进行身份认证。

10.一种基于私有云的个人多源数据管理系统，包括前端和私有云系统端；所述前端包括查询显示模块、前端索引生成模块和索引发送模块，所述私有云系统端包括索引接收模块、数据同步模块、同步数据存储区、私有云系统端索引生成模块、索引汇集模块、总索引和索引查询模块；

所述前端索引生成模块生成前端设备数据索引，所述索引发送模块将所述前端设备数据索引发送至私有云系统端，由索引接收模块接收；

所述私有云系统端同时接收离线数据储存设备数据，由数据同步模块将离线数据储存设备数据同步存储于同步数据存储区，并由私有云系统端索引生成模块根据同步数据存储区的数据和私有云系统硬盘数据存储区的数据，生成离线储存及私有云系统硬盘数据索引；

所述索引汇集模块将所述前端设备数据索引和离线储存及私有云系统硬盘数据索引汇集形成总索引；

所述查询显示模块向私有云系统端发送查询指令实现特征信息查询，根据查询索引模块从总索引中获取查询结果；

前端根据查询所得到的索引结果，如果是本地文件则直接打开，如果是备份到私有云系统端的文件则在线进行传输，得到所需文件调用本地资源管理器打开，如果是其它设备的文件，则显示所得到的索引结果信息。