CN109375879A - 可编程分布式存储方法及系统 - Google Patents

Abstract

本发明属于存储技术领域，具体涉及一种可编程分布式存储方法及系统。本发明的可编程分布式存储方法包括以下步骤：在存储主节点实现自定义存储接口服务；将存储服务模块由所述存储主节点同步至存储从节点；所述存储主节点以及所述存储从节点对外提供存储服务。本发明的技术方案通过分布式的存储接口编程机制，解耦了厂商存储服务和用户存储应用，实现了高效的分工，不但可以灵活地满足复杂多样化的存储需求，而且也可以降低存储应用的适配成本。

Description

可编程分布式存储方法及系统

技术领域

本发明属于存储技术领域，具体涉及一种可编程分布式存储方法及系统。

背景技术

随着数字网络安防行业的不断发展，安防系统应用于各行各业，各种应用应运而生，生成了海量的数据，如何对这些数据进行存储并有效地进行应用成为了一个重要的研究方向。由于数据应用丰富多样，涉及的数据结构也千变万化，同时对数据进行二次处理也引入了各种各样的算法，包括现在非常火热的人工智能算法等，因此都需要有个安全可靠、灵活方便的存储方案，来处理粒度不同、数据项可增减或者修改的数据，保证数据应用的可靠性和灵活性。

然而现有的存储厂商所提供的存储方案都比较单一，要么只提供一个存储容器，要么只能存储固定类型的数据，例如指定固定格式的音视频格式、指定固定格式的报警数据。存储设备在出厂后，能存什么样格式的数据基本就固定了，如果需要支持新的数据格式则需要厂商通过增加新的服务程序来实现。现有的存储技术虽然解决了存储的稳定可靠性，但无法跟上数据应用的快速发展变化，无法快速满足灵活多样的存储需求，尤其是在智能分析视频结构化数据以及多系统融合的关联数据等业务领域。如果要求存储厂商快速满足多样的需要，所花费的成本又会很高；如果由用户重新构建存储基础设施，投入的成本也很大。因此，需要找出适当的办法，既能满足复杂多样的存储业务场景，同时又能合理地解耦存储厂商和数据用户的开发内容，降低业务适配的成本。

发明内容

本发明的目的之一在于克服以上缺点，提供一种可编程分布式存储方法，既能满足复杂多样的存储业务场景，同时又能合理地解耦存储厂商和用户，降低适配的成本。

为了解决上述技术问题，本发明提供了一种可编程分布式存储方法，包括以下步骤：

在存储主节点实现自定义存储接口服务；

将存储服务模块由所述存储主节点同步至存储从节点；

所述存储主节点以及所述存储从节点对外提供存储服务。

进一步地，所述存储服务模块包括存储基础服务模块，编程开发模块以及存储接口服务模块；所述存储基础服务模块，用于实现存储设备底层通用的存储命令；所述编程开发模块：用于自定义数据格式，调试所编写数据格式的存储接口；所述存储接口服务模块，用于对上层应用提供厂商原始的或自定义的存储接口服务，实现数据的存储和读取操作。

进一步地，所述“在存储主节点实现自定义存储接口服务”，包括以下步骤：

通过编程开发模块定义数据结构并编写调测数据操作接口；

将编写好的数据操作接口存至存储接口服务模块。

本发明的技术方案通过编程开发模块，可由用户自定义所需的存储数据结构以及该数据结构的存储接口，为上层应用层提供调用服务，通过这种方式，可以快速满足不同的业务场景下对不同存储数据结构的需求，同时也无需存储厂商的服务程序进行相应的适配，降低了适配成本。

进一步地，所述“将存储服务模块由所述存储主节点同步至存储从节点”，包括以下步骤：

各存储节点读取配置的角色信息，并判断本存储节点的角色信息；

若配置的角色为存储从节点，则本存储节点负责接收并响应存储主节点的指令；若配置的角色为存储主节点，则本存储节点负责检查本存储节点及管理的所有存储从节点的状态，并判断存储从节点是否需要进行模块更新；

若存储从节点需要进行模块更新，则从存储主节点获取最新版本的存储服务模块至存储从节点。

通过分布式的主从节点的架构，可实现在主节点上进行编程开发接口服务，方便地同步至所有的从节点，提供统一的存储服务。

进一步地，所述“所述存储主节点以及所述存储从节点对外提供存储服务”，具体为：所述存储主节点以及所述存储从节点根据配置设定的角色运行相应的存储服务模块。

相应地，本发明还提供了一种可编程分布式存储系统，其特征在于，包含至少一个存储主节点和至少一个存储从节点，任一所述存储主节点分别与所有存储从节点进行连接，

所述存储主节点，用于管理所有的存储从节点，接收用户的指令并发送操作指令给所述存储从节点；用于实现自定义存储接口服务；用于将存储服务模块由所述存储主节点同步至存储从节点；

所述存储从节点，用于接收并响应存储主节点的指令，与所述存储主节点共同对外提供存储服务。

进一步地，所述存储服务模块包括存储基础服务模块，编程开发模块以及存储接口服务模块；所述存储基础服务模块，用于实现存储设备底层通用的存储命令；所述编程开发模块：用于自定义数据格式，调试所编写数据格式的存储接口；所述存储接口服务模块，用于对上层应用提供厂商原始的或自定义的存储接口服务，实现数据的存储和读取操作。

综上所述，本发明技术方案的有益效果有:

本发明的技术方案通过编程开发模块，自定义所需的存储数据结构以及该数据结构的存储接口，为上层应用层提供调用服务，通过这种方式，可以快速满足不同的业务场景下对不同存储数据结构的需求，同时也无需存储厂商的服务程序进行相应的适配，降低了适配成本；同时，通过分布式的主从节点的架构，可实现在主节点上进行编程开发接口服务，方便地同步至所有的从节点，提供统一的存储服务。

附图说明

图1是本发明的一种可编程分布式存储方法步骤流程图。

图2是本发明的总体架构图。

图3是本发明的一种存储节点组成结构图。

图4是本发明的一种开发存储接口服务模块步骤流程图。

图5是本发明的一种同步存储服务模块步骤流程图。

图6是本发明的一种可编程分布式存储系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1，是本发明的一种可编程分布式存储方法步骤流程图，包括以下步骤：

步骤1、在存储主节点实现自定义存储接口服务；

如图2，是本发明的总体架构图，图中上面框选部分为存储系统，可以看出，本发明的可编程分布式存储架构，由至少一个存储主节点和多个的存储从节点组成，其中存储主节点是整个存储系统的管理节点，它负责管理整个存储系统中的所有节点，向从节点发送存储指令(写入数据或读取数据)，或是将最新版本的服务模块同步给所有的存储从节点，同时存储主节点也是与上层应用服务程序进行交互的统一入口，而存储从节点通常则是负责接收并响应存储主节点发送的命令，与存储主节点共同完成上层应用请求的存储操作。本发明技术方案中，用户可以通过存储主节点上提供的编程开发模块定义自己需要的数据结构和调用接口，上层应用程序则通过调用存储厂商提供或是用户定义的存储接口，将数据源写入存储系统。

另外，还需要说明的是，如图3所示，本发明技术方案中所有的存储节点上都包含有以下三个存储服务模块：

存储基础服务模块：通常是由存储厂商提供的数据存储磁盘的管理接口，实现设备底层通用存储命令的基本部分。

编程开发模块：通过这个模块用户可以自定义所需要的数据格式，调试所编写数据格式的存储接口，并将调试完后的数据存储接口载入存储接口框架，对外提供存储服务。现有的存储设备出厂后，能存什么样的数据结构基本就固定了，如果需要支持新的数据结构就必须存储厂商提供新的服务程序来实现。而本专利实现的技术，可以在不增加新的服务程序的情况下，通过这个可编程的模块实现自定义数据灵活安全可靠地存储。

存储接口服务模块：该模块可以是厂商提供的原始存储接口，也可以是用户自定义实现的存储接口，即用户编程开发模块产生的程序经调试后生成的，对外提供存储API，上层的应用程序都是通过调用存储接口服务模块来实现数据的存储和读取操作。

如图4，是本发明的一种开发存储接口服务模块步骤流程图，在存储主节点开发存储接口服务模块，包括以下步骤：

步骤101、通过编程开发模块定义数据结构并编写调测数据操作接口；

在分布式存储系统的主节点上，其内置的编程开发模块是配置为可提供服务的，通常编程开发模块提供了WEB编程界面，用户可以通过WEB编程界面编写自定义的存储数据结构和存储接口。通常这些接口都包含有预置的程序，用户可以参考预置的程序和数据存储结构来编写自定义的存储接口，这些存储接口及数据结构的定义都是采用精简的C语言描述，编写起来比较简单。同时，用户编完程序后还可以在线调试，验证存储接口的正确性。

步骤102、将编写好的数据操作接口存为存储接口服务模块。

用户自定义的存储接口验证正确后，可以将程序载入到实际的运行环境中存为存储接口服务模块，替代原来默认的接口，后续调用这些接口进行存储的时候就调用自定义的接口进行存储。

步骤2、将存储服务模块由所述存储主节点同步至存储从节点；

如图5，是本发明的一种同步存储服务模块步骤流程图，将存储服务模块由所述存储主节点同步至存储从节点，包括以下步骤：

步骤201、存储节点读取配置的角色信息；

本发明技术方案中，存储主节点和存储从节点的区分都是根据节点配置文件中的角色信息来决定的，若某节点的配置信息中的角色信息配置为主节点，则该节点即为存储主节点，否则为存储从节点。

步骤202、判断存储节点角色信息；每个存储节点启动的时候，都根据本节点的配置信息确认本节点的角色。

步骤203、若当前节点所配置的角色为存储从节点，则该节点就负责等待接收并响应存储主节点的指令；

步骤204、若当前节点所配置的角色为存储主节点，则该节点需要检查存储主节点及管理的存储从节点的情况。通常的存储主节点需要根据配置信息和所有的存储从节点进行通讯连接，验证从节点的在线状态是否正常。

步骤205、存储主节点并判断存储从节点是否需要进行模块更新；通常存储主节点检查其所管理的从节点是否与本节点是相同版本的模块程序，或者是兼容的程序版本，如果不是则会提示用户进行更新操作或发送更新指令给存储从节点。

步骤206、若存储从节点需要进行模块更新，则从存储主节点获取最新版本的存储服务模块至存储从节点。当存储从节点接收到存储主节点发送的更新模块程序指令后，则会从主节点获取最新的存储服务模块代码，更新到本节点。这里所要更新的存储服务模块，包含了存储基础服务模块、编程开发模块以及存储接口服务模块，最终整个存储系统中的所有节点都包含所有最新版本的模块程序。

步骤3、所述存储主节点以及所述存储从节点对外提供存储服务。

存储主节点以及所述存储从节点根据配置设定的角色开启相应的存储服务模块，例如，如果是存储主节点，则启动存储基础服务模块、编程开发模块以及存储接口服务模块三个模块，而如果是存储从节点，则不启动编程开发模块，只启动存储基础服务模块以及存储接口服务模块。

例如，在一具体的实施例中，需要存储一些轻量级的数据结构，例如论坛的评论，它需要与相关视频进行关联，记录评论所处视频播放位置等信息。通过本发明技术方案实现该可编程分布式存储方法步骤为：

步骤1、在存储主节点实现自定义存储接口服务；

步骤101、通过编程开发模块定义数据结构并编写调测数据操作接口；

在分布式存储系统的主节点上，通过其内置的编程开发模块提供的WEB编程界面编写自定义的存储数据结构和存储接口，这里的数据结构的定义，包括评论时间、评论内容、点赞数、视频播放位置等信息，并且实现存储这些数据格式的接口API，例如获取某条数据的评论内容或点赞数。编程完成后通过在线调试，验证存储接口的正确性。

步骤102、用户自定义的存储接口验证正确后，将程序载入到实际的运行环境中存为存储接口服务模块，替代原来默认的接口，后续调用这些接口进行存储的时候就调用自定义的接口进行存储。

步骤2、当存储系统启动的时候，会将存储服务模块由所述存储主节点同步至存储从节点，具体为：

步骤201、各存储节点读取配置的角色信息；

步骤202、各存储节点判断当前节点的角色信息；

步骤203、若当前节点所配置的角色为存储从节点，则该节点就负责等待接收并响应存储主节点的指令；

步骤204、若当前节点所配置的角色为存储主节点，则该节点需要检查存储主节点及管理的存储从节点的连接情况是否正常。

步骤205、若判断出存储从节点需要进行模块更新，则会提示用户进行更新操作或发送更新指令给存储从节点。

步骤206、当存储从节点接收到存储主节点发送的更新模块程序指令后，则会从主节点获取最新的存储基础服务模块、编程开发模块以及存储接口服务模块，更新到本节点。

步骤3、所述存储主节点以及所述存储从节点对外提供存储服务。

存储主节点，启动存储基础服务模块、编程开发模块以及存储接口服务模块三个模块，而存储从节点，则不启动编程开发模块，只启动存储基础服务模块以及存储接口服务模块。用户可以通过上层应用程序对视频的评论接口进行调用查询，也可以保存视频评论数据。

在该实施例场景中，通过编程引擎实现视频评论小数据存储需求的自定义接口后，可以快速满足业务场景对存储数据结构的需求，同时也无需存储厂商的服务程序进行相应的适配，降低了适配成本，用户使用灵活度很高；同时，通过分布式的主从节点的架构，可实现在主节点上进行编程开发接口服务，即可方便地同步至所有的从节点，提供统一的存储服务，极大地提高了开发效率。

如图6，是本发明的一种可编程分布式存储系统结构图,包含了存储主节点和存储从节点。其中，存储主节点至少有一个，或者也可以有多个进行主备容灾，其中存储主节点是整个存储系统的管理节点，它负责管理整个存储系统中的所有节点，同时存储主节点也是与上层应用服务程序或用户指令进行交互的统一入口，它接收用户或应用服务程序发送的指令并向从节点发送存储指令 (写入数据或读取数据)，再将执行结果返回给用户或应用服务程序。另外，存储主节点还负责检查所有的存储从节点上的存储服务模块是否为最新，并将最新版本的服务模块同步给所有的存储从节点。在存储主节点上启动存储基础服务模块、编程开发模块以及存储接口服务模块三个模块，存储基础服务模块是由存储厂商提供的数据存储磁盘的管理接口，实现设备底层通用存储命令的基本部分；编程开发模块，用户可以自定义所需要的数据格式，调试所编写的数据格式的存储接口，并将调试完后的数据存储接口载入存储接口框架，对外提供存储服务；存储接口服务模块：该模块可以是厂商提供的原始存储接口，也可以是用户自定义实现的存储接口，即用户编程开发模块产生的程序经调试后生成的，对外提供存储API，上层的应用程序都是通过调用存储接口服务模块来实现数据的存储和读取操作。

而存储从节点通常则是负责接收并响应存储主节点发送的命令，与存储主节点共同完成上层应用请求的存储操作。通常，存储从节点至少有一个，存储从节点上的模块程序与存储主节点保持一致为最新，但在存储从节点上只启动存储基础服务模块以及存储接口服务模块，并不启动编程开发模块，用户不能在存储从节点上进行存储接口服务的开发。

上述具体实施方式只是对本发明的技术方案进行详细解释，本发明并不只仅仅局限于上述实施例，凡是依据本发明原理的任何改进或替换，均应在本发明的保护范围之内。

Claims (7)

1.一种可编程分布式存储方法，其特征在于，包括以下步骤：

在存储主节点实现自定义存储接口服务；

将存储服务模块由所述存储主节点同步至存储从节点；

所述存储主节点以及所述存储从节点对外提供存储服务。

2.如权利要求1所述的可编程分布式存储方法，其特征在于，所述存储服务模块包括存储基础服务模块，编程开发模块以及存储接口服务模块；所述存储基础服务模块，用于实现存储设备底层通用的存储命令；所述编程开发模块：用于自定义数据格式，调试所编写数据格式的存储接口；所述存储接口服务模块，用于对上层应用提供厂商原始的或自定义的存储接口服务，实现数据的存储和读取操作。

3.如权利要求1所述的可编程分布式存储方法，其特征在于，所述“在存储主节点实现自定义存储接口服务”，包括以下步骤：

通过编程开发模块定义数据结构并编写调测数据操作接口；

将编写好的数据操作接口存至存储接口服务模块。

4.如权利要求1所述的可编程分布式存储方法，其特征在于，所述“将存储服务模块由所述存储主节点同步至存储从节点”，包括以下步骤：

各存储节点读取配置的角色信息，并判断本存储节点的角色信息；

若配置的角色为存储从节点，则本存储节点负责接收并响应存储主节点的指令；若配置的角色为存储主节点，则本存储节点负责检查本存储节点及管理的所有存储从节点的状态，并判断存储从节点是否需要进行模块更新；

若存储从节点需要进行模块更新，则从存储主节点获取最新版本的存储服务模块至存储从节点。

5.如权利要求1所述的可编程分布式存储方法，其特征在于，所述“所述存储主节点以及所述存储从节点对外提供存储服务”，具体为：所述存储主节点以及所述存储从节点根据配置设定的角色运行相应的存储服务模块。

6.一种可编程分布式存储系统，其特征在于，包含至少一个存储主节点和至少一个存储从节点，任一所述存储主节点分别与所有存储从节点进行连接，

所述存储主节点，用于管理所有的存储从节点，接收用户的指令并发送操作指令给所述存储从节点；用于实现自定义存储接口服务；用于将存储服务模块由所述存储主节点同步至存储从节点；

所述存储从节点，用于接收并响应存储主节点的指令，与所述存储主节点共同对外提供存储服务。

7.如权利要求6所述的可编程分布式存储系统，其特征在于，所述存储服务模块包括存储基础服务模块，编程开发模块以及存储接口服务模块；所述存储基础服务模块，用于实现存储设备底层通用的存储命令；所述编程开发模块：用于自定义数据格式，调试所编写数据格式的存储接口；所述存储接口服务模块，用于对上层应用提供厂商原始的或自定义的存储接口服务，实现数据的存储和读取操作。