CN114254150B - 一种基于区块链的分布式视频存储系统及存储方法 - Google Patents

Abstract

本发明公开了一种基于区块链的分布式视频存储系统，包括标识管理组件、公匙基础组件、区块链网络组件、网络组件、路由组件、数据交换组件、数据管理组件、对象管理组件和应用组件。本发明公开了一种基于区块链的分布式视频存储方法，包括系统初始化、文件保存和文件取得。本发明提供一种基于区块链的分布式视频存储系统及存储方法，通过该解决方案能够提升视频类大文件存储交换的效率以及访问并发和速度，同时能够利用更多的非服务器保存数据，能够大幅降低设备购买成本。

Description

一种基于区块链的分布式视频存储系统及存储方法

技术领域

本发明属于数据管理技术领域，特别是涉及一种基于区块链的分布式视频存储系统及存储方法。

背景技术

现有的安防视频存储主要是两种方式一种是存储在NVR或者集中式视频存储服务器上，另外一种是基于对象的存储方式比如CEPH或者OSS等，虽然说也是分布式集群技术，但是存储在集中的服务器集群上。现有方案的缺点是集中存储一旦停电或者其他事故会造成服务停止，另外，视频访问压力大的情况下受到带宽的影响，并发能力差。视频往往比较大，视频共享或者交换时速度慢，并且很难支持高并发。所确定的现有技术存在的缺点：集中式管理数据不安全，容易受到集中损坏；数据交换与共享比较繁琐，很难支持多人并发；需要服务器配置高，机器数量多，成本高，多源数据保存为多份没有统一标识，容易造成数据重复，混乱。

发明内容

为解决上述技术问题，本发明提供一种基于区块链的分布式视频存储系统及存储方法。

一种基于区块链的分布式视频存储系统，包括应用组件、对象管理组件、数据管理组件、数据交换组件、路由组件、网络组件、区块链网络组件、公匙基础组件和标识管理组件；

所述应用组件，负责接收外部系统发送的外部协议请求，解析外部协议请求内容，把外部协议请求转为本系统的动作，发起本系统内部调用指令，并按照外部协议请求的结构规则整合结果内容，返回给外部系统；

所述对象管理组件，联接所述应用组件，用于对由数据块构成的视频文件对象进行管理，通过检查所述视频文件对象的完整性、重复性和有无篡改，以保证所述视频文件对象完整唯一；

所述数据管理组件，与对象管理组件建立交互，联接区块链网络组件，负责所述数据块的构建，所述数据块通过默克尔树以及Graph链接结构记录数据块间的关系，提供关系取得的对外接口；

所述数据交换组件，联接数据管理组件、对象管理组件和应用组件，通过BitTorrent协议完成各个数据结点的数据块获取以及写入发送，用于数据块的交换过程控制；

所述公匙基础组件，联接所述对象管理组件，用于通过区块链实现分布式Key的管理，包含公有Key，私有Key，以及数字签名的创建，Key的申请，创建，更新，销毁操作；

所述标识管理组件，联接所述公匙基础组件、对象管理组件和数据管理组件，用于分布式标识的认证、创建、更新、销毁、查询以及ID的解析；

所述路由组件，联接所述数据管理组件和数据交换组件，通过网络协议取得区块链网络的路由联通信息以及通过利用Gossip协议取得构成网络的各个结点的状态信息，为数据交换以及通讯提供网络路由信息；

所述网络组件，联接路由组件、所述公匙基础组件和标识管理组件，用于网络基本信息的管理，包含IP信息取得以及配置，结点ID生成功能，用于完成网络基本信息的初始化配置，以及网络配置变化的监控功能；

所述区块链网络组件，联接所述数据管理组件和对象管理组件，区块链网络组件采用集团式多中心区块链。

进一步的，一种应用于基于区块链的分布式视频存储系统的存储方法，包括以下步骤：

系统初始化，对区块链网络组件中的结点初始化并生成Key和分配ID；

文件保存，视频文件数据保存并更新区块链数据信息，区块链数据信息以Graph的形式保存，在数据访问时也会更新区块链数据信息，区块链数据信息包含所有物理保存的视频文件的位置信息区块链数据的更新；

文件取得，自动寻找位置最近的结点进行数据下载或者浏览，获取视频文件。

进一步的，所述系统初始化具体包括以下步骤：

所述网络组件依次进行网络初始化和创建Node，所述公钥基础组件生成Key，所述标识管理组件生成ID，所述网络组件依次进行初始化Node、结点签名和分配ID，所述路由组件依次进行路由发现和链接状态记录，所述数据管理组件依次进行数据发现和数据状态记录，所述区块链网络组件进行数据状态存储。

进一步的，所述文件保存具体包括以下步骤：

应用组件收到对象创建请求，对象管理组件进行数据对象创建，公匙基础组件生成Key，标识管理组件生成ID，对象管理组件依次进行对象标识生成和数据对象切分，公匙基础组件生成Key，标识管理组件生成ID，数据管理组件进行数据块构建，数据管理组件依据对象管理组件的数据状态参考和路由组件的链接状态参考进行存储位置计算，数据管理组件进行数据分发，对象管理组件进行数据状态更新，区块链网络组件进行数据状态存储，数据交换组件根据路由组件的链接状态参考进行数据交换并结果返回，应用组件进行结果接收。

进一步的，所述文件取得具体包括以下步骤：

应用组件收到对象获取请求，对象管理组件进行请求对象查找，数据管理组件依次进行数据块查找、访问鉴权和数据块取得，路由组件为访问鉴权提供链接状态参考，数据管理组件进行数据块取得，数据交换组件进行数据交换，对象管理组件依次进行数据整合、数据对象保存和数据状态更新，区块链网络组件进行数据状态存储，对象管理组件进行数据结果返回，应用组件进行结果接收。

本发明具有的优点和积极效果是：本发明提供一种基于区块链的分布式视频存储系统及存储方法，通过该解决方案能够提升视频类大文件存储交换的效率以及访问并发和速度，同时能够利用更多的非服务器保存数据，能够大幅降低设备购买成本。

附图说明

图1是本发明一实施例所提供的基于区块链的分布式视频存储方法的整体架构图；

图2是本发明一实施例所提供的系统初始化的流程图；

图3是本发明一实施例所提供的文件保存的流程图；

图4是本发明一实施例所提供的文件取得的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面将参考附图并结合实施例来详细说明本发明。

本实施例一方面提出一种基于区块链的分布式视频存储系统，如图1至4所示，包括应用组件、对象管理组件、数据管理组件、数据交换组件、路由组件、网络组件、区块链网络组件、公匙基础组件和标识管理组件；

所述应用组件，负责接收外部系统发送的外部协议请求，解析外部协议请求内容，把外部协议请求转为本系统的动作，发起本系统内部调用指令，并按照外部协议请求的结构规则整合结果内容，返回给外部系统；

所述对象管理组件，联接所述应用组件，用于对由数据块构成的视频文件对象进行管理，通过检查所述视频文件对象的完整性、重复性和有无篡改，以保证所述视频文件对象完整唯一；

所述数据管理组件，与对象管理组件建立交互，联接区块链网络组件，负责所述数据块的构建，所述数据块通过默克尔树以及Graph链接结构记录数据块间的关系，提供关系取得的对外接口；

所述数据交换组件，联接数据管理组件、对象管理组件和应用组件，，通过BitTorrent协议完成各个数据结点的数据块获取以及写入发送，用于数据块的交换过程控制；

所述公匙基础组件，联接所述对象管理组件，用于通过区块链实现分布式Key的管理，包含公有Key，私有Key，以及数字签名的创建，Key的申请，创建，更新，销毁操作；

所述标识管理组件，联接所述公匙基础组件、对象管理组件和数据管理组件，用于分布式标识的认证、创建、更新、销毁、查询以及ID的解析；

所述路由组件，联接所述数据管理组件和数据交换组件，通过网络协议取得区块链网络的路由联通信息以及通过利用Gossip协议取得构成网络的各个结点的状态信息，为数据交换以及通讯提供网络路由信息；

所述网络组件，联接路由组件、所述公匙基础组件和标识管理组件，用于网络基本信息的管理，包含IP信息取得以及配置，结点ID生成功能，用于完成网络基本信息的初始化配置，以及网络配置变化的监控功能；

所述区块链网络组件，联接所述数据管理组件和对象管理组件，区块链网络组件采用集团式多中心区块链。

如图2至4所示，本实施例另一方面提出一种应用于前述的基于区块链的分布式视频存储系统的存储方法，包括以下步骤：

系统初始化，对区块链网络组件中的结点初始化并生成Key和分配ID；

文件保存，视频文件数据保存并更新区块链数据信息，区块链数据信息以Graph的形式保存，在数据访问时也会更新区块链数据信息，区块链数据信息包含所有物理保存的视频文件的位置信息区块链数据的更新；

文件取得，自动寻找位置最近的结点进行数据下载或者浏览，获取视频文件。

进一步的，如图2所示，系统初始化具体包括以下步骤：

网络组件依次进行网络初始化和创建Node，所述公钥基础组件生成Key，所述标识管理组件生成ID，所述网络组件依次进行初始化Node、结点签名和分配ID，所述路由组件依次进行路由发现和链接状态记录，所述数据管理组件依次进行数据发现和数据状态记录，所述区块链网络组件进行数据状态存储。

进一步的，如图3所示，文件保存具体包括以下步骤：

应用组件收到对象创建请求，对象管理组件进行数据对象创建，公钥基础组件生成Key，标识管理组件生成ID，对象管理组件依次进行对象标识生成和数据对象切分，公钥基础组件生成Key，标识管理组件生成ID，数据管理组件进行数据块构建，数据管理组件依据对象管理组件的数据状态参考和路由组件的链接状态参考进行存储位置计算，数据管理组件进行数据分发，对象管理组件进行数据状态更新，区块链网络组件进行数据状态存储，数据交换组件根据路由组件的链接状态参考进行数据交换并结果返回，应用组件进行结果接收。

进一步的，如图4所示，文件取得具体包括以下步骤：

应用组件收到对象获取请求，对象管理组件进行请求对象查找，数据管理组件依次进行数据块查找、访问鉴权和数据块取得，路由组件为访问鉴权提供链接状态参考，数据管理组件进行数据块取得，数据交换组件进行数据交换，对象管理组件依次进行数据整合、数据对象保存和数据状态更新，区块链网络组件进行数据状态存储，对象管理组件进行数据结果返回，应用组件进行结果接收。

本实施例的发明要点：利用区块链相关分布式Hash，P2P数据传输，版本管理，以及数据交换BitTorrent以及分布式全局ID，Gossip协议等相关技术，实现基本P2P区块链的分布式存储，数据以及视频可以存储在局域网内任何一台网内节点上，不只是服务器而且能够存储到客户端上。位于区块链网络中的结点在使用视频后会自动加入数据存储结点，作为缓存提供他人使用。结点使用视频后自然会下载到本地，下载到本地磁盘后，会进行区块链数据的更新，区块链上的数据对所有有权限的用户开放，这样位于该结点距离较近的结点浏览该视频段时就会从区块链数据中得到相应信息，进而取得对应的视频片段，这样就更快的供近距离的人员使用。系统利用图Graph保存相关结点信息，在客户端访问数据时会自动寻找位置最近的结点进行数据下载或者浏览，提升了数据传输速度和并发能力。具体表现在首先在数据保存时会更新区块链数据信息（区块信心），区块信息以Graph的形式保存，在数据访问时也会更新区块信息，这样区块信息包含所有物理保存的视频文件的位置信息，利用最短路径计算就能够获得附件有权访问的最近文件片段。观看视频时会利用算法把文件片段组合成正确的视频流进行流播放。安全性为分布式认证以及数据签名的特性，也是区块链技术的特性。区块链技术本身就具有防篡改的数据安全特性。在安全性上采用分布式认证以及数据签名等技术保证数据的绝对安全。

技术优势：基于区块链的分布式存储以及图Graph的最短路径算法的使用能够确保数据的安全性以及分散多副本保存，减少了单点故障影响服务的可能，同时数据传输速度快，并发能力高。图Graph的最短路径算法能够自动寻找位置最近的结点进行数据下载或者浏览。分布式存储技术是利用空间换安全和效率的技术，保存的视频片段在初始上传保存时会根据算法和复制因子在不同的结点上保存多份，在有其他用户浏览后也以本地缓存的方式保存这也是一种副本数据，从而实现多副本保存。基于分布式全局ID以及分布式认证提升系统安全性。并且具有区块链的防篡改，去重等优势。

本发明具有的优点和积极效果是：本发明提供一种基于区块链的分布式视频存储系统及存储方法，通过该解决方案能够提升视频类大文件存储交换的效率以及访问并发和速度，同时能够利用更多的非服务器保存数据，能够大幅降低设备购买成本。

本发明的举例说明如下：

例一、如图2所示，所述系统初始化包括以下步骤：

1、启动网络组件对网络进行初始化操作，读取配置文件中的网络参数, 采用协议，timeout时间，Keepalive等参数；

2、网络组件创建Node对象，参与区块链网络中的各个结点需要相互感知各自的状态和相互间进行点对点的通讯，支持通讯的基本信息都保存在网络结点（Node）对象中，比如：IP地址，端口号，网络协议等等；

3、网络中的每个Node对象都有唯一的Node ID进行标识，本系统中Node ID采用W3C DID（Decentralized Identifiers）规范，在创建DID时需要密钥，公匙基础组件提供密钥的创建，销毁，版本管理等服务；网络组件调用公匙基础组件的创建服务，创建public，private key pairs；

4、标识管理组件利用Public Key进行Hash化创建DID，DID是本结点在区块链网络中的唯一ID，即Node ID；

5、网络组件初始化Node，把Node ID，Node状态，Node IP，时间戳，支持协议，端口等信息写入内存，创建DID文档；

6、网络组件对Node对象利用Public Key进行数字签名，并分配IP地址；一个Node可以有多个IP地址，所以需要检测每个IP加入网络后的连通性；

7、路由组件检测指定的IP地址的联通性，并记录该IP地址的联通状态；

8、数据管理组件通过和网络中其他结点进行通讯，获取网络中的保存的数据信息，每个结点保存的视频流切块信息；

9、数据管理组件更新DID 文档，把数据状态信息（每个结点保存的数据切块）记入DID文档并发布到区块链网络中；

10、区块链网络保存DID文档信息。

例二、如图3所示，所述文件保存包括以下步骤：

1、应用组件通过Http协议发起对象创建请求；

2、对象管理组件响应Http请求发起对象创建流程，每个视频保存对象对应一段时间范围的视频信息，在系统内部该段视频用唯一ID（DID）进行标识，首先调用公匙基础组件的服务生成所需密钥；

3、公匙基础组件生成Public Private Key Pairs；

4、标识管理组件利用Public Key进行Hash化生成唯一的DID；

5、对象管理组件利用生成的DID对该段视频进行标识；

6、对象管理组件接收持续的数据流，根据指定的阈值（通过配置文件配置）对数据流进行切分，切分后的每个视频流切块也需要唯一ID（DID）进行标识；

7、公匙基础组件生成Public Private Key Pairs；

8、标识管理组件利用Public Key进行Hash化生成唯一的DID；

9、数据管理组件利用生成的DID对该段视频切块进行标识，并发起数据块构建流程；

10、数据管理组件参考路由组件提供的链接状态进行存储位置计算（通过最短路径算法把数据保存到距离该节点距离最近且联通的结点上），把数据切块保存到附近联通结点上；

11、把数据切块需要并行发送到经步骤10计算的目标结点上，目标结点接收数据进行数据存储；数据分发模块只负责把计算的目标地址写入各个数据块分发的数据结构中；

12、对象管理组件把每个数据切块的保存目标地址以DID标识的格式进行数据状态信息更新，并把最新数据保存到区块链网络中；

13、数据交换组件负责异步数据交换，负责把实际视频切块传送到各个目标地址进行存储。分别按照步骤11构建的数据结果信息（包含目的地址）把各个视频流切块发送到目的网络结点；

14、数据交换组件把传送结果返回给应用组件。

例三、如图4所示，所述文件取得包括以下步骤：

1、应用组件通过http协议发起对象获取请求，参数为获取对象的DID标识以及请求用户信息；

2、对象管理组件响应Http请求，发起对象查找流程；

3、数据管理组件通过解析参数DID，从区块链网络中取得DID文档信息，DID文档信息中保存有该DID对应的视频切块各自的保存位置；

4、数据管理组件对请求参数中的用户进行鉴权，只有通过鉴权成功的用户才可以读取数据；

5、数据管理组件读取DID文档中保存的信息（视频切块各自的保存位置），发起数据交换请求；

6、数据交换组件响应请求，和各个视频切块保存的目的结点进行通讯，获取视频流切块数据；

7、对象管理组件根据DID文档文档信息中的视频段构成信息把接收到的视频切块进行整合；

8、对象管理组件更新DID文档中的数据访问记录信息，并发布到区块链网络中；

9、对象管理组件把完整视频片段返回给应用组件；

10、应用组件接收请求的视频片段。

以上对本发明的一个实施例进行了详细说明，但内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (5)

1.一种基于区块链的分布式视频存储系统，其特征在于，包括应用组件、对象管理组件、数据管理组件、数据交换组件、公匙基础组件、标识管理组件、路由组件、网络组件和区块链网络组件；

所述应用组件，负责接收外部系统发送的外部协议请求，解析外部协议请求内容，把外部协议请求转为本系统的动作，发起本系统内部调用指令，并按照外部协议请求的结构规则整合结果内容，返回给外部系统；

所述对象管理组件，联接所述应用组件，用于对由数据块构成的视频文件对象进行管理，通过检查所述视频文件对象的完整性、重复性和有无篡改，以保证所述视频文件对象完整唯一；

所述数据管理组件，与对象管理组件建立交互，联接区块链网络组件，负责所述数据块的构建，所述数据块通过默克尔树以及Graph链接结构记录数据块间的关系，提供关系取得的对外接口；

所述数据交换组件，联接数据管理组件、对象管理组件和应用组件，通过BitTorrent协议完成各个数据结点的数据块获取以及写入发送，用于数据块的交换过程控制；数据管理组件参考路由组件提供的链接状态进行存储位置计算，通过最短路径算法把数据保存到距离该节点距离最近且联通的结点上，把数据切块保存到附近联通结点上；

所述公匙基础组件，联接所述对象管理组件，用于通过区块链实现分布式Key的管理，包含公有Key，私有Key，以及数字签名的创建，Key的申请，创建，更新，销毁操作；

所述标识管理组件，联接所述公匙基础组件、对象管理组件和数据管理组件，用于分布式标识的认证、创建、更新、销毁、查询以及ID的解析；

所述路由组件，联接所述数据管理组件和数据交换组件，通过网络协议取得区块链网络的路由联通信息以及通过利用Gossip协议取得构成网络的各个结点的状态信息，为数据交换以及通讯提供网络路由信息；

所述网络组件，联接所述路由组件、公匙基础组件和标识管理组件，用于网络基本信息的管理，包含IP信息取得以及配置，结点ID生成功能，用于完成网络基本信息的初始化配置，以及网络配置变化的监控功能；

所述区块链网络组件，联接所述数据管理组件和对象管理组件，区块链网络组件采用集团式多中心区块链。

2.一种应用于如权利要求1所述的基于区块链的分布式视频存储系统的存储方法，其特征在于，包括以下步骤：

系统初始化，对区块链网络中的结点初始化并生成Key和分配ID；

文件保存，视频文件数据保存并更新区块链数据信息，区块链数据信息以Graph的形式保存，在数据访问时也会更新区块链数据信息，区块链数据信息包含所有物理保存的视频文件的位置信息区块链数据的更新；

文件取得，自动寻找位置最近的结点进行数据下载或者浏览，获取视频文件。

3.根据权利要求2所述的应用于基于区块链的分布式视频存储系统的存储方法，其特征在于，所述系统初始化具体包括以下步骤：

所述网络组件依次进行网络初始化和创建Node，所述公匙基础组件生成Key，所述标识管理组件生成ID，所述网络组件依次进行初始化Node、结点签名和分配ID，所述路由组件依次进行路由发现和链接状态记录，所述数据管理组件依次进行数据发现和数据状态记录，所述区块链网络组件进行数据状态存储。

4.根据权利要求3所述的应用于基于区块链的分布式视频存储系统的存储方法，其特征在于，所述文件保存具体包括以下步骤：

应用组件收到对象创建请求，对象管理组件进行数据对象创建，公匙基础组件生成Key，标识管理组件生成ID，对象管理组件依次进行对象标识生成和数据对象切分，公匙基础组件生成Key，标识管理组件生成ID，数据管理组件进行数据块构建，数据管理组件依据对象管理组件的数据状态参考和路由组件的链接状态参考进行存储位置计算，数据管理组件进行数据分发，对象管理组件进行数据状态更新，区块链网络组件进行数据状态存储，数据交换组件根据路由组件的链接状态参考进行数据交换并结果返回，应用组件进行结果接收。

5.根据权利要求4所述的应用于基于区块链的分布式视频存储系统的存储方法，其特征在于，所述文件取得具体包括以下步骤：

应用组件收到对象获取请求，对象管理组件进行请求对象查找，数据管理组件依次进行数据块查找、访问鉴权和数据块取得，路由组件为访问鉴权提供链接状态参考，数据管理组件进行数据块取得，数据交换组件进行数据交换，对象管理组件依次进行数据整合、数据对象保存和数据状态更新，区块链网络组件进行数据状态存储，对象管理组件进行数据结果返回，应用组件进行结果接收。

Images