CN110351532A - 视频大数据云平台云存储服务方法 - Google Patents

Abstract

本发明公开了一种视频大数据云平台云存储服务方法，应用于包括云存储调度服务OSS Scheduler、云存储服务OSS、VP插件和读写SDK的云存储服务，其中，云存储调度服务OSS Scheduler，用于存储服务业务入口，给OSS分发任务；云存储服务OSS，用于包括存储、点播、下载、上传、备份业务的策略处理，调用VP实现读写功能；VP插件，为抽象了读写SDK的接口，封装有包括AGSFS、X10000、AVI的SDK；读写SDK，用于文件读写的最终实现，包括libAGSFS、libX10000、AVI三个部分。

Description

视频大数据云平台云存储服务方法

技术领域

本发明属于视频监控技术领域，具体涉及一种视频大数据云平台云存储服务方法。

背景技术

随着社会对安全需求的提高，视频监控是各行业重点部门或重要场所进行实时监控的物理基础，管理部门可通过它获得有效数据、图像或声音信息，对突发性异常事件的过程进行及时的监视和记忆，用以提供高效、及时地指挥和高度、布置警力、处理案件等。

在视频监控业务过程中，对存储具有很大的需求，因此提供一种功能好，高效的云存储服务方法实有必要。

发明内容

鉴于以上存在的技术问题，本发明用于提供一种视频大数据云平台云存储服务方法。

为解决上述技术问题，本发明采用如下的技术方案：

一种视频大数据云平台云存储服务方法，应用于包括云存储调度服务OSSScheduler、云存储服务OSS、VP插件和读写SDK的云存储服务，其中，

云存储调度服务OSS Scheduler，用于存储服务业务入口，给OSS分发任务；

云存储服务OSS，用于包括存储、点播、下载、上传、备份业务的策略处理，调用VP实现读写功能；

VP插件，为抽象了读写SDK的接口，封装有包括AGSFS、X10000、AVI的SDK；

读写SDK，用于文件读写的最终实现，包括libAGSFS、libX10000、AVI三个部分。

优选地，进一步的，云存储调度服务OSS Scheduler是云存储服务的核心，负责与客户端及其他需要存储的服务进行交互，为它们提供包括实时数据存储、历史数据查询回放、文件上传下载的服务，并将系统中分布式部署的云存储服务进行统一的管理调度，处理用户设置的存储计划，将其分解为单个的存储任务，按照调度策略发送给云存储服务执行，如果有一个云存储服务出现异常，将其承担的存储任务动态调度给其他云存储服务；当用户需要查询历史数据，根据其查询条件，通过存储数据库服务查询数据库，将结果返回给用户。

优选地，进一步的，云存储服务中包括OSS负载，用于执行包括计划录像存储、手动录像存储、点播、抓拍任务，OSS_Scheduler用于以计划录像存储的IPC路数作为负载均衡的判定依据，对下发的存储任务进行解析，最终使得所有OSS执行的负载相同。

优选地，进一步的，云存储服务包括OSS扩容，当所有OSS的性能超出某阈值时，向kubernetes申请再拉一个OSS服务，具体的，OSS_Scheduler继承了HTTP_Task，上线时获取kubernetes的IP、ADDR、URL，及相关OSS的存储节点信息；当OSS的性能超出某阈值，选取使用最少的存储节点及其他参数构建HTTP报文，然后发给kubernetes申请新OSS服务。

优选地，云存储服务包括OSS_Object管理，创建OSS_Cloud单例，并通过OSS_Cloud单例的接口实现对包括创建、关闭的OSS_Object的管理。

优选地，OSS_Object管理进一步包括满覆盖功能，具体过程如下：

启动默认关闭，上线后向scheduler发送上线通知，然后scheduler会响应是否启动满覆盖检查功能，满覆盖功能策略：

定时检查是否有文件缓存期到期；

定时更新对应存储节点的磁盘使用情况；

定时检测当磁盘使用率超过80％，则删除较早文件直到75％以下结束。

优选地，OSS_Object管理进一步包括备份功能，当用户配置了备份存储并开启，则OSS会调用VP执行备份功能，备份策略如下：

采用拷贝方式；

在文件创建时，记录文件信息；

定时检测文件是否可以备份，可以则备份并移除文件信息；

当备份节点磁盘使用率超过95％，则暂停备份功能，并发告警通知；

当备份节点磁盘使用率低于80％，则开启备份功能。

优选地，VP插件采用VP_Mgmt实现日志管理、线程管理功能，文件对象的读写功能实现过程如下：

对象入口VP_Object，文件写存储功能和文件读功能的入口

文件备份VP_Object_Backup，由于备份实现方式和具体的SDK有关系，放在VP实现；

点播业务VP_Object_Reader，封装了SDK的读接口，提供基本的读功能接口，VP_Object_Reader_VOD点播业务处理，分解VOD任务，获取VOD参数，调用VP_Object_Reader实现点播功能；

存储业务VP_Object_Writer，封装了SDK的写接口，提供基本的写功能接口，VP_Object_Writer_Storage存储业务处理，分解Storage任务，获取Storage参数，调用VP_Object_Writer实现存储功能。

优选地，云存储中录像查询、回放实现过程如下：

用户选择通道，按照录像类型和日期向用户接入服务UAS发起录像查询请求；

UAS向OSS_Scheduler服务发起查询录像请求，OSS_Scheduler查询数据库返回录像查询结果；

用户根据返回结果，如果有录像，点击播放录像，向UAS发起录像播放请求；

UAS向Stdu_Scheduler请求建立录像播放通道信息，Stdu_Scheduler根据负载情况调度STDU，STDU分配tocken对和连接信息并返回给Stdu_Scheduler；

Stdu_Scheduler将tocken和连接信息返回给UAS和OSS_Scheduler，UAS返回连接信息和tocken信息给客户端，OSS_Scheduler调度OSS服务根据tocken信息向STDU发送录像视频码流；

客户端根据tocken信息和连接信息和STDU建立连接通道，STDU通过建立的连接通道向客户端传输录像视频码流。

采用本发明具有如下的有益效果：OSS Scheduler需要管理的元信息很少，会全部存储在数据库；另外OSS Scheduler上的元信息都是由OSS汇报的信息生成，本身没有自己的任何数据，这样使得OSS Scheduler非常容易扩展，直接增加Scheduler机器即可扩展为Scheduler Cluster来服务，Cluster里每个Scheduler之间是完全对等的。

附图说明

图1为本发明实施例的视频大数据云平台云存储服务方法中录像查询、回放的步骤流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种视频大数据云平台云存储服务方法，应用于包括云存储调度服务OSS Scheduler、云存储服务OSS、VP插件和读写SDK的云存储服务，其中，云存储调度服务OSS Scheduler，用于存储服务业务入口，给OSS分发任务；云存储服务OSS，用于包括存储、点播、下载、上传、备份业务的策略处理，调用VP实现读写功能；VP插件，为抽象了读写SDK的接口，封装有包括AGSFS、X10000、AVI的SDK；读写SDK，用于文件读写的最终实现，包括libAGSFS、libX10000、AVI三个部分。

具体应用实例中，云存储调度服务OSS Scheduler是云存储服务的核心，负责与客户端及其他需要存储的服务进行交互，为它们提供包括实时数据存储、历史数据查询回放、文件上传下载的服务，并将系统中分布式部署的云存储服务进行统一的管理调度，处理用户设置的存储计划，将其分解为单个的存储任务，按照调度策略发送给云存储服务执行，如果有一个云存储服务出现异常，将其承担的存储任务动态调度给其他云存储服务；当用户需要查询历史数据，根据其查询条件，通过存储数据库服务查询数据库，将结果返回给用户。

具体应用实例中，进一步的，云存储服务中包括OSS负载，用于执行包括计划录像存储、手动录像存储、点播、抓拍任务，OSS_Scheduler用于以计划录像存储的IPC路数作为负载均衡的判定依据，对下发的存储任务进行解析，最终使得所有OSS执行的负载相同。

具体应用实例中，进一步的，云存储服务包括OSS扩容，当所有OSS的性能超出某阈值时，向kubernetes申请再拉一个OSS服务，具体的，OSS_Scheduler继承了HTTP_Task，上线时获取kubernetes的IP、ADDR、URL，及相关OSS的存储节点信息；当OSS的性能超出某阈值，选取使用最少的存储节点及其他参数构建HTTP报文，然后发给kubernetes申请新OSS服务。其中kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用。

具体应用实例中，云存储服务包括OSS_Object管理，创建OSS_Cloud单例，并通过OSS_Cloud单例的接口实现对包括创建、关闭的OSS_Object的管理。

其中，OSS_Object管理进一步包括满覆盖功能，具体过程如下：

启动默认关闭，上线后向scheduler发送上线通知，然后scheduler会响应是否启动满覆盖检查功能，满覆盖功能策略：

定时检查是否有文件缓存期到期；

定时更新对应存储节点的磁盘使用情况；

定时检测当磁盘使用率超过80％，则删除较早文件直到75％以下结束。

进一步的，OSS_Object管理包括备份功能，当用户配置了备份存储并开启，则OSS会调用VP执行备份功能，备份策略如下：

采用拷贝方式；

在文件创建时，记录文件信息；

定时检测文件是否可以备份，可以则备份并移除文件信息；

当备份节点磁盘使用率超过95％，则暂停备份功能，并发告警通知；

当备份节点磁盘使用率低于80％，则开启备份功能。

具体应用实例中，VP插件采用VP_Mgmt实现日志管理、线程管理功能，文件对象的读写功能实现过程如下：

对象入口VP_Object，文件写存储功能和文件读功能的入口；

文件备份VP_Obiect_Backup，由于备份实现方式和具体的SDK有关系，放在VP实现；

点播业务VP_Object_Reader，封装了SDK的读接口，提供基本的读功能接口，VP_Object_Reader_VOD点播业务处理，分解VOD任务，获取VOD参数，调用VP_Object_Reader实现点播功能；

存储业务VP_Object_Writer，封装了SDK的写接口，提供基本的写功能接口，VP_Object_Writer_Storage存储业务处理，分解Storage任务，获取Storage参数，调用VP_Object_Writer实现存储功能。

参见图1，根据上述过程实现的云存储服务，云存储中录像查询、回放实现过程如下：

用户选择通道，按照录像类型和日期向用户接入服务UAS发起录像查询请求；

UAS向OSS_Scheduler服务发起查询录像请求，OSS_Scheduler查询数据库返回录像查询结果；

用户根据返回结果，如果有录像，点击播放录像，向UAS发起录像播放请求；

UAS向Stdu_Scheduler请求建立录像播放通道信息，Stdu_Scheduler根据负载情况调度STDU，STDU分配tocken对和连接信息并返回给Stdu_Scheduler；

Stdu_Scheduler将tocken和连接信息返回给UAS和OSS_Scheduler，UAS返回连接信息和tocken信息给客户端，OSS_Scheduler调度OSS服务根据tocken信息向STDU发送录像视频码流；

客户端根据tocken信息和连接信息和STDU建立连接通道，STDU通过建立的连接通道向客户端传输录像视频码流。

通过本发明实施例实现云存储服务为对象存储服务(Object Storage Service，简称OSS)，集中式调度，分布式存储；调度中心负责维护所有存储节点，存储节点负责把流写到存储介质中(这里的介质包括磁盘，ISCAN，云存等)；客户端查询、请求录像、下载等操作都需要经过调度中心，由它把命令转发给存储节点处理；基于小文件方式存储，具体有OSS负责写，可以基于插件的方式扩展OSS存储介质；文件为自定义格式，如果需要通用文件方式(MP4)，则需要转码SDK转成通用格式；每个存储记录都带有云存储服务的ID，这样在搜索文件时，能得知发给哪个云存储服务；OSS Scheduler需要管理的元信息很少，会全部存储在数据库；另外OSS Scheduler上的元信息都是由OSS汇报的信息生成，本身没有自己的任何数据，这样使得OSS Scheduler非常容易扩展，直接增加Scheduler机器即可扩展为Scheduler Cluster来服务，Cluster里每个Scheduler之间是完全对等的。

应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (9)

1.一种视频大数据云平台云存储服务方法，其特征在于，应用于包括云存储调度服务OSS Scheduler、云存储服务OSS、VP插件和读写SDK的云存储服务，其中，

云存储调度服务OSS Scheduler，用于存储服务业务入口，给OSS分发任务；

云存储服务OSS，用于包括存储、点播、下载、上传、备份业务的策略处理，调用VP实现读写功能；

VP插件，为抽象了读写SDK的接口，封装有包括AGSFS、X10000、AVI的SDK；

读写SDK，用于文件读写的最终实现，包括libAGSFS、libX10000、AVI三个部分。

2.如权利要求1所述的视频大数据云平台云存储服务方法，其特征在于，进一步的，云存储调度服务OSS Scheduler是云存储服务的核心，负责与客户端及其他需要存储的服务进行交互，为它们提供包括实时数据存储、历史数据查询回放、文件上传下载的服务，并将系统中分布式部署的云存储服务进行统一的管理调度，处理用户设置的存储计划，将其分解为单个的存储任务，按照调度策略发送给云存储服务执行，如果有一个云存储服务出现异常，将其承担的存储任务动态调度给其他云存储服务；当用户需要查询历史数据，根据其查询条件，通过存储数据库服务查询数据库，将结果返回给用户。

3.如权利要求1所述的视频大数据云平台云存储服务方法，其特征在于，进一步的，云存储服务中包括OSS负载，用于执行包括计划录像存储、手动录像存储、点播、抓拍任务，OSS_Scheduler用于以计划录像存储的IPC路数作为负载均衡的判定依据，对下发的存储任务进行解析，最终使得所有OSS执行的负载相同。

4.如权利要求1所述的视频大数据云平台云存储服务方法，其特征在于，进一步的，云存储服务包括OSS扩容，当所有OSS的性能超出某阈值时，向kubernetes申请再拉一个OSS服务，具体的，OSS_Scheduler继承了HTTP_Task，上线时获取kubernetes的IP、ADDR、URL，及相关OSS的存储节点信息；当OSS的性能超出某阈值，选取使用最少的存储节点及其他参数构建HTTP报文，然后发给kubernetes申请新OSS服务。

5.如权利要求1所述的视频大数据云平台云存储服务方法，其特征在于，云存储服务包括OSS_Object管理，创建OSS_Cloud单例，并通过OSS_Cloud单例的接口实现对包括创建、关闭的OSS_Object的管理。

6.如权利要求5所述的视频大数据云平台云存储服务方法，其特征在于，OSS_Obiect管理进一步包括满覆盖功能，具体过程如下：

启动默认关闭，上线后向scheduler发送上线通知，然后scheduler会响应是否启动满覆盖检查功能，满覆盖功能策略：

定时检查是否有文件缓存期到期；

定时更新对应存储节点的磁盘使用情况；

定时检测当磁盘使用率超过80％，则删除较早文件直到75％以下结束。

7.如权利要求5所述的视频大数据云平台云存储服务方法，其特征在于，OSS_Object管理进一步包括备份功能，当用户配置了备份存储并开启，则OSS会调用VP执行备份功能，备份策略如下：

采用拷贝方式；

在文件创建时，记录文件信息；

定时检测文件是否可以备份，可以则备份并移除文件信息；

当备份节点磁盘使用率超过95％，则暂停备份功能，并发告警通知；

当备份节点磁盘使用率低于80％，则开启备份功能。

8.如权利要求5所述的视频大数据云平台云存储服务方法，其特征在于，VP插件采用VP_Mgmt实现日志管理、线程管理功能，文件对象的读写功能实现过程如下：

对象入口VP_Object，文件写存储功能和文件读功能的入口

文件备份VP_Object_Backup，由于备份实现方式和具体的SDK有关系，放在VP实现；

点播业务VP_Object_Reader，封装了SDK的读接口，提供基本的读功能接口，VP_Object_Reader_VOD点播业务处理，分解VOD任务，获取VOD参数，调用VP_Object_Reader实现点播功能；

存储业务VP_Object_Writer，封装了SDK的写接口，提供基本的写功能接口，VP_Object_Writer_Storage存储业务处理，分解Storage任务，获取Storage参数，调用VP_Object_Writer实现存储功能。

9.如权利要求1所述的视频大数据云平台云存储服务方法，其特征在于，云存储中录像查询、回放实现过程如下：

用户选择通道，按照录像类型和日期向用户接入服务UAS发起录像查询请求；

UAS向OSS_Scheduler服务发起查询录像请求，OSS_Scheduler查询数据库返回录像查询结果；

用户根据返回结果，如果有录像，点击播放录像，向UAS发起录像播放请求；

UAS向Stdu_Scheduler请求建立录像播放通道信息，Stdu_Scheduler根据负载情况调度STDU，STDU分配tocken对和连接信息并返回给Stdu_Scheduler；

Stdu_Scheduler将tocken和连接信息返回给UAS和OSS_Scheduler，UAS返回连接信息和tocken信息给客户端，OSS_Scheduler调度OSS服务根据tocken信息向STDU发送录像视频码流；

客户端根据tocken信息和连接信息和STDU建立连接通道，STDU通过建立的连接通道向客户端传输录像视频码流。