CN104767964B - 视频存储控制和优化的方法及其装置、视频监控系统 - Google Patents

Abstract

本发明提供一种视频存储控制和优化的方法及其装置、视频监控系统。视频存储控制和优化的装置具有：组合策略执行控制单元，从前端服务器或分析服务器接收对应视频通道的存储组合策略；视频流接收单元，从前端服务器或分析服务器接收视频流；视频处理单元，根据上述存储组合策略对接收到的视频流进行处理；以及视频复用单元，将经过上述视频处理单元处理后的视频流进行整理组合，生成用于最终存储的整体视频片段，并按照上述存储组合策略将该生成的整体视频片段发送给不同级别的视频库以便进行存储。

Description

视频存储控制和优化的方法及其装置、视频监控系统

技术领域

本发明涉及一种视频存储控制和优化的方法及其装置、视频监控系统，尤其涉及视频监控系统中的视频优化存储的方法和装置。

背景技术

视频监控系统在社会安防方面得到了广泛的应用。在各个城市，每年均有数十万摄像头被部署。一般视频监控的主管部门均需要将视频监控系统所取得的视频内容存储一定的时间(如三个月到两年)，这些视频内容的存储会给视频监控系统的运营者带来很大的负担。针对目前视频内容的数据量巨大的情况，一部分视频监控系统采用集中化存储，这会需要很大的网络和中心存储的投资；一部分系统采用完全分布化存储，利用前端的DVR等设备，将相关的摄像头的内容进行本地存储，这会带来很大的业务开销，同时网络投资也会非常大。与此同时，虽然视频监控系统的迅速发展，摄像头的数目激增，而且摄像头的质量(像素数等)也逐步提升，这些都会带来视频存储内容的暴增。因此，迫切需要有新的方法和设备来提高视频存储的运营效率，降低运营成本，同时平衡存储、网络、运营等多方面的要求。

另一方面，在如今的视频监控系统中，实时或离线的智能分析功能已经开始被使用起来，在提升监控效率，有效监控关键人物或事件，以及在高速视频检索方面都得到了一些应用。这些分析的结果可以与视频存储的控制有效地结合起来，达到最优的配置和调度。

但是在视频库的实践中，仍然存在一些效率和成本的问题。视频库中往往存储监控系统中留存的压缩过的视频内容。这些视频存储内容往往要求留存3个月到两年时间，需要大量的存储资源来维护。例如，一个中等城市全年的视频存储量需要3500万小时，如果按照2Mbps的码率来计算的话，也有近70TB的存储需求。随着摄像头数目的增加和摄像头的升级换代，这个存储需求仍然非常大。同时，压缩域视频往往是按照时间序列连续存储，由于压缩的原因，从中提取一些片段或者找寻一些片段都要耗费很多资源，且需要等待比较久的时间。同时，这些视频的转移和调度都需要很多计算和网络资源。

之前的一些工作已经涉及到这方面的内容。

美国专利US 2013/0050522 A1中提出了检测关键事件(如人的身体、行为等)并存储中间结果，该专利中还提到如何有效提供这些关键事件。但是，在这项专利中，如何基于事件监测进行视频存储的调度并没有提及。

美国专利US 2012/0208064 A1中提到了基于视频内容的重要程度(成为内容重要度评分)来进行视频存储内容的处理(如保留、消除、降低质量)，同时支持视频内容的处理复用。视频内容的重要程度基于视频监控系统的报警。但是在这篇专利中，视频内容的重要度无法进行细粒度的区分，也无法进行分层次的处理。

美国专利US 8479242B1中提到将用户上传的视频内容进行处理，用户的需求可以作为视频转码和切分的参考。但是每个视频切片的大小均为固定的，而且只有转码作为降低视频容量的唯一方法。

以上这些方法，从各个层面开始解决视频库中的内容的优化存储和调度的问题，但是没有有效解决现有监控系统中面临的存储瓶颈。

专利文献

专利文献1美国专利US 2012/0208064 A1

专利文献2美国专利US 8479242B1

发明内容

为解决上述技术课题，在本发明中，提出了一种基于智能视频分析的分层视频存储控制和优化的方法。在这种方法中，不同层次的设备被赋予不同量级的视频分析能力并配以不同的视频存储处理的策略。在实际运营的过程中，分层的方式可以在保证处理性能的基础上，有效降低视频分析所耗费的资源。同时，根据策略，不同性质的视频在切分和处理后被存储在不同级别的视频库中，有效地平衡了视频存储、网络和计算等资源的消耗。最后，各种不同的视频处理方法被应用在本发明中，进一步有效降低视频库的冗余度，提高效率。

本发明的视频存储控制和优化的装置，具有：组合策略执行控制单元，从前端服务器或分析服务器接收对应视频通道的存储组合策略；视频流接收单元，从前端服务器或分析服务器接收视频流；视频处理单元，根据上述存储组合策略对接收到的视频流进行处理；以及视频复用单元，将经过上述视频处理单元处理后的视频流进行整理组合，生成用于最终存储的整体视频片段，并按照上述存储组合策略将该生成的整体视频片段发送给不同级别的视频库以便进行存储。

本发明还提供一种视频监控系统，其特征在于，具有：多个摄像头，用来获取视频流；监控中心，至少包括视频分析服务器、应用服务器和检索服务器中的某一个，经由网络与多个摄像头相连；权利要求1所述的视频存储控制和优化的装置，经由网络与监控中心相连；以及视频库，根据上述视频存储控制和优化的装置的优化结果，对生成的整体视频片段进行存储。

优选的是，本发明的视频监控系统还包括多个前端服务器，对从多个摄像头获取的视频流进行预处理以及汇集和管理。

优选的是，所述视频库采用分级部署或集中部署。

本发明还提供一种视频存储控制和优化的方法，其特征在于，包括以下步骤：组合策略接收步骤，从前端服务器或分析服务器接收对应视频通道的存储组合策略；视频流接收步骤，从前端服务器或分析服务器接收视频流；视频处理步骤，根据上述存储组合策略对接收到的视频流进行处理和整理组合，生成用于最终存储的整体视频片段；以及视频存储步骤，按照上述存储组合策略，将经过处理和整理组合后的上述整体视频片段分别存储于不同级别的视频库。

附图说明

图1现有视频监控系统(类型1)；

图2现有视频监控系统(类型2)；

图3本发明中的视频监控系统架构(类型1)；

图4本发明中的视频监控系统架构(类型2)；

图5本发明中前端服务器的内部主要结构；

图6本发明中分析服务器的内部主要结构；

图7本发明中应用服务器的内部主要结构；

图8本发明中视频组合器的内部主要结构；

图9本发明中前端服务器的内部主要流程；

图10本发明中视频分析服务器的内部主要流程；

图11发明中视频组合器的内部主要流程；

图12本发明的主要系统流程；

图13本发明所述内容的典型应用场景。

具体实施方式

以下，参照附图具体说明本发明的实施方式。

图1描述了现有视频监控系统的一种类型。在当前的一种智能监控系统的系统架构中，在系统前端至少会包括多个监控摄像头1和多个前端服务器2。其中每个前端服务器2会同时支持多个监控摄像头1。根据所支持的智能视频分析的功能的不同，每个前端服务器2所支持的监控摄像头1的数目有所不同。前端服务器2通过专用网络或者互联网3与监控中心4进行交互。在监控中心4管理着整个系统，在其后端会有存储中心5，这里存储着所有的监控视频。监控终端7可以在监控中心4处进行监控工作或者通过网络3远程登录到监控中心4进行监控工作。

图2描述了现有视频监控系统的另一种类型。在当前的另一种智能监控系统的系统架构中，在系统前端至少会包括多个监控摄像头1，将多路视频通过专用网络或者互联网3传送到监控中心4。在监控中心4会选择是否进行智能视频分析。在其后端同样会有存储中心5，这里存储着所有的监控视频。监控终端7可以在监控中心4处进行监控工作或者通过网络3远程登录到监控中心4进行监控工作。与图1所示的系统架构不同的是，这种架构并不包括前端服务器2。这种方式虽然可以节省很多前端服务器，但是监控中心4如果要进行智能视频分析和搜索的话，所需要耗费的资源和搜索延迟会比图1所示的系统架构更大。

图3描述了针对图1的视频监控系统，应用本发明所述的方法和设备的网络架构。在图3中，存储节点5分级部署。前端服务器9集群和视频分析服务器10集群下面分别部署有不同级别的存储节点5。原有的监控中心4至少但不限于包括视频分析服务器10，应用服务器11和检索服务器13。存储节点5的存储规则和相关处理由视频组合器12来完成。

图4描述了针对图2的视频监控系统，应用本发明所述的方法和设备的网络架构。在图4中，存储节点5集中部署。没有前端的分析或者存储设备。视频分析服务器10集群下面部署有存储节点5。原有的监控中心4至少但不限于包括视频分析服务器10，应用服务器11和检索服务器13。存储节点5的存储规则和相关处理由视频组合器12来完成。

图5为本发明中所述的前端服务器9的内部主要模块。该服务器内部至少需要包括摄像头等前端设备接口模块501，主要用于前端视频流的接入。视频预分析模块502，负责根据存储和调度要求，进行简单的视频预分析处理。内容投递模块503，负责根据存储处理策略将合适的视频片段分发给对应的视频组合器12。与分析服务器集群的接口模块504，至少负责从分析服务器集群10接收本地存储的处理策略和相应视频内容的转发策略，以及将相关的视频片段转发给分析服务器集群10。

图6是本发明中分析服务器10内部主要模块结构。该服务器至少包括前端服务器接口模块601，负责将存储处理策略转发给对应前端服务器9，以及从前端服务器9接收转发的视频片段。视频分析模块602负责进行所预先配置的视频分析功能(如分析人脸、动作、行为等等)。视频库控制器603负责执行相关的视频存储处理策略，并将对应的视频转发给相关的视频组合器12。应用服务器接口模块604接收来自其他应用类服务器(如应用服务器11，检索服务器13等)发来的视频的使用情况和应用配置信息，并将这些参考信息发送给视频库处理参考策略库605。与此同时，它还可以负责将对应的视频或者图片按照要求转发给相应的应用类服务器。视频库处理参考策略库605负责存储当前系统中接入的各类视频的存储处理策略。

图7是本发明中应用服务器11的内部主要模块结构。该服务器至少包括与分析服务器的接口701，用以转发各种内容使用情况参考给分析服务器11以及有选择地接收一些视频内容。视频内容使用情况监控702负责监控所服务的应用对于系统中各路视频调用的情况。应用配置模块703负责存储所服务的应用对于系统中视频内容的调用需求。为了完成本发明中所述的方法，系统中所有其他应用类服务器(如检索服务器13)至少包括这三个模块。

图8是本发明中视频组合器12的内部主要模块结构。其中至少包括组合策略执行控制模块801，用以存储接收来自其他设备的视频存储处理策略，并控制设备内其他处理模块。视频片段接收模块802用以从其他设备接收用以存在对应视频库5中的视频片段。视频处理模块803用以根据视频存储处理策略对各个视频片段进行处理。可能的处理包括转码(转换格式、变换码率)，变换视频显示大小，降低视频帧率，或者进行视频摘要等。视频复用模块804用以将处理后的单独视频片段进行存储复用，形成最终存储在视频库5中的整体视频片段。每个视频点段的大小可能会不同，一般以基础的视频帧组(Group of Picture,GOP)为单元进行整合。

图9是本发明中前端服务器9的内部主要流程。在开始步骤S901之后，前端服务器9首先从对应的分析服务器10接收本地视频存储策略S902。然后开始从摄像头1等前端设备循环接收视频流S903。之后前端服务器9会对所负责的各路视频流进行事先配置的视频预分析S904。这里的分析一般是轻量级的视频分析，用以区分完全没有视频事件和有视频事件的视频片段。对于分析后的视频片段，判断其是否可能有视频事件S905。如果有视频事件，那么向相关的视频分析服务器10发送该视频片段S906。如果没有视频事件，则确定对于该视频片段的存储处理策略，并向对应的视频组合器5统一发送存储处理策略和视频片段S907。最后，如果判断服务继续进行S908，则重复S902～S907的流程。否则退出服务S909。本图中的流程对于图4所示的视频监控系统架构不是必须的。

图10是发明中分析服务器10的内部主要流程。开始步骤S1001后，需要首先动态收集来自各类应用服务器和配置的参考信息，对当前视频通道建立视频组合策略集(一系列视频存储处理策略)S1002，并发送给对应的前端服务器9。之后开始从前端服务器9循环接收发送来的视频片段S1003。这些视频片段经过前端服务器9的预分析，已经明确知道这些视频片段中存在视频事件。然后进行详细的视频分析S1004。根据分析的结果确定当前视频片段的处理策略S1005。并在步骤S1006中执行策略将存储处理策略和相应的视频片段转发给对应的视频组合器12。最后判断是否继续处理其他后续片段S1007，如果继续服务，重复S1002到S1007的流程。否则停止服务S1008。

图11是发明中视频组合器12的内部主要流程。在服务开始后S1101，首先从对应的前端服务器9或者视频分析服务器10接收对应视频通道的存储组合策略S1102。之后，开始接收视频片段S1103，针对视频片段的内容开始处理或者组合复用成为最终视频片段S1104。并向对应的视频库5发送这些处理和组合复用后的视频片段S1105。最后判断是否结束服务S1106。如果结束，则完成S1007。否则重复S1003到S1006的流程。

图12是本发明中各个设备间的信令流程。其中前端几台设备及相关的流程对于类型2结构(图4中所示的视频监控系统架构)不是必须的。首先应用类服务器13向对应的视频分析服务器10反馈视频内容的使用情况和应用配置信息作为参考1201。之后，视频分析服务器10建立视频存储策略集/库1202，并将这些策略发送给前端服务器2和其他视频组合器1203。在这之后，整个系统开始从摄像头1等前端设备接收视频流1204。在前端服务器9进行预分析并决定本地存储处理策略1205。不带有视频事件的视频片段被发送给本地视频组合器12处理1206，同时伴有对应的处理策略索引1207。在视频组合器12中经过处理和组合复用后1208，结果被放在本地的视频库5中1209。有视频事件的视频片段被发送给中心侧的视频分析服务器10处理1210。经过分析后的视频，按照视频事件的类型决定存储处理策略1211。带视频事件的视频片段被发送给中心侧本地视频组合器12处理1212，同时伴有对应的处理策略索引1213。视频组合器12中经过处理和组合复用后1214，结果被放在本地的视频库5中1215。

图13是一个典型的应用场景。假设某前端服务器9服务三台摄像头1，取得三路视频流。在服务之初，视频分析服务器集群10从应用类服务器13接收相关的统计及应用配置信息1301，生成存储处理策略集/库后，发送给其他设备1302。在某一时间段，每路视频流中都有4个场景。在接收到视频流后1303，前端服务器9首先进行预分析，发现视频片段1-4与1-3，以及2-2和2-1中，肯定不会有任何视频事件。这几个片段及对应的策略被发送给本地的视频组合器12处理1304。处理后的结果发送给本地视频库1305。由于这些视频没有事件，所以会选择极大降低视频片段的码率、帧率和大小。并将同一视频通道相邻事件的片段复用在一起形成最终视频片段C1和C2。可能有视频事件的内容被发送给视频分析服务器10处理1306。基于分析后的结果选择的处理策略伴随着对应视频片段发送给视频组合器12处理1307。根据事件的类型、通道和事件信息以及策略信息，进行存储处理和组合后的结果被发送给中心侧视频库5进行存储1308。在这里，中心侧视频库所存储的内容比较中，具备实现定义的一些视频事件，所以存储的内容必须保证清晰度，码率、帧率和大小都比较好。由此完成了视频监控系统中视频存储的优化和处理的整个流程。

在本实施例当中，应用发明中所提及的方法和设备，可以显著降低视频库中所需要存储的视频数据总量，节省存储资源。同时，通过分级的存储，将优先级低不存在事件的视频内容存储在低成本本地视频库中，只有高优先级和重要事件的内容才会在高成本的中心存储留存。通过这种方式，可以进一步降低成本，同时大大降低大量视频在系统中进行调度转移的概率。此外，通过以事件为中心的视频动态分层分片优化存储，一方面可以面向应用快速高效低成本地提供视频内容，另一方面可以将系统中调度转移视频内容的效率(只有所需要的视频片段会被调度)提高。

Claims (5)

1.一种视频存储控制和优化的装置，其特征在于，具有：

组合策略执行控制单元，从前端服务器或分析服务器接收对应视频通道的存储组合策略；

视频流接收单元，从前端服务器或分析服务器接收视频流；

视频处理单元，根据上述存储组合策略对接收到的视频流进行处理；以及

视频复用单元，将经过上述视频处理单元处理后的视频流进行整理组合，生成用于最终存储的整体视频片段，并按照上述存储组合策略将该生成的整体视频片段发送给不同级别的视频库以便进行存储，

上述视频库包括本地视频库和中心侧视频库，

上述组合策略执行控制单元从上述前端服务器接收与不带有视频事件的视频片段对应的存储组合策略以及从上述分析服务器接收与有视频事件的视频片段对应的存储组合策略，

上述视频处理单元根据与不带有视频事件的视频片段对应的存储组合策略对上述不带有视频事件的视频片段进行处理，根据与有视频事件的视频片段对应的存储组合策略对有视频事件的视频片段进行处理，

上述视频复用单元将处理后的不带有视频事件的视频片段与同一视频通道相邻事件的视频片段复用而成的整体视频片段发送给上述本地视频库进行存储，将处理后的有视频事件的视频片段整理组合而成的整体视频片段发送给上述中心侧视频库进行存储。

2.一种视频监控系统，其特征在于，具有：

多个摄像头，用来获取视频流；

监控中心，至少包括视频分析服务器、应用服务器和检索服务器中的某一个，经由网络与多个摄像头相连；

权利要求1所述的视频存储控制和优化的装置，经由网络与监控中心相连；以及

视频库，根据上述视频存储控制和优化的装置的优化结果，对生成的整体视频片段进行存储。

3.根据权利要求2所述的视频监控系统，其特征在于，

还包括多个前端服务器，对从多个摄像头获取的视频流进行预处理以及汇集和管理。

4.根据权利要求2所述的视频监控系统，其特征在于，

所述视频库采用分级部署或集中部署。

5.一种视频存储控制和优化的方法，其特征在于，包括以下步骤：

组合策略接收步骤，从前端服务器或分析服务器接收对应视频通道的存储组合策略；

视频流接收步骤，从前端服务器或分析服务器接收视频流；

视频处理步骤，根据上述存储组合策略对接收到的视频流进行处理和整理组合，生成用于最终存储的整体视频片段；以及

视频存储步骤，按照上述存储组合策略，将经过处理和整理组合后的上述整体视频片段分别存储于不同级别的视频库，

上述视频库包括本地视频库和中心侧视频库，

在上述组合策略接收步骤中，从上述前端服务器接收与不带有视频事件的视频片段对应的存储组合策略，从上述分析服务器接收与有视频事件的视频片段对应的存储组合策略，

在上述视频处理步骤中，根据与不带有视频事件的视频片段对应的存储组合策略对上述不带有视频事件的视频片段进行处理，根据与有视频事件的视频片段对应的存储组合策略对有视频事件的视频片段进行处理，

在上述视频存储步骤中，处理后的不带有视频事件的视频片段与同一视频通道相邻事件的视频片段复用而成的整体视频片段被发送给上述本地视频库进行存储，处理后的有视频事件的视频片段整理组合而成的整体视频片段被发送给上述中心侧视频库进行存储。