CN103577410A - 一种海量视频综合处理系统 - Google Patents

一种海量视频综合处理系统 Download PDF

Info

Publication number
CN103577410A
CN103577410A CN201210252218.7A CN201210252218A CN103577410A CN 103577410 A CN103577410 A CN 103577410A CN 201210252218 A CN201210252218 A CN 201210252218A CN 103577410 A CN103577410 A CN 103577410A
Authority
CN
China
Prior art keywords
data
video
disposal system
layer
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210252218.7A
Other languages
English (en)
Inventor
买强
张霞
吕志坤
刘贯伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
8358 Research Institute of 3th Academy of CASC
Original Assignee
8358 Research Institute of 3th Academy of CASC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 8358 Research Institute of 3th Academy of CASC filed Critical 8358 Research Institute of 3th Academy of CASC
Priority to CN201210252218.7A priority Critical patent/CN103577410A/zh
Publication of CN103577410A publication Critical patent/CN103577410A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于视频监控技术领域，具体涉及一种海量视频综合处理系统。一种海量视频综合处理系统，其中包括用于数据的部分，数据分析的部分，数据存储的部分和任务管理的部分。本发明的效果是：用户在海量视频源中，通过不同模块的组合运用，将最为关心的运动目标信息提取出来，大大提高了数据有效利用率。

Description

一种海量视频综合处理系统
技术领域
本发明属于视频监控技术领域，具体涉及一种海量视频综合处理系统。
背景技术
随着物联网技术的发展，视频监控已经成为现代安防不可缺少的技术手段。目前，安防监控系统拥有了较高的监控覆盖率，实现了大量的视频数据采集。但是，海量数据的采集智能分析技术还处于起步阶段。目前，大多完成视频流存储与回放、或者简单实时预警功能。在出现危害公共安全的事件时，需要从海量数据中获取用户关心的信息却如同大海捞针一般。因此，如何对这些海量的包含着非结构化的数据进行组织、管理、检索、表达、与利用成为迫切的需求。
现有的技术在进行视频有效内容检索时，采用手动回放视频的方式，它不但消耗大量的人力物力，而且由于海量信息的不确定性，使得视频录像和视频监控系统的使用率很低。即使有足够的人力和时间，通过人工查看原始视频的方式来捕捉转瞬即逝的线索，也是有很大风险的。
视频图像质量一定程度上无法满足切实需求，特别是在急需监控管理的夜间和恶劣天气（例如：大雾、大雪）中无法清晰成像，在出现危害公共安全的事件时，无法为后期分析提供可靠数据。此时成像质量大幅下降，而且不可避免的出现远处的目标过小，分辨率过低的情况，因此增强图像质量、复原图像、增强图像分辨率有强烈的用户需求。
另外，现有的视频监控系统在进行存储时，大多按照一定编码方式，简单的将视频流存储在远端服务器、DVR、NVR中，这需要极大的硬盘空间的支撑。一般来说，监控中绝大部分时间(80%左右)是场景时间，此时的数据对于安防监控而言毫无意义。
发明内容
本发明针对现有技术的缺陷，提供一种提高效率的海量视频综合处理系统。
发明内容：一种海量视频综合处理系统，其中包括用于数据的部分，数据分析的部分，数据存储的部分和任务管理的部分。
如上所述的一种海量视频综合处理系统，其中，对于单机处理系统，包括数据获取层、数据分析识别层、数据库管理支撑层、应用业务逻辑层。
如上所述的一种海量视频综合处理系统，其中，所述的括数据获取层负责获取原始视频数据，并进行解码处理；所述的数据分析识别层完成从原始视频中获取有效图像信息；所述的数据库管理支撑层负责数据文件的创建、写入、删除、读取工作，并对不同任务的处理结果进行映射与管理；应用业务逻辑层为数据库的调用方。
如上所述的一种海量视频综合处理系统，其中，对于网络视频综合处理系统，包括视频采集前端、视频数据存储服务器、任务管理与分发服务器、数据库服务器、分布式算法处理机群、终端客户端。
如上所述的一种海量视频综合处理系统，其中，所述的视频采集前端用于从现实场景中采集视频信息并进行编码压缩后，传递给数据存储服务器；所述的视频数据存储服务器存储用于从前端采集的编码后视频信息，并与两部分进行通信；所述的任务管理与分发服务器负责接收客户端的处理请求、所述的数据库服务器用于接收分发来的任务后与视频数据存储服务器建立联系，将视频流从网络下载至本机后，进行解码处理；所述的分布式算法处理机群包括入库与出库两个方面，其接收计算PC传递的结构化数据完成入库操作，监听网络客户端的访问继续数据输出操作；所述的终端客户端为数据任务发起方和处理结果使用方。
本发明的效果是：用户在海量视频源中，通过不同模块的组合运用，将最为关心的运动目标信息提取出来，大大提高了数据有效利用率。
附图说明
图1是单机版视频综合处理系统的结构示意图；
图2是网络版视频综合处理系统的结构示意图。
具体实施方式
实施例1，单机版视频综合处理系统
系统所有部分均安装在单个PC机上，分为数据获取层、数据分析识别层、数据库管理支撑层、应用业务逻辑层。
数据获取层负责从本地硬盘中获取原始视频数据，并进行解码处理或者从远端DVR、NVR中获取编码后视频数据。本专利不限定视频数据获取方式。
所述数据分析识别层，完成从原始视频中获取有效图像信息。对于安防监控视频而言，运动目标包含了更多的信息。数据分析识别层负责提取运动目标的初级信息与识别信息，并进行匹配与识别处理。数据分析识别层主要通过目标提取模块实现。
目标提取模块负责提取运动目标初级信息，具体内容包含：前景运动目标图像信息、目标最小外围矩形框信息(中心点坐标、宽度、高度)、运动目标绝对时间信息、运动目标跟踪状态信息。目前可采用现有技术进行处理：例如背景建模技术、统计建模技术。
进一步对于合理的运动目标信息进行高级语义处理，包含目标分类技术、各个类别的信息提取、图像数据存储。最具代表图像判别准则包含以下因素：运动目标跟踪最稳定、目标尺寸较大、运动目标与相邻的目标轮廓较为接近等。可采用线性kalman预测进行多帧前景目标的匹配工作、同样可采用基于匹配与预测相结合的MeanShift跟踪方式。目的在于完成时间轴上运动目标的映射关系。本专利不限于目标跟踪具体实现方式。
进一步数据分析识别层获取的所有信息均需通过算法触发机制完成数据入库操作。触发条件为：连续跟踪目标达到终止态，且目标跟踪帧数超过一定帧数。
数据库管理支撑层采用单机文件管理系统实现，位于单机硬盘中。数据库管理支撑层负责数据文件的创建、写入、删除、读取工作，并对不同任务的处理结果进行映射与管理。数据库链接运动目标的图像数据与属性数据。数据库管理支撑层接收识别算法层数据进行入库管理、接收应用层的响应对图像与属性数据完成出库管理，并支撑多任务的并行入库与出库方式。
应用业务逻辑层为数据库的调用方。上述视频摘要功能、搜索功能、图像增强功能均属于应用层业务逻辑。视频摘要播放功能，可将数据库中数据进行重新整合输出，完成快速浏览处理结果数据。搜索功能，可对入库后数据进行选择性搜索输出，输出结果为运动目标图像信息。对于看不清楚的图像可通过后期图像增强技术进行处理，包含图像复原和超分辨率功能。
实施例2，网络版视频综合处理系统
网络系统由视频采集前端、视频数据存储服务器、任务管理与分发服务器、数据库服务器、分布式算法处理机群(多个计算PC主机)、终端客户端等部分组成。
视频采集前端从现实场景中采集视频信息并进行编码压缩后，传递给数据存储服务器，存储服务器介质无限制要求，可选用联网DVR、NVR等。
视频数据存储服务器硬盘中存储从前端采集的编码后视频信息，并与两部分进行通信。首先，其接收客户端访问，更新客户端可访问数据列表。其次，其接收分布式算法识别机群的访问请求，传递视频流信息。
任务管理与分发服务器是系统运行的大脑，其负责接收客户端的处理请求。算法计算的任务选择与分发，具体分发对象为分布式算法处理机群。它通过检测算法机群当前空闲\忙碌状态，将任务分发处理，当算法处理完毕后，会通知任务管理与分发服务器更新状态。目前，对于长达24小时的视频源，可将任务分为15分钟/段，将任务分给计算PC，此方式大大提高了算法处理速度。此外，任务管理与分发服务器为计算PC指定接收处理后数据的存储地址。当任务管理分发服务器在计算PC与数据库管理服务器中建立好联系后，工作完毕。
分布式算法处理机群，主要完成的是智能处理计算层工作。它接收分发来的任务后与视频数据存储服务器建立联系，将视频流从网络下载至本机后，进行解码处理。下一步，利用智能检测与识别算法对解码视频进行检测、跟踪、特征提取、数据组织，将数据存储至数据库服务器，存储地址同样由管理分发服务器指定。
数据库服务器对应单机版的数据库管理支撑层，与计算PC与多个终端客户端产生关联。他的任务同样分为入库与出库两个方面，其接收计算PC传递的结构化数据完成入库操作；监听网络客户端的访问继续数据输出操作。
终端客户端为数据任务发起方和处理结果使用方。在客户端产生任务传递给任务与管理分发服务器进行处理。业务逻辑层的海量视频快速浏览、数据条件检索、后期图像增强与复原功能均嵌入至终端客户端，所有客户端均共享网络数据库的处理结果数据。

Claims (5)

1.一种海量视频综合处理系统，其特征在于：包括用于数据的部分，数据分析的部分，数据存储的部分和任务管理的部分。
2.如权利要求1所述的一种海量视频综合处理系统，其特征在于：对于单机处理系统，包括数据获取层、数据分析识别层、数据库管理支撑层、应用业务逻辑层。
3.如权利要求2所述的一种海量视频综合处理系统，其特征在于：所述的括数据获取层负责获取原始视频数据，并进行解码处理；所述的数据分析识别层完成从原始视频中获取有效图像信息；所述的数据库管理支撑层负责数据文件的创建、写入、删除、读取工作，并对不同任务的处理结果进行映射与管理；应用业务逻辑层为数据库的调用方。
4.如权利要求1所述的一种海量视频综合处理系统，其特征在于：对于网络视频综合处理系统，包括视频采集前端、视频数据存储服务器、任务管理与分发服务器、数据库服务器、分布式算法处理机群、终端客户端。
5.如权利要求4所述的一种海量视频综合处理系统，其特征在于：所述的视频采集前端用于从现实场景中采集视频信息并进行编码压缩后，传递给数据存储服务器；所述的视频数据存储服务器存储用于从前端采集的编码后视频信息，并与两部分进行通信；所述的任务管理与分发服务器负责接收客户端的处理请求、所述的数据库服务器用于接收分发来的任务后与视频数据存储服务器建立联系，将视频流从网络下载至本机后，进行解码处理；所述的分布式算法处理机群包括入库与出库两个方面，其接收计算PC传递的结构化数据完成入库操作，监听网络客户端的访问继续数据输出操作；所述的终端客户端为数据任务发起方和处理结果使用方。
CN201210252218.7A 2012-07-20 2012-07-20 一种海量视频综合处理系统 Pending CN103577410A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210252218.7A CN103577410A (zh) 2012-07-20 2012-07-20 一种海量视频综合处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210252218.7A CN103577410A (zh) 2012-07-20 2012-07-20 一种海量视频综合处理系统

Publications (1)

Publication Number Publication Date
CN103577410A true CN103577410A (zh) 2014-02-12

Family

ID=50049217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210252218.7A Pending CN103577410A (zh) 2012-07-20 2012-07-20 一种海量视频综合处理系统

Country Status (1)

Country Link
CN (1) CN103577410A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103974037A (zh) * 2014-04-28 2014-08-06 厦门纳网科技有限公司 一种基于网络视频云的实时检索系统及其方法
CN105513360A (zh) * 2016-01-28 2016-04-20 浪潮软件股份有限公司 一种车辆数据处理的方法及装置
CN114697682A (zh) * 2020-12-29 2022-07-01 阿里巴巴集团控股有限公司 一种视频处理方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201540568U (zh) * 2009-12-24 2010-08-04 中国航天科工集团第三研究院第八三五八研究所 一种具有协同处理功能的双cpu系统平台
CN102594897A (zh) * 2012-02-27 2012-07-18 中兴通讯股份有限公司 智能分析系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201540568U (zh) * 2009-12-24 2010-08-04 中国航天科工集团第三研究院第八三五八研究所 一种具有协同处理功能的双cpu系统平台
CN102594897A (zh) * 2012-02-27 2012-07-18 中兴通讯股份有限公司 智能分析系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103974037A (zh) * 2014-04-28 2014-08-06 厦门纳网科技有限公司 一种基于网络视频云的实时检索系统及其方法
CN105513360A (zh) * 2016-01-28 2016-04-20 浪潮软件股份有限公司 一种车辆数据处理的方法及装置
CN114697682A (zh) * 2020-12-29 2022-07-01 阿里巴巴集团控股有限公司 一种视频处理方法和系统

Similar Documents

Publication Publication Date Title
CN102819528B (zh) 生成视频摘要的方法和装置
WO2017005149A1 (zh) 一种游戏加速方法和装置
CN104616501B (zh) 基于智能视觉的车辆违章停车检测系统及方法
CA3031366A1 (en) Cognitive indexing of images in digital video content
CN110298213B (zh) 视频分析系统和方法
CN102129474A (zh) 一种视频数据检索方法及其装置和系统
CN111092926B (zh) 一种数字视网膜多元数据快速关联方法
US11496671B2 (en) Surveillance video streams with embedded object data
CN105185121A (zh) 一种虚拟卡口并行识别车牌的方法
CN109698943B (zh) 一种容量可伸缩的网络摄像机接入平台
CN102231820A (zh) 一种监控图像处理的方法、装置和系统
CN111090773B (zh) 一种数字视网膜体系结构及软件架构方法及系统
CN102665064A (zh) 一种基于标准标记与快速检索的交通视频监控系统
CN103780877A (zh) 基于h264编码的海量视频数据的存储及检索方法
KR100946694B1 (ko) 영상 정보 기반의 동영상 파일 중복 검사와 관리를 위한시스템 및 방법
CN103577410A (zh) 一种海量视频综合处理系统
CN108073690A (zh) 一种视频目标检索方法
WO2023179161A1 (zh) 一种视频帧率控制方法、装置、电子设备及存储介质
Sari et al. A review of graph theoretic and weightage techniques in file carving
CN107566785A (zh) 一种面向大数据的视频监控系统及方法
CN105872731A (zh) 数据处理的方法和装置
US10083720B2 (en) Method and system for video data stream storage
CN111464882B (zh) 视频摘要生成方法及装置、设备、介质
CN113158794B (zh) 目标检测方法、边缘设备及计算机可读存储介质
CN111159107A (zh) 数据处理方法和服务器集群

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140212