CN203086632U - 一种基于压缩域的视频检索系统 - Google Patents
一种基于压缩域的视频检索系统 Download PDFInfo
- Publication number
- CN203086632U CN203086632U CN 201320022006 CN201320022006U CN203086632U CN 203086632 U CN203086632 U CN 203086632U CN 201320022006 CN201320022006 CN 201320022006 CN 201320022006 U CN201320022006 U CN 201320022006U CN 203086632 U CN203086632 U CN 203086632U
- Authority
- CN
- China
- Prior art keywords
- video
- unit
- compressed domain
- compression domain
- domain characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Abstract
本实用新型公开了一种基于压缩域的视频检索系统，包括处理器；处理器包括码流信息提取单元、压缩域特征分析单元、压缩域特征存储单元和压缩域特征匹配单元；码流信息提取单元与压缩域特征分析单元连接，压缩域特征分析单元与压缩域特征存储单元连接，压缩域特征存储单元与压缩域特征匹配单元连接；压缩域特征分析单元包括场景分割模块、空间对象分割模块和运动轨迹特征分析模块。本实用新型基于压缩域的视频特征分析检索系统，可以实时、准确的从视频数据库中提取出视频压缩域特征并进行检索，大大节省计算资源，快速而方便的从大量视频数据中检索到所需要的视频片段。
Description
技术领域
本实用新型属于多媒体视频管理技术领域，具体涉及一种基于压缩域的视频检索系统。
背景技术
自20世纪90年代以来，随着网络通信与计算机技术的发展，单调的文本信息形式已经不再满足人们的需求，更为丰富的语音，图像和视频信息已经逐步渗入到人们社会生活的各个方面。如与安全相关的视频监控系统，生活娱乐中所采用的家用摄像机，以及丰富的网上视频资源(如YouTube，Youku等视频分享网站)等都是以数字视频形式存在。这些视频虽然包含着丰富的信息量，但由于其抽象程度比较低，其本身不是一种具有结构性的数据，并没有有效的描述方式，也没有可以作为索引和浏览的基本单元，所以对视频进行检索和浏览就变得极为困难。目前在许多领域由于对视频的处理能力远不能跟上视频数据增长的速度，视频中所描述的语义信息不能充分挖掘，导致大量的视频数据不能被有效利用。为了解决视频信息膨胀所带来的问题，从存储和传输的角度考虑，需要对视频数据进行压缩处理，利用更少的数据量表示等量的信息；而从资源利用的角度考虑，需要对视频数据中所体现的内容进行分类并进行特征分析，根据内容特征建立索引，进行高效的检索，使人们能够更方便快捷的得到所需要的信息。
由于目前绝大部分视频都是以压缩的方式来进行存储的，而传统的视频检索都是在像素域进行的，因此需要首先将压缩的视频流解压，然后再对解压后的数据进行分析，提取特征后再进行检索。在像素域进行视频的特征分析和检索，需要处理大量的数据，复杂度很高，而在压缩域中可以节省由视频解压过程所消耗的计算资源，并且压缩视频数据都是以块为基本单位，所需要处理的数据量仅是像素域的1/64(基于8×8块)或1/16(基于4×4块)。在压缩域中还可以直接提取如运动矢量和DCT系数等信息，通过信息融合等处理方法得到视频数据的相关特征，利用这些特征进行检索可以大大节省计算资源。
发明内容
针对现有技术所存在的上述技术缺陷，本实用新型提供了一种基于压缩域的视频检索系统，能够快速方便的从大量视频数据中检索到所需要的视频片段。
一种基于压缩域的视频检索系统，包括处理器；所述的处理器包括码流信息提取单元、压缩域特征分析单元、压缩域特征存储单元和压缩域特征匹配单元；码流信息提取单元与压缩域特征分析单元连接，压缩域特征分析单元与压缩域特征存储单元连接，压缩域特征存储单元与压缩域特征匹配单元连接。
所述的码流信息提取单元用于将存储在视频数据库中的压缩域码流进行部分解码处理，得到视频压缩域特征分析时所需要的压缩域信息；所述的压缩域信息包括每帧视频中所有宏块的宏块类型信息、宏块运动矢量信息、宏块DCT(离散余弦变换)系数信息和宏块消耗比特量信息。上述压缩域信息都可以从常见视频码流中通过熵解码直接提取出。
所述的压缩域特征分析单元包括场景分割模块、空间对象分割模块和运动轨迹特征分析模块；场景分割模块与码流信息提取单元和压缩域特征存储单元连接，空间对象分割模块与码流信息提取单元和场景分割模块连接，运动轨迹特征分析模块与码流信息提取单元、压缩域特征存储单元和空间对象分割模块连接；其中：
所述的场景分割模块用于对压缩域信息中每帧视频中所有宏块的宏块类型信息和宏块消耗比特量信息进行统计分析，根据分析结果判断视频场景中发生场景切换的位置，即视频发生切变时的帧序号，将其作为压缩域视频的时域特征；然后根据帧序号对原始视频进行时间上的分段，得到各个不同时间的视频片段；
所述的空间对象分割模块用于针对场景分割模块获得的每个视频片段，利用压缩域信息中每帧视频中所有宏块的宏块类型信息、宏块运动矢量信息和宏块DCT系数信息对每帧视频中的运动对象进行分割，得到每帧视频的运动对象掩膜；
所述的运动轨迹特征分析模块用于针对场景分割模块获得的每个视频片段，利用压缩域信息中每帧视频所有宏块的宏块类型信息和宏块运动矢量信息对每帧视频中的运动对象掩膜进行跟踪，得到该视频片段中运动对象的运动轨迹，将其作为压缩域视频的运动特征。
所述的压缩域特征存储单元用于将从压缩域特征分析单元得到的压缩域视频时域特征和运动特征以索引方式存储下来，方便用户进行检索。
所述的压缩域特征匹配单元用于匹配压缩域视频的运动特征，其将压缩域特征分析单元中得到的每个视频片段中运动对象的运动轨迹依次与用户输入轨迹进行Hausdorff距离测量，选择该距离最小的前10个视频片段作为匹配结果。
优选地，所述的压缩域特征匹配单元连接有人机交互单元，用户通过人机交互单元输入若干坐标值，在草图画板中生成轨迹图，进而通过调整输入的坐标值来完善所要查询的轨迹图；该轨迹图通过压缩域特征匹配单元与压缩域特征存储单元中存储的压缩域视频运动特征进行匹配，并将匹配结果依次显示出来，最后由用户选择合适的视频片段进行播放。
所述的处理器采用DSP；所述的人机交互单元采用LCD触摸式显示屏。
本实用新型基于压缩域的视频特征分析检索系统，可以实时、准确的从视频数据库中提取出视频压缩域特征并进行检索，大大节省计算资源，快速而方便的从大量视频数据中检索到所需要的视频片段。
附图说明
图1为本实用新型的结构示意图。
具体实施方式
为了更为具体地描述本实用新型，下面结合附图及具体实施方式对本实用新型的技术方案进行详细说明。
如图1所示，一种基于压缩域的视频检索系统，包括处理器和人机交互单元；本实施方式中，处理器采用TI公司型号为DM6467的DSP芯片，人机交互单元采用LCD触摸式显示屏。
处理器内加载有码流信息提取单元、压缩域特征分析单元、压缩域特征存储单元和压缩域特征匹配单元；码流信息提取单元与压缩域特征分析单元连接，压缩域特征分析单元与压缩域特征存储单元连接，压缩域特征存储单元与压缩域特征匹配单元连接。
码流信息提取单元将存储在视频数据库中的压缩域码流进行部分解码处理，得到视频压缩域特征分析时所需要的压缩域信息；压缩域信息包括每帧视频中所有宏块的宏块类型信息、宏块运动矢量信息、宏块DCT系数信息和宏块消耗比特量信息；上述压缩域信息都可以从常见视频码流中通过熵解码直接提取出。
压缩域特征分析单元包括场景分割模块、空间对象分割模块和运动轨迹特征分析模块；场景分割模块与码流信息提取单元和压缩域特征存储单元连接，空间对象分割模块与码流信息提取单元和场景分割模块连接，运动轨迹特征分析模块与码流信息提取单元、压缩域特征存储单元和空间对象分割模块连接；其中：
场景分割模块对压缩域信息中每帧视频中所有宏块的宏块类型信息和宏块消耗比特量信息进行统计分析，统计同时满足以下两个条件的宏块个数：(a)宏块类型为帧内编码；(b)宏块消耗比特量小于该帧所有宏块消耗比特量的平均值。根据分析结果判断视频场景中发生场景切换的位置，即视频发生切变时的帧序号：计算该类型宏块占该帧所有宏块的比例，如果比例超过一定的阈值，则判断该帧发生了场景切换，记录此时的帧序号，将其作为压缩域视频的时域特征。然后根据帧序号对原始视频进行时间上的分段，得到各个不同时间的视频片段；
空间对象分割模块针对场景分割模块获得的每个视频片段，利用压缩域信息中每帧视频中所有宏块的宏块类型信息、宏块运动矢量信息和宏块DCT系数信息对每帧视频中的运动对象进行分割：标记同时满足以下三个条件的宏块：(a)宏块类型为帧间编码；(b)宏块运动矢量大小大于一定阈值；(c)宏块DCT系数中的前4个系数绝对值之和大于一定阈值。将标记的宏块进行图像形态学处理，最终得到每帧视频的运动对象掩膜。
运动轨迹特征分析模块针对场景分割模块获得的每个视频片段，利用压缩域信息中每帧视频所有宏块的宏块类型信息和宏块运动矢量信息对每帧视频中的运动对象掩膜进行跟踪，计算该帧中运动对象掩膜中所有类型为帧间宏块的运动矢量的平均值，并将此平均值连接起来得到该视频片段中运动对象的运动轨迹，将其作为压缩域视频的运动特征。
压缩域特征存储单元将从压缩域特征分析单元得到的压缩域视频时域特征和运动特征以索引方式存储下来，方便用户进行检索。
用户通过人机交互单元输入若干坐标值，在草图画板中生成轨迹图，进而通过调整输入的坐标值来完善所要查询的轨迹图；压缩域特征匹配单元用于匹配压缩域视频的运动特征，其将压缩域特征分析单元中得到的每个视频片段中运动对象的运动轨迹依次与用户输入轨迹图进行Hausdorff距离测量，选择该距离最小的前10个视频片段作为匹配结果，并将匹配结果通过人机交互单元依次显示出来，最后由用户选择合适的视频片段进行播放。
利用本实施方式基于压缩域的视频特征分析检索系统，可以实时、准确的从视频数据库中提取出视频压缩域特征并进行检索，大大节省计算资源，快速而方便的从大量视频数据中检索到所需要的视频片段。
Claims (5)
1.一种基于压缩域的视频检索系统，包括处理器；其特征在于：所述的处理器包括码流信息提取单元、压缩域特征分析单元、压缩域特征存储单元和压缩域特征匹配单元；码流信息提取单元与压缩域特征分析单元连接，压缩域特征分析单元与压缩域特征存储单元连接，压缩域特征存储单元与压缩域特征匹配单元连接。
2.根据权利要求1所述的视频检索系统，其特征在于：所述的压缩域特征分析单元包括场景分割模块、空间对象分割模块和运动轨迹特征分析模块；场景分割模块与码流信息提取单元和压缩域特征存储单元连接，空间对象分割模块与码流信息提取单元和场景分割模块连接，运动轨迹特征分析模块与码流信息提取单元、压缩域特征存储单元和空间对象分割模块连接。
3.根据权利要求1所述的视频检索系统，其特征在于：所述的压缩域特征匹配单元连接有人机交互单元。
4.根据权利要求3所述的视频检索系统，其特征在于：所述的人机交互单元采用LCD触摸式显示屏。
5.根据权利要求1～4任一权利要求所述的视频检索系统，其特征在于：所述的处理器采用DSP。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201320022006 CN203086632U (zh) | 2013-01-16 | 2013-01-16 | 一种基于压缩域的视频检索系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201320022006 CN203086632U (zh) | 2013-01-16 | 2013-01-16 | 一种基于压缩域的视频检索系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN203086632U true CN203086632U (zh) | 2013-07-24 |
Family
ID=48832434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201320022006 Expired - Fee Related CN203086632U (zh) | 2013-01-16 | 2013-01-16 | 一种基于压缩域的视频检索系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN203086632U (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104618723A (zh) * | 2014-11-03 | 2015-05-13 | 西安交通大学 | 一种基于运动矢量投影矩阵的h.264/avc压缩域视频匹配方法 |
| CN108305267A (zh) * | 2018-02-14 | 2018-07-20 | 北京市商汤科技开发有限公司 | 物体分割方法、装置、设备、存储介质及程序 |
| CN111966859A (zh) * | 2020-08-27 | 2020-11-20 | 司马大大（北京）智能系统有限公司 | 视频数据的处理方法及装置、可读存储介质 |
-
2013
- 2013-01-16 CN CN 201320022006 patent/CN203086632U/zh not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104618723A (zh) * | 2014-11-03 | 2015-05-13 | 西安交通大学 | 一种基于运动矢量投影矩阵的h.264/avc压缩域视频匹配方法 |
| CN104618723B (zh) * | 2014-11-03 | 2017-12-15 | 西安交通大学 | 一种基于运动矢量投影矩阵的h.264/avc压缩域视频匹配方法 |
| CN108305267A (zh) * | 2018-02-14 | 2018-07-20 | 北京市商汤科技开发有限公司 | 物体分割方法、装置、设备、存储介质及程序 |
| CN108305267B (zh) * | 2018-02-14 | 2020-08-11 | 北京市商汤科技开发有限公司 | 物体分割方法、装置、设备、存储介质及程序 |
| CN111966859A (zh) * | 2020-08-27 | 2020-11-20 | 司马大大（北京）智能系统有限公司 | 视频数据的处理方法及装置、可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100493195C (zh) | 结合节目内容元数据和内容分析的时移电视视频匹配方法 | |
| CN102902819B (zh) | 一种视频智能分析方法及装置 | |
| CN101453649B (zh) | 压缩域视频流的关键帧提取方法 | |
| CN108882020A (zh) | 一种视频信息处理方法、装置及系统 | |
| CN108632625A (zh) | 一种视频编码方法、视频解码方法和相关设备 | |
| CN102724554B (zh) | 一种基于场景分割的视频资源语义水印嵌入方法 | |
| CN103514293A (zh) | 在视频模板库中进行视频匹配的方法 | |
| CN1851710A (zh) | 嵌入式多媒体基于关键帧的视频检索的实现方法 | |
| CN104902279A (zh) | 一种视频处理方法及装置 | |
| CN202998337U (zh) | 视频节目识别系统 | |
| CN203086632U (zh) | 一种基于压缩域的视频检索系统 | |
| CN102486800A (zh) | 视频搜索方法、系统及建立视频数据库的方法 | |
| CN103020138A (zh) | 一种视频检索的方法和装置 | |
| CN110572723A (zh) | 一种缩略图生成的方法以及相关装置 | |
| CN103533353B (zh) | 一种近似视频编码系统 | |
| CN103605652A (zh) | 基于对象标志位的视频检索和浏览的方法和装置 | |
| Liu et al. | Key frame extraction from online video based on improved frame difference optimization | |
| CN116489385A (zh) | 视频编码方法、解码方法、装置、电子设备及存储介质 | |
| CN112492350B (zh) | 一种视频转码方法、装置、设备和介质 | |
| Loose et al. | A hardware-friendly and configurable heuristic targeting vvc inter-frame prediction | |
| CN104683815B (zh) | 一种基于内容的h.264压缩域视频检索方法 | |
| Wang et al. | An efficient deep learning accelerator architecture for compressed video analysis | |
| Gao et al. | Quality-aware massive content delivery in digital twin-enabled edge networks | |
| Liu et al. | A fast CU partition algorithm based on the coding cost in screen content coding | |
| Chen et al. | Image Compression Algorithm Based on Time Series |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130724 Termination date: 20160116 |
|
| EXPY | Termination of patent right or utility model |