CN101594534B - 一种压缩视频poi快速检测方法 - Google Patents
一种压缩视频poi快速检测方法 Download PDFInfo
- Publication number
- CN101594534B CN101594534B CN 200910087224 CN200910087224A CN101594534B CN 101594534 B CN101594534 B CN 101594534B CN 200910087224 CN200910087224 CN 200910087224 CN 200910087224 A CN200910087224 A CN 200910087224A CN 101594534 B CN101594534 B CN 101594534B
- Authority
- CN
- China
- Prior art keywords
- frame
- action
- camera lens
- lens type
- motion compensation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种压缩视频POI快速检测方法,属于视频处理领域。本发明的方法为:1)首先打开视频流或视频文件,提取其中的P帧获得宏块的运动补偿向量;2)根据前向运动补偿向量确定当前帧的镜头动作类型;3)将当前帧的镜头动作类型与目标帧的镜头动作类型进行一致性验证,得到符合目标帧镜头动作类型的起止范围;同时本发明还对起止帧进行多帧检测验证,以及对起止范围内帧进行筛选后输出。与现有技术相比,本发明不仅提高了处理速度,而且提高了POI检测的抗干扰能力和准确性。
Description
技术领域
本发明涉及一种压缩视频POI快速检测方法,属于视频处理、图像处理、基于内容的视频管理、视频中的POI(Picture of Instrest)检测和提取、计算机视觉等技术领域。
背景技术
随着数字视频的使用越来越广泛,迫切需要自动、有效的视频内容分析技术。摄像机的运动明确地反映了对观看者注意力的导向,是反映镜头动态内容的重要特征,有利于对镜头内容的高层语义推理。因此,摄像机运动检测是视频分析的重要内容之一,对于视频POI的检测和提取具有重要意义和实用价值。
在视频拍摄过程中,为达到特定的拍摄效果,摄像机可以按不同的方式运动。其中最主要的运动方式包括水平摇拍(pan)、俯仰摇拍(tilt)、镜头缩放(zoom in/out)等。摄像机运动检测即判断一个镜头中是否包含摄像机运动以及摄像机的运动属于哪种运动类型,检测并确定该运动类型后,即可从体育转播、视频监控、外景采集等所获得的视频流或视频文件中定位和提取POI帧图像。
根据处理的数据不同,现有的基于摄像机运动类型的POI检测方法主要可以分为两类:第一类方法将视频解压为图像序列后,通过图像序列的分析检测摄像机的运动。典型的方法有光流法、基于图像特征的运动模型估计法等。这类方法检测较为准确,但现有的方法计算量大,算法复杂不易实现。第二类方法直接使用MPEG压缩域数据,利用压缩域提供的运动矢量进行摄像机运动分析。这类方法不需要完全解压视频,效率较高,但是,由于编码量化误差、对缺乏纹理宏块计算的运动矢量不可靠等因素,运动矢量中含有大量的噪声,大大影响了该类方法的鲁棒性,本发明对压缩视频流和视频文件中的IBP帧分别处理,采用P帧过滤加速技术进一步提高了处理速度,用单帧主运动补偿向量分析技术和多帧运动补偿验向量验证技术提高了POI检测的抗干扰能力和准确性。
发明内容
本发明的目的在于提供一种压缩视频POI快速检测方法,本方法直接利用视频流中的宏块运动补偿信息,无需逐帧解压缩,根据量化后的宏块运动补偿向量进行统计分析,得出宏块运动补偿的统计特征及主运动方向,快速准确地判定镜头推拉、摇摆拍摄动作,得到起始与结束帧号或起止时间,从选定的范围内的参考帧图像中提取镜头推拉、摇摆时拍摄到的画面。
本发明的技术方案为:
一种压缩视频POI快速检测方法,其步骤为:
1)打开视频流或视频文件,提取其中的P帧获得宏块的前向运动补偿向量;
2)根据前向运动补偿向量确定当前帧的镜头动作类型;其具体方法为:对所述前向运动补偿向量按照上、下、左、右、左上、左下、右上、右下8个方向进行直方图统计,得出主运动方向、次主运动方向;然后将得到的主运动方向、次主运动方向与其它运动方向进行差值,计算其运动方向的显著性,确定当前帧对应的镜头动作类型;
3)将当前帧的镜头动作类型与目标帧的镜头动作类型进行一致性验证,得到符合目标帧镜头动作类型的起止范围;其中一致性验证方法为:在找出一帧符合目标帧的镜头动作类型要求的P帧后,连续或间隔地分析当前及后续图像组中P帧中的前向运动补偿向量,用步骤2)的方法确定其所反映的镜头动作类型,当与已找到的类型一致时则进行确认,记录有关帧号。
进一步的,所述方法中设定一扰动阈值,将小于设定阈值的所述前向运动补偿向量作为扰动舍弃。
进一步的,所述方法中对所述前向运动补偿向量进行滤波处理。
进一步的,所述起止范围的记录方法为:一致性验证过程中,通过记录符合所述目标帧镜头动作类型起始帧的帧号和结束帧的帧号,得到所述目标帧镜头动作类型的起止范围。
进一步的,所述起止范围的记录方法为:一致性验证过程中,通过记录符合所述目标帧镜头动作类型起始帧的时间和结束帧的时间,得到所述目标帧镜头动作类型的起止范围。
进一步的,所述起始帧的确定方法为:当某一当前帧的镜头动作类型与所述目标帧的镜头动作类型一致时,对其后续若干连续或间隔的帧镜头动作类型与所述目标帧的镜头动作类型继续进行一致性验证,如果均一致则将该当前帧作为所述起始帧。
进一步的,所述结束帧的确定方法为:当某一当前帧的镜头动作类型与所述目标帧的 镜头动作类型不一致时,对其后续若干连续或间隔的帧镜头动作类型与所述目标帧的镜头动作类型继续进行一致性验证,如果均不一致则将该当前帧作为所述结束帧。
进一步的,对所述镜头动作类型起止范围内的帧进行筛选,其方法为:提取视频流或视频文件在该范围内的I帧,计算其边缘锐利程度,滤除边缘锐利程度小于设定阈值的帧;所述边缘锐利程度的计算方法为:统计每一I帧中所有边缘点与其各自8邻域内各像素差的绝对值之和,作为该帧的边缘锐利程度。
本发明的技术内容如下:
1.P帧过滤加速技术,即:根据视频流的帧存储格式,跳过其中的I帧和B帧,挑选视频流中各GOP(Group of Picture)中的P帧,获得当前帧宏块的前向运动补偿向量;
2.单帧主运动补偿向量分析技术,即:展开P帧得到宏块的前向运动补偿向量,可设定一扰动阈值把其中数值小于设定扰动阈值的向量作为扰动舍弃或进行必要的滤波处理,滤除扰动向量;然后把前向运动补偿向量按上、下、左、右、左上、左下、右上、右下8个方向进行直方图统计,找出其中的主运动方向和次主运动方向,通过与其他运动方向的差或比值确定其运动方向的显著性,找出当前帧对应的镜头动作类型;
3.多帧运动补偿验向量验证技术,即:在找出一帧符合目标帧动作类型要求的P帧后,连续或间隔地分析当前及后续GOP中P帧中的前向运动补偿向量,用步骤2的单帧主运动补偿向量分析技术确定其所反映的镜头动作类型,当与已找到的类型一致时则进行确认,记录有关帧号,动作的结束也用多帧确认,这样通过记录每个镜头动作的起始帧和结束帧,得到该镜头动作类型的帧范围;
4.关键帧筛选技术,即:在步骤3所得到的镜头动作范围内,仅提取其中的I帧,计算其边缘锐利程度,即统计其中边缘法向方向的灰度变化情况,取所有边缘点与其各自8邻域内各像素差的绝对值之和,值越大越清晰,记录其中相对清晰的帧号,当任务需要输出对应的图像时则根据此帧号提取相应的I帧图像予以保存。
本发明的积极效果为:
本发明针对体育转播、视频监控、外景采集等所获得的视频流或视频文件,依托视频流和视频文件的运动补偿技术、向量量化和统计技术,快速判定和提取压缩视频中的镜头推拉、摇摆拍摄动作,仅需知道视频流或文件中帧的存储格式,无需逐帧解压缩视频流,直接利用视频流中的宏块前向运动补偿信息,量化后进行统计分析,根据统计特征找出镜头水平摇拍(pan)、俯仰摇拍(tilt)、镜头缩放(zoom in/out)等动作拍摄的起始与结束帧号,可快速准确地定位和提取相应时段内拍摄到的画面。
具体实施方式
实施例1:得到POI所处帧号或时间
1.打开视频流或视频文件;
2.应用本发明的P帧过滤加速技术,无需解压,跳过其中的I帧和B帧,挑选视频流中的P帧,展开后获得当前帧宏块的前向运动补偿向量;
3.应用单帧主运动补偿向量分析技术,首先设定一扰动阈值,把前向运动补偿向量中数值小于设定扰动阈值的向量作为扰动舍弃,然后按上、下、左、右、左上、左下、右上、右下8个方向进行直方图统计,得到当前帧的前向运动补偿向量场的分布规律,确定当前帧的镜头运动类型;
4.应用多帧运动补偿验向量验证技术,通过后连帧对已找到的运动类型的P帧进行验证,确认时开始记录有关帧号,否则跳到下一个P帧返回第3步重新查找;动作的结束也用多帧确认,这样通过记录每个镜头动作的起始帧和结束帧,得到该镜头动作类型的帧范围;
5.确定镜头动作的起止范围后,以时间或者帧号的形式输出该范围。
实施例2:提取POI图像
1.打开视频流或视频文件;
2.应用本发明的P帧过滤加速技术,无需解压,跳过其中的I帧和B帧,挑选视频流中的P帧,展开后获得当前帧宏块的前向运动补偿向量;
3.应用单帧主运动补偿向量分析技术,首先对前向运动补偿向量进行滤波处理,然后按上、下、左、右、左上、左下、右上、右下8个方向进行直方图统计,得到当前帧的前向运动补偿向量场的分布规律,确定当前帧的镜头运动类型;
4.应用多帧运动补偿验向量验证技术,通过后连帧对已找到的运动类型的P帧进行验证,确认时开始记录有关帧号,否则跳到下一个P帧返回第3步重新查找;动作的结束也用多帧确认,这样通过记录每个镜头动作的起始帧和结束帧,得到该镜头动作类型的帧范围;
5.确定镜头动作的起止范围后,应用关键帧筛选技术,提取I帧图像,计算其边缘锐利程度,选择其中相对清晰帧图像予以保存。
Claims (8)
1.一种压缩视频POI快速检测方法,其步骤为:
1)打开视频流或视频文件,提取其中的P帧获得宏块的前向运动补偿向量;
2)根据前向运动补偿向量确定当前帧的镜头动作类型;其具体方法为:对所述前向运动补偿向量按照上、下、左、右、左上、左下、右上、右下8个方向进行直方图统计,得出主运动方向、次主运动方向;然后将得到的主运动方向、次主运动方向与其它运动方向进行差值,计算其运动方向的显著性,确定当前帧对应的镜头动作类型;
3)将当前帧的镜头动作类型与目标帧的镜头动作类型进行一致性验证,得到符合目标帧镜头动作类型的起止范围;其中一致性验证方法为:在找出一帧符合目标帧的镜头动作类型要求的P帧后,连续或间隔地分析当前及后续图像组中P帧中的前向运动补偿向量,用步骤2)的方法确定其所反映的镜头动作类型,当与已找到的类型一致时则进行确认,记录有关帧号。
2.如权利要求1所述的方法,其特征在于设定一扰动阈值,将小于设定阈值的所述前向运动补偿向量作为扰动舍弃。
3.如权利要求1所述的方法,其特征在于对所述前向运动补偿向量进行滤波处理。
4.如权利要求1所述的方法,其特征在于所述起止范围的记录方法为:一致性验证过程中,通过记录符合所述目标帧镜头动作类型起始帧的帧号和结束帧的帧号,得到所述目标帧镜头动作类型的起止范围。
5.如权利要求1所述的方法,其特征在于所述起止范围的记录方法为:一致性验证过程中,通过记录符合所述目标帧镜头动作类型起始帧的时间和结束帧的时间,得到所述目标帧镜头动作类型的起止范围。
6.如权利要求4或5所述的方法,其特征在于所述起始帧的确定方法为:当某一当前帧的镜头动作类型与所述目标帧的镜头动作类型一致时,对其后续若干连续或间隔的帧镜头动作类型与所述目标帧的镜头动作类型继续进行一致性验证,如果均一致则将该当前帧作为所述起始帧。
7.如权利要求4或5所述的方法,其特征在于所述结束帧的确定方法为:当某一当前帧的镜头动作类型与所述目标帧的镜头动作类型不一致时,对其后续若干连续或间隔的帧镜头动作类型与所述目标帧的镜头动作类型继续进行一致性验证,如果均不一致则将该当前帧作为所述结束帧。
8.如权利要求1或4或5所述的方法,其特征在于对所述镜头动作类型起止范围内的帧进行筛选,其方法为:提取视频流或视频文件在该范围内的I帧,计算其边缘锐利程度,滤除边缘锐利程度小于设定阈值的帧;所述边缘锐利程度的计算方法为:统计每一I帧中所有边缘点与其各自8邻域内各像素差的绝对值之和,作为该帧的边缘锐利程度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200910087224 CN101594534B (zh) | 2009-06-19 | 2009-06-19 | 一种压缩视频poi快速检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200910087224 CN101594534B (zh) | 2009-06-19 | 2009-06-19 | 一种压缩视频poi快速检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101594534A CN101594534A (zh) | 2009-12-02 |
CN101594534B true CN101594534B (zh) | 2011-01-05 |
Family
ID=41408929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200910087224 Expired - Fee Related CN101594534B (zh) | 2009-06-19 | 2009-06-19 | 一种压缩视频poi快速检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101594534B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116304176B (zh) * | 2023-05-19 | 2023-08-22 | 江苏苏宁银行股份有限公司 | 基于实时数据中台的处理方法及处理系统 |
-
2009
- 2009-06-19 CN CN 200910087224 patent/CN101594534B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN101594534A (zh) | 2009-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110807385B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN110047095B (zh) | 基于目标检测的跟踪方法、装置及终端设备 | |
CN109145708B (zh) | 一种基于rgb和d信息融合的人流量统计方法 | |
CN108921130A (zh) | 基于显著性区域的视频关键帧提取方法 | |
CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
CN103678299A (zh) | 一种监控视频摘要的方法及装置 | |
CN101882316A (zh) | 一种图像区域划分/编码方法、装置及系统 | |
JP2007060392A (ja) | 画像記憶装置及び方法 | |
US20050123052A1 (en) | Apparatus and method for detection of scene changes in motion video | |
CN103067702B (zh) | 一种用于具有静止画面视频的视频浓缩方法 | |
CN110460838B (zh) | 一种镜头切换的检测方法、装置及计算机设备 | |
CN108765405A (zh) | 一种影像鉴真方法和系统 | |
Akbari et al. | A new forensic video database for source smartphone identification: Description and analysis | |
CN103093458A (zh) | 关键帧的检测方法及装置 | |
CN103679745A (zh) | 一种运动目标检测方法及装置 | |
CN103096117B (zh) | 视频噪声检测方法及装置 | |
EP1921862A2 (en) | Image playback apparatus providing smart search for motion and method of using the same | |
CN102016879A (zh) | 闪光检测 | |
US8014606B2 (en) | Image discrimination apparatus | |
CN109905660A (zh) | 搜寻视讯事件的方法、装置、以及计算机可读取存储介质 | |
CN101594534B (zh) | 一种压缩视频poi快速检测方法 | |
CN104125430B (zh) | 视频运动目标检测方法、装置以及视频监控系统 | |
US20230188679A1 (en) | Apparatus and method for transmitting images and apparatus and method for receiving images | |
CN111726620A (zh) | 一种监控视频背景帧的编码方法、装置、电子设备及介质 | |
CN110889347A (zh) | 基于时空计数特征的密度交通流计数方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110105 Termination date: 20180619 |
|
CF01 | Termination of patent right due to non-payment of annual fee |