CN101321241A - 一种交互式的视频运动物体消除方法 - Google Patents
一种交互式的视频运动物体消除方法 Download PDFInfo
- Publication number
- CN101321241A CN101321241A CN 200810063011 CN200810063011A CN101321241A CN 101321241 A CN101321241 A CN 101321241A CN 200810063011 CN200810063011 CN 200810063011 CN 200810063011 A CN200810063011 A CN 200810063011A CN 101321241 A CN101321241 A CN 101321241A
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- moving object
- image
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 7
- 230000008030 elimination Effects 0.000 title claims description 21
- 238000003379 elimination reaction Methods 0.000 title claims description 21
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 6
- 230000008034 disappearance Effects 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000011084 recovery Methods 0.000 abstract 2
- 238000000926 separation method Methods 0.000 description 7
- 241000679046 Teleas Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种交互式的视频运动物体消除方法。本发明采用人机交互方式标注视频运动信息，通过计算图像特征点的光流值得到各个视频帧的视点对应关系，实现摄像机的运动补偿；将运动补偿后的视频帧里的运动物体用相邻帧对应位置的背景图像替换，同时结合静态图像修复算法，解决了普通视频中运动物体消除的问题。该方法不同于其他运动消除算法：不要求摄像机在拍摄视频过程中固定，拍摄视点和视角是可以变化的；加入人机交互，从视频序列中初步分离出运动物体，提高了计算摄像机运动补偿结果的稳定性；加入静态图像修复算法，克服了由于背景信息不充分导致的运动物体部分内容无法消除的缺点。该方法适合于消除背景信息丰富的视频运动物体。
Description
技术领域
本发明涉及多媒体应用和视频数据处理领域，尤其涉及一种交互式的视频运动物体消除方法。
背景技术
从摄像机运动状态下拍摄的视频序列中消除运动物体在军事和民用领域都有广泛的应用，人们能够从真实场景中排除运动物体的干扰，快速获取周围环境信息。目前还不存在一个通用的算法可以有效做到从视频序列中消除运动物体，但随着多媒体及视频处理技术的发展，出现了许多新的方法。
根据运动消除算法中用到的视频序列运动信息的不同可以将视频运动消除算法分为两类：以空间同性为准则的运动消除算法的大致步骤是先用形态学滤波器或其他滤波器对图像作预处理，然后对该图像的亮度、色度或其他信息作空间上的分离并对区域作边缘检测，之后通过KLT等光流方法作运动估计，并合并相似的运动区域以得到最终的分离结果；以变化检测为准则的运动消除算法主要通过计算帧差来检测图像上的变化区域和不变区域，将运动物体与静止背景进行分离。为降低噪声的干扰，通常利用相邻两帧检测变化区域。
根据算法中用到的时空信息的不同可以将视频运动物体消除算法分为时域分离，空间分离，时空联合分离等。时域分离是利用前、后帧的图像信息进行分离。因为背景通常具有与前景不同的运动，通过变化检测。即可得到运动对象的大致区域。然而，由于运动信息的复杂性，时间分离往往只能得到大致准确的对象边界；空间分离则可以得到准确的对象边界，但很难自动得到语义对象区域。分水岭算法是一种常见的空间分离技巧。但它有一个内在的缺陷：对梯度噪声非常敏感，通常导致过分离；时空分离的融合是当前的研究热点之一。常见的方法是对多个特征采用马尔可夫模型建模，然后进行优化求解，其缺点是需要的计算量大。时空联合分离方法强调利用空间信息来修正和增强时域分离结果，由于它既利用了帧间时域上的强相关性信息，又利用了帧内空间上的特征，能够取得较好的分离效果。
静态图像修复作为一项用来修复局部损坏图像的技术，在最近几年受到了很多关注。静态图像修复在很多领域有广泛的应用，比如从图像或视频帧中去除字幕或商标，扫描移除图像划痕或污点并添加人工修复效果等。大多数的图像修复算法是这样工作的：首先用手工的方式选择需要修复的图像区域，然后通过各种方法使得图像颜色信息从要修复的区域边界向里传递，例如将已有的图像信息填充到缺失的区域中。为了能够产生视觉真实的重建效果，图像修复技术应该尽量使重建区域中的等照线(相等灰度的线)平滑连续。换句话说，重建区域修复后我们可以根据修复的图像灰度和梯度值推测区域外面的灰度和梯度值。常见的图像修复算法有Telea算法等。
发明内容
本发明的目的是解决从摄像机运动状态下拍摄的普通视频中消除运动物体的问题，提供一种交互式的视频运动物体消除方法。
交互式的视频运动物体消除方法包括以下步骤：
1)采用人机交互的方式标注视频运动信息，标注视频中运动物体的矩形包围盒，把要消除的运动物体信息从视频序列中分离出来；
2)通过计算图像特征点的光流值得到各个视频帧的视点对应关系，实现摄像机的运动补偿；
3)将运动补偿后的视频帧里的运动物体用相邻的视频帧对应位置的背景像素覆盖；
4)采用静态图像修复的方法，将步骤3)中未被消除的运动物体内容做图像修复处理，得到最终运动消除后的视频帧结果。
所述计算图像特征点的光流值得到各个视频帧的视点对应关系，实现摄像机的运动补偿步骤：程序自动选择代表视频背景图像特征的点作为光流跟踪算法的跟踪点，通过光流算法得到特征点在两帧视频图像间的位置对应关系，通过设定光流平均值的偏差阈值将奇异光流值去除，然后通过插值方法得到视频帧图像每个点的光流大小，将所有视频帧的背景都统一到当前帧的位置，从而实现摄像机的运动补偿。
所述将运动补偿后的视频帧里的运动物体用相邻的视频帧对应位置的背景像素覆盖步骤：假设要消除第K帧视频图像的运动物体，对该帧每个运动物体维护一个像素矩阵记录该位置的背景像素值，初始化为-1，选取从第K+1和K-1帧开始的6-8帧图像，通过检测摄像机运动补偿后的视频帧中对应位置是否在标注的矩形包围盒内判断该像素是否是背景，如果像素矩阵中的位置还没有被相应位置的背景像素填充，则将背景像素值填充到像素矩阵中。
所述采用静态图像修复的方法，将步骤3)中未被消除的运动物体内容做图像修复处理：当运动物体相对于背景位移不明显时，步骤3)中填充背景像素的方法不能将像素矩阵全部填满，得到的是一张部分背景像素缺失的图像，可以根据图像缺损的位置标记和缺损图像周围已知的像素值修复图像，将完整的背景图像恢复出来，从而得到运动物体消除后的视频帧。
本发明解决了普通视频中运动物体消除的问题。该方法不同于其他运动消除算法：不要求摄像机在拍摄视频过程中固定，拍摄视点和视角是可以变化的；加入人机交互，从视频序列中初步分离出运动物体，提高了计算摄像机运动补偿结果的稳定性；加入静态图像修复算法，克服了由于背景信息不充分导致的运动物体部分内容无法消除的缺点。该方法适合于消除背景信息丰富的视频运动物体。
附图说明
图1是人机交互方式标注视频运动物体矩形包围盒；
图2是本发明的效果图，图中1是输入的原始视频帧，2是运动物体消除后的视频帧，3是静态图像修复算法之前的消除结果，4是静态图像修复算法之前未被消除的运动物体的位置标记。
具体实施方式
交互式的视频运动物体消除方法包括以下步骤：
1)采用人机交互的方式标注视频运动信息，如图1所示，标注视频中运动物体的矩形包围盒，把要消除的运动物体信息从视频序列中分离出来，由于一开始就把要消除的运动物体信息从视频序列中分离出来，去除了运动物体对背景图像配准过程的影响，提高了计算摄像机运动补偿结果的稳定性。
2)通过计算图像特征点的光流值得到各个视频帧的视点对应关系，实现摄像机的运动补偿，程序自动选择代表视频背景图像特征的点作为光流跟踪算法的跟踪点，通过光流算法得到特征点在两帧视频图像间的位置对应关系，因为背景光流的存在是由摄像机的全局运动产生的，光流值应该在方向和数值上趋于一致，本方法通过设定光流平均值的偏差阈值将奇异光流值去除，然后通过插值方法得到视频帧图像每个点的光流大小，将所有视频帧的背景都统一到当前帧的位置，从而实现摄像机的运动补偿。
3)将运动补偿后的视频帧里的运动物体用相邻的视频帧对应位置的背景像素覆盖，(如图2中的3和4)。假设要消除第K帧视频图像的运动物体，对该帧每个运动物体维护一个像素矩阵记录该位置的背景像素值，初始化为-1，选取从第K+1和K-1帧开始的6-8帧图像，通过检测摄像机运动补偿后的视频帧中对应位置是否在标注的矩形包围盒内判断该像素是否是背景，如果像素矩阵中的位置还没有被相应位置的背景像素填充，则将背景像素值填充到像素矩阵中。
4)采用静态图像修复的方法，将步骤3)中未被消除的运动物体内容做图像修复处理，得到最终运动消除后的视频帧结果。当运动物体相对于背景位移不明显时，步骤3)中填充背景像素的方法不能将像素矩阵全部填满，得到的是一张部分背景像素缺失的图像，可以根据图像缺损的位置标记和缺损图像周围已知的像素值修复图像，将完整的背景图像恢复出来，从而得到运动物体消除后的视频帧。
实施例：
本发明可以用来从摄像机运动状态下拍摄的普通视频中消除运动物体。下面详细说明该实例实施的具体步骤，如下：
1)采用人机交互的方式标注视频运动信息
将拍摄的视频以图片的格式载入系统，手工标注物体运动信息，即运动物体矩形包围盒信息(如图1)。
2)通过计算图像特征点的光流值得到各个视频帧的视点对应关系，实现摄像机的运动补偿。选择使用KLT光流算法来实现步骤2)。首先根据KLT光流算法的原理自动选择代表视频背景图像特征的点作为算法的跟踪点，通过KLT光流算法计算得到特征点在两帧视频图像间的位置对应关系。因为背景光流的存在是由摄像机的全局运动产生的，它们应该在方向和数值上趋于一致，该方法通过设定光流平均值的偏差阈值将奇异光流值去除，然后通过插值方法得到视频帧图像每个点的光流大小，即视频帧之间背景位置的对应关系。将所有视频帧的背景都统一到当前帧的位置，便实现了摄像机的运动补偿。在该步骤中需要设置特征点选取参数，光流算法参数，光流奇异值去除的阈值参数，光流插值参数等。
3)将运动补偿后的视频帧里的运动物体用相邻的视频帧对应位置的背景像素覆盖。初始化视频帧中运动物体包围盒中的像素值为-1，按照最近优先的原则，依次用相邻帧的对应背景像素覆盖运动物体(如图2中的3和4)。
4)采用静态图像修复的方法，将步骤3)中未被消除的运动物体内容做图像修复处理，得到最终运动消除后的视频帧结果。选择Telea图像修复算法修复步骤3)中未能消除的运动物体，通过设置Telea算法的相关参数，运行该算法得到最后的运动物体消除视频帧结果(如图2中的2)。
Claims (4)
1.一种交互式的视频运动物体消除方法，其特征在于包括以下步骤：
1)采用人机交互的方式标注视频运动信息，标注视频中运动物体的矩形包围盒，把要消除的运动物体信息从视频序列中分离出来；
2)通过计算图像特征点的光流值得到各个视频帧的视点对应关系，实现摄像机的运动补偿；
3)将运动补偿后的视频帧里的运动物体用相邻的视频帧对应位置的背景像素覆盖；
4)采用静态图像修复的方法，将步骤3)中未被消除的运动物体内容做图像修复处理，得到最终运动消除后的视频帧结果。
2.根据权利要求1所述的一种交互式的视频运动物体消除方法，其特征在于，所述计算图像特征点的光流值得到各个视频帧的视点对应关系，实现摄像机的运动补偿步骤：程序自动选择代表视频背景图像特征的点作为光流跟踪算法的跟踪点，通过光流算法得到特征点在两帧视频图像间的位置对应关系，通过设定光流平均值的偏差阈值将奇异光流值去除，然后通过插值方法得到视频帧图像每个点的光流大小，将所有视频帧的背景都统一到当前帧的位置，从而实现摄像机的运动补偿。
3.根据权利要求1所述的一种交互式的视频运动物体消除方法，其特征在于，所述将运动补偿后的视频帧里的运动物体用相邻的视频帧对应位置的背景像素覆盖步骤：假设要消除第K帧视频图像的运动物体，对该帧每个运动物体维护一个像素矩阵记录该位置的背景像素值，初始化为-1，选取从第K+1和K-1帧开始的6-8帧图像，通过检测摄像机运动补偿后的视频帧中对应位置是否在标注的矩形包围盒内判断该像素是否是背景，如果像素矩阵中的位置还没有被相应位置的背景像素填充，则将背景像素值填充到像素矩阵中。
4.根据权利要求1所述的一种交互式的视频运动物体消除方法，其特征在于，所述采用静态图像修复的方法，将步骤3)中未被消除的运动物体内容做图像修复处理：当运动物体相对于背景位移不明显时，步骤3)中填充背景像素的方法不能将像素矩阵全部填满，得到的是一张部分背景像素缺失的图像，根据图像缺损的位置标记和缺损图像周围已知的像素值修复图像，将完整的背景图像恢复出来，从而得到运动物体消除后的视频帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200810063011 CN101321241A (zh) | 2008-07-04 | 2008-07-04 | 一种交互式的视频运动物体消除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200810063011 CN101321241A (zh) | 2008-07-04 | 2008-07-04 | 一种交互式的视频运动物体消除方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101321241A true CN101321241A (zh) | 2008-12-10 |
Family
ID=40181036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200810063011 Pending CN101321241A (zh) | 2008-07-04 | 2008-07-04 | 一种交互式的视频运动物体消除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101321241A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105025201A (zh) * | 2015-07-29 | 2015-11-04 | 武汉大学 | 一种时空连续的视频背景修复方法 |
| CN105976336A (zh) * | 2016-05-06 | 2016-09-28 | 安徽伟合电子科技有限公司 | 一种视频图像模糊修复方法 |
| CN110033475A (zh) * | 2019-03-29 | 2019-07-19 | 北京航空航天大学 | 一种高分辨率纹理生成的航拍图运动物体检测与消除方法 |
| CN110599525A (zh) * | 2019-09-30 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 图像补偿方法和装置、存储介质及电子装置 |
| CN111448588A (zh) * | 2017-12-07 | 2020-07-24 | 华为技术有限公司 | 通过人和物的联合检测和跟踪进行活动检测 |
| WO2021004041A1 (en) * | 2019-07-05 | 2021-01-14 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for video stabilization |
| CN112884664A (zh) * | 2021-01-22 | 2021-06-01 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| WO2023036274A1 (zh) * | 2021-09-09 | 2023-03-16 | 北京字跳网络技术有限公司 | 视频处理方法、装置、电子设备、介质及程序产品 |
-
2008
- 2008-07-04 CN CN 200810063011 patent/CN101321241A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105025201A (zh) * | 2015-07-29 | 2015-11-04 | 武汉大学 | 一种时空连续的视频背景修复方法 |
| CN105025201B (zh) * | 2015-07-29 | 2017-11-14 | 武汉大学 | 一种时空连续的视频背景修复方法 |
| CN105976336A (zh) * | 2016-05-06 | 2016-09-28 | 安徽伟合电子科技有限公司 | 一种视频图像模糊修复方法 |
| CN111448588A (zh) * | 2017-12-07 | 2020-07-24 | 华为技术有限公司 | 通过人和物的联合检测和跟踪进行活动检测 |
| CN111448588B (zh) * | 2017-12-07 | 2023-09-12 | 华为技术有限公司 | 一种活动检测的方法以及计算机设备 |
| CN110033475A (zh) * | 2019-03-29 | 2019-07-19 | 北京航空航天大学 | 一种高分辨率纹理生成的航拍图运动物体检测与消除方法 |
| WO2021004041A1 (en) * | 2019-07-05 | 2021-01-14 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for video stabilization |
| CN110599525A (zh) * | 2019-09-30 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 图像补偿方法和装置、存储介质及电子装置 |
| CN112884664A (zh) * | 2021-01-22 | 2021-06-01 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN112884664B (zh) * | 2021-01-22 | 2024-03-29 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| WO2023036274A1 (zh) * | 2021-09-09 | 2023-03-16 | 北京字跳网络技术有限公司 | 视频处理方法、装置、电子设备、介质及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Frame-consistent recurrent video deraining with dual-level flow | |
| CN101321241A (zh) | 一种交互式的视频运动物体消除方法 | |
| Reddy et al. | Carfusion: Combining point tracking and part detection for dynamic 3d reconstruction of vehicles | |
| CN111724439B (zh) | 一种动态场景下的视觉定位方法及装置 | |
| CN102857739B (zh) | 分布式全景监控系统及其方法 | |
| CN111968129A (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
| CN105069808A (zh) | 基于图像分割的视频图像深度估计方法 | |
| Shi et al. | RGB-D semantic segmentation and label-oriented voxelgrid fusion for accurate 3D semantic mapping | |
| CN107203970A (zh) | 一种基于动态最优缝合线的视频拼接方法 | |
| CN102073866B (zh) | 一种利用时空马尔科夫随机场模型的视频超分辨方法 | |
| CN112906614A (zh) | 基于注意力指导的行人重识别方法、装置及存储介质 | |
| WO2017081839A1 (ja) | 移動体追跡方法、移動体追跡装置、およびプログラム | |
| CN109215047B (zh) | 基于深海视频的运动目标检测方法和装置 | |
| CN110674787A (zh) | 一种基于Hog特征和lgb分类器的视频解压缩方法及系统 | |
| CN108898842A (zh) | 一种多源监控视频的高效编码方法及其系统 | |
| KR101125061B1 (ko) | Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법 | |
| CN107767393B (zh) | 一种面向移动硬件的场景流估计方法 | |
| Xu et al. | Moving target detection and tracking in FLIR image sequences based on thermal target modeling | |
| CN114972840A (zh) | 一种基于时域关系的动量视频目标检测方法 | |
| Zhou et al. | Video object segmentation and tracking for content-based video coding | |
| Li et al. | Advanced multiple linear regression based dark channel prior applied on dehazing image and generating synthetic haze | |
| CN112200756A (zh) | 一种子弹特效短视频智能生成方法 | |
| Zhao et al. | Video image stitching based on moving object detection and motion prediction compensation | |
| Zarif et al. | Fast and efficient video completion using object prior position | |
| CN108830867A (zh) | 基于直线边缘特征的稳像方法、系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20081210 |