CN100486301C - 用于稳定化视频数据的方法和系统 - Google Patents

用于稳定化视频数据的方法和系统 Download PDF

Info

Publication number
CN100486301C
CN100486301C CNB200480038523XA CN200480038523A CN100486301C CN 100486301 C CN100486301 C CN 100486301C CN B200480038523X A CNB200480038523X A CN B200480038523XA CN 200480038523 A CN200480038523 A CN 200480038523A CN 100486301 C CN100486301 C CN 100486301C
Authority
CN
China
Prior art keywords
motion vector
imv
frame
vector
gmv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CNB200480038523XA
Other languages
English (en)
Other versions
CN1898948A (zh
Inventor
S·奥伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Top Top Technology Hongkong Co ltd
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1898948A publication Critical patent/CN1898948A/zh
Application granted granted Critical
Publication of CN100486301C publication Critical patent/CN100486301C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors

Abstract

本发明涉及一种用于稳定化由视频摄影机进行并且由视频数据代表的对场景的视频记录的方法，所述方法包括以下步骤：将所述视频细分成多个连续帧；将每个所述连续帧划分成多个块；对于每个帧的每个块确定代表所述块中的运动的方向和大小的运动矢量，在时刻t处的所述矢量被称为全局运动矢量GMV(t)并且代表在时刻t处相对于先前帧的所述运动；定义在时刻t处被称为集成运动矢量IMV(t)、并且表示鉴于其运动校正而将被应用于当前帧的最终运动矢量校正的经修改的矢量，所述集成运动矢量由下面的表达式给出IMV(t)＝GMV(t)+a(E).IMV(t-1)其中a(E)是取决于表达式E的可变自适应因子，而IMV(t-1)是对应于先前的当前帧的集成运动矢量；以及根据为每个连续当前帧所定义的经修改的集成运动矢量来修改视频数据。

Description

用于稳定化视频数据的方法和系统
发明领域
本发明涉及一种用于稳定化视频数据的方法以及一种用于执行所述方法的稳定化系统。
发明背景
近年来，视频摄影机的小型化以及在其中引入强大的缩放已经导致这种设备出现图像稳定性问题，这是由于手持式视频摄影机的移动而造成的。已经开发了数字图像稳定化(DIS)系统来消除这种不希望有的摄影机移动(或抖动)，并且从而产生只显示必需的摄影机移动的序列，从而提供更愉快的观看体验。所述抖动被定义为被附加到有意的摄影机运动之上的、所有的不希望有的图像位置波动(平移、旋转等等)，其可能具有许多严重的不利影响(例如，在运动估计编码中，抖动可能会增加运动矢量的大小和数量，从而减小已编码运动矢量的游程长度)。在大多数DIS系统中，在(时间t-1和t处的)两个连续帧之间执行运动估计，以便得到图像帧的全局运动。所述全局运动由被称为全局运动矢量GMV(t)的单个运动矢量代表。其问题是，GMV(t)的连续值既包含有意的运动也包含无意的运动(抖动)。
文献“Fast digital image stabilizer based on Gray-coded bit-planematching(基于灰度编码的位平面匹配的快速数字图像稳定器)”(IEEETransactions on Consumer Electronics，vol.45，n°3，1999年8月，pp.598-603)描述了一种允许判断运动是否是有意的运动校正系统.为此，将该全局运动矢量与一个阻尼(damping)系数集成在一起，如此定义的集成运动矢量IMV(t)表示将被应用于当前的未经处理的帧以用于运动校正的最终运动矢量。被提供来构建一个稳定化的序列的该集成运动矢量由下面的表达式(1)给出：
IMV(t)＝a.IMV(t-1)+GMV(t)   (1)
其中GMV(t)是对应于在时间t处考虑的当前帧的全局运动矢量，并且是一个包含在0和1之间的数字，根据该全局运动矢量所起到作用，该集成运动矢量在没有摄影机运动时收敛到0。对于数字a(阻尼系数)的选择取决于所期望的稳定化程度，但是考虑摄影机运动的类型是十分重要的，并且例如使用恒定值通常不是最佳的。
实际上，在处理过程中将有意的运动与抖动分开总是一个复杂的问题。对于实施应用来说，主要的限制是不允许延迟，因此不可能将某些帧存储在存储器中以及一旦更好地了解了移动之后在后面应用运动校正。在该文献中为此所提出的所有解决方案都或多或少地有相同的缺点：在具有低幅度抖动和固定位置的序列的各部分中衰减了抖动(而不是消除)，但是一旦有全景运动或者任何其它类型的较大的摄影机运动，输出的经过滤的序列就几乎无法跟随实际的运动，或者在长的延迟之后才跟随实际的运动.此外，当校正低幅度抖动时，用于过滤的采样窗导致明显的延迟。因此，总是要在衰减低幅度抖动的强度和以尽可能小的延迟跟随有意运动的能力之间找到折衷.
发明概要
因此，本发明的一个目的是提出一种允许执行改进的运动校正的过滤方法。
为此，本发明涉及一种用于稳定化由视频摄影机进行并且由视频数据代表的对场景的视频记录的方法，所述方法包括以下步骤：
-将所述视频细分成多个连续帧；
-将每个所述连续帧划分成多个块；
-对于每个帧的每个块确定代表所述块中的运动的方向和大小的运动矢量，在时刻t处的所述矢量GMV被称为全局运动矢量GMV(t)并且代表在时刻t处相对于先前帧的所述运动；
-定义在时刻t处被称为集成运动矢量IMV(t)并且表示鉴于其运动校正而将被应用于当前帧的最终运动矢量校正的经修改的矢量，所述集成运动矢量由下面的表达式给出：
IMV(t)＝GMV(t)+a(E).IMV(t-1)
其中GMV(t)是时刻t下的当前帧的全局运动矢量，a(E)是取决于表达式E的可变自适应因子，而IMV(t-1)是对应于先前的当前帧的集成运动矢量；以及
-根据为每个连续当前帧所定义的经修改的集成运动矢量来修改视频数据。
在一个优选实施例中，所述可变自适应因子取决于两个全局运动矢量的和。
优选地，对于各IMV和GMV的水平和垂直坐标独立地计算该可变阻尼因子，从而沿着两个轴的滤波总是彼此独立的。
相应于经授权的额外输入区域，还可以检查IMV校正是否高于一个给定阈值：如果是的话则修改该校正，以便保持在一个预定允许范围内，例如+/-16个像素。
附图简述
下面将参照附图以举例的方式来描述本发明，其中：
图1是给出在根据本发明的稳定化方法中使用的阻尼因子值的一些例子的表格；
图2说明了根据本发明的稳定化方法的优点。
发明的详细描述
根据本发明，提出了一种稳定化方法，其中，所提出的校正现在等于先前定义的集成运动矢量IMV(t)，但是其具有表示为a(E)的阻尼系数并且现在是一个可变自适应因子：
IMV(t)＝a(t，t-1，...).IMV(t-1)+GMV(t)   (2)
在该表达式(2)中，阻尼因子a(E)现在不再是恒定值，而是例如取决于最近两个全局运动矢量的和的自适应因子。这允许跟踪有意的运动开头(最近的全局运动矢量本身通常太不稳定以致无法使用)。
阻尼因子a(E)和最近两个全局运动矢量的和(GMV(t)+GMV(t-1))之间的对应表被如下建立：
(a)GMV值的较小的和意味着较高的阻尼因子值，其强烈地稳定化所述序列，正如假定摄影机有意保持稳定一样；
(b)GMV值的较大的和意味着较低的阻尼因子值；于是所述序列更为精确地跟随原始运动。
在图1的表中以四分之一像素单位给出了阻尼因子值DFV对增加的最近两个全局运动矢量的和SLG的一个例子。
可以提出一些附加特征。例如，如果具有独立于y矢量滤波的对x矢量的滤波则是有利的。此外，可以提供边界外检测：所述检测允许相应于经授权的额外输入区域来检查IMV校正是否高于一个给定阈值，并且对其进行校正以便保持在允许范围内，例如+/-16个像素(pixels)。
所提出的稳定化方法从而在抖动以特定空间位置为中心时创建经稳定化的长镜头，同时在运动过高时跟随有意的运动，正如图2中所示出的那样。图2同时示出了原始运动(曲线A)、通过移动平均滤波器以传统方式滤波的运动(曲线B)以及通过根据本发明的稳定化方法滤波的运动的曲线M(对于这三条曲线，水平轴对应于帧号NOF，垂直轴对应于累积的位移，例如对应于全局运动矢量的和SLG)。一些快速的移动过渡仍然是可见的，但是它们一般对应于原始序列中的如果希望保持在所允许的额外图像边界内的话就必须以某种方式跟随的突然运动。所述稳定化方法在跟踪缓慢移动的运动方面也是有效的。

Claims (5)

1、一种用于稳定化视频数据的方法，所述方法包括以下步骤：
-将所述视频细分成多个连续帧；
-将每个所述连续帧划分成多个块；
-对于每个帧的每个块确定代表所述块中的运动的方向和大小的运动矢量，在时刻t处的所述矢量GMV被称为全局运动矢量GMV(t)并且代表在时刻t处相对于先前帧的所述运动；
-定义一个经修改的矢量，该经修改的矢量在时刻t处被称为集成运动矢量IMV(t)并且表示鉴于其运动校正而将被应用于当前帧的最终运动矢量校正，所述集成运动矢量由下面的表达式给出：
IMV(t)＝GMV(t)+a(E).IMV(t-1)
其中GMV(t)是时刻t下的当前帧的全局运动矢量，a(E)是取决于表达式E的可变自适应因子，而IMV(t-1)是对应于先前的当前帧的集成运动矢量；以及
-根据为每个连续当前帧所定义的经修改的集成运动矢量来修改视频数据。
2、如权利要求1所述的稳定化方法，其中所述可变自适应因子取决于最近两个全局运动矢量的和。
3、如权利要求2所述的稳定化方法，其中独立地确定所述矢量的水平坐标和垂直坐标的所述可变阻尼因子a(E)。
4、如权利要求1-3中的任何一项所述的稳定化方法，其包括附加的校正步骤，该附加的校正步骤用于检查对运动矢量的校正是否高于一个给定阈值，并且如果是的话则用于修改所述校正以使得该校正保持在预定的允许范围内。
5、一种用于稳定化视频数据的系统，所述系统包括：
-帧存储器，用于存储视频记录的视频数据的多个连续帧；
-处理器，其耦合到所述帧存储器以用于：将每个帧划分成多个块；对于每个帧的每个块确定代表所述块中的运动的方向和大小的运动矢量，在时刻t处的所述矢量被称为全局运动矢量GMV(t)并且代表在时刻t处相对于先前帧的所述运动；定义一个运动矢量，该运动矢量在时刻t处被称为集成运动矢量IMV(t)并且表示鉴于其运动校正而将被应用于当前帧的最终运动矢量校正，所述集成运动矢量由下面的表达式给出
IMV(t)＝GMV(t)+a(E).IMV(t-1)
其中GMV(t)是时刻t下的当前帧的全局运动矢量，a(E)是取决于表达式E的可变自适应因子，而IMV(t-1)是对应于先前的当前帧的集成运动矢量；以及根据为每个连续当前帧所定义的经修改的集成运动矢量来修改视频数据。
CNB200480038523XA 2003-12-23 2004-12-17 用于稳定化视频数据的方法和系统 Active CN100486301C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03300284.1 2003-12-23
EP03300284 2003-12-23

Publications (2)

Publication Number Publication Date
CN1898948A CN1898948A (zh) 2007-01-17
CN100486301C true CN100486301C (zh) 2009-05-06

Family

ID=34717272

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200480038523XA Active CN100486301C (zh) 2003-12-23 2004-12-17 用于稳定化视频数据的方法和系统

Country Status (9)

Country Link
US (1) US7436984B2 (zh)
EP (1) EP1700471B1 (zh)
JP (1) JP4427551B2 (zh)
KR (1) KR101063071B1 (zh)
CN (1) CN100486301C (zh)
AT (1) ATE409390T1 (zh)
DE (1) DE602004016774D1 (zh)
TW (1) TW200534710A (zh)
WO (1) WO2005064919A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009505477A (ja) * 2005-08-12 2009-02-05 エヌエックスピー ビー ヴィ ディジタル画像安定化のための方法及びシステム
US20090220173A1 (en) 2005-10-12 2009-09-03 Active Optics Pty Limited Image processing method and system
JP4446193B2 (ja) * 2005-11-11 2010-04-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8775452B2 (en) 2006-09-17 2014-07-08 Nokia Corporation Method, apparatus and computer program product for providing standard real world to virtual world links
WO2008072024A1 (en) * 2006-12-14 2008-06-19 Nokia Corporation Video stabilization system with motion estimation error correction
CN101681084B (zh) * 2007-03-26 2013-02-20 派尔高公司 改善摄像机的视频图像的方法
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US20080267504A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
US20080267521A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Motion and image quality monitor
KR101392732B1 (ko) 2007-08-20 2014-05-08 삼성전자주식회사 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치
CN101582063A (zh) * 2008-05-13 2009-11-18 华为技术有限公司 视频服务系统、视频服务装置及其关键帧的提取方法
US8102428B2 (en) * 2008-08-28 2012-01-24 Adobe Systems Incorporated Content-aware video stabilization
US20110299597A1 (en) * 2010-06-07 2011-12-08 Sony Corporation Image processing method using motion estimation and image processing apparatus
JP5708051B2 (ja) 2011-03-07 2015-04-30 株式会社リコー 映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び撮像装置
EP2680568B1 (en) * 2012-06-25 2016-05-25 ST-Ericsson SA Video stabilisation with deblurring
CN103679750B (zh) * 2013-11-25 2016-04-20 武汉东智科技有限公司 一种基于视频的摄像机抖动检测方法
US10132860B2 (en) 2016-10-28 2018-11-20 Nxp Usa, Inc. Systems and methods for testing package assemblies

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2506469B2 (ja) * 1989-12-26 1996-06-12 松下電器産業株式会社 動きベクトル検出装置及び画像ゆれ補正装置
JPH07284016A (ja) * 1992-10-13 1995-10-27 Samsung Electron Co Ltd ディジタル映像安定化システムの適応形動きベクトルの決定方法及び装置
US5748231A (en) * 1992-10-13 1998-05-05 Samsung Electronics Co., Ltd. Adaptive motion vector decision method and device for digital image stabilizer system
EP0632649B1 (en) * 1993-06-29 2001-10-31 SANYO ELECTRIC Co., Ltd. Video camera with electronic picture stabilizer and generation of addition data
JP2957851B2 (ja) * 1993-06-29 1999-10-06 三洋電機株式会社 手振れ補正方法
US5614945A (en) * 1993-10-19 1997-03-25 Canon Kabushiki Kaisha Image processing system modifying image shake correction based on superimposed images
JPH07115584A (ja) * 1993-10-19 1995-05-02 Canon Inc 画像揺れ補正装置
US5835138A (en) * 1995-08-30 1998-11-10 Sony Corporation Image signal processing apparatus and recording/reproducing apparatus
JP2798035B2 (ja) * 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
KR100200761B1 (ko) * 1996-11-27 1999-06-15 윤종용 캠코더의 움직임 보정장치 및 방법
US6809758B1 (en) * 1999-12-29 2004-10-26 Eastman Kodak Company Automated stabilization method for digital image sequences
US7755667B2 (en) * 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization

Also Published As

Publication number Publication date
JP4427551B2 (ja) 2010-03-10
KR101063071B1 (ko) 2011-09-07
TW200534710A (en) 2005-10-16
KR20060120222A (ko) 2006-11-24
US7436984B2 (en) 2008-10-14
CN1898948A (zh) 2007-01-17
EP1700471A1 (en) 2006-09-13
US20070085927A1 (en) 2007-04-19
JP2007516679A (ja) 2007-06-21
ATE409390T1 (de) 2008-10-15
WO2005064919A1 (en) 2005-07-14
DE602004016774D1 (de) 2008-11-06
EP1700471B1 (en) 2008-09-24

Similar Documents

Publication Publication Date Title
CN100486301C (zh) 用于稳定化视频数据的方法和系统
CN101426091B (zh) 使用目标跟踪的数字图像稳定的装置及其方法
CN101426092B (zh) 使用对象跟踪的用于数字图像稳定的设备和方法
US7489341B2 (en) Method to stabilize digital video motion
US5872604A (en) Methods and apparatus for detection of motion vectors
US6049354A (en) Image shake-correcting system with selective image-shake correction
EP2048878B1 (en) Imaging device, imaging method, and program
KR100467375B1 (ko) 화상신호처리장치및기록/재생장치
US7755667B2 (en) Image sequence stabilization method and camera having dual path image sequence stabilization
US7605845B2 (en) Motion stabilization
US7929611B2 (en) Frame rate converting apparatus, pan/tilt determining apparatus, and video apparatus
US7868927B2 (en) Image data generating apparatus, method and program
US8743268B2 (en) Image capturing apparatus, control method therefor, and program for correcting shift based on shift amount in image plane
JP4636887B2 (ja) 光学機器
US8194141B2 (en) Method and apparatus for producing sharp frames with less blur
JPH04151982A (ja) 動きベクトル検出装置
JPH09130748A (ja) 画像信号処理装置および記録／再生装置
US7623184B2 (en) Apparatus and method for digital image stabilization
JP2001078075A (ja) 画像入力装置及び画像入力方法
JPH0846856A (ja) 手振れ補正装置
Battiato et al. Video Stabilization.
JP6942504B2 (ja) 符号化装置、撮像装置、符号化方法、及びプログラム
JP2001024932A (ja) 画像入力装置及び画像入力方法
Jian et al. Dynamic motion compensated video coding
JP2006072586A (ja) 映像データの補正方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: NXP CO., LTD.

Free format text: FORMER OWNER: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Effective date: 20070824

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20070824

Address after: Holland Ian Deho Finn

Applicant after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Applicant before: Koninklijke Philips Electronics N.V.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200715

Address after: Room 2113, 21 / F, Sheung Shui Plaza, 39 lung Chen Road, Sheung Shui, New Territories, Hong Kong, China

Patentee after: Top top technology (Hongkong) Co.,Ltd.

Address before: Eindhoven, Netherlands

Patentee before: NXP Corp.