CN103108108B - 影像稳定方法及影像稳定装置 - Google Patents

影像稳定方法及影像稳定装置 Download PDF

Info

Publication number
CN103108108B
CN103108108B CN201110461302.5A CN201110461302A CN103108108B CN 103108108 B CN103108108 B CN 103108108B CN 201110461302 A CN201110461302 A CN 201110461302A CN 103108108 B CN103108108 B CN 103108108B
Authority
CN
China
Prior art keywords
image
matrix
pending image
pending
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110461302.5A
Other languages
English (en)
Other versions
CN103108108A (zh
Inventor
许宇凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN103108108A publication Critical patent/CN103108108A/zh
Application granted granted Critical
Publication of CN103108108B publication Critical patent/CN103108108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle

Abstract

一种影像稳定方法及影像稳定装置。影像稳定方法包括先采用特征点侦测法对每一待处理影像进行侦测,藉以侦测出每一待处理影像中的多数个特征点。并分析在相邻待处理影像中相同特征点的对应关系。依据相同特征点的对应关系计算相邻待处理影像间的单应性转换矩阵。再依据已知的特征点与单应性转换矩阵计算稳定矩阵与对应每一待处理影像的调整矩阵。分别凭借调整矩阵对每一待处理影像进行补偿,藉以产生校正后影像。其中,相邻校正后影像中的第一影像乘上相同的稳定矩阵后转换为相邻校正后影像中的第二影像。

Description

影像稳定方法及影像稳定装置
技术领域
本揭露是关于一种影像处理方法及影像处理装置,且特别是关于一种影像稳定方法及影像稳定装置。
背景技术
近来摄影机广泛架设,除了运用在监控系统之外,亦大量应用于车辆或飞机等移动载具当中。不论应用领域如何,摄影机都暴露在易受外界因素影响的环境中,例如偶发的风吹摇晃或来自移动载具本身的晃动,皆会导致摄影机所拍摄的影像内容因摇晃而造成视觉上的困扰,除此之外更会影响后续影像分析的效能,因此影像稳定遂成为影像处理技术当中的重要课题。
顺应摄影机架设环境的不同,大致可分类为固定式摄影机或移动式摄影机。固定式摄影机的影像稳定通常进行简易的前景与背景比对,将前景出现的移动量去除,意即达到完全停格的目标即可。移动式摄影机本身通常依循一平滑轨迹移动,此平滑轨迹为使用者欲保留的移动轨迹,不能去除。因此分离影像中的平滑轨迹移动量与摇晃成分移动量即为移动式摄影机探讨影像稳定的关键议题。
针对估测平滑轨迹的方法,常见的作法有三大方向:第一个方向为使用参数式来近似所观察到的不平滑轨迹,找寻参数式中近似效果最佳的参数。参数式可为平均化、线性或多项式等,一旦近似效果最佳的参数被决定后,平滑轨迹亦同时被决定,而观察轨迹中超出此平滑轨迹的成分即被视为摇晃成分,须予以去除。
参数式的缺点有二。其一为模型的限定性,即根据运动模型的不同(如车辆与飞机的差别),需事先选择最适用的模型,若选择出现差错即导致效果不佳。举例来说,如针对多项式轨迹难以用线性模型描述,此时若误选线性模型则导致效果不佳。由此,运动模型的选择容易耗费许多人力与精神。另一为模型与参数的选定须兼顾平滑轨迹程度与近似程度的两难,通常近似程度较高则无法达到良好的平滑效果。举例而言,高阶多项式的轨迹弯曲程度较高,较忠于摄影机本身的观察轨迹,但平滑程度较低。相反地,平滑程度较高则易将摄影机本身的观察轨迹一并去除。具上所述,如何选择适当的模型以及调整平滑轨迹程度与近似程度的参数实为一棘手问题。
第二个方向为使用卡曼滤波器(KalmanFilter)来近似所观察到的不平滑轨迹,利用过去时间点的数据特性来预估未来时间点的数据特性。换句话说,即利用过去时间点的轨迹来预估未来可能的平滑轨迹,并将此平滑轨迹以外的摇晃成份去除。
卡曼滤波器的第一项缺点为过去时间点的数据特性不易完全预测未来时间点的数据特性,而影响估测的稳定度。再者恰当的参数选择亦是一问题点,因为此法必须设定可容许的平滑振幅参数,若振幅愈小则愈平滑,但易去除摄影机本身的观察轨迹;振幅愈大则愈忠于摄影机本身的观察轨迹,但平滑效果受影响。因此如何设定恰当的平滑振幅参数亦为难解的棘手问题。
第三个方向则为前景去除法,此方法主要分析影像内容,将前景移动量与背景移动量分离。此方法因需对影像内容做进一步的运算。此外,当背景剧烈摇晃时,无法清楚区隔前景与背景移动量,可用性相对受限。
综上所述,一种可找寻摄影机适当的平滑轨迹,并将风吹摇晃、拍摄者的手震等外力因素所造成的摇晃成分去除的影像稳定装置及影像稳定方法,实为本领域一待解决的问题。
发明内容
为解决上述问题,本发明提出一种影像稳定方法及影像稳定装置,利用特征点侦测法与追踪,计算一单应性转换,藉以描述从一影像至下一影像的转换关系,并且使两相邻校正后影像间的转换关系具有一致性,进而达到影像稳定效果。
本揭露提出一种影像稳定方法,其适于处理多数个待处理影像,影像稳定方法包括下列步骤。先采用特征点侦测法对每一待处理影像进行侦测,藉以侦测出每一待处理影像中的多数个特征点。并且分析在相邻待处理影像中相同特征点的对应关系。此外,依据这些特征点的对应关系计算相邻待处理影像间的单应性(homography)转换矩阵。再依据已知的每一待处理影像中的特征点与单应性转换矩阵计算稳定矩阵与对应每一待处理影像的调整矩阵。分别凭借调整矩阵对每一待处理影像进行补偿,藉以产生相对应的多数个校正后影像。其中,相邻校正后影像中的第一影像乘上相同的稳定矩阵后转换为相邻校正后影像中的第二影像。
本揭露另提出一种影像稳定装置,其适于处理多数个待处理影像。影像稳定装置包括特征点侦测与分析模块、单应性矩阵运算模块、平滑化估测模块以及影像校正模块。其中,特征点侦测与分析模块对每一待处理影像进行侦测,藉以侦测出每一待处理影像中的多数个特征点,并且分析在相邻待处理影像中相同特征点的对应关系。单应性矩阵运算模块耦接至特征点分析模块,依据特征点的对应关系计算相邻待处理影像间的单应性转换矩阵。平滑化估测模块耦接至单应性矩阵运算模块,依据已知的每一待处理影像中的特征点与单应性转换矩阵计算稳定矩阵与对应每一待处理影像的调整矩阵。影像校正模块耦接至平滑化估测模块,影像校正模块分别凭借调整矩阵对每一待处理影像进行补偿,藉以产生相对应的多数个校正后影像。其中,相邻校正后影像中的第一影像乘上相同的该稳定矩阵后转换为相邻校正后影像中的第二影像。
基于上述,本揭露提出一种影像稳定方法及影像稳定装置,无须寻找待处理影像进行拍摄时的运动模型或设定影响平滑程度的参数,可避免因参数设定不恰当而导致稳定效果不佳,因此,可适用于各种不同拍摄环境所撷取的待处理影像。
为让本揭露的上述特征和优点能更明显易懂,下文特举实施范例,并配合所附附图作详细说明如下。
附图说明
图1是根据本揭露一范例实施例所绘示的影像稳定装置的方块图;
图2是根据本揭露一范例实施例所绘示的影像稳定方法的流程图;
图3A是根据本揭露一范例实施例所绘示的待处理影像的原始轨迹T_ori的示意图;
图3B是根据本揭露一范例实施例所绘示的待处理影像的原始轨迹T_ori与平滑轨迹T_stab的示意图;
图4A与图4B分别是根据本揭露另一范例实施例所绘示的已知技术与本揭露的方法对待处理影像的原始轨迹T_ori进行平滑化处理的示意图;
图5A与图5B分别是根据本揭露又一范例实施例所绘示的已知技术与本揭露的方法对待处理影像的原始轨迹T_ori进行平滑化处理的示意图。
附图标记
100:影像稳定装置
110:特征点侦测与分析模块
120:单应性矩阵运算模块
130:平滑化估测模块
140:影像校正模块
T_ori:原始轨迹
T_stab、T_stabl~T_stab6:平滑轨迹
xn:第n张待处理影像中各特征点的坐标
x′n第n张校正后影像中各特征点的坐标
ΔHn:第n张待处理影像的调整矩阵
Hstab2、Hstab5、Hstab6:稳定矩阵
H1~H4:转换矩阵
S210~S250:影像稳定方法的各步骤
具体实施方式
下面结合附图,对本发明做进一步的详细描述。
本揭露提出一通用性高的影像稳定技术,使校正后影像的间的转换关系具有一致性,并且对于转换的一致性须为何种型式并无限定,因此可适用于各种拍摄环境,在环境改变时亦无须如已知技术所述重新寻找并设定参数。为了使本揭露的内容更为明了,以下列举实施例作为本揭露确实能够据以实施的范例。所提出的实施例仅作为解说之用,并非用来限定本揭露的申请权利范围。
图1是根据本揭露一范例实施例所绘示的影像稳定装置的方块图,请参照图1。在一范例实施例中,影像稳定装置例如是摄影机、单眼相机、数字相机等本身具有影像撷取功能的电子装置,意即可直接利用自身所撷取的影像进行本揭露的影像稳定处理。在另一范例实施例中,影像稳定装置可不具备影像撷取功能,影像稳定装置可透过有线或无线等各种传输数据模块接收欲处理的多数个待处理影像。接下来详细说明本揭露的影像稳定装置。
如图1所示,影像稳定装置100包括特征点侦测与分析模块110、单应性矩阵运算模块120、平滑化估测模块130以及影像校正模块140。其中,单应性矩阵运算模块120耦接至特征点侦测与分析模块110,而平滑化估测模块130则串接于单应性矩阵运算模块120与影像校正模块140之间。
上述各模块可由软件、硬件或其组合实作而得,在此不加以限制。软件例如是应用程序或驱动程序等。硬件例如是中央处理单元(CentralProcessingUnit,CPU),或是其它可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(DigitalSignalProcessor,DSP)、特殊应用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)等装置。
图2是根据本揭露一范例实施例所绘示的影像稳定方法的流程图。本范例实施例的方法适用于图1的影像稳定装置100,以下即搭配图1中的各模块说明本范例实施例的影像稳定方法的详细步骤。
于步骤S210中,特征点侦测与分析模块110采用特征点侦测法对每一待处理影像进行侦测,藉以侦测出每一待处理影像中的多数个特征点,并且于步骤S220中分析在相邻待处理影像中相同特征点的对应关系。详言之,特征点侦测与分析模块110必须先侦测出每一待处理影像中的特征点,才能于相邻待处理影像之间进行特征点的追踪。
在本范例实施例中,特征点侦测与分析模块110采用一种哈立斯(Harris)特征点侦测算法,然本揭露并不限于此。哈立斯特征点侦测算法乃是凭借观察一张待处理影像中局部的矩形区域,将这个矩形区域朝向待处理影像中不同的方向作些微的移动,来了解矩形区域中灰阶变化的强弱。凭借观察灰阶变化的特性,可以设计出相对应的响应函式,来判断该点是否为哈立斯特征点。
以下将以数学式来说明哈立斯特征点的寻找方法,在描述矩形区域于各方向移动后其变化的总和时,可得一2x2的对称(symmetric)矩阵Z,而分析其特征值λ1与λ2则可作为响应函式,来判断矩形区域中心点是否为哈立斯特征点:
R(Z)=det(Z)-k·trace2(Z)
(1)
=λ1λ2-k·(λ12)2
其中k为一常数值,凭借函式R的计算,即可挑选出待处理影像内响应最大的前m个点,作为后续追踪运算的依据,其中m为正整数。
在待处理影像内侦测出特征点后,便可接续步骤S220,分别侦测每一特征点在相邻待处理影像中的第一影像的位置对应至第二影像的位置的一移动向量,换句话说,即为特征点的追踪。在本范例实施例中则以光流法进行估测。假设同一特征点pi于第t张待处理影像与第(t+Δt)张待处理影像中具有不变性,该Δt为自然数。
It(x,y)=It+Δt(x+u,y+v)(2)
其中,It(x,y)为特征点pi于第t张待处理影像中的位置;It+Δt(x+u,y+v)为特征点pi于第(t+Δt)张待处理影像中的位置;故(u,v)表示特征点pi的移动向量。凭借泰勒展开式将式(2)的右项展开:
I t + Δt ( x + u , y + v ) ≈ I t + Δt ( x , y ) + ∂ I ∂ x u + ∂ I ∂ x v - - - ( 3 )
考虑到特征点pi满足外貌不变性,则结合式(2)及式(3),可得以下近似结果:
0=It+Δt(x+u,y+v)-It(x,y)
(4)
≈It+Ixu+Iyv
其中 I nm = ∂ I / ∂ t , I x = ∂ I / ∂ x I y = ∂ I / ∂ y .
由于式(4)有两个未知数u及v,但仅有一方程式,因此假设特征点pi附近的点亦有相同的移动向量,考虑以特征点pi为中心的一r×r窗口,r为一正整数,即有充分信息可解出未知数u及v,即该特征点的移动向量。
接续步骤S230,单应性矩阵运算模块120耦接至特征点分析模块110,依据特征点的对应关系计算相邻待处理影像间的单应性转换矩阵。详言之,所谓的单应性透视投影转换,是计算相同一平面于不同视角的转换关系,假设a和b分别为不同时间点的广角摄影机位置,Qi则为该平面上被拍摄的任一点。令aQibQi分别为Qi在a及b中的投影。则可令:
aQi=Hba·bQi(5)
其中Hba为一3x3矩阵,如式(6)所示:
H ba = h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 h 33 - - - ( 6 )
举例说明,描述同一特征点于第t张待处理影像中(xi,yi)位置至第(t+Δt)张待处理影像中(xt+Δt,yt+Δt)位置的转换关系可由式(7)表示:
x t + Δt y t + Δt 1 = H t , t + Δt x t y t 1 = h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 h 33 x t y t 1 - - - ( 7 )
由于在步骤S220中已透过光流法做特征点追踪,意即前后相邻两张待处理影像的相同特征点的对应关系为已知,因此,将相同特征点的对应关系代入式(6),透过最小平方和法,即可求得单应性转换矩阵Hba。然本揭露并不限于此法求得单应性转换矩阵Hba
接下来,于步骤S240中,耦接至单应性矩阵运算模块120的平滑化估测模块130依据已知的每一待处理影像中的特征点与单应性转换矩阵计算稳定矩阵与对应每一待处理影像的调整矩阵。
图3A是根据本揭露一范例实施例所绘示的待处理影像的原始轨迹T_ori的示意图,请参照图3A。
假设一组待处理影像共有n张,n为一正整数,举例来说,第1张待处理影像至第2张待处理影像之间单应性投影转换可表示为x2=H1,2x1;第2张待处理影像至第3张待处理影像之间单应性投影转换可表示为x3=H2,3x2;意即
xn=Hn-1,nxn-1(8)
其中,xn为第n张待处理影像中各特征点的坐标,Hn-1,n为描述第(n-1)张至第n张待处理影像的单应性转换矩阵。此转换可能包含未知的平滑与不平滑的成分,本揭露假设平滑成分在此n张待处理影像之间均不改变,因此欲求得每一张待处理影像需经过多少数量的调整,才能使此组待处理影像呈现平滑轨迹。图3B是根据本揭露一范例实施例所绘示的待处理影像的原始轨迹T_ori与平滑轨迹T_stab的示意图,请配合参照图3B。原始轨迹T_ori与平滑轨迹T_stab的调整关系为x′1=ΔH1x1,x′2=ΔH2x2,依此类推:
x′n=ΔHnxn(9)
其中,ΔHn为第n张待处理影像的调整矩阵,调整矩阵代表将每一待处理影像由原始轨迹T_ori调整至平滑轨迹T_stab位置所需做的不平滑校正调整。
换句话说,本揭露的每一待处理影像在经过调整矩阵的校正后,目标是为了使每一校正后影像之间具有平滑稳定的转换关系,x′2=Hstabx′1,x′3=Hstabx′2,依此类推:
x′n=Hstabx′n-1(10)
其中,Hstab为稳定矩阵,每一校正后影像之间的转换关系皆可透过相同的稳定矩阵Hstab进行转换。换句话说,相邻校正后影像中的第一影像乘上相同的稳定矩阵Hstab后转换为相邻校正后影像中的第二影像。
具上所述,式(9)与式(10)中的ΔH1,ΔH2,…,ΔHn与Hstab即为欲求解的未知变量。在本范例实施例中,可针对由调整矩阵ΔH1,ΔH2,…,ΔHn与稳定矩阵Hstab为变量所形成的函式,以最小化此函式为限制条件,依据已知的每一待处理影像中的特征点与单应性转换矩阵进行数值运算,藉以计算出调整矩阵ΔH1,ΔH2,…,ΔHn与稳定矩阵Hstab的解。如下列数学式表示:
min Δ H n , H stab f ( Δ H n , H stab )
= min Δ H n , H stab Σ n | | x ′ n - H stab x ′ n - 1 | | 2 - - - ( 11 )
= min Δ H n , H stab Σ n | | Δ H n x n - H stab Δ H n - 1 x n - 1 | | 2
式(11)对于欲求解的调整矩阵ΔH1,ΔH2,…,ΔHn与稳定矩阵Hstab变量来说为非线性,因此可采用非线性最佳化方法求解,本范例实施例例如可采用一常见的连续二次规划法(SequentialQuadraticProgramming),由已知的所有xn以递归方式计算调整矩阵ΔH1,ΔH2,…,ΔHn与稳定矩阵Hstab的最佳解。在另一实施例,该等调整矩阵与该稳定矩阵为变数所形成之一函式,以最小化该函式为限制条件,依据已知的每一待处理影像中的该些特征点与该些单应性转换矩阵进行一最佳化数值运算,藉以计算出该调整矩阵与该稳定矩阵的最佳解。
回到图2,于步骤S250中,影像校正模块140凭借调整矩阵ΔH1,ΔH2,…,ΔHn分别对每一待处理影像进行扭曲补偿(warping),藉以产生相对应的多数个校正后影像。
举例说明,描述第1张待处理影像中其中的一像素点(x1,y1)位置与校正后像素点(x′1,y′1)位置的转换关系可由式(12)表不:
x 1 ′ y 1 ′ 1 = Δ H 1 x 1 y 1 1 = Δ h 11 Δ h 12 Δ h 13 Δ h 21 Δ h 22 Δ h 23 Δ h 31 Δ h 32 Δ h 33 x 1 y 1 1 - - - ( 12 )
凭借本范例实施例的步骤S210至步骤S250的影像处理流程之后,便可使校正后影像之间具有平滑稳定的转换关系。
一般解决移动载具上所撷取影像的稳定问题,主要困难度在于需成功分离移动载具本身移动的平滑轨迹与真正需矫正的暂时性晃动。由于移动载具本身移动的平滑轨迹为未知,常见的估测手法均假设平滑轨迹为某一形式(例如多项式),并寻找较佳的参数设定藉以近似此平滑轨迹。然而,移动载具的移动方式具有相当大的不确定性,参数设定的准确度限缩了一般影像稳定算法的通用性。
有鉴于此,本揭露的方法针对调整矩阵ΔH1,ΔH2,…,ΔHn与稳定矩阵Hstab作为变量来求解,并不需要进一步将稳定矩阵Hstab分解成为平移(Translation)、缩放(Scaling)、旋转(Rotation)等细部参数并且建立平滑化的模型。此做法以单一稳定矩阵参数取代三种参数,可包含各种平移、缩放、旋转的可能组合,兼顾了求解的简洁性和实用的广泛性。另一方面,本揭露的方法可适用于如车辆或飞机等不同的运动模型,无须根据不同的环境设定参数,通用性优于多项现有的已知技术。以下搭配附图说明本揭露与已知技术的区别。
图4A与图4B分别是根据本揭露另一范例实施例所绘示的已知技术与本揭露的方法对待处理影像的原始轨迹T_ori进行平滑化处理的示意图。如图4A所示,图4A的作法仅考虑平滑轨迹T_stab1的平滑程度,以最佳化平滑轨迹T_stab1为目标,并无考虑校正后影像之间的转换关系,因此,图4A的转换矩阵H1、H2、H3、H4并不一致,将会使得校正后影像在播放时会有忽快忽慢的情况,导致人眼观赏的不舒适感。相反地,请参照图4B,本揭露的作法不仅同时考虑平滑轨迹T_stab2的平滑程度,同时考虑校正后影像之间的转换关系,使得平滑轨迹T_stab2上的各点平均分布,意即校正后影像之间的转换关系具有一致性,因此校正后影像间具有相同的稳定矩阵Hstab2,据此,本揭露的校正后影像在播放时并不会有忽快忽慢的情况产生。
图5A与图5B分别是根据本揭露又一范例实施例所绘示的已知技术与本揭露的方法对待处理影像的原始轨迹T_ori进行平滑化处理的示意图。如图5A所示,此已知技术需选择一最佳参数,依据参数选择的不同其处理结果亦有所不同。其中平滑轨迹T_stab3依据第一取样率的参数所得的处理结果;平滑轨迹T_stab4为依据第二取样率的参数所得的处理结果。其中,第一取样率高于第二取样率,因此,平滑轨迹T_stab3的平滑程度低于平滑轨迹T_stab4。另一方面,如图5B所示,本揭露的作法并不限定稳定矩阵调整量的大小,例如Hstab5与Hstab6并不相同,因此对于各种不同待处理影像可寻找最适当的稳定矩阵,并且平滑轨迹T_stab5、T_stab6的平滑程度不随稳定矩阵的不同而改变。
综上所述,本揭露的影像稳定方法及影像稳定装置,可在不限定待处理影像本身平滑轨迹形式之下,将摇晃成分去除,达到视觉上稳定效果。本揭露同时考虑校正后影像的稳定性及其转换关系的一致性,无须寻找待处理影像在进行拍摄时的运动模型或设定影响平滑程度的参数,因此可适用于各种不同拍摄环境所撷取的待处理影像。由于考虑校正后影像之间具有一致性的转换关系,因此,校正后影像在播放时并不会有忽快忽慢的情况产生。良好的动态影像质量使得此技术可广泛运用于任何移动载具的拍摄,例如可应用于搭载影像撷取装置的飞机或车辆等,可为行车纪录器、自行车随行拍摄、飞机空拍等产业增加极大效益。
本发明的技术内容及技术特点已如上公开,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (14)

1.一种影像稳定方法,适于处理多数个待处理影像,该影像稳定方法,其特征在于,包括:
采用一特征点侦测法对每一待处理影像进行侦测,藉以侦测出每一待处理影像中的多数个特征点;
分析在相邻待处理影像中相同特征点的对应关系;
依据该些特征点的对应关系计算相邻待处理影像间的单应性转换矩阵;
依据已知的每一待处理影像中的该些特征点与该些单应性转换矩阵计算一稳定矩阵与对应每一待处理影像的一调整矩阵,该调整矩阵代表将每一待处理影像由原始轨迹调整至平滑轨迹位置所需做的不平滑校正调整;以及
分别凭借该调整矩阵对每一待处理影像进行补偿,藉以产生相对应的多数个校正后影像,
其中,相邻校正后影像中的第一影像乘上相同的该稳定矩阵后转换为相邻校正后影像中的第二影像。
2.如权利要求1所述的影像稳定方法,其特征在于,依据已知的每一待处理影像中的该些特征点与该些单应性转换矩阵计算该稳定矩阵与对应每一待处理影像的该调整矩阵的步骤包括:
针对由该调整矩阵与该稳定矩阵为变数所形成的一函式,以最小化该函式为限制条件,依据已知的每一待处理影像中的该些特征点与该些单应性转换矩阵进行一最佳化数值运算,藉以计算出该调整矩阵与该稳定矩阵的最佳解。
3.如权利要求2所述的影像稳定方法,其特征在于,该最佳化数值运算包括采用一非线性最佳化方法进行运算。
4.如权利要求3所述的影像稳定方法,其特征在于,该非线性最佳化方法包括二次规划法,以递归方式计算该调整矩阵与该稳定矩阵的解。
5.如权利要求1所述的影像稳定方法,其特征在于,分析在相邻待处理影像中相同特征点的对应关系的步骤包括:
分别侦测每一特征点在相邻待处理影像中的第一影像的位置对应至第二影像的位置的一移动向量。
6.如权利要求1所述的影像稳定方法,包括采用一特征点追踪方法分析在相邻待处理影像中相同特征点的对应关系,其特征在于,该特征点追踪方法包括采用一光流法藉以估算每一特征点的移动向量。
7.如权利要求1所述的影像稳定方法,其特征在于,该特征点侦测法包括采用一哈立斯特征点侦测法藉以侦测出每一待处理影像中的该些特征点。
8.一种影像稳定装置,适于处理多数个待处理影像,该影像稳定装置包括:
一特征点侦测与分析模块,对每一待处理影像进行侦测,藉以侦测出每一待处理影像中的多数个特征点,并且分析在相邻待处理影像中相同特征点的对应关系;
一单应性矩阵运算模块,耦接至该特征点侦测与分析模块,依据该些特征点的对应关系计算相邻待处理影像间的单应性转换矩阵;
一平滑化估测模块,耦接至该单应性矩阵运算模块,依据已知的每一待处理影像中的该些特征点与该些单应性转换矩阵计算一稳定矩阵与对应每一待处理影像的一调整矩阵,该调整矩阵代表将每一待处理影像由原始轨迹调整至平滑轨迹位置所需做的不平滑校正调整;以及
一影像校正模块,耦接至该平滑化估测模块,该影像校正模块分别凭借该调整矩阵对每一待处理影像进行补偿,藉以产生相对应的多数个校正后影像,
其中,相邻校正后影像中的第一影像乘上相同的该稳定矩阵后转换为相邻校正后影像中的第二影像。
9.如权利要求8所述的影像稳定装置,其特征在于,
该平滑化估测模块针对由该调整矩阵与该稳定矩阵为变数所形成的一函式,以最小化该函式为限制条件,依据已知的每一待处理影像中的该些特征点与该些单应性转换矩阵进行一最佳化数值运算,藉以计算出该调整矩阵与该稳定矩阵的最佳解。
10.如权利要求9所述的影像稳定装置,其特征在于,
该平滑化估测模块包括采用一非线性最佳化方法进行该数值运算。
11.如权利要求10所述的影像稳定装置,其特征在于,
该平滑化估测模块包括采用二次规划法作为该非线性最佳化方法,以递归方式计算该调整矩阵与该稳定矩阵的解。
12.如权利要求8所述的影像稳定装置,其特征在于,
该特征点侦测与分析模块分别侦测每一特征点在相邻待处理影像中的第一影像的位置对应至第二影像的位置的一移动向量。
13.如权利要求12所述的影像稳定装置,其特征在于,
该特征点侦测与分析模块包括采用一特征点追踪方法分析在相邻待处理影像中相同特征点的对应关系,其中该特征点追踪方法包括采用一光流法藉以估算每一特征点的移动向量。
14.如权利要求8所述的影像稳定装置,其特征在于,
该特征点侦测与分析模块采用一哈立斯特征点侦测法藉以侦测出每一待处理影像中的该些特征点。
CN201110461302.5A 2011-11-11 2011-12-30 影像稳定方法及影像稳定装置 Active CN103108108B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW100141253 2011-11-11
TW100141253A TWI469062B (zh) 2011-11-11 2011-11-11 影像穩定方法及影像穩定裝置

Publications (2)

Publication Number Publication Date
CN103108108A CN103108108A (zh) 2013-05-15
CN103108108B true CN103108108B (zh) 2016-08-03

Family

ID=48280719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110461302.5A Active CN103108108B (zh) 2011-11-11 2011-12-30 影像稳定方法及影像稳定装置

Country Status (3)

Country Link
US (1) US8879850B2 (zh)
CN (1) CN103108108B (zh)
TW (1) TWI469062B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9232139B2 (en) * 2012-07-24 2016-01-05 Apple Inc. Image stabilization using striped output transformation unit
US9374532B2 (en) 2013-03-15 2016-06-21 Google Inc. Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization
CN103679172B (zh) * 2013-10-10 2017-02-08 南京理工大学 一种通过转动红外探测器检测地面远距离运动目标的方法
TWI496115B (zh) * 2013-12-05 2015-08-11 Univ Nat Kaohsiung Applied Sci 移動攝影機之畫面穩定方法
CN103841298B (zh) * 2014-02-25 2017-05-10 浙江理工大学 一种基于颜色恒量和几何不变特征的视频稳像方法
TWI548566B (zh) * 2014-05-23 2016-09-11 國立臺北科技大學 多執行序全畫面即時光流估測方法
CN105450907B (zh) * 2014-07-31 2018-10-16 北京展讯高科通信技术有限公司 智能终端及其视频稳像系统模型参数的标定方法及装置
SG11201700834QA (en) * 2014-08-26 2017-03-30 Velano Vascular Inc Systems and methods for phlebotomy through a peripheral iv catheter
US9967461B2 (en) * 2015-10-14 2018-05-08 Google Inc. Stabilizing video using transformation matrices
US20170214674A1 (en) 2016-01-25 2017-07-27 Google Inc. Reducing latency
US10002435B2 (en) 2016-01-29 2018-06-19 Google Llc Detecting motion in images
CN106101616B (zh) * 2016-06-02 2019-05-17 中国科学技术大学 一种自适应的背景轨迹提取方法和装置
CN106101485B (zh) * 2016-06-02 2019-05-17 中国科学技术大学 一种基于反馈的前景轨迹判定方法和装置
CN106101615B (zh) * 2016-06-02 2019-01-11 中国科学技术大学 一种背景轨迹找回方法和装置
BR112019005759A2 (pt) 2016-09-23 2019-06-11 Qualcomm Inc processamento de imagem em um veículo autônomo não tripulado
US11747144B2 (en) * 2017-03-29 2023-09-05 Agency For Science, Technology And Research Real time robust localization via visual inertial odometry
US10462370B2 (en) 2017-10-03 2019-10-29 Google Llc Video stabilization
US10171738B1 (en) 2018-05-04 2019-01-01 Google Llc Stabilizing video to reduce camera and face movement
CN110493488B (zh) 2018-05-15 2021-11-26 株式会社理光 视频稳像方法、视频稳像装置和计算机可读存储介质
US10929982B2 (en) * 2019-01-25 2021-02-23 Google Llc Face pose correction based on depth information
US11470254B1 (en) 2019-06-21 2022-10-11 Gopro, Inc. Systems and methods for assessing stabilization of videos
CN110415186B (zh) * 2019-07-05 2021-07-20 浙江大华技术股份有限公司 一种图像去抖动的方法和设备
CN110991367A (zh) * 2019-12-09 2020-04-10 上海扩博智能技术有限公司 采集货柜商品售卖信息的方法、系统、设备和存储介质
CN113497861B (zh) * 2020-03-19 2022-06-24 武汉Tcl集团工业研究院有限公司 一种视频稳化方法及装置
US11190689B1 (en) 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization
CN112954134B (zh) * 2021-02-23 2022-08-30 中国科学院合肥物质科学研究院 一种车载稳像显示补偿方法及系统
TWI778785B (zh) * 2021-02-26 2022-09-21 明俐科技有限公司 即時影像的校正裝置及校正方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1913590A (zh) * 2005-08-09 2007-02-14 罗伯特·博世有限公司 用于视频摄像机的图像稳定系统和方法
CN101202911A (zh) * 2006-11-09 2008-06-18 英特尔公司 基于鲁棒主运动估计的数字视频稳定
CN102075686A (zh) * 2011-02-10 2011-05-25 北京航空航天大学 一种鲁棒的实时在线摄像机跟踪方法
CN102123244A (zh) * 2009-12-22 2011-07-13 英特尔公司 用于视频去抖动的修复的方法和装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5096802A (en) 1990-11-09 1992-03-17 Hewlett-Packard Company Holes and spaces shrinkage
US5608404A (en) 1993-06-23 1997-03-04 The United States Of America As Represented By The United States Department Of Energy Imaging synthetic aperture radar
JP3234138B2 (ja) 1995-10-12 2001-12-04 シャープ株式会社 画像安定化装置
US5736305A (en) 1996-01-23 1998-04-07 Fuji Photo Film Co., Ltd. Processing method for silver halide photosensitive materials and processor for the same
JP2002209136A (ja) 2001-01-05 2002-07-26 Canon Inc 撮影装置
JP4477783B2 (ja) 2001-01-29 2010-06-09 株式会社リコー 電子写真装置のレーザ発光制御
US20020130953A1 (en) 2001-03-13 2002-09-19 John Riconda Enhanced display of environmental navigation features to vehicle operator
JP4072348B2 (ja) 2002-01-25 2008-04-09 キヤノン株式会社 振れ補正装置、撮像装置、振れ補正方法、振れ補正装置の制御プログラム、及び記憶媒体
GB2407724B (en) 2003-10-31 2005-10-12 Hewlett Packard Development Co Image stabilization
US7382400B2 (en) * 2004-02-19 2008-06-03 Robert Bosch Gmbh Image stabilization system and method for a video camera
US20070182812A1 (en) 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US7440008B2 (en) 2004-06-15 2008-10-21 Corel Tw Corp. Video stabilization method
TWI272550B (en) 2005-01-03 2007-02-01 Quanta Comp Inc Apparatus and method for digital image stabilization
US7489341B2 (en) 2005-01-18 2009-02-10 Primax Electronics Ltd. Method to stabilize digital video motion
US20060170783A1 (en) 2005-01-28 2006-08-03 Stavely Donald J Adaptive response image stabilization
US8074394B2 (en) 2005-03-08 2011-12-13 Lowrey Iii John William Riflescope with image stabilization
US20060210007A1 (en) 2005-03-17 2006-09-21 Markku Koskelo Floating scanning and detection platforms
JP4595733B2 (ja) 2005-08-02 2010-12-08 カシオ計算機株式会社 画像処理装置
KR100866963B1 (ko) 2007-03-12 2008-11-05 삼성전자주식회사 수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을보정할 수 있는 디지털 영상 안정화 방법
US8446468B1 (en) * 2007-06-19 2013-05-21 University Of Southern California Moving object detection using a mobile infrared camera
CN101126639A (zh) 2007-09-18 2008-02-20 武汉大学 快速进行低空遥感影像自动匹配与空中三角测量方法
US8600189B2 (en) 2007-11-12 2013-12-03 Qualcomm Incorporated Block-based image stabilization
EP2243125B1 (en) * 2007-12-13 2020-04-29 Clemson University Research Foundation Vision based real time traffic monitoring
JP5348881B2 (ja) 2007-12-25 2013-11-20 セミコンダクター・コンポーネンツ・インダストリーズ・リミテッド・ライアビリティ・カンパニー 振動補償制御回路
JP5147384B2 (ja) 2007-12-25 2013-02-20 オンセミコンダクター・トレーディング・リミテッド 振動補償制御回路
TWI381719B (zh) 2008-02-18 2013-01-01 Univ Nat Taiwan 穩定全幅式視訊之方法
CN101668114A (zh) 2008-09-05 2010-03-10 华硕电脑股份有限公司 影像稳定方法及装置、以及使用其的影像传送与接收方法
US8848974B2 (en) 2008-09-29 2014-09-30 Restoration Robotics, Inc. Object-tracking systems and methods
JP5284048B2 (ja) * 2008-11-12 2013-09-11 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
TWI492188B (zh) 2008-12-25 2015-07-11 Univ Nat Chiao Tung 利用多攝影機自動偵測與追蹤多目標的方法及系統
US8396286B1 (en) * 2009-06-25 2013-03-12 Google Inc. Learning concepts for video annotation
GB0920191D0 (en) 2009-11-18 2010-01-06 St Microelectronics Res & Dev Optical image stabilisation
TW201120812A (en) 2009-12-04 2011-06-16 Huper Lab Co Ltd Stabilization method for vibrating video frames
TWI393074B (zh) 2009-12-10 2013-04-11 Ind Tech Res Inst 移動物體偵測裝置與方法
US8531535B2 (en) * 2010-10-28 2013-09-10 Google Inc. Methods and systems for processing a video for stabilization and retargeting
US8724854B2 (en) * 2011-04-08 2014-05-13 Adobe Systems Incorporated Methods and apparatus for robust video stabilization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1913590A (zh) * 2005-08-09 2007-02-14 罗伯特·博世有限公司 用于视频摄像机的图像稳定系统和方法
CN101202911A (zh) * 2006-11-09 2008-06-18 英特尔公司 基于鲁棒主运动估计的数字视频稳定
CN102123244A (zh) * 2009-12-22 2011-07-13 英特尔公司 用于视频去抖动的修复的方法和装置
CN102075686A (zh) * 2011-02-10 2011-05-25 北京航空航天大学 一种鲁棒的实时在线摄像机跟踪方法

Also Published As

Publication number Publication date
US8879850B2 (en) 2014-11-04
TWI469062B (zh) 2015-01-11
US20130121597A1 (en) 2013-05-16
TW201319954A (zh) 2013-05-16
CN103108108A (zh) 2013-05-15

Similar Documents

Publication Publication Date Title
CN103108108B (zh) 影像稳定方法及影像稳定装置
US9665804B2 (en) Systems and methods for tracking an object
US8606035B2 (en) Image processing apparatus and image processing method
US9576375B1 (en) Methods and systems for detecting moving objects in a sequence of image frames produced by sensors with inconsistent gain, offset, and dead pixels
US20190378250A1 (en) Image processing method, device and photographic apparatus
CN101383899A (zh) 一种空基平台悬停视频稳像方法
EP3654234B1 (en) Moving object detection system and method
US20120154604A1 (en) Camera recalibration system and the method thereof
CN110147750B (zh) 一种基于运动加速度的图像搜索方法、系统及电子设备
CN110555377B (zh) 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法
KR20160020172A (ko) 도로에서의 차선 검출 방법 및 장치
US20150149105A1 (en) Accuracy compensation system, method, and device
Pedro et al. Adaptive image features for intra-hour solar forecasts
Jiao et al. Comparing representations in tracking for event camera-based slam
US20110037860A1 (en) Correction of Captured and Stabilized Images
CN105100546A (zh) 运动估计方法及装置
CN102055884B (zh) 一种视频图像的稳像控制方法、系统及视频分析系统
US20120134535A1 (en) Method for adjusting parameters of video object detection algorithm of camera and the apparatus using the same
CN110708465B (zh) 视频抖动校正方法、装置、可读存储介质及电子设备
US8264462B2 (en) Motion estimation with adaptation of the correlation block size
US11132586B2 (en) Rolling shutter rectification in images/videos using convolutional neural networks with applications to SFM/SLAM with rolling shutter images/videos
US9886768B2 (en) Visual tracking of an object
Ramakrishnan et al. Adaptive window strategy for high-speed and robust KLT feature tracker
CN107977986A (zh) 一种运动轨迹的预测方法及装置
CN102131078B (zh) 一种视频图像校正方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant