CN103108108A - 影像稳定方法及影像稳定装置 - Google Patents
影像稳定方法及影像稳定装置 Download PDFInfo
- Publication number
- CN103108108A CN103108108A CN2011104613025A CN201110461302A CN103108108A CN 103108108 A CN103108108 A CN 103108108A CN 2011104613025 A CN2011104613025 A CN 2011104613025A CN 201110461302 A CN201110461302 A CN 201110461302A CN 103108108 A CN103108108 A CN 103108108A
- Authority
- CN
- China
- Prior art keywords
- image
- matrix
- pending
- pending image
- characteristic point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000000087 stabilizing effect Effects 0.000 title claims description 27
- 239000011159 matrix material Substances 0.000 claims abstract description 93
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 238000012937 correction Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000009499 grossing Methods 0.000 claims description 17
- 230000007704 transition Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000006641 stabilisation Effects 0.000 abstract description 4
- 238000011105 stabilization Methods 0.000 abstract description 4
- 230000009466 transformation Effects 0.000 abstract 2
- 230000033001 locomotion Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 239000011435 rock Substances 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000001915 proofreading effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000014616 translation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000288673 Chiroptera Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
一种影像稳定方法及影像稳定装置。影像稳定方法包括先采用特征点侦测法对每一待处理影像进行侦测,藉以侦测出每一待处理影像中的多数个特征点。并分析在相邻待处理影像中相同特征点的对应关系。依据相同特征点的对应关系计算相邻待处理影像间的单应性转换矩阵。再依据已知的特征点与单应性转换矩阵计算稳定矩阵与对应每一待处理影像的调整矩阵。分别凭借调整矩阵对每一待处理影像进行补偿,藉以产生校正后影像。其中,相邻校正后影像中的第一影像乘上相同的稳定矩阵后转换为相邻校正后影像中的第二影像。
Description
技术领域
本揭露是关于一种影像处理方法及影像处理装置,且特别是关于一种影像稳定方法及影像稳定装置。
背景技术
近来摄影机广泛架设,除了运用在监控系统之外,亦大量应用于车辆或飞机等移动载具当中。不论应用领域如何,摄影机都暴露在易受外界因素影响的环境中,例如偶发的风吹摇晃或来自移动载具本身的晃动,皆会导致摄影机所拍摄的影像内容因摇晃而造成视觉上的困扰,除此之外更会影响后续影像分析的效能,因此影像稳定遂成为影像处理技术当中的重要课题。
顺应摄影机架设环境的不同,大致可分类为固定式摄影机或移动式摄影机。固定式摄影机的影像稳定通常进行简易的前景与背景比对,将前景出现的移动量去除,意即达到完全停格的目标即可。移动式摄影机本身通常依循一平滑轨迹移动,此平滑轨迹为使用者欲保留的移动轨迹,不能去除。因此分离影像中的平滑轨迹移动量与摇晃成分移动量即为移动式摄影机探讨影像稳定的关键议题。
针对估测平滑轨迹的方法,常见的作法有三大方向:第一个方向为使用参数式来近似所观察到的不平滑轨迹,找寻参数式中近似效果最佳的参数。参数式可为平均化、线性或多项式等,一旦近似效果最佳的参数被决定后,平滑轨迹亦同时被决定,而观察轨迹中超出此平滑轨迹的成分即被视为摇晃成分,须予以去除。
参数式的缺点有二。其一为模型的限定性,即根据运动模型的不同(如车辆与飞机的差别),需事先选择最适用的模型,若选择出现差错即导致效果不佳。举例来说,如针对多项式轨迹难以用线性模型描述,此时若误选线性模型则导致效果不佳。由此,运动模型的选择容易耗费许多人力与精神。另一为模型与参数的选定须兼顾平滑轨迹程度与近似程度的两难,通常近似程度较高则无法达到良好的平滑效果。举例而言,高阶多项式的轨迹弯曲程度较高,较忠于摄影机本身的观察轨迹,但平滑程度较低。相反地,平滑程度较高则易将摄影机本身的观察轨迹一并去除。具上所述,如何选择适当的模型以及调整平滑轨迹程度与近似程度的参数实为一棘手问题。
第二个方向为使用卡曼滤波器(Kalman Filter)来近似所观察到的不平滑轨迹,利用过去时间点的数据特性来预估未来时间点的数据特性。换句话说,即利用过去时间点的轨迹来预估未来可能的平滑轨迹,并将此平滑轨迹以外的摇晃成份去除。
卡曼滤波器的第一项缺点为过去时间点的数据特性不易完全预测未来时间点的数据特性,而影响估测的稳定度。再者恰当的参数选择亦是一问题点,因为此法必须设定可容许的平滑振幅参数,若振幅愈小则愈平滑,但易去除摄影机本身的观察轨迹;振幅愈大则愈忠于摄影机本身的观察轨迹,但平滑效果受影响。因此如何设定恰当的平滑振幅参数亦为难解的棘手问题。
第三个方向则为前景去除法,此方法主要分析影像内容,将前景移动量与背景移动量分离。此方法因需对影像内容做进一步的运算。此外,当背景剧烈摇晃时,无法清楚区隔前景与背景移动量,可用性相对受限。
综上所述,一种可找寻摄影机适当的平滑轨迹,并将风吹摇晃、拍摄者的手震等外力因素所造成的摇晃成分去除的影像稳定装置及影像稳定方法,实为本领域一待解决的问题。
发明内容
为解决上述问题,本发明提出一种影像稳定方法及影像稳定装置,利用特征点侦测法与追踪,计算一单应性转换,藉以描述从一影像至下一影像的转换关系,并且使两相邻校正后影像间的转换关系具有一致性,进而达到影像稳定效果。
本揭露提出一种影像稳定方法,其适于处理多数个待处理影像,影像稳定方法包括下列步骤。先采用特征点侦测法对每一待处理影像进行侦测,藉以侦测出每一待处理影像中的多数个特征点。并且分析在相邻待处理影像中相同特征点的对应关系。此外,依据这些特征点的对应关系计算相邻待处理影像间的单应性(homography)转换矩阵。再依据已知的每一待处理影像中的特征点与单应性转换矩阵计算稳定矩阵与对应每一待处理影像的调整矩阵。分别凭借调整矩阵对每一待处理影像进行补偿,藉以产生相对应的多数个校正后影像。其中,相邻校正后影像中的第一影像乘上相同的稳定矩阵后转换为相邻校正后影像中的第二影像。
本揭露另提出一种影像稳定装置,其适于处理多数个待处理影像。影像稳定装置包括特征点侦测与分析模块、单应性矩阵运算模块、平滑化估测模块以及影像校正模块。其中,特征点侦测与分析模块对每一待处理影像进行侦测,藉以侦测出每一待处理影像中的多数个特征点,并且分析在相邻待处理影像中相同特征点的对应关系。单应性矩阵运算模块耦接至特征点分析模块,依据特征点的对应关系计算相邻待处理影像间的单应性转换矩阵。平滑化估测模块耦接至单应性矩阵运算模块,依据已知的每一待处理影像中的特征点与单应性转换矩阵计算稳定矩阵与对应每一待处理影像的调整矩阵。影像校正模块耦接至平滑化估测模块,影像校正模块分别凭借调整矩阵对每一待处理影像进行补偿,藉以产生相对应的多数个校正后影像。其中,相邻校正后影像中的第一影像乘上相同的该稳定矩阵后转换为相邻校正后影像中的第二影像。
基于上述,本揭露提出一种影像稳定方法及影像稳定装置,无须寻找待处理影像进行拍摄时的运动模型或设定影响平滑程度的参数,可避免因参数设定不恰当而导致稳定效果不佳,因此,可适用于各种不同拍摄环境所撷取的待处理影像。
为让本揭露的上述特征和优点能更明显易懂,下文特举实施范例,并配合所附附图作详细说明如下。
附图说明
图1是根据本揭露一范例实施例所绘示的影像稳定装置的方块图;
图2是根据本揭露一范例实施例所绘示的影像稳定方法的流程图;
图3A是根据本揭露一范例实施例所绘示的待处理影像的原始轨迹T_ori的示意图;
图3B是根据本揭露一范例实施例所绘示的待处理影像的原始轨迹T_ori与平滑轨迹T_stab的示意图;
图4A与图4B分别是根据本揭露另一范例实施例所绘示的已知技术与本揭露的方法对待处理影像的原始轨迹T_ori进行平滑化处理的示意图;
图5A与图5B分别是根据本揭露又一范例实施例所绘示的已知技术与本揭露的方法对待处理影像的原始轨迹T_ori进行平滑化处理的示意图。
附图标记
100:影像稳定装置
110:特征点侦测与分析模块
120:单应性矩阵运算模块
130:平滑化估测模块
140:影像校正模块
T_ori:原始轨迹
T_stab、T_stabl~T_stab6:平滑轨迹
xn:第n张待处理影像中各特征点的坐标
x′n第n张校正后影像中各特征点的坐标
ΔHn:第n张待处理影像的调整矩阵
Hstab2、Hstab5、Hstab6:稳定矩阵
H1~H4:转换矩阵
S210~S250:影像稳定方法的各步骤
具体实施方式
下面结合附图,对本发明做进一步的详细描述。
本揭露提出一通用性高的影像稳定技术,使校正后影像的间的转换关系具有一致性,并且对于转换的一致性须为何种型式并无限定,因此可适用于各种拍摄环境,在环境改变时亦无须如已知技术所述重新寻找并设定参数。为了使本揭露的内容更为明了,以下列举实施例作为本揭露确实能够据以实施的范例。所提出的实施例仅作为解说之用,并非用来限定本揭露的申请权利范围。
图1是根据本揭露一范例实施例所绘示的影像稳定装置的方块图,请参照图1。在一范例实施例中,影像稳定装置例如是摄影机、单眼相机、数字相机等本身具有影像撷取功能的电子装置,意即可直接利用自身所撷取的影像进行本揭露的影像稳定处理。在另一范例实施例中,影像稳定装置可不具备影像撷取功能,影像稳定装置可透过有线或无线等各种传输数据模块接收欲处理的多数个待处理影像。接下来详细说明本揭露的影像稳定装置。
如图1所示,影像稳定装置100包括特征点侦测与分析模块110、单应性矩阵运算模块120、平滑化估测模块130以及影像校正模块140。其中,单应性矩阵运算模块120耦接至特征点侦测与分析模块110,而平滑化估测模块130则串接于单应性矩阵运算模块120与影像校正模块140之间。
上述各模块可由软件、硬件或其组合实作而得,在此不加以限制。软件例如是应用程序或驱动程序等。硬件例如是中央处理单元(CentralProcessing Unit,CPU),或是其它可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor,DSP)、特殊应用集成电路(Application Specific Integrated Circuit,ASIC)等装置。
图2是根据本揭露一范例实施例所绘示的影像稳定方法的流程图。本范例实施例的方法适用于图1的影像稳定装置100,以下即搭配图1中的各模块说明本范例实施例的影像稳定方法的详细步骤。
于步骤S210中,特征点侦测与分析模块110采用特征点侦测法对每一待处理影像进行侦测,藉以侦测出每一待处理影像中的多数个特征点,并且于步骤S220中分析在相邻待处理影像中相同特征点的对应关系。详言之,特征点侦测与分析模块110必须先侦测出每一待处理影像中的特征点,才能于相邻待处理影像之间进行特征点的追踪。
在本范例实施例中,特征点侦测与分析模块110采用一种哈立斯(Harris)特征点侦测算法,然本揭露并不限于此。哈立斯特征点侦测算法乃是凭借观察一张待处理影像中局部的矩形区域,将这个矩形区域朝向待处理影像中不同的方向作些微的移动,来了解矩形区域中灰阶变化的强弱。凭借观察灰阶变化的特性,可以设计出相对应的响应函式,来判断该点是否为哈立斯特征点。
以下将以数学式来说明哈立斯特征点的寻找方法,在描述矩形区域于各方向移动后其变化的总和时,可得一2x2的对称(symmetric)矩阵Z,而分析其特征值λ1与λ2则可作为响应函式,来判断矩形区域中心点是否为哈立斯特征点:
R(Z)=det(Z)-k·trace2(Z)
(1)
=λ1λ2-k·(λ1+λ2)2
其中k为一常数值,凭借函式R的计算,即可挑选出待处理影像内响应最大的前m个点,作为后续追踪运算的依据,其中m为正整数。
在待处理影像内侦测出特征点后,便可接续步骤S220,分别侦测每一特征点在相邻待处理影像中的第一影像的位置对应至第二影像的位置的一移动向量,换句话说,即为特征点的追踪。在本范例实施例中则以光流法进行估测。假设同一特征点pi于第t张待处理影像与第(t+Δt)张待处理影像中具有不变性,该Δt为自然数。
It(x,y)=It+Δt(x +u,y+v) (2)
其中,It(x,y)为特征点pi于第t张待处理影像中的位置;It+Δt(x+u,y+v)为特征点pi于第(t+Δt)张待处理影像中的位置;故(u,v)表示特征点pi的移动向量。凭借泰勒展开式将式(2)的右项展开:
考虑到特征点pi满足外貌不变性,则结合式(2)及式(3),可得以下近似结果:
0=It+Δt(x+u,y+v)-It(x,y)
(4)
≈It+Ixu+Iyv
其中 与
由于式(4)有两个未知数u及v,但仅有一方程式,因此假设特征点pi附近的点亦有相同的移动向量,考虑以特征点pi为中心的一r×r窗口,r为一正整数,即有充分信息可解出未知数u及v,即该特征点的移动向量。
接续步骤S230,单应性矩阵运算模块120耦接至特征点分析模块110,依据特征点的对应关系计算相邻待处理影像间的单应性转换矩阵。详言之,所谓的单应性透视投影转换,是计算相同一平面于不同视角的转换关系,假设a和b分别为不同时间点的广角摄影机位置,Qi则为该平面上被拍摄的任一点。令aQi和bQi分别为Qi在a及b中的投影。则可令:
aQi=Hba·bQi (5)
其中Hba为一3x3矩阵,如式(6)所示:
举例说明,描述同一特征点于第t张待处理影像中(xi,yi)位置至第(t+Δt)张待处理影像中(xt+Δt,yt+Δt)位置的转换关系可由式(7)表示:
由于在步骤S220中已透过光流法做特征点追踪,意即前后相邻两张待处理影像的相同特征点的对应关系为已知,因此,将相同特征点的对应关系代入式(6),透过最小平方和法,即可求得单应性转换矩阵Hba。然本揭露并不限于此法求得单应性转换矩阵Hba。
接下来,于步骤S240中,耦接至单应性矩阵运算模块120的平滑化估测模块130依据已知的每一待处理影像中的特征点与单应性转换矩阵计算稳定矩阵与对应每一待处理影像的调整矩阵。
图3A是根据本揭露一范例实施例所绘示的待处理影像的原始轨迹T_ori的示意图,请参照图3A。
假设一组待处理影像共有n张,n为一正整数,举例来说,第1张待处理影像至第2张待处理影像之间单应性投影转换可表示为x2=H1,2x1;第2张待处理影像至第3张待处理影像之间单应性投影转换可表示为x3=H2,3x2;意即
xn=Hn-1,nxn-1 (8)
其中,xn为第n张待处理影像中各特征点的坐标,Hn-1,n为描述第(n-1)张至第n张待处理影像的单应性转换矩阵。此转换可能包含未知的平滑与不平滑的成分,本揭露假设平滑成分在此n张待处理影像之间均不改变,因此欲求得每一张待处理影像需经过多少数量的调整,才能使此组待处理影像呈现平滑轨迹。图3B是根据本揭露一范例实施例所绘示的待处理影像的原始轨迹T_ori与平滑轨迹T_stab的示意图,请配合参照图3B。原始轨迹T_ori与平滑轨迹T_stab的调整关系为x′1=ΔH1x1,x′2=ΔH2x2,依此类推:
x′n=ΔHnxn (9)
其中,ΔHn为第n张待处理影像的调整矩阵,调整矩阵代表将每一待处理影像由原始轨迹T_ori调整至平滑轨迹T_stab位置所需做的不平滑校正调整。
换句话说,本揭露的每一待处理影像在经过调整矩阵的校正后,目标是为了使每一校正后影像之间具有平滑稳定的转换关系,x′2=Hstabx′1,x′3=Hstabx′2,依此类推:
x′n=Hstabx′n-1 (10)
其中,Hstab为稳定矩阵,每一校正后影像之间的转换关系皆可透过相同的稳定矩阵Hstab进行转换。换句话说,相邻校正后影像中的第一影像乘上相同的稳定矩阵Hstab后转换为相邻校正后影像中的第二影像。
具上所述,式(9)与式(10)中的ΔH1,ΔH2,…,ΔHn与Hstab即为欲求解的未知变量。在本范例实施例中,可针对由调整矩阵ΔH1,ΔH2,…,ΔHn与稳定矩阵Hstab为变量所形成的函式,以最小化此函式为限制条件,依据已知的每一待处理影像中的特征点与单应性转换矩阵进行数值运算,藉以计算出调整矩阵ΔH1,ΔH2,…,ΔHn与稳定矩阵Hstab的解。如下列数学式表示:
式(11)对于欲求解的调整矩阵ΔH1,ΔH2,…,ΔHn与稳定矩阵Hstab变量来说为非线性,因此可采用非线性最佳化方法求解,本范例实施例例如可采用一常见的连续二次规划法(Sequential Quadratic Programming),由已知的所有xn以递归方式计算调整矩阵ΔH1,ΔH2,…,ΔHn与稳定矩阵Hstab的最佳解。在另一实施例,该等调整矩阵与该稳定矩阵为变数所形成之一函式,以最小化该函式为限制条件,依据已知的每一待处理影像中的该些特征点与该些单应性转换矩阵进行一最佳化数值运算,藉以计算出该调整矩阵与该稳定矩阵的最佳解。
回到图2,于步骤S250中,影像校正模块140凭借调整矩阵ΔH1,ΔH2,…,ΔHn分别对每一待处理影像进行扭曲补偿(warping),藉以产生相对应的多数个校正后影像。
举例说明,描述第1张待处理影像中其中的一像素点(x1,y1)位置与校正后像素点(x′1,y′1)位置的转换关系可由式(12)表不:
凭借本范例实施例的步骤S210至步骤S250的影像处理流程之后,便可使校正后影像之间具有平滑稳定的转换关系。
一般解决移动载具上所撷取影像的稳定问题,主要困难度在于需成功分离移动载具本身移动的平滑轨迹与真正需矫正的暂时性晃动。由于移动载具本身移动的平滑轨迹为未知,常见的估测手法均假设平滑轨迹为某一形式(例如多项式),并寻找较佳的参数设定藉以近似此平滑轨迹。然而,移动载具的移动方式具有相当大的不确定性,参数设定的准确度限缩了一般影像稳定算法的通用性。
有鉴于此,本揭露的方法针对调整矩阵ΔH1,ΔH2,…,ΔHn与稳定矩阵Hstab作为变量来求解,并不需要进一步将稳定矩阵Hstab分解成为平移(Translation)、缩放(Scaling)、旋转(Rotation)等细部参数并且建立平滑化的模型。此做法以单一稳定矩阵参数取代三种参数,可包含各种平移、缩放、旋转的可能组合,兼顾了求解的简洁性和实用的广泛性。另一方面,本揭露的方法可适用于如车辆或飞机等不同的运动模型,无须根据不同的环境设定参数,通用性优于多项现有的已知技术。以下搭配附图说明本揭露与已知技术的区别。
图4A与图4B分别是根据本揭露另一范例实施例所绘示的已知技术与本揭露的方法对待处理影像的原始轨迹T_ori进行平滑化处理的示意图。如图4A所示,图4A的作法仅考虑平滑轨迹T_stab1的平滑程度,以最佳化平滑轨迹T_stab1为目标,并无考虑校正后影像之间的转换关系,因此,图4A的转换矩阵H1、H2、H3、H4并不一致,将会使得校正后影像在播放时会有忽快忽慢的情况,导致人眼观赏的不舒适感。相反地,请参照图4B,本揭露的作法不仅同时考虑平滑轨迹T_stab2的平滑程度,同时考虑校正后影像之间的转换关系,使得平滑轨迹T_stab2上的各点平均分布,意即校正后影像之间的转换关系具有一致性,因此校正后影像间具有相同的稳定矩阵Hstab2,据此,本揭露的校正后影像在播放时并不会有忽快忽慢的情况产生。
图5A与图5B分别是根据本揭露又一范例实施例所绘示的已知技术与本揭露的方法对待处理影像的原始轨迹T_ori进行平滑化处理的示意图。如图5A所示,此已知技术需选择一最佳参数,依据参数选择的不同其处理结果亦有所不同。其中平滑轨迹T_stab3依据第一取样率的参数所得的处理结果;平滑轨迹T_stab4为依据第二取样率的参数所得的处理结果。其中,第一取样率高于第二取样率,因此,平滑轨迹T_stab3的平滑程度低于平滑轨迹T_stab4。另一方面,如图5B所示,本揭露的作法并不限定稳定矩阵调整量的大小,例如Hstab5与Hstab6并不相同,因此对于各种不同待处理影像可寻找最适当的稳定矩阵,并且平滑轨迹T_stab5、T_stab6的平滑程度不随稳定矩阵的不同而改变。
综上所述,本揭露的影像稳定方法及影像稳定装置,可在不限定待处理影像本身平滑轨迹形式之下,将摇晃成分去除,达到视觉上稳定效果。本揭露同时考虑校正后影像的稳定性及其转换关系的一致性,无须寻找待处理影像在进行拍摄时的运动模型或设定影响平滑程度的参数,因此可适用于各种不同拍摄环境所撷取的待处理影像。由于考虑校正后影像之间具有一致性的转换关系,因此,校正后影像在播放时并不会有忽快忽慢的情况产生。良好的动态影像质量使得此技术可广泛运用于任何移动载具的拍摄,例如可应用于搭载影像撷取装置的飞机或车辆等,可为行车纪录器、自行车随行拍摄、飞机空拍等产业增加极大效益。
本发明的技术内容及技术特点已如上公开,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (14)
1.一种影像稳定方法,适于处理多数个待处理影像,该影像稳定方法,其特征在于,包括:
采用一特征点侦测法对每一待处理影像进行侦测,藉以侦测出每一待处理影像中的多数个特征点;
分析在相邻待处理影像中相同特征点的对应关系;
依据该些特征点的对应关系计算相邻待处理影像间的一单应性转换矩阵;
依据已知的每一待处理影像中的该些特征点与该些单应性转换矩阵计算一稳定矩阵与对应每一待处理影像的一调整矩阵;以及
分别凭借该调整矩阵对每一待处理影像进行补偿,藉以产生相对应的多数个校正后影像,
其中,相邻校正后影像中的第一影像乘上相同的该稳定矩阵后转换为相邻校正后影像中的第二影像。
2.如权利要求1所述的影像稳定方法,其特征在于,依据已知的每一待处理影像中的该些特征点与该些单应性转换矩阵计算该稳定矩阵与对应每一待处理影像的该调整矩阵的步骤包括:
针对由该调整矩阵与该稳定矩阵为变数所形成的一函式,以最小化该函式为限制条件,依据已知的每一待处理影像中的该些特征点与该些单应性转换矩阵进行一最佳化数值运算,藉以计算出该调整矩阵与该稳定矩阵的最佳解。
3.如权利要求2所述的影像稳定方法,其特征在于,该最佳化数值运算包括采用一非线性最佳化方法进行运算。
4.如权利要求3所述的影像稳定方法,其特征在于,该非线性最佳化方法包括二次规划法,以递归方式计算该调整矩阵与该稳定矩阵的解。
5.如权利要求1所述的影像稳定方法,其特征在于,分析在相邻待处理影像中相同特征点的对应关系的步骤包括:
分别侦测每一特征点在相邻待处理影像中的第一影像的位置对应至第二影像的位置的一移动向量。
6.如权利要求1所述的影像稳定方法,包括采用一特征点追踪方法分析在相邻待处理影像中相同特征点的对应关系,其特征在于,该特征点追踪方法包括采用一光流法藉以估算每一特征点的移动向量。
7.如权利要求1所述的影像稳定方法,其特征在于,该特征点侦测法包括采用一哈立斯特征点侦测法藉以侦测出每一待处理影像中的该些特征点。
8.一种影像稳定装置,适于处理多数个待处理影像,该影像稳定装置包括:
一特征点侦测与分析模块,对每一待处理影像进行侦测,藉以侦测出每一待处理影像中的多数个特征点,并且分析在相邻待处理影像中相同特征点的对应关系;
一单应性矩阵运算模块,耦接至该特征点分析模块,依据该些特征点的对应关系计算相邻待处理影像间的一单应性转换矩阵;
一平滑化估测模块,耦接至该单应性矩阵运算模块,依据已知的每一待处理影像中的该些特征点与该些单应性转换矩阵计算一稳定矩阵与对应每一待处理影像的一调整矩阵;以及
一影像校正模块,耦接至该平滑化估测模块,该影像校正模块分别凭借该调整矩阵对每一待处理影像进行补偿,藉以产生相对应的多数个校正后影像,
其中,相邻校正后影像中的第一影像乘上相同的该稳定矩阵后转换为相邻校正后影像中的第二影像。
9.如权利要求8所述的影像稳定装置,其特征在于,
该平滑化估测模块针对由该调整矩阵与该稳定矩阵为变数所形成的一函式,以最小化该函式为限制条件,依据已知的每一待处理影像中的该些特征点与该些单应性转换矩阵进行一最佳化数值运算,藉以计算出该调整矩阵与该稳定矩阵的最佳解。
10.如权利要求9所述的影像稳定装置,其特征在于,
该平滑化估测模块包括采用一非线性最佳化方法进行该数值运算。
11.如权利要求10所述的影像稳定装置,其特征在于,
该平滑化估测模块包括采用二次规划法作为该非线性最佳化方法,以递归方式计算该调整矩阵与该稳定矩阵的解。
12.如权利要求8所述的影像稳定装置,其特征在于,
该特征点侦测与分析模块分别侦测每一特征点在相邻待处理影像中的第一影像的位置对应至第二影像的位置的一移动向量。
13.如权利要求12所述的影像稳定装置,其特征在于,
该特征点侦测与分析模块包括采用一特征点追踪方法分析在相邻待处理影像中相同特征点的对应关系,其中该特征点追踪方法包括采用一光流法藉以估算每一特征点的移动向量。
14.如权利要求8所述的影像稳定装置,其特征在于,
该特征点侦测与分析模块采用一哈立斯特征点侦测法藉以侦测出每一待处理影像中的该些特征点。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW100141253 | 2011-11-11 | ||
TW100141253A TWI469062B (zh) | 2011-11-11 | 2011-11-11 | 影像穩定方法及影像穩定裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103108108A true CN103108108A (zh) | 2013-05-15 |
CN103108108B CN103108108B (zh) | 2016-08-03 |
Family
ID=48280719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110461302.5A Active CN103108108B (zh) | 2011-11-11 | 2011-12-30 | 影像稳定方法及影像稳定装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8879850B2 (zh) |
CN (1) | CN103108108B (zh) |
TW (1) | TWI469062B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103841298A (zh) * | 2014-02-25 | 2014-06-04 | 浙江理工大学 | 一种基于颜色恒量和几何不变特征的视频稳像方法 |
CN105450907A (zh) * | 2014-07-31 | 2016-03-30 | 北京展讯高科通信技术有限公司 | 智能终端及其视频稳像系统模型参数的标定方法及装置 |
CN106101616A (zh) * | 2016-06-02 | 2016-11-09 | 中国科学技术大学 | 一种自适应的背景轨迹提取方法和装置 |
CN106101485A (zh) * | 2016-06-02 | 2016-11-09 | 中国科学技术大学 | 一种基于反馈的前景轨迹判定方法和装置 |
CN106101615A (zh) * | 2016-06-02 | 2016-11-09 | 中国科学技术大学 | 一种背景轨迹找回方法和装置 |
CN103679172B (zh) * | 2013-10-10 | 2017-02-08 | 南京理工大学 | 一种通过转动红外探测器检测地面远距离运动目标的方法 |
CN113344816A (zh) * | 2015-10-14 | 2021-09-03 | 谷歌有限责任公司 | 稳定视频 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9232139B2 (en) * | 2012-07-24 | 2016-01-05 | Apple Inc. | Image stabilization using striped output transformation unit |
US9374532B2 (en) * | 2013-03-15 | 2016-06-21 | Google Inc. | Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization |
TWI496115B (zh) * | 2013-12-05 | 2015-08-11 | Univ Nat Kaohsiung Applied Sci | 移動攝影機之畫面穩定方法 |
TWI548566B (zh) * | 2014-05-23 | 2016-09-11 | 國立臺北科技大學 | 多執行序全畫面即時光流估測方法 |
ES2763448T3 (es) * | 2014-08-26 | 2020-05-28 | Velano Vascular Inc | Aparato para flebotomía a través de un catéter intravenoso periférico |
US20170214674A1 (en) | 2016-01-25 | 2017-07-27 | Google Inc. | Reducing latency |
US10002435B2 (en) | 2016-01-29 | 2018-06-19 | Google Llc | Detecting motion in images |
EP3516860A4 (en) | 2016-09-23 | 2020-05-27 | Qualcomm Incorporated | IMAGE PROCESSING IN AN UNMANNED AUTONOMOUS VEHICLE |
SG10202110833PA (en) * | 2017-03-29 | 2021-11-29 | Agency Science Tech & Res | Real time robust localization via visual inertial odometry |
US10462370B2 (en) | 2017-10-03 | 2019-10-29 | Google Llc | Video stabilization |
US10171738B1 (en) | 2018-05-04 | 2019-01-01 | Google Llc | Stabilizing video to reduce camera and face movement |
CN110493488B (zh) | 2018-05-15 | 2021-11-26 | 株式会社理光 | 视频稳像方法、视频稳像装置和计算机可读存储介质 |
US10929982B2 (en) * | 2019-01-25 | 2021-02-23 | Google Llc | Face pose correction based on depth information |
US11470254B1 (en) | 2019-06-21 | 2022-10-11 | Gopro, Inc. | Systems and methods for assessing stabilization of videos |
CN110415186B (zh) * | 2019-07-05 | 2021-07-20 | 浙江大华技术股份有限公司 | 一种图像去抖动的方法和设备 |
CN110991367A (zh) * | 2019-12-09 | 2020-04-10 | 上海扩博智能技术有限公司 | 采集货柜商品售卖信息的方法、系统、设备和存储介质 |
CN113497861B (zh) * | 2020-03-19 | 2022-06-24 | 武汉Tcl集团工业研究院有限公司 | 一种视频稳化方法及装置 |
US11190689B1 (en) | 2020-07-29 | 2021-11-30 | Google Llc | Multi-camera video stabilization |
CN112954134B (zh) * | 2021-02-23 | 2022-08-30 | 中国科学院合肥物质科学研究院 | 一种车载稳像显示补偿方法及系统 |
TWI778785B (zh) * | 2021-02-26 | 2022-09-21 | 明俐科技有限公司 | 即時影像的校正裝置及校正方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1913590A (zh) * | 2005-08-09 | 2007-02-14 | 罗伯特·博世有限公司 | 用于视频摄像机的图像稳定系统和方法 |
CN101202911A (zh) * | 2006-11-09 | 2008-06-18 | 英特尔公司 | 基于鲁棒主运动估计的数字视频稳定 |
US20100118156A1 (en) * | 2008-11-12 | 2010-05-13 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus and image processing method |
CN102075686A (zh) * | 2011-02-10 | 2011-05-25 | 北京航空航天大学 | 一种鲁棒的实时在线摄像机跟踪方法 |
CN102123244A (zh) * | 2009-12-22 | 2011-07-13 | 英特尔公司 | 用于视频去抖动的修复的方法和装置 |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5096802A (en) | 1990-11-09 | 1992-03-17 | Hewlett-Packard Company | Holes and spaces shrinkage |
US5608404A (en) | 1993-06-23 | 1997-03-04 | The United States Of America As Represented By The United States Department Of Energy | Imaging synthetic aperture radar |
JP3234138B2 (ja) | 1995-10-12 | 2001-12-04 | シャープ株式会社 | 画像安定化装置 |
US5736305A (en) | 1996-01-23 | 1998-04-07 | Fuji Photo Film Co., Ltd. | Processing method for silver halide photosensitive materials and processor for the same |
JP2002209136A (ja) | 2001-01-05 | 2002-07-26 | Canon Inc | 撮影装置 |
JP4477783B2 (ja) | 2001-01-29 | 2010-06-09 | 株式会社リコー | 電子写真装置のレーザ発光制御 |
US20020130953A1 (en) | 2001-03-13 | 2002-09-19 | John Riconda | Enhanced display of environmental navigation features to vehicle operator |
JP4072348B2 (ja) | 2002-01-25 | 2008-04-09 | キヤノン株式会社 | 振れ補正装置、撮像装置、振れ補正方法、振れ補正装置の制御プログラム、及び記憶媒体 |
GB2407724B (en) | 2003-10-31 | 2005-10-12 | Hewlett Packard Development Co | Image stabilization |
US7382400B2 (en) * | 2004-02-19 | 2008-06-03 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
US20070182812A1 (en) | 2004-05-19 | 2007-08-09 | Ritchey Kurtis J | Panoramic image-based virtual reality/telepresence audio-visual system and method |
US7440008B2 (en) | 2004-06-15 | 2008-10-21 | Corel Tw Corp. | Video stabilization method |
TWI272550B (en) | 2005-01-03 | 2007-02-01 | Quanta Comp Inc | Apparatus and method for digital image stabilization |
US7489341B2 (en) | 2005-01-18 | 2009-02-10 | Primax Electronics Ltd. | Method to stabilize digital video motion |
US20060170783A1 (en) | 2005-01-28 | 2006-08-03 | Stavely Donald J | Adaptive response image stabilization |
US8074394B2 (en) | 2005-03-08 | 2011-12-13 | Lowrey Iii John William | Riflescope with image stabilization |
US20060210007A1 (en) | 2005-03-17 | 2006-09-21 | Markku Koskelo | Floating scanning and detection platforms |
JP4595733B2 (ja) | 2005-08-02 | 2010-12-08 | カシオ計算機株式会社 | 画像処理装置 |
KR100866963B1 (ko) | 2007-03-12 | 2008-11-05 | 삼성전자주식회사 | 수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을보정할 수 있는 디지털 영상 안정화 방법 |
US8446468B1 (en) * | 2007-06-19 | 2013-05-21 | University Of Southern California | Moving object detection using a mobile infrared camera |
CN101126639A (zh) | 2007-09-18 | 2008-02-20 | 武汉大学 | 快速进行低空遥感影像自动匹配与空中三角测量方法 |
US8600189B2 (en) | 2007-11-12 | 2013-12-03 | Qualcomm Incorporated | Block-based image stabilization |
EP2243125B1 (en) * | 2007-12-13 | 2020-04-29 | Clemson University Research Foundation | Vision based real time traffic monitoring |
JP5348881B2 (ja) | 2007-12-25 | 2013-11-20 | セミコンダクター・コンポーネンツ・インダストリーズ・リミテッド・ライアビリティ・カンパニー | 振動補償制御回路 |
JP5147384B2 (ja) | 2007-12-25 | 2013-02-20 | オンセミコンダクター・トレーディング・リミテッド | 振動補償制御回路 |
TWI381719B (zh) | 2008-02-18 | 2013-01-01 | Univ Nat Taiwan | 穩定全幅式視訊之方法 |
CN101668114A (zh) | 2008-09-05 | 2010-03-10 | 华硕电脑股份有限公司 | 影像稳定方法及装置、以及使用其的影像传送与接收方法 |
US8848974B2 (en) | 2008-09-29 | 2014-09-30 | Restoration Robotics, Inc. | Object-tracking systems and methods |
TWI492188B (zh) | 2008-12-25 | 2015-07-11 | Univ Nat Chiao Tung | 利用多攝影機自動偵測與追蹤多目標的方法及系統 |
US8396286B1 (en) * | 2009-06-25 | 2013-03-12 | Google Inc. | Learning concepts for video annotation |
GB0920191D0 (en) | 2009-11-18 | 2010-01-06 | St Microelectronics Res & Dev | Optical image stabilisation |
TW201120812A (en) | 2009-12-04 | 2011-06-16 | Huper Lab Co Ltd | Stabilization method for vibrating video frames |
TWI393074B (zh) | 2009-12-10 | 2013-04-11 | Ind Tech Res Inst | 移動物體偵測裝置與方法 |
US8531535B2 (en) * | 2010-10-28 | 2013-09-10 | Google Inc. | Methods and systems for processing a video for stabilization and retargeting |
US8724854B2 (en) * | 2011-04-08 | 2014-05-13 | Adobe Systems Incorporated | Methods and apparatus for robust video stabilization |
-
2011
- 2011-11-11 TW TW100141253A patent/TWI469062B/zh active
- 2011-12-15 US US13/327,717 patent/US8879850B2/en active Active
- 2011-12-30 CN CN201110461302.5A patent/CN103108108B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1913590A (zh) * | 2005-08-09 | 2007-02-14 | 罗伯特·博世有限公司 | 用于视频摄像机的图像稳定系统和方法 |
CN101202911A (zh) * | 2006-11-09 | 2008-06-18 | 英特尔公司 | 基于鲁棒主运动估计的数字视频稳定 |
US20100118156A1 (en) * | 2008-11-12 | 2010-05-13 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus and image processing method |
CN102123244A (zh) * | 2009-12-22 | 2011-07-13 | 英特尔公司 | 用于视频去抖动的修复的方法和装置 |
CN102075686A (zh) * | 2011-02-10 | 2011-05-25 | 北京航空航天大学 | 一种鲁棒的实时在线摄像机跟踪方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679172B (zh) * | 2013-10-10 | 2017-02-08 | 南京理工大学 | 一种通过转动红外探测器检测地面远距离运动目标的方法 |
CN103841298A (zh) * | 2014-02-25 | 2014-06-04 | 浙江理工大学 | 一种基于颜色恒量和几何不变特征的视频稳像方法 |
CN103841298B (zh) * | 2014-02-25 | 2017-05-10 | 浙江理工大学 | 一种基于颜色恒量和几何不变特征的视频稳像方法 |
CN105450907A (zh) * | 2014-07-31 | 2016-03-30 | 北京展讯高科通信技术有限公司 | 智能终端及其视频稳像系统模型参数的标定方法及装置 |
CN105450907B (zh) * | 2014-07-31 | 2018-10-16 | 北京展讯高科通信技术有限公司 | 智能终端及其视频稳像系统模型参数的标定方法及装置 |
CN113344816A (zh) * | 2015-10-14 | 2021-09-03 | 谷歌有限责任公司 | 稳定视频 |
CN106101616A (zh) * | 2016-06-02 | 2016-11-09 | 中国科学技术大学 | 一种自适应的背景轨迹提取方法和装置 |
CN106101485A (zh) * | 2016-06-02 | 2016-11-09 | 中国科学技术大学 | 一种基于反馈的前景轨迹判定方法和装置 |
CN106101615A (zh) * | 2016-06-02 | 2016-11-09 | 中国科学技术大学 | 一种背景轨迹找回方法和装置 |
CN106101615B (zh) * | 2016-06-02 | 2019-01-11 | 中国科学技术大学 | 一种背景轨迹找回方法和装置 |
CN106101485B (zh) * | 2016-06-02 | 2019-05-17 | 中国科学技术大学 | 一种基于反馈的前景轨迹判定方法和装置 |
CN106101616B (zh) * | 2016-06-02 | 2019-05-17 | 中国科学技术大学 | 一种自适应的背景轨迹提取方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
US20130121597A1 (en) | 2013-05-16 |
CN103108108B (zh) | 2016-08-03 |
US8879850B2 (en) | 2014-11-04 |
TW201319954A (zh) | 2013-05-16 |
TWI469062B (zh) | 2015-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103108108A (zh) | 影像稳定方法及影像稳定装置 | |
US9344690B2 (en) | Image demosaicing | |
CN112598757B (zh) | 一种多传感器时间空间标定方法及装置 | |
US8810692B2 (en) | Rolling shutter distortion correction | |
CN109903241A (zh) | 一种tof相机系统的深度图像校准方法及系统 | |
CN110008806B (zh) | 信息处理装置、学习处理方法、学习装置及物体识别装置 | |
US11303793B2 (en) | System and method for high-resolution, high-speed, and noise-robust imaging | |
CN105913453A (zh) | 一种目标跟踪方法和装置 | |
CN112489114B (zh) | 图像转换方法、装置、计算机可读存储介质及电子设备 | |
CN110009664B (zh) | 一种基于响应图融合的红外目标跟踪方法及装置 | |
US20150149105A1 (en) | Accuracy compensation system, method, and device | |
US11657485B2 (en) | Method for expanding image depth and electronic device | |
CN102176742A (zh) | 图像校正系数的获取方法、非均匀图像校正方法及系统 | |
CN110147750A (zh) | 一种基于运动加速度的图像搜索方法、系统及电子设备 | |
CN108111760B (zh) | 一种电子稳像方法及系统 | |
CN102236790A (zh) | 一种图像处理方法和设备 | |
WO2022242569A1 (zh) | 延迟校准方法、装置、计算机设备和存储介质 | |
CN103033270A (zh) | 一种红外热像仪非均匀校正系数生成及控制方法 | |
CN115546297A (zh) | 单目测距方法、装置、电子设备及存储介质 | |
CN106651903B (zh) | 一种运动物体检测方法 | |
CN100433799C (zh) | 手抖动补正装置、手抖动补正方法 | |
CN107977986A (zh) | 一种运动轨迹的预测方法及装置 | |
KR100945555B1 (ko) | 증강현실 공간을 제공하는 장치 및 방법 | |
Cox et al. | Tracking from a moving platform with the Dynamic Vision Sensor | |
Vlahović et al. | Deep learning in video stabilization homography estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |