CN101753774B - 数字影像稳定方法与系统 - Google Patents

数字影像稳定方法与系统 Download PDF

Info

Publication number
CN101753774B
CN101753774B CN2008101839634A CN200810183963A CN101753774B CN 101753774 B CN101753774 B CN 101753774B CN 2008101839634 A CN2008101839634 A CN 2008101839634A CN 200810183963 A CN200810183963 A CN 200810183963A CN 101753774 B CN101753774 B CN 101753774B
Authority
CN
China
Prior art keywords
vector
motion
target block
image
those
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008101839634A
Other languages
English (en)
Other versions
CN101753774A (zh
Inventor
郭天颖
王忠信
赖志群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute for Information Industry
Original Assignee
Institute for Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute for Information Industry filed Critical Institute for Information Industry
Priority to CN2008101839634A priority Critical patent/CN101753774B/zh
Publication of CN101753774A publication Critical patent/CN101753774A/zh
Application granted granted Critical
Publication of CN101753774B publication Critical patent/CN101753774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提出一种数字影像稳定方法与系统。此方法是透过交错式格雷码位元平面的匹配比较来计算相邻两张影像之间的区域移动向量。并利用权重累计的方式从数个区域移动向量中决定出最适当的全域移动向量。最后以全域移动向量计算累加移动向量来对影像序列进行移动更正,进而产生稳定的输出影像。

Description

数字影像稳定方法与系统
技术领域
本发明是有关于一种数字影像的处理方法,且特别是有关于一种稳定数字影像的方法与系统。
背景技术
科技的演进使得电子产品的功能日趋强大,而除了功能种类的多寡及其实用性之外,为了因应消费者对于电子产品外观上的需求,时下的电子产品也纷纷走向轻薄短小的设计趋势。但不难想见的是,对于具有影像撷取功能的电子产品来说,轻巧的外型却容易让使用者因拿持不稳而导致影像晃动的情况产生。
影像稳定(Image Stabilization,IS)便是为了解决上述问题所发展出的一项技术。其中,数字式影像稳定(Digital Image Stabilization,DIS)系统主要包括移动估测(Motion Estimation,ME)与移动更正(Motion Correction,MC)这两个单元。移动估测单元系用以取得影像中数个区域的区域移动向量,进而决定影像整体移动的全域移动向量。而移动更正单元则是根据移动估测单元所取得的信息来移除视频中不必要的晃动,进而产生稳定的影像输出结果。
然而,移动估测单元在计算区域移动向量时多半是使用单一位元平面匹配(Single Bit-Plane Matching)或复合位元平面匹配(Multiple Bit-Plane Matching)这两种方法。其中,单一位元平面匹配仅会以影像中具特定频带的信息来进行估测,而无法在各类影像中提供较佳的估算结果,另外在对原始影像进行匹配时,也必须耗费相当多的时间在二值化位元平面处理上。复合位元平面匹配则只单纯考虑影像中的原始位元平面,而可能会因为原本灰阶值相近的两个像素在某些原始位元平面上二值化的值不同,而降低匹配的准确度。除此之外,移动估测单元在计算全域移动向量时所使用的全域移动估测(Global MotionEstimation,GME)方法则大多是根据所有的区域移动向量产生一个全域移动向量。然而在并非所有的区域移动向量皆为实际移动方向的情况下,所估算出的全域移动向量则不够准确。
上述情况都将对数字式影像稳定系统的效能造成负面影响,不但无法准确产生稳定的影像,且在以硬件实现上亦须耗费相当大的复杂度。
发明内容
本发明提供一种数字影像稳定方法,能快速且准确地进行影像的位元平面匹配,降低在稳定影像的过程中计算区域移动向量的复杂度。
本发明提供一种数字影像稳定系统,避免因为不可靠的区域移动向量而造成影像的全域移动向量的误判。
为达到上述及其他目的,本发明提出一种数字影像稳定方法,用于包括数个影像的影像序列,其中各影像符合一像素深度。此方法首先将目前影像划分为数个目标区块,并定义各目标区块在前一张影像中所分别对应的搜寻范围。接着,根据目前影像以及前一张影像所分别对应的数个原始位元平面(rawbit-plane)定义出各自的K个格雷码位元平面(Gray-coded bit-plane),其中K为小于像素深度的正整数。接下来比较以各自对应的K个格雷码位元平面交错组合成的目标区块与相对的搜寻范围,以取得各个目标区块与搜寻范围之间的数个相关性量测值。最后,利用各个目标区块的所有相关性量测值的平均值与最小值,估计表示目前影像相较于前一张影像移动的全域移动向量,并依据全域移动向量计算反应出影像序列移动的累加移动向量,以根据累加移动向量从目前影像中决定输出影像。
在本发明的一实施例中,其中各个目标区块彼此不相互重叠,且小于或等于对应的搜寻范围的大小。
在本发明的一实施例中,此方法更包括对各个原始位元平面进行格雷码转换(Gray-coded transform),以及取得经过转换的K个原始位元平面以作为K个格雷码位元平面。
在本发明的一实施例中,其中在比较以各自的K个格雷码位元平面交错组合成的目标区块与相对的搜寻范围的步骤之前,更包括选择其中一个目标区块。接着在所选择的目标区块对应的搜寻范围中定义数个候选区块,且各候选区块的大小符合于目标区块。接下来,分别将所选择的目标区块以及各候选区块划分为多个宫格(grid),且每个宫格表示一个像素。最后,交错指派各自对应的K个格雷码位元平面其中之一给每K个宫格,以分别组成所选择的目标区块与候选区块的交错式格雷码位元平面。
在本发明的一实施例中,其中比较所选择的目标区块与相对的搜寻范围以取得相关性量测值的步骤包括对所选择的目标区块与各个候选区块的交错式格雷码位元平面进行布林函数运算,并以运算结果作为所选择的目标区块的各个相关性量测值。
在本发明的一实施例中,其中在进行布林函数运算的步骤之后,更包括取得产生最小的相关性量测值的移动向量,以作为所选择的目标区块的区域移动向量。
在本发明的一实施例中,此方法更包括定义数个数值区间,且各数值区间分别对应于一个累计权重值。在计算所选择的目标区块的所有相关性量测值的平均值与最小值后,取得平均值与最小值的差值,并判断上述差值所属的数值区间。最后,给予所选择的目标区块的区域移动向量对应的累计权重值。
在本发明的一实施例中,其中估计表示目前影像移动的全域移动向量的步骤,包括根据各个目标区块的区域移动向量与相对的累计权重值,统计出累计次数最高的区域移动向量。接着以累计次数最高的区域移动向量作为目前影像的全域移动向量。
在本发明的一实施例中,其中计算累加移动向量的步骤包括计算在最初影像至目前影像之间利用每相邻两张影像所估计的全域移动向量的总和,并以上述总和作为累加移动向量。
在本发明的一实施例中,其中输出影像的解析度小于目前影像。
在本发明的一实施例中,其中根据累加移动向量决定输出影像的步骤包括提供调整阈值。而在累加移动向量小于或等于调整阈值时,依据累加移动向量决定输出影像。而在累加移动向量大于调整阈值时,依据累加移动向量的正负性与调整阈值来决定输出影像。其中,调整阈值系对应于目前影像以及输出影像的解析度。
从另一观点来看,本发明提出一种数字影像稳定系统,包括区域移动向量估算装置、全域移动向量估算装置,以及移动更正装置。其中,区域移动向量估算装置用以接收包括数个影像的影像序列,且每个影像符合一像素深度。区域移动向量估算装置将目前影像划分为数个目标区块,并定义上述目标区块在前一张影像中所分别对应的搜寻范围,以及根据目前影像与前一张影像所分别对应的数个原始位元平面定义各自的K个格雷码位元平面。接着比较以各自对应的K个格雷码位元平面交错组合成的目标区块与相对的搜寻范围,以取得各目标区块与搜寻范围之间的数个相关性量测值。其中,K为小于像素深度的正整数。全域移动向量估算装置与区域移动向量估算装置相连,用以利用各个目标区块的所有相关性量测值的平均值与最小值,估计表示目前影像相较于前一张影像移动的全域移动向量。移动更正装置则连接至全域移动向量估算装置,用以依据全域移动向量计算反应影像序列移动的累加移动向量,并根据累加移动向量从目前影像中决定输出影像。
在本发明的一实施例中,其中各个目标区块彼此不相互重叠,且小于或等于对应的搜寻范围的大小。
在本发明的一实施例中,其中区域移动向量估算装置更包括格雷码转换单元,用以对各个原始位元平面进行格雷码转换,并取得经过转换的K个原始位元平面以作为K个格雷码位元平面。
在本发明的一实施例中,其中区域移动向量估算装置更包括交错式格雷码位元平面产生单元,用以选择其中一个目标区块,并在所选择的目标区块对应的搜寻范围中定义数个候选区块。分别将所选择的目标区块以及各候选区块划分为数个宫格,以及交错指派各自对应的K个格雷码位元平面其中的一给每K个宫格,以分别组成所选择的目标区块与候选区块的交错式格雷码位元平面。其中,各候选区块的大小符合于目标区块,且各宫格表示一个像素。
在本发明的一实施例中,其中区域移动向量估算装置更包括匹配单元,用以对所选择的目标区块与各候选区块的交错式格雷码位元平面进行布林函数运算,并以运算结果作为所选择的目标区块的上述相关性量测值。
在本发明的一实施例中,其中匹配单元取得产生最小的相关性量测值的移动向量以作为所选择的目标区块的区域移动向量。
在本发明的一实施例中,其中匹配单元计算所选择的目标区块的所有相关性量测值的平均值与最小值。而全域移动向量估算装置定义数个数值区间,且各数值区间分别对应于一个累计权重值。在取得平均值与最小值的差值后,判断差值所位于的数值区间,并给予所选择的目标区块的区域移动向量对应的累计权重值。
在本发明的一实施例中,其中全域移动向量估算装置根据各目标区块的区域移动向量与相对的累计权重值,统计出累计次数最高的区域移动向量,并以累计次数最高的区域移动向量作为目前影像的全域移动向量。
在本发明的一实施例中,其中移动更正装置计算在最初影像至目前影像之间利用每相邻两张影像所估计的全域移动向量的总和,并以上述总和作为累加移动向量。
在本发明的一实施例中,其中输出影像的解析度小于目前影像。
在本发明的一实施例中,其中移动更正装置取得调整阈值,在累加移动向量小于或等于调整阈值时,依据累加移动向量决定输出影像;而在累加移动向量大于调整阈值时,依据累加移动向量的正负性与调整阈值来决定输出影像。其中,调整阈值对应于目前影像以及输出影像的解析度。
基于上述,本发明是透过交错式格雷码位元平面的匹配比较来计算相邻两张影像的区域移动向量。并利用权重累计的方式从数个区域移动向量中决定出适当的全域移动向量。如此一来不但能降低影像稳定时的运算复杂度,同时可以大幅提升稳定结果可靠性。
附图说明
为让本发明的上述目的、特征和优点能更明显易懂,以下结合附图对本发明的具体实施方式作详细说明,其中:
图1是依照本发明的一实施例所绘示的数字影像稳定系统的方块图。
图2是依照本发明的一实施例所绘示的数字影像稳定方法的流程图。
图3是依照本发明的一实施例所绘示的交错式格雷码位元平面的示意图。
图4是依照本发明的一实施例所绘示的数值区间与累计权重值的对应表。
图5是依照本发明的一实施例所绘示的决定输出影像的流程图。
图6是依照本发明的一实施例所绘示的的原始影像与输出影像的示意图。
主要元件符号说明:
100:数字影像稳定系统
110:区域移动向量估算装置
111:格雷码转换单元
113:交错式格雷码位元平面产生单元
115:匹配单元
120:全域移动向量估算装置
130:移动更正装置
210~250:本发明的一实施例所述的数字影像稳定方法的各步骤
300:交错式格雷码位元平面
510~550:本发明的一实施例所述的决定输出影像的各步骤
具体实施方式
图1是依照本发明的一实施例所绘示的数字影像稳定系统的方块图。请参阅图1,数字影像稳定系统100包括区域移动向量估算装置110、全域移动向量估算装置120,以及移动更正装置130,用以根据交错式格雷码位元平面(Interlaced Gray-coded bit-plane)的匹配来快速求得影像的区域移动向量,并估测区域移动向量的可靠度进而取得最适当的全域移动向量,据以对影像序列进行移动修正。其中,数字影像稳定系统100可配置在摄影机或行动视频电话等各种影像撷取产品中,在此并不限制影像撷取产品的范围。以下将分别针对数字影像稳定系统100中各装置的功能进行详细说明。
在本实施例中,区域移动向量估算装置110包括格雷码转换单元111、交错式格雷码位元平面产生单元113,以及匹配单元115。其中,区域移动向量估算装置110可透过具备运算处理能力的硬件、软件,或其组合实现。区域移动向量估算装置110在接收包括数个影像的影像序列后,可透过内部的三个单元来建立交错式格雷码位元平面,以求得目前影像中所有目标区块的于前一张影像所相对应的数个相关性量测值以及区域移动向量。在一实施例中,区域移动向量估算装置110可在接收影像序列时便预先建立目前影像与前一张影像的交错式格雷码位元平面。而在另一实施例中则可以在进行比较时再动态取得,在此并不限制其范围。
全域移动向量估算装置120与区域移动向量估算装置110相连,以每个目标区块的所有相关性量测值作为累计各区域移动向量的依据,再以例如建立区域移动向量的直方图的方式,从直方图中取得具有最大统计量的区域移动向量来作为最适于表示目前影像移动的全域移动向量。其中,全域移动向量估算装置120可透过具备运算处理能力的硬件、软件,或其组合实现。
与全域移动向量估算装置120相连的移动更正装置130则会计算可反应整个影像序列移动的累加移动向量,并根据累加移动向量从目前影像中决定一个输出影像。其中,移动更正装置130可以是具备运算处理能力的硬件、软件,或其组合,在此并不加以限制。以下将以数字影像稳定系统100的详细运作流程为例,进而对本发明进行更进一步的说明。
图2是依照本发明的一实施例所绘示的数字影像稳定方法的流程图。请同时参阅图1与图2,由于区域移动向量估算装置110是以区块匹配的方式来计算区域移动向量,因此在接收包括数个影像的影像序列后,如步骤210所示,区域移动向量估算装置110首先将目前影像划分为数个目标区块,并定义各目标区块在前一张影像中所分别对应的搜寻范围。其中,每个目标区块彼此不相互重叠,且小于或等于对应的搜寻范围的大小。
接着如步骤220所示,透过区域移动向量估算装置110中的格雷码转换(Gray-coded transform)单元111,根据目前影像与前一张影像所分别对应的数个原始位元平面(raw bit-plane)定义出各自的K个格雷码位元平面(Gray-coded bit-plane)。其中,影像序列中的每个影像均具有一像素深度,而K为小于此像素深度的正整数。
详细地说,一张像素深度为D的影像能以下列二进制形式表示之:
f(x,y)=bD-1(x,y)2D-1+bD-2(x,y)2D-2+.....+b1(x,y)21+b0(x,y)20
其中,(x,y)表示影像中的像素位置,而bi(x,y)则表示第i阶的原始位元平面(其中i为小于D的正整数)。在分别将目前影像与前一张影像以上述二进制形式表示之后,格雷码转换单元111可取得目前影像与前一张影像的所有原始位元平面,并对各原始位元平面进行格雷码转换,再取得经过转换后的K个原始位元平面以作为各自的K个格雷码位元平面。举例来说,格雷码转换单元111例如是以下列方程序来进行格雷码转换:
gD-1=bD-1
g i = b i ⊕ b i + 1 , 0≤i≤D-2
其中,bD-1、bi与bi+1表示原始位元平面,而gD-1与gi则表示转换而成的格雷码位元平面。在本实施例中,假设影像序列中每个影像的像素深度为8,格雷码转换单元111例如会对目前影像与前一张影像的8个原始位元平面进行格雷码转换,进而取得各自的4个格雷码位元平面。
接着在步骤230中,区域移动向量估算装置110以各自对应的K个(例如4个)格雷码位元平面交错组合成目标区块与相对的搜寻范围。接着再对交错组合成的结果进行匹配比较,以取得各目标区块与搜寻范围之间的数个相关性量测值。
以目前影像的其中一个目标区块为例,在格雷码转换单元111分别定义目前影像与前一张影像各自的K个格雷码位元平面后,交错式格雷码位元平面产生单元113将以像素为单位把此目标区块划分为数个宫格(grid)。亦即,每个宫格表示一个像素。接着以交错的方式将目前影像所对应的K个格雷码位元平面其中之一指派给每K个宫格,以产生目标区块的交错式格雷码位元平面。
假设格雷码转换单元111取得目前影像的4个格雷码位元平面,分别是gp、gq、gr,以及gs,那么由交错式格雷码位元平面产生单元113所建立的交错式格雷码位元平面则好比像图3的交错式格雷码位元平面300所示,交错地以gp、gq、gr与gs来表示影像中的每4个像素。其中,p、q、r、s是选自0至D-1中的4个数值。在本实施例中,p、q、r、s例如是2、3、4,5。
除了产生目前影像中目标区块的交错式格雷码位元平面之外,交错式格雷码位元平面产生单元113亦会在目标区块所对应的搜寻范围中定义数个候选区块,并依照上述方式建立各个候选区块的交错式格雷码位元平面。其中,候选区块的大小与目标区块相符。
在产生目标区块与各候选区块的交错式格雷码位元平面后,接着由匹配单元115对交错式格雷码位元平面进行位元匹配动作。在本实施例中,匹配单元115对目标区块与各候选区块的交错式格雷码位元平面进行布林函数运算(例如XOR运算),并以运算结果作为目标区块的相关性量测值。其中,匹配单元115例如是以下列方程序计算相关性量测值C(m,n):
C ( m , n ) = Σ x = 0 M - 1 Σ y = 0 N - 1 I G t ( x , y ) ⊕ I G t - 1 ( x + m , y + n ) , -p≤m,n≤p-1
在上述方程序中,IG t(x,y)与IG t-1(x,y)分别表示目前影像的目标区块以及前一张影像中各候选区块的交错式格雷码位元平面,M×N为目标区块及候选区块的大小,而p则是决定搜寻范围大小的参数。在本实施例中,匹配单元115将以能产生最小的相关性量测值C(m,n)的移动向量(m,n)作为所目标区块的区域移动向量。
在格雷码转换单元111取得目前影像与前一张影像的各K个格雷码位元平面后,交错式格雷码位元平面产生单元113可依序选取目前影像中的其中一个目标区块,以产生所选取的目标区块及其候选区块的交错式格雷码位元平面,接着再由匹配单元115计算所选取的目标区块的数个相关性量测值以及区域移动向量。如此一来,便可得到目前影像中每个目标区块所分别对应的所有相关性量测值以及区域移动向量。
接下来在步骤240中,由全域移动向量估算装置120根据各目标区块的相关性量测值,估计用以表示目前影像相较于前一张影像移动的全域移动向量。由于同质性(homogeneous)区块在一个同质性搜寻范围(例如亮度差异不大的范围)中进行匹配时会得到不可靠的区域移动向量,因此在利用区域移动向量产生全域移动向量时,为了避免不可靠的区域移动向量影响全域移动向量的准确性,因此在本实施例中全域移动向量估算装置120会额外以各目标区块的所有相关性量测值作为估算全域移动向量的依据。
详细地说,全域移动向量估算装置120预先定义多个数值区间,且定义各数值区间所分别对应的累计权重值。其中,累计权重值越高表示累计的次数越多。在匹配单元115计算各目标区块的所有相关性量测值的平均值与最小值,并将其传送给全域移动向量估算装置120之后,全域移动向量估算装置120判断每个目标区块所对应的平均值与最小值的差值系位于哪个数值区间,进而给予各目标区块的区域移动向量该数值区间所对应的累计权重值。接着,全域移动向量估算装置120根据各目标区块的区域移动向量与其累计权重值,统计出累计次数最高的区域移动向量,并以累计次数最高的区域移动向量作为目前影像的全域移动向量。
图4是依照本发明的一实施例所绘示的数值区间与累计权重值的对应表。其中,全域移动向量估算装置120共定义了五个数值区间。假设某个目标区块的所有相关性量测值的平均值减最小值大于128,那么这个目标区块的区域移动向量的累计权重值便是8。
延续图4的实施例,假设目前影像包括B1、B2、B3与B4这4个目标区块,其对应的区域移动向量分别是LMV1、LMV2、LMV3,与LMV4。假设目标区块B1的所有相关性量测值的平均值减最小值介于16到32之间,那么目标区块B1的区域移动向量LMV1便具有累计权重值1。假设目标区块B2的所有相关性量测值的平均值减最小值大于128,那么目标区块B2的区域移动向量LMV2便具有累计权重值8。倘若目标区块B3与B4的所有相关性量测值的平均值减最小值同样介于16到32之间,区域移动向量LMV3与LMV4便具有累计权重值1。如上所述,全域移动向量估算装置120例如将绘制各区域移动向量的直方图,进而取得累计次数最高的区域移动向量(在本实施例中为区域移动向量LMV2)以作为目前影像的全域移动向量。
最后如步骤250所示,由移动更正装置130依据全域移动向量计算可反应整个影像序列移动的累加移动向量,并根据累加移动向量从目前影像中决定一个稳定的输出影像。其中,输出影像的解析度系小于目前影像。由于全域移动向量估算装置120所取得的全域移动向量仅能反应目前影像与前一张影像之间的移动,因此为了稳定整个影像序列,移动更正装置130会累计在最初影像至目前影像之间利用每相邻两张影像所估计的全域移动向量的总和,并以上述总和作为累加移动向量。在本实施例中,累加移动向量AMVt的计算方式如下所示:
AMV t = 0 , t = 0 AMV t - 1 + GMV t , t ≥ 1
其中,AMVt与AMVt-1分别为第t个与第t-1个影像的累加移动向量,而GMVt则是利用第t个影像与第t-1个影像所计算出的全域移动向量。
值得一提的是,为了避免累加移动向量超出移动更正范围,移动更正装置130将定义一个调整阈值以作为移动更正的依据。其中,调整阈值系对应于目前影像以及输出影像的解析度。举例来说,假设目前影像的解析度为160×128,而输出影像的解析度为144×112,那么调整阈值便是8。图5是依照本发明的一实施例所绘示的决定输出影像的流程图。如图5所示,首先在步骤510中,由移动更正装置130判断累加移动向量是否大于调整阈值。若累加移动向量小于或等于调整阈值,则如步骤520所示,直接依据累加移动向量来决定输出影像。然而,若累加移动向量大于调整阈值,意味着使用者是刻意地平移影像撷取产品,此时若直接依据累加移动向量来决定输出影像,将导致输出影像超过原始影像所定义的范围。因此接着在步骤530中,判断累加移动向量的正负性(即判断是否大于0)。若累加移动向量为负,则在步骤540中,将累加移动向量设定为负的调整阈值,接着再依据累加移动向量决定输出影像。若累加移动向量为正,则如步骤550所示,以正的调整阈值作为累加移动向量,最后再依据累加移动向量决定输出影像。如此一来,不但能避免在输出影像中出现未定义的像素,同时也能保留使用者刻意平移影像撷取产品所造成的效果。
图6是依照本发明的一实施例所绘示的的原始影像与输出影像的示意图。在整个影像序列具有累加移动向量但不超过移动更正范围的情况下,透过数字影像稳定系统100的运作,将根据累加移动向量裁切出一个解析度小于原始影像的稳定输出影像。
综上所述,本发明所述的数字影像稳定方法与系统是透过交错式格雷码位元平面的匹配来计算相邻两张影像的区域移动向量,在硬件实作上仅需利用XOR逻辑门便可建立交错式格雷码位元平面并产生匹配结果,不但易于实现且不会造成时间延迟或增加成本,同时也能有效地降低以原始影像来进行匹配的运算复杂度。再者,由于格雷码具有在相邻字码间只有一个位元不同的特性,利用交错式格雷码位元平面进行匹配可解决两灰阶值相近的像素在某些原始位元平面不同而可能造成匹配准确度降低的问题。除此之外,利用在计算区域移动向量时附加产生的相关性量测值来估算全域移动向量,不仅能使全域移动向量更具可靠性,同时也不需要额外的计算时间,进而能快速且正确地稳定影像序列,产生更佳的数字影像稳定效果。
虽然本发明已以较佳实施例揭示如上,然其并非用以限定本发明,任何本领域技术人员,在不脱离本发明的精神和范围内,当可作些许的修改和完善,因此本发明的保护范围当以权利要求书所界定的为准。

Claims (24)

1.一种数字影像稳定方法,用于一影像序列,其中该影像序列包括符合一像素深度的多个影像,该方法包括:
划分目前的该影像为多个目标区块,并定义各该些目标区块在前一张的该影像中所分别对应的一搜寻范围;
根据目前的该影像以及前一张的该影像所分别对应的多个原始位元平面定义各自的K个格雷码位元平面,其中K为小于该像素深度的正整数;
比较以各自对应的该K个格雷码位元平面交错组合成的该些目标区块与相对的该搜寻范围,以取得各该些目标区块与该搜寻范围之间的多个相关性量测值与一区域移动向量;
根据各该些目标区块的该些相关性量测值的一平均值与一最小值给予各该些目标区块的该区域移动向量一累计权重值,并利用各该些目标区块的该区域移动向量与该累计权重值估计表示目前的该影像相较于前一张的该影像移动的一全域移动向量;以及
依据该全域移动向量计算反应该影像序列移动的一累加移动向量,并根据该累加移动向量从目前的该影像中决定一输出影像。
2.如权利要求1所述的数字影像稳定方法,其特征在于,各该些目标区块彼此不相互重叠,且小于或等于对应的该搜寻范围的大小。
3.如权利要求1所述的数字影像稳定方法,更包括:
对各该些原始位元平面进行一格雷码转换;以及
取得经过转换的K个原始位元平面以作为该K个格雷码位元平面。
4.如权利要求1所述的数字影像稳定方法,其特征在于,在比较以各自的该K个格雷码位元平面交错组合成的该些目标区块与相对的该搜寻范围的步骤之前更包括:
选择该些目标区块其中之一;
在所选择的该目标区块对应的该搜寻范围中,定义多个候选区块,其中各该些候选区块的大小符合该目标区块;
分别划分所选择的该目标区块以及各该些候选区块为多个宫格,其中各该些宫格表示一像素;以及
交错指派各自对应的该K个格雷码位元平面其中之一给每K个宫格,以分别组成所选择的该目标区块与该些候选区块的一交错式格雷码位元平面。
5.如权利要求4所述的数字影像稳定方法,其特征在于,比较所选择的该目标区块与相对的该搜寻范围以取得该些相关性量测值的步骤包括:
对所选择的该目标区块与各该些候选区块的该交错式格雷码位元平面进行一布林函数运算,并以运算结果作为所选择的该目标区块的该些相关性量测值。
6.如权利要求5所述的数字影像稳定方法,其特征在于,在进行该布林函数运算的步骤之后更包括:
取得产生最小的该相关性量测值的一移动向量作为所选择的该目标区块的该区域移动向量。
7.如权利要求6所述的数字影像稳定方法,其特征在于,更包括:
定义分别对应于不同累计权重值的多个数值区间;
计算所选择的该目标区块的该些相关性量测值的该平均值与该最小值;
取得该平均值与该最小值的一差值;
判断该差值所位于的该数值区间;以及
将该差值所位于的该数值区间对应的累计权重值给予所选择的该目标区块的该区域移动向量。
8.如权利要求7所述的数字影像稳定方法,其特征在于,估计表示目前的该影像移动的该全域移动向量的步骤包括:
根据各该些目标区块的该区域移动向量与相对的该累计权重值,统计出累计次数最高的该区域移动向量;以及
以累计次数最高的该区域移动向量作为目前的该影像的该全域移动向量。
9.如权利要求1所述的数字影像稳定方法,其特征在于,计算该累加移动向量的步骤包括:
计算在最初的该影像至目前的该影像之间利用每相邻两张影像所估计的该全域移动向量的一总和;以及
以该总和作为该累加移动向量。
10.如权利要求1所述的数字影像稳定方法,其特征在于,该输出影像的解析度小于目前的该影像。
11.如权利要求1所述的数字影像稳定方法,其特征在于,根据该累加移动向量决定该输出影像的步骤包括:
提供一调整阈值;
在该累加移动向量小于或等于该调整阈值时,依据该累加移动向量决定该输出影像;以及
在该累加移动向量大于该调整阈值时,依据该累加移动向量的正负性以及该调整阈值决定该输出影像。
12.如权利要求11所述的数字影像稳定方法,其特征在于,该调整阈值对应于目前的该影像以及该输出影像的解析度。
13.一种数字影像稳定系统,包括:
一区域移动向量估算装置,用以接收包括多个影像的一影像序列,且该些影像符合一像素深度,并划分目前的该影像为多个目标区块,并定义各该些目标区块在前一张的该影像中所分别对应的一搜寻范围,以及根据目前的该影像与前一张的该影像所分别对应的多个原始位元平面定义各自的K个格雷码位元平面,比较以各自对应的该K个格雷码位元平面交错组合成的该些目标区块与相对的该搜寻范围,以取得各该些目标区块与该搜寻范围之间的多个相关性量测值与一区域移动向量,其中K为小于该像素深度的正整数;
一全域移动向量估算装置,耦接至该区域移动向量估算装置,用以根据各该些目标区块的该些相关性量测值的一平均值与一最小值给予各该些目标区块的该区域移动向量一累计权重值,并利用各该些目标区块的该区域移动向量与该累计权重值估计表示目前的该影像相较于前一张的该影像移动的一全域移动向量;以及
一移动更正装置,耦接至该全域移动向量估算装置,用以依据该全域移动向量计算反应该影像序列移动的一累加移动向量,并根据该累加移动向量从目前的该影像中决定一输出影像。
14.如权利要求13所述的数字影像稳定系统,其特征在于,各该些目标区块彼此不相互重叠,且小于或等于对应的该搜寻范围的大小。
15.如权利要求13所述的数字影像稳定系统,其特征在于,该区域移动向量估算装置更包括:
一格雷码转换单元,用以对各该些原始位元平面进行一格雷码转换,并取得经过转换的K个原始位元平面以作为该K个格雷码位元平面。
16.如权利要求13所述的数字影像稳定系统,其特征在于,该区域移动向量估算装置更包括:
一交错式格雷码位元平面产生单元,用以选择该些目标区块其中之一,并在所选择的该目标区块对应的该搜寻范围中定义多个候选区块,分别划分所选择的该目标区块以及各该些候选区块为多个宫格,以及交错指派各自对应的该K个格雷码位元平面其中之一给每K个宫格,以分别组成所选择的该目标区块与该些候选区块的一交错式格雷码位元平面,其中各该些候选区块的大小符合该目标区块,且各该些宫格表示一像素。
17.如权利要求16所述的数字影像稳定系统,其特征在于,该区域移动向量估算装置更包括:
一匹配单元,用以对所选择的该目标区块与各该些候选区块的该交错式格雷码位元平面进行一布林函数运算,并以运算结果作为所选择的该目标区块的该些相关性量测值。
18.如权利要求17所述的数字影像稳定系统,其特征在于,该匹配单元取得产生最小的该相关性量测值的一移动向量作为所选择的该目标区块的该区域移动向量。
19.如权利要求17所述的数字影像稳定系统,其特征在于,该匹配单元计算所选择的该目标区块的该些相关性量测值的该平均值与该最小值,而该全域移动向量估算装置定义分别对应于不同累计权重值的多个数值区间,在取得该平均值与该最小值的一差值后,判断该差值所位于的该数值区间,以及将该差值所位于的该数值区间对应的累计权重值给予所选择的该目标区块的该区域移动向量。
20.如权利要求19所述的数字影像稳定系统,其特征在于,该全域移动向量估算装置根据各该些目标区块的该区域移动向量与相对的该累计权重值,统计出累计次数最高的该区域移动向量,并以累计次数最高的该区域移动向量作为目前的该影像的该全域移动向量。
21.如权利要求13所述的数字影像稳定系统,其特征在于,该移动更正装置计算在最初的该影像至目前的该影像之间利用每相邻两张影像所估计的该全域移动向量的一总和,并以该总和作为该累加移动向量。
22.如权利要求13所述的数字影像稳定系统,其特征在于,该输出影像的解析度小于目前的该影像。
23.如权利要求13所述的数字影像稳定系统,其特征在于,该移动更正装置取得一调整阈值,在该累加移动向量小于或等于该调整阈值时,依据该累加移动向量决定该输出影像,以及在该累加移动向量大于该调整阈值时,依据该累加移动向量的正负性以及该调整阈值决定该输出影像。
24.如权利要求23所述的数字影像稳定系统,其特征在于,该调整阈值对应于目前的该影像以及该输出影像的解析度。
CN2008101839634A 2008-12-16 2008-12-16 数字影像稳定方法与系统 Active CN101753774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008101839634A CN101753774B (zh) 2008-12-16 2008-12-16 数字影像稳定方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008101839634A CN101753774B (zh) 2008-12-16 2008-12-16 数字影像稳定方法与系统

Publications (2)

Publication Number Publication Date
CN101753774A CN101753774A (zh) 2010-06-23
CN101753774B true CN101753774B (zh) 2012-03-14

Family

ID=42480115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101839634A Active CN101753774B (zh) 2008-12-16 2008-12-16 数字影像稳定方法与系统

Country Status (1)

Country Link
CN (1) CN101753774B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9123131B2 (en) * 2013-09-24 2015-09-01 Pixart Imaging Inc. Parallel correlation method and correlation apparatus using the same
US9888179B1 (en) * 2016-09-19 2018-02-06 Google Llc Video stabilization for mobile devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5157732A (en) * 1989-03-20 1992-10-20 Matsushita Electric Industrial Co., Ltd. Motion vector detector employing image subregions and median values
CN1214595A (zh) * 1997-10-10 1999-04-21 三星电子株式会社 利用位图匹配的图像稳定装置及图像稳定方法
CN1809125A (zh) * 2005-01-18 2006-07-26 致伸科技股份有限公司 稳定数字视频画面的方法
CN101278551A (zh) * 2005-09-30 2008-10-01 摩托罗拉公司 用于视频稳定化的系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5157732A (en) * 1989-03-20 1992-10-20 Matsushita Electric Industrial Co., Ltd. Motion vector detector employing image subregions and median values
CN1214595A (zh) * 1997-10-10 1999-04-21 三星电子株式会社 利用位图匹配的图像稳定装置及图像稳定方法
CN1809125A (zh) * 2005-01-18 2006-07-26 致伸科技股份有限公司 稳定数字视频画面的方法
CN101278551A (zh) * 2005-09-30 2008-10-01 摩托罗拉公司 用于视频稳定化的系统和方法

Also Published As

Publication number Publication date
CN101753774A (zh) 2010-06-23

Similar Documents

Publication Publication Date Title
US8059157B2 (en) Method and system for digital image stabilization
JP4142180B2 (ja) 動きベクトル符号化装置および復号装置
US7190406B2 (en) Image adaptive deinterlacing method and device based on edge
CN101326550B (zh) 利用预测指导的抽取搜索的运动估计
EP1592258B1 (en) Motion estimation employing adaptive spatial update vectors
KR100366935B1 (ko) 화상보간장치
CN100379260C (zh) 图像信号的噪声测量装置及其方法
EP1592248B1 (en) Motion vector estimation employing adaptive temporal prediction
US20050243928A1 (en) Motion vector estimation employing line and column vectors
US20070171981A1 (en) Projection based techniques and apparatus that generate motion vectors used for video stabilization and encoding
KR20040062331A (ko) 동영상 압축 부호화를 위한 움직임 예측 방법과 그기록매체
KR101409826B1 (ko) 적응적 탐색 범위를 이용한 움직임 예측 방법
US20150071354A1 (en) Image coding apparatus and image coding method
EP2161937A1 (en) Video encoding method, decoding method, device thereof, program thereof, and recording medium containing the program
CN105103556A (zh) 用于亮度补偿的双向预测的方法和装置
EP0734175A1 (en) Hierarchical motion vector estimation using multiple block sizes
CN113691758A (zh) 插帧方法和装置、设备、介质
US8300015B2 (en) Method of detecting the movement of an entity equipped with an image sensor and device for implementing same
CN101753774B (zh) 数字影像稳定方法与系统
US20050232358A1 (en) Method and device for generating candidate vectors for image interpolation systems
KR0181029B1 (ko) 에지를 이용한 특징점 선정장치
JP2008193503A (ja) 動画像符号化装置および動画像符号化方法
Rajagopalan et al. Motion field modeling for video sequences
CN102769717B (zh) 影像处理方法与装置
US8179967B2 (en) Method and device for detecting movement of an entity provided with an image sensor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant