CN1678024A - 改进的图像边界处的运动向量估计 - Google Patents
改进的图像边界处的运动向量估计 Download PDFInfo
- Publication number
- CN1678024A CN1678024A CNA2005100639251A CN200510063925A CN1678024A CN 1678024 A CN1678024 A CN 1678024A CN A2005100639251 A CNA2005100639251 A CN A2005100639251A CN 200510063925 A CN200510063925 A CN 200510063925A CN 1678024 A CN1678024 A CN 1678024A
- Authority
- CN
- China
- Prior art keywords
- column
- motion vector
- image
- row
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Systems (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种改进的运动向量估计,尤其用于速率上变换器的运动补偿内插。因为传统的运动估计算法不能提供对位于有效图像边界的那些块的正确的估计,本发明确定可能受到有缺陷运动向量影响的那些块并用根据前一图像确定的列或行运动向量替换那些向量。以这种方式,能够对一幅图像的所有块进行可靠的运动补偿,并且能够有效地改善有效图像边界上的内插算法的恶化。
Description
技术领域
本发明涉及一种用于运动向量估计的改进的方法和一个对应的运动估计器。本发明尤其涉及一种改进的图像边界处的运动向量确定。
背景技术
运动估计特别用在现代电视接收机的数字信号处理中。这种电视接收机使用运动向量从而确定在帧速率转换期间,尤其是运动补偿的上变换期间的中间图像。根据来自接收的场或帧序列的相邻图像插入中间图像。通过考虑物体的运动,能够避免物体图像质量的恶化。
从50Hz到更高的频率,例如60Hz、66.67Hz、75Hz、100Hz,由LSI执行运动补偿的上变换。对于基于60Hz的视频频率,视频序列可以上变换到72Hz、80Hz、90Hz、120Hz等。
在上变换期间,将产生中间图像,其反映在不用50Hz或60Hz输入视频序列表示的时间位置上的视频内容。为此,必须考虑移动物体的运动,从而适当地反映由物体的运动引起的连续图像之间的变化。在块基础上计算物体的运动,并且根据在前一个和随后的图像之间新产生的图像的时间的相对位置执行运动补偿。
对于运动向量确定,每个图像分为多个块。对每个块进行运动估计,从而检测前一个图像的一个物体的偏移。最好通过使用多个预先确定的候选向量来避免用于检测在一个预先确定的搜索范围内的前一个图像中的最佳匹配块的耗费时间的全搜索算法。候选向量组包括许多预先确定的最类似的运动向量。
根据对每个候选向量计算的误差值从候选向量中选择运动向量。该误差函数评估按照各个候选向量选择的前一个图像中的当前块和候选块之间的一致程度。具有最小的误差函数的最佳匹配向量被选为当前块的运动向量。对于当前和前一个块之间的相似程度的测量,可以使用求和的绝对差(SAD)。
预先确定的候选向量组可以包括已经对当前图像的相邻块确定的作为候选向量的那些运动向量,已经对在类似位置的前一个图像中的块而确定的运动向量等。
Gerard de Haan等在1998年2月Vol.8,no.1的IEEE Transactions onCircuits and Systems for Video Technology中的文章“An Efficient True-MotionEstimator Using Candidate Vectors from a Parametric Motion Model”描述了作为一个候选向量的全局运动向量的计算。全局运动向量反映图像所有块的共同运动。
用在高端电视接收机中的上变换算法遇到了在垂直运动的情况下从信箱型显示图像中的上或下边界处的不好的图像质量。一个信箱型显示图像在图1中示出。为了使一个4:3显示屏幕适合于16:9的图像格式,在有效图像区域的顶部和底部插入黑条。以对应的方式,在所述图像区域的左侧和右侧插入的黑条用于使4:3有效图像区域适合于显示在16:9格式的显示屏上。因此,能够使用黑条,从而在有效图像区域和显示屏幕的宽高比不匹配时使有效的图像区域显示在显示屏幕上。
在图2中示出了用于在一个信箱型图像中执行运动估计的例子。图像n内容的主要运动方向是向上的。因此,块A的图像内容在前一场n-1中的向下的位置A′检测到。因此,块B′相对于块B位置是向下的。
从图2中能够看出,块B′的前一个位置超出了有效图像区域的下边界。因此,将前一个图像的块与当前块相比较的运动估计器将不能检测到块B的正确运动。相反,传统的运动估计器将检测到一个不正确的运动向量或一个零运动向量。根据这样的传统地确定的运动向量的运动补偿内插将导致在有效图像区域内接近于黑条处的可见的赝像。
在图8中示出了一个传统估计的运动向量的场的简化的例子。图像内容按照主运动方向,即向上方向运动。尽管大多数运动向量能够被正确确定,但是对于传统的运动估计算法不可能正确地得到在信箱边界上的运动。在图8中示出了在有效图像区域内的不正确的运动向量的范围。因为图像内容的主运动方向是向上的,块的下边线在前一个场或帧中没有各自的前身。因此,运动估计器将不能确定正确的运动向量。相反,在前一场或帧中具有各自块的任意其他运动向量可以根据最佳匹配算法正确确定。
对于不是信箱型的图像,有效图像的外边界通常在过扫描(overscan)范围内,因此在正常显示屏上看不到。这些与有效图像的边界直接相邻位置的过扫描区域的块将不会显示并因此不能够引起图像质量的下降。只要运动向量变得更大,显示屏幕内的块就会受到影响并引起图像质量的相对损失。
在这种较大的运动向量的情况下,图像质量下降对信箱型显示图像的影响很大。信箱型图像使有效图像区域的外边界从过扫描区域偏移到显示图像中。当施加内插时,这些图像区域主要受到施加内插算法时的有缺陷的运动向量的影响。
发明内容
本发明的目的是提供一种能够在图像边界上更精确的确定运动向量的改进的运动估计方法和改进的运动估计器。
这通过独立权利要求的特征实现。
根据本发明的第一方面,提供一种用于确定在一个视频图像序列中的当前图像块的运动向量的方法。每个视频图像分为多个块。对视频图像序列的前一个图像中的块的一行或列中的所有块确定运动向量。块的行或列包括一个位于与当前图像中的当前块位置对应的位置的块。如果在确定的行或列运动向量的基础上估计的前一个图像中的当前块的位置在前一图像的有效图像区域之外,将确定的行或列运动向量分配给当前块。
根据本发明的另一方面,提供一种用于确定在视频图像序列中的当前图像块的运动向量的运动估计器。每个视频图像分为多个块。一个计算单元对视频图像序列的前一个图像中的块的一行或列中的所有决确定一个运动向量。块的行或列包括一个位于与当前图像中的当前块的位置对应的位置的块。一个位置估计器根据确定的行或列运动向量估计当前块在前一个图像中的位置。一个比较器确定估计的位置是否在前一个图像的有效图像区域之外。如果在确定的行或列运动向量的基础上估计的当前块的位置在前一图像的有效图像区域之外,使能单元把确定的行或列运动向量分配给当前块。
对于那些以传统的方式以所有可能方式都不能建立正确的运动向量的、图像边界的块,本发明的特殊的方案代替传统的运动估计。为此,对前一个图像的块的运动估计通过确定包括当前块的位置的块的一行或一列的单个运动向量来评价。这样的运动向量反映该块的行或列中内物体的主要运动。如果该行或列运动向量对图像边界的块的应用表明对这些块不能建立正确的运动向量,则通过把确定的行或列运动向量分配给该块,将传统上估计的运动向量中止。以这种方式,能够避免由基于传统的运动向量估计算法的内插引起的图像质量下降。
尽管本发明的方案能够有利地应用到所有类型的图像格式,但是本发明最好应用于信箱型图像格式,即在显示区域的顶部和底部或左侧和右侧有黑条的那些图像格式。以这种方式,能够实现在与黑条相邻的图像边界处大幅度提高的图像质量。
最好,对于在顶部和底部有黑条的图像,只确定和使用列向量来确定在图像边界的块的运动向量。因此,对于在图像的左侧和右侧有黑条的图像只使用行运动向量。
根据另一个实施例,使用一个行运动向量和一个列运动向量来改善在图像边界的运动向量估计。以这种方式,所有的图像边界从本发明的运动向量估计改进中获益。
应当注意到,本发明能够应用到所有种类的视频图像格式,包括标准电视图像或高清晰度电视图像。
最好,如果预定的运动向量超过一个预定的阈值,则只对当前块确定和分配一个行或列向量。最好,阈值的大小对应于块的尺寸,即块的高度或宽度。
根据优选实施例,运动向量分为垂直和水平向量分量,并且只有朝向垂直于各个图像边界的向量分量与该阈值相比较。对于图像的顶部和底部边界,只考虑列向量的垂直分量。相应地,对于图像的左侧和右侧边界,只有行运动的水平分量与该阈值相比较。以这种方式,能够对不这样就不可能正确进行运动估计的那些块容易地确定运动向量。
最好,按照本发明的运动向量分配包括确定按照传统方式不能确定可靠的运动向量的块的范围。对于落入该范围的当前图像的每个块,分配确定的行或列运动向量。以这种方式,对于将前一个图像的行或列运动向量应用到当前块所需要的计算被简化。
最好,该范围由在行或列内的图像内边界和图像外边界确定,其中该范围只通过识别其内边界计算。最好,对这方面考虑运动向量类型和方向。
最好,本发明的改进的运动估计在运动补偿图像内插或运动补偿图像压缩中使用。
本发明的优选实施例是从属权利要求的主题内容。
附图说明
从与附图结合给出的以下说明和优选实施例中,本发明的以上和其他目的和特征将变得更加明显,其中
图1说明了一个信箱型视频图像的例子;
图2说明了用于图1所示的信箱型图像中的不同块的运动向量估计的例子;
图3说明了在视频图像中一个大的匀速运动物体的例子;
图4说明了对于大的匀速运动图像部分的另一个例子;
图5说明了一个表示图3的大物体的运动的行向量;
图6说明了表示图4所示的垂直运动的谢启表的运动的列向量;
图7说明了一个视频图像分割为均匀尺寸的光栅块;
图8说明了在垂直运动的情况下易受有缺陷的运动向量确定影响的图像区域的例子;
图9说明了按照本发明确定的信箱型图像的向量场;
图10说明了用于一个场速率变换器的示例的结构;和
图11说明了按照本发明的一个场速率变换器的结构。
具体实施方式
内插电路,尤其是用于帧-或场-速率上变换器的内插电路需要一个无缺陷的运动向量场,从而产生高图像质量的中间图像。根据一个精确确定的运动向量场,运动物体能够按照中间图像的位置及时偏移到它们在中间图像中各自的位置。传统的块匹配算法不能在有效图像区域的边界线,特别是在信箱型显示图像的上和下有效图像边界上提供正确的运动向量。对于图1所示的信箱型图像,有缺陷的运动向量由垂直运动引起。垂直运动传统上只能够通过检测如图2所示的前一场中的各个块来进行精确的估计。但是,如果前一场中的各个块具有在有效图像区域(即在黑条之内的区域)外的一个位置,那么传统的运动估计算法就无效了。
本发明目的在于通过使用行或列运动向量克服有缺点的传统的在图像边界处的运动估计。这种行和列向量的确定将在下面进行描述。
图3和4说明了对于许多块的具有均匀运动向量的大运动图像部分。图3说明了水平运动物体的一个例子,而图4说明了一个垂直运动的文字,即电影谢启表。反映这种运动的对应的行和列向量在图5和6中示出。
运动向量计算是基于图7所示的块光栅的。每个视频图像分为均一大小的块用于运动向量估计。通常,每个块具有8×8像素的正方形形状。应当注意技术人员知道应用不同尺寸的块,例如4×4或16×16,甚至具有不同的高度和宽度的不规则矩形的形状。
根据对于前一场或帧确定的运动向量,计算列运动向量或行运动向量。
只要已经完成对当前图像n(场或帧)的运动向量确定,就开始计算各个行和列向量。提供计算出的行和列向量以在下一场或帧的运动估计期间使用。
首先,不考虑较小长度的运动向量。为此,每个块的运动向量v υ与预定的阈值Vthr相比较。这样产生的结果反映在分配给每个块的二进制“vecthr”标记中。该标记通过如下所示用等式(1)计算:
最好,对图像n的所有块确定的运动向量组被对应地校正,从而不超过预定的阈值Vthr的那些运动向量被设置为零(0;0)。该校正由等式(2)反映出来:
按照等式(2),计算阈值向量vthresholded υ。如果前一个计算的标记(比较等式(1))是零,则阈值向量设置为零。否则,确定的向量v υ分配给阈值向量vthresholded υ。
为了计算一个行或列向量,最好计算保持(受限的)非零的向量的平均值。但是,为了确定表示一行或列的多个单独的运动向量的共同运动向量的运动向量,技术人员可以应用任意其他算法。对于行和列向量计算,单独的块长度和超过阈值Vthr的块数量用以下的等式(3)到(6)表示的方法累加:
行和列向量vline4υ,vcolumn υ按照以下的等式(7)和(8)计算。如果对于一行或列的超过预定阈值Vthr的块数量超过另一个预定阈值nthrline,nthrcolumn,则只计算一个运动向量。
对于以上提到的阈值Vthr,nthrline,nthrcolumn,最好使用以下的值:
nthrline=xmax/2(对于PAL标准为45,并且X=8)
nthrcolumn=ymax/2(对于PAL标准为36,并且Y=8)
其中xmax和ymax表示一场或帧的总宽度/高度。这些值最好用于8×8像素的块尺寸。
尽管以上的描述是根据对于每个单独的行和列计算行和列向量的假设,但是一个共同运动向量可以附加地或替换地对于两行或两列的组合进行计算。一个两行或两列的运动向量可以进一步增加对于表示两行或两列内的主要运动的物体的运动精度。
在图8所示的垂直运动的情况下对于一个信箱型图像传统地确定的运动向量场的一个例子的缺陷位于有效图像区域的底线附近。通过施加按照本发明的运动向量估计,如图9所示避免了现有技术的不足。
图10中说明了一个传统的场速率变换器的结构。为了执行一个视频序列从预定的输入频率到预定的输出频率的场速率上变换,将连续的场n和n-1提供到运动补偿内插单元120,产生显示在显示设备130上的上变换后的视频序列。内插电路120的运动补偿操作基于从运动估计单元110提供的运动向量场。当前场n的运动向量场根据当前场n和前一场n-1的块来计算。运动估计单元110借助于图8中的例子以传统的方式计算每个块的运动向量。
根据本发明,运动估计后处理单元200插入到运动向量场向运动补偿内插单元120的提供路径中。按照本发明的修改的场速率变换器的结构在图11中示出。
按照本发明,由运动估计单元110提供的传统上计算出的运动向量场,通过运动估计后处理单元200进行按照本发明的后处理。识别出证明很可能具有例如在图8中示出的有缺陷的运动向量的那些块。这些块的运动向量接着由根据前一场确定的各个行或列运动向量进行重写。
能够从图8和9中看出,落入有缺陷运动向量(比较图8)的范围的所有块由各个列运动向量(比较图9)重写。各个校正后的运动向量场接着被提供到运动补偿内插器120,从而根据校正后的运动向量场执行内插。
下面描述用于校正接收的运动向量场的运动估计后处理单元200的操作。
运动估计后处理单元200接收用于当前场n的每个块的运动向量。一场或帧分为块B(x;y)在图7中示出。每个块具有宽度X和高度Y,最好使用均匀的8×8像素的块尺寸。技术人员知道可以使用任意其他的块尺寸达到同样的效果。每行或列的块数取决于每个块的宽度X和高度Y并根据图像尺寸计算如下:
xmax=每行的像素/X
ymax=每列的像素/Y
运动向量由传统的运动估计器110最好通过评估用于当前运动向量的候选向量组来计算。候选向量是对当前块提供另一个运动估计的每个运动向量的预先确定的选择。这些候选向量中的最佳匹配运动向量根据一个误差函数计算。为此,最好根据由各个候选向量的逆向量确定的位置上的当前场n中的当前块B(x;y)和前一场n-1中的块来计算求和的绝对差(SAD)。
后处理单元200接收计算出的运动向量场。后处理单元200中包含一个多路器,用于选择接收到的输入向量v[(x;y)n]或对应的列向量Vcolumn[(x;0)n-1]以产生对于每个块的各个输出向量vpp[(x;y)n]。多路器按照转换信号ivpl在输入向量和列向量之间转换。多路器的操作用以下的等式(9)表示:
转换操作,即转换信号ivpl的状态主要基于以下两个标准,即(a)垂直方向上列的运动向量的大小和(b)当前块是否落入按照传统方式不能精确计算运动向量的范围内。
对于第一标准,信号v_motion表示列向量的垂直分量是否超过一个预定的阈值THRvy。该阈值最好等于块B(x;y)的垂直尺寸Y。信号v_motion的计算由以下等式(10)表示:
其中
THRvy=Y
等式(10)的项vy[(x,0),n-1]表示各个列向量(11)的垂直分量:
对于根据传统算法的范围计算,即不可能进行可靠的运动向量估计的那些块,块的外边界线确定为第一和最后的有效块行FABL,LABL(FABL=第一有效块行,LABL=最后的有效块行):
其中FAL和LAL表示在图1所示的每个图像之内的第一和最后的有效像素行。
在第一和最后的块索引FABL和LABL表示将被替代的运动向量的块范围的外边界的同时,下面将描述内边界的计算。该范围的内边界用块行VBBL表示。为了确定从外边界开始将考虑多少块来替换传统计算的运动向量,首先确定列向量方向。
信号v_down表示与当前块相关的前一图像的列向量的垂直分量指向上或指向下。根据本例,二进制信号v_down对于向下的运动向量取1的值并对向上的运动向量取0的值。技术人员知道为了这个目的可以使用任意其他值。二进制值v_down的计算用以下的等式(12)表示:
如果运动向量方向向下,即垂直列向量分量vy[(x,0),n-1]是正的,则向量长度必须加入到第一有效行索引FAL中。相反,如果运动向量方向向上,即垂直列向量分量vy[(x,0),n-1]是负的,则运动向量长度的数量必须从最后的有效行索引LAL中减去。向量长度的相减对应于加入负向量。
为了识别块行VBBL,各个行必须除以块高度Y。块行索引VBBL的计算用以下的等式(13)表示:
当前块是否位于从各个图像外边界FABL、LABL延伸到内边界VBBL的区域内由二进制信号v_invalid表示。v_invalid信号的计算由等式(14)表示:
因此,有两种选择来通过各个列向量设置信号v_invalid以便重写传统上计算出的运动向量。首先,列运动向量是向下的并且当前块行y落入确定的范围FABL≤y≤VBBL中。第二,列运动向量是向上的并且块行索引y在范围VBBL≤y≤LABL内。在所有其他情况下,当前块不落入不正确的运动向量的范围中并且数值0分配给信号v_invalid。
信号v_invalid设为1的所有块,对应的列向量分配给该块,但只有列向量运动在垂直方向时是这样。这由上文提到的转换信号ivpl控制。转换信号ivpl的计算能够用以下的等式(15)表示:
ivpl=v_invalid^v_motion (15)
本发明不限于改进的用于在有效图像边界上的块的运动向量计算的上述详细实施例。
总之,本发明涉及改进的运动向量的估计,尤其用于速率上变换器的运动补偿内插。因为传统的运动估计算法不能提供对位于有效图像边界的那些块的准确的估计,本发明确定可能受到有缺陷运动向量影响的那些块并用根据前一图像确定的一个列或行运动向量来替换那些向量。以这种方式,能够对一幅图像的所有块进行可靠的运动补偿,并且能够有效地防止有效图像边界处的内插算法的恶化。
Claims (40)
1、一种用于确定在视频图像序列中的当前图像的一个块的运动向量的方法,每个视频图像分为多个块,包括以下步骤:
对所述视频图像序列的前一个图像中的块的一行或列中的所有块确定一个运动向量(vline,vcolumn),所述块的行或列包括一个位于与当前图像中的当前块位置对应的位置的块,和
如果在确定的行或列运动向量(vline,vcolumn)的基础上估计的当前块的位置在前一图像的图像区域之外,将所述确定的行或列运动向量(vline,vcolumn)分配给所述当前块。
2、根据权利要求1的方法,其中所述图像区域只包括有效图像区域。
3、根据权利要求2的方法,其中所述有效图像区域由位于有效图像区域的相对侧的至少一对黑条框起来。
4、根据权利要求3的方法,其中所述黑条在顶部和底部框住所述有效图像区域。
5、根据权利要求4的方法,其中所述确定步骤只确定一个列运动向量(vcolumn)。
6、根据权利要求3的方法,其中所述黑条在左侧和右侧框住所述有效图像区域。
7、根据权利要求6的方法,其中所述确定步骤只确定一个行运动向量(vline)。
8、根据权利要求1到3中任一个权利要求的方法,其中所述确定步骤确定一个行运动向量(vline)和一个列运动向量(vcolumn)。
9、根据权利要求1到8中任一个权利要求的方法,其中所述确定步骤还包括步骤:
把所述确定的行或列运动向量(vline,vcolumn)与预定的阈值(THRvy)相比较,和
只有在所述确定的运动向量(vline,vcolumn)超过所述预定阈值(THRvy)时才把所述确定的行或列运动向量(vline,vcolumn)提供给所述分配步骤。
10、根据权利要求9的方法,其中所述阈值(THRvy)具有一个基本上对应于块尺寸的值。
11、根据权利要求9或10的方法,其中所述比较步骤把所述确定的运动向量(vline,vcolumn)的垂直或水平分量(vx,vy)与所述阈值(THRvy)相比较。
12、根据权利要求11的方法,其中所述比较步骤把所述确定的列运动向量(vcolumn)的垂直分量(vy)与所述的阈值(THRvy)相比较。
13、根据权利要求11的方法,其中所述比较步骤把所述确定的行运动向量(vline)的水平分量(vx)与所述的阈值(THRvy)相比较。
14、根据权利要求1到13中任一个权利要求的方法,其中所述分配步骤包括确定当前图像的一行或列中所述确定的运动向量(vline,vcolumn)将分配给所述当前块的块范围的步骤。
15、根据权利要求14的方法,其中所述确定块范围的步骤包括步骤:
识别所述范围的一个外边界(FABL,LABL),和
识别一个所述范围的内边界(VBBL)。
16、根据权利要求15的方法,其中所述外边界(FABL)是有效图像区域的边界的块。
17、根据权利要求16的方法,其中所述外边界(FABL)按照所述确定的运动向量(vline,vcolumn)的类型和方向从有效图像区域的外边界选择。
18、根据权利要求1到17中任一个权利要求的方法,其中所述行或列运动向量(vline,vcolumn)根据前一图像的至少两个相邻行或列计算。
19、一种用于编码一个包括运动补偿的视频图像序列的方法,使用按照权利要求1到18中任一个权利要求的运动估计方法。
20、一种用于内插一个包括运动补偿的视频图像序列的方法,使用按照权利要求1到18中任一个权利要求的运动估计方法。
21、一种用于确定在视频图像序列中的当前图像块的运动向量的运动估计器,每个视频图像分为多个块,所述运动估计器包括:
计算单元,用于对所述视频图像序列的前一个图像中的块的一行或列中的所有块确定运动向量(vline,vcolumn),所述块的行或列包括一个位于与当前图像中的当前块位置对应的位置的块,
位置估计器,用于根据确定的行或列运动向量(vline,vcolumn)估计当前块在前一个图像中的位置,
比较器,用于确定所述估计的位置是否在前一个图像的图像区域之外,和
使能单元,如果在确定的行或列运动向量(vline,vcolumn)的基础上估计的当前块的位置在前一图像的图像区域之外,它把确定的行或列运动向量(vline,vcolumn)分配给所述当前块。
22、根据权利要求21的运动估计器,其中所述图像区域只包括有效图像区域。
23、根据权利要求22的运动估计器,其中所述有效图像区域由位于有效图像区域的相对侧的至少一对黑条框起来。
24、根据权利要求23的运动估计器,其中所述黑条在顶部和底部框住所述有效图像区域。
25、根据权利要求24的运动估计器,其中所述计算单元只确定一个列运动向量(vcolumn)。
26、根据权利要求23的运动估计器,其中所述黑条在左侧和右侧框住所述有效图像区域。
27、根据权利要求26的运动估计器,其中所述计算单元只确定一个行运动向量(vline)。
28、根据权利要求21到23中任一个权利要求的运动估计器,其中所述计算单元确定行运动向量(vline)和列运动向量(vcolumn)。
29、根据权利要求21到28中任一个权利要求的运动估计器,其中所述计算单元还包括一个比较器,用于把所述确定的行或列运动向量(vline,vcolumn)与预定的阈值(THRvy)相比较,并且其中在所述确定的运动向量(vline,vcolumn)超过所述预定阈值(THRvy)时,所述使能单元才把所述确定的运动向量(vline,vcolumn)分配给所述当前块。
30、根据权利要求29的运动估计器,其中所述阈值(THRvy)具有一个本质上对应于块大小的值。
31、根据权利要求29或30的运动估计器,其中所述比较器把所述确定的运动向量(vline,vcolumn)的垂直或水平分量(vx,vy)与所述阈值(THRvy)相比较。
32、根据权利要求31的运动估计器,其中所述比较器把所述确定的列运动向量(vcolumn)的垂直分量(vy)与所述的阈值(THRvy)相比较。
33、根据权利要求31的运动估计器,其中所述比较器把所述确定的行运动向量(vline)的水平分量(vx)与所述的阈值(THRvy)相比较。
34、根据权利要求21到33中任一个权利要求的运动估计器,其中所述使能单元还包括一个范围计算器,用于确定当前图像的一行或列中所述确定的运动向量(vline,vcolumn)将分配给所述当前块的块范围。
35、根据权利要求34的运动估计器,其中所述范围计算器识别图像范围内的一个外边界(FABL,LABL)和内边界(VBBL)。
36、根据权利要求35的运动估计器,其中所述外边界(FABL)是有效图像区域的边界的块。
37、根据权利要求36的运动估计器,其中所述外边界(FABL)按照所述确定的运动向量(vline,vcolumn)的类型和方向从有效图像区域的外边界选择。
38、根据权利要求21到37中任一个权利要求的运动估计器,其中所述行或列运动向量(vline,vcolumn)根据前一图像的至少两个相邻行或列计算。
39、一种编码器,用于编码一个包括运动补偿的视频图像序列,包括使用按照权利要求21到38中任一个权利要求的运动估计器。
40、一种内插器,用于内插一个包括运动补偿的视频图像序列,包括使用按照权利要求21到38中任一个权利要求的运动估计器。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP04007698A EP1585326A1 (en) | 2004-03-30 | 2004-03-30 | Motion vector estimation at image borders for frame rate conversion |
| EP04007698.6 | 2004-03-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1678024A true CN1678024A (zh) | 2005-10-05 |
| CN100405820C CN100405820C (zh) | 2008-07-23 |
Family
ID=34895971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2005100639251A Expired - Fee Related CN100405820C (zh) | 2004-03-30 | 2005-03-30 | 改进的图像边界处的运动向量估计 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20050232357A1 (zh) |
| EP (1) | EP1585326A1 (zh) |
| JP (1) | JP2005287048A (zh) |
| KR (1) | KR20060044912A (zh) |
| CN (1) | CN100405820C (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102055947A (zh) * | 2009-11-09 | 2011-05-11 | 英特尔公司 | 使用运动估计和补偿的帧速率转换 |
| CN102413270A (zh) * | 2011-11-21 | 2012-04-11 | 苏州希图视鼎微电子有限公司 | 校正边界区域运动向量的方法和装置 |
| CN101513051B (zh) * | 2006-09-15 | 2012-09-12 | 松下电器产业株式会社 | 视频处理装置及视频处理方法 |
| WO2015180670A1 (en) * | 2014-05-28 | 2015-12-03 | Mediatek Inc. | Video processing apparatus with at least one of transform unit size selection, mode information unit size selection, picture width decision and picture height decision, and related video processing method thereof |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8018998B2 (en) * | 2005-05-20 | 2011-09-13 | Microsoft Corporation | Low complexity motion compensated frame interpolation method |
| CA2636858C (en) | 2006-01-27 | 2015-11-24 | Imax Corporation | Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality |
| JP4997281B2 (ja) * | 2006-04-14 | 2012-08-08 | エヌエックスピー ビー ヴィ | イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置 |
| JP4844449B2 (ja) * | 2006-04-17 | 2011-12-28 | 日本ビクター株式会社 | 動画像符号化装置、方法、プログラム、動画像復号化装置、方法、およびプログラム |
| WO2007148219A2 (en) | 2006-06-23 | 2007-12-27 | Imax Corporation | Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition |
| WO2008092104A2 (en) * | 2007-01-25 | 2008-07-31 | Skyfire Labs, Inc. | Dynamic client-server video tiling streaming |
| JP2008187222A (ja) * | 2007-01-26 | 2008-08-14 | Hitachi Ltd | 動きベクトル検出装置、動きベクトル検出方法、映像表示装置 |
| JP4513819B2 (ja) * | 2007-03-19 | 2010-07-28 | 株式会社日立製作所 | 映像変換装置、映像表示装置、映像変換方法 |
| US20080304568A1 (en) * | 2007-06-11 | 2008-12-11 | Himax Technologies Limited | Method for motion-compensated frame rate up-conversion |
| KR20090017296A (ko) * | 2007-08-14 | 2009-02-18 | 삼성전자주식회사 | 중간 프레임의 영상을 생성하기 위한 영상처리방법 및 이를적용한 영상처리장치 |
| KR101396365B1 (ko) | 2007-08-28 | 2014-05-30 | 삼성전자주식회사 | 영상의 시공간적 움직임 추정/보상 방법 및 장치 |
| JP4951487B2 (ja) * | 2007-12-14 | 2012-06-13 | 株式会社日立製作所 | 映像処理装置及びそれを用いた映像表示装置 |
| TW200937349A (en) * | 2008-02-19 | 2009-09-01 | Elan Microelectronics Corp | Image displacement detection method |
| US20090225227A1 (en) * | 2008-03-05 | 2009-09-10 | Panasonic Corporation | Motion vector detecting device |
| JP5166159B2 (ja) * | 2008-08-01 | 2013-03-21 | シャープ株式会社 | 画像表示回路及び画面表示装置 |
| DE102008054503A1 (de) * | 2008-12-10 | 2010-06-17 | Trident Microsystems (Far East) Ltd. | Verfahren zur Bewegungsschätzung an Bildrändern |
| JP2010147538A (ja) * | 2008-12-16 | 2010-07-01 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| US8411738B2 (en) * | 2009-03-12 | 2013-04-02 | Samsung Electronics Co., Ltd. | System and method for identification of vertical scrolling regions in digital video |
| US8885714B2 (en) * | 2010-01-14 | 2014-11-11 | Texas Instruments Incorporated | Method and system for intracoding in video encoding |
| CN102547290B (zh) * | 2012-01-20 | 2013-12-18 | 厦门大学 | 一种基于几何分割的视频图像解编码方法 |
| CN103348678B (zh) * | 2012-02-07 | 2017-06-27 | 松下知识产权经营株式会社 | 图像处理装置以及图像处理方法 |
| US9451277B2 (en) * | 2012-02-08 | 2016-09-20 | Qualcomm Incorporated | Restriction of prediction units in B slices to uni-directional inter prediction |
| KR101584310B1 (ko) * | 2014-01-22 | 2016-01-11 | 한국해양과학기술원 | 데이터 매칭방법 및 장치 |
| CN106454378B (zh) * | 2016-09-07 | 2019-01-29 | 中山大学 | 一种基于变形运动模型的帧率上转换视频编码方法及系统 |
| CN112800807B (zh) * | 2019-11-13 | 2023-05-23 | 上海高德威智能交通系统有限公司 | 版面图像的识别方法、识别装置、计算设备及存储介质 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5712474A (en) * | 1993-09-29 | 1998-01-27 | Canon Kabushiki Kaisha | Image processing apparatus for correcting blurring of an image photographed by a video camera |
| US5731832A (en) * | 1996-11-05 | 1998-03-24 | Prescient Systems | Apparatus and method for detecting motion in a video signal |
| AU5875098A (en) * | 1997-02-04 | 1998-08-25 | British Telecommunications Public Limited Company | Processor |
| KR100234264B1 (ko) * | 1997-04-15 | 1999-12-15 | 윤종용 | 타겟윈도우 이동을 통한 블록 매칭방법 |
| EP0897247A3 (de) * | 1997-08-14 | 2001-02-07 | Philips Patentverwaltung GmbH | Verfahren zur Berechnung von Bewegungsvektoren |
| JP2891253B1 (ja) * | 1997-12-10 | 1999-05-17 | 日本電気株式会社 | 画像圧縮処理装置 |
| US6285711B1 (en) * | 1998-05-20 | 2001-09-04 | Sharp Laboratories Of America, Inc. | Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences |
| JP3745907B2 (ja) * | 1998-11-27 | 2006-02-15 | パイオニア・マイクロ・テクノロジー株式会社 | 映像信号処理方法 |
| EP1181828B1 (en) * | 1999-05-13 | 2010-03-17 | STMicroelectronics Asia Pacific Pte Ltd. | Adaptive motion estimator |
| JP2001285874A (ja) * | 2000-03-28 | 2001-10-12 | Nec Corp | 動きベクトル探索装置、方法及びプログラムを記録した記録媒体 |
| US7227896B2 (en) * | 2001-10-04 | 2007-06-05 | Sharp Laboratories Of America, Inc. | Method and apparatus for global motion estimation |
| KR100492127B1 (ko) * | 2002-02-23 | 2005-06-01 | 삼성전자주식회사 | 적응형 움직임 추정장치 및 추정 방법 |
-
2004
- 2004-03-30 EP EP04007698A patent/EP1585326A1/en not_active Withdrawn
-
2005
- 2005-03-17 US US11/081,583 patent/US20050232357A1/en not_active Abandoned
- 2005-03-29 KR KR1020050025902A patent/KR20060044912A/ko not_active Ceased
- 2005-03-29 JP JP2005096241A patent/JP2005287048A/ja not_active Withdrawn
- 2005-03-30 CN CNB2005100639251A patent/CN100405820C/zh not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101513051B (zh) * | 2006-09-15 | 2012-09-12 | 松下电器产业株式会社 | 视频处理装置及视频处理方法 |
| US8432495B2 (en) | 2006-09-15 | 2013-04-30 | Panasonic Corporation | Video processor and video processing method |
| CN102055947A (zh) * | 2009-11-09 | 2011-05-11 | 英特尔公司 | 使用运动估计和补偿的帧速率转换 |
| CN102413270A (zh) * | 2011-11-21 | 2012-04-11 | 苏州希图视鼎微电子有限公司 | 校正边界区域运动向量的方法和装置 |
| WO2015180670A1 (en) * | 2014-05-28 | 2015-12-03 | Mediatek Inc. | Video processing apparatus with at least one of transform unit size selection, mode information unit size selection, picture width decision and picture height decision, and related video processing method thereof |
| US10070070B2 (en) | 2014-05-28 | 2018-09-04 | Mediatek Inc. | Video processing apparatus with transform unit size selection, mode information unit size selection and/or picture width/height decision, and related video processing method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| US20050232357A1 (en) | 2005-10-20 |
| CN100405820C (zh) | 2008-07-23 |
| KR20060044912A (ko) | 2006-05-16 |
| JP2005287048A (ja) | 2005-10-13 |
| EP1585326A1 (en) | 2005-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1678024A (zh) | 改进的图像边界处的运动向量估计 | |
| KR101350853B1 (ko) | 이미지들에서 아티팩트들을 감소시키기 위한 장치 및 방법 | |
| CN1173571C (zh) | 检测一序列视频图象中的静止区域的方法 | |
| CN1299515C (zh) | 一种处理数字图像的输入序列的方法 | |
| CN1164116C (zh) | 数据块噪声检测装置及数据块噪声消除装置 | |
| CN1275470C (zh) | 在帧速率转换时的帧内插方法及其设备 | |
| US8199252B2 (en) | Image-processing method and device | |
| CN1678022A (zh) | 在图像边界基于运动补偿的矢量 | |
| CN1191710C (zh) | 数据处理方法 | |
| CN101796813A (zh) | 用于视频图像数据中的运动估计的方法和装置 | |
| KR20030008150A (ko) | 단일 텔레비전 신호 필드들에서 병렬로 발생하는 필름 및비디오 오브젝트들의 인식 | |
| CN1694503A (zh) | 在视频序列中的胶片方式检测 | |
| CN101065964A (zh) | 运动稳定化 | |
| JP2009533928A (ja) | イメージ信号中の推定動きベクトルの決定方法、コンピュータプログラム、コンピュータプログラム製品およびディスプレイ装置 | |
| CN1694495A (zh) | 采用自适应时间预测的运动向量估计 | |
| CN1601914A (zh) | 解交错装置及其方法 | |
| CN1742486A (zh) | 背景运动向量检测 | |
| CN1678023A (zh) | 使用行和列向量的运动向量估计 | |
| CN1170421C (zh) | 移动检测电路和包括移动检测电路的噪声抑制电路 | |
| CN1656515A (zh) | 估计当前运动矢量的单元和方法 | |
| CN1723711A (zh) | 用于数字视频处理的一元化量度(umdvp) | |
| CN1656514A (zh) | 估计运动矢量的单元和方法 | |
| CN1622638A (zh) | 一种视频监控系统中的图像亮度修正方法 | |
| CN1893658A (zh) | 运动估计器及其运动估计方法 | |
| CN101088290B (zh) | 用于时间-空间自适应视频去隔行扫描的方法、设备和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080723 Termination date: 20120330 |





