CN1694501B - 用于确定运动矢量的方法和使用该方法的运动估算器 - Google Patents

用于确定运动矢量的方法和使用该方法的运动估算器 Download PDF

Info

Publication number
CN1694501B
CN1694501B CN2005100674700A CN200510067470A CN1694501B CN 1694501 B CN1694501 B CN 1694501B CN 2005100674700 A CN2005100674700 A CN 2005100674700A CN 200510067470 A CN200510067470 A CN 200510067470A CN 1694501 B CN1694501 B CN 1694501B
Authority
CN
China
Prior art keywords
motion
vector
motion vector
image
data block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005100674700A
Other languages
English (en)
Other versions
CN1694499A (zh
Inventor
拉尔夫·赫布里克
迈克尔·格伦德迈耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1694499A publication Critical patent/CN1694499A/zh
Application granted granted Critical
Publication of CN1694501B publication Critical patent/CN1694501B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16LPIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
    • F16L47/00Connecting arrangements or other fittings specially adapted to be made of plastics or to be used with pipes made of plastics
    • F16L47/02Welded joints; Adhesive joints
    • F16L47/03Welded joints with an electrical resistance incorporated in the joint
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16LPIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
    • F16L1/00Laying or reclaiming pipes; Repairing or joining pipes on or under water
    • F16L1/024Laying or reclaiming pipes on land, e.g. above the ground
    • F16L1/028Laying or reclaiming pipes on land, e.g. above the ground in the ground
    • F16L1/036Laying or reclaiming pipes on land, e.g. above the ground in the ground the pipes being composed of sections of short length
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16LPIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
    • F16L47/00Connecting arrangements or other fittings specially adapted to be made of plastics or to be used with pipes made of plastics
    • F16L47/06Connecting arrangements or other fittings specially adapted to be made of plastics or to be used with pipes made of plastics with sleeve or socket formed by or in the pipe end
    • F16L47/12Connecting arrangements or other fittings specially adapted to be made of plastics or to be used with pipes made of plastics with sleeve or socket formed by or in the pipe end with additional locking means
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B3/00Ohmic-resistance heating
    • H05B3/40Heating elements having the shape of rods or tubes
    • H05B3/54Heating elements having the shape of rods or tubes flexible
    • H05B3/56Heating cables

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

本发明提供一种经改进的用于运动估算、特别是用于运动补偿插补的方法。通过考虑视频源,根据检测到的源模式设置将被用于确定空间预测矢量的更新矢量的大小。通过选择适当的更新矢量的大小,可以明显提高预测运动的精度和后续运动补偿插补的图像的图形质量。

Description

用于确定运动矢量的方法和使用该方法的运动估算器
技术领域
本发涉及一种经改进的运动估算。具体地说,本发明涉及一种用于估算视频序列中图像块之间运动矢量的方法及其相应的运动估算器。
背景技术
在越来越多的应用中、特别是在现代电视接收机的数字信号处理中使用运动估算。特别是,现代电视接收机特别以上变换或运动补偿上变换的形式执行帧速率转换,以提高再现图像的图像质量。执行运动补偿上变换,例如,将具有50Hz的场或帧频率的视频序列向上变换到如60Hz、66.67Hz、75Hz或100Hz等的较高频率。在基于PAL或SECAM标准将50Hz的输入信号频率主要应用到电视信号广播的同时,基于NTSC的视频信号具有60Hz的输入频率。60Hz的输入视频信号可以被向上变换到如72Hz、80Hz、90Hz或120Hz等的较高频率。
在上变换期间,将生成多个中间图像,这些中间图像反映当不由50Hz或60Hz的输入视频序列表示时在多个位置处的视频内容。为此,必须考虑运动对象的运动,以便适当地反映由所述对象的运动所引起的后续图像之间的变化。在数据块的基础上计算所述对象的运动,并且在在前和后续图像之间新生成图像时基于相对位置来执行运动补偿。
为了运动矢量确定,每个图像被分成多个数据块。对每个数据块进行运动估算(estimation),以便检测一对象相对所述在前图像的移动。最好通过使用多个预定义的候选矢量来避免用于检测一预定义搜索范围内在前图像中较佳匹配数据块的耗时全搜索算法(time consuming full search algorithm)。这组候选矢量包括一定数量的预定义最相似运动矢量。
基于对每个候选矢量计算的一误差值,从所述多个候选矢量中选择一运动矢量。该误差函数评定在根据各候选矢量选择的在前图像的当前数据块和候选数据块之间一致性的程度。具有最小误差函数的较佳匹配矢量被选择作为所述当前数据块的运动矢量。作为当前数据块和所述在前数据块之间相 似性程度的量度,可使用绝对差之和(SAD)。
该组预定义的候选矢量可以包括作为已经被确定用于所述当前图像的相邻数据块的候选矢量的那些运动矢量、已经被确定用于类似位置处在前图像中的数据块的运动矢量等。
Gerard de Haan等人在1998年2月在IEEE Transaction on Circuits andSystems for Video Technology第8卷,第1部发表的论文“An EfficientTure-Motion Estimator Using Candidate Vectors from a Parametric MotionModel”描述了作为一候选矢量的全局(global)运动矢量的计算。所述全局运动矢量反映了所述图像的所有数据块的公同运动。
EP-A-0578290还描述了一种候选矢量,这种候选矢量是基于当前图像的相邻数据块的运动矢量。通过添加具有随机幅值的更新矢量来修改这些矢量的长度和方向。可以通过将预定义的恶化(penalty)值添加到各SAD来控制作为当前数据块的运动矢量的这种矢量类型的选择。根据所添加的恶化值,可以分别减小被选择为当前数据块的运动矢量的可能。
除了图像插补以外,在视频图像的编码期间中还使用了运动估算,以便利用时间冗余。为此,已经开发了多种视频编码标准,广泛使用的是被表示为H.26x或MPEG-x的编码标准。
发明内容
本发明的目的是提供运动矢量估算和提供一种用于确定运动矢量的改进的方法和一种改进的运动估算器。
这些都是由独立权利要求的特性来实现的。
根据本发明的一个方面,提供了一种用于确定在一视频图像的序列中当前图像的一个数据块的运动矢量的方法。每个视频图像被分成多个数据块。所述方法通过使一在前确定的运动矢量与一预定更新矢量相组合确定当前数据块的运动矢量。所述更新矢量的大小是根据所述当前数据块的图像数据是否是由一电影型图像引起的来设定。
根据本发明的另一方面,提供了一种用于确定在一视频图像的序列中当前图像的一个数据块的运动矢量的运动估算器。每个视频图像被分成多个数据块。所述运动估算器通过使一在前确定的运动矢量与一预定的更新矢量相组合确定当前数据块的运动矢量。所述运动矢量包括一电影(film)模式检 测器和一调节装置。所述电影模式检测器确定所述当前数据块的图像数据是否是由一电影型图像引起的。所述调节装置依据所述当前数据块的图像数据是否是由一电影型图像引起的来设定所述更新矢量的大小。
本发明的一特定方法是在确定用于运动矢量估算的预测矢量期间通过调节所述更新矢量改进所述运动矢量预测。为此,考虑图像数据的类型并据此设定更新矢量。如果一将被确定运动矢量的图像数据是由一电影胶片引起的,那么,将可以指望在在前确定的运动矢量和当前数据块的较佳运动矢量之间存在很大的差别。因此,对于电影数据,增加所述更新矢量的大小。在这种方式下,当前图像数据块的运动矢量预测将考虑特定图像类型的特征,以便改进运动估算质量和减少明显存在于运动补偿图像中的人为影响。
最好是,通过检测所述视频序列的转换模式来执行一电影类型的确定。所述转换模式反映一在从电影型到视频型数据的转换期间所使用的下拉(pull down)方案。
根据一较佳实施例,在每一场或每一帧的图像基础上确定所述图像类型。利用这种方式,能够实现只需少量计算的可靠的运动矢量估算。
根据本发明另一较佳实施例,以数据块为基础确定特别是电影模式或视频模式中的图像类型。因此,可以实现当前图像类型的更加精确的确定,和本发明能够被有益地应用到混合型图像序列中。混合型图像序列包括由诸如电影数据和视频摄象数据等不同来源引起的图像数据。
最好是,利用大于非电影型图像数据的更新矢量的1.5和2.5之间的系数设定所述更新矢量的大小。所述更新矢量的大小最好是电影模式图像数据的两倍。因此,即使是不同的运动阶段只存在于所述输入图像序列中的每个第二图像之中,也能够精确地确定一运动矢量。
最好从多个预定更新矢量中选择所述更新矢量、即一特定大小的更新矢量。利用这种方式,将在当前运动矢量估算期间使用的一更新矢量可以用一简单和有效的方式来确定。
根据一较佳实施例,在多个候选矢量的基础上执行所述运动估算。所述多个候选矢量包括通过将一在前确定的运动矢量与一预定义更新矢量相组合而估算的运动矢量。在其中的每一个为所述当前数据块提供一单独运动估算的有限组候选运动矢量的基础上,可以利用仅使用最少硬件和最少所需计算量的可靠结果执行运动矢量的确定。
为了可靠地检测一当前数据块的运动,提供不同的运动矢量预测。特别是,所述不同的预测基于相同的在前确定的运动矢量,该运动矢量与来自多个预定更新矢量的不同更新矢量相组合。利用这种方式,可以用一种简单和有效的方式确定较佳匹配的运动矢量。
最好从一指向一当前数据块的相同数据块位置的零运动矢量、一被确定用于一当前图像的一相邻数据块的一运动矢量和一被确定用于一在前图像中一个数据块的运动矢量中选择将被与所述更新矢量相组合的在前计算的运动矢量。利用这种方式,有限数量的候选运动矢量可以使能利用少量的硬件和计算有效和可靠地执行运动矢量的确定。
与用于确定一运动矢量的全搜索方法相反,本发明的运动矢量估算最好是基于还包括一指向所述当前数据块的相同数据块位置的零运动矢量、一被确定用于所述当前数据块中的一相邻数据块的运动矢量和一被确定用于一在前图像的一个数据块的运动矢量中的至少一个运动矢量的候选矢量。该有限组的运动矢量使能快速和可靠的运动矢量确定。
本发明的较佳实施例是相关权利要求的主题。
附图说明
通过下面结合附图对优选实施例的描述,本发明的其它实施例和优点将会变得更加明显。其中:
图1示出了为了运动估算和补偿的目的将一视频图像分成多个具有相同大小的数据块;
图2示出了一当前数据块B(x,y)和可能的空间预测位置;
图3示出了一当前数据块B(x,y)以及可能的空间和时间预测位置;
图4示出了一图像速率转换器的结构;
图5示出了在来自一摄像机的一视频序列中的不同运动阶段;
图6示出了在一电影序列中图5的同一运动对象的不同运动阶段;
图7示出了来自被转换成一视频序列的图6所示电影序列的视频序列中的不同运动阶段;和
图8示出了包括根据本发明一运动估算器的视频编码器的结构。
具体实施方式
本发明涉及数字信号处理,特别涉及在现代电视接收机中的信号处理。现代电视接收机使用上变换算法,以便提高再现图像的质量。为此,从两个后续图像中生成多个中间图像。为了生成一个中间图像,必须考虑运动对象的运动,以便使所述对象的位置适当地适应于由所述插补图像反映的时间点。
以数据块为基础执行运动估算。为此,每个所接收的图像被分成多个数据块,例如图1所示。通过在所述在前图像中确定一较佳匹配数据块对每个当前数据块分别执行运动估算。
为了避免在预定义搜索区域内的耗时全搜索,只向所述运动估算器提供了一有限的候选矢量组。所述运动估算器从这些候选矢量中选择能够从具有最小偏移量的所述在前图像的各个数据块中预测所述当前数据块的矢量。
图1示出了将每个视频图像分成多个数据块B(x,y)。每个数据块宽为x和高为y,其中,x和y分别表示在行和列的方向上像素的数量。可以使用下述公式计算每行或列的数据块的数量:
xmax=每行像素/X
ymax=每列像素/Y
对于这些数据块中的每一个,从多个不同的候选矢量计算一运动矢量。通常,该候选矢量组包括例如下述运动矢量:
C1=(0;0)
C 2 = V → [ ( x - 1 ; y ) , n ]
C 3 = V → [ ( x ; y - 1 ) , n ]
C 4 = V → [ ( x - 1 ; y ) , n ] + u →
C 5 = V → [ ( x ; y - 1 ) , n ] + u →
C 6 = V → [ ( x + 2 ; y ) , n - 1 ]
C 7 = V → [ ( x ; y + 2 ) , n - 1 ]
其中,n表示所述当前场,n-1表示所述在前场,和表示所述更新矢量。
如能从上述等式看出的,所述候选矢量可以包括零运动矢量(C1)、用于空间预测的相邻数据块的运动矢量(C2、C3)和/或用于时间预测的在前图像的运动矢量(C6、C7)。
通过使用被累计到所述空间预测矢量C2、C3的更新矢量来改进所述空间预测。为了考虑与所选择的候选矢量相比所述对象运动的小变化,一更新 矢量被施加到一运动矢量上以创建新的候选矢量C4和C5。虽然在上述的候选矢量表中,更新矢量仅被施加到候选矢量C2和C3,但是,它可以用相同的方式施加到例如候选矢量C6和C7的任一其它候选矢量。
虽然上述表的时间预测矢量C6和C7定义了具有两数据块(two blocks)偏移的候选矢量的使用,但也可以使用例如0、1、3等而不是2的任一其它的偏移。
在就当前和在前图像描述所述时间预测矢量时,术语“图像”可以涉及隔行扫描视频序列的场或逐行扫描视频序列的帧。因此,根据视频序列的类型,所产生的中间图像可以是多个场或多个帧。
此外,上述候选矢量表既不完全也不需要包含所有上述的候选矢量。可以使用任一其它组的候选矢量产生所述当前数据块的较佳的匹配运动矢量的确定。
对于每个候选矢量,计算和评价一预测误差,以便确定所述较佳匹配运动矢量。作为对所述预测误差的测定,可以确定绝对差之和(SAD)。那个候选矢量被选择并被认为能较佳表示具有最小SAD的所述数据块的运动。
当相对其它候选矢量某些运动矢量候选C1到C7可为优选时,可以将一可编程的“恶化(penalty)”添加到用于个别候选的已经确定的SAD。在这种方式下,特定候选的选择可按优先次序排列。最好是,所述恶化值与用于运动矢量C4、C5的更新矢量
Figure S05167470020050509D00006103739QIETU
的长度成正比。
除了上述候选矢量表以外,可以进一步考虑全局运动矢量。全局运动矢量表示可被应用于所述视频图像的所有数据块的运动。这种运动矢量适当地应用于一摄像机拍摄全景(pan)。
上述列表的候选矢量C1到C7包括来自图2所示空间邻近的在先计算的运动矢量。这些候选矢量包括作为候选矢量C2和C3的从所述当前数据块B(x,y)的相邻位置到所述位置的已经处理的数据块B(x-1,y)和B(x,y-1)。
候选矢量C6和C7表示时间预测矢量,这些时间预测矢量表示在前场n-1的已经计算的运动矢量。图3示出了时间运动预测矢量的例子,其中,数据块B’(x+2,y)和B’(x,y+2)被标记为预测矢量。
如果场景的运动在一定数量的场的范围内接近恒定,那么,所述时间预测矢量提供一运动对象的相似速度。基于由所述运动估算算法产生的矢量信 息,使用运动补偿技术插补一中间场。
图4示出了一种已知场速率转换器的示例性结构。运动估算电路ME计算一运动矢量场并将该运动矢量场提供给运动补偿插补电路MCI。运动补偿输出图像被显示在所连接的显示器件上。
如果所述源素材(source material)源自电影,那么,在高端电视接收机中使用的上变换算法将遭遇到很差的图像质量。在快速运动的情况下,运动对象的边缘在插补期间不能被重新构造。这是由于一定数量的估算步骤需要集中朝向一正确运动矢量所引起的。当使用摄像机源素材时,要求获得所述正确运动矢量的估算步骤的数量大约仅是需要用于电影胶片的步骤数量的一半。这是由于与来自电影胶片的视频序列相比,在摄像机源素材图像之间的运动量较小。
图5、6和7示出了由摄像机或电影摄像机记录并被从电影摄像机的电影数据转换成视频摄像机数据的不同运动阶段。
图5示出了由具有50Hz或60Hz场速率隔行扫描记录格式的电子摄像机记录的运动阶段。相反,图6示出了由电影摄像机记录的相同场景。因此,与根据如PAL、SECAM或NTSC的电视标准的视频数据相比较,电影数据仅反映了少量运动阶段。
当将图6所示的电影数据转换为如视频格式的电视标准时,来自电影的运动阶段被重复转换成多个场。如从图7可看到的,来自所述电影的每个运动阶段被根据两-两全下转换(two-two pull down conversion)变换为所述场序列的两个场。
当与图5和图7的视频序列中表示的不同运动阶段的对象位置比较时,基于图7的运动阶段的时间预测更有错误的倾向。当只有少量图7中的视频序列的图像反映不同的运动阶段时,时间运动矢量预测必须解决运动阶段之间运动对象的大的移动。
施加到视频序列的运动估算不能精确地考虑到两种图像数据,即视频模式数据和电影模式数据。因此,对于来自电影的快速运动对象来讲,运动矢量的预测通常都会失败。因此,在用于快速运动对象的场的运动补偿序列中、特别是在所述运动对象的边缘处,可以看到很强的人工痕迹。
本发明通过相应地适应所述预测运动矢量的大小来解决这个问题。在视频模式下,所述空间更新矢量被设置得较小,而在电影模式下,使用较大的 更新矢量。
与现有技术将相同的更新矢量施加给视频和电影模式型图像数据而导致运动矢量预测不适于这两种模式相反,本发明在不同种视频数据之间进行区别而导致更加适应运动的矢量长度和方向。在这种方式下,可以改善运动矢量确定的精确度、可靠性和效率。
通常,作为候选矢量的空间运动矢量预测由下述等式定义:
·  C 4 = V → [ ( x - 1 ; y ) , n ] + u →
·  C 5 = V → [ ( x ; y - 1 ) , n ] + u →
更新矢是从一更新矢量SETupdate组中随机选择的。该更新矢量被按照用于实际搜索数据块的所检测到的源模式进行修改。在电影源的情况下,被用于所述更新矢量
Figure S05167470020050509D00008104009QIETU
的组值必须大于用于视频源数据的组值。这是由于例如能够从图5和7中所看到的在电影源素材中较大的运动矢量引起的。
根据本发明,电影模式/视频模式指示是在一数据块的基础上确定的。因此,一状态信号被指定给每个图像数据块,最好是以二进制形式指出当前的模式,例如“0”表示视频模式数据块,“1”表示来自电影胶片的数据块。
在较佳实施例中,所述空间更新组(SETupdate)被设置为:
Figure S05167470020050509D000083
所述更新矢量组可以被如下指定:
SETu_cam={(-1;0),(1;0),(0;-1),(0;1),(-3;0),(3;0),(0;-4),(0;4),(-8;0),(8;0)}
SETu_film={(-1;0),(1;0),(0;-1),(0;1),(-5;0),(5;0),(0;-6),(0;6),(-15;0),(15;0)}
对于所有的候选矢量,计算最好是作为绝对差之和(SAD)的误差函数。根据另一个较佳实施例,通过添加所谓的恶化值来修改用于通过使用根据本发明的更新矢量确定的运动矢量候选的所述SAD值。在这种方式下,通过向所述SAD值添加一个值可以使候选值C4和C5恶化,其中,所添加的值与所述更新矢量
Figure S05167470020050509D00008104036QIETU
的长度成正比。然后,所述运动估算器从被恶化的SAD值中选择那个候选矢量作为具有最低SAD值的当前数据块的运动矢量。
应当说明,本领域的技术人员应当理解,根据本发明,空间更新矢量的总量和所述更新矢量的值可以不同于上述方式进行设置。代替使用基于分别选择的两个空间更新矢量的运动矢量预测的伪随机选择,所述候选矢量可以包括两个以上基于在前确定的运动矢量和不同更新矢量相组合的候选矢量。 甚至可以使用与来自多个预定义更新矢量SETupdate的所有可能更新矢量对应的一定数量的候选矢量。
在前面的本发明主要描述了中间图像的插补的来龙去脉,特别是用于在现代电视接收机中的帧速率转换,但本发明的经改进的运动估算可以以相应的方式应用到视频数据压缩中。
视频数据的压缩通常使用一定数量的主阶段(main stage)。每个单独的图像被分成多个像素数据块,以便以一数据块级对每个图像进行数据压缩。这种数据块的划分可以对应于图1所示的划分。通过将每个数据块施加到一变换单元上以便将每个数据块的像素从所述空间域变换到所述频率域可以减少一图像内的空间冗余。所得到的变换系数被量化,和量化的变换系数被进行熵编码。
此外,利用后续图像数据块之间的时间依赖关系,以便只发送后续图像之间的差。这是通过使用一运动估算/补偿技术实现的。通过所谓的混合编码技术来执行所述时间依赖关系的利用,所述混合编码技术是时间和空间压缩技术与统计编码的组合。
参看图8,图8示出了一个混合视频编码器的例子。通常以标号1表示的所述视频编码器包括减法器10,用于确定在一当前视频图像和一基于一运动补偿在前编码图像的所述当前图像的一预测信号之间的差。变换和量化单元20将所述预测误差从所述空间域变换为所述频率域,并量化所获得的变换系数。熵编码单元90熵编码量化后的变换系数。
编码器1使用差动脉冲码调制(DPCM),该差动脉冲码调制只发送输入视频序列的后续图像之间的差。这些差是由接收将被编码的视频图像和从中被减去一预测信号的减法器10确定的。
所述预测信号基于对编码器侧在前编码图像的解码结果。这是通过插补到所述视频编码器中的一解码单元实现的。所述解码单元以相反的方式执行所述编码步骤。逆量化和逆变换单元30对所量化系数执行逆量化,并对逆量化后的系数执行逆变换。加法器35累加解码后的差和预测信号。
所述预测信号由当前和在前场或帧之间运动的估算产生。所述运动估算是由接收所述当前输入信号和被局部解码图像的运动估算器70执行的。最好是根据本发明执行运动估算。在所述运动估算结果的基础上,由运动补偿器60执行运动补偿。
综上所述,本发明提供一种改进的用于运动估算特别是用于运动补偿插补的方法。借助于考虑所述视频数据源,根据所检测到的源模式设置将被用于确定空间预测矢量的更新矢量的大小。通过选择适当的更新矢量的大小,被预测运动的精度以及运动补偿插补的图像的图形质量将会明显提高。

Claims (32)

1.一种用于确定视频图像序列中一当前图像的数据块的运动矢量的方法,每个视频图像被分成多个数据块,所述方法通过将一在前确定的运动矢量与一预定义更新矢量相组合来确定用于一当前数据块的运动矢量,其特征在于:
如果所述当前数据块的图像数据来源于电影型图像则将所述更新矢量的大小设置得较大。
2.根据权利要求1所述的方法,其中,所述图像数据来源于电影型图像的确定是基于按照视频图像顺序电影对视频数据转换模式的检测确定的。
3.根据权利要求2所述的方法,其中,所述转换模式是2∶2或3∶2转换模式。
4.根据权利要求1到3中任一权利要求所述的方法,其中,所述图像数据来源于电影型图像的确定是以图像为基础、特别是以每场或每帧为基础确定的。
5.根据权利要求1到3中任一权利要求所述的方法,其中,所述图像数据来源于电影型图像的确定是以数据块为基础确定的。
6.根据权利要求1到5中任一权利要求所述的方法,其中,如果所述图像数据来源于电影,则所述更新矢量的大小被设置得较大。
7.根据权利要求6所述的方法,其中,在电影图像数据的情况下,所述更新矢量的大小被设置在1.5和2.5之间,最好是相当于用于非电影型图像数据的更新矢量大小的两倍。
8.根据权利要求1到7中任一权利要求所述的方法,其中,从多个预定更新矢量中选择所述更新矢量。
9.根据权利要求1到8中任一权利要求所述的方法,还包括下述步骤:
从包括通过将一在前确定的运动矢量和一预定更新矢量相组合所估算的所述运动矢量的多个候选运动矢量中选择一用于所述当前数据块的运动矢量;和
将所选择的运动矢量指定给所述当前数据块。
10.根据权利要求9所述的方法,其中,所述选择步骤包括下述步骤:
计算用于候选运动矢量中每一个的误差值;和
选择具有最小误差值的那个运动矢量。
11.根据权利要求1到10中任一权利要求所述的方法,其中,所述候选矢量包括已给出的在前确定的运动矢量和来自多个预定更新矢量的不同更新矢量的多个组合。
12.根据权利要求1到11中任一权利要求所述的方法,其中,所述在前确定的运动矢量包括下述运动矢量中的至少一个:
一指向所述当前数据块的相同数据块位置的一零运动矢量,
一被确定用于在当前图像中的一相邻数据块的运动矢量,和
一被确定用于一在前图像中的一数据块的运动矢量。
13.根据权利要求9到12中任一权利要求所述的方法,其中,所述候选矢量还包括下述运动矢量中的至少一个:
一指向所述当前数据块的相同数据块位置的零运动矢量,
一被确定用于当前图像中一相邻数据块的运动矢量,和
一被确定用于一在前图像的一数据块的运动矢量。
14.一种使用根据权利要求1到13中任一权利要求所述的运动估算方法对包括运动补偿的视频图像的序列进行编码的方法。
15.一种使用根据权利要求1到13中任一权利要求所述的运动估算方法对包括运动补偿的视频图像的序列进行插补的方法。
16.一种通过利用根据权利要求15的运动补偿来转换一视频序列的场速率或帧速率的方法。
17.一种运动估算器,用于按照视频图像的顺序确定一当前图像的一数据块的运动矢量,每个视频图像被分成多个数据块,所述运动估算器通过将一在前确定的运动矢量和一预定义更新矢量相组合来确定一当前数据块的运动矢量,其特征在于:
一电影模式检测器,用于确定所述当前数据块的图像数据是否来源于电影型图像,和
一调节装置,用于如果所述当前数据块的图像数据来源于电影型图像则将所述更新矢量的大小设置得较大。
18.根据权利要求17所述的运动估算器,其中,所述电影模式检测器在按照视频图像的顺序检测一电影的视频数据转换模式的基础上,确定图像数据来源于电影型图像。
19.根据权利要求18所述的运动估算器,其中所述转换模式是2∶2或3∶2转换模式。
20.根据权利要求17到19中任一权利要求所述的运动估算器,其中,所述电影模式检测器以图像为基础、特别是以每场或每帧为基础来确定所述图像数据来源于电影型图像。
21.根据权利要求17到19中任一权利要求所述的运动估算器,其中,所述电影模式检测器以数据块为基础来确定所述图像数据来源于电影型图像。
22.根据权利要求17到21中任一权利要求所述的运动估算器,其中,如果所述图像数据来源于电影,则所述调节装置将所述更新矢量的大小设置得较大。
23.根据权利要求22所述的运动估算器,其中,所述调节装置在电影图像数据的情况下将所述更新矢量的大小设置为在1.5和2.5之间,最好是设置为相对于用于非电影型图像数据的一更新矢量的大小的两倍。
24.根据权利要求17到23中任一权利要求所述的运动估算器,其中,所述调节装置包括一存储器,并且从多个预先存储的更新矢量中选择所述更新矢量。
25.根据权利要求17到24中任一权利要求所述的运动估算器,还包括一选择器,用于从包括通过将一在前确定的运动矢量和一预定义更新矢量相组合所估算的所述运动矢量的多个候选运动矢量中选择一用于所述当前数据块的运动矢量。
26.根据权利要求25所述的运动估算器,其中,所述选择器包括:
一处理单元,用于计算所述候选运动矢量中每一个的误差值,和
一比较器,用于选择具有最小误差值的那个运动矢量。
27.根据权利要求17到26中任一权利要求所述的运动估算器,其中,所述候选矢量包括给出的在前确定的运动矢量与来自多个预定义更新矢量的不同更新矢量的多个组合。
28.根据权利要求17到27中任一权利要求所述的运动估算器,其中,所述在前确定的运动矢量包括下述运动矢量中的至少一个:
一指向所述当前数据块的相同数据块位置的零运动矢量;
一被确定用于所述当前图像中一相邻数据块的运动矢量;和
一被确定用于一在前图像中一数据块的运动矢量。
29.根据权利要求25到28中任一权利要求所述的运动估算器,其中,所述候选矢量还包括下述运动矢量中的至少一个:
一指向所述当前数据块的相同数据块位置的零运动矢量;
一被确定用于所述当前图像中一相邻数据块的运动矢量;和
一被确定用于一在前图像中的一数据块的运动矢量。
30.一种编码器,用于使用权利要求17到29中任一权利要求所述的运动估算器对一包括运动补偿的视频图像序列进行编码。
31.一种插补器,用于使用权利要求17到29中任一权利要求所述的运动估算器对一包括运动补偿的视频图像序列进行插补。
32.一种转换器,用于通过使用权利要求31所述的运动补偿来转换一视频序列的场速率或帧速率。
CN2005100674700A 2004-04-30 2005-04-25 用于确定运动矢量的方法和使用该方法的运动估算器 Expired - Fee Related CN1694501B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04010296A EP1592258B1 (en) 2004-04-30 2004-04-30 Motion estimation employing adaptive spatial update vectors
EP04010296.4 2004-04-30

Publications (2)

Publication Number Publication Date
CN1694499A CN1694499A (zh) 2005-11-09
CN1694501B true CN1694501B (zh) 2010-12-15

Family

ID=34924800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005100674700A Expired - Fee Related CN1694501B (zh) 2004-04-30 2005-04-25 用于确定运动矢量的方法和使用该方法的运动估算器

Country Status (6)

Country Link
US (1) US7920627B2 (zh)
EP (1) EP1592258B1 (zh)
JP (1) JP4528662B2 (zh)
KR (1) KR20060047581A (zh)
CN (1) CN1694501B (zh)
DE (1) DE602004030993D1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602004002455T2 (de) * 2004-04-30 2007-01-11 Matsushita Electric Industrial Co., Ltd., Kadoma Bewegungsvektorschätzung durch adaptive zeitliche Vorhersage
GB2432068B (en) * 2005-11-02 2010-10-06 Imagination Tech Ltd Motion estimation
JP4843367B2 (ja) * 2006-04-28 2011-12-21 株式会社東芝 Y/c分離回路
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
JP4181592B2 (ja) 2006-09-20 2008-11-19 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP4369948B2 (ja) 2006-09-20 2009-11-25 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
US8249371B2 (en) * 2007-02-23 2012-08-21 International Business Machines Corporation Selective predictor and selective predictive encoding for two-dimensional geometry compression
US20080304568A1 (en) * 2007-06-11 2008-12-11 Himax Technologies Limited Method for motion-compensated frame rate up-conversion
KR101337206B1 (ko) 2007-10-12 2013-12-06 삼성전자주식회사 블록 샘플링을 이용한 영상의 움직임 추정 시스템 및 방법.
US9641861B2 (en) * 2008-01-25 2017-05-02 Mediatek Inc. Method and integrated circuit for video processing
US20090225227A1 (en) * 2008-03-05 2009-09-10 Panasonic Corporation Motion vector detecting device
JP4883029B2 (ja) * 2008-03-05 2012-02-22 パナソニック株式会社 動きベクトル検出回路、動きベクトル検出装置、及び集積回路
WO2009119347A1 (ja) 2008-03-28 2009-10-01 日本電気株式会社 画像処理システム、画像処理方法および画像処理用プログラムが格納された記録媒体
KR101377660B1 (ko) * 2008-09-30 2014-03-26 에스케이텔레콤 주식회사 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
GB2469679B (en) * 2009-04-23 2012-05-02 Imagination Tech Ltd Object tracking using momentum and acceleration vectors in a motion estimation system
JP2010288098A (ja) * 2009-06-12 2010-12-24 Sony Corp 画像フレーム補間装置、画像フレーム補間方法及び画像フレーム補間プログラム
US20110001882A1 (en) * 2009-07-06 2011-01-06 Sony Corporation Method and system for determining motion vectors for flat regions
US8446524B2 (en) * 2010-06-21 2013-05-21 Realtek Semiconductor Corp. Apparatus and method for frame rate conversion
GB2487197B (en) 2011-01-11 2015-06-17 Canon Kk Video encoding and decoding with improved error resilience
GB2488816A (en) 2011-03-09 2012-09-12 Canon Kk Mapping motion vectors from a plurality of reference frames to a single reference frame
CN103444181B (zh) 2011-04-12 2018-04-20 太阳专利托管公司 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编码解码装置
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
EP2717575B1 (en) 2011-05-27 2018-10-10 Sun Patent Trust Image decoding method and image decoding device
CA2834191C (en) 2011-05-31 2019-04-09 Panasonic Corporation Video encoding method, video encoding device, video decoding method, video decoding device, and video encoding/decoding device
US20130003850A1 (en) 2011-06-30 2013-01-03 Toshiyasu Sugio Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
EP2741499A4 (en) 2011-08-03 2014-12-10 Panasonic Ip Corp America VIDEO CODING METHOD, VIDEO CODING METHOD, VIDEO CODING DEVICE, VIDEO ENCODING DEVICE AND VIDEO ENCODING / DECODING DEVICE
GB201113527D0 (en) 2011-08-04 2011-09-21 Imagination Tech Ltd External vectors in a motion estimation system
KR101999869B1 (ko) 2011-10-19 2019-07-12 선 페이턴트 트러스트 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 및, 화상 복호 장치
TW201345262A (zh) * 2012-04-20 2013-11-01 Novatek Microelectronics Corp 影像處理電路及影像處理方法
CN103379303A (zh) * 2012-04-25 2013-10-30 联咏科技股份有限公司 影像处理电路及影像处理方法
US20150110190A1 (en) * 2013-10-21 2015-04-23 Sony Corporation Method and apparatus for motion estimation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0578290B1 (en) * 1992-05-06 1998-08-05 Koninklijke Philips Electronics N.V. Motion estimation

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317398A (en) * 1992-08-17 1994-05-31 Rca Thomson Licensing Corporation Video/film-mode (3:2 pulldown) detector using patterns of two-field differences
JPH1013836A (ja) * 1996-06-21 1998-01-16 Canon Inc 動きベクトル検出装置
DE69727911D1 (de) * 1997-04-24 2004-04-08 St Microelectronics Srl Verfahren zur Erhöhung der bewegungsgeschätzten und bewegungskompensierten Bildfrequenz für Videoanwendungen, und Vorrichtung zur Verwendung eines solchen Verfahrens
KR100591023B1 (ko) * 1997-09-23 2006-06-22 코닌클리케 필립스 일렉트로닉스 엔.브이. 움직임 추정 및 움직임 보상된 보간법
KR100582856B1 (ko) 1997-09-23 2006-05-24 코닌클리케 필립스 일렉트로닉스 엔.브이. 움직임 추정 및 움직임 보상된 보간법
CN1456015A (zh) * 2001-01-11 2003-11-12 皇家菲利浦电子有限公司 识别并行地出现在单个电视信号场中的影片和视频对象
EP1364528A1 (en) * 2001-02-21 2003-11-26 Koninklijke Philips Electronics N.V. Facilitating motion estimation
JP2004023673A (ja) * 2002-06-19 2004-01-22 Sony Corp 動きベクトル検出装置及び方法、動き補正装置及び方法
KR100854091B1 (ko) * 2002-07-13 2008-08-25 삼성전자주식회사 영상신호의 필름 모드 검출장치 및 방법
US7480334B2 (en) * 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0578290B1 (en) * 1992-05-06 1998-08-05 Koninklijke Philips Electronics N.V. Motion estimation

Also Published As

Publication number Publication date
DE602004030993D1 (de) 2011-02-24
JP4528662B2 (ja) 2010-08-18
KR20060047581A (ko) 2006-05-18
JP2005318576A (ja) 2005-11-10
EP1592258B1 (en) 2011-01-12
US20050243927A1 (en) 2005-11-03
US7920627B2 (en) 2011-04-05
CN1694499A (zh) 2005-11-09
EP1592258A1 (en) 2005-11-02

Similar Documents

Publication Publication Date Title
CN1694501B (zh) 用于确定运动矢量的方法和使用该方法的运动估算器
EP1592248B1 (en) Motion vector estimation employing adaptive temporal prediction
CN100452832C (zh) 使用行和列向量的运动向量估计
CN100534131C (zh) 具有改进的运动向量选择的运动向量估算器和估算方法
JP4083265B2 (ja) 画像信号の方式変換方法および装置
KR100579493B1 (ko) 움직임 벡터 생성 장치 및 방법
KR20060047630A (ko) 움직임 보상된 출력 이미지 데이터를 생성하는 방법 및움직임 보상기
KR20010043410A (ko) 비디오 프레임 속도를 증가시키기 위한 방법 및 장치
NL1027270C2 (nl) Deïnterlinieringsinrichting met een ruisverminderings/verwijderingsinrichting.
CN101420606A (zh) 图像处理方法和装置
JP2000512091A (ja) 動作ベクトル処理
JP2005318622A (ja) 逆フィルムモード外挿方法
JPH11298861A (ja) 画像信号のフレーム数変換方法および装置
JP3362463B2 (ja) フレーム補間装置
KR100587263B1 (ko) 비디오 신호의 프레임 율 변환 방법
JP2005073291A (ja) 動き補償装置
JP2925046B2 (ja) 動画像の動き補償予測方法
JP5300568B2 (ja) 映像処理装置およびその制御方法
KR100982509B1 (ko) 필름 모드 검출방법 및 장치
An et al. Improved picture-rate conversion using classification-based LMS-filters
JPS62221284A (ja) 動きベクトル検出装置
JPH10257497A (ja) インターレース動画像信号の動き補償予測方法及び符号化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101215

Termination date: 20130425