CN102088589A - 基于双向的局部和全局运动估计的帧率转换 - Google Patents

基于双向的局部和全局运动估计的帧率转换 Download PDF

Info

Publication number
CN102088589A
CN102088589A CN2010105836577A CN201010583657A CN102088589A CN 102088589 A CN102088589 A CN 102088589A CN 2010105836577 A CN2010105836577 A CN 2010105836577A CN 201010583657 A CN201010583657 A CN 201010583657A CN 102088589 A CN102088589 A CN 102088589A
Authority
CN
China
Prior art keywords
frame
motion vector
motion
pixel
next frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010105836577A
Other languages
English (en)
Other versions
CN102088589B (zh
Inventor
A·利维
A·米亚斯科夫斯基
B·赫维茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN102088589A publication Critical patent/CN102088589A/zh
Application granted granted Critical
Publication of CN102088589B publication Critical patent/CN102088589B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据一些实施例，帧率转换可以使用前向和反向的局部和全局运动估计。在一些实施例中，可以对于块产生空间和相邻预测值。可以对于每一个预测值执行小范围块匹配。可以基于来自相邻块的投票，从多个候选中选择用于块的最终或最佳运动矢量。可以从多个所选择的运动矢量计算全局运动矢量。可以基于两个连续帧以及前向和后向的局部和全局运动估计来计算经过运动补偿的内插。

Description

基于双向的局部和全局运动估计的帧率转换
技术领域
本发明总体上涉及处理视频信息。
背景技术
可以以给定的帧率来提供视频。该视频由静止帧的序列组成。该帧率是每秒的帧数量。
一些显示器使用与输入视频的帧率不同的帧率。因此，帧率转换将帧率向上或向下转换，使得输入帧率与显示器的帧率匹配。
附图说明
图1是根据本发明的一个实施例的帧率转换装置；
图2是根据一个实施例的运动估计单元的更详细地描述；
图3是根据一个实施例的运动补偿设备的更详细的描述；
图4是根据本发明的一个实施例的时间预测值(predictor)及金字塔预测值的描述；
图5是根据本发明的一个实施例的空间预测值的描述；
图6是一个实施例的流程图；以及
图7是对于一个实施例的系统描述。
具体实施方式
帧率转换用于改变视频序列的帧率。典型的帧率转换算法应用是，对于国家电视系统委员会(NTSC)系统而言，将影片内容从每秒24帧转换为每秒60帧，或对于逐行倒相(PAL)系统而言，将影片内容从每秒25帧转换为每秒50帧。高清晰度电视支持每秒120或240帧的显示，这也需要帧的向上转换。根据一些实施例，帧率转换算法可以补偿在视频序列中描述的运动。
在一个实施例中，使用双向的、分级的局部和全局运动估计和运动补偿。“双向”表示在前向和反向上在两个锚定帧(anchor frame)之间估计运动。“分级运动估计(hierarchical motion estimation)”指的是使用所提供的视频信息的每一次不断提高的分辨率来精炼运动估计的情况。双向的、分级的局部和全局运动估计之后是最终运动补偿阶段，该阶段将所述两个锚定帧和所有的运动估计元素整合到一个内插阶段内。
根据一个实施例，可以接收两个视频帧的输入序列。这些帧可以包括由x、y和时间t坐标指定的一系列像素。运动矢量可以从第一帧至第二帧以及从第二帧至第一帧来确定，换句话说，在前向和反向上确定。本算法使用所得到的局部和全局运动、所提供的时间戳以及连续的帧数据来在这两个帧之间创建内插帧。时间戳对应于帧率，并且具体地说，对应于输出帧的期望帧率。
因此，前一帧P可以具有由x、y和t变量指定的像素，并且后一帧N可以具有采用x、y和t+1变量的像素。输出帧C具有采用x、y、t’变量的像素。内插得到的输出帧C可以具有时间t+q，其中，q小于1并且大于0。可以在x和y坐标中由p来指示像素位置。运动矢量MVAB(x，y)是从帧A至帧B的、在屏幕空间中的坐标x和y处的运动矢量。全局运动矢量GMAB是从帧A至帧B的主运动矢量(dominant motion vector)。
因此，参见图1，向前向运动估计单元12a和反向运动估计单元12b提供前一帧P和后一帧N。每一个运动估计单元12的输出是运动矢量场和全局运动矢量，该运动矢量场和全局运动矢量在前向运动估计单元12a的情况下是从前一帧P至后一帧N，或者在反向运动估计单元12b的情况下是从后一帧至前一帧，如图1中所述。向运动补偿设备22提供前向和反向运动估计的结果，运动补偿设备22接收所述运动矢量和内插的输出帧C的时间q。
参见图2，运动估计单元12可以实现图1的前向运动估计单元12a或反向运动估计单元12b。其可以以软件或硬件来实现。在硬件实施例中，可以在一些实施例中使用硬件加速器。
输入帧被指示为A和B，它们在一个实施例中仅包括Y、U、V颜色系统中的Y分量。也可以使用其他颜色方案。该运动估计单元的输入还可以包括用于在分级系统的多个金字塔级的每一级处的每一个块的时间预测值。时间预测值是根据先前的运动估计计算的在参考帧中的源块的预期位置。如所指示，输出是在每一个金字塔级处的每一个块的运动矢量和在帧中的全局运动或主运动矢量。
各个子单元包括：金字塔单元16，用于根据输入帧建立金字塔结构；以及，全局运动估计单元20，其计算从A至B的全局或主运动矢量。以下，更详细地描述块搜索单元15和投票单元18。
全局运动估计单元20通过使用参照原始帧分辨率的金字塔的最低一级的从A至B的运动矢量来计算从帧A至帧B的主运动。计算所有运动矢量的平均，然后，去除与该平均有显著不同的所有运动矢量。再一次计算剩余运动矢量集合的平均，并且同样去除与该新的平均不同的运动矢量。这个处理继续进行，直到其收敛为止，这表示平均运动矢量从当前的迭代至下一个迭代不发生改变。最终的平均运动矢量即为全局或主运动矢量。
在图3中更详细地示出了运动补偿设备22。运动补偿设备22包括运动矢量平滑24、像素内插25和中值计算器26。运动矢量平滑24基于相关的块运动矢量来计算内插帧的每一个像素的前向和反向运动矢量。给定像素的运动矢量是其所属的块的运动矢量与其紧邻的邻居块的运动矢量的加权平均。基于每一个像素在块中的位置来为该像素计算权重。
像素内插单元25计算内插帧的每一个像素的每一个颜色分量(例如，Y、U和V)的四个内插版本。这些内插版本可以是：在由从P至N的对应运动矢量和时间戳q指示的位置中的、来自帧N的像素a；在由从N至P的对应运动矢量和时间戳q指示的位置中的、来自帧P的像素b；在由从P至N的全局运动矢量和时间戳q指示的位置中的、来自帧N的像素d；以及，在由从N至P的全局运动矢量和时间戳q指示的位置中的、来自帧P的像素e。在一个实施例中，内插方法可以是最近邻内插或双线性内插以及任何其他内插方法。
中值计算器26计算每一个分量的a、b、c、d和e像素的中值，所述分量例如是每一个像素的Y、U、V，其中，c是a和b像素的平均。运动补偿块使用P和N帧，其中包括在YUV系统中的所有的Y、U和V颜色分量。运动补偿块使用用于仅最低金字塔级的块的从P至N的前向运动矢量和用于仅最低金字塔级的块的从N至P的反向运动矢量。使用从P至N的前向全局运动矢量和从N至P的反向全局运动矢量以及q，q是内插帧的时间戳，并且是在0到1之间的值。输出是内插帧。
金字塔单元16(图2)建立图像的金字塔结构，其中，金字塔的第一或基本图像是原始图像，第二或较低分辨率的图像是基本单元或原始图像的大小的四分之一，并且第三图像是比第二图像更低分辨率的图像，第三图像的大小是第二图像的四分之一。
在单元12中的运动估计过程可以在前向和反向上是相同的。运动估计使用了金字塔单元16，金字塔块16具有给定数量的级。在一个实施例中，使用了三个级，但是可以提供任何数量的级。为了实现平滑的运动场，使用来自金字塔的前一级以及来自前一个运动估计的运动矢量预测值。在一个实施例中，运动估计输出可以包括用于每一个8x8块的一个运动矢量。
参见图4，使用原始图像30、第二级图像32和第三级图像34来描述一个三级金字塔。块30、32和34都以表示金字塔(Pyramid)的P标注，并且指示了N帧的金字塔表示的三个级。三个块36、38和40被标注为表示先前金字塔(Previous Pyramids)的PP，其被标记为是前一帧的金字塔表示。再次指出，预测值是在参考帧中的源块的预期位置。对于每个8x8块，根据在图4中被标记为时间的前一帧的运动矢量场计算一个预测值，并根据在图4中所示的金字塔的先前的更低一级计算四个预测值。在最高的金字塔级，即具有最低分辨率的金字塔级，仅有一个空间预测值——零位移。
参见图5，在图5中被标记为46的、在给定的金字塔级中的每一个8x8块与在更低一级中的四个块46a、46b、46c、46d相关。因此，每一个8x8块[46a]具有：一个空间预测值，该空间预测值是源自于其直接父块(direct ancestor block)的，所述直接父块在图5中被标记为块46；以及，三个其他预测值，它们是源自于三个相邻块41、42和44。
对于每一个预测值，执行小范围块匹配搜索，并且在源块与参考块之间确定相似度测量，例如绝对差之和(SAD)。在这个搜索范围中，在绝对差之和最小时的块位移，即运动矢量，被输出为与这个预测值相关的候选。
在一个实施例中，每一个预测值有9个运动矢量位置。在一个实施例中，对于在源帧中的每一个8x8块以及对于每一个预测值，搜索区域是10x10，使得针对每一个方向提供±1的搜索范围。对于每一个方向，搜索覆盖三个位置(-1，0，+1)，因此，搜索位置的总数是3x3或9。
块的最终运动矢量的选择是基于邻居投票过程的。在邻居投票中，针对每一个块，基于相邻块的运动矢量候选来选择最佳的运动矢量。对于当前块的每一个运动矢量候选，对8个相邻块的类似的运动矢量候选的数量进行计数。由于最多次数地作为候选而获得最大票数的运动矢量被选择为最佳运动矢量。
运动补偿设备22基于前向运动场和反向运动场运动矢量，通过使用前一帧P和原始帧N来产生输出的内插帧C。可以由平滑滤波器24平滑在前向和反向上的运动场，该平滑滤波器24在一个实施例中可以是9x9滤波器。在一个实施例中，在中值计算器26中，每一个输出像素被计算为5个不同值(a、b、c、d和e)的中值。即，在下一帧N和前一帧P之间计算在新的内插帧C中的像素位置p。假定，这个新的帧处于时间轴上0到1之间的某个位置q处，在时间0处的P帧与时间1处的N帧之间。
参见图6，根据一个实施例，可以以软件、硬件或固件来实现序列。在软件实施例中，可以使用例如通用处理器或图形处理器的处理器来实现该序列，以执行指令序列。该指令序列可以被存储在可由执行中的处理器访问的计算机可读介质上。所述计算机可读介质可以是任何存储设备，包括磁存储设备、半导体存储设备或光学存储设备。
初始，该序列在框50开始，在框50中接收前一帧和后一帧的像素。在框54和64，准备前一帧和后一帧的金字塔结构。其后在金字塔运动估计阶段52a、52b、52c中处理像素。在前向运动估计阶段，使用先前的前向运动场(框55)为每一个8x8块产生时间和空间预测值，如框56中所示。接下来，对于每一个预测值执行小范围块匹配，如在框58中所示。其后在框60中，具有最小绝对差之和的运动矢量被识别为候选。基于邻居投票来从候选中选择最佳候选，如框62中所示。某个金字塔级的运动矢量结果被提供到本级的框73内和下一级的框66内。然后在框73中进行全局运动估计。
在反向上，在框65、66、68、70、72和73中执行同一序列。
在框74中，对最后一个金字塔级的运动估计结果进行组合以用于运动补偿。运动补偿阶段可以包括：在框76中的滤波，用于平滑运动矢量场以建立每一个像素的运动矢量；在使用运动矢量的框77a和77d和使用全局运动的77b和77c中的内插；以及，在框78中的中值计算。
在图7中所示的计算机系统130可以包括硬盘驱动器134和可移除介质136，硬盘驱动器134和可移除介质136通过总线124而耦合到芯片组核心逻辑110。在一个实施例中，该核心逻辑可以耦合到图形处理器112(经由总线105)和主或主机处理器122。图形处理器还可以通过总线126耦合到帧缓冲器114。帧缓冲器114可以通过总线107而耦合到显示器屏幕118，显示器屏幕118进而通过总线108耦合到例如键盘或鼠标120的常规部件。在软件实施方式的情况下，相关的计算机可执行代码可以被存储在任何半导体、磁性或光学存储器中，包括主存储器132。因此，在一个实施例中，代码139可以被存储在例如主存储器132的机器可读介质中，以由例如处理器112或122的处理器执行。在一个实施例中，所述代码可以实现在图6中所示的序列。
在一些实施例中，双向方法和投票过程可以减少在对象边缘附近的伪影，因为这些图像区域由于在单向方法中产生的孔径(aperture)问题而容易出现运动场不准确的问题。虽然双向方法并未解决孔径问题本身，但是最后的内插是更精确的，因为其依赖于来自两个独立的运动场的最佳结果。
可在各种硬件架构中实现在此所述的图形处理技术。例如，图形功能可以被集成在芯片组内。替代地，可以使用分立的图形处理器。作为另一个实施例，可以通过包括多核芯处理器在内的通用处理器来实现图形功能。
在本说明书中对于“一个实施例”或“实施例”的提及表示在本发明中涵盖的至少一种实施方式中包括结合该实施例所描述的特定特征、结构或特性。因此，短语“一个实施例”或“在实施例中”的出现不必指的是同一实施例。而且，可以以除了所举例说明的特定实施例之外的其他适当形式来建立所述特定特征、结构或特性，并且，在本申请的权利要求内涵盖所有这样的形式。
虽然已经针对有限数量的实施例描述了本发明，但是本领域内的技术人员可以理解根据上述实施例的各种修改和变型。意欲所附的权利要求涵盖落在本发明的真实精神和范围内的所有这样的修改和变型。

Claims (36)

1.一种方法，包括：
使用前向运动估计和反向运动估计来执行帧率转换；以及
计算前向全局运动估计和反向全局运动估计，以用于帧率转换。
2.根据权利要求1所述的方法，其中，所述使用前向运动估计和反向运动估计来执行帧率转换包括：使用分级搜索来执行运动估计。
3.根据权利要求1所述的方法，包括：对于所选择的块产生时间预测值和相邻预测值。
4.根据权利要求1所述的方法，包括：对于每一个预测值执行小范围块匹配。
5.根据权利要求3所述的方法，包括：将具有最小绝对差之和的运动矢量确定为候选运动矢量。
6.根据权利要求4所述的方法，包括：基于来自相邻块的投票，从多个候选中选择用于所选择的块的最终运动矢量。
7.根据权利要求1所述的方法，包括：执行运动补偿。
8.根据权利要求7所述的方法，包括：计算多个值的中值，所述多个值包括在依据用从前一帧至下一帧的运动矢量前向移位的位置而计算的位置处的、从所述下一帧获取的像素的值。
9.根据权利要求8所述的方法，包括：使用在用从所述下一帧至所述前一帧的运动矢量反向移位的位置处的、来自所述前一帧的像素，来计算所述中值。
10.根据权利要求9所述的方法，包括：确定至少5个值的所述中值，其中，所述值之一是从所述下一帧获取的所述像素和从所述前一帧获取的所述像素的平均。
11.根据权利要求8所述的方法，包括：使用在用从所述下一帧至所述前一帧的全局运动估计反向移位的位置处的、来自所述前一帧的像素来计算所述中值。
12.根据权利要求8所述的方法，包括：使用在用从所述前一帧至所述下一帧的全局运动估计前向移位的位置处的、来自所述下一帧的像素，来计算所述中值。
13.一种计算机可读介质，用于存储指令，所述指令使得计算机：
前向和反向估计局部和全局运动，以用于帧率转换。
14.根据权利要求13所述的介质，进一步存储指令，所述指令用于：使用前向运动矢量和前向全局运动以及反向运动矢量和反向全局运动，基于内插来计算像素。
15.根据权利要求13所述的介质，进一步存储指令，所述指令用于：对于所选择的块产生时间预测值和相邻预测值。
16.根据权利要求13所述的介质，进一步存储指令，所述指令用于：使用10x10的范围对于每一个预测值执行小范围块匹配。
17.根据权利要求15所述的介质，进一步存储指令，所述指令用于：将具有最小绝对差之和的运动矢量确定为候选运动矢量。
18.根据权利要求17所述的介质，进一步存储指令，所述指令用于：基于来自相邻块的投票，从多个候选中选择用于所选择的块的最终运动矢量。
19.根据权利要求13所述的介质，进一步存储指令，所述指令用于：执行运动补偿。
20.根据权利要求13所述的介质，进一步存储指令，所述指令用于：通过计算多个值的中值来执行运动补偿，所述多个值包括在依据用从前一帧至下一帧的运动矢量前向移位的位置而计算的位置处的、从所述下一帧获取的像素的值。
21.根据权利要求20所述的介质，进一步存储指令，所述指令用于：使用在用从所述下一帧至所述前一帧的运动矢量反向移位的位置处的、来自所述前一帧的像素来计算所述中值。
22.根据权利要求21所述的介质，进一步存储指令，所述指令用于：确定至少5个值的中值，其中，所述值之一是从所述下一帧获取的所述像素和从所述前一帧获取的所述像素的平均。
23.根据权利要求21所述的介质，进一步存储指令，所述指令用于：使用在用从所述下一帧至所述前一帧的全局运动估计反向移位的位置处的、来自所述前一帧的像素，来确定中值。
24.根据权利要求21所述的介质，进一步存储指令，所述指令用于：使用在用从所述前一帧至所述下一帧的全局运动估计前向移位的位置处的、来自所述下一帧的像素，来确定中值。
25.一种装置，包括：
前向运动估计单元，其包括投票过程单元，用于基于来自相邻块的投票，从多个候选中选择用于所选择的块的最终运动矢量；以及
反向运动估计单元，其包括投票过程单元，用于基于来自相邻块的投票，从多个候选中选择用于所选择的块的最终运动矢量。
26.根据权利要求25所述的装置，所述前向运动估计单元和所述反向运动估计单元使用分级搜索来执行运动估计。
27.根据权利要求25所述的装置，其中，所述前向运动估计单元和所述反向运动估计单元对于所选择的块产生时间预测值和相邻预测值。
28.根据权利要求25所述的装置，其中，所述前向运动估计单元和所述反向运动估计单元对于每一个预测值执行小范围块匹配。
29.根据权利要求27所述的装置，所述前向运动估计单元和所述反向运动估计单元将具有最小绝对差之和的运动矢量确定为候选运动矢量。
30.根据权利要求29所述的装置，所述前向运动估计单元和所述反向运动估计单元基于所述邻居投票来选择最佳候选运动矢量。
31.根据权利要求25所述的装置，其中，所述运动估计单元耦合到运动补偿设备。
32.根据权利要求30所述的装置，其中，所述运动补偿设备计算多个值的中值，所述多个值包括在依据用从前一帧至下一帧的运动矢量前向移位的位置而计算得到的位置处的、从所述前一帧和所述下一帧之中的所述下一帧获取的像素的值。
33.根据权利要求32所述的装置，其中，所述运动补偿设备使用从所述下一帧至所述前一帧的运动矢量反向移位的、来自所述前一帧的像素来计算所述中值。
34.根据权利要求33所述的装置，其中，所述运动补偿设备确定至少3个值的中值，其中，所述值之一是从所述下一帧获取的所述像素和从所述前一帧获取的所述像素的平均。
35.根据权利要求34所述的装置，其中，所述运动补偿设备使用在用从所述下一帧至所述前一帧的全局运动估计反向移位的位置处的、来自所述前一帧的像素来确定中值。
36.根据权利要求34所述的装置，其中，所述运动补偿设备使用在用从所述前一帧至所述下一帧的全局运动估计前向移位的位置处的、来自所述下一帧的像素来确定中值。
CN201010583657.7A 2009-12-08 2010-12-08 基于双向的局部和全局运动估计的帧率转换 Expired - Fee Related CN102088589B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/633,088 US20110134315A1 (en) 2009-12-08 2009-12-08 Bi-Directional, Local and Global Motion Estimation Based Frame Rate Conversion
US12/633,088 2009-12-08

Publications (2)

Publication Number Publication Date
CN102088589A true CN102088589A (zh) 2011-06-08
CN102088589B CN102088589B (zh) 2015-01-14

Family

ID=43401555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010583657.7A Expired - Fee Related CN102088589B (zh) 2009-12-08 2010-12-08 基于双向的局部和全局运动估计的帧率转换

Country Status (5)

Country Link
US (1) US20110134315A1 (zh)
CN (1) CN102088589B (zh)
DE (1) DE102010053087A1 (zh)
GB (1) GB2476143B (zh)
TW (1) TWI455588B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102630014A (zh) * 2012-04-05 2012-08-08 重庆大学 一种基于前后两帧参考帧产生内插帧的双向运动估计器
CN103338377A (zh) * 2013-07-11 2013-10-02 青岛海信信芯科技有限公司 用于确定运动估计中最优运动矢量的方法
CN104011771A (zh) * 2011-12-30 2014-08-27 英特尔公司 用于可缩放的帧速率上转换的方法和设备
CN104219533A (zh) * 2014-09-24 2014-12-17 苏州科达科技股份有限公司 一种双向运动估计方法和视频帧率上转换方法及系统
CN107481259A (zh) * 2016-06-08 2017-12-15 百胜集团 尤其是在超声波空间复合中用于估计图像间运动的方法和系统
CN111105766A (zh) * 2019-12-04 2020-05-05 昆山龙腾光电股份有限公司 频率转换方法、组件、时序处理装置及可读存储介质
CN112437241A (zh) * 2017-12-27 2021-03-02 安纳帕斯股份有限公司 帧速率检测方法和帧速率转换方法
CN112565791A (zh) * 2020-11-27 2021-03-26 上海顺久电子科技有限公司 一种运动估计方法及设备

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4968259B2 (ja) * 2006-05-31 2012-07-04 日本電気株式会社 画像高解像度化装置及び画像高解像度化方法並びにプログラム
US20120075346A1 (en) * 2010-09-29 2012-03-29 Microsoft Corporation Low Complexity Method For Motion Compensation Of DWT Based Systems
US20130251045A1 (en) * 2010-12-10 2013-09-26 Thomson Licensing Method and device for determining a motion vector for a current block of a current video frame
EA017302B1 (ru) * 2011-10-07 2012-11-30 Закрытое Акционерное Общество "Импульс" Способ подавления шума серий цифровых рентгенограмм
KR101932916B1 (ko) * 2012-06-28 2018-12-27 삼성전자 주식회사 모션 추정 시스템 및 그 방법, 디스플레이 컨트롤러, 및 전자 장치
US9100636B2 (en) 2012-09-07 2015-08-04 Intel Corporation Motion and quality adaptive rolling intra refresh
US9280806B2 (en) * 2013-01-10 2016-03-08 Broadcom Corporation Edge smoothing block filtering and blending
KR102037812B1 (ko) 2013-05-28 2019-10-29 삼성전자 주식회사 멀티 코어 그래픽 처리 장치
WO2016187776A1 (zh) * 2015-05-25 2016-12-01 北京大学深圳研究生院 一种基于光流法的视频插帧方法及系统
WO2019084801A1 (zh) * 2017-10-31 2019-05-09 深圳市大疆创新科技有限公司 运动估计方法和装置
US10776688B2 (en) 2017-11-06 2020-09-15 Nvidia Corporation Multi-frame video interpolation using optical flow
US10958869B1 (en) * 2019-11-14 2021-03-23 Huawei Technologies Co., Ltd. System, device and method for video frame interpolation using a structured neural network
US20230097592A1 (en) * 2021-09-30 2023-03-30 Waymo Llc Systems, Methods, and Apparatus for Aligning Image Frames

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW448693B (en) * 1998-05-07 2001-08-01 Intel Corp Method and apparatus for increasing video frame rate
CN1328405A (zh) * 2000-06-13 2001-12-26 三星电子株式会社 采用双向运动矢量的格式转换器及其方法
US6594373B1 (en) * 2000-07-19 2003-07-15 Digimarc Corporation Multi-carrier watermarks using carrier signals modulated with auxiliary messages
CN101023677A (zh) * 2004-07-20 2007-08-22 高通股份有限公司 以多个参考帧以及可变块尺寸的帧速率上变换方法和装置
CN101375315A (zh) * 2006-01-27 2009-02-25 图象公司 数字重制2d和3d运动画面以呈现提高的视觉质量的方法和系统
US20090110075A1 (en) * 2007-10-31 2009-04-30 Xuemin Chen Method and System for Motion Compensated Picture Rate Up-Conversion of Digital Video Using Picture Boundary Processing

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6594313B1 (en) * 1998-12-23 2003-07-15 Intel Corporation Increased video playback framerate in low bit-rate video applications
US8213509B2 (en) * 2006-10-06 2012-07-03 Calos Fund Limited Liability Company Video coding on parallel processing systems
KR101436671B1 (ko) * 2007-10-15 2014-09-02 톰슨 라이센싱 스케일러블 비디오에 대한 계층간 레시듀 예측을 위한 방법들 및 장치들
US20090161011A1 (en) * 2007-12-21 2009-06-25 Barak Hurwitz Frame rate conversion method based on global motion estimation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW448693B (en) * 1998-05-07 2001-08-01 Intel Corp Method and apparatus for increasing video frame rate
CN1328405A (zh) * 2000-06-13 2001-12-26 三星电子株式会社 采用双向运动矢量的格式转换器及其方法
US6594373B1 (en) * 2000-07-19 2003-07-15 Digimarc Corporation Multi-carrier watermarks using carrier signals modulated with auxiliary messages
CN101023677A (zh) * 2004-07-20 2007-08-22 高通股份有限公司 以多个参考帧以及可变块尺寸的帧速率上变换方法和装置
CN101375315A (zh) * 2006-01-27 2009-02-25 图象公司 数字重制2d和3d运动画面以呈现提高的视觉质量的方法和系统
US20090110075A1 (en) * 2007-10-31 2009-04-30 Xuemin Chen Method and System for Motion Compensated Picture Rate Up-Conversion of Digital Video Using Picture Boundary Processing

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104011771A (zh) * 2011-12-30 2014-08-27 英特尔公司 用于可缩放的帧速率上转换的方法和设备
CN102630014A (zh) * 2012-04-05 2012-08-08 重庆大学 一种基于前后两帧参考帧产生内插帧的双向运动估计器
CN103338377A (zh) * 2013-07-11 2013-10-02 青岛海信信芯科技有限公司 用于确定运动估计中最优运动矢量的方法
CN104219533A (zh) * 2014-09-24 2014-12-17 苏州科达科技股份有限公司 一种双向运动估计方法和视频帧率上转换方法及系统
CN104219533B (zh) * 2014-09-24 2018-01-12 苏州科达科技股份有限公司 一种双向运动估计方法和视频帧率上转换方法及系统
CN107481259A (zh) * 2016-06-08 2017-12-15 百胜集团 尤其是在超声波空间复合中用于估计图像间运动的方法和系统
CN107481259B (zh) * 2016-06-08 2022-11-08 百胜集团 尤其是在超声波空间复合中用于估计图像间运动的方法和系统
CN112437241A (zh) * 2017-12-27 2021-03-02 安纳帕斯股份有限公司 帧速率检测方法和帧速率转换方法
CN112437241B (zh) * 2017-12-27 2023-05-23 安纳帕斯股份有限公司 帧速率检测方法和帧速率转换方法
CN111105766A (zh) * 2019-12-04 2020-05-05 昆山龙腾光电股份有限公司 频率转换方法、组件、时序处理装置及可读存储介质
CN112565791A (zh) * 2020-11-27 2021-03-26 上海顺久电子科技有限公司 一种运动估计方法及设备

Also Published As

Publication number Publication date
CN102088589B (zh) 2015-01-14
GB2476143A (en) 2011-06-15
GB2476143B (en) 2012-12-26
TW201146011A (en) 2011-12-16
DE102010053087A1 (de) 2011-07-07
GB201018347D0 (en) 2010-12-15
US20110134315A1 (en) 2011-06-09
TWI455588B (zh) 2014-10-01

Similar Documents

Publication Publication Date Title
CN102088589B (zh) 基于双向的局部和全局运动估计的帧率转换
JP4159606B2 (ja) 動き推定
JP4198608B2 (ja) 補間画像生成方法および装置
US9031131B1 (en) Picture rate conversion system architecture
US7535513B2 (en) Deinterlacing method and device in use of field variable partition type
US7412114B2 (en) Method of generating an interpolation image, an interpolation image generating apparatus, and an image display system using the same
US8724022B2 (en) Frame rate conversion using motion estimation and compensation
CN101924873B (zh) 图像处理设备和图像处理方法
US20090085846A1 (en) Image processing device and method performing motion compensation using motion estimation
KR20100139030A (ko) 이미지들의 수퍼 해상도를 위한 방법 및 장치
CN100438609C (zh) 带有降质的图像处理单元
US7321396B2 (en) Deinterlacing apparatus and method
GB2495179A (en) Motion estimation using weighted candidate vectors from an external source
CN1980394A (zh) 运动矢量估计装置和运动矢量估计方法
JP5669523B2 (ja) フレーム補間装置及び方法、並びにプログラム及び記録媒体
CN101237553A (zh) 确定插值方法的程序、装置及方法
CN101005567A (zh) 边缘区域确定设备及方法
JP2003274414A (ja) 動きベクトル検出方法、補間画像作成方法及び画像表示システム
EP2887306A2 (en) Image processing method and apparatus
CN102123283A (zh) 视频帧率转换中的插值帧获取方法及其装置
WO2011074121A1 (ja) 動きベクトル検出装置及び方法
US20130235274A1 (en) Motion vector detection device, motion vector detection method, frame interpolation device, and frame interpolation method
CN101483771B (zh) 提升帧速率的方法与装置
CN105100669A (zh) 数字图像转换方法和装置
US8305500B2 (en) Method of block-based motion estimation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150114

Termination date: 20181208

CF01 Termination of patent right due to non-payment of annual fee