CN103929648B - 一种帧率上采样中的运动估计方法和装置 - Google Patents
一种帧率上采样中的运动估计方法和装置 Download PDFInfo
- Publication number
- CN103929648B CN103929648B CN201410119914.XA CN201410119914A CN103929648B CN 103929648 B CN103929648 B CN 103929648B CN 201410119914 A CN201410119914 A CN 201410119914A CN 103929648 B CN103929648 B CN 103929648B
- Authority
- CN
- China
- Prior art keywords
- frame
- source code
- code stream
- code flow
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明实施例公开一种帧率上采样中的运动估计方法和装置。在网络传输时，除原始码流之外，还增加一路参考码流；方法包括：接收原始码流和参考码流，参考码流的帧率大于或等于原始码流的帧率，且小于或等于视频源的帧率；根据参考码流中的参考帧间的运动矢量，确定原始码流中的原始帧相对于相邻的内插帧的初始运动矢量；针对原始码流中的原始帧的各个宏块，基于原始码流中的原始帧相对于相邻的内插帧的初始运动矢量，在最佳运动矢量的目标范围内搜索所述宏块的最佳运动矢量，并得到原始码流中的原始帧相对于相邻的内插帧的最佳运动矢量。根据本发明实施例，可以缩短运动估计中搜索最佳运动矢量时间，进而也减少因过长的搜索过程所消耗的系统开销。
Description
技术领域
本发明涉及数据处理领域，特别是涉及一种帧率上采样中的运动估计方法和装置。
背景技术
帧率上采样（FRUC，Frame Rate Up Conversion）俗称倍频。帧率上采样的一个主要功能是提高视频帧率，并且，针对该功能，帧率上采样的一个应用场景是，将标准帧率的视频提高一倍或数倍，这样可以显著改善因为离散的视频采样所造成的画面不连续的问题（特别是运动画面不连续的问题），从而提高用户观赏体验。帧率上采样的另一个主要功能是有效地降低图像数据在传输时所占用的带宽，而针对该功能，帧率上采样的另一个应用场景是，在图像数据传输时，先将标准帧率降低（通过帧率下采样），在图像数据播放时，再恢复至原始的标准帧率（通过帧率上采样）。
简单的帧率上采样方法有帧重复和帧平均。但是，这两种方法更适用于静止画面，而对于运动画面来说，采样这两种方法会导致画面出现拖尾，无法满足用户的观赏体验。因此，为了适用于运动画面，现有技术中还出现了运动补偿的帧率上采样（MC-FRUC，MotionCompensated Frame Rate Up Conversion）方法。
运动补偿的帧率上采样方法包括两大部分，运动估计（ME，Motion Estimation）和运动补偿插值（MCI，Motion Compensated Interpolation）。其中，由于插值出来帧的是一个未知帧，没有原始帧可供计算，因此，运动估计的精度决定了运动补偿插值的质量，运动估计在运动补偿的帧率上采样中非常重要。
运动估计的基本原理是先将图像数据（或者图像序列）的每一个帧分成许多互不重叠的宏块（假设一个宏块内所有像素的位移量都相同），然后针对每一个帧内的每一个宏块，在一个最佳运动矢量的目标范围（Search Range）内搜索该宏块的最佳运动矢量。而每一个帧内的所有宏块的最佳运动矢量就可以认为是每一个帧的最佳运动矢量。下面以一个帧内的一个宏块为例，说明如何在一个最佳运动矢量的目标范围内搜索该宏块的最佳运动矢量。在该帧的前一个帧或后一个帧中的某一个给定的搜索区域（该搜索区域的大小由最佳运动矢量范围决定，即，位于该搜索区域内的各个宏块与当前宏块之间的相对运动位移都在最佳运动矢量范围内）内搜索与该宏块最相似的宏块（即该宏块的匹配宏块），该宏块与其匹配宏块之间的相对运动位移即为该宏块的最佳运动矢量。该过程请参阅图1所示。
在实现本发明的过程中，本发明的发明人发现现有技术中至少存在如下问题：在现有技术中，需要先以帧为单位，分别为每一个帧设定一个初始运动矢量，即，每一个帧内的所有宏块具有设定的初始运动矢量。针对每一个帧内的每一个宏块，基于该宏块的初始运动矢量，在一个最佳运动矢量的目标范围内搜索该宏块的最佳运动矢量。其中，该宏块的初始运动矢量越接近最佳运动矢量，越能快速地搜索到该宏块的最佳运动矢量。但是，初始运动矢量往往是随意设定的，其与最佳运动矢量之间存在较大差距，这样就会导致搜索最佳运动矢量的时间过长，并且，过长时间的搜索过程也必然会消耗过多的系统开销。
发明内容
为了解决上述技术问题，本发明实施例提供了一种帧率上采样中的运动估计方法和装置，以缩短运动估计中搜索最佳运动矢量的时间，进而也减少因过长的搜索过程所消耗的系统开销。
本发明实施例公开了如下技术方案：
根据本发明实施例的第一方面，公开了一种帧率上采样中的运动估计方法，即，在网络传输时，除原始码流之外，还增加一路参考码流；所述方法包括：
接收原始码流和参考码流，所述参考码流的帧率大于或等于原始码流的帧率，且小于或等于视频源的帧率；
根据所述参考码流中的参考帧间的运动矢量，确定所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量；
针对所述原始码流中的原始帧的各个宏块，基于所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量，在最佳运动矢量的目标范围内搜索所述宏块的最佳运动矢量，以便最终得到所述原始码流中的原始帧相对于相邻的内插帧的最佳运动矢量。
结合本发明的第一方面，本发明还具有第一种可能，即所述参考码流的分辨率比所述原始码流的分辨率低；
则在根据所述参考码流中的参考帧间的运动矢量，确定所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量之前，所述方法还包括：
对所述参考码流进行分辨率上采样，以便使所述参考码流的分辨率等于所述原始码流的分辨率。
结合本发明的第一方面，本发明还具有第二种可能，即当所述参考码流的帧率为所述原始码流的帧率时，所述参考码流是在对所述原始码流进行采样的同时，通过同步采样或者异步间隔采样的方式获得的。
结合本发明的第一方面，本发明还具有第三种可能，即在针对所述原始码流中的原始帧的各个宏块，基于所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量，在最佳运动矢量的目标范围内搜索所述宏块的最佳运动矢量之前，所述方法还包括：
根据所述参考码流中的参考帧间的运动矢量，确定所述最佳运动矢量的目标范围。
结合本发明的第一方面、第一方面的第一种可能、第一方面的第二种可能以及第一方面的第三种可能，本发明还具有第四种可能，即所述根据所述参考码流中的参考帧间的运动矢量，确定所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量，包括：
针对所述原始码流中的所述原始帧，在所述参考码流中与所述原始帧的位置相邻的连续两个或三个参考帧的范围内进行前向和后向运动估计，或者，对所述原始帧和在所述参考码流中与所述原始帧的位置相邻的两个参考帧进行前向和后向运动估计，得到参考帧的前向运动矢量和后向运动矢量；
根据所述参考帧的前向运动矢量和后向运动矢量设置所述原始帧相对于相邻的内插帧的初始运动矢量。
结合本发明的第四种可能，本发明还具有第五种可能，即所述根据所述参考码流中的参考帧间的运动矢量，确定所述最佳运动矢量的目标范围具体为：将所述参考帧的前向运动矢量和后向运动矢量所构成的范围设置为所述最佳运动矢量的目标范围。
结合本发明的第一方面、第一方面的第一种可能、第一方面的第二种可能以及第一方面的第三种可能，本发明还具有第六种可能，即所述方法还包括：
利用所述原始码流中的原始帧相对于相邻的内插帧的最佳运动矢量对所述原始码流进行运动补偿插值处理，处理后的所述原始码流中包含原始帧和内插帧。
结合本发明的第六种可能，本发明还具有第七种可能，即所述方法还包括：
针对原始码流中的所述内插帧，判断所述参考码流中与所述内插帧处于同一位置的参考帧的像素值是否与所述内插帧的像素值相近似；
如果所述参考码流中与所述内插帧处于同一位置的参考帧的像素值与所述内插帧的像素值不相近似，计算所述内插帧和所述参考帧中处于同一位置的两个像素的平均值，得到一个优选帧，将所述原始码流中的内插帧替换为所述优选帧，如果所述参考码流中与所述内插帧处于同一位置的参考帧的像素值与所述内插帧的像素值相近似，保留所述原始码流中的内插帧。
根据本发明实施例的第二方面，公开了一种帧率上采样中的运动估计装置，即，在网络传输时，除原始码流之外，还增加一路参考码流；所述装置包括：
接收单元，用于接收原始码流和参考码流，所述参考码流的帧率大于或等于原始码流的帧率，且小于或等于视频源的帧率；
第一确定单元，用于根据所述参考码流中的参考帧间的运动矢量，确定所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量；
搜索单元，用于针对所述原始码流中的原始帧的各个宏块，基于所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量，在最佳运动矢量的目标范围内搜索所述宏块的最佳运动矢量，以便最终得到所述原始码流中的原始帧相对于相邻的内插帧的最佳运动矢量。
结合本发明的第二方面，本发明还具有第一种可能，即所述参考码流的分辨率比所述原始码流的分辨率低；
则所述装置还包括：
分辨率上采样单元，用于在所述第一确定单元根据所述参考码流中的参考帧间的运动矢量，确定所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量之前，对所述参考码流进行分辨率上采样，以便使所述参考码流的分辨率等于所述原始码流的分辨率。
结合本发明的第二方面，本发明还具有第二种可能，即当所述参考码流的帧率为所述原始码流的帧率时，所述参考码流是在对所述原始码流进行采样的同时，通过同步采样或者异步间隔采样的方式获得的。
结合本发明的第二方面，本发明还具有第三种可能，即所述装置还包括：
第二确定单元，用于在所述搜索单元针对所述原始码流中的原始帧的各个宏块，基于所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量，在最佳运动矢量的目标范围内搜索所述宏块的最佳运动矢量之前，根据所述参考码流中的参考帧间的运动矢量，确定所述最佳运动矢量的目标范围。
结合本发明的第二方面，本发明的第二方面的第一种可能、本发明的第二方面的第二种可能以及本发明的第二方面的第三种可能，本发明还具有第四种可能，即所述第一确定单元包括：
运动估计子单元，用于针对所述原始码流中的所述原始帧，在所述参考码流中与所述原始帧的位置相邻的连续两个或三个参考帧的范围内进行前向和后向运动估计，或者，对所述原始帧和在所述参考码流中与所述原始帧的位置相邻的两个参考帧进行前向和后向运动估计，得到参考帧的前向运动矢量和后向运动矢量；
设置子单元，用于根据所述参考帧的前向运动矢量和后向运动矢量设置所述原始帧相对于相邻的内插帧的初始运动矢量。
结合本发明的第二方面的第四种可能，本发明还具有第五种可能，即所述第二确定单元具体用于，将所述参考帧的前向运动矢量和后向运动矢量所构成的范围设置为所述预定的随驾运动矢量范围。
结合本发明的第二方面，本发明的第二方面的第一种可能、本发明的第二方面的第二种可能以及本发明的第二方面的第三种可能，本发明还具有第六种可能，即所述装置还包括：
运动补偿插值单元，用于利用所述原始码流中的原始帧相对于相邻的内插帧的最佳运动矢量对所述原始码流进行运动补偿插值处理，处理后的所述原始码流中包含原始帧和内插帧。
结合本发明的第二方面的第六种可能，本发明还具有第七种可能，即所述装置还包括：
判断单元，用于针对原始码流中的所述内插帧，判断所述参考码流中与所述内插帧处于同一位置的参考帧的像素值是否与所述内插帧的像素值相近似；
自适应补偿单元，用于如果所述参考码流中与所述内插帧处于同一位置的参考帧的像素值与所述内插帧的像素值不相近似，计算所述内插帧和所述参考帧中处于同一位置的两个像素的平均值，得到一个优选帧，将所述原始码流中的内插帧替换为所述优选帧，如果所述参考码流中与所述内插帧处于同一位置的参考帧的像素值与所述内插帧的像素值相近似，保留所述原始码流中的内插帧。
由上述实施例可以看出，与现有技术相比，本发明的优点在于：
本发明采用SVC中的分层编码的思想，在传输过程中多传输一路高帧率或等帧率的参考码流，利用参考码流中的参考帧的运动矢量为原始码流的原始帧相对于相邻的内插帧的初始运动矢量提供参考依据，进而可以在运动估计过程中获得更加接近最佳运动矢量的初始运动矢量。对于原始码流中的原始帧的各个宏块来说，由于初始运动矢量更越接近最佳运动矢量，因此，越能快速地搜索到该宏块的最佳运动矢量，可以缩短运动估计中搜索最佳运动矢量的时间，进而减少因过长的搜索过程所消耗的系统开销。最终也会使帧率上采样出来的视频画面（特别是运动的视频画面）更连续、平顺，视频效果更好。另外，与传统的H264编码相比，也更加节省码率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中运动估计原始的示意图；
图2为本发明方法实施例提供的一种帧率上采样中的运动估计方法的流程图；
图3为本发明方法实施例提供的另一种帧率上采样中的运动估计方法的流程图；
图4为本发明中对原始码流和参考码流进行异步间隔采样的示意图；
图5为本发明中对原始码流和参考码流进行同步采样的示意图；
图6为本发明方法实施例提供的一种帧率上采样方法的流程图；
图7为本发明方法实施例中的示例一提供的一种帧率上采样中的运动估计方法的流程图；
图8为本发明中一种对视频序列Y中的单数参考帧与其相邻的两个双数参考帧做前向和后向运动估计的示意图；
图9为本发明方法实施例中的示例二提供的一种帧率上采样中的运动估计方法的流程图；
图10为本发明方法实施例中的示例三提供的一种帧率上采样中的运动估计方法的流程图；
图11为本发明中对视频序列Y中的参考帧与视频序列F中位置相邻的两个原始帧做前向和后向运动估计的示意图；
图12为本发明提供的一种帧率上采样中的运动估计装置的结构图；
图13为本发明提供的另一种帧率上采样中的运动估计装置的结构图；
图14为本发明中的第一确定单元的结构图；
图15为本发明提供的一种帧率上采样装置的结构图；
图16为本发明提供的另一种帧率上采样装置的结构图；
图17为本发明的通讯装置的结构图。
具体实施方式
本发明实施例提供了一种帧率上采样中的运动估计方法和装置。在本发明实施例中，结合了SVC的帧率分级的思想（即，分层编码的思想），除需要进行帧率上采样的原始码流之外，还需要再增加一路参考码流，原始码流作为SVC帧率分级中的基础层，参考码流作为SVC帧率分级中的增强层。这样，就可以根据参考码流中的参考帧间的运动矢量确定原始码流中的原始帧相对于相邻的内插帧的初始运动矢量。对于原始码流中的原始帧的各个宏块来说，由于通过这种方式所确定的初始运动矢量更越接近最佳运动矢量，因此，越能快速地搜索到该宏块的最佳运动矢量，缩短了运动估计中搜索最佳运动矢量时间，进而也减少了因过长的搜索过程所消耗的系统开销。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例进行详细描述。
方法实施例
请参阅图2，其为本发明方法实施例提供的一种帧率上采样中的运动估计方法的流程图，在网络传输时，除原始码流之外，还增加一路参考码流。该方法包括以下步骤：
步骤201-A：接收原始码流和参考码流，所述参考码流的帧率大于或等于原始码流的帧率，且小于或等于视频源的帧率。
步骤202：根据所述参考码流中的参考帧间的运动矢量，确定所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量。
步骤203：针对所述原始码流中的原始帧的各个宏块，基于所述原始码流中的原始帧率相对于相邻的内插帧的初始运动矢量，在最佳运动矢量的目标范围内搜索所述宏块的最佳运动矢量，以便最终得到所述原始码流中的原始帧相对于相邻的内插帧的最佳运动矢量。
其中，参考码流与原始码流来自于同一个视频源的码流，而参考码流的帧率大于或等于原始码流的帧率，且小于或等于视频源的帧率。例如，对于一个720P60的视频源，如果对该视频源进行帧率下采样后所得到原始码流为720P15，参考码流既可以为对该视频源进行帧率下采样后所得到的720P15、720P30或720P50，也可以为该视频源本身（720P60）。
在步骤203中，可以采用现有技术中的任意一种搜索方法对最佳运动矢量进行搜索，本发明技术方案对搜索方法本身不进行限定。例如，可以基于双向运动估计搜索最佳运动矢量。即，对于最佳运动矢量搜索范围内的每一个候选运动矢量v（初始运动矢量可以作为初始的候选运动矢量v0），计算内插帧中的一个宏块在前一帧中移动-v（即，前向运动估计）和在后一帧中移动v（即，后向运动估计）后所对应的宏块中的每个像素的双向绝对差和（SBAD，Sum of Bilateral Absolute Difference），而双向绝对差和最小的候选运动矢量v即为最佳运动矢量。
需要说明的是，本发明技术方案中，并不限定参考码流与原始码流之间的分辨率的大小。也就是说，参考码流的分辨率可以与原始码流的分辨率相同，也可以低于原始码流的分辨率。在本发明的一个优选实施方式中，为了进一步减少因传输参考码流所占用的带宽，在传输参考码流之前，需要将先参考码流的分辨率进行下采样，使参考码流的分辨率低于原始码流的分辨率。相应的，在基于参考码流确定原始码流的初始运动矢量之前，还需要将参考码流的分辨率恢复至原始值，即，对参考码流进行分辨率上采样处理。如图3所示，在上述步骤202之前，还包括：
步骤201-B：对所述参考码流进行分辨率上采样，以便使所述参考码流的分辨率等于所述原始码流的分辨率。
在本发明的另一个优选实施方式中，当所述参考码流的帧率为所述原始码流的帧率时，所述参考码流是在对所述原始码流进行采样的同时，通过同步采样或者异步间隔采样的方式获得的。异步间隔采样的方式如图4所示，其中，F为原始码流中的原始帧，Y为参考码流中的参考帧。
需要说明的是，在本发明的技术方案中，“最佳运动矢量的目标范围”可以采样现有技术的方法进行预先设定。但是，考虑到“最佳运动矢量的目标范围”是否准确同样会影响到运动估计的结果的准确度。因此，在本发明的一个优选实施方式中，先根据参考码流中的参考帧间的运动矢量，确定所述最佳运动矢量的目标范围。
在本发明的另一个优选实施方式中，上述步骤202具体可以包括：针对所述原始码流中的所述原始帧，在所述参考码流中与所述原始帧的位置相邻的连续两个或三个参考帧的范围内进行前向和后向运动估计，或者，对所述原始帧和在所述参考码流中与所述原始帧的位置相邻的两个参考帧进行前向和后向运动估计，得到参考帧的前向运动矢量和后向运动矢量；根据所述参考帧的前向运动矢量和后向运动矢量设置所述原始帧相对于相邻的内插帧的初始运动矢量。
例如，假设参考码流的帧率与原始码流的帧率相同，并且，参考码流是在对所述原始码流进行采样的同时通过同步采样获得的，如图5所示，其中，F为原始码流中的原始帧，Y为参考码流中的参考帧。如，针对原始帧F1，参考码流中与F1相邻的参考帧是Y1和Y2，可以对Y1和Y2进行前向和后向运动估计，得到两个运动矢量MV1和MV2。原始帧F1相对于其相邻的内插帧F12的初始运动矢量为：|MV|=1/2(1/2|MV1|+1/2|MV2|)=1/4(|MV1|+|MV2|)。
与此类似，还可以获得其他原始帧相对于相邻的内插帧的初始运动矢量。
需要说明的是，在上面的一个示例中，是计算参考帧的前向运动矢量和后向运动矢量的算术平均值，并利用算术平均值设置原始帧相对于相邻的内插帧的初始运动矢量。但是，本发明的技术方案并不仅限定采样算术平均这一种计算方式，也可以采用其它的计算公式进行计算，如，几何平均值、加权平均值等，并根据计算结果设置原始帧相对于相邻的内插帧的初始运动矢量。
在本发明的另一个优选实施方式中，可以将参考帧的前向运动矢量和后向运动矢量所构成的范围设置为预定的最佳运动矢量的目标范围。
例如，在上述的示例中，可以将[MV1，-MV2]设置为最佳运动矢量的目标范围。
按照上述步骤完成运动估计之后，还可以根据运动估计的结果进行运动补偿插值，从而完成帧率上采样。即，在步骤203之后，还包括：利用所述原始码流中的原始帧相对于相邻的内插帧的最佳运动矢量对所述原始码流进行运动补偿插值处理，处理后的所述原始码流中包含原始帧和内插帧。
需要说明的是，本发明的技术方案并不限定采样哪种运动补偿插值方式，可以采样现有技术中的任意一种运动补偿插值方式。该运动补偿插值方式包括但不限于：移动块插值、固定网格插值、重叠块插值、扩大块插值或者重叠块基于固定加权曲线的插值等。
为了进一步提高运动补偿插值的质量，进而使帧率上采样出的画面更加连续，视频效果更好。在本发明的一个优选实施方式中，参阅图6所示，其为本发明提供的一种帧率上采样方法的流程图，该方法具体包括：
步骤601：接收原始码流和参考码流，所述参考码流的帧率大于或等于原始码流的帧率，且小于或等于视频源的帧率。
步骤602：根据所述参考码流中的参考帧间的运动矢量，确定所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量。
步骤603：针对所述原始码流中的原始帧的各个宏块，基于所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量，在最佳运动矢量的目标范围内搜索所述宏块的最佳运动矢量，以便最终得到所述原始码流中的原始帧相对于相邻的内插帧的最佳运动矢量。
步骤604：利用所述原始码流中的原始帧相对于相邻的内插帧的最佳运动矢量对所述原始码流进行运动补偿插值处理，处理后的所述原始码流中包含原始帧和内插帧。
步骤605：针对原始码流中的所述内插帧，判断所述参考码流中与所述内插帧处于同一位置的参考帧的像素值是否与所述内插帧的像素值相近似，如果是，进入步骤606，否则，进入步骤607。
步骤606：保留所述原始码流中的所述内插帧，结束流程。
步骤607：计算所述内插帧和所述参考帧处于同一位置的两个像素的平均值，得到一个优选帧，将所述原始码流中的所述内插帧替换为所述优选帧，结束流程。
在步骤606中，除了可以保留原始码流中的内插帧之外，也可以利用参考码流中与该内插帧处于同一位置的参考帧来替换原始码流中的该内插帧。
由上述实施例可以看出，与现有技术相比，本发明的优点在于：
本发明采用SVC中的分层编码的思想，在传输过程中多传输一路高帧率或等帧率的参考码流，利用参考码流中的参考帧的运动矢量为原始码流的原始帧相对于相邻的内插帧的初始运动矢量提供参考依据，进而可以在运动估计过程中获得更加接近最佳运动矢量的初始运动矢量。对于原始码流中的原始帧的各个宏块来说，由于初始运动矢量更越接近最佳运动矢量，因此，越能快速地搜索到该宏块的最佳运动矢量，可以缩短运动估计中搜索最佳运动矢量的时间，进而减少因过长的搜索过程所消耗的系统开销。最终也会使帧率上采样出来的视频画面（特别是运动的视频画面）更连续、平顺，视频效果更好。另外，与传统的H264编码相比，也更加节省码率。
下面结合几个具体的示例来说明本发明中帧率上采样中的运动估计方法。在以下几个示例中，为了有效地降低图像数据在传输时所占用的带宽，在发送端，对720P30的原始码流进行帧率下采样，从而得到720P15的原始码流。相应的，在接收端，需要将720P15的原始码流进行帧率上采样，从而将其恢复为720P30的原始码流。其中，720P是美国电影电视工程师协会（SMPTE)制定的高等级高清数字电视的格式标准，有效显示格式为：1280×720。
示例一
发送端发送一路720P15的原始码流给接收端，除了原始码流之外，发送端还发送一路CIF（Common Intermediate Format，常用的标准化图像格式）30的参考码流给接收端，以便为720P15的原始码流的帧率上采样提供参考。请参阅图7所示，其为本发明方法实施例中的示例一提供的一种帧率上采样中的运动估计方法的流程图，具体包括如下步骤：
步骤701：对CIF30的参考码流进行解码，得到CIF30的视频序列yuv，对720P15的原始码流进行解码，得到720P15的视频序列F。
步骤702：对CIF30的视频序列yuv进行分辨率上采样，得到720P30的视频序列Y。
步骤703：针对视频序列Y中的每个单数参考帧，对该单数参考帧与其相邻的两个双数参考帧做前向和后向的运动估计，得到运动矢量MV1和-MV2。
对视频序列Y中的单数参考帧与其相邻的两个双数参考帧做前向和后向运动估计的过程如图8所示。
步骤704：利用公式|MV|=1/2(|MV1|+|MV2|)计算视频序列F中的原始帧相对于相邻的内插帧的初始运动矢量。
步骤705：针对视频序列F中的每个原始帧，利用其相对于相邻的内插帧的初始运动矢量，在最佳运动矢量的目标范围[MV1，-MV2]内进行双边运动估计，得到其相对于相邻的内插帧的最佳运动矢量。
示例二
发送端发送一路720P15的原始码流给接收端，除了原始码流之外，发送端还发送一路CIF15的参考码流给接收端，以便为720P15的原始码流的帧率上采样提供参考。并且，CIF15的参考码流是发送端对720P15的原始码流进行采样的同时，通过同步采样获得的。请参阅图9所示，其为本发明方法实施例中的示例二提供的一种帧率上采样中的运动估计方法的流程图，具体包括如下步骤：
步骤901：对CIF15的参考码流进行解码，得到CIF15的视频序列yuv，对720P15的原始码流进行解码，得到720P15的视频序列F。
步骤902：对CIF15的视频序列yuv进行分辨率上采样，得到720P15的视频序列Y。
步骤903：对视频序列Y中的相邻两个参考帧做前向和后向的运动估计，得到运动矢量MV1和-MV2。
步骤904：利用公式|MV|=1/4(|MV1|+|MV2|)计算视频序列F中的原始帧相对于相邻的内插帧的初始运动矢量。
步骤905：针对视频序列F中的每个原始帧，利用其相对于相邻的内插帧的初始运动矢量，在最佳运动矢量的目标范围[MV1，-MV2]内进行双边运动估计，得到其相对于相邻的内插帧的最佳运动矢量。
示例三
发送端发送一路720P15的原始码流给接收端，除了原始码流之外，发送端还发送一路CIF30的参考码流给接收端，以便为720P15的原始码流的帧率上采样提供参考。并且，CIF15的参考码流是发送端对720P15的原始码流进行采样的同时，通过异步间隔采样获得的，异步间隔采样的方式如图4所示。请参阅图10所示，其为本发明方法实施例中的示例三提供的一种帧率上采样中的运动估计方法的流程图，具体包括如下步骤：
步骤1001：对CIF30的参考码流进行解码，得到CIF30的视频序列yuv，对720P15的原始码流进行解码，得到720P15的视频序列F。
步骤1002：对CIF30的视频序列yuv进行分辨率上采样，得到720P30的视频序列Y。
步骤1003：针对视频序列Y中的每个参考帧，对该参考帧与视频序列F中位置相邻的两个原始帧做前向和后向的运动估计，得到运动矢量MV1和-MV2。
对视频序列Y中的参考帧与视频序列F中位置相邻的两个原始帧做前向和后向运动估计的过程如图11所示。其中，Ym-1是视频序列Y中的一个参考帧，而Fn-1和Fn是视频序列F中与参考帧Ym-1的位置相邻的两个原始帧。
步骤1004：利用公式|MV|=1/2(|MV1|+|MV2|)计算视频序列F中的原始帧相对于相邻的内插帧的初始运动矢量。
步骤1005：针对视频序列F中的每个原始帧，利用其相对于相邻的内插帧的初始运动矢量，在最佳运动矢量的目标范围[MV1，-MV2]内进行双边运动估计，得到其相对于相邻的内插帧的最佳运动矢量。
装置实施例
与上述一种帧率上采样中的运动估计方法相对应，本发明实施例还提供了一种帧率上采样中的运动估计装置。请参阅图12，其为本发明装置实施例提供的一种帧率上采样中的运动估计装置的结构图，在网络传输时，除原始码流之外，还增加一路参考码流。该装置包括：接收单元1201、第一确定单元1201和搜索单元1203。下面结合该装置的工作原理进一步介绍其内部结构以及连接关系。
接收单元1201，用于接收原始码流和参考码流，所述参考码流的帧率大于或等于原始码流的帧率，且小于或等于视频源的帧率；
第一确定单元1202，用于根据所述参考码流中的参考帧间的运动矢量，确定所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量；
搜索单元1203，用于针对所述原始码流中的原始帧的各个宏块，基于所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量，在最佳运动矢量的目标范围内搜索所述宏块的最佳运动矢量，以便最终得到所述原始码流中的原始帧相对于相邻的内插帧的最佳运动矢量。
优选的，所述参考码流的分辨率比所述原始码流的分辨率低；则该装置还包括：
分辨率上采样单元，用于在所述第一确定单元根据所述参考码流中的参考帧间的运动矢量，确定所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量之前，对所述参考码流进行分辨率上采样，以便使所述参考码流的分辨率等于所述原始码流的分辨率。
优选的，当所述参考码流的帧率为所述原始码流的帧率时，所述参考码流是在对所述原始码流进行采样的同时，通过同步采样或者异步间隔采样的方式获得的。
优选的，如图13所示，该装置还包括：
第二确定单元1204，用于在所述搜索单元针对所述原始码流中的原始帧的各个宏块，基于所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量，在最佳运动矢量的目标范围内搜索所述宏块的最佳运动矢量之前，根据所述参考码流中的参考帧间的运动矢量，确定所述最佳运动矢量的目标范围。
优选的，如图14所示，第一确定单元1202包括：
运动估计子单元12021，用于针对所述原始码流中的所述原始帧，在所述参考码流中与所述原始帧的位置相邻的连续两个或三个参考帧的范围内进行前向和后向运动估计，或者，对所述原始帧和在所述参考码流中与所述原始帧的位置相邻的两个参考帧进行前向和后向运动估计，得到参考帧的前向运动矢量和后向运动矢量；
设置子单元12022，用于根据所述参考帧的前向运动矢量和后向运动矢量设置所述原始帧相对于相邻的内插帧的初始运动矢量。
优选的，第二确定单元1204具体用于，将所述参考帧的前向运动矢量和后向运动矢量所构成的范围设置为所述预定的随驾运动矢量范围。
优选的，如图15所示，该装置还包括：
运动补偿插值单元1205，用于利用所述原始码流中的原始帧相对于相邻的内插帧的最佳运动矢量对所述原始码流进行运动补偿插值处理，处理后的所述原始码流中包含原始帧和内插帧。
进一步优选的，如图16所示，该装置还包括：
判断单元1206，用于针对原始码流中的所述内插帧，判断所述参考码流中与所述内插帧处于同一位置的参考帧的像素值是否与所述内插帧的像素值相近似；
自适应补偿单元1207，用于如果所述参考码流中与所述内插帧处于同一位置的参考帧的像素值与所述内插帧的像素值不相近似，计算所述内插帧和所述参考帧中处于同一位置的两个像素的平均值，得到一个优选帧，将所述原始码流中的内插帧替换为所述优选帧，如果所述参考码流中与所述内插帧处于同一位置的参考帧的像素值与所述内插帧的像素值相近似，保留所述原始码流中的内插帧。
由上述实施例可以看出，与现有技术相比，本发明的优点在于：
本发明采用SVC中的分层编码的思想，在传输过程中多传输一路高帧率或等帧率的参考码流，利用参考码流中的参考帧的运动矢量为原始码流的原始帧相对于相邻的内插帧的初始运动矢量提供参考依据，进而可以在运动估计过程中获得更加接近最佳运动矢量的初始运动矢量。对于原始码流中的原始帧的各个宏块来说，由于初始运动矢量更越接近最佳运动矢量，因此，越能快速地搜索到该宏块的最佳运动矢量，可以缩短运动估计中搜索最佳运动矢量的时间，进而减少因过长的搜索过程所消耗的系统开销。最终也会使帧率上采样出来的视频画面（特别是运动的视频画面）更连续、平顺，视频效果更好。另外，与传统的H264编码相比，也更加节省码率。
所述领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述到的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，可以采用软件功能单元的形式实现。
硬件实施例
本申请实施例还提供了一种通讯装置，通讯装置可能是包含计算能力的主机服务器，或者是个人计算机PC，或者是可携带的便携式计算机或终端等等，本申请具体实施例并不对通讯装置的具体实现做限定。
图17为本申请的通讯装置的结构图。如图17所示，通讯装置1700包括：
处理器（processor）1710，通信接口（Communications Interface）1720，存储器（memory）1730，总线1740。
处理器1710，通信接口1720，存储器1730通过总线1740完成相互间的通信。
处理器1710，用于执行程序1732。
具体地，程序1732可以包括程序代码，所述程序代码包括计算机操作指令。
处理器1710可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpeCIFic Integrated Circuit），或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器1730，用于存放程序1732。存储器1730可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。程序1732用于执行以下步骤：
接收原始码流和参考码流，所述参考码流的帧率大于或等于原始码流的帧率，且小于或等于视频源的帧率；
根据所述参考码流中的参考帧间的运动矢量，确定所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量；
针对所述原始码流中的原始帧的各个宏块，基于所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量，在最佳运动矢量的目标范围内搜索所述宏块的最佳运动矢量，以便最终得到所述原始码流中的原始帧相对于相邻的内插帧的最佳运动矢量。
程序1232中各步骤的具体实现参见图12-图16所示实施例中的相应单元的实现方式，在此不赘述。
需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。
以上对本发明所提供的一种帧率上采样中的运动估计方法进行了详细介绍，本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (16)
1.一种帧率上采样中的运动估计方法，其特征在于，在网络传输时，除原始码流之外，还增加一路参考码流；所述方法包括：
接收原始码流和参考码流，所述原始码流和所述参考码流来自于同一个视频源的码流，所述参考码流的帧率大于或等于原始码流的帧率，且小于或等于所述视频源的帧率；
根据所述参考码流中的参考帧间的运动矢量，确定所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量；
针对所述原始码流中的原始帧的各个宏块，基于所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量，在最佳运动矢量的目标范围内搜索所述宏块的最佳运动矢量，以便最终得到所述原始码流中的原始帧相对于相邻的内插帧的最佳运动矢量。
2.根据权利要求1所述的方法，其特征在于，所述参考码流的分辨率比所述原始码流的分辨率低；
则在根据所述参考码流中的参考帧间的运动矢量，确定所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量之前，所述方法还包括：
对所述参考码流进行分辨率上采样，以便使所述参考码流的分辨率等于所述原始码流的分辨率。
3.根据权利要求1所述的方法，其特征在于，当所述参考码流的帧率为所述原始码流的帧率时，所述参考码流是在对所述原始码流进行采样的同时，通过同步采样或者异步间隔采样的方式获得的。
4.根据权利要求1所述的方法，其特征在于，在针对所述原始码流中的原始帧的各个宏块，基于所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量，在最佳运动矢量的目标范围内搜索所述宏块的最佳运动矢量之前，所述方法还包括：
根据所述参考码流中的参考帧间的运动矢量，确定所述最佳运动矢量的目标范围。
5.根据权利要求4所述的方法，其特征在于，所述根据所述参考码流中的参考帧间的运动矢量，确定所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量，包括：
针对所述原始码流中的所述原始帧，在所述参考码流中与所述原始帧的位置相邻的连续两个或三个参考帧的范围内进行前向和后向运动估计，或者，对所述原始帧和在所述参考码流中与所述原始帧的位置相邻的两个参考帧进行前向和后向运动估计，得到参考帧的前向运动矢量和后向运动矢量；
根据所述参考帧的前向运动矢量和后向运动矢量设置所述原始帧相对于相邻的内插帧的初始运动矢量。
6.根据权利要求5所述的方法，其特征在于，所述根据所述参考码流中的参考帧间的运动矢量，确定所述最佳运动矢量的目标范围具体为：将所述参考帧的前向运动矢量和后向运动矢量所构成的范围设置为所述最佳运动矢量的目标范围。
7.根据权利要求1至4中任意一项所述的方法，其特征在于，所述方法还包括：
利用所述原始码流中的原始帧相对于相邻的内插帧的最佳运动矢量对所述原始码流进行运动补偿插值处理，处理后的所述原始码流中包含原始帧和内插帧。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
针对原始码流中的所述内插帧，判断所述参考码流中与所述内插帧处于同一位置的参考帧的像素值是否与所述内插帧的像素值相近似；
如果所述参考码流中与所述内插帧处于同一位置的参考帧的像素值与所述内插帧的像素值不相近似，计算所述内插帧和所述参考帧中处于同一位置的两个像素的平均值，得到一个优选帧，将所述原始码流中的内插帧替换为所述优选帧，如果所述参考码流中与所述内插帧处于同一位置的参考帧的像素值与所述内插帧的像素值相近似，保留所述原始码流中的内插帧。
9.一种帧率上采样中的运动估计装置，其特征在于，在网络传输时，除原始码流之外，还增加一路参考码流；所述装置包括：
接收单元，用于接收原始码流和参考码流，所述原始码流和所述参考码流来自于同一个视频源的码流，所述参考码流的帧率大于或等于原始码流的帧率，且小于或等于所述视频源的帧率；
第一确定单元，用于根据所述参考码流中的参考帧间的运动矢量，确定所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量；
搜索单元，用于针对所述原始码流中的原始帧的各个宏块，基于所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量，在最佳运动矢量的目标范围内搜索所述宏块的最佳运动矢量，以便最终得到所述原始码流中的原始帧相对于相邻的内插帧的最佳运动矢量。
10.根据权利要求9所述的装置，其特征在于，所述参考码流的分辨率比所述原始码流的分辨率低；
则所述装置还包括：
分辨率上采样单元，用于在所述第一确定单元根据所述参考码流中的参考帧间的运动矢量，确定所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量之前，对所述参考码流进行分辨率上采样，以便使所述参考码流的分辨率等于所述原始码流的分辨率。
11.根据权利要求9所述的装置，其特征在于，当所述参考码流的帧率为所述原始码流的帧率时，所述参考码流是在对所述原始码流进行采样的同时，通过同步采样或者异步间隔采样的方式获得的。
12.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第二确定单元，用于在所述搜索单元针对所述原始码流中的原始帧的各个宏块，基于所述原始码流中的原始帧相对于相邻的内插帧的初始运动矢量，在最佳运动矢量的目标范围内搜索所述宏块的最佳运动矢量之前，根据所述参考码流中的参考帧间的运动矢量，确定所述最佳运动矢量的目标范围。
13.根据权利要求12所述的装置，其特征在于，所述第一确定单元包括：
运动估计子单元，用于针对所述原始码流中的所述原始帧，在所述参考码流中与所述原始帧的位置相邻的连续两个或三个参考帧的范围内进行前向和后向运动估计，或者，对所述原始帧和在所述参考码流中与所述原始帧的位置相邻的两个参考帧进行前向和后向运动估计，得到参考帧的前向运动矢量和后向运动矢量；
设置子单元，用于根据所述参考帧的前向运动矢量和后向运动矢量设置所述原始帧相对于相邻的内插帧的初始运动矢量。
14.根据权利要求13所述的装置，其特征在于，所述第二确定单元具体用于，将所述参考帧的前向运动矢量和后向运动矢量所构成的范围设置为所述最佳运动矢量的目标范围。
15.根据权利要求9至12中任意一项所述的装置，其特征在于，所述装置还包括：
运动补偿插值单元，用于利用所述原始码流中的原始帧相对于相邻的内插帧的最佳运动矢量对所述原始码流进行运动补偿插值处理，处理后的所述原始码流中包含原始帧和内插帧。
16.根据权利要求15所述的装置，其特征在于，所述装置还包括：
判断单元，用于针对原始码流中的所述内插帧，判断所述参考码流中与所述内插帧处于同一位置的参考帧的像素值是否与所述内插帧的像素值相近似；
自适应补偿单元，用于如果所述参考码流中与所述内插帧处于同一位置的参考帧的像素值与所述内插帧的像素值不相近似，计算所述内插帧和所述参考帧中处于同一位置的两个像素的平均值，得到一个优选帧，将所述原始码流中的内插帧替换为所述优选帧，如果所述参考码流中与所述内插帧处于同一位置的参考帧的像素值与所述内插帧的像素值相近似，保留所述原始码流中的内插帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410119914.XA CN103929648B (zh) | 2014-03-27 | 2014-03-27 | 一种帧率上采样中的运动估计方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410119914.XA CN103929648B (zh) | 2014-03-27 | 2014-03-27 | 一种帧率上采样中的运动估计方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103929648A CN103929648A (zh) | 2014-07-16 |
| CN103929648B true CN103929648B (zh) | 2017-04-19 |
Family
ID=51147706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410119914.XA Active CN103929648B (zh) | 2014-03-27 | 2014-03-27 | 一种帧率上采样中的运动估计方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103929648B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104301736B (zh) * | 2014-10-13 | 2017-08-01 | 上海交通大学 | 一种减少存储带宽需求的超高清帧率上变换系统 |
| JPWO2020039956A1 (ja) * | 2018-08-22 | 2021-08-10 | ソニーグループ株式会社 | 表示装置、信号処理装置、及び信号処理方法 |
| CN111741304A (zh) * | 2019-03-25 | 2020-10-02 | 四川大学 | 一种基于运动矢量细化的帧率上变换与hevc相结合的方法 |
| CN111050149A (zh) * | 2019-12-24 | 2020-04-21 | 苏州乐梦光电科技有限公司 | 用于投影系统的视频处理方法、装置、设备及存储介质 |
| CN111263193B (zh) * | 2020-01-21 | 2022-06-17 | 北京世纪好未来教育科技有限公司 | 视频帧上下采样方法及装置、视频直播方法及系统 |
| CN112887791A (zh) * | 2021-01-22 | 2021-06-01 | 深圳市优乐学科技有限公司 | 一种视频流畅控制的方法 |
| CN114531596A (zh) * | 2022-01-25 | 2022-05-24 | 京东方科技集团股份有限公司 | 图像处理方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1794818A (zh) * | 2005-12-01 | 2006-06-28 | 西安交通大学 | 可伸缩视频编码中的高性能三维码率控制方法 |
| CN101010964A (zh) * | 2004-07-01 | 2007-08-01 | 高通股份有限公司 | 在可分级视频编码中的使用帧速率上变换技术的方法与设备 |
| CN101198064A (zh) * | 2007-12-10 | 2008-06-11 | 武汉大学 | 一种分辨率分层技术中的运动矢量预测方法 |
| US8169541B2 (en) * | 2008-12-09 | 2012-05-01 | Himax Media Solutions, Inc. | Method of converting frame rate of video signal |
| CN103220488A (zh) * | 2013-04-18 | 2013-07-24 | 北京大学 | 一种视频帧率上转换装置及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110255596A1 (en) * | 2010-04-15 | 2011-10-20 | Himax Technologies Limited | Frame rate up conversion system and method |
-
2014
- 2014-03-27 CN CN201410119914.XA patent/CN103929648B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101010964A (zh) * | 2004-07-01 | 2007-08-01 | 高通股份有限公司 | 在可分级视频编码中的使用帧速率上变换技术的方法与设备 |
| CN1794818A (zh) * | 2005-12-01 | 2006-06-28 | 西安交通大学 | 可伸缩视频编码中的高性能三维码率控制方法 |
| CN101198064A (zh) * | 2007-12-10 | 2008-06-11 | 武汉大学 | 一种分辨率分层技术中的运动矢量预测方法 |
| US8169541B2 (en) * | 2008-12-09 | 2012-05-01 | Himax Media Solutions, Inc. | Method of converting frame rate of video signal |
| CN103220488A (zh) * | 2013-04-18 | 2013-07-24 | 北京大学 | 一种视频帧率上转换装置及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 可分级视频编码中运动估计技术研究与优化;张昕;《中国优秀硕士学位论文全文数据库信息科技辑，2009年第3期》;20090315;1-75 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103929648A (zh) | 2014-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103929648B (zh) | 一种帧率上采样中的运动估计方法和装置 | |
| Sezan et al. | Motion analysis and image sequence processing | |
| CN105872432B (zh) | 快速自适应帧率变换的装置与方法 | |
| JP4198608B2 (ja) | 補間画像生成方法および装置 | |
| JP6163674B2 (ja) | 高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ | |
| CN103402098B (zh) | 一种基于图像插值的视频插帧方法 | |
| US20190304170A1 (en) | Reconstructing views of real world 3d scenes | |
| US20240098298A1 (en) | Segmentation-based parameterized motion models | |
| US20160080766A1 (en) | Encoding system using motion estimation and encoding method using motion estimation | |
| CN106254885A (zh) | 利用共位块进行运动估计 | |
| JP2005229600A (ja) | 重畳されたブロック基盤の動き推定による動き補償補間方法及びそれを適用したフレームレート変換装置 | |
| US10284810B1 (en) | Using low-resolution frames to increase frame rate of high-resolution frames | |
| US20190141332A1 (en) | Use of synthetic frames in video coding | |
| CN1703094B (zh) | 1/4像素插值应用于1/2像素插值结果的图象插值装置和方法 | |
| Gupta et al. | Enhancing and experiencing spacetime resolution with videos and stills | |
| CN103152566B (zh) | 一种视频帧率提升方法 | |
| Huang et al. | Algorithm and architecture design of multirate frame rate up-conversion for ultra-HD LCD systems | |
| CN112532907A (zh) | 一种视频帧频提升方法、装置、设备及介质 | |
| CN116437028A (zh) | 一种视频显示方法及系统 | |
| US9275468B2 (en) | Fallback detection in motion estimation | |
| JPS6028392A (ja) | 動画像信号の動き内插方式 | |
| Hwang et al. | Frame rate up-conversion technique using hardware-efficient motion estimator architecture for motion blur reduction of TFT-LCD | |
| KR100810391B1 (ko) | 움직임 보간을 이용한 프레임 레이트 변환 방법 | |
| Zhao et al. | Frame rate up-conversion based on edge information | |
| US20110150092A1 (en) | Emulation of bi predicted pictures using adjacent pictures for improved video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |