CN106998437B - 一种重建视频图像的方法及装置 - Google Patents

一种重建视频图像的方法及装置 Download PDF

Info

Publication number
CN106998437B
CN106998437B CN201710206232.6A CN201710206232A CN106998437B CN 106998437 B CN106998437 B CN 106998437B CN 201710206232 A CN201710206232 A CN 201710206232A CN 106998437 B CN106998437 B CN 106998437B
Authority
CN
China
Prior art keywords
video image
pixel
target
image
target video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710206232.6A
Other languages
English (en)
Other versions
CN106998437A (zh
Inventor
徐超
杨亮
张文明
陈少杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Douyu Network Technology Co Ltd
Original Assignee
Wuhan Douyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Douyu Network Technology Co Ltd filed Critical Wuhan Douyu Network Technology Co Ltd
Priority to CN201710206232.6A priority Critical patent/CN106998437B/zh
Publication of CN106998437A publication Critical patent/CN106998437A/zh
Application granted granted Critical
Publication of CN106998437B publication Critical patent/CN106998437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Abstract

本发明涉及图像处理技术领域，尤其涉及一种重建视频图像的方法及装置，包括：从包含若干视频图像的目标视频中，确定出一帧待处理的目标视频图像；根据视频图像与播放时间的对应关系，确定出目标视频图像的参考视频图像；获取参考视频图像相对于目标视频图像的半像素帧图像；将目标视频图像相对于半像素帧图像的运动矢量的第一代价值，与目标视频图像相对于参考视频图像的运动矢量的第二代价值进行比较，获得比较结果；根据比较结果，利用半像素帧图像获取1/4像素帧图像；将1/4像素帧图像相对于目标视频图像的运动矢量的代价值作为目标运动矢量；利用目标运动矢量重建目标视频图像。本发明提高了运动矢量准确度，进而能够提高视频图像的质量。

Description

一种重建视频图像的方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种重建视频图像的方法及装置。
背景技术
在视频处理领域，由于自然物体运动时的连续性，相邻的两帧画面之间的宏块的运动矢量的基本单位并不是整数像素，例如，运动矢量的基本单位可能是1/4像素或1/8像素，若采用整数像素的运动矢量对视频进行编码，存在运动矢量精度低的问题，严重影响视频图像的质量。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种重建视频图像的方法及装置。
本发明实施例提供一种重建视频图像的方法，所述方法包括：
从包含若干视频图像的目标视频中，确定出一帧待处理的目标视频图像；
根据视频图像与播放时间的对应关系，确定出所述目标视频图像的参考视频图像；
获取所述参考视频图像相对于所述目标视频图像的半像素帧图像；
将所述目标视频图像相对于所述半像素帧图像的运动矢量的第一代价值，与所述目标视频图像相对于所述参考视频图像的运动矢量的第二代价值进行比较，获得比较结果；
根据所述比较结果，利用所述半像素帧图像获取1/4像素帧图像；
将所述1/4像素帧图像相对于所述目标视频图像的运动矢量的代价值作为目标运动矢量；
利用所述目标运动矢量重建所述目标视频图像。
优选的，所述根据视频图像与播放时间的对应关系，确定出所述目标视频图像的参考视频图像，包括：
根据视频图像与播放时间的对应关系，将所述目标视频图像的前一帧视频图像确定为所述参考视频图像；和/或
根据视频图像与播放时间的对应关系，将所述目标视频图像的后一帧视频图像确定为所述参考视频图像。
优选的，所述根据所述比较结果，利用所述半像素帧图像获取1/4像素帧图像，包括：
当所述比较结果为所述第一代价值小于所述第二代价值时，获取所述半像素帧图像相对于所述目标视频图像的第一1/4像素帧图像；
当所述比较结果为所述第一代价值大于或等于所述第二代价值时，获取所述参考视频图像相对于所述半像素帧图像的第二1/4像素帧图像；。
优选的，所述获取所述参考视频图像相对于所述目标视频图像的半像素帧图像，包括：
分别获取所述参考视频图像在各行和各列中相对于所述目标视频图像的半像素点；
根据获取到的所有半像素点获得所述半像素帧图像。
优选的，获取所述参考视频图像在某行或某列中相对于所述目标视频图像的半像素点，包括：
在所述参考视频图像中某行或某列所对应的所有像素点中，提取出位于该行或该列的1/2位置之前的3个整数像素点以及位于1/2位置之后的3个整数像素点；
根据提取出的6个整数像素点，利用以下公式获得所述参考视频图像在该行或该列中相对于所述目标视频图像的半像素点：
b＝round((E-4F+12G+12H-4I+J)/16)
其中，b为某行或某列的半像素点，E为该行或该列的第一个整数像素点，F为该行或该列的第二个整数像素点，G为该行或该列的第三个整数像素点，H为该行或该列的第四个整数像素点，I为该行或该列的第五个整数像素点，J为该行或该列的第六个整数像素点，round()为四舍五入求值函数。
优选的，当确定出的所述参考视频图像为多个时，所述利用所述目标运动矢量重建所述目标视频图像，包括：
利用分别根据各个参考视频图像获得的各个目标运动矢量，以及与各个参考视频图像对应的预设权重，重建所述目标视频图像。
基于同一发明构思，本发明实施例还提供一种重建视频图像的装置，所述装置包括：
第一确定模块，用于从包含若干视频图像的目标视频中，确定出一帧待处理的目标视频图像；
第二确定模块，用于根据视频图像与播放时间的对应关系，确定出所述目标视频图像的参考视频图像；
第一获取模块，用于获取所述参考视频图像相对于所述目标视频图像的半像素帧图像；
比较模块，用于将所述目标视频图像相对于所述半像素帧图像的运动矢量的第一代价值，与所述目标视频图像相对于所述参考视频图像的运动矢量的第二代价值进行比较，获得比较结果；
第二获取模块，用于根据所述比较结果，利用所述半像素帧图像获取1/4像素帧图像；
第三确定模块，用于将所述1/4像素帧图像相对于所述目标视频图像的运动矢量的代价值作为目标运动矢量；
重建模块，用于利用所述目标运动矢量重建所述目标视频图像。
优选的，所述第二确定模块，包括：
第一确定单元，用于根据视频图像与播放时间的对应关系，将所述目标视频图像的前一帧视频图像确定为所述参考视频图像；和/或
第二确定单元，用于根据视频图像与播放时间的对应关系，将所述目标视频图像的后一帧视频图像确定为所述参考视频图像。
优选的，所述第二获取模块，包括：
第一获取单元，用于当所述比较结果为所述第一代价值小于所述第二代价值时，获取所述半像素帧图像相对于所述目标视频图像的第一1/4像素帧图像；
第二获取单元，用于当所述比较结果为所述第一代价值大于或等于所述第二代价值时，获取所述参考视频图像相对于所述半像素帧图像的第二1/4像素帧图像。
优选的，所述第一获取模块，包括：
第三获取单元，用于分别获取所述参考视频图像在各行和各列中相对于所述目标视频图像的半像素点；
第四获取单元，用于根据获取到的所有半像素点获得所述半像素帧图像。
本发明实施例中的一个或多个技术方案，至少具有如下技术效果或优点：
本发明根据视频图像与播放时间之间的对应关系，确定目标视频图像的参考视频图像，并获取参考视频图像的半像素帧图像，接着根据目标视频图像相对于半像素帧图像的运动矢量的第一代价值与目标视频图像相对于参考视频图像的运动矢量的第二代价值之间比较结果，获得1/4像素帧图像，最终利用1/4像素帧图像相对于目标视频图像的运动矢量的代价值作为目标运动矢量，利用目标运动矢量重建目标视频图像，由于通过上述方法得到的运动矢量准确度高，因此能够提高视频图像的质量，还能够提高编码效率。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考图形表示相同的部件。在附图中：
图1示出了本发明实施例中的一种重建视频图像的方法的流程图；
图2示出了本发明实施例中的半像素内插示意图；
图3示出了本发明实施例中的1/4像素内插示意图；
图4示出了本发明实施例中的1/8像素内插示意图；
图5示出了本发明实施例中的一种重建视频图像的装置的结构图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供一种重建视频图像的方法，如图1所示，所述方法包括：
步骤101：从包含若干视频图像的目标视频中，确定出一帧待处理的目标视频图像。
步骤102：根据视频图像与播放时间的对应关系，确定出所述目标视频图像的参考视频图像。
具体来讲，在确定出目标视频图像之后，可以将目标视频图像的前一帧视频图像确定为参考视频图像，也可以将目标视频图像的后一帧视频图像确定为参考视频图像。
步骤103：获取所述参考视频图像相对于所述目标视频图像的半像素帧图像。
步骤104：将所述目标视频图像相对于所述半像素帧图像的运动矢量的第一代价值，与所述目标视频图像相对于所述参考视频图像的运动矢量的第二代价值进行比较，获得比较结果。
步骤105：根据所述比较结果，利用所述半像素帧图像获取1/4像素帧图像。
步骤106：将所述1/4像素帧图像相对于所述目标视频图像的运动矢量的代价值作为目标运动矢量。
步骤107：利用所述目标运动矢量重建所述目标视频图像。
具体来讲，对于视频图像的分割，帧间编码宏块的每个分割块或者子宏块都是根据参考视频图像某一相同尺寸区域预测而得的，两者之间的差异(MV)对亮度成分采用1/4像素精度，色度采用1/8像素精度。亚像素位置的亮度和色度像素并不存在于参考视频图像中，需利用邻近已编码点进行内插而得，如图2所示，目标视频图像的4×4块通过邻近参考视频图像相应区域预测，如果MV的垂直和水平分量为整数，参考视频块相应像素实际存在，如果其中一个或两个为分数，预测像素通过参考视频图像中相应像素内插获得。
在本申请中，首先获取半像素帧图像，具体地，可以分别获取所述参考视频图像在各行和各列中相对于所述目标视频图像的半像素点，根据获取到的所有半像素点获得所述半像素帧图像。对于获取所述参考视频图像在某行或某列中相对于所述目标视频图像的半像素点而言，包括以下步骤：在所述参考视频图像中某行或某列所对应的所有像素点中，提取出位于该行或该列的1/2位置之前的3个整数像素点以及位于1/2位置之后的3个整数像素点，根据提取出的6个整数像素点，获得参考视频图像在该行或该列中相对于目标视频图像的半像素点，具体可以采用以下公式：
b＝round((E-4F+12G+12H-4I+J)/16)
其中，b为某行或某列的半像素点，E为该行或该列的第一个整数像素点，F为该行或该列的第二个整数像素点，G为该行或该列的第三个整数像素点，H为该行或该列的第四个整数像素点，I为该行或该列的第五个整数像素点，J为该行或该列的第六个整数像素点，round()为四舍五入求值函数。本申请通过上述公式提高了运算效率。
例如，针对图2举例而言，半像素点(如b，h，m)通过对相应整像素点进行6抽头滤波得出，如，b可以由E、F、G、H、I和J得出，h可以由A、C、G、M、R和T得出。另外，若邻近(垂直或水平方向)整像素点的所有像素都计算出，剩余的半像素点便可以通过对6个垂直或水平方向的半像素点滤波而得。例如，j由cc，dd，h，m，ee，ff滤波得出。再获得半像素点之后，1/4像素点可以通过线性内插得到，如图3所示，1/4像素点(如a,c,i,k,d,f,n,q)可以采用以下公式获得：
a＝round((G+b)/2)
剩余1/4像素点(p，r)由一对对角半像素点线性内插得出，如e由b和h获得。相应地，色度像素需要1/8精度地MV，也同样通过整像素线性内插得出，如图4所示，其中：
a＝round([8-dx)·(8-dy)A+dx·(8-dy)B+(8-dx)·dyC+dx·dyD]/64)
当dx＝2，dy＝3时，公式变形如下：
a＝round(30A+10B+18C+6D/64]
在实际应用中，可以采用以下函数进行实现：
其中，半像素差值函数如下：
Figure BDA0001259895360000071
Figure BDA0001259895360000081
其中，dsth：水平半像素(输出，dstc：中间半像素(输出)，dstv：垂直半像素(输出)，src：要处理的像素子块(输入)，stride：图像帧宽度，width，height：像素块宽度和高度(输入)，buf：缓存地址。如图2所示，m由B、D、H、N、S、U计算得出，h由A、C、G、M、R、T计算得出，s由K、L、M、N、P、Q计算得出，j由cc、dd、h、m、ee、ff计算。需要说明的是，由于采用上述方法计算j点的运算量比较大，因为cc、dd、ee、ff可以通过半像素内插方法进行计算。
下面给出对应上述函数实现过程的流程解释：首先，遍历像素块中的像素高度，接着，遍历像素宽度通过TAPFILTER宏计算垂直半像素值，#defineTAPFILTER(pix,d)((pix)[x-2*d]+(pix)[x+3*d]-5*((pix)[x-d]+(pix)[x+2*d])+20*((pix)[x]+(pix)[x+d]))，Pix为像素地址，d为像素偏移，当计算垂直半像素是d为stride，当计算水平半像素是d为1，然后，遍历像素宽度通过TAPFILTER宏计算水平半像素，再遍历像素宽度通过TAPFILTER计算中间半像素，最终Dsth，dstv，dstc，src累加stride。
由于线性内插是由上诉介绍的半像素计算而得，而且是在获取亚像素中实现的，下面介绍获取亚像素的函数实现方式：
Figure BDA0001259895360000082
Figure BDA0001259895360000091
Figure BDA0001259895360000101
其中，dst输出的亚像素(输出)，i_dst_stride亚像素宽度(输入)，src半像素数组(整数，垂直，水平，中间)，i_src_stride半像素宽度(输入)，mvx，mvy：运动矢量(输入)，weight加权值。
static const uint8_t hpel_ref0[16]＝{0,1,1,1,0,1,1,1,2,3,3,3,0,1,1,1}；
static const uint8_t hpel_ref1[16]＝{0,0,0,0,2,2,3,2,2,2,3,2,2,2,3,2}；
其中，0,1,2,3表示整数像素，水平半像素，垂直半像素，中间半像素的索引值。
qpel_idx为hpel_ref0[]，hpel_ref1[]的索引值
运动矢量(mvy,mvx)位置和qpel_idx对应关系如下
Figure BDA0001259895360000102
计算出来后
Figure BDA0001259895360000111
根据hpel_ref0，hpel_ref1索引值每一个线性内插计算过程如下：
Figure BDA0001259895360000112
下面给出对应上述函数实现过程的流程解释：首先，由矢量值计算qpel_idx索引值，接着，通过矢量值计算整像素偏移值offset，然后，通过索引和offset偏移值获取半像素src和src2值，再通过pixel_avg对src和src2像素子块(半像素块)计算均值并返回到dst，最后判断是否进行加权，并进行计算。
其中，均值计算函数如下：
Figure BDA0001259895360000121
其中，dst：输出值，i_dst_stride：输出图像宽度，src1和src2：半像素子块，i_src1_stride和i_src2_stride子块帧宽度，i_width和i_height：半像素子块宽高。通过遍历半像素子块宽高，计算每个像素值的均值。
进一步，在本申请中，步骤105具体包括：
当所述比较结果为所述第一代价值小于所述第二代价值时，获取所述半像素帧图像相对于所述目标视频图像的第一1/4像素帧图像。
当所述比较结果为所述第一代价值大于或等于所述第二代价值时，获取所述参考视频图像相对于所述半像素帧图像的第二1/4像素帧图像。
其中，本申请根据代价值最小的图像获取1/4像素帧图像，例如，当半像素帧图像的运动矢量的代价值最小时，获取半像素帧图像相对于目标视频图像的第一1/4像素帧图像，也即参考视频图像相对于目标视频图像的3/4像素帧图像，当参考视频图像的运动矢量的代价值最小时，获取参考视频图像相对于半像素帧图像的第二1/4像素帧图像，也即参考视频图像相对于目标视频图像的1/4像素帧图像，当半像素帧图像和参考视频图像的运动矢量的代价值相同时，与参考视频图像的运动矢量的代价值最小时的处理过程相同。
进一步，当获取的是第一1/4像素帧图像时，步骤106为：将所述第一1/4像素帧图像相对于目标视频图像的运动矢量的代价值作为目标运动矢量。当获取的是第二1/4像素帧图像时，步骤106为：将所述第二1/4像素帧图像相对于目标视频图像的运动矢量的代价值作为目标运动矢量。
在本申请中，当确定出的所述参考视频图像为多个时，所述利用所述目标运动矢量重建所述目标视频图像，包括：
利用分别根据各个参考视频图像获得的各个目标运动矢量，以及与各个参考视频图像对应的预设权重，重建所述目标视频图像。
例如，当将所述目标视频图像的前一帧视频图像确定为第一参考视频图像，将所述目标视频图像的后一帧视频图像确定为第二参考视频图像时，可以分别根据第一参考视频图像获得第一目标运动矢量，根据第二参考视频图像获得第二目标运动矢量，在根据第一目标运动矢量和第二目标运动矢量，以及与第一目标运动矢量对应的第一预设权重，以及与第二目标运动矢量对应的第二预设权重，重建所述目标视频图像，具体实现公式如下：
Figure BDA0001259895360000131
Figure BDA0001259895360000132
为重建后的目标视频图像，ft(x,y)为目标视频图像，αt-1为第一预设权重，αt+1为第二预设权重，(i，j)为第一参考视频图像，(i’，j’)为第二参考视频图像。
基于同一发明构思，本发明实施例还提供一种重建视频图像的装置，如图5所示，所述装置包括：
第一确定模块501，用于从包含若干视频图像的目标视频中，确定出一帧待处理的目标视频图像；
第二确定模块502，用于根据视频图像与播放时间的对应关系，确定出所述目标视频图像的参考视频图像；
第一获取模块503，用于获取所述参考视频图像相对于所述目标视频图像的半像素帧图像；
比较模块504，用于将所述目标视频图像相对于所述半像素帧图像的运动矢量的第一代价值，与所述目标视频图像相对于所述参考视频图像的运动矢量的第二代价值进行比较，获得比较结果；
第二获取模块505，用于根据所述比较结果，利用所述半像素帧图像获取1/4像素帧图像；
第三确定模块506，用于将所述1/4像素帧图像相对于所述目标视频图像的运动矢量的代价值作为目标运动矢量；
重建模块507，用于利用所述目标运动矢量重建所述目标视频图像。
优选的，第二确定模块502，包括：
第一确定单元，用于根据视频图像与播放时间的对应关系，将所述目标视频图像的前一帧视频图像确定为所述参考视频图像；和/或
第二确定单元，用于根据视频图像与播放时间的对应关系，将所述目标视频图像的后一帧视频图像确定为所述参考视频图像。
优选的，第二获取模块505，包括：
第一获取单元，用于当所述比较结果为所述第一代价值小于所述第二代价值时，获取所述半像素帧图像相对于所述目标视频图像的第一1/4像素帧图像；
第二获取单元，用于当所述比较结果为所述第一代价值大于或等于所述第二代价值时，获取所述参考视频图像相对于所述半像素帧图像的第二1/4像素帧图像。
优选的，第一获取模块503，包括：
第三获取单元，用于分别获取所述参考视频图像在各行和各列中相对于所述目标视频图像的半像素点；
第四获取单元，用于根据获取到的所有半像素点获得所述半像素帧图像。
上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：
本发明根据视频图像与播放时间之间的对应关系，确定目标视频图像的参考视频图像，并获取参考视频图像的半像素帧图像，接着根据目标视频图像相对于半像素帧图像的运动矢量的第一代价值与目标视频图像相对于参考视频图像的运动矢量的第二代价值之间比较结果，获得1/4像素帧图像，最终利用1/4像素帧图像相对于目标视频图像的运动矢量的代价值作为目标运动矢量，利用目标运动矢量重建目标视频图像，由于通过上述方法得到的运动矢量准确度高，因此能够提高视频图像的质量，还能够提高编码效率。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的重建视频图像的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (2)

1.一种重建视频图像的方法，其特征在于，所述方法包括：
从包含若干视频图像的目标视频中，确定出一帧待处理的目标视频图像；
根据视频图像与播放时间的对应关系，将所述目标视频图像的前一帧视频图像和后一帧视频图像分别确定为参考视频图像；
获取所述参考视频图像相对于所述目标视频图像的半像素帧图像；
将所述目标视频图像相对于所述半像素帧图像的运动矢量的第一代价值，与所述目标视频图像相对于所述参考视频图像的运动矢量的第二代价值进行比较，获得比较结果；
当所述比较结果为所述第一代价值小于所述第二代价值时，获取所述半像素帧图像相对于所述目标视频图像的第一1/4像素帧图像，并将所述第一1/4像素帧图像相对于所述目标视频图像的运动矢量作为目标运动矢量；
当所述比较结果为所述第一代价值大于或等于所述第二代价值时，获取所述参考视频图像相对于所述半像素帧图像的第二1/4像素帧图像，并将所述第二1/4像素帧图像相对于所述目标视频图像的运动矢量作为目标运动矢量；
利用所述目标运动矢量重建所述目标视频图像；
其中，所述利用所述目标运动矢量重建所述目标视频图像，包括：
利用分别根据各个参考视频图像获得的各个目标运动矢量，以及与各个参考视频图像对应的预设权重，重建所述目标视频图像；
其中，所述获取所述参考视频图像相对于所述目标视频图像的半像素帧图像，包括：
分别获取所述参考视频图像在各行和各列中相对于所述目标视频图像的半像素点；
根据获取到的所有半像素点获得所述半像素帧图像；
其中，获取所述参考视频图像在某行或某列中相对于所述目标视频图像的半像素点，包括：
在所述参考视频图像中某行或某列所对应的所有像素点中，提取出位于该行或该列的1/2位置之前的3个整数像素点以及位于1/2位置之后的3个整数像素点；
根据提取出的6个整数像素点，利用以下公式获得所述参考视频图像在该行或该列中相对于所述目标视频图像的半像素点：
b＝round((E-4F+12G+12H-4I+J)/16)
其中，b为某行或某列的半像素点，E为该行或该列的第一个整数像素点，F为该行或该列的第二个整数像素点，G为该行或该列的第三个整数像素点，H为该行或该列的第四个整数像素点，I为该行或该列的第五个整数像素点，J为该行或该列的第六个整数像素点，round()为四舍五入求值函数。
2.一种重建视频图像的装置，其特征在于，所述装置包括：
第一确定模块，用于从包含若干视频图像的目标视频中，确定出一帧待处理的目标视频图像；
第二确定模块，用于根据视频图像与播放时间的对应关系，确定出所述目标视频图像的参考视频图像；所述第二确定模块，包括：第一确定单元，用于根据视频图像与播放时间的对应关系，将所述目标视频图像的前一帧视频图像确定为所述参考视频图像；和，第二确定单元，用于根据视频图像与播放时间的对应关系，将所述目标视频图像的后一帧视频图像确定为所述参考视频图像；
第一获取模块，用于获取所述参考视频图像相对于所述目标视频图像的半像素帧图像；
比较模块，用于将所述目标视频图像相对于所述半像素帧图像的运动矢量的第一代价值，与所述目标视频图像相对于所述参考视频图像的运动矢量的第二代价值进行比较，获得比较结果；
第二获取模块，用于根据所述比较结果，利用所述半像素帧图像获取1/4像素帧图像；
所述第二获取模块，包括：第一获取单元，用于当所述比较结果为所述第一代价值小于所述第二代价值时，获取所述半像素帧图像相对于所述目标视频图像的第一1/4像素帧图像；第二获取单元，用于当所述比较结果为所述第一代价值大于或等于所述第二代价值时，获取所述参考视频图像相对于所述半像素帧图像的第二1/4像素帧图像；
第三确定模块，用于将所述第一1/4像素帧图像相对于所述目标视频图像的运动矢量作为目标运动矢量，以及将所述第二1/4像素帧图像相对于所述目标视频图像的运动矢量作为目标运动矢量；
重建模块，用于利用所述目标运动矢量重建所述目标视频图像；
其中，所述利用所述目标运动矢量重建所述目标视频图像，包括：
利用分别根据各个参考视频图像获得的各个目标运动矢量，以及与各个参考视频图像对应的预设权重，重建所述目标视频图像；
其中，所述第一获取模块，包括：
第三获取单元，用于分别获取所述参考视频图像在各行和各列中相对于所述目标视频图像的半像素点；
第四获取单元，用于根据获取到的所有半像素点获得所述半像素帧图像；
其中，获取所述参考视频图像在某行或某列中相对于所述目标视频图像的半像素点，包括：
在所述参考视频图像中某行或某列所对应的所有像素点中，提取出位于该行或该列的1/2位置之前的3个整数像素点以及位于1/2位置之后的3个整数像素点；
根据提取出的6个整数像素点，利用以下公式获得所述参考视频图像在该行或该列中相对于所述目标视频图像的半像素点：
b＝round((E-4F+12G+12H-4I+J)/16)
其中，b为某行或某列的半像素点，E为该行或该列的第一个整数像素点，F为该行或该列的第二个整数像素点，G为该行或该列的第三个整数像素点，H为该行或该列的第四个整数像素点，I为该行或该列的第五个整数像素点，J为该行或该列的第六个整数像素点，round()为四舍五入求值函数。
CN201710206232.6A 2017-03-31 2017-03-31 一种重建视频图像的方法及装置 Active CN106998437B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710206232.6A CN106998437B (zh) 2017-03-31 2017-03-31 一种重建视频图像的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710206232.6A CN106998437B (zh) 2017-03-31 2017-03-31 一种重建视频图像的方法及装置

Publications (2)

Publication Number Publication Date
CN106998437A CN106998437A (zh) 2017-08-01
CN106998437B true CN106998437B (zh) 2020-07-31

Family

ID=59433900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710206232.6A Active CN106998437B (zh) 2017-03-31 2017-03-31 一种重建视频图像的方法及装置

Country Status (1)

Country Link
CN (1) CN106998437B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101557514A (zh) * 2008-04-11 2009-10-14 华为技术有限公司 一种帧间预测编解码方法、装置及系统
CN101860747A (zh) * 2010-03-31 2010-10-13 北京大学 亚像素运动估计系统及方法
CN102123284A (zh) * 2011-03-18 2011-07-13 河北师范大学 一种h.264编码运动估计中的快速搜索方法
CN102377995A (zh) * 2010-08-05 2012-03-14 富士通株式会社 分数像素运动估计方法和系统
CN103051857A (zh) * 2013-01-25 2013-04-17 西安电子科技大学 基于运动补偿的1/4像素精度视频图像去隔行方法
CN104219533A (zh) * 2014-09-24 2014-12-17 苏州科达科技股份有限公司 一种双向运动估计方法和视频帧率上转换方法及系统
CN105516726A (zh) * 2015-11-27 2016-04-20 传线网络科技（上海）有限公司 视频编码的运动补偿匹配方法和系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
US7653132B2 (en) * 2004-12-21 2010-01-26 Stmicroelectronics, Inc. Method and system for fast implementation of subpixel interpolation
US8705630B2 (en) * 2006-02-10 2014-04-22 Nvidia Corporation Adapting one type of encoder to another type of encoder
CN101815218B (zh) * 2010-04-02 2012-02-08 北京工业大学 基于宏块特征的快速运动估计视频编码方法
TWI423164B (zh) * 2010-05-07 2014-01-11 Silicon Motion Inc 用來產生一高品質放大影像之方法及相關裝置
CN102281386B (zh) * 2010-06-08 2014-12-10 中兴通讯股份有限公司 一种对视频图像进行自适应去噪的方法及装置
US9445126B2 (en) * 2011-01-05 2016-09-13 Qualcomm Incorporated Video filtering using a combination of one-dimensional switched filter and one-dimensional adaptive filter

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101557514A (zh) * 2008-04-11 2009-10-14 华为技术有限公司 一种帧间预测编解码方法、装置及系统
CN101860747A (zh) * 2010-03-31 2010-10-13 北京大学 亚像素运动估计系统及方法
CN102377995A (zh) * 2010-08-05 2012-03-14 富士通株式会社 分数像素运动估计方法和系统
CN102123284A (zh) * 2011-03-18 2011-07-13 河北师范大学 一种h.264编码运动估计中的快速搜索方法
CN103051857A (zh) * 2013-01-25 2013-04-17 西安电子科技大学 基于运动补偿的1/4像素精度视频图像去隔行方法
CN104219533A (zh) * 2014-09-24 2014-12-17 苏州科达科技股份有限公司 一种双向运动估计方法和视频帧率上转换方法及系统
CN105516726A (zh) * 2015-11-27 2016-04-20 传线网络科技（上海）有限公司 视频编码的运动补偿匹配方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
H.26L标准中1_4像素精度运动估计的优化;王煜坚;《信息与电子工程》;20030930;第1卷(第3期);43-44 *
一种改进的H.264运动估计信息隐藏算法;王炜;《计算机科学》;20150615;第42卷(第6期);151-157 *

Also Published As

Publication number Publication date
CN106998437A (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
JP6978552B2 (ja) 動画像符号化方法、動画像復号化方法、符号化装置および復号化装置
KR101393048B1 (ko) 이미지들의 수퍼 해상도를 위한 방법 및 장치
TWI455588B (zh) 以雙向、局部及全域移動評估為基礎之框率轉換
US8817878B2 (en) Method and system for motion estimation around a fixed reference vector using a pivot-pixel approach
US20070047651A1 (en) Video prediction apparatus and method for multi-format codec and video encoding/decoding apparatus and method using the video prediction apparatus and method
JPH10336668A (ja) 動きベクトル検出装置
JPWO2019092844A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6394876B2 (ja) 符号化回路、符号化方法
TW201929521A (zh) 降噪方法、降噪裝置及降噪電路系統
US10757438B2 (en) Motion estimation
JP5533309B2 (ja) 動きベクトル検出回路、動画像符号化装置及び動きベクトル検出方法
CN106998437B (zh) 一种重建视频图像的方法及装置
CN106303545B (zh) 用于在帧序列中执行运动估计的数据处理系统和方法
US8305500B2 (en) Method of block-based motion estimation
WO2016131270A1 (zh) 一种错误隐藏的方法和装置
JP5490117B2 (ja) 画像処理装置
CN102970541B (zh) 图像滤波方法及装置
CN102300086A (zh) 对参考帧边界进行扩展和对运动补偿参考样本位置进行限定的方法
WO2012028480A1 (en) Global motion vector estimation
US8416344B2 (en) Iterative method for interpolating video information values
Ahn et al. Optimized implementation of interpolation filters for hevc encoder
thi Tran et al. Frame rate converter with pixel-based motion vectors selection and halo reduction using preliminary interpolation
Jeong Fast sub-pixel motion estimation having lower complexity
KR20200134302A (ko) 이미지 처리 장치 및 방법
KR100946775B1 (ko) Ｈ．２６４에서의 부화소 움직임 추정을 위한 고속 움직임탐색 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant