CN113411581B - 视频序列的运动补偿方法、系统、存储介质及终端 - Google Patents

视频序列的运动补偿方法、系统、存储介质及终端 Download PDF

Info

Publication number
CN113411581B
CN113411581B CN202110719571.0A CN202110719571A CN113411581B CN 113411581 B CN113411581 B CN 113411581B CN 202110719571 A CN202110719571 A CN 202110719571A CN 113411581 B CN113411581 B CN 113411581B
Authority
CN
China
Prior art keywords
objects
original images
motion
frames
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110719571.0A
Other languages
English (en)
Other versions
CN113411581A (zh
Inventor
沈珈立
罗小伟
彭晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN202110719571.0A priority Critical patent/CN113411581B/zh
Publication of CN113411581A publication Critical patent/CN113411581A/zh
Application granted granted Critical
Publication of CN113411581B publication Critical patent/CN113411581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种视频序列的运动补偿方法、系统、介质及终端,所述方法包括:从存储器所存储的运动场景的视频序列中读取相邻两帧原始图像;计算相邻两帧原始图像中N个对象的运动矢量;根据N个对象的运动矢量,确定N个对象的压缩参数;其中,N为正整数,对象的运动矢量越大,对象的压缩参数越大;根据压缩参数,压缩相邻两帧原始图像,将压缩后的数据保存至缓存中;通过数据总线从缓存中获取压缩后的数据,对压缩后的数据进行解压缩;根据解压缩后的两帧原始图像和N个对象的运动矢量,重建相邻两帧原始图像之间的中间帧图像,本方法在实现图像运动补偿的过程中,有效降低运动补偿计算的平均带宽消耗,提高了运动补偿效率。

Description

视频序列的运动补偿方法、系统、存储介质及终端
技术领域
本发明涉及终端设备技术领域,尤其涉及一种视频序列的运动补偿方法、系统、存储介质及终端。
背景技术
目前电视内容帧率一般不超过30Hz(PAL制式电视帧率一般是25Hz,NTSC 制式是29.97Hz)。即便用60Hz/120Hz的电视,没有对应的视频还是无法达到最好的显示效果。一般情况画面通过增加重复帧改变画质,这种方法并没有给视频添加新的画面内容,运动画面的质量也没有得到真正的改变,在遇到高速运动场景时就会出现“拖影”或者“模糊”的情况。为了解决视频画面不流畅,很多厂商通过芯片和算法预估物体运动的轨迹。最终补偿出视频源中本身没有的画面,达到画面更为流畅的目的。其中,MEMC运动补偿技术是提升电视观看体验的关键技术。
传统的MEMC运动估计运动补偿算法由两个重要部分组成:运动估计 (MotionEstimation)和运动补偿(Motion Compensation)。其中运动补偿部分需要将利用原始帧和运动信息,重建出原本不存在的中间帧,但是运动补偿重建中间帧的过程需要非常大的内存带宽。目前4K甚至8K分辨率以及120Hz屏幕面板的普及,这会消耗大量的内存带宽,给整体系统带来巨大的压力。
因此,有必要提供一种新型的视频序列的运动补偿方法、系统、存储介质及终端以解决现有技术中存在的上述问题。
发明内容
本发明的目的在于提供一种视频序列的运动补偿方法、系统、存储介质及终端,在实现图像运动补偿的过程中,有效降低运动补偿计算的平均带宽消耗,提高了运动补偿效率。
第一方面,为实现上述目的,本发明的所述一种视频序列的运动补偿方法,所述方法包括:
从存储器所存储的运动场景的视频序列中读取相邻两帧原始图像;
计算所述相邻两帧原始图像中N个对象的运动矢量;
根据所述N个对象的运动矢量,确定N个对象的压缩参数;其中,N为正整数,对象的运动矢量越大,对象的压缩参数越大;
根据所述压缩参数,压缩所述相邻两帧原始图像,将压缩后的数据保存至缓存中;
通过数据总线从所述缓存中获取压缩后的数据,对所述压缩后的数据进行解压缩;
根据解压缩后的两帧原始图像和所述N个对象的运动矢量,重建所述相邻两帧原始图像之间的中间帧图像。
本发明所述的视频序列的运动补偿方法的有益效果在于:在从存储器所存储的运动场景的视频序列中读取相邻两帧原始图像后,计算所述相邻两帧原始图像中N个对象的运动矢量,根据所述N个对象的运动矢量,确定N个对象的压缩参数,后续根据压缩参数将相邻两帧原始图像压缩,并将压缩后的数据保存在缓存中,后续通过数据总线从缓存中读取压缩后的数据,并对压缩后的数据进行解压缩,后续根据解压缩后的两帧原始图像和N个对象的运动矢量,重建相邻两帧原始图像之间的中间帧图像,由于根据每一个对象的运动矢量调整压缩参数,根据压缩参数对原始图像进行压缩,既保证了图像质量,又充分降低了内存带宽的消耗。
在一些可能的实施方式中,所述计算所述相邻两帧原始图像中N个对象的运动矢量,包括:
针对N个对象的任意一个对象,执行如下处理:
确定同一对象在相邻两帧原始图像中第一位置和第二位置;
根据第一位置的坐标点和第二位置的坐标点,以及相邻两帧原始图像的时间间隔,经过运动估计得到所述对象的运动矢量。其有益效果在于:通过对象在相邻两帧原始图像中的第一位置、第二位置,以及相邻两帧原始图像的时间间隔来确定所述对象的运动矢量,保证了运动矢量计算结果的准确性,同时也便于后续根据运动矢量获取对象在中间帧图像的像素值。
在一些可能的实施方式中,所述根据所述N个对象的运动矢量,确定N个对象的压缩参数,其中,对象的运动矢量越大,对象的压缩参数越大,包括:
分别计算N个对象的运动矢量是否大于设定阈值;
确定运动矢量大于设定阈值的对象的压缩参数为第一压缩参数,确定运动矢量小于设定阈值的对象的压缩参数为第二压缩参数,其中,第二压缩参数小于第一压缩参数。其有益效果在于:对于运动矢量大于设定阈值的对象,判断其运动程度剧烈,因此将该对象的压缩参数设置的更大,而对于运动矢量小于设定阈值的对象,判断其运动程度不剧烈,将该对象的压缩参数设置的更小,从而便于根据对象的运动剧烈程度对压缩参数进行动态调整,在压缩数据的同时,有效保证图像质量。
在一些可能的实施方式中,根据解压缩后的两帧原始图像和所述N个对象的运动矢量,重建所述相邻两帧原始图像之间的中间帧图像,包括:
针对N个对象的第一对象,所述第一对象为所述N个对象中的任意一个对象,执行如下处理:根据解压缩后的两帧原始图像中第一对象的运动矢量和所述第一对象在所述两帧原始图像中的第一原始图像的第一坐标点,计算出所述第一对象在所述两帧原始图像中的第二原始图像的第二坐标点;根据所述第一坐标点从所述第一原始图像获取第一参考像素值,根据所述第二坐标点从所述第二原始图像中获取第二参考像素值;根据所述第一参考像素值和所述第二参考像素值,以及中间帧的时间参数,计算得到所述第一对象的中间帧像素值;
根据N个对象的中间帧像素值,重建出中间帧图像。
在一些可能的实施方式中,所述中间帧图像至少为两帧。
第二方面,本发明还公开了一种视频序列的运动补偿系统,所述系统包括:
原始图像获取模块,用于从存储器所存储的运动场景的视频序列中读取相邻两帧原始图像;
矢量计算模块,用于计算所述相邻两帧原始图像中N个对象的运动矢量;
压缩参数确定模块,用于根据所述N个对象的运动矢量,确定N个对象的压缩参数;其中,N为正整数,对象的运动矢量越大,对象的压缩参数越大;
数据压缩模块,用于根据所述压缩参数,压缩所述相邻两帧原始图像,将压缩后的数据保存至缓存中;
数据解压缩模块,用于通过数据总线从所述缓存中获取压缩后的数据,对所述压缩后的数据进行解压缩;
图像重建模块,用于根据解压缩后的两帧原始图像和所述N个对象的运动矢量,重建所述相邻两帧原始图像之间的中间帧图像。
本发明所述的视频序列的运动补偿系统的有益效果在于:原始图像获取模块在从存储器所存储的运动场景的视频序列中读取相邻两帧原始图像后,矢量计算模块计算所述相邻两帧原始图像中N个对象的运动矢量,压缩参数确定模块根据所述N个对象的运动矢量,确定N个对象的压缩参数,后续数据压缩模块根据压缩参数将相邻两帧原始图像压缩,并将压缩后的数据保存在缓存中,后续数据解压缩模块通过数据总线从缓存中读取压缩后的数据,并对压缩后的数据进行解压缩,图像重建模块根据解压缩后的两帧原始图像和N个对象的运动矢量,重建相邻两帧原始图像之间的中间帧图像,由于根据每一个对象的运动矢量调整压缩参数,根据压缩参数对原始图像进行压缩,既保证了图像质量,又充分降低了内存带宽的消耗。
第三方面,本申请实施例提供一种终端设备,包括处理器和存储器。其中,存储器用于存储一个或多个计算机程序;当存储器存储的一个或多个计算机程序被处理器执行时,使得该终端设备能够实现上述第二方面的任意一种可能的设计的方法。
第四方面,本申请实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得所述电子设备执行上述任一方面的任意一种可能的设计的方法。
第五方面,本申请实施例还提供一种包含计算机程序产品,当所述计算机程序产品在终端上运行时,使得所述电子设备执行上述任一方面的任意一种可能的设计的方法。
第六方面,本申请实施例还提供一种芯片或芯片模组,芯片或芯片模组与存储器耦合,用于执行所述存储器中存储的计算机程序,使得所述电子设备执行上述任一方面的任意一种可能的设计的方法。
关于上述第二方面至第六方面的有益效果可以参见上述第一方面中的描述。
附图说明
图1为本发明实施例提供的一种视频序列的运动补偿方法的流程图;
图2为本发明实施例提供的一种在运动补偿过程中生成中间帧的过程示意图;
图3为本发明实施例提供的一种视频序列的运动补偿方法在相邻两帧原始图像上计算中间帧上的像素值的原理图;
图4为本发明实施例提供的一种视频序列的运动补偿方法的执行过程示意图;
图5为本发明实施例提供的一种视频序列的运动补偿系统的结构框图;
图6为本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。除非另外定义,此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。
在详细介绍本发明实施例之前,以下先对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
1、运动估计(Motion Estimation),是视频编码和视频处理(例如去交织)中广泛使用的一种技术,其基本思想是将图像序列的每一帧分成许多互不重叠的宏块,并认为宏块内所有像素的位移量都相同,然后对每个宏块到参考帧某一给定特定搜索范围内根据一定的匹配准则找出与当前块最相似的块,即匹配块,匹配块与当前块的相对位移即为运动矢量。视频压缩的时候,只需保存运动矢量和残差数据就可以完全恢复出当前块。
2、运动补偿(Motion Compensation),是一种描述相邻帧(相邻在这里表示在编码关系上相邻,在播放顺序上两帧未必相邻)差别的方法,具体来说是描述前面一帧的每个小块怎样移动到当前帧中的某个位置去,这种方法经常被视频压缩/视频编解码器用来减少视频序列中的空域冗余。它也可以用来进行去交织(deinterlacing)与以及运动插值(motion interpolation)的操作,一般通过利用原始帧和运动信息,重建出原本不存在的中间帧。
3、视频图像流畅度的度量单位是每秒显示的帧数(Frame per Second),单位为赫兹(Hz),如果视频的播放帧率大于16Hz,人眼就会看到连续的动画,帧率越高,画面越流畅,人的视觉体验越好。
针对现有技术存在的问题,本发明的实施例提供了一种视频序列的运动补偿方法,所述方法包括如下步骤:
S101、从存储器所存储的运动场景的视频序列中读取相邻两帧原始图像。
在存储器存储的视频序列中,从所述视频序列中读取出相邻两帧原始图像,从而便于后续对相邻两帧原始图像进行运动补偿,通过运动补偿以得到重建后的中间帧图像,从而使得相邻两帧原始图像在显示的时候通过中间帧图像进行过度,提高视频显示效果,减少模糊或者拖影的情况出现。
S102、计算所述相邻两帧原始图像中N个对象的运动矢量。
在一些实施例中,所述对象由所述原始图像中的像素点组成,既可以是由单个像素点组成,又可以是由多个像素点组成的像素块,还可以是原始图像中的人物、风景、建筑等组成,具体根据实际情况选择合适的对象,以满足不同运动场景下的使用需求。
在本实施例中,所述对象为原始图像中多个像素点组成的像素块,所述N 个对象共同组成所述原始图像。
在又一些实施例中,所述计算所述相邻两帧原始图像中N个对象的运动矢量,包括:
针对N个对象的任意一个对象,执行如下处理:
确定同一对象在相邻两帧原始图像中第一位置和第二位置;
根据第一位置的坐标点和第二位置的坐标点,以及相邻两帧原始图像的时间间隔,经过运动估计得到所述对象的运动矢量。
在确定所述原始图像中的N个对象之后,在计算每一个对象的运动矢量的过程中,首先确定需要计算的对象,然后获取选择的对象在所述相邻两帧原始图像中的第一位置和第二位置,将相邻两帧原始图像分别记为第一帧图像、第二帧图像,则第一位置为所述对象在第一帧图像中的位置,第二位置为所述对象在第二帧图像中的位置。
进一步的,所述对象的第一位置和第二位置均通过坐标系上的坐标表示,而在计算得到对象的第一位置和第二位置之后,根据第一帧图像和第二帧图像之间的时间间隔,就可以计算得到所述对象的运动矢量,以便于后续根据运动矢量判断对象的运动剧烈程度。
需要说明的是,在本实施例中,所述对象的运动矢量的计算过程为现有技术的内容,其目的是为了根据所述运动矢量判断所述对象的运动剧烈程度,但是本方案不限于通过上述方式获取对象的运动矢量,任何能够获取原始图像上对象的运动矢量的方式均可以应用于本申请方案,此处不再赘述。
S103、根据所述N个对象的运动矢量,确定N个对象的压缩参数;其中, N为正整数,对象的运动矢量越大,对象的压缩参数越大。
图2为运动补偿生成中间帧的过程示意图,如图2所示,两个相邻的原始图像分别记为原始帧1和原始帧2,根据原始帧1和原始帧2将原始帧内对象的运动轨迹重建出来,图中的矩形和椭圆形,在原始帧1和原始帧2中,椭圆从左下角移动到右上角,而左上角的矩形始终保持静止,重建帧中该物体还是保持在原位,由此可见,图中的椭圆,运动速度快,运动程度剧烈,这种高速运动的物体本身在拍摄过程中就丢失了很多信息,人眼难以分辨其中的细节,故而这部分画质对主观质量影响不大,可以适当降低重建帧中高速运动对象的图像质量;而对于图中的矩形,相当于处于静止状态,没有过多变化,运动状态不剧烈,而对画面中静止的人物和背景都含有丰富的细节,对于这部分的细节不能降低太多,需要保证图像的质量,因此需要保证重建帧中相对静止对象的图像质量。
因此,在确定每一个对象的运动矢量的过程中,如果所述对象的运动矢量越大,则表示所述对象的运动程度越剧烈,在压缩的时候不需要过多考虑图像质量,因此所述对象的压缩参数需要设置的更大,从而对该对象的图像数据进行更大压缩率的压缩;而如果对象的运动矢量越小,则表示对象的运动程度越小,在压缩的时候需要保证图像质量,因此该对象的压缩参数需要设置的更小,从而对该对象的图像数据进行更小压缩率的压缩。
S104、根据所述压缩参数,压缩所述相邻两帧原始图像,将压缩后的数据保存至缓存中。
在上述压缩过程中,具体对所述相邻两帧原始图像中的N个对象进行压缩,由于N个对象中的每一个对象都对应其本身的运动矢量,根据其运动矢量可以确定其压缩参数,在进行压缩的时候,根据每一个对象的压缩参数对对象进行单独压缩,以得到不同对象的压缩数据,保证不同对象以不同的压缩率进行压缩,从而在压缩过程中,在保证图像压缩质量的同时,有效减小图像数据在传输过程中带来的内存带宽消耗,提高终端内部处理器的运行效率。
S105、通过数据总线从所述缓存中获取压缩后的数据,对所述压缩后的数据进行解压缩。
需要说明的是,在上述解压缩的过程中,由于压缩后的数据是不同对象压缩后的数据,在解压缩的时候,根据不同对象的压缩参数对所述对象进行解压缩,以确保得到正确的数据,其中,解压缩后得到的数据就是相邻两帧原始图像的数据。
S106、根据解压缩后的两帧原始图像和所述N个对象的运动矢量,重建所述相邻两帧原始图像之间的中间帧图像。
通过重建出在相邻两帧原始图像之间的中间帧图像,使得视频在播放的时候帧率更高,画面更加流畅,有效减少视频播放的时候出现模糊或者拖影的情况。
在一些实施例中,根据解压缩后的两帧原始图像和所述N个对象的运动矢量,重建所述相邻两帧原始图像之间的中间帧图像,包括:
针对N个对象的第一对象,所述第一对象为所述N个对象中的任意一个对象,执行如下处理:根据解压缩后的两帧原始图像中第一对象的运动矢量和所述第一对象在所述两帧原始图像中的第一原始图像的第一坐标点,计算出所述第一对象在所述两帧原始图像中的第二原始图像的第二坐标点;根据所述第一坐标点从所述第一原始图像获取第一参考像素值,根据所述第二坐标点从所述第二原始图像中获取第二参考像素值;根据所述第一参考像素值和所述第二参考像素值,以及中间帧的时间参数,计算得到所述第一对象的中间帧像素值;
根据N个对象的中间帧像素值,重建出中间帧图像。
具体的,在确定当前需要处理的对象之后,记为第一对象,相邻两帧原始图像分别记为第一原始图像和第二原始图像,根据第一对象的运动矢量和第一对象在第一原始图像中的第一坐标点,即可计算出第一对象在第二原始图像中的第二坐标点,之后根据第一坐标点从第一原始图像中获取第一对象的第一参考像素值,根据第二坐标点从第二原始图像中获取第二对象的第二参考像素值,就可以获得第一对象在第一原始图像和第二原始图像的像素值,之后根据需要重建的中间帧的时间参数、第一参考像素值、第二参考像素值,通过加权平均的方式就可以得到第一对象在中间帧上插值的像素值。
而根据N个对象在中间帧上的像素值,就可以重构出整个中间帧图像,以便于将中间帧图像插入到相邻两帧原始图像之间,完成图像的运动补偿,使得视频播放的时候更加流畅。
具体的,图3为在相邻两帧原始图像上计算中间帧上的像素值的原理图,如图3所示,第一原始图像记为帧F(x,y,t),第二原始图像记为帧F(x,y,t+T),第一原始图像和第二原始图像中间的中间图像记为差值帧F(x,y,t+αT),帧 F(x,y,t)和帧F(x,y,t+T)之间的时间间隔为T,所述帧F(x,y,t)和帧F(x,y,t+T)之间的中间帧的时间参数为α,将运动的对象设置为单个像素点,在第一原始图像中记为像素点A,在第二原始图像中记为像素点B,在第一原始图像帧F(x,y,t) 中的像素点A经过时间间隔T之后运动到第二原始图像F(x,y,t+T)中的像素点 B。
然后经过运动估计之后,即可计算得到像素点A和像素点B之间的运动矢量V(Vx,Vy),为了求解出像素点A和像素点B在差值帧上的待插补点,采用对像素点A和像素点B进行加权平均的方式计算。具体的,根据像素点A的坐标A(xa,ya)和运动矢量V(Vx,Vy),计算出像素点B的坐标B(xb,yb)=(Vx+xa, Vy+ya),之后根据像素点A和B的坐标分别从帧F(x,y,t)和帧F(x,y,t+T)中取回对应的像素值,之后利用取回的A和B的像素值,结合时间参数就可以计算出插值补点在差值帧F(x,y,t+αT)上的像素值。
而在计算得到原始图像上对象在中间帧图像的像素值之后,将N个对象的像素值组合在一起,就可以得到完整的中间帧图像,将中间帧图像插在第一原始图像和第二原始图像之间,即可完成图像的运动估计。
由于上述计算过程为现有技术的内容,本申请方案不涉及对其计算过程的改进,故此处不再赘述。
在一些实施例中,所述根据所述N个对象的运动矢量,确定N个对象的压缩参数,其中,对象的运动矢量越大,对象的压缩参数越大,包括:
分别计算N个对象的运动矢量是否大于设定阈值;
确定运动矢量大于设定阈值的对象的压缩参数为第一压缩参数,确定运动矢量小于设定阈值的对象的压缩参数为第二压缩参数,其中,第二压缩参数小于第一压缩参数。
在根据对象的运动矢量确定对象的压缩参数的过程中,当对象的运动矢量大于设定阈值,则将对象的压缩参数设置为第一压缩参数,而如果对象的运动矢量小于或等于设定阈值,则将对象的压缩参数设置为第二压缩参数,其中第一压缩参数大于第二压缩参数,也就是将运动矢量较大的对象的压缩参数设置的比运动矢量较小的对象的压缩参数更大,从而使得运动矢量较大的对象能够被压缩的更多,而运动矢量较小的对象则被压缩的更少,从而有效保证原始图像的不同对象的数据在被压缩之后,既保证了压缩率,又保证了压缩后的图像质量。
具体的,上述方法的具体执行过程如图4所示,通过上述方法,在根据运动矢量对原始帧数据进行压缩之后,对压缩后的压缩数据进行解压缩,即可得到解压缩后的原始帧数据,之后经过处理器内部的运动补偿模块进行运动补偿,即可得到重建之后的重建帧图像,将重建帧图像插入到原始帧图像至今,即可得到运动补偿之后的完整图像。
在一些实施例中,所述中间帧图像至少为两帧,通过设置多针中间帧图像,使得经过运动补偿之后的原始图像在播放时更加流畅。
通过本发明实施例的方法,根据对象的运动矢量自适应调整对象的压缩参数,在运动剧烈的区域使用高压缩参数(或者高压缩率),降低带宽消耗;静止和缓慢运动区域使用较低的低压缩参数(或者低压缩率),保证图像质量,从而在保证图像质量的前提下,降低了系统在运动补偿环节的平均带宽,
本发明还公开了一种视频序列的运动补偿系统,如图5所示,所述系统包括:
原始图像获取模块501,用于从存储器所存储的运动场景的视频序列中读取相邻两帧原始图像;
矢量计算模块502,用于计算所述相邻两帧原始图像中N个对象的运动矢量;
压缩参数确定模块503,用于根据所述N个对象的运动矢量,确定N个对象的压缩参数;其中,N为正整数,对象的运动矢量越大,对象的压缩参数越大;
数据压缩模块504,用于根据所述压缩参数,压缩所述相邻两帧原始图像,将压缩后的数据保存至缓存中;
数据解压缩模块505,用于通过数据总线从所述缓存中获取压缩后的数据,对所述压缩后的数据进行解压缩;
图像重建模块506,用于根据解压缩后的两帧原始图像和所述N个对象的运动矢量,重建所述相邻两帧原始图像之间的中间帧图像。
需要说明的是,上述视频序列的运动补偿系统的结构及原理与上述视频序列的运动补偿方法中的步骤一一对应,故在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,选择模块可以为单独设立的处理元件,也可以集成在上述系统的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述系统的存储器中,由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称 ASIC),或,一个或多个数字信号处理器(Digital Signal Processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称 FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(Central Processing Unit,简称 CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(System-On-a-Chip,简称SOC)的形式实现。
本发明进一步提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法。
所述存储介质包括:只读存储器(Read-Only Memory,ROM)、随机访问存储器(Random Access Memory,RAM)、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
本发明还公开了一种终端,包括:处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行上述的方法。
本申请实施例公开了一种终端设备,如图6所示,该终端设备可以包括:一个或多个处理器601;存储器602;显示器603、缓存606;一个或多个应用程序(未示出);以及一个或多个计算机程序604,上述各器件可以通过一个或多个通信总线605连接。其中该一个或多个计算机程序604被存储在上述存储器602中并被配置为被该一个或多个处理器601执行,该一个或多个计算机程序604包括指令,上述指令可以用于执行上述方法及相应实施例中的各个步骤。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请实施例的具体实施方式,但本申请实施例的保护范围并不局限于此,任何在本申请实施例揭露的技术范围内的变化或替换,都应涵盖在本申请实施例的保护范围之内。因此,本申请实施例的保护范围应以所述权利要求的保护范围为准。
虽然在上文中详细说明了本发明的实施方式,但是对于本领域的技术人员来说显而易见的是,能够对这些实施方式进行各种修改和变化。但是,应理解,这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且,在此说明的本发明可有其它的实施方式,并且可通过多种方式实施或实现。

Claims (8)

1.一种视频序列的运动补偿方法,其特征在于,所述方法包括:
从存储器所存储的运动场景的视频序列中读取相邻两帧原始图像;
计算所述相邻两帧原始图像中N个对象的运动矢量;
根据所述N个对象的运动矢量,确定N个对象的压缩参数;其中,N为正整数,对象的运动矢量越大,对象的压缩参数越大;
根据所述压缩参数,压缩所述相邻两帧原始图像,将压缩后的数据保存至缓存中;
通过数据总线从所述缓存中获取压缩后的数据,对所述压缩后的数据进行解压缩;
根据解压缩后的两帧原始图像和所述N个对象的运动矢量,重建所述相邻两帧原始图像之间的中间帧图像。
2.根据权利要求1所述的方法,其特征在于,所述计算所述相邻两帧原始图像中N个对象的运动矢量,包括:
针对N个对象的任意一个对象,执行如下处理:
确定同一对象在相邻两帧原始图像中第一位置和第二位置;
根据第一位置的坐标点和第二位置的坐标点,以及相邻两帧原始图像的时间间隔,经过运动估计得到所述对象的运动矢量。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述N个对象的运动矢量,确定N个对象的压缩参数,其中,对象的运动矢量越大,对象的压缩参数越大,包括:
分别计算N个对象的运动矢量是否大于设定阈值;
确定运动矢量大于设定阈值的对象的压缩参数为第一压缩参数,确定运动矢量小于设定阈值的对象的压缩参数为第二压缩参数,其中,第二压缩参数小于第一压缩参数。
4.根据权利要求1或2所述的方法,其特征在于,根据解压缩后的两帧原始图像和所述N个对象的运动矢量,重建所述相邻两帧原始图像之间的中间帧图像,包括:
针对N个对象的第一对象,所述第一对象为所述N个对象中的任意一个对象,执行如下处理:根据解压缩后的两帧原始图像中第一对象的运动矢量和所述第一对象在所述两帧原始图像中的第一原始图像的第一坐标点,计算出所述第一对象在所述两帧原始图像中的第二原始图像的第二坐标点;根据所述第一坐标点从所述第一原始图像获取第一参考像素值,根据所述第二坐标点从所述第二原始图像中获取第二参考像素值;根据所述第一参考像素值和所述第二参考像素值,以及中间帧的时间参数,计算得到所述第一对象的中间帧像素值;
根据N个对象的中间帧像素值,重建出中间帧图像。
5.根据权利要求4所述的方法,其特征在于,所述中间帧图像至少为两帧。
6.一种视频序列的运动补偿系统,其特征在于,所述系统包括:
原始图像获取模块,用于从存储器所存储的运动场景的视频序列中读取相邻两帧原始图像;
矢量计算模块,用于计算所述相邻两帧原始图像中N个对象的运动矢量;
压缩参数确定模块,用于根据所述N个对象的运动矢量,确定N个对象的压缩参数;其中,N为正整数,对象的运动矢量越大,对象的压缩参数越大;
数据压缩模块,用于根据所述压缩参数,压缩所述相邻两帧原始图像,将压缩后的数据保存至缓存中;
数据解压缩模块,用于通过数据总线从所述缓存中获取压缩后的数据,对所述压缩后的数据进行解压缩;
图像重建模块,用于根据解压缩后的两帧原始图像和所述N个对象的运动矢量,重建所述相邻两帧原始图像之间的中间帧图像。
7.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法。
8.一种终端,其特征在于,包括:处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行权利要求1至5中任一项所述的方法。
CN202110719571.0A 2021-06-28 2021-06-28 视频序列的运动补偿方法、系统、存储介质及终端 Active CN113411581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110719571.0A CN113411581B (zh) 2021-06-28 2021-06-28 视频序列的运动补偿方法、系统、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110719571.0A CN113411581B (zh) 2021-06-28 2021-06-28 视频序列的运动补偿方法、系统、存储介质及终端

Publications (2)

Publication Number Publication Date
CN113411581A CN113411581A (zh) 2021-09-17
CN113411581B true CN113411581B (zh) 2022-08-05

Family

ID=77679829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110719571.0A Active CN113411581B (zh) 2021-06-28 2021-06-28 视频序列的运动补偿方法、系统、存储介质及终端

Country Status (1)

Country Link
CN (1) CN113411581B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040203A (zh) * 2021-11-26 2022-02-11 京东方科技集团股份有限公司 视频数据处理方法、装置、设备和计算机存储介质
CN115547261A (zh) * 2022-09-20 2022-12-30 福州大学 一种彩色电润湿电子纸视频画质动态补偿方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0227570D0 (en) * 2002-11-26 2002-12-31 British Telecomm Method and system for estimating global motion in video sequences
CN102017626A (zh) * 2008-04-25 2011-04-13 汤姆森许可贸易公司 编码和解码方法、编码器和解码器
JP2012165279A (ja) * 2011-02-08 2012-08-30 Jvc Kenwood Corp 画像復号装置、画像復号方法および画像復号プログラム
JP2013531290A (ja) * 2011-09-27 2013-08-01 ▲ホア▼▲ウェイ▼技術有限公司 モーフィングアニメーションを生成するための方法および装置
CN107027029A (zh) * 2017-03-01 2017-08-08 四川大学 基于帧率变换的高性能视频编码改进方法
CN112770113A (zh) * 2019-11-05 2021-05-07 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0227570D0 (en) * 2002-11-26 2002-12-31 British Telecomm Method and system for estimating global motion in video sequences
CN102017626A (zh) * 2008-04-25 2011-04-13 汤姆森许可贸易公司 编码和解码方法、编码器和解码器
JP2012165279A (ja) * 2011-02-08 2012-08-30 Jvc Kenwood Corp 画像復号装置、画像復号方法および画像復号プログラム
JP2013531290A (ja) * 2011-09-27 2013-08-01 ▲ホア▼▲ウェイ▼技術有限公司 モーフィングアニメーションを生成するための方法および装置
CN107027029A (zh) * 2017-03-01 2017-08-08 四川大学 基于帧率变换的高性能视频编码改进方法
CN112770113A (zh) * 2019-11-05 2021-05-07 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Low-Rank Matrix Completion to Reconstruct Incomplete Rendering Images;Ping Liu等;《IEEE Transactions on Visualization and Computer Graphics 》;20170703;全文 *
同视域多帧视觉影像超分辨率重建技术研究;江涛;《中国博士学位论文全文数据库(电子期刊)》;20050815;全文 *

Also Published As

Publication number Publication date
CN113411581A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN113411581B (zh) 视频序列的运动补偿方法、系统、存储介质及终端
US6438275B1 (en) Method for motion compensated frame rate upsampling based on piecewise affine warping
KR100281099B1 (ko) 동영상의부호화에따른블록화현상제거방법
US10887614B2 (en) Adaptive thresholding for computer vision on low bitrate compressed video streams
US20090067509A1 (en) System And Method For Displaying A Digital Video Sequence Modified To Compensate For Perceived Blur
US20110050991A1 (en) System and method for frame rate conversion using multi-resolution temporal interpolation
JPH0670301A (ja) 画像セグメント化装置
Yuen Coding artifacts and visual distortions
JP2009516938A (ja) 動きベクトル場リタイマー
EP0733294B1 (en) Video processing method
JP7383128B2 (ja) 画像処理装置
CN101523475A (zh) 图像显示装置
US20190141332A1 (en) Use of synthetic frames in video coding
CN110392265B (zh) 帧间运动估计方法、装置、电子设备及可读存储介质
Han et al. Hybrid high dynamic range imaging fusing neuromorphic and conventional images
JP2002539657A (ja) 符号化された画像を評価するための処理、装置及び、使用
CN111524110A (zh) 视频质量的评价模型构建方法、评价方法及装置
CN111696034B (zh) 图像处理方法、装置及电子设备
CN113596450B (zh) 视频图像压缩方法、解压缩方法、处理方法及装置、设备
US20230316464A1 (en) Virtual view drawing method and apparatus, rendering method and apparatus, and decoding method and apparatus, and devices and storage medium
CN114584831B (zh) 提高视频清晰度的视频优化处理方法、装置、设备和存储介质
WO2015160485A1 (en) Fallback detection in motion estimation
JP3800435B2 (ja) 動画像信号処理装置
TW200939785A (en) Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
JP2003304537A (ja) 低ビットレートの適用のためのディジタル画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant