CN114143543A - 插帧处理方法、显示设备、介质及程序产品 - Google Patents
插帧处理方法、显示设备、介质及程序产品 Download PDFInfo
- Publication number
- CN114143543A CN114143543A CN202111435370.4A CN202111435370A CN114143543A CN 114143543 A CN114143543 A CN 114143543A CN 202111435370 A CN202111435370 A CN 202111435370A CN 114143543 A CN114143543 A CN 114143543A
- Authority
- CN
- China
- Prior art keywords
- image block
- data
- frame
- search image
- reference frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/57—Motion estimation characterised by a search window with variable size or shape
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请公开了一种插帧处理方法、显示设备、介质及程序产品。该方法包括:以待插帧图像块为基准,确定第一待写入数据的数据范围;若所述数据范围内的第一待写入数据的数据量高于指定存储区域的存储容量,则对所述第一待写入数据进行降采样处理,得到第二待写入数据;将所述第二待写入数据存储到所述指定存储区域;基于所述待插帧图像块的运动矢量从所述指定存储区域中搜索所述第一参考帧中的第一搜索图像块和所述第二参考帧中的第二搜索图像块;基于所述第一搜索图像块和所述第二搜索图像块生成所述待插帧图像块的图像内容。由此可以通过对待写入数据进行降采样处理,从而增大插帧过程中的运动补偿搜索范围,减少图像画质的损失。
Description
技术领域
本申请涉及显示设备技术领域,尤其涉及一种插帧处理方法、显示设备、介质及程序产品。
背景技术
运动估计运动补偿是目前广泛用于帧率转换中的一种技术,通过估算连续运动图像中物体的运动轨迹,再结合图像数据和得到的运动矢量,插值出中间图像帧,从而提高图像帧率,改善视频播放时的抖动拖尾等问题。
现有技术中,在插帧过程中有大量的数据需要处理,有时运动估计运动补偿得到的插帧的画质仍需要改善。
发明内容
本申请的目的是提供一种插帧处理方法、显示设备、介质及程序产品,用以解决插帧过程中的运动补偿搜索得到的画质质量仍需改善的问题。
第一方面,本申请提供一种插帧处理方法,第一参考帧和第二参考帧用于合成待合成图像帧,所述待合成图像帧中包括多个待插帧图像块,各待插帧图像块具有对应的运动矢量所述方法包括:
以待插帧图像块为基准,确定第一待写入数据的数据范围;
若所述数据范围内的第一待写入数据的数据量高于指定存储区域的存储容量,则对所述第一待写入数据进行降采样处理,得到第二待写入数据;
将所述第二待写入数据存储到所述指定存储区域;
基于所述待插帧图像块的运动矢量从所述指定存储区域中搜索所述第一参考帧中的第一搜索图像块和所述第二参考帧中的第二搜索图像块;
基于所述第一搜索图像块和所述第二搜索图像块生成所述待插帧图像块的图像内容。
在一种可能的实施方式中,所述以待插帧图像块为基准,确定第一待写入数据的数据范围,具体包括:
针对所述待插帧图像块所在的图像块组,确定所述图像块组内指定方向的中心位置,其中若所述图像块组为一行图像块则所述指定方向为像素行,若所述图像块组为一列图像块则所述指定方向为像素列;
基于所述指定方向的中心位置确定所述第一待写入数据的数据范围,所述数据范围包括第一指定范围的像素点和第二指定范围的像素点;其中所述第二指定范围的像素点距离所述中心位置的距离大于所述第一指定范围的像素点距离所述中心位置的距离。
在一种可能的实施方式中,所述对所述第一待写入数据进行降采样处理,得到第二待写入数据,具体包括:
分别对所述第一参考帧和所述第二参考帧中所述第二指定范围的像素点进行降采样处理后得到降采样数据,将所述降采样数据和所述第一指定范围的像素点作为所述第二待写入数据。
在一种可能的实施方式中,所述分别对所述第一参考帧和所述第二参考帧中所述第二指定范围的像素点进行降采样处理,具体包括:
分别对所述第一参考帧和所述第二参考帧中所述第二指定范围的像素点执行:
若所述指定方向为像素行,则对所述第二指定范围内的任意相邻多行像素点,采用求均值或加权求和的方式缩减像素行的行数;
若所述指定方向为像素列,则对所述第二指定范围内的任意相邻多列像素点,采用求均值或加权求和的方式缩减像素列的列数;
若所述指定方向包括像素行和像素列,则对所述第二指定范围内的任意相邻多行像素点,采用求均值或加权求和的方式缩减像素行,并对缩减像素行后的像素点中的多列像素点采用求均值或加权求和的方式缩减像素列的列数;或者,若所述指定方向包括像素行和像素列,则对所述第二指定范围内的任意相邻多列像素点,采用求均值或加权求和的方式缩减像素列,并对缩减像素列后的像素点中的多行像素点采用求均值或加权求和的方式缩减像素行的行数。
在一种可能的实施方式中,所述分别对所述第一参考帧和所述第二参考帧中所述第二指定范围的像素点进行降采样处理,具体包括:
分别对所述第一参考帧和所述第二参考帧,基于所述图像块组中各待插帧图像块的运动矢量,确定运动矢量等级;
基于所述运动矢量等级对应的降采样率,分别对所述第一参考帧和所述第二参考帧的所述第二指定范围的像素点进行降采样处理。
在一种可能的实施方式中,所述基于所述待插帧图像块的运动矢量从所述指定存储区域中搜索所述第一参考帧中的第一搜索图像块和所述第二参考帧中的第二搜索图像块,具体包括:
基于所述待插帧图像块的运动矢量以及所述待插帧图像块的指定方向的中心位置,获取所述第一搜索图像块的所述指定方向的中心位置和所述第二搜索图像块的所述指定方向的中心位置;
基于所述第一搜索图像块的所述指定方向的中心位置和所述第二搜索图像块的所述指定方向的中心位置,从所述指定存储区域中读取所述第一参考帧中的第一搜索图像块的数据和所述第二参考帧中的第二搜索图像块的数据。
在一种可能的实施方式中,所述基于所述第一搜索图像块的所述指定方向的中心位置和所述第二搜索图像块的所述指定方向的中心位置,从所述指定存储区域中读取所述第一参考帧中的第一搜索图像块的数据和所述第二参考帧中的第二搜索图像块的数据,具体包括:
所述第一搜索图像块的所述指定方向的中心位置和所述第二搜索图像块的所述指定方向的中心位置在所述第一指定范围时,读取所述指定存储区域中所述第一搜索图像块和所述第二搜索图像块的数据;
当所述第一搜索图像块的所述指定方向的中心位置和所述第二搜索图像块的所述指定方向的中心位置在所述第二指定范围时,基于所述降采样处理方法确定所述第一搜索图像块和所述第二搜索图像块的区域范围;基于所述第一搜索图像块的区域范围和所述第二搜索图像块的区域范围从所述指定存储区域中读取数据,并对读取的数据进行上采样操作以恢复所述第一搜索图像块的数据量和所述第二搜索图像块的数据量,使得所述第一搜索图像块的数据量和所述第二搜索图像块的数据量均与所述待插帧图像块的数据量相同。
第二方面,本申请提供一种显示设备,包括:
显示器、处理器和存储器;
所述显示器用于显示所述图像;
所述存储器,用于存储所述处理器可执行指令;
所述处理器被配置为执行所述指令以实现如上述第一方面中任一项所述的插帧处理方法。
第三方面,本申请提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由显示设备执行时,使得所述显示设备能够执行如上述第一方面中任一项所述的插帧处理方法。
第四方面,本申请提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的插帧处理方法。
本申请的实施例提供的技术方案至少带来以下有益效果:
本申请实施例提供了一种插帧处理方法、显示设备、介质及程序产品,第一参考帧和第二参考帧用于合成待合成图像帧,所述待合成图像帧中包括多个待插帧图像块,各待插帧图像块具有对应的运动矢量,通过以待插帧图像块为基准,确定第一待写入数据的数据范围;若所述数据范围内的第一待写入数据的数据量高于指定存储区域的存储容量,则对所述第一待写入数据进行降采样处理,得到第二待写入数据;将所述第二待写入数据存储到所述指定存储区域;基于所述待插帧图像块的运动矢量从所述指定存储区域中搜索所述第一参考帧中的第一搜索图像块和所述第二参考帧中的第二搜索图像块;基于所述第一搜索图像块和所述第二搜索图像块生成所述待插帧图像块的图像内容。由此可以通过对待写入数据进行降采样处理,压缩数据存储到容量有限的存储区域中来完成插帧运算,同时可以根据待插帧图像块对应的运动矢量来动态读取数据,从而增大插帧过程中的运动补偿搜索范围,以保证运动补偿获取到更多的有用信息,从而减少图像画质的损失。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,显而易见地,下面所介绍的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的坐标轴y轴方向上待插帧图像块运动的示意图;
图2为本申请实施例提供的运动补偿搜索范围的示意图;
图3为本申请实施例提供的显示设备的使用场景;
图4为本申请实施例提供的控制装置100的硬件配置框图;
图5为本申请实施例提供的显示设备200的硬件配置框图;
图6为本申请实施例提供的显示设备200中软件配置图;
图7为本申请实施例提供的一种插帧处理方法的流程示意图;
图8为本申请实施例提供的待插帧图像块的运动速度范围的示意图;
图9为本申请实施例提供的一种数据存储的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。其中,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
并且,在本申请实施例的描述中,除非另有说明,″/″表示或的意思,例如,A/B可以表示A或B;文本中的″和/或″仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,″多个″是指两个或多于两个。
以下,术语″第一″、″第二″仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有″第一″、″第二″、的特征可以明示或者隐合地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,″多个″的含义是两个或两个以上。
以下,对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
1)、运动估计运动补偿(Motion Estimation and Motion Compensation,MEMC):是目前广泛用于帧率转换中的一种技术,通过估算连续运动图像中物体的运动轨迹,再结合图像数据和得到的运动矢量,插值出中间图像,从而提高图像帧率,改善视频播放时的抖动拖尾等问题。运动估计运动补偿分为运动估计(ME)与运动补偿(MC)两部分。
2)、运动估计(ME,Motion Estimation):通过算法计算出物体运动矢量MV,物体运动矢量MV代表物体的运动位移大小。
3)、运动补偿(MC,Motion Compensation):根据MV生成新的图像帧。
4)、SRAM(静态随机存取存储器,Static Random-Access Memory)芯片:是一种置于CPU与主存间的高速缓存,加速CPU内部数据的传送。SRAM速度快,不需要刷新,但是价格高,体积大,所以不能作为用量较大的主存。
下面对运动补偿的执行流程进行介绍,以便于本领域技术人员进一步理解本申请实施例提供的技术方案。
在进行MEMC的处理过程中,待插图像帧是以图像块为单位进行处理,例如可以将分辨率大小为4K(3840x2160)的待插图像帧分成960x540个大小为4x4的图像块。根据待插帧图像块的MV得到前一帧图像中的图像块的数据和后一帧图像中的图像块的数据,再将前一帧图像中的图像块的数据和后一帧图像中的图像块的数据根据相应的混合算法得到待插帧图像块的数据,当处理完所有的待插帧图像块,就生成了新的图像帧。
其中,每个图像块对应一个在ME过程中计算得到的运动矢量MV,而每个图像块的运动矢量MV都是由x轴和y轴两个方向的位移组成的。
参照图1,为本申请实施例提供的坐标轴y轴方向上待插帧图像块运动的示意图。如图1所示,I、P分别代表I帧和P帧,为待插图像帧的前一帧图像、后一帧图像,垂直方向虚线代表待插图像帧位置,水平、垂直两根虚线交叉的位置为待插图像帧的当前处理待插帧图像块。实线1所指向的位置表示当前待插帧图像块无运动,在I、P帧中的相对位置固定,而实线2所指向的位置表示当前待插帧图像块从I帧中的上方运动到P帧中的下方,有较大的运动位移。当待插帧图像块有较大的运动位移时,需要在较大范围内搜索数据,由于存储区域的数据容量有限,则需要搜索的数据可能超过存储区域存储的数据范围。故此,本申请实施例提供了一种能够扩大搜索范围,尽可能多搜索到所需数据的方案来改善插帧图像的画质。
如图2所示,为本申请实施例提供的运动补偿搜索范围的示意图。图2所示的粗线条1和粗线条2表示存入存储区域的数据,存入的数据越多,待插帧图像块所在位置可以取值的范围越大,运动搜索范围越大。但是若存入的数据太少,当取值范围超过存储区域的数据范围时,则无法取到需要的数据,可能会导致待插帧图像的画质损失,甚至导致一部分画面缺失。例如使用SRAM存储前一帧图像和后一帧图像的数据,但是SRAM的空间资源有限且存的是整行数据,当待插帧图像块左右运动时,无论运动位移有多大,SRAM中始终都能取到对应数据。而当待插帧图像块上下运动时,运动补偿搜索范围就受限于存入SRAM数据的行数,行数存的越多,搜索范围越大;行数存的越少,搜索范围越少,当取值范围超出SRAM中存的数据行时,就会无法取到需要的数据,会导致数据缺失。
相关技术中,在插帧过程中有大量的数据需要处理,但是插帧过程中的运动补偿搜索范围有限,可能导致不能完整的存取数据,会增大图像画质的损失。
有鉴于此,本申请提出了一种插帧处理方法、显示设备、介质及程序产品,用以解决插帧过程中的运动补偿搜索得到的画质质量仍需改善的问题。
本申请的发明构思可概括为:本申请中第一参考帧和第二参考帧用于合成待合成图像帧,所述待合成图像帧中包括多个待插帧图像块,各待插帧图像块具有对应的运动矢量,通过以待插帧图像块为基准,确定第一待写入数据的数据范围;若所述数据范围内的第一待写入数据的数据量高于指定存储区域的存储容量,则对所述第一待写入数据进行降采样处理,得到第二待写入数据;将所述第二待写入数据存储到所述指定存储区域;基于所述待插帧图像块的运动矢量从所述指定存储区域中搜索所述第一参考帧中的第一搜索图像块和所述第二参考帧中的第二搜索图像块;基于所述第一搜索图像块和所述第二搜索图像块生成所述待插帧图像块的图像内容。由此可以通过对待写入数据进行降采样处理,压缩了数据存储到容量有限的存储区域中来完成插帧运算,同时可以根据待插帧图像块对应的运动矢量来动态读取数据,从而增大插帧过程中的运动补偿搜索范围,以保证运动补偿获取到更多的有用信息,从而减少图像画质的损失。
在介绍完本申请的发明构思之后,下面先对本申请提供的显示设备的使用场景进行说明。图3为本申请实施例提供的显示设备的使用场景的示意图。如图3所示,显示设备200还与服务器400进行数据通信,用户可通过智能设备300或控制装置100操作显示设备200。
在一些实施例中,控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信,及其他短距离通信方式中的至少一种,通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令,来控制显示设备200。
在一些实施例中,智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑,AR/VR设备等中的任意一种。
在一些实施例中,也可以使用智能设备300以控制显示设备200。例如,使用在智能设备上运行的应用程序控制显示设备200。
在一些实施例中,也可以使用智能设备300和显示设备进行数据的通信。
在一些实施例中,显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制,例如,可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制,也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
在一些实施例中显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。
在一些实施例中,一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的,服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行,反之亦然。
图4为本申请实施例提供的控制装置100的配置框图。如图4所示,控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。
在一些实施例中,通信接口130用于和外部通信,包含WIFI芯片,蓝牙模块,NFC或可替代模块中的至少一种。
在一些实施例中,用户输入/输出接口140包含麦克风,触摸板,传感器,按键或可替代模块中的至少一种。
下面以显示设备200为例对实施例进行具体说明。应该理解的是,图5所示显示设备200仅是一个范例,并且显示设备200可以具有比图5中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
图5为本申请实施例提供的显示设备200的硬件配置框图。
在一些实施例中,显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一些实施例中控制器包括中央处理器,视频处理器,音频处理器,图形处理器,RAM,ROM,用于输入/输出的第一接口至第n接口。
在一些实施例中,显示器260包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件,用于接收源自控制器输出的图像信号,进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。
在一些实施例中,显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种,还可以为一种投影装置和投影屏幕。
在一些实施例中,调谐解调器210通过有线或无线接收方式接收广播电视信号,以及从多个无线或有线广播电视信号中解调出音视频信号,如以及EPG数据信号。
在一些实施例中,通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括Wifi模块,蓝牙模块,有线以太网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
在一些实施例中,检测器230用于采集外部环境或与外部交互的信号。例如,检测器230包括光接收器,用于采集环境光线强度的传感器;或者,检测器230包括图像采集器,如摄像头,可以用于采集外部环境场景、用户的属性或用户交互手势,再或者,检测器230包括声音采集器,如麦克风等,用于接收外部声音。
在一些实施例中,外部装置接口240可以包括但不限于如下:高清多媒体接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。
在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器260上显示UI对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中,所述对象可以是可选对象中的任何一个,例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有:显示连接到超链接页面、文档、图像等操作,或者执行与所述图标相对应程序的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit,CPU),视频处理器,音频处理器,图形处理器(Graphics Processing Unit,GPU),RAM RandomAccessMemory,RAM),ROM(Read-Only Memory,ROM),用于输入/输出的第一接口至第n接口,通信总线(Bus)等中的至少一种。
CPU处理器。用于执行存储在存储器中操作系统和应用程序指令,以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。CPU处理器,可以包括多个处理器。如,包括一个主处理器以及一个或多个子处理器。
在一些实施例中,图形处理器,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象;还包括渲染器,对基于运算器得到的各种对象,进行渲染,上述渲染后的对象用于显示在显示器上。
在一些实施例中,视频处理器,用于将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种,可得到直接可显示设备200上显示或播放的信号。
在一些实施例中,视频处理器,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中,解复用模块,用于对输入音视频数据流进行解复用处理。视频解码模块,用于对解复用后的视频信号进行处理,包括解码和缩放处理等。图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。帧率转换模块,用于对转换输入视频帧率。显示格式化模块,用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的信号,如输出RGB数据信号。
在一些实施例中,音频处理器,用于接收外部的音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理中的至少一种,得到可以在扬声器中播放的声音信号。
在一些实施例中,用户可在显示器260上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
在一些实施例中,″用户界面″,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。
在一些实施例中,用户接口280,为可用于接收控制输入的接口(如:显示设备本体上的实体按键,或其他等)。
在一些实施例中,显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构,它们让用户可以管理文件、运行程序并使用系统。上电后,内核启动,激活内核空间,抽象硬件、初始化硬件参数等,运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后,再加载Shell和用户应用程序。应用程序在启动后被编译成机器码,形成一个进程。
参见图6,在一些实施例中,将系统分为四层,从上至下分别为应用程序(Applications)层(简称″应用层″),应用程序框架(Appiication Framework)层(简称″框架层″),安卓运行时(Android runtime)和系统库层(简称″系统运行库层″),以及内核层。
在一些实施例中,应用程序层中运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等;也可以是第三方开发者所开发的应用程序。在具体实施时,应用程序层中的应用程序包不限于以上举例。
框架层为应用程序层的应用程序提供应用编程接口(application programminginterface,API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心,这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口,可在执行中访问系统中的资源和取得系统的服务。
如图6所示,本申请实施例中应用程序框架层包括管理器(Managers),内容提供者(Content Provider)等,其中管理器包括以下模块中的至少一个:活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互;位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问;文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息;通知管理器(NotificationManager)用于控制通知消息的显示和清除;窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中,活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能,比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序,比如获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕,控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
在一些实施例中,系统运行库层为上层即框架层提供支撑,当框架层被使用时,安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。
在一些实施例中,内核层是硬件和软件之间的层。如图6所示,内核层至少包含以下驱动中的至少一种:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器,温度传感器,压力传感器等)、以及电源驱动等。
为进一步说明本申请实施例提供的技术方案,下面结合附图以及具体实施方式对此进行详细的说明。
参考图7为本申请实施例提供的一种插帧处理方法的流程示意图。如图7所示,该方法中第一参考帧和第二参考帧用于合成待合成图像帧,所述待合成图像帧中包括多个待插帧图像块,各待插帧图像块具有对应的运动矢量,该方法包括以下步骤:
在步骤701中,以待插帧图像块为基准,确定第一待写入数据的数据范围。
在一种可能的实施方式中,为了增加确定第一待写入数据的数据范围的处理效率,本申请中引入图像块组,一行图像块为一个图像块组或一列图像块为一个图像块组,然后以图像块组为单位获取用于插帧处理的数据范围。可实施为以待插帧图像块为基准,确定第一待写入数据的数据范围,可以通过针对所述待插帧图像块所在的图像块组,确定所述图像块组内指定方向的中心位置,并基于所述指定方向的中心位置确定所述第一待写入数据的数据范围。
其中若所述图像块组为一行图像块则所述指定方向为像素行,若所述图像块组为一列图像块则所述指定方向为像素列。其中所述数据范围包括第一指定范围的像素点和第二指定范围的像素点。其中所述第二指定范围的像素点距离所述中心位置的距离大于所述第一指定范围的像素点距离所述中心位置的距离。示例性的,假设以一行图像块为一个图像块组,则可以将大小为4x4的待插帧图像块所在行的中间位置定义为中心位置,即将待插帧图像块的第二行底部,第三行顶部作为图像块组的中心位置,然后以此为中心确定第一待写入数据的数据范围,例如可以以此为中心上下各取50行的数据作为第一指定范围的待写入数据,然后取上下51-220行的数据作为第二指定范围的待写入数据用于进行降采样后存储到指定存储区域(如SRAM)。
其中,处理同一个图像块组中的图像块时,不需要更新第一待写入数据的数据范围,当处理完同一图像块组的所有图像块,再更新指定存储区域中的数据,也即将另一行图像块作为一个图像块组,以新的图像块组为基准确定中心位置,确定第一待写入数据的数据范围并写入指定存储区域中。
由此可以直接将一行图像块作为一个图像块组,每次同时处理一行图像块的数据,加快了确定第一待写入数据的数据范围的处理效率。
在步骤702中,若所述数据范围内的第一待写入数据的数据量高于指定存储区域的存储容量,则对所述第一待写入数据进行降采样处理,得到第二待写入数据。
在一种可能的实施方式中,若物体静止或运动速度较小时,其细节容易被观察到,当物体运动速度较大时,其细节将难以被观察到,因此可以静止或运动速度较小的待插帧图像块的数据直接存入指定存储区域,将运动速度较大的待插帧图像块的数据经过降采样处理,保证运动速度较大的待插帧图像块较大搜索范围的情况下,最大程度减少了画质的损失。
因此本申请中对所述第一待写入数据进行降采样处理,得到第二待写入数据,包括分别对所述第一参考帧和所述第二参考帧中所述第二指定范围的像素点进行降采样处理后得到降采样数据,将所述降采样数据和所述第一指定范围的像素点作为所述第二待写入数据,即第二指定范围中的数据为运动速度较大的图像块的数据。
其中,所述第一待写入数据中第一指定范围的像素点为图像块的原始数据,不需要经过降采样处理,第二指定范围的像素点为需要经过降采样处理的数据用于存储处理后的数据。
示例性的,如图8所示,为本申请实施例提供的待插帧图像块的运动速度范围的示意图。水平虚线表示待插帧图像块与前一帧图像块、后一帧图像块处在同一位置,即待插帧图像块静止,两个斜线分别表示向上和向下两个运动方向。斜线斜率越大,待插帧图像块的运动矢量越大,在两帧之间时间固定的情况下,待插帧图像块的运动速度就越大。当取到第一指定范围的数据时说明待插帧图像块的运动速度较小,当取到第二指定范围的数据时说明待插帧图像块的运动速度较大,如果将此区域图像的数据进行降采样处理,就能保证运动速度大的待插帧图像块降采样处理,从而增大运动补偿搜索范围。
其中,待插帧图像块的运动速度可以用运动矢量表示,在两帧之间时间固定的情况下运动矢量越大,运动速度越大,运动矢量越小,运动速度越小。
由此,对第二指定范围中的数据进行降采样处理,保证了指定存储区域中可以存储更多的数据,增大了运动速度较大的待插帧图像块的运动补偿搜索范围。
在一种可能的实施方式中,本申请分别对所述第一参考帧和所述第二参考帧中所述第二指定范围的像素点进行降采样处理,可以分别对所述第一参考帧和所述第二参考帧中所述第二指定范围的像素点执行:
若所述指定方向为像素行,则对所述第二指定范围内的任意相邻多行像素点,采用求均值或加权求和的方式缩减像素行的行数;
若所述指定方向为像素列,则对所述第二指定范围内的任意相邻多列像素点,采用求均值或加权求和的方式缩减像素列的列数;
若所述指定方向包括像素行和像素列,则对所述第二指定范围内的任意相邻多行像素点,采用求均值或加权求和的方式缩减像素行,并对缩减像素行后的像素点中的多列像素点采用求均值或加权求和的方式缩减像素列的列数;或者,若所述指定方向包括像素行和像素列,则对所述第二指定范围内的任意相邻多列像素点,采用求均值或加权求和的方式缩减像素列,并对缩减像素列后的像素点中的多行像素点采用求均值或加权求和的方式缩减像素行的行数。
示例性的,如图9所示,为本申请实施例提供的一种存储数据的示意图。在图9中可以存储160行数据,其中中间100行保留原始数据,两边各30行存入降采样处理后的数据。例如可以使用2倍降采样率,将两边各30行中任意相邻两行数据的对应两个像素点的像素值相加求均值,合成一行数据,这样两边各30行数据实际上就变为两边各存储60行数据,搜索范围由原来的160(30+100+30)行数据提高到220(30x2+100+30x2)行数据。
其中,降采样率可以固定为2倍降采样率,也可以增加寄存器灵活配置倍数,例如可以一部分行数据采用2倍降采样率,一部分更大速度的数据行采用3倍降采样率。
示例性的,对图9中两边各30行存入降采样处理后的数据,假设待插帧图像块为4x4大小,则可以设置第一行数据的权重为20%,第二行数据的权重为40%,第三行数据的权重为30%,第四行数据的权重为10%,以此将任意相邻四行数据对应的4个像素点的像素值根据对应的权重进行加权求和,合成一行数据,这样两边各30行数据实际上就变为两边各存储120行数据,搜索范围由原来的160(30+100+30)行数据提高到340(30x4+100+30x4)行数据。当然,具体的降采样方式可以灵活设置,均适用于本申请实施例。
在另一种可能的实施方式中,本申请还可以灵活确定降采样率。如分别对所述第一参考帧和所述第二参考帧中所述第二指定范围的像素点进行降采样处理,还可以分别对所述第一参考帧和所述第二参考帧,基于所述图像块组中各待插帧图像块的运动矢量,确定运动矢量等级;基于所述运动矢量等级对应的降采样率,分别对所述第一参考帧和所述第二参考帧的所述第二指定范围的像素点进行降采样处理。
示例性的,对图9中两边各30行存入降采样处理后的数据,可以设置以虚线为中心,若距离中心50行以上且60行以下,确定运动矢量等级为第一等级,采用2倍降采样率进行降采样处理,若距离中心60行以上且70行以下,确定运动矢量等级为第二等级,采用3倍降采样率进行降采样处理,若距离中心70行以上且80行以下,确定运动矢量等级为第三等级,采用加权求和的方式进行降采样处理,由此可以根据运动矢量等级的不同,采用不同的降采样率进行降采样处理,也可以根据运动矢量等级的不同更好的保障画面的质量,即运动矢量等级越低,则画面质量能得到更好的保障。
由此,可以采用求均值、加权求和、根据运动矢量等级不同采用不同降采样率等方式对第二指定范围的像素点进行降采样处理,适当牺牲图像质量,使得同样存储空间可以存储更多的数据。
在步骤703中,将所述第二待写入数据存储到所述指定存储区域。
在步骤704中,基于所述待插帧图像块的运动矢量从所述指定存储区域中搜索所述第一参考帧中的第一搜索图像块和所述第二参考帧中的第二搜索图像块。
在一种可能的实施方式中,从第一参考帧和第二参考帧中读取用于合成所述待插帧图像块的数据之前,还需要确定所述第一参考帧和第二参考帧中所述待插帧图像块对应的第一搜索图像块和第二搜索图像块。因此本申请中基于所述待插帧图像块的运动矢量从所述指定存储区域中搜索所述第一参考帧中的第一搜索图像块和所述第二参考帧中的第二搜索图像块,可以基于所述待插帧图像块的运动矢量以及所述待插帧图像块的指定方向的中心位置,获取所述第一搜索图像块的所述指定方向的中心位置和所述第二搜索图像块的所述指定方向的中心位置;并基于所述第一搜索图像块的所述指定方向的中心位置和所述第二搜索图像块的所述指定方向的中心位置,从所述指定存储区域中读取所述第一参考帧中的第一搜索图像块的数据和所述第二参考帧中的第二搜索图像块的数据。
示例性的,在插帧过程中,一帧图像分为960x540个大小为4x4的图像块。帧图像的左上角位置坐标为[0,0],右上角位置坐标为[959,0],左下角位置坐标为[0,539],右下角位置坐标为[959,539]。假设当前待插帧图像块的中心位置为[90,90],运动矢量为(4,4),则获取第一参考帧中第一搜索图像块的中心位置为[86,86]、第二参考帧中第二搜索图像块的中心位置为[94,94],由此可以根据第一参考帧中第一搜索图像块的中心位置[86,86]和第二参考帧中第二搜索图像块的中心位置[94,94]读取第一搜索图像块和第二参考帧中第二搜索图像块的数据。
由此可以确定所述第一参考帧和第二参考帧中所述待插帧图像块对应的第一搜索图像块和第二搜索图像块的中心位置,以便根据中心位置获取所述第一参考帧和第二参考帧中所述待插帧图像块对应的第一搜索图像块和第二搜索图像块的数据。
在一种可能的实施方式中,确定所述第一参考帧和第二参考帧中所述待插帧图像块对应的第一搜索图像块和第二搜索图像块的中心位置之后根据此中心位置获取第一搜索图像块和第二搜索图像块的数据,但是由于第一指定范围和第二指定范围的数据存入时经过不同的处理,因此为了准确的从指定存储区域中读取需要的数据,本申请中基于所述第一搜索图像块的所述指定方向的中心位置和所述第二搜索图像块的所述指定方向的中心位置,从所述指定存储区域中读取所述第一参考帧中的第一搜索图像块的数据和所述第二参考帧中的第二搜索图像块的数据,可实施为:
若所需数据未经过降采样,则当所述第一搜索图像块的所述指定方向的中心位置和所述第二搜索图像块的所述指定方向的中心位置在所述第一指定范围时,读取所述指定存储区域中所述第一搜索图像块和所述第二搜索图像块的数据。
若所需数据经过降采样,当所述第一搜索图像块的所述指定方向的中心位置和所述第二搜索图像块的所述指定方向的中心位置在所述第二指定范围时,基于所述降采样处理方法确定所述第一搜索图像块和所述第二搜索图像块的区域范围;基于所述第一搜索图像块的区域范围和所述第二搜索图像块的区域范围从所述指定存储区域中读取数据,并对读取的数据进行上采样操作以恢复所述第一搜索图像块的数据量和所述第二搜索图像块的数据量,使得所述第一搜索图像块的数据量和所述第二搜索图像块的数据量均与所述待插帧图像块的数据量相同。
示例性的,如图9所示,中间100行保留原始数据,两边各30行存入降采样处理后的数据。从所述指定存储区域中读取所述第一参考帧中的第一搜索图像块的数据和所述第二参考帧中的第二搜索图像块的数据时,若所述第一搜索图像块的所述指定方向的中心位置和所述第二搜索图像块的所述指定方向的中心位置在I、P帧图像块的虚线位置上下50行内,由于此100行存入的数据为原始数据,未经过降采样处理,行数可以一一对应,因此可以直接读取相应行数的数据使用。
而若所述第一搜索图像块的所述指定方向的中心位置和所述第二搜索图像块的所述指定方向的中心位置超出I、P帧图像块的虚线位置上下50行,且小于等于上下80行,则需要判断存入数据时使用的降采样处理方法。如若采用的是2倍降采样率求均值的方法进行降采样处理,则以靠近中心位置的所在行Y,采用以下公式确定新的起始位置,并根据新的起始位置往外取2行数据,复制成4行数据得到相应的数据使用,其中ceil表示向上取整:
50+ceil((Y-50))/2 (1)
例如每个大小为4x4的图像块需要取4行数据,经过计算得到新的起始位置为51,那么若未经过降采样处理,则需要取51、52、53、54四行数据,但是经过2倍降采样率进行降采样处理之后,实际存入的就变为51(原51,52)、52(原53,54)两行数据,因此需要根据新的起始位置51往外取2行数据,得到51、52两行数据,并将这两行取出的数据各复制一行,最终得到4行数据使用。
其中,确定新的起始位置的方法还可以根据实际情况,使用其余的方法确定,本申请对此不做限制。
若采用的是3倍降采样率或者加权求和的方法进行降采样处理,则同样根据对应的上采样方法得到相应的数据使用。
若采用的是根据所述图像块组中各待插帧图像块的运动矢量等级不同采用不同的降采样方法进行降采样处理,则需要先确定所述第一搜索图像块和所述第二搜索图像块的区域范围,从而确定各待插帧图像块的运动矢量等级,然后根据运动矢量等级对应的降采样方法进行上采样处理,得到相应的数据。
由此,可以通过判断所述第一搜索图像块和所述第二搜索图像块的中心位置是在所述的第一指定范围,还是在第二指定范围,再根据存入数据时使用的数据处理方法,在读取数据时进行对应的数据处理,从而准确的从指定存储区域中读取需要的数据,并恢复原本的数据量供生成所述待插帧图像块的图像内容时使用。
在步骤705中,基于所述第一搜索图像块和所述第二搜索图像块生成所述待插帧图像块的图像内容。
在一种可能的实施方式中,可以基于获取的所述第一搜索图像块和所述第二搜索图像块的数据内容,根据Blend(混合)算法生成所述待插帧图像块的图像内容,也可以根据其他方法生成所述待插帧图像块的图像内容,本申请实施例对此不做限制。
由此完成基于第一参考帧和第二参考帧生成待插帧图像块的图像内容,处理完所有的待插帧图像块,即合成一帧待合成图像帧的全部内容。
基于前文的描述,本申请实施例通过以待插帧图像块为基准,确定第一待写入数据的数据范围;若所述数据范围内的第一待写入数据的数据量高于指定存储区域的存储容量,则对所述第一待写入数据进行降采样处理,得到第二待写入数据;将所述第二待写入数据存储到所述指定存储区域;基于所述待插帧图像块的运动矢量从所述指定存储区域中搜索所述第一参考帧中的第一搜索图像块和所述第二参考帧中的第二搜索图像块;基于所述第一搜索图像块和所述第二搜索图像块生成所述待插帧图像块的图像内容由此可以通过对待写入数据进行降采样处理,压缩数据存储到容量有限的存储区域中来完成插帧运算,同时可以根据待插帧图像块对应的运动矢量来动态读取数据,从而增大插帧过程中的运动补偿搜索范围,以保证运动补偿获取到更多的有用信息,从而减少图像画质的损失。
本申请提供的实施例之间的相似部分相互参见即可,以上提供的具体实施方式只是本申请总的构思下的几个示例,并不构成本申请保护范围的限定。对于本领域的技术人员而言,在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种插帧处理方法,其特征在于,第一参考帧和第二参考帧用于合成待合成图像帧,所述待合成图像帧中包括多个待插帧图像块,各待插帧图像块具有对应的运动矢量,所述方法包括:
以待插帧图像块为基准,确定第一待写入数据的数据范围;
若所述数据范围内的第一待写入数据的数据量高于指定存储区域的存储容量,则对所述第一待写入数据进行降采样处理,得到第二待写入数据;
将所述第二待写入数据存储到所述指定存储区域;
基于所述待插帧图像块的运动矢量从所述指定存储区域中搜索所述第一参考帧中的第一搜索图像块和所述第二参考帧中的第二搜索图像块;
基于所述第一搜索图像块和所述第二搜索图像块生成所述待插帧图像块的图像内容。
2.根据权利要求1所述的方法,其特征在于,所述以待插帧图像块为基准,确定第一待写入数据的数据范围,具体包括:
针对所述待插帧图像块所在的图像块组,确定所述图像块组内指定方向的中心位置,其中若所述图像块组为一行图像块则所述指定方向为像素行,若所述图像块组为一列图像块则所述指定方向为像素列;
基于所述指定方向的中心位置确定所述第一待写入数据的数据范围,所述数据范围包括第一指定范围的像素点和第二指定范围的像素点;其中所述第二指定范围的像素点距离所述中心位置的距离大于所述第一指定范围的像素点距离所述中心位置的距离。
3.根据权利要求2所述的方法,其特征在于,所述对所述第一待写入数据进行降采样处理,得到第二待写入数据,具体包括:
分别对所述第一参考帧和所述第二参考帧中所述第二指定范围的像素点进行降采样处理后得到降采样数据,将所述降采样数据和所述第一指定范围的像素点作为所述第二待写入数据。
4.根据权利要求3所述的方法,其特征在于,所述分别对所述第一参考帧和所述第二参考帧中所述第二指定范围的像素点进行降采样处理,具体包括:
分别对所述第一参考帧和所述第二参考帧中所述第二指定范围的像素点执行:
若所述指定方向为像素行,则对所述第二指定范围内的任意相邻多行像素点,采用求均值或加权求和的方式缩减像素行的行数;
若所述指定方向为像素列,则对所述第二指定范围内的任意相邻多列像素点,采用求均值或加权求和的方式缩减像素列的列数;
若所述指定方向包括像素行和像素列,则对所述第二指定范围内的任意相邻多行像素点,采用求均值或加权求和的方式缩减像素行,并对缩减像素行后的像素点中的多列像素点采用求均值或加权求和的方式缩减像素列的列数;或者,若所述指定方向包括像素行和像素列,则对所述第二指定范围内的任意相邻多列像素点,采用求均值或加权求和的方式缩减像素列,并对缩减像素列后的像素点中的多行像素点采用求均值或加权求和的方式缩减像素行的行数。
5.根据权利要求3所述的方法,其特征在于,所述分别对所述第一参考帧和所述第二参考帧中所述第二指定范围的像素点进行降采样处理,具体包括:
分别对所述第一参考帧和所述第二参考帧,基于所述图像块组中各待插帧图像块的运动矢量,确定运动矢量等级;
基于所述运动矢量等级对应的降采样率,分别对所述第一参考帧和所述第二参考帧的所述第二指定范围的像素点进行降采样处理。
6.根据权利要求2所述的方法,其特征在于,所述基于所述待插帧图像块的运动矢量从所述指定存储区域中搜索所述第一参考帧中的第一搜索图像块和所述第二参考帧中的第二搜索图像块,具体包括:
基于所述待插帧图像块的运动矢量以及所述待插帧图像块的指定方向的中心位置,获取所述第一搜索图像块的所述指定方向的中心位置和所述第二搜索图像块的所述指定方向的中心位置;
基于所述第一搜索图像块的所述指定方向的中心位置和所述第二搜索图像块的所述指定方向的中心位置,从所述指定存储区域中读取所述第一参考帧中的第一搜索图像块的数据和所述第二参考帧中的第二搜索图像块的数据。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第一搜索图像块的所述指定方向的中心位置和所述第二搜索图像块的所述指定方向的中心位置,从所述指定存储区域中读取所述第一参考帧中的第一搜索图像块的数据和所述第二参考帧中的第二搜索图像块的数据,具体包括:
当所述第一搜索图像块的所述指定方向的中心位置和所述第二搜索图像块的所述指定方向的中心位置在所述第一指定范围时,读取所述指定存储区域中所述第一搜索图像块和所述第二搜索图像块的数据;
当所述第一搜索图像块的所述指定方向的中心位置和所述第二搜索图像块的所述指定方向的中心位置在所述第二指定范围时,基于所述降采样处理方法确定所述第一搜索图像块和所述第二搜索图像块的区域范围;基于所述第一搜索图像块的区域范围和所述第二搜索图像块的区域范围从所述指定存储区域中读取数据,并对读取的数据进行上采样操作以恢复所述第一搜索图像块的数据量和所述第二搜索图像块的数据量,使得所述第一搜索图像块的数据量和所述第二搜索图像块的数据量均与所述待插帧图像块的数据量相同。
8.一种显示设备,其特征在于,包括:
显示器、处理器和存储器;
所述显示器用于显示所述图像;
所述存储器,用于存储所述处理器可执行指令;
所述处理器被配置为执行所述指令以实现如权利要求1-7中任一项所述的插帧处理方法。
9.一种计算机可读存储介质,其特征在于,包括:
当所述计算机可读存储介质中的指令由所述显示设备执行时,使得所述显示设备能够执行如权利要求1-7中任一项所述的插帧处理方法。
10.一种计算机程序产品,其特征在于,包括:
计算机程序;
所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的插帧处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111435370.4A CN114143543A (zh) | 2021-11-29 | 2021-11-29 | 插帧处理方法、显示设备、介质及程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111435370.4A CN114143543A (zh) | 2021-11-29 | 2021-11-29 | 插帧处理方法、显示设备、介质及程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114143543A true CN114143543A (zh) | 2022-03-04 |
Family
ID=80389119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111435370.4A Pending CN114143543A (zh) | 2021-11-29 | 2021-11-29 | 插帧处理方法、显示设备、介质及程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114143543A (zh) |
-
2021
- 2021-11-29 CN CN202111435370.4A patent/CN114143543A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110377264B (zh) | 图层合成方法、装置、电子设备及存储介质 | |
CN114302190B (zh) | 一种显示设备及画质调整方法 | |
CN112799627B (zh) | 显示设备及图像显示方法 | |
CN112667184A (zh) | 一种显示设备 | |
CN112584211B (zh) | 一种显示设备 | |
CN111899175A (zh) | 图像转换方法及显示设备 | |
CN115082959A (zh) | 一种显示设备及图像处理方法 | |
CN113825002A (zh) | 显示设备及焦距控制方法 | |
CN115836528A (zh) | 一种显示设备及投屏方法 | |
CN112601109A (zh) | 音频播放方法及显示设备 | |
CN114745555A (zh) | 一种视频图像的运动估计方法及显示设备 | |
CN114143543A (zh) | 插帧处理方法、显示设备、介质及程序产品 | |
CN116347166A (zh) | 显示设备及窗口显示方法 | |
CN112235621B (zh) | 一种可视区域的显示方法及显示设备 | |
CN113453069B (zh) | 一种显示设备及缩略图生成方法 | |
CN116801027A (zh) | 显示设备和投屏方法 | |
CN114710633A (zh) | 显示设备及视频信号显示方法 | |
CN115185392A (zh) | 显示设备、图像处理方法及装置 | |
CN114302203A (zh) | 图像显示方法及显示设备 | |
CN114153410A (zh) | 同一屏幕中多窗口画面的显示控制方法和相关装置 | |
CN114281285B (zh) | 一种显示设备及深度数据稳定呈现的显示方法 | |
CN114640850B (zh) | 视频图像的运动估计方法、显示设备和芯片 | |
CN112883302B (zh) | 一种显示超链接地址对应页面的方法及显示设备 | |
CN115914647A (zh) | 一种视频图像的运动估计方法及装置 | |
CN112419988B (zh) | 一种背光调整方法及显示设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |