CN103533286A - 用于带静态区域排除的时间帧内插的方法和系统 - Google Patents

用于带静态区域排除的时间帧内插的方法和系统 Download PDF

Info

Publication number
CN103533286A
CN103533286A CN201310268219.5A CN201310268219A CN103533286A CN 103533286 A CN103533286 A CN 103533286A CN 201310268219 A CN201310268219 A CN 201310268219A CN 103533286 A CN103533286 A CN 103533286A
Authority
CN
China
Prior art keywords
video
frame
static region
group
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310268219.5A
Other languages
English (en)
Other versions
CN103533286B (zh
Inventor
M·R·格尔姆蒂诺夫
A·韦谢洛夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN103533286A publication Critical patent/CN103533286A/zh
Application granted granted Critical
Publication of CN103533286B publication Critical patent/CN103533286B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/013Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the incoming video signal comprising different parts having originally different frame rate, e.g. video and graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种图像处理装置、系统和方法,它从一组视频帧中排除静态区域,对已从中排除了静态区域的该组视频帧在时间上进行内插以产生内插视频帧,并通过将静态区域与时间内插视频帧进行组合来生成视频帧。

Description

用于带静态区域排除的时间帧内插的方法和系统
背景技术
视频系统已经部分发展到通过网络来传送视频和多媒体数据并显示该视频以供观看。在一些实例中,视频可被压缩、转换以及以其他方式处理来便于由各种显示设备传输、接收以及显示。对视频观看体验而言,重要的是被显示供用户观看的视频的质量。在被处理以供显示的各视频部分包括视频伪像和其他视觉上可感知的不规则性的情况下,用户的视频观看体验可能受损。
已经提出了多种技术来通过内插视频帧以补偿视频处理中的运动。在许多方面,一些运动内插技术难以生成准确地表示内插视频帧内的运动和静态区域的内插视频帧。因而,看来提高视频内插的有效性和效率是重要的。
附图说明
本文中所公开的各方面通过示例而非限制地在附图中示出。为说明的简单和清楚而非限制起见,在附图中示出的各方面不一定按比例绘制。此外,在认为合适的地方,在附图中重复附图标记以指示相应或相似的元件。
图1A和1B是根据本文的一些实施例的对应视频基帧的说明性描绘。
图1C、1D和1E是图1A视频帧在各处理阶段的说明性描绘。
图1F、1G和1H是根据本文的一些实施例的图1B视频帧在各处理阶段的说明性描绘。
图2是根据一个实施例的过程的流程图。
图3是根据一个实施例的包括流程图的系统的说明性框图。
图4A-4H是根据本文的一些实施例的在各处理阶段对应视频帧的说明性描绘。
图5示出了根据本文的一些实施例的一个系统。
图6是根据本文的一实施例的图5的系统的实施例的图示。
具体实施方式
以下描述了可支持用于提高生成视频的内插帧的效率和准确性的过程和操作的图像处理方法、设备或系统。本公开内容提供了与用于实现这些过程和操作的系统有关的多个具体细节。然而,本领域技术人员将领会,没有这些具体细节也可实践本公开内容的诸实施例。因而,在一些实例中,诸如控制机制和全软件指令序列等各方面未被详细示出以便不模糊本公开内容的其他方面。本领域技术人员利用本文所包括的描述将能在无需过度实验的情况下实现适当的功能。
在说明书中对“一个实施例”、“一些实施例”、“一实施例”、“示例实施例”、“一实例”、“一些实例”等的引用表明所描述的实施例可包括特定特征、结构或特性,但不一定每个实施例均包括该特定特征、结构或特性。此外,这样的短语不一定是指同一个实施例。此外,当结合实施例描述特定特征、结构或特性时,认为本领域技术人员知道结合无论是否明显描述的其他实施例来实现这些特征、结构或特性。
本文的一些实施例可以用硬件、固件、软件或它们的任意组合来实现。各实施例还可实现为储存在机器可读介质上的可执行指令,这些指令可由一个或多个处理器读取和执行。一种机器可读存储介质可包括用于以机器(例如,计算设备)可读的形式存储信息的任意有形的非暂时性机构。在一些方面,机器可读存储介质可包括只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质;光存储介质;闪存设备;以及电子或光学形式的信号。尽管在本文中将固件、软件、例程、以及指令描述为执行某些动作,但应当明白,这些描述仅仅是出于方便起见且这些动作实际上得自执行该固件、软件、例程以及指令的计算设备、处理器、控制器以及其他设备。
帧内插可用于多个不同的视频过程中,包括例如帧率转换、分布式视频编码以及其他过程。一般而言,运动内插过程涉及标识现有基帧或关键帧并生成要插在这些基帧之间的中间视频帧。在一些方面,包括基帧和其间的内插帧的视频序列的回放造成该视频中的运动的更平滑或更流畅的动画。
图1A和1B是来自视频序列的一对基帧的说明性描绘。如这些附图中所示,每一附图包括在基帧的上边缘和下边缘处的静态文本区域。在图1A和1B的示例中,静态区域包括处于图1A和1B的两个视频帧中的相同位置(即,静态)的文本。在一些实例中,静态区域可包括标题、标识语等。
图1C是基于图1A和1B的基帧生成的常规内插视频帧的说明性描绘。如图所示,静态文本区域的措词不是非常清晰。相反,图1C的静态文本包括诸如边缘模糊、重影等视频伪像。图1C中存在的视频伪像可能是尝试内插包括静态区域的视频帧的运动内插过程的结果。图1D和1E两者都包括来自图1C的静态文本中的一些的详细视图,包括在静态区域中或其附近的视频伪像。
图1F是基于基帧1A和1B的、根据将在下文更详细描述的内插过程生成的内插帧的说明性描绘。如图1F所示,1D的内插帧中的静态区域文本是清晰的,而没有图1C、1D和1E中示出的视频伪像。即,图1F的内插视频帧是准确地呈现包括静态和非静态区域的视频帧中的静态区域的运动内插过程的结果。图1G和1H两者都包括来自图1F的静态文本中的一些的详细视图,示出了内插视频帧中的静态文本区域的锐度。
图2是由附图标记200来概括地表示的内插过程的概览的流程图的说明性描绘。根据本文的一个实施例,过程200可被用来内插各视频帧。过程200可包括检测一组基帧中的静态区域的操作205。基帧可以选自包括多个视频帧的视频序列,并且该组基帧可包括至少两个基帧。在操作205,对被标识以供处理的基帧进行分析以确定这些基帧是否包括任何静态区域。
在操作205中确定基帧包括静态区域的情况下,在操作210,将这些静态区域从基帧中排除。在操作210中从基帧排除了静态区域之后,在操作215对基帧在时间上进行内插以生成按时间位于基帧之间的内插帧。
在一些方面,在操作205中确定基帧不包括任何可检测的静态区域的情况下,可以使用另选的运动内插过程来对基帧进行内插。在一些方面,过程200可被修改以例如绕过操作210和220。在另一实施例中,过程200可如图2所示地继续,其中检测到的和被排除的静态区域在逻辑上是“空”的或无的。
在操作220,将先前从基帧排除的静态区域与操作215的内插帧进行组合,以生成包括内插帧和静态区域的经组合的视频帧。操作220的输出可被用于可使用或包括运动内插过程的帧转换过程或其他视频过程。
如上所述,过程200是根据本文的一实施例的内插过程的概览的流程图。图3是系统的说明性框图,该系统包括贯穿该系统的各功能框的流程。根据本文的各实施例,可以没有限制地使用硬件、固件、软件以及其组合来用各种方式实现图3的各功能框。
系统300的输入包括基帧,包括视频帧Fi和Fi+1,其中i表示时间。因此,每一基帧出现在视频序列中的不同时刻处。在框305,分析基帧以检测基帧中的静态区域(如果有的话)。在一些方面,静态区域检测模块305可用于计算基帧中的静态元素的二进制图。用于表示基帧的检测到的静态区域的计算得到的二进制图或其他机制可被存储或记录在存储器中。图4A和4B分别是基帧Fi和Fi+1的说明性示例。
系统模块或框310可从基帧(Fi和Fi+1)中排除静态区域,如静态区域检测模块305所检测到的。在一些实施例中,模块310可用于标记或以其他方式指示构成检测到的静态区域的静态元素。模块310所标记的静态元素可对应于与模块305所生成的二进制图相关联的静态元素。在本示例中,静态区域是通过用特定“突出显示”颜色以突出显示检测到的静态区域来标记的。在一些实施例中,可以使用用于标记静态区域以供进一步处理的其他机制和技术。图4C和4D是模块310的输出(例如,F’i和F’i+1)的说明性示例,其中已经标记或强调了基帧中的静态区域。由模块310用来标记或指示静态区域的位置和范围的具体突出显示颜色或其他机制可被空间内插模块315用来识别静态区域。
空间内插模块315用于“填充”被排除区域。在一些方面,对被排除静态区域的“填充”使用被确定“可能”位于静态区域之下或之后的元素和对象替换了静态区域中的元素。在一些实施例中,可以使用一个或多个图像修复(inpainting)算法来“填充”被排除静态区域的地区。在一些方面,用于特定使用情况的特定图像修复算法可依赖于视频帧的内容(例如,运动、纹理、颜色、光照等的量)。图4E和4F是模块315的输出(例如,F”i和F”i+1)的说明性示例,其中已经排除了基帧中的静态区域并用所确定的“可能的”背景色和/或纹理进行了填充。
在一些方面,模块310和315的功能可由执行静态区域排除操作和空间内插操作两种操作的一个模块来实现。在一些实施例中,共享资源可被用于模块310和315的各功能(以及一些其他操作,但未被具体描述)。
模块320可用于对模块315输出的视频帧(即,视频帧F”i和F”i+1)在时间上进行内插。即,模块320对排除或移除了静态区域并对其进行了图像修复的基帧进行内插。以此方式,模块320可以提供在时间上位于基帧之间的按时间内插的视频帧(即,视频帧F”i+1/2)。图4G是模块320的输出(例如,F”i+1/2)的说明性示例,其中所生成的在时间上内插的帧不包括静态区域,且静态区域的地区被进行了图像修复。
模块325用于将模块320所生成的内插视频帧(即,视频帧F”i+1/2)与由模块305检测的先前检测到的静态区域进行组合。模块325的输入包括所生成的在时间上的内插帧F”i+1/2以及来自静态区域检测模块305的静态区域。模块325所输出的经组合视频帧的示例在图4H中描绘,其中该视频帧包括时间内插帧和静态区域。
图5示出系统500的一实施例。在各实施例中,系统500可以是媒体系统,但系统500不限于这一上下文。例如,系统500可被包括在个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸垫、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备(例如,智能电话、智能平板、或智能电视机)、移动因特网设备(MID)、消息收发设备、数据通信设备等等中。
在各实施例中,系统500包括耦合到显示器520的平台502。平台502可接收来自内容设备的内容,该内容设备例如是内容服务设备530或内容递送设备540或其他类似内容源。包括一个或多个导航部件的导航控制器550可被用来与例如平台502和/或显示器520进行交互。下文将更详细地描述这些组件中的每一个。
在各实施例中,平台502可包括芯片组505、处理器510、存储器512、存储514、图形子系统515、应用516和/无线电装置518的或任何组合。芯片组505可在处理器510、存储器512、存储514、图形子系统515、应用516和/或无线电装置518之间提供相互通信。例如,芯片组505可包括能够提供与存储514的相互通信的存储适配器(未示出)。
处理器510可被实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核或任何其它微处理器或中央处理单元(CPU)。在各实施例中,处理器510可包括双核处理器、双核移动处理器等等。
存储器512可被实现为易失性存储设备,例如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM(SRAM)。
存储514可被实现为非易失性存储设备,例如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附属存储设备、闪存、电池备用SDRAM(同步DRAM)和/或网络可接入存储设备。在各实施例中,例如在包含多个硬盘驱动器时,存储514可包括用于提高对有价值数字媒体的存储性能增强的保护的技术。
图形子系统515可执行诸如静止或视频之类的图像处理以供显示。图形子系统515可以是例如图像处理单元(GPU)或视觉处理单元(VPU)。模拟或数字接口可用于通信地耦合图形子系统515和显示器520。例如,接口可以是高清多媒体接口、显示器端口、无线HDMI和/或无线HD适应技术中的任何一种。图形子系统515可被集成至处理器510或芯片组505。图形子系统515可以是与芯片组505可通信地耦合的独立卡。
本文描述的图形和/或视频处理技术可在各种硬件架构中实现。例如,图形和/或视频功能可集成在芯片组内。或者,可使用分立的图形和/或视频处理器。作为又一实施例,可由包括多核处理器的通用处理器实现图形和/或视频功能。在另一个实施例中,可在消费者电子设备中实现这些功能。
无线电装置518可包括能够使用各合适的无线通信技术来发送和接收信号的一个或多个无线电装置。这样的技术可涉及跨一个或多个无线网络的通信。示例性无线网络包括(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网络以及卫星网络。在跨这些网络进行通信时,无线电装置518可根据一个或多个适用的任何版本的标准来操作。
在各实施例中。显示器520可包括任何电视机类监视器或显示器。显示器520可包括例如计算机显示屏、触摸屏显示器、视频监视器、电视机类设备和/或电视机。显示器520可以是数字和/或模拟的。在各实施例中,显示器520可以是全息显示器。而且,显示器520可以是可接收视觉投影的透明表面。这样的投影可传达各种形式的信息、图像和/或对象。例如,这样的投影可以是移动增强现实(MAR)应用的视觉覆盖。在一个或多个软件应用516的控制下,平台502可以在显示器520上显示用户界面522。
在各实施例中,内容服务设备530可由任何国内、国际和/或独立的服务来主存,并且因此平台502例如可经由因特网对它进行访问。内容服务设备530可耦合到平台502和/或显示器520。平台502和/或内容服务设备530可耦合到网络560以向网络560传递媒体信息并对来自网络560的媒体信息进行传递(例如,发送和/或接收)。内容递送设备540也可耦合到平台502和/或显示器520。
在各实施例中,内容服务设备530可包括电缆电视盒、个人计算机、网络、电话、能够递送数字信息和/或内容的启用因特网的设备或装置、以及能够经由网络560或直接地在内容提供者和平台502和/或显示器520之间单向或双向传递内容的任何其他类似设备。将明白,内容可经由网络560单向和/或双向地传递到和传递自系统500中的各组件中的任一个和内容提供者。内容的示例可包括任何媒体信息,包括例如视频、音乐、医疗和游戏信息等等。
内容服务设备530接收内容,如包括媒体信息、数字信息和/或其他内容的电缆电视节目安排。内容提供者的示例可包括任何电缆或卫星电视或无线电或因特网内容提供者。所提供的示例不旨在限制本发明的各实施例。
在各实施例中,平台502可接收来自具有一个或多个导航部件的导航控制器550的控制信号。例如,控制器550的导航部件可被用来与用户界面522进行交互。在各实施例中,导航控制器550可以是定点设备,该定点设备可以是允许用户向计算机输入空间数据(例如,连续和多维)的计算机硬件组件(具体而言,人类接口设备)。许多系统,如图形用户界面(GUI)以及电视机和监视器,允许用户使用身体姿势来控制计算机或电视机并向计算机或电视机提供数据。
控制器550的导航部件的移动可通过显示在显示器(例如显示器520)上的指针、光标、焦点环或其他视觉指示符的移动来在该显示器上反应。例如,在软件应用516的控制下,位于导航控制器550上的导航部件可被映射到例如用户界面522上显示的虚拟导航部件。在各实施例中,控制器550可以不是单独组件,而是集成到平台502和/或显示器520上。然而,各实施例并不限于这些元件或本文中示出或描述的上下文。
在各实施例中,例如,驱动程序(未示出)可包括在被激活时可使用户能在初始启动后触摸按钮将平台502像电视机一样立即开启和关闭的技术。在平台被“关闭”时,程序逻辑可以允许平台502将内容流传输到媒体适配器或其他内容服务设备530或内容递送设备540。另外,例如,芯片组505可包括用于5.1环绕声音频和/或高清晰度7.1环绕声音频的硬件和/或软件支持程序。驱动程序可包括用于集成图形平台的图形驱动程序。在各实施例中,图形驱动器可包括外围部件互连(PCI)高速图形卡。
在各实施例中,可以集成系统500中示出的组件中的任何一个或多个。例如,平台502和内容服务设备530可被集成,或者平台502和内容递送设备540可被集成,或者例如平台502、内容服务设备530以及内容递送设备540可被集成。在各实施例中,平台502和显示器520可以是一集成单元。例如,显示器520和内容服务设备530可被集成,或者显示器520和内容递送设备540可被集成。这些示例不旨在限制本发明。
在各种实施例中,系统500可被实现为无线系统、有线系统或两者的结合。当被实现为无线系统时,系统500可包括适于在无线共享媒体上通信的组件或接口,诸如一个或多个天线、发射器、接收器、收发器、放大器、过滤器、控制逻辑等。无线共享媒体的示例可包括无线频谱的一些部分,诸如RF频谱等。当被实现为有线系统时,系统500可包括适于在有线通信媒体上通信的组件和接口,诸如输入/输出(I/O)适配器、将I/O适配器与相应的有线通信媒体连接的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等。有线通信媒体的示例可包括导线、电缆、金属引线、印刷电路板(PCB)、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤等。
平台502可建立一个或多个逻辑的或物理的通道以传送信息。信息可包括媒体信息和控制信息。媒体信息可涉及表示对用户有意义的内容的任何数据。例如,内容示例可包括来自语音会话、视频会议、流视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。例如,来自语音会话的数据可以是语言信息、寂静时间、背景噪声、舒适噪声、音调等。控制信息可以指表示对自动系统有意义的命令、指令或控制字的任何数据。例如,控制信息可用于将媒体信息路由使其贯穿系统,或者指示节点以预定方式处理媒体信息。然而,这些实施例并不限于这些元件或图5中示出或描述的范围。
如上所述,系统500可以用不同的物理样式或形状因子来实现。图6示出了其中可实现系统500的小形状因子设备600的各实施例。例如,在各实施例中,设备600可被实现为具有无线能力的移动计算设备。例如,移动计算设备可以指具有处理系统和诸如一个或多个电池之类的移动功率源或电源的任何设备。
例如,移动计算设备的示例可包括个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸垫、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备(例如,智能电话、智能平板、或智能电视机)、移动因特网设备(MID)、消息收发设备、数据通信设备等等。
移动计算设备的示例还可包括被安排成由人来穿戴的计算机,如腕计算机、手指计算机、指环计算机、眼镜计算机、带扣计算机、臂带计算机、鞋子计算机、衣物计算机以及其他可穿戴计算机。例如,在各实施例中,移动计算设备可被实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。尽管以示例的方法用被实现为智能电话的移动计算设备对一些实施例进行描述,但是可以认识到,也可使用其它无线移动计算设备实现其它的实施例。各实施例不限于该上下文。
如图6所示,设备600可包括外壳602、显示器604、输入/输出(I/O)设备606和天线608。设备600还可包括导航部件612。显示器604可包括用于显示适于移动计算设备的信息的任何合适的显示装置。I/O设备606可包括用于将信息输入到移动计算设备中的任何合适的I/O设备。I/O设备606的示例可包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、摇臂开关、话筒、扬声器、语音设备设备和软件等。也可通过话筒将信息输入到设备600中。这些信息可由语音识别设备数字化。各实施例不限于该上下文。
可使用硬件元件、软件元件或两者的组合来实现各种实施例。硬件元件的示例可包括处理器、微处理器、电路、电路元件(例如,晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑设备(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微型芯片、芯片组等。软件的示例可包括软件成分、程序、应用软件、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、规程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、数值、符号或其任意组合。确定是否使用硬件元件和/或软件元件实现一实施例可根据任意数量的因素而变化,诸如期望计算速率、功率电平、热容限、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或操作限制。
至少一个实施例的一个或多个方面可以由存储在机器可读介质上的代表性指令来实现,该指令表示处理器中的各种逻辑,其在被机器读取时使得该机器生成执行本文描述的技术的逻辑。被称为“IP核”的这些表示可以被存储在有形的机器可读介质上,并被提供给多个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。
本文讨论的所有系统和过程可被实现在储存于一个或多个计算机可读介质上的程序代码中。这样的介质可包括例如软盘、CD-ROM、DVD-ROM、一种或多种类型的“盘”、磁带、存储卡、闪存驱动器、固态驱动器、以及固态随机存取存储器(RAM)或只读存储器(ROM)存储单元。各实施例因而不限于硬件和软件的任何具体组合。
本文中仅仅出于说明目的描述了各实施例。本领域技术人员将从这一描述中认识到,各实施例不限于所描述的实施例,而是可以在只受权利要求书的精神和范围所限定的各种修改和更改的情况下来实施。

Claims (18)

1.一种计算机实现的方法,所述方法包括:
从一组视频帧中排除静态区域;
对已从中排除了所述静态区域的该组视频帧在时间上进行内插以产生内插视频帧;以及
将所述静态区域与所述时间内插视频帧进行组合来生成视频帧。
2.如权利要求1所述的方法,其特征在于,所述静态区域包括所述一组视频帧中的多个区域。
3.如权利要求1所述的方法,其特征在于,还包括检测所述一组视频帧中的静态区域。
4.如权利要求3所述的方法,其特征在于,还包括:
生成与所述一组视频帧的对应于检测到的静态区域的地区相关联的静态图;
基于所述静态图来排除所述静态区域;以及
基于所述静态图将所述静态区域与所述内插视频帧进行组合。
5.如权利要求1所述的方法,其特征在于,所述排除包括:
从所述一组视频帧中移除所述静态区域;以及
在空间上内插所述一组视频帧以填充从中移除了所述静态区域的地区。
6.如权利要求1所述的方法,其特征在于,所述一组视频帧包括多个已标识的视频关键帧。
7.一种生成内插视频序列的系统,所述系统包括:
其上存储有处理器可执行指令的机器可读介质;以及
执行所述指令以进行以下操作的处理器:
从一组视频帧中排除静态区域;
对已从中排除了所述静态区域的该组视频帧在时间上进行内插以产生内插视频帧;以及
将所述静态区域与所述时间内插视频帧进行组合来生成视频帧。
8.如权利要求7所述的系统,其特征在于,所述静态区域包括所述一组视频帧中的多个区域。
9.如权利要求7所述的系统,其特征在于,还包括检测所述一组视频帧中的静态区域。
10.如权利要求9所述的系统,其特征在于,所述处理器被进一步指令来:
生成与所述一组视频帧的对应于检测到的静态区域的地区相关联的静态图;
基于所述静态图来排除所述静态区域;以及
基于所述静态图将所述静态区域与所述内插视频帧进行组合。
11.如权利要求7所述的系统,其特征在于,所述排除包括:
从所述一组视频帧中移除所述静态区域;以及
在空间上内插所述一组视频帧以填充从中移除了所述静态区域的地区。
12.如权利要求7所述的系统,其特征在于,所述一组视频帧包括多个已标识的视频关键帧。
13.一种其上存储了处理器可执行指令的计算机可读介质,所述介质包括:
从一组视频帧中排除静态区域的指令;
对已从中排除了所述静态区域的该组视频帧在时间上进行内插以产生内插视频帧的指令;以及
将所述静态区域与所述时间内插视频帧进行组合来生成视频帧的指令。
14.如权利要求13所述的介质,其特征在于,所述静态区域包括所述一组视频帧中的多个区域。
15.如权利要求13所述的介质,其特征在于,还包括检测所述一组视频帧中的静态区域。
16.如权利要求15所述的介质,其特征在于,还包括:
生成与所述一组视频帧的对应于检测到的静态区域的地区相关联的静态图的指令;
基于所述静态图来排除所述静态区域的指令;以及
基于所述静态图将所述静态区域与所述内插视频帧进行组合的指令。
17.如权利要求13所述的介质,其特征在于,所述排除包括:
从所述一组视频帧中移除所述静态区域;以及
在空间上内插所述一组视频帧以填充从中移除了所述静态区域的地区。
18.如权利要求13所述的的介质,其特征在于,所述一组视频帧包括多个已标识的视频关键帧。
CN201310268219.5A 2012-06-29 2013-06-28 用于带静态区域排除的时间帧内插的方法和系统 Expired - Fee Related CN103533286B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/539,035 US20140002732A1 (en) 2012-06-29 2012-06-29 Method and system for temporal frame interpolation with static regions excluding
US13/539,035 2012-06-29

Publications (2)

Publication Number Publication Date
CN103533286A true CN103533286A (zh) 2014-01-22
CN103533286B CN103533286B (zh) 2018-07-10

Family

ID=49777795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310268219.5A Expired - Fee Related CN103533286B (zh) 2012-06-29 2013-06-28 用于带静态区域排除的时间帧内插的方法和系统

Country Status (2)

Country Link
US (1) US20140002732A1 (zh)
CN (1) CN103533286B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933497A (zh) * 2019-12-10 2020-03-27 Oppo广东移动通信有限公司 视频图像数据插帧处理方法及相关设备
CN111064863A (zh) * 2019-12-25 2020-04-24 Oppo广东移动通信有限公司 图像数据的处理方法及相关装置
CN111741266A (zh) * 2020-06-24 2020-10-02 北京梧桐车联科技有限责任公司 图像显示方法、装置、车载设备及存储介质
CN113132800A (zh) * 2021-04-14 2021-07-16 Oppo广东移动通信有限公司 视频处理方法、装置、视频播放器、电子设备及可读介质
CN115334334A (zh) * 2022-07-13 2022-11-11 北京优酷科技有限公司 视频插帧方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9407926B2 (en) 2014-05-27 2016-08-02 Intel Corporation Block-based static region detection for video processing
CN110874128B (zh) * 2018-08-31 2021-03-30 上海瑾盛通信科技有限公司 可视化数据处理方法和电子设备
CN110913260B (zh) * 2018-09-18 2023-07-14 阿里巴巴(中国)有限公司 显示控制方法、显示控制装置和电子设备
CN114554285A (zh) * 2022-02-25 2022-05-27 京东方科技集团股份有限公司 视频插帧处理方法、视频插帧处理装置和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101106685A (zh) * 2007-08-31 2008-01-16 湖北科创高新网络视频股份有限公司 一种基于运动检测的去隔行方法和装置
US20080225042A1 (en) * 2007-03-12 2008-09-18 Conversion Works, Inc. Systems and methods for allowing a user to dynamically manipulate stereoscopic parameters
US20090213933A1 (en) * 2008-02-26 2009-08-27 Microsoft Corporation Texture sensitive temporal filter based on motion estimation
US20100053424A1 (en) * 2008-08-29 2010-03-04 Kabushiki Kaisha Toshiba Video signal processing apparatus and video signal processing method
US20100103312A1 (en) * 2008-10-27 2010-04-29 Noriyuki Matsuhira Video Display Device, Video Signal Processing Device, and Video Signal Processing Method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080225042A1 (en) * 2007-03-12 2008-09-18 Conversion Works, Inc. Systems and methods for allowing a user to dynamically manipulate stereoscopic parameters
CN101106685A (zh) * 2007-08-31 2008-01-16 湖北科创高新网络视频股份有限公司 一种基于运动检测的去隔行方法和装置
US20090213933A1 (en) * 2008-02-26 2009-08-27 Microsoft Corporation Texture sensitive temporal filter based on motion estimation
US20100053424A1 (en) * 2008-08-29 2010-03-04 Kabushiki Kaisha Toshiba Video signal processing apparatus and video signal processing method
US20100103312A1 (en) * 2008-10-27 2010-04-29 Noriyuki Matsuhira Video Display Device, Video Signal Processing Device, and Video Signal Processing Method

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933497A (zh) * 2019-12-10 2020-03-27 Oppo广东移动通信有限公司 视频图像数据插帧处理方法及相关设备
CN110933497B (zh) * 2019-12-10 2022-03-22 Oppo广东移动通信有限公司 视频图像数据插帧处理方法及相关设备
CN111064863A (zh) * 2019-12-25 2020-04-24 Oppo广东移动通信有限公司 图像数据的处理方法及相关装置
CN111064863B (zh) * 2019-12-25 2022-04-15 Oppo广东移动通信有限公司 图像数据的处理方法及相关装置
CN111741266A (zh) * 2020-06-24 2020-10-02 北京梧桐车联科技有限责任公司 图像显示方法、装置、车载设备及存储介质
CN113132800A (zh) * 2021-04-14 2021-07-16 Oppo广东移动通信有限公司 视频处理方法、装置、视频播放器、电子设备及可读介质
CN113132800B (zh) * 2021-04-14 2022-09-02 Oppo广东移动通信有限公司 视频处理方法、装置、视频播放器、电子设备及可读介质
CN115334334A (zh) * 2022-07-13 2022-11-11 北京优酷科技有限公司 视频插帧方法及装置
CN115334334B (zh) * 2022-07-13 2024-01-09 北京优酷科技有限公司 视频插帧方法及装置

Also Published As

Publication number Publication date
CN103533286B (zh) 2018-07-10
US20140002732A1 (en) 2014-01-02

Similar Documents

Publication Publication Date Title
CN103533286A (zh) 用于带静态区域排除的时间帧内插的方法和系统
CN106031172B (zh) 用于视频编码和解码的自适应传递函数
CN110636375B (zh) 视频流处理方法、装置、终端设备及计算机可读存储介质
CN103797805B (zh) 使用变更区域的媒体编码
CN104782124B (zh) 利用编码器硬件对视频内容进行预处理
CN104915916B (zh) 使用选择性色彩变换的色彩压缩
CN103999096A (zh) 用于视频数据背景区域的降低的图像质量
CN103581728B (zh) 基于焦点确定对解码的视频帧的选择性后处理背景
US20160027145A1 (en) Compression techniques for dynamically-generated graphics resources
CN104904231A (zh) 将缩略图信息嵌入视频流
CN104011623A (zh) 包括基于观看条件的动态用户接口在内的用于能量效率和能量节约的方法、装置和系统
CN104025031B (zh) 减少应用中对共享存储器单元执行的顺序操作的数量
CN104205161A (zh) 用于块压缩图象的解压缩的系统、方法和计算机程序产品
CN104050040A (zh) 媒体重放工作负荷调度器
CN104737198B (zh) 在输入几何对象粒度上记录可见度测试的结果
CN104782130B (zh) 从丢失的空间可扩展层恢复运动向量
CN104756150A (zh) 深度缓冲
CN104035540A (zh) 在图形渲染期间降低功耗
CN104049967A (zh) 暴露媒体处理特征
CN105074772A (zh) 通过使用不可达比特组合而改进的多采样抗锯齿压缩
KR101653158B1 (ko) 분산형 그래픽 처리
CN115867938A (zh) 用于沉浸式视频的经由连续帧中的成对匹配的多相机人物关联
US20130318458A1 (en) Modifying Chrome Based on Ambient Conditions
CN104054049B (zh) 用于复制源数据从而实现对源数据的并行处理的方法和系统
CN104011789B (zh) 减少用于在屏幕上显示多个图像的显示控制器中使用的缩放引擎的数量

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1194233

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180710

Termination date: 20190628

CF01 Termination of patent right due to non-payment of annual fee