CN105991955A - 内容自适应帧率转换方法以及相关装置 - Google Patents

内容自适应帧率转换方法以及相关装置 Download PDF

Info

Publication number
CN105991955A
CN105991955A CN201610156476.3A CN201610156476A CN105991955A CN 105991955 A CN105991955 A CN 105991955A CN 201610156476 A CN201610156476 A CN 201610156476A CN 105991955 A CN105991955 A CN 105991955A
Authority
CN
China
Prior art keywords
frame
video
stream
per
frame per
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201610156476.3A
Other languages
English (en)
Inventor
梁金权
吴尚修
陈颖睿
张德浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN105991955A publication Critical patent/CN105991955A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

本发明公开一种内容自适应帧率转换方法以及相关装置。内容自适应帧率转换方法包括:分析与视频帧流的两个或多个视频帧相关的信息;以及基于分析的结果,动态调整所述视频帧流的至少所述两个或多个视频帧的帧率。本发明所公开的内容自适应帧率转换方法以及相关装置,能够节省用于帧率转换的内存带宽和功耗。

Description

内容自适应帧率转换方法以及相关装置
技术领域
本发明有关于帧率转换(frame rate conversion,FRC),特别是有关于内容自适应帧率转换方法以及相关装置。
背景技术
帧率(frame rate),又称为帧频(frame frequency),是图像装置显示连续图像(例如,视频帧)的速率/频率。帧率转换是指视频帧流(stream of video frames)的帧率从源帧率(source frame rate)到显示帧率(display frame rate)的转换,显示帧率通常大于源帧率。如图6的实施例600所示,通常有两种方法来实施方案帧率转换。第一种方法,称为常规(normal)帧率转换并显示在图6中的部分(A),包括帧重复;以及第二种方法,称为运动补偿(motion compensated,MC)帧率转换并显示在图6中的部分(B),包括运动补偿帧内插。在移动应用中,例如智能手机、平板电脑和可穿戴装置,然而,在给定的有限的资源(例如,内存和电池电源)的情况下,需要节省用于帧率转换的内存带宽和功耗。
发明内容
有鉴于此,本发明提供一种内容自适应帧率转换方法以及相关装置。
依据本发明一实施方式,提供一种内容自适应帧率转换方法包括:分析与视频帧流的两个或多个视频帧相关的信息;以及基于分析的结果,动态调整所述视频帧流的至少所述两个或多个视频帧的帧率。
依据本发明另一实施方式,提供一种装置,包括帧率转换模块,用于执行的操作包括:分析与视频帧流的两个或多个视频帧相关的信息;以及基于分析的结果,动态调整所述视频帧流的至少所述两个或多个视频帧的帧率。
依据本发明另一实施方式,提供一种装置,帧率转换模块和显示处理模块,所述帧率转换模块用于执行的操作包括:分析与视频帧流的两个或多个视频帧相关的信息,以及基于分析的结果,动态调整所述视频帧流的至少所述两个或多个视频帧的帧率;所述显示处理模块用于处理所述视频帧流。
本发明所提供的内容自适应帧率转换方法以及相关装置,能够节省用于帧率转换的内存带宽和功耗。
对于已经阅读后续由各附图及内容所显示的较佳实施方式的本领域的技术人员来说,本发明的各目的是明显的。
附图说明
图1是根据本发明的一实施例的各种范例的架构图。
图2A为根据本发明的一实施例的用于帧率转换的装置的框图。
图2B为根据本发明的另一实施例的用于帧率转换的装置的框图。
图3为根据本发明的又一实施例的用于帧率转换的装置的框图。
图4为根据本发明的一实施例的示例装置的框图。
图5为根据本发明的一实施例的流程的示意图。
图6为常规帧率转换和运动补偿帧率转换的示意图。
具体实施方式
在权利要求书及说明书中使用了某些词汇来指称特定的组件。所属领域中的技术人员应可理解,硬件制造商可能会用不同的名词来称呼同样的组件。本权利要求书及说明书并不以名称的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。在权利要求书及说明书中所提及的「包括」为开放式的用语,故应解释成「包括但不限定于」。另外,「耦接」一词在此包括任何直接及间接的电气连接手段。因此,若文中描述第一装置耦接于第二装置,则代表所述第一装置可直接电连接于所述第二装置,或通过其他装置或连接手段间接地电连接至所述第二装置。
图1为本发明的一实施例的架构100A、架构100B和架构100C的示意图。在架构100A、架构100B和架构100C中的每一个,执行内容自适应帧率转换以动态调整帧率转换的输出帧率,以作为分析源视频帧的内容的一个结果。有利的是,这可以降低对内存带宽的需求以及降低功耗。
参考图1,架构100A可包括源视频模块110、内容自适应帧率转换模块120、显示处理模块130、常规帧率转换(或运动补偿帧率转换)模块140和面板150。在图1中所示的示例中,源视频模块110可以以30帧每秒(frames per second,fps)的源帧率提供源视频帧流。内容自适应帧率转换模块120可以以30fps从源视频模块110接收源视频流,并以动态调整的输出帧率来输出一输出视频帧流(stream of output video frames),上述输出帧率被依据对源视频帧流的至少一些视频帧的内容的分析结果来动态调整。输出帧率可以,例如但不限于此,位于0fps和60fps之间。显示处理模块130可处理输出视频帧流,而不改变其帧率。常规帧率转换模块140可执行常规帧率转换(例如,帧重复)以例如,在输出时得到60fps的帧率的结果。面板150可以配置为以固定的帧率接收视频帧,并可以从常规帧率转换模块140接收视频帧流以显示视频帧。
参考图1,架构100B可包括源视频模块110、内容自适应帧率转换模块120、显示处理模块130和面板150。在图1中所示的示例中,源视频模块110可以以30fps的源帧率提供源视频帧流。内容自适应帧率转换模块120可以以30fps从源视频模块110接收源视频流,并以动态调整的输出帧率来输出一输出视频帧流,上述输出帧率被依据对源视频帧流的至少一些视频帧的内容的分析结果来动态调整。输出帧率可以,例如但不限于此,位于0fps和60fps之间。显示处理模块130可处理输出视频帧流,而不改变其帧率。面板150可以配置为以可变帧率接收视频帧。
参考图1,架构100C可包括源视频模块110、显示处理模块130、内容自适应帧率转换模块120和面板150。在图1所示的示例中,源视频模块110可以以30fps的源帧率提供源视频帧流。显示处理模块130可处理源视频帧流,而不改变其帧率。内容自适应帧率转换模块120可以以30fps从显示处理模块130接收源视频帧流,并以动态调整的输出帧率输出一输出视频帧流,上述输出帧率被依据对源视频帧流的至少一些视频帧的内容的分析结果来动态调整。输出帧率可以,例如但不限于此,位于0fps和60fps之间。面板150可以配置为以可变帧率接收视频帧。
在某些情况下,架构100A、架构100B和架构100C中的每一个都可以被修改为内容自适应帧率转换模块120的功能可以在显示处理中实施。换句话说,内容自适应帧率转换可以通过相应地修改显示处理模块130来作为显示处理模块130的显示处理的一部分。例如,修改后的显示处理模块130可以执行某些显示处理,随后执行内容自适应帧率转换,然后进一步执行某些显示处理。
此外,在架构100C中,可包括后处理模块(图中未示出),位于内容自适应帧率转换模块120和面板150之间。后处理模块可以执行颜色处理和/或提供一个或多个用户界面(UI)功能。
实施例
图2A为根据本发明的一实施例的用于帧率转换的装置200A。装置200A可执行多种功能以实施如上所述的技术、流程和方法,包括如上所述的架构100A、架构100B和架构100C的至少一部分,以及后续将描述的流程500。装置200A可以以单一的集成电路(IC)芯片或多个集成电路芯片的芯片集的形式来实施。例如,装置200A可以是处理器,例如中央处理单元(CPU)、图形处理单元(GPU)或特定用途集成电路(applications-specific IC,ASIC)。装置200A可包括内容自适应帧率转换模块202。
内容自适应帧率转换模块202可以被配置为接收视频帧流,分析与视频帧流的两个或多个视频帧相关的信息,并基于分析的结果动态调整视频帧流的至少两个或多个视频帧的帧率。在一些实施例中,如图2A所示,内容自适应帧率转换模块202至少包括如图2A所示的组件,例如:视频内容分析器210、动态帧率输出控制器220和输出帧产生器230。
内容自适应帧率转换模块202可以是硬件、软件、中间件、固件或它们的任意组合。例如,内容自适应帧率转换模块202可实施为电路或集成电路芯片的硬件形式。在另一个例子中,内容自适应帧率转换模块202可实施为软件形式,例如,CPU、GPU或ASIC执行的一个或多个指令集。
在一些实施方案中,视频内容分析器210可以配置为分析源视频帧流的每两个或多个连续视频帧的内容。动态帧率输出控制器220可配置为基于视频内容分析器210的分析结果来动态调整源视频帧流的至少两个或多个视频帧的帧率。输出帧产生器230可以被配置成以源帧率接收源视频流(例如,从架构100A和架构100B的源视频模块110,或从架构100C的显示处理模块130),以及以输出帧率输出一输出视频帧流。
在一些实施方案中,视频内容分析器210可以配置为从源视频帧流中获取每两个或多个连续视频帧的内容的信息。在一些实施方案中,在分析源视频帧流的每两个或多个连续的视频帧的内容时,视频内容分析器210可配置来分析关于源视频帧流的每两个或多个连续的视频帧的内容的结构(texture)、运动速度、运动复杂度、或其组合。
在一些实施方案中,在动态调整至少两个或多个视频帧的帧率时,动态帧率输出控制器220可配置为基于分析的结果在源帧率下保持至少两个或多个视频帧的帧率。例如,对于静止场景(例如,没有运动),动态帧率输出控制器220可以保持源帧率而不作调整。在另一个例子中,对于静止场景(例如,没有运动),动态帧率输出控制器220在提供输出视频帧流时,可以通过从源视频帧流中跳过一个或多个类似的视频帧来降低帧率。在又一个例子中,对于复杂的场景(例如,多个运动,如战斗场景或运动场景),动态帧率输出控制器220可以保持源帧率而不作出调整,因为上转换(up-conversion)的效果可能是有限的。
作为一种选择,在动态调整至少两个或多个视频帧的帧率时,动态帧率输出控制器220可配置为基于分析的结果调整至少两个或多个视频帧的帧率,以使帧率位于源帧率和显示帧率之间,其中显示帧率不同于(例如,大于或小于)源帧率。例如,对于近的静止(near-still)或慢速(slow-speed)场景,动态帧率输出控制器220可以调整输出帧率以位于源帧率和显示帧率之间。
作为一种选择,在动态调整至少两个或多个视频帧的帧率时,动态帧率输出控制器220可以被配置为基于分析的结果,将至少两个或多个视频帧的帧率提高到大于源帧率的显示帧率。例如,对于正常的运动场景,动态帧率输出控制器220可以提高输出帧率以匹配显示帧率。另外,在动态调整至少两个或多个视频帧的帧率时,动态帧率输出控制器220可以被配置为基于分析的结果降低至少有两个或多个视频帧的帧率至小于源帧率的显示帧率。
在一些实施方案中,输出帧产生器230可以配置为输出源视频帧流以作为输出视频帧流。
作为一种选择,输出帧产生器230在输出一输出视频帧流时,可以被配置为丢弃源视频帧流中的静止场景的一个或多个帧。例如,对于静止场景,输出帧产生器230可丢弃一个或多个与另一个相似的源视频帧。
作为一种选择,输出帧产生器230在输出视频帧流时,可以用于产生一个或多个内插帧,用于帧率的上转换。
图2B为根据本发明的另一实施例的用于帧率转换的装置200B的框图。装置200B可执行多种功能以实施如上所述的技术、流程和方法,包括如上所述的架构100A、架构100B和架构100C的至少一部分,以及后续将描述的流程500。装置200B可以以单一的集成电路芯片或多个集成电路芯片的芯片集的形式来实施方案。例如,装置200B可以是处理器,例如:CPU、GPU或ASIC。装置200B可包括内容自适应帧率转换模块204。
内容自适应帧率转换模块204可以被配置为接收视频帧流,分析与视频帧流的两个或两个以上的视频帧相关的信息,并基于分析的结果动态调整视频帧流的至少两个或多个视频帧的帧率。在一些实施例中,如图2B所示,内容自适应帧率转换模块204至少包括如图2B所示的组件,例如:视频内容分析器210、动态帧率输出控制器220和输出帧产生器230。
内容自适应帧率转换模块204可以是硬件、软件、中间件、固件或它们的任意组合。例如,内容自适应帧率转换模块204可实施方案为电路或集成电路芯片的硬件形式。在另一个例子中,内容自适应帧率转换模块204可实施方案为软件形式,例如,CPU、GPU或ASIC执行的一个或多个指令集。
由于内容自适应帧率转换模块204的结构和功能可能与内容自适应帧率转换模块202相似,因此以下描述内容自适应帧率转换模块204的重点在于自适应帧率转换模块204和内容自适应帧率转换模块202之间的差异。也就是说,为了简洁起见,以下将不提供与内容自适应帧率转换模块202相似的内容自适应帧率转换模块204的部分的详细描述。
在一些实施方案中,视频内容分析器210可以配置为接收来自视频解码器(图未示)的每两个或多个连续视频帧的内容的信息。在一些实施方案中,在分析源视频帧流的每两个或多个连续视频帧的内容时,视频内容分析器210个可配置来分析关于源视频帧流的运动向量(motion vectors)、块残留(blockresidues)或是其组合。
图3为根据本发明的另一实施例的用于帧率转换的装置300的框图。装置300可执行多种功能以实施如上所述的技术、流程和方法,包括如上所述的架构100A、架构100B和架构100C的至少一部分,以及后续将描述的流程500。装置300可以以单一的集成电路(IC)芯片或多个集成电路芯片的芯片集的形式来实施。例如,装置300可以是处理器,例如,CPU、GPU或ASIC。装置300可包括内容自适应帧率转换模块302。
内容自适应帧率转换模块302可以被配置为接收视频帧流,分析与视频帧流的两个或两个以上的视频帧相关的信息,并基于分析的结果动态调整视频帧流的至少两个或多个视频帧的帧率。在一些实施方案中,如图3所示,内容自适应帧率转换模块302至少包括如图3所示的组件,例如:视频内容分析器310、动态帧率输出控制器320和输出帧产生器330。
内容自适应帧率转换模块302可以是硬件、软件、中间件、固件或它们的任意组合。例如,内容自适应帧率转换模块302可实施为电路或集成电路芯片的硬件形式。在另一个例子中,内容自适应帧率转换模块302可实施为软件形式,例如,CPU、GPU或ASIC执行的一个或多个指令集。
由于内容自适应帧率转换模块302的结构和功能可与内容自适应帧率转换模块202和/或内容自适应帧率转换模块204相似,因此以下描述内容自适应帧率转换模块302的重点在于自适应帧率转换模块302与内容自适应帧率转换模块202和204之间的差异。也就是说,为了简洁起见,以下将不提供与内容自适应帧率转换模块202和204相似的内容自适应帧率转换模块302的部分的详细描述。
在一些实施方案中,视频内容分析器310可以配置为接收来自视频解码器(例如,图中未示出的H.264解码器)的信息(例如,运动向量)。在一些实施方案中,在分析源视频帧流的每两个或多个连续视频帧的内容时,视频内容分析器310可配置为分析运动向量,并提供分析结果至动态帧率输出控制器320。
视频内容分析器310可包括运动向量差值计算器(motion vector differencecalculator)312、缓冲器314和阈值检测器316。对于从视频解码器接收的每个运动向量,运动向量差值计算器312可以配置为计算或以其他方式确定当前运动向量和先前运动向量之间的差值。缓冲器314可配置为存储先前运动向量的值,并将其替换为当前运动向量的值。阈值检测器316可配置为从运动向量差值计算器312接收差值的代表值,以确定当前运动向量和先前运动向量之间的差值是否大于预先设定的阈值。在一种情况下,阈值检测器316确定的差值大于预定义的阈值,阈值检测器316可触发动态帧率控制器320来执行对源视频帧流的至少两个或多个视频帧的帧率的动态调整。否则,在另一种情况下,阈值检测器316确定的差值不大于预定义的阈值,阈值检测器316可不触发动态帧率控制器320。
图4为根据本发明一实施例的一示例装置400A的示意图以及根据本发明一实施例的另一示例装置400B的示意图。装置400A及装置400B都可以执行多种功能以实施如上所述的技术、流程和方法,包括如上所述的架构100A、架构100B和架构100C的至少一部分,以及后续将描述的流程500。装置400A及装置400B都可以以单一的集成电路芯片或多个集成电路芯片的芯片集的形式来实施。在一些实施方案中,装置400A及装置400B均可以是电子装置,例如,计算装置,便携式/移动装置或可穿戴装置。例如,装置400A及装置400B可以是智能手机、智能手表、计算装置(如平板电脑、手提电脑、笔记本电脑或可穿戴装置)。装置400A及装置400B均可以至少包括如图4所示的组件,例如:内容自适应帧率转换模块410和显示处理模块420。虽然没有显示在图4中,装置400A及装置400B均可以包括附加组件,如,源视频模块、常规帧率转换模块、运动补偿帧率转换模块、显示模块或装置、和/或视频解码器,并且在一些实施方案中,一些或所有这些组件可以位于装置400A和/或装置400B的外部。
在装置400A及装置400B的每一个中,显示处理模块420可被配置为处理视频帧流。然而,在装置400A中,显示处理模块420可耦接到内容自适应帧率转换模块410,以从内容自适应帧率转换模块410接收视频帧流;在装置400B中,显示处理模块420可耦接至自适应帧率转换模块410,以提供视频帧流至内容自适应帧率转换模块410。
内容自适应帧率转换模块410可以由装置200A的内容自适应帧率转换模块202、装置200B的内容自适应帧率转换模块204或装置300的内容自适应帧率转换模块302来实施。即内容自适应帧率转换模块410可适用装置200A的内容自适应帧率转换模块202或装置200B的内容自适应帧率转换模块204的结构/架构。在任何情况下,内容自适应帧率转换模块410可被配置为分析与视频帧流的两个或多个视频帧的相关信息。内容自适应帧率转换模块410也可以配置为基于分析的结果动态调整视频帧流的至少两个或多个视频帧的帧率。
在一些实施方案中,在分析与两个或多个视频帧相关的信息时,内容自适应帧率转换模块410可被配置为分析视频帧流的每两个或多个连续的视频帧的内容。在一些实施方案中,在分析视频帧流的每两个或多个连续的视频帧的内容时,内容自适应帧率转换模块410可被配置为关于视频帧流的每两个或多个连续的视频帧的内容的结构、运动速度、运动复杂度、或其组合。
作为一种选择,装置400A及装置400B还可以包括视频解码器430,视频解码器430配置为提供关于视频帧流的信息,以及内容自适应帧率转换模块410可以配置为接收来自视频解码器430的关于视频帧流的信息。具体来说,在装置400A中,内容自适应帧率转换模块410除了从视频解码器430接收关于视频帧流的信息,还可以配置为耦接至装置400A外部的源(source)以接收源视频帧流。相比之下,在装置400B中,内容自适应帧率转换模块410除了从视频解码器430接收关于视频帧流的信息,还可以配置为耦接至显示处理模块420以接收源视频帧流。在这样的情况下,与两个或多个视频帧相关的信息可包括从视频解码器430接收的信息。在一些实施方案中,从视频解码器430接收到的信息可包括关于视频帧流的运动向量、块残留或其组合。
在一些实施方案中,在动态调整至少两个或多个视频帧的帧率时,内容自适应帧率转换模块410可基于分析的结果在视频帧流的源帧率下保持至少两个或多个视频帧的帧率。作为一种选择,在动态调整至少两个或多个视频帧的帧率时,内容自适应帧率转换模块410可以配置为基于分析的结果调整至少两个或多个视频帧的帧率,以使帧流位于视频帧流的源帧流和显示帧率之间,其中显示帧率不同于(例如,大于或小于)源帧率。又或者,在动态调整至少两个或多个视频帧的帧率时,内容自适应帧率转换模块410可以配置为基于分析的结果将至少两个或多个视频帧的帧率提高至显示帧率,其中显示帧率大于视频帧流的源帧率。又或者,在动态调整至少两个或多个视频帧的帧率时,内容自适应帧率转换模块410可以配置为基于分析的结果将至少两个或多个视频帧的帧率降低至显示帧率,其中显示帧率小于视频帧流的源帧率。
图5为根据本发明的一实施例的流程500的示意图。流程500可以包括有一个或多个方框来表示的一个或多个操作、动作或功能,如方框510、520和530。虽然表示为独立的方框,根据所需的实施方案,流程500的各个方框还可以划分为额外的方框、合并成较少的方框、或消除部分方框。根据需要,各个方框可以以图5所示的顺序或任何其他顺序来执行。流程500可以由内容自适应帧率转换模块120、装置200A、装置200B、装置300、装置400A及装置400B来实施。仅用于说明目的,并不限制本发明的范围,在下面描述的流程500是内容自适应帧率转换模块120来执行的。流程500可开始于方框510。
在方框510中,流程500可包括内容自适应帧率转换模块120从源视频模块110(例如,在架构100A和架构100B中的)或显示处理模块130(例如,在架构100C中的)接收视频帧流。接着流程500从方框510跳至方框520。
在方框520中,流程500可包括内容自适应帧率转换模块120分析与视频帧流的两个或多个视频帧相关的信息。接着流程500从方框520跳至方框530。
在方框530中,流程500可包括内容自适应帧率转换模块120基于分析的结果动态调整视频帧流的至少两个或多个视频帧的帧率。
在一些实施方案中,在分析与两个或多个视频帧相关的信息时,流程500可包括内容自适应帧率转换模块120分析视频帧流的每两个或多个连续的视频帧的内容。在一些实施方案中,在分析与视频帧流的两个或多个视频帧相关的信息时,流程500可包括内容自适应帧率转换模块120分析关于视频帧流的每两个或多个连续的视频帧的内容的结构、运动速度、运动复杂度、或其组合。
在一些实施方案中,与两个或多个视频帧相关的信息可包括从视频解码器接收到的关于视频帧流的信息。在一些实施方案中,从视频解码器接收到的信息可包括关于视频帧流的运动向量、块残留或其组合。
在一些实施方案中,在动态调整至少两个或两个以上的视频帧的帧率时,流程500可包括内容自适应帧率转换模块120可基于分析的结果在视频帧流的源帧率下保持至少两个或多个视频帧的帧率。
作为一种选择,在动态调整至少两个或两个以上的视频帧的帧率时,流程500可包括内容自适应帧率转换模块120调整至少两个或多个视频帧的帧率,以使帧率位于视频帧流的源帧率和显示帧率之间,其中显示帧率不同于(例如,大于或小于)源帧率。
作为一种选择,在动态调整至少两个或两个以上的视频帧的帧率时,流程500可包括内容自适应帧率转换模块120可基于分析的结果,将至少两个或多个视频帧的帧率提高到大于视频帧流的源帧率的显示帧率。
作为一种选择,在动态调整至少两个或两个以上的视频帧的帧率时,流程500可包括内容自适应帧率转换模块120可基于分析的结果,降低至少有两个或多个视频帧的帧率至小于视频帧流的源帧率的显示帧率。
以上所述仅为本发明的较佳实施方式,凡依本发明权利要求所做的均等变化和修饰,均应属本发明的涵盖范围。

Claims (30)

1.一种内容自适应帧率转换方法,其特征在于,包括:
分析与视频帧流的两个或多个视频帧相关的信息;以及
基于分析的结果,动态调整所述视频帧流的至少所述两个或多个视频帧的帧率。
2.如权利要求1所述的内容自适应帧率转换方法,其特征在于,所述分析与视频帧流的两个或多个视频帧相关的信息的步骤包括:
分析所述视频帧流的每两个或多个连续的视频帧的内容。
3.如权利要求2所述的内容自适应帧率转换方法,其特征在于,所述分析所述视频帧流的每两个或多个连续的视频帧的内容的步骤包括:
分析关于所述视频帧流的所述每两个或多个连续的视频帧的所述内容的结构、运动速度、运动复杂度、或其组合。
4.如权利要求1所述的内容自适应帧率转换方法,其特征在于,与所述两个或多个视频帧相关的所述信息包括:从视频解码器接收到的关于所述视频帧的信息。
5.如权利要求4所述的内容自适应帧率转换方法,其特征在于,从所述视频解码器接收到的信息包括:关于所述视频帧流的运动向量、块残留、或其组合。
6.如权利要求1所述的内容自适应帧率转换方法,其特征在于,所述动态调整所述视频帧流的至少所述两个或多个视频帧的帧率的步骤包括:
基于所述分析的结果,在所述视频帧流的源帧率下保持至少所述两个或多个视频帧的所述帧率。
7.如权利要求1所述的内容自适应帧率转换方法,其特征在于,所述动态调整所述视频帧流的至少所述两个或多个视频帧的帧率的步骤包括:
基于所述分析的结果,调整至少所述两个或多个视频帧的所述帧率,以使所述帧率位于所述视频帧流的源帧率和显示帧率之间,其中所述显示帧率不同于所述源帧率。
8.如权利要求1所述的内容自适应帧率转换方法,其特征在于,所述动态调整所述视频帧流的至少所述两个或多个视频帧的帧率的步骤包括:
基于所述分析的结果,将至少所述两个或多个视频帧的所述帧率提高到显示帧率,所述显示帧率大于所述视频帧流的源帧率。
9.如权利要求1所述的内容自适应帧率转换方法,所述动态调整所述视频帧流的至少所述两个或多个视频帧的帧率的步骤包括:
基于所述分析的结果,将至少所述两个或多个视频帧的所述帧率降低到显示帧率,所述显示帧率小于所述视频帧流的源帧率。
10.一种帧率调整装置,其特征在于,包括:
帧率转换模块,用于执行的操作包括:
分析与视频帧流的两个或多个视频帧相关的信息;以及
基于分析的结果,动态调整所述视频帧流的至少所述两个或多个视频帧的帧率。
11.如权利要求10所述的帧率调整装置,其特征在于,所述帧率转换模块包括:
视频内容分析器,用于分析所述视频帧流的每两个或多个连续的视频帧的内容;
动态帧率输出控制器,用于根据所述视频内容分析器的所述分析的结果来动态调整所述视频帧流的至少所述两个或多个视频帧的所述帧率;以及
输出帧产生器,用于在源帧率下接收所述视频帧流,以及在输出帧率下输出一输出视频帧流。
12.如权利要求11所述的帧率调整装置,其特征在于,所述视频内容分析器用于从所述视频帧流获取所述每两个或多个连续的视频帧的所述内容,其中,在分析所述视频帧流的所述每两个或多个连续的视频帧的所述内容时,所述视频内容分析器用于分析关于所述视频帧流的所述每两个或多个连续的视频帧的所述内容的结构、运动速度、运动复杂度、或其组合。
13.如权利要求11所述的帧率调整装置,其特征在于,所述视频内容分析器用于接收来自视频解码器的所述每两个或多个连续的视频帧的所述内容的信息,其中,在分析所述视频帧流的所述每两个或多个连续的视频帧的所述内容时,该视频内容分析器用于分析关于所述视频帧流的运动向量、块残留、或其组合。
14.如权利要求11所述的帧率调整装置,其特征在于,在动态调整至少所述两个或多个视频帧的所述帧率时,所述动态帧率输出控制器用于基于所述分析的结果,在所述源帧率下保持至少所述两个或多个视频帧的所述帧率。
15.如权利要求11所述的帧率调整装置,其特征在于,在动态调整至少所述两个或多个视频帧的所述帧率时,所述动态帧率输出控制器用于基于所述分析的结果,调整至少所述两个或多个视频帧的所述帧率,以使所述帧率位于所述源帧率和显示帧率之间,其中所述显示帧率不同于所述源帧率。
16.如权利要求11所述的帧率调整装置,其特征在于,在动态调整至少所述两个或多个视频帧的所述帧率时,所述动态帧率输出控制器用于基于所述分析的结果,将至少所述两个或多个视频帧的所述帧率提高到显示帧率,所述显示帧率大于所述源帧率。
17.如权利要求11所述的帧率调整装置,其特征在于,在动态调整至少所述两个或多个视频帧的所述帧率时,所述动态帧率输出控制器用于基于所述分析的结果,将至少所述两个或多个视频帧的所述帧率降低到显示帧率,所述显示帧率小于所述源帧率。
18.如权利要求11所述的帧率调整装置,其特征在于,所述输出帧产生器用于输出所述视频帧流以作为所述输出视频帧流。
19.如权利要求11所述的帧率调整装置,其特征在于,在输出所述输出视频帧流时,所述输出帧产生器用于丢弃所述视频帧流的静止场景中的一个或多个帧。
20.如权利要求11所述的帧率调整装置,其特征在于,在输出所述输出视频帧流时,所述输出帧产生器用于产生一个或多个内插帧以上转换所述帧率。
21.一种电子装置,其特征在于,包括:帧率转换模块和显示处理模块,
所述帧率转换模块用于执行的操作包括:
分析与视频帧流的两个或多个视频帧相关的信息;以及
基于分析的结果,动态调整所述视频帧流的至少所述两个或多个视频帧的帧率;
所述显示处理模块用于处理所述视频帧流。
22.如权利要求21所述的电子装置,其特征在于,在分析与所述两个或多个连续的视频帧相关的所述信息时,所述帧率转换模块用于分析所述视频帧流的每两个或多个连续的视频帧的内容。
23.如权利要求22所述的电子装置,其特征在于,在分析所述视频帧流的所述每两个或多个连续的视频帧的所述内容时,所述帧率转换模块配置分析关于所述视频帧流的所述每两个或多个连续的视频帧的所述内容的结构、运动速度、运动复杂度、或其组合。
24.如权利要求21所述的电子装置,其特征在于,还包括:
视频解码器,用于提供关于所述视频帧流的信息,
其中,所述帧率转换模块还可以从所述视频解码器接收关于所述视频帧流的所述信息,
与所述两个或多个连续的视频帧相关的所述信息包括从所述视频解码器接收的所述信息,以及
从所述视频解码器接收的所述信息包括关于所述视频帧流的运动向量、块残留、或其组合的信息。
25.如权利要求21所述的电子装置,其特征在于,在动态调整至少所述两个或多个视频帧的所述帧率时,所述帧率转换模块用于基于所述分析的结果,在所述视频帧流的源帧率下保持至少所述两个或多个视频帧的所述帧率。
26.如权利要求21所述的电子装置,其特征在于,在动态调整至少所述两个或多个视频帧的所述帧率时,所述帧率转换模块用于基于所述分析的结果,调整至少所述两个或多个视频帧的所述帧率,以使所述帧率位于所述视频帧流的源帧率和显示帧率之间,其中所述显示帧率不同于所述源帧率。
27.如权利要求21所述的电子装置,其特征在于,在动态调整至少所述两个或多个视频帧的所述帧率时,所述帧率转换模块用于基于所述分析的结果,将至少所述两个或多个视频帧的所述帧率提高到显示帧率,所述显示帧率大于所述视频帧流的源帧率。
28.如权利要求21所述的电子装置,其特征在于,在动态调整至少所述两个或多个视频帧的所述帧率时,所述帧率转换模块用于基于所述分析的结果,将至少所述两个或多个视频帧的所述帧率降低到显示帧率,所述显示帧率小于所述视频帧流的源帧率。
29.如权利要求21所述的电子装置,其特征在于,所述显示处理模块耦接至所述帧率转换模块,以从所述帧率转换模块接收所述视频帧流。
30.如权利要求21所述的电子装置,其特征在于,所述显示处理模块耦接至所述帧率转换模块,以提供所述视频帧流至所述帧流转换模块。
CN201610156476.3A 2015-03-20 2016-03-18 内容自适应帧率转换方法以及相关装置 Withdrawn CN105991955A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562135940P 2015-03-20 2015-03-20
US62/135,940 2015-03-20
US15/058,120 2016-03-01
US15/058,120 US20160182853A1 (en) 2015-03-20 2016-03-01 Dynamic Content Adaptive Frame Rate Conversion

Publications (1)

Publication Number Publication Date
CN105991955A true CN105991955A (zh) 2016-10-05

Family

ID=56131012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610156476.3A Withdrawn CN105991955A (zh) 2015-03-20 2016-03-18 内容自适应帧率转换方法以及相关装置

Country Status (2)

Country Link
US (1) US20160182853A1 (zh)
CN (1) CN105991955A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580882A (zh) * 2018-06-07 2019-12-17 宏碁股份有限公司 光学无线通信系统
CN111277895A (zh) * 2018-12-05 2020-06-12 阿里巴巴集团控股有限公司 一种视频插帧方法和装置
CN111464851A (zh) * 2020-04-08 2020-07-28 上海晨驭信息科技有限公司 一种同屏显示观看多通道多帧率视频的系统
CN111541940A (zh) * 2020-04-30 2020-08-14 深圳创维-Rgb电子有限公司 显示设备的运动补偿方法、装置、电视机及存储介质
CN112449243A (zh) * 2021-01-28 2021-03-05 浙江华创视讯科技有限公司 一种视频处理方法、装置、设备及存储介质
US11818497B2 (en) 2019-02-28 2023-11-14 Huawei Technologies Co., Ltd. Recording frame rate control method and related apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4304167A1 (en) * 2021-06-14 2024-01-10 Samsung Electronics Co., Ltd. Electronic device carrying out video call by using frc, and operation method for electronic device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080055318A1 (en) * 2006-08-31 2008-03-06 Glen David I J Dynamic frame rate adjustment
CN101189882A (zh) * 2004-07-20 2008-05-28 高通股份有限公司 用于视频压缩的编码器辅助帧率上变换(ea-fruc)的方法和装置
CN101496409A (zh) * 2006-07-25 2009-07-29 高通股份有限公司 自适应视频帧内插
CN101641952A (zh) * 2006-12-26 2010-02-03 美国博通公司 用于进行帧率转换的视频处理器结构和方法
CN102271253A (zh) * 2010-06-07 2011-12-07 索尼公司 使用运动估计的图像处理方法和图像处理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6383425B2 (ja) * 2014-02-25 2018-08-29 アップル インコーポレイテッドApple Inc. ビデオ符号化及び復号のための適応的伝達関数

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101189882A (zh) * 2004-07-20 2008-05-28 高通股份有限公司 用于视频压缩的编码器辅助帧率上变换(ea-fruc)的方法和装置
CN101496409A (zh) * 2006-07-25 2009-07-29 高通股份有限公司 自适应视频帧内插
US20080055318A1 (en) * 2006-08-31 2008-03-06 Glen David I J Dynamic frame rate adjustment
CN101641952A (zh) * 2006-12-26 2010-02-03 美国博通公司 用于进行帧率转换的视频处理器结构和方法
CN102271253A (zh) * 2010-06-07 2011-12-07 索尼公司 使用运动估计的图像处理方法和图像处理装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580882A (zh) * 2018-06-07 2019-12-17 宏碁股份有限公司 光学无线通信系统
CN111277895A (zh) * 2018-12-05 2020-06-12 阿里巴巴集团控股有限公司 一种视频插帧方法和装置
CN111277895B (zh) * 2018-12-05 2022-09-27 阿里巴巴集团控股有限公司 一种视频插帧方法和装置
US11818497B2 (en) 2019-02-28 2023-11-14 Huawei Technologies Co., Ltd. Recording frame rate control method and related apparatus
CN111464851A (zh) * 2020-04-08 2020-07-28 上海晨驭信息科技有限公司 一种同屏显示观看多通道多帧率视频的系统
CN111541940A (zh) * 2020-04-30 2020-08-14 深圳创维-Rgb电子有限公司 显示设备的运动补偿方法、装置、电视机及存储介质
CN111541940B (zh) * 2020-04-30 2022-04-08 深圳创维-Rgb电子有限公司 显示设备的运动补偿方法、装置、电视机及存储介质
CN112449243A (zh) * 2021-01-28 2021-03-05 浙江华创视讯科技有限公司 一种视频处理方法、装置、设备及存储介质
CN112449243B (zh) * 2021-01-28 2021-06-15 浙江华创视讯科技有限公司 一种视频处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20160182853A1 (en) 2016-06-23

Similar Documents

Publication Publication Date Title
CN105991955A (zh) 内容自适应帧率转换方法以及相关装置
US10261596B2 (en) Gesture pre-processing of video stream using a markered region
US10462411B2 (en) Techniques for video analytics of captured video content
CN109086747B (zh) 使用肤色检测的视频流的姿势预处理
US8856815B2 (en) Selective adjustment of picture quality features of a display
US20110032419A1 (en) Picture processing apparatus and picture processing method
US11838676B2 (en) Key frame selection in burst imaging for optimized user experience
CN108885785A (zh) 用于时间噪声减少的运动自适应流处理
US10484690B2 (en) Adaptive batch encoding for slow motion video recording
US9525803B2 (en) Object detection using motion estimation
CN102761739B (zh) 用来动态地调整视频译码复杂度的装置与方法
EP2809060A2 (en) Adaptive motion instability detection in video
US9940896B2 (en) Telecine judder removal systems and methods
US9275468B2 (en) Fallback detection in motion estimation
US11704813B2 (en) Visual search method, visual search device and electrical device
TW202301266A (zh) 自動內容相關影像處理演算法選擇的方法及系統
US20200302881A1 (en) Liquid crystal display apparatus, liquid crystal display control method, and program
WO2022193211A1 (en) Real-time adaptive correction in viewport prediction for improved immersive video
Sundar et al. Hardware acceleration of video quality metrics
CN109102770A (zh) 一种面向高性能计算的低功耗低带宽显示面板驱动芯片
CN108737761B (zh) 视频录制方法及装置
US20230158402A1 (en) Image stabilization system and method
US20160261823A1 (en) Semiconductor display driver device, mobile multimedia apparatus and method for frame rate conversion
CN113961160A (zh) 屏幕调节方法和装置
CN117729355A (zh) 一种视频转码方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20161005