CN101686397B - 用于快速视频帧和场编码的方法 - Google Patents

用于快速视频帧和场编码的方法 Download PDF

Info

Publication number
CN101686397B
CN101686397B CN2009102072554A CN200910207255A CN101686397B CN 101686397 B CN101686397 B CN 101686397B CN 2009102072554 A CN2009102072554 A CN 2009102072554A CN 200910207255 A CN200910207255 A CN 200910207255A CN 101686397 B CN101686397 B CN 101686397B
Authority
CN
China
Prior art keywords
frame
super
field
judgement
macroblock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009102072554A
Other languages
English (en)
Other versions
CN101686397A (zh
Inventor
尹鹏
吉尔·麦克唐纳·伯恩斯
亚历山德罗斯·迈克尔·图阿皮斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101686397A publication Critical patent/CN101686397A/zh
Application granted granted Critical
Publication of CN101686397B publication Critical patent/CN101686397B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本发明提供了用于快速视频帧和场编码的方法和装置。具体而言,提供了视频编码器和相应的方法,用于对可被分割成超级宏块(super-MB)的图像的视频数据进行编码。视频编码器包括编码器(200),用于利用被垂直应用到该图像的带通/高通滤波器,将图像中的super-MB分类成帧模式或场模式之一。

Description

用于快速视频帧和场编码的方法
本申请是申请日为2005年9月14日、申请号为200580031214.4、名称为“用于快速视频帧和场编码的方法和装置”的发明专利申请的分案申请。 
相关申请交叉引用
本申请要求2004年9月16日提交的题为“METHOD ANDAPPARATUS FOR RAPID VIDEO FRAME AND FIELD CODING”的美国临时专利申请No.60/610,512的优先权,该申请整体通过引用结合于此。 
技术领域
本发明一般地涉及视频编码器,更具体地说,涉及用于快速视频帧和场编码的方法和装置。 
背景技术
JVT/H.264/MPEG AVC(“JVT”)标准允许对渐进的和经交错视频序列二者进行编码,并且支持三种不同的图片编码模式。参考图1A到图1C,H.264内的图片编码类型总地由标号110、120和130指示。具体而言,帧编码类型总地由标号110指示,场编码类型总地由标号120指示,而宏块(MB)自适应帧/场编码类型总地由标号130指示。 
在基于帧的编码110中,图片是通过使最高和最低两条线交错而被创建的。在基于场的编码120中,经交错帧被分离成最高和最低的场,并且每个场被分别编码。该标准还支持被称作宏块自适应帧/场编码(MBAFF)模式的副帧模式,其中帧被划分成16×32个超级宏块。这些划分本质上包括2个宏块(MB),这2个宏块都要么以场模式要么以帧模式被编码。还可以将两种帧图片编码模式中的任一种(通常的或 MBAFF)与场图片组合,这在编码器处提供了额外的灵活性和提高的性能。但是,这编码器具有自适应地选择将使用何种图片编码模式(图片自适应帧/场编码-PAFF)的能力。 
通常,对于快速运动的交错帧,独立地压缩每个场可能更有效。相反,如果帧既包括运动区域又包括静止区域,则利用MBAFF编码以场模式编码运动区域并且以帧模式编码静止区域通常更有效。 
图片级别帧和场编码(PAFF)和宏块级别帧和场编码(MBAFF)工具被H.264视频编码标准采纳到主要的和扩展的简档中,用于提高对经交错序列的编码效率。PAFF判决被用来决定包括两个互补的场的当前交错帧是应当作为单个帧被编码(帧模式)还是作为两个独立的经编码场(场模式)。相反,MBAFF判决被用在包括16×32个超级宏块(super-MB)(即,一对垂直相邻的宏块)的特定结构化的帧模式中,来决定super-MB是以场模式还是帧模式被编码。 
因此,用于编码经交错序列的多种组合可用。更具体地说,每个帧可以在未经super-MB划分的情况下作为单个非经交错帧被编码,或者作为两个互补场(PAFF模式)被编码。第二种选择是以MBAFF模式编码整个序列,其中每个帧作为包括一帧场超级MB划分的单个帧被编码(MBAFF模式)。最后,也可以将上述两种判决组合,其中一个帧可以作为包括帧或场super-MB划分的单个帧被编码或者作为两个互补场被编码(PAFF+MBAFF)。 
在JVT参考软件中,多遍方法被用来决定编码模式。如果PAFF被使用,则帧将首先以帧和场模式二者被编码。导致最小拉格朗日失真J=D+λR的模式将被选择为最终模式,其中D是失真,R是速率,而λ是拉格朗日乘数。类似地,如果MBAFF被使用,则每个super-MB划分(即,一组2个垂直相邻的MB)将首先以帧和场模式二者被编码。同样,具有最小拉格朗日失真的模式被选择为用于该super-MB的最终模式。最后,如果PAFF+MBAFF二者都被考虑,则编码过程可以被看作是上述PAFF和MBAFF编码方法的组合,即,帧在利用MBAFF的帧模式中首先被编码,其中每个super-MB将基于先前描述的MBAFF判决以场或者帧模式被 编码。同一个帧也将作为两个分离的场被编码,并且将基于PAFF判决决定最终编码模式(MBAFF帧对场)。 
采用这些工具提供了编码经交错帧的灵活性,尽管也相当大地增加了复杂性。 
因此,希望具有一种方法和装置用于快速并且/或者更低复杂度的PAFF和MBAFF判决,并且这种方法和装置是非常有益的。 
发明内容
本发明解决了现有技术的这些和其他缺陷和缺点,本发明涉及一种方法和装置,用于快速视频帧和场编码。 
根据本发明一个方面,提供了一种用于对可分割成超级宏块(super-MB)的图像的视频数据进行编码的视频编码器。该视频编码器包括利用被垂直应用到该图像的带通/高通滤波器,将图像中的super-MB分类成帧模式或场模式之一的编码器。 
根据本发明的另一个方面,提供了一种用于对可分割成超级宏块(super-MB)的图像的视频数据进行编码的视频编码器。该视频编码器包括利用被垂直应用到super-MB中的每个super-MB以分别将super-MB中的每个super-MB分类成图像中的运动区域或不运动区域的带通/高通滤波器,来执行图片自适应帧场(PAFF)判决的编码器。其中PAFF判决基于图像中被分类成运动区域的super-MB的百分比。 
根据本发明的另一个方面,提供了一种用于对可分割成超级宏块(super-MB)的图像的视频数据进行编码的视频编码器。该视频编码器包括利用预分析判决的编码器,所述预分析判决针对场模式或帧模式对所述图像中的单独的super-MB进行分类,以用于图片自适应帧场(PAFF)模式选择和宏块自适应帧场(MBAFF)模式选择二者。 
根据本发明又一个方面,提供了一种用于对图像的视频数据进行编码的方法。该方法包括利用被垂直应用到该图像的带通/高通滤波器,将该图像中的超级宏块(super-MB)分类成帧模式或场模式之一。 
根据本发明的又一个方面,提供了一种用于对可分割成超级宏块 (super-MB)的图像的视频数据进行编码的方法。该方法包括利用被垂直应用到super-MB以分别将super-MB中的每个super-MB分类成所述图像中的运动区域或不运动区域的带通/高通滤波器,来执行图片自适应帧场(PAFF)判决的步骤。其中PAFF判决基于图像中被分类成运动区域的super-MB的百分比。 
根据本发明的附加方面,提供了一种用于对图像的视频数据进行编码的方法。该方法包括使用预分析判决的步骤,该预分析判决针对场模式或帧模式对所述图像中的单独的super-MB进行分类,以用于图片自适应帧场(PAFF)模式选择和宏块自适应帧场(MBAFF)模式选择二者。 
结合附图阅读下面对示例性实施方式的详细描述,本发明的其他方面、特征和优点将变清楚。 
附图说明
根据下面的示例性附图,可以更好地理解本发明,在附图中: 
图1A-1C是示出了H.264中的图片编码类型的图,这些图片编码类型适于根据本发明的原理使用; 
图2示出了根据本发明原理的视频编码器的框图,该视频编码器具有快速图片帧和场编码(PAFF)或PAFF和宏块帧场编码(MBAFF)判决; 
图3示出了根据本发明原理的方法的流程图,该方法用于执行快速图片帧和场编码(PAFF)判决; 
图4示出了根据本发明原理的方法的流程图,该方法用于执行快速宏块帧场编码(MBAFF);以及 
图5示出了根据本发明原理的方法的流程图,该方法用于执行快速图片帧和场编码(PAFF)和快速宏块帧场编码(MBAFF)判决。 
具体实施方式
本发明涉及用于快速视频帧和场编码的方法和装置。该方法和装置可以在预分析阶段实现。 
本说明解释了本发明的原理。因此,将意识到本领域技术人员将能够设计出各种布置来体现本发明的原理,尽管未在这里明确地描述和示出,但是它们都被包括本发明的精神和范围内。 
这里所描述的所有示例和条件语言都是要帮助读者理解本发明的原理和发明人对现有技术作出贡献的概念,并且应当被理解为不是对这种专门描述的示例和条件的限制。 
此外,这里描述本发明的原理、方面和实施方式及其特定示例的所有陈述都是要包括其结构和功能等同物二者。另外,这种等同物包括当前已知的等同物以及将来开放的等同物,即,开发来执行相同功能的任何元件,而不管结构如何。 
因此,例如,本领域技术人员将意识到这里给出的框图代表体系本发明原理的说明性电路的概念视图。类似地,将意识到任何流程表、流程图、状态转换图、伪代码等都代表各种过程,这些过程基本上可以表现在计算机可读介质中,并且由计算机或处理器执行,不管这种计算机或处理器是否被明确示出。 
图中所示的各个元件的功能可以通过使用与适当的软件相关联的专用硬件和能够执行软件的硬件提供。当由处理器提供时,这些功能可由单个专用处理器提供、由单个共享处理器提供、或者由多个独立的处理器提供(其中的一些是可以被共享)。此外,明确地使用术语“处理器”或“控制器”不应当被解释为排他地指代能够执行软件的硬件,而是也可以非限制地包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机访问存储器(“RAM”)和非易失性存储设备。 
还可以包括其他传统的和/或专用的硬件。类似地,图中示出的任何开关都仅是概念性的。它们的功能可以通过程序逻辑的运行、通过专用逻辑、通过程序控制和专用逻辑的交互,或者甚至手动执行,实现者可选择的具体技术可从上下文具体理解。 
在本发明的权利要求中,作为用于执行指定功能的装置表述的任何元件包括执行该功能的任何方式,包括例如a)执行该功能的电路元件的组合,或者b)与适当的电路组合的任何形式的软件(因此包括固件、微代 码等),其中该电路用于执行软件来执行该功能。这样的权利要求所限定的发明在于这样的事实:各种所述装置所提供的功能以权利要求所限定的方式被组合并结合到一起。因此认为可以提供那些功能的任何装置都等同于这里示出的那些。 
下面将给出对本发明的总地描述,然后更详细地描述本发明的各个方面。 
参见图2,该图示出了具有快速图片帧和场编码(PAFF)或PAFF和宏块帧场编码(MBAFF)判决的视频编码器,该编码器由标号200总地示出。 
到视频编码器视频编码器200的输入以信号通信的方式被与运动活动探测器210的输入相连接。运动活动探测器210的第一输出以信号通信的方式被与帧模式或者MBAFF帧模式编码器230的第一输入以及PAFF判决模块220的输入相连接。取决于PAFF判决模块220的输出,PAFF判决模块220的输出能够以信号通信的方式被与帧模式或者MBAFF帧模式编码器230的第二输入以及场模式编码器240的第一输入相连接。帧模式或者MBAFF帧模式编码器230的输出或场模式编码器240的输出可以用作视频编码器200的输出。 
在本发明的一个说明性实施方式中,带通/高通滤波器被应用到图像来检测图像中的运动区域。基于图像内的被分类成运动区域的super-MB的百分比,PAFF判决被执行。类似地,基于相应的super-MB是否也被分类成对应于运动区域,MBAFF判决被执行。在检测运动边沿期间,自适应阈值被应用。 
在本发明的实施方式中隐含的基本假设在于总地来说运动区域通常利用场编码被最佳编码而静止区域则相反以帧模式被较好编码。 
现在将给出对本发明的上述实施例进一步描述。可以认为本发明包括下面的三个步骤。 
第一步骤包括对图像应用带通/高通滤波器来检测图像中的运动区域。带通/高通滤波器通过例如考虑这种滤波器对图像内的交错伪像(运动边沿)的影响来检测图像中的运动区域。带通/高通滤波器可以是用于边沿检 测的滤波器、边沿探测器和/或能够检测图像中的运动区域或者其部分的任何其他元件,但是不限于此。优选但不一定,带通/高通滤波器被垂直应用到图像上。 
第二步骤包括针对每个super-MB创建掩码。基于super-MB的经滤波器像素的值,如果super-MB是运动super-MB,则掩码被设置为1,如果super-MB不是运动super-MB,则被设置为0。 
第三步骤可以认为包括2个部分(或者子步骤),这2个部分可以独立地(即,仅一个被执行)或者组合地(即,都被执行)被执行。 
第三步骤的第一部分在PAFF判决将被使用时被执行。在这种情形中,运动super-MB的数目也被计数,并且当百分比大于阈值T1时,帧以场模式被编码。否则,帧以帧模式被编码。 
第三步骤的第二部分在MBAFF判决将被使用时被执行。在这种情形中,当当前super-MB的掩码等于1时,当前super-MB以场模式被编码。否则,当前super-MB以帧模式被编码。 
如上所述,第三步骤的第一部分和第二部分可以被组合用于两步PAFF+MBAFF判决,其中PAFF判决首先被执行,并且如果帧被PAFF判决选择,则MBAFF判决被执行。 
参见图3,用于执行快速图片帧和场编码(PAFF)判决的方法由标号300总地示出。方法300包括开始框302,其将控制传递到功能框304。功能框304对图像垂直应用高通/带通滤波器,然后将控制传递到功能框306。功能框306将阈值应用到该图像,并且将控制传递到循环限制框308。循环限制框308开始循环,循环变量i从0到superMBs_in_pic-1,然后将控制传递到功能框310。功能框310基于super-MB i中的阈值图像的值的和,计算super-MB i的掩码值MASK(i),然后将控制传递到判决框312。判决框312确定掩码值MASK(i)是否等于1。如果掩码值MASK(i)不等于1,则控制被传递到循环限制框314。否则,如果掩码值MASK(i)等于1,则控制被传递到功能框322。 
结束循环框314结束该循环,然后将控制传递到判决框316。判决框316确定计数器变量是否大于预先指定的阈值。如果计数器变量不大于预 先指定的阈值,则控制被传递到功能框318。否则,如果计数器变量大于预先指定的阈值,则控制被传递到功能框324。 
功能框318以帧图片模式执行编码,然后将控制传递到结束框320。 
功能框322将计数器递增1,然后将控制传递到循环限制框314。 
功能框324以场图片模式执行编码,然后将控制传递到结束框320。 
参考图4,用于执行快速宏块帧场编码(MBAFF)判决的方法由标号400总地示出。方法400包括开始框402,其将控制传递到功能框404。功能框404对图像垂直应用高通/带通滤波器,然后将控制传递到功能框406。功能框406将阈值应用到图像,然后将控制传递到循环限制框408。循环限制框408开始循环,循环变量i从0到superMBs_in_pic-1,然后将控制传递到功能框410。功能框410基于super-MB i中的阈值图像的值的和,计算super-MB i的掩码值MASK(i),然后将控制传递到判决框412。判决框412确定掩码值MASK(i)是否等于1。如果掩码值MASK(i)不等于1,则控制被传递到循环限制框414。否则,如果掩码值MASK(i)等于1,则控制被传递到功能框420。 
功能框414以帧super-MB模式执行编码,然后将控制传递到循环限制框416。循环限制框416结束循环,然后将控制传递到结束框418。 
功能框420以场super-MB模式执行编码,然后将控制传递到循环限制框416。 
参考图5,用于执行快速图片帧和场编码(PAFF)和快速宏块帧场编码(MBAFF)判决的方法由标号500总地示出。方法500包括开始框502,其将控制传递到功能框504。功能框504对图像垂直应用高通/带通滤波器,然后将控制传递到功能框506。功能框506将阈值应用到图像,然后将控制传递到循环限制框508。循环限制框508开始循环,循环变量i从0到superMBs_in_pic-1,然后将控制传递到功能框510。功能框510基于super-MB i中的阈值图像的值的和,计算super-MB i的掩码值MASK(i),然后将控制传递到判决框512。判决框512确定掩码值MASK(i)是否等于1。如果掩码值MASK(i)不等于1,则控制被传递到循环限制框514。否则,如果掩码值MASK(i)等于1,则控制被传递到功能框 530。 
循环限制框514结束循环,然后将控制传递到判决框516。判决框516确定计数器变量是否大于预先指定的阈值。如果计数器变量不大于预先指定的阈值,则控制被传递到功能框518。否则,如果计数器变量大于预先指定的阈值,则控制被传递到功能框532。 
功能框518以帧图片模式执行编码,然后将控制传递到循环限制框520。循环限制框520开始循环,循环变量i从0到superMBs_in_pic-1,然后将控制传递到判决框522。 
判决框522基于510中的预先计算的数据,确定掩码值MASK(i)是否等于1。如果掩码值MASK(i)不等于1,则控制被传递到功能框524。否则,如果掩码值MASK(i)等于1,则控制被传递到功能框534。 
功能框524以帧super-MB模式执行编码,然后将控制传递到循环限制框526。循环限制框526结束循环,然后将控制传递到结束框528。 
功能框530将计数器递增1,然后将控制传递到循环限制框514。循环限制框514结束循环,然后将控制传递到判决框516。 
功能框532以场图片模式执行编码,然后将控制传递到结束框528。 
功能框534以场super-MB模式执行编码,然后将控制传递到循环限制框526。 
现在将给出关于前述本发明的各个方面的进一步描述。 
现在将给出关于带通滤波器kBP的进一步描述。如果考虑一个对象在背景前水平运动的情形,则沿着该对象的边沿可以观察到交错伪像(即,运动边沿),这是由于每个奇数场总是在其前的偶数场晚刚好一场被捕捉到。通过检测这种交错伪像,可以确定该对象是否正在运动。可以理解,如这里所使用的,短语“带通滤波器”包括高通滤波器和能够检测这里所述的交错伪像的任何其他类型的滤波器。这些滤波器可以沿当前帧的垂直轴被应用。 
在对当前帧应用了带通滤波器后,要判断运动边沿是否出现在图像中。假定在滤波器后,经滤波器的输出为IBP(x,y)。 
现在将给出关于针对super-MB创建掩码的进一步描述。 
通过对IBP(x,y)取绝对值并将其值与阈值T1相比较,生成阈值处理后的图像M(x,y),即: 
Figure G2009102072554D00101
(等式1) 
super-MB E的掩码被设置为: 
(等式2) 
一种用于判定super-MB E的掩码的替换方法是将阈值(T能量)与经滤波器像素的绝对值的和相比较,如下所示: 
Figure G2009102072554D00103
(等式3) 
对于PAFF判决,如果 hist _ edge = Σ i ∈ B MASK ( i ) > T 3 , 则帧以场模式被编码,否则,帧以帧模式被编码,其中B是super-MB的集合。至于MBAFF判决,如果MASK(E)=1,则super-MB E以场模式被编码,否则,super-MB以帧模式被编码。 
尽管等式1和等式2的公式对于运动super-MB的检测看起来足够,但是未考虑对宏块或块内的像素的实际位置(x,y)的编码期间的影响。例如,对于这种比较,块边沿像素的重要性与块中央的像素相比可能较低,这尤其是由于循环解块滤波器的影响所致。另一方面,取决于相邻像素直接的相关性,重要性可以增大或减小。因此,用于计算MASK(E)的可能替换是: 
Figure G2009102072554D00105
(等式4) 
其中a(x,y)是取决于位置(x,y)和在该位置与其邻居处的值IBP(.)的相关性的值。例如,对于4×4的块: 
a = 1 4 2 3 3 2 3 4 4 3 3 4 4 3 2 3 3 2
边沿检测滤波器可以检测经交错伪像(运动边沿)和真正的边沿。为了减少这种假阳性检测的可能性,等式1中的阈值T1基于帧中的第一场 (假定为最顶上的场)的特性被自适应地选择。相同的滤波器KBP被处置应用到该场。阈值被选择,其中在该场中边沿的比率小于T4,即, 
∑M(x,y)<T4*W*H/2       (等式5), 
其中W是帧的宽度,H是帧的高度。阈值可以基于帧、基于图片组(GOP)或者基于场景被决定。这里所使用的术语“GOP”指其后跟随P和B图片的I图片。此外,这里所使用的“基于场景”指场景改变中-之间的图片。其他阈值可以根据经验决定。一个示例是设置T2=0,T3=0.5,并且T4=0.1。当然,本发明不限于前述值,因此在维持本发明的范围的情况下也可以使用其他的值。 
上面的判决可以与其他标准一起被应用,例如当前帧和其前面的参考帧之间的绝对差(称作avgdiff)、或者帧类型(即,image_type)、或者宏块特性(例如,平面的、边沿的或纹理的)、帧或MB变量,同时这些量度也可以允许必要的阈值的自动适应。PAFF判决的一个示例可以例如是, 
   if(image_type==I_SLICE) 
   if{hist_edge<0.5} 
      Code as frame mode; 
   else 
       Code as field mode; 
else if(image_type==B_SLICE) 
   if{hist_edge<0.6} 
      Code as frame mode; 
   else 
       Code as field mode; 
else   //P_slice 
   if                                                     ((hist_edge 
>0.5)||(hist_edge>0.3)&&(avgdiff>4.5))&&(avgdiff<10.0)) 
        Code as field mode; 
    else 
        Code as frame mode; 
本发明也可以适用于图片组(GOP)级帧/场判决。例如,这里描述的PAFF判决可以被应用到当前GOP中的所有帧。如果要以场模式编码的帧的数目大于某一百分比,则仅场模式编码可被用于整个GOP,否则帧模式被使用。 
现在将给出对本发明的许多伴随的优点/特征中的一些的描述。例如,一个优点/特征是利用垂直带通滤波器例如在预分析阶段执行图片级自适应帧或场判决(PAFF)的编码器。PAFF判决基于图像中的被分类成运动区域的super-MB的百分比被执行。另一个优点/特征是上述编码器,其中带通滤波器是边沿检测滤波器。有一个优点/特征是上述编码器,其中带通滤波器使用被选择来从真实边沿区分运动边沿的自适应阈值,并且其中所述阈值可以是可适应逐帧的、逐GOP的、或者逐场景的。又一个优点/特征是具有上述自适应阈值的编码器,其中带通滤波器还被应用到一个场图像,并且该自适应阈值被选择,其中该场图像中的边沿像素的数目低于另一个阈值。另外,另一个优点/特征是具有上述自适应阈值和其他阈值的编码器,其中边沿像素在阈值处理之前,根据在块内的位置和/或与相邻像素的相关性而首先被加权。此外,另一个优点/特征是上述编码器,其中模式判决被与其他标准组合,所述其他标准例如是帧类型、当前图片和先前的参考图片之间的绝对差、宏块特性(平面的、边沿的或者纹理的),帧和/或MB变量。此外,另一个优点/特征是上述编码器,其中模式判决在图片群组级别被执行,其中上述第一PAFF判决针对当前GOP中的所有帧被执行,使得如果被判定要以场模式被编码的帧的数目大于一定的百分比,则场模式被用于整个GOP。否则,帧模式被使用。又一个优点/特征是利用带通滤波器将super-MB分类成帧或场的编码器。又一个优点/特征是执行上述分类的编码器,其中MBAFF判决是基于带通滤波器结果的。另外,又一个优点/特征是执行上述分类的编码器,其中阈值被应用到super-MB中的每个像素来分类为边沿像素,然后边沿像素的数目被求和并与阈值相比较,来确定该MB是场还是帧。此外,另一个特征/优点是执行上述分类 的编码器,其中经滤波器像素的绝对值的和被相加并与阈值相比较,来确定该MB被分类成场还是帧。此外,又一个优点/特征是一种编码器,其中用于将独立的super-MB分类成场或帧的预分析判决被用于PAFF和MBAFF模式判决。 
本领域技术人员基于这里的教导,容易确认本发明的这些和其他特征和优点。应当理解,本发明的教导可以以硬件、软件、固件、专用处理器或者它们的组合等各种形式实现。 
最优选地,本发明的教导被实现为硬件和软件的组合。此外,软件优选地被实现为有形地包含在程序存储单元上的应用程序。应用程序可以被上传到包括任何适当体系结构的机器并且由该机器执行。优选地,该机器被实现在计算机平台上,该计算机平台具有例如一个或多个中央处理单元(“CPU”)、随机访问存储器(“RAM”)和输入/输出(“I/O”)接口之类的硬件。计算机平台还可以包括操作系统和微指令代码。这里所述的各种工程和功能可以是微指令代码的一部分或者应用程序的一部分,或者它们的任何组合,其可由CPU执行。另外,各种其他外围单元可以被连接到计算机平台,例如附加的数据存储单元和打印单元。 
还应当理解,因为在附图中示出的构成系统组件和方法中的一些优选以软件实现,系统组件或过程功能块之间的实际连接取决于本发明被编程的方式而可能不同。给定这里的教导,本领域技术人员将能够设想本发明的这些和类似的实现方式或配置。 
尽管这里已参考附图描述了说明性实施例,但是应当理解本发明不限于这些具体实施例,在不脱离本发明的范围和精神的情况下,本领域技术人员可以实现各种改变和修改。所有这种改变和修改都是要被包括在所附权利要求书所阐述的本发明的范围内。 

Claims (8)

1.一种用于对可分割成超级宏块的图像的视频数据进行编码的方法,包括:
利用被垂直应用到所述超级宏块以分别将所述超级宏块中的每个超级宏块分类成所述图像中的运动区域或不运动区域的带通/高通滤波器,来执行(304、310、316、324和318)图片自适应帧场判决,并且其中所述图片自适应帧场判决基于所述图像中被分类成运动区域的超级宏块的百分比,
其中,所述超级宏块是一对垂直相邻的宏块,并且
其中,当所述图像中被分类成运动区域的超级宏块的百分比大于预定阈值时,所述图像以场模式被编码,否则,所述图像以帧模式被编码。
2.如权利要求1所述的方法,其中所述带通/高通滤波器是边沿探测滤波器。
3.如权利要求1所述的方法,其中所述带通/高通滤波器使用可适应阈值,该可适应阈值被选择用于将运动边沿与真实边沿区分开来。
4.如权利要求3所述的方法,其中所述可适应阈值是逐帧、逐图片组或者逐场景可适应的。
5.如权利要求3所述的方法,其中所述带通/高通滤波器被应用到一场图像,并且所述可适应阈值被选择为其中所述一场图像中的边沿像素的数目低于另一个阈值。
6.如权利要求5所述的方法,其中所述方法还包括在进行阈值处理之前根据超级宏块中的位置和与相邻像素的相关性中的至少一个对所述边沿像素进行属性加权的步骤。
7.如权利要求1所述的方法,其中所述图片自适应帧场判决被与其他标准组合,所述其他标准包括从下述群组中选出的至少一个:帧类型、当前图片和先前的参考图片的绝对差、宏块特性、帧变量以及宏块变量。
8.如权利要求1所述的方法,其中所述图片自适应帧场判决对于当前图片组中的所有帧,在图片组级别上被执行,使得当判定为要以所述场模式被编码的帧的数目大于预先指定的百分比时,所述场模式被用于所述当前图片组,否则所述帧模式被用于所述当前图片组。
CN2009102072554A 2004-09-16 2005-09-14 用于快速视频帧和场编码的方法 Expired - Fee Related CN101686397B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US61051204P 2004-09-16 2004-09-16
US60/610,512 2004-09-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2005800312144A Division CN101023679B (zh) 2004-09-16 2005-09-14 用于快速视频帧和场编码的方法和装置

Publications (2)

Publication Number Publication Date
CN101686397A CN101686397A (zh) 2010-03-31
CN101686397B true CN101686397B (zh) 2013-07-31

Family

ID=35463975

Family Applications (3)

Application Number Title Priority Date Filing Date
CN2009102072569A Expired - Fee Related CN101677402B (zh) 2004-09-16 2005-09-14 用于快速视频帧和场编码的方法和装置
CN2009102072554A Expired - Fee Related CN101686397B (zh) 2004-09-16 2005-09-14 用于快速视频帧和场编码的方法
CN2005800312144A Expired - Fee Related CN101023679B (zh) 2004-09-16 2005-09-14 用于快速视频帧和场编码的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2009102072569A Expired - Fee Related CN101677402B (zh) 2004-09-16 2005-09-14 用于快速视频帧和场编码的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2005800312144A Expired - Fee Related CN101023679B (zh) 2004-09-16 2005-09-14 用于快速视频帧和场编码的方法和装置

Country Status (6)

Country Link
US (1) US8270480B2 (zh)
EP (1) EP1790171B1 (zh)
JP (2) JP5479679B2 (zh)
CN (3) CN101677402B (zh)
BR (1) BRPI0515282A (zh)
WO (1) WO2006033915A2 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801385B2 (en) * 2005-05-10 2010-09-21 Intel Corporation Perceptual filter support techniques
EP1894415A2 (en) * 2005-06-03 2008-03-05 Nxp B.V. Video decoder with hybrid reference texture
US7903739B2 (en) * 2005-08-05 2011-03-08 Lsi Corporation Method and apparatus for VC-1 to MPEG-2 video transcoding
US7881384B2 (en) * 2005-08-05 2011-02-01 Lsi Corporation Method and apparatus for H.264 to MPEG-2 video transcoding
US8208540B2 (en) 2005-08-05 2012-06-26 Lsi Corporation Video bitstream transcoding method and apparatus
WO2007075220A1 (en) * 2005-12-22 2007-07-05 Thomson Licensing Method and apparatus for optimization of frame selection for flexible macroblock ordering (fmo) video encoding
US8483268B1 (en) * 2006-03-14 2013-07-09 Geo Semiconductor Inc. Method and apparatus for frame, field and macroblock adaptive progressive/interlace coding selection
FR2903271A1 (fr) 2006-06-30 2008-01-04 Thomson Licensing Sa Procede de codage en mode trame ou bitrame
FR2910216A1 (fr) * 2006-12-18 2008-06-20 Thomson Licensing Sa Procede et dispositif de selection d'un mode de codage, procedes de codage, de transcodage et support d'enregistrement
JP4695115B2 (ja) * 2007-05-14 2011-06-08 日本電信電話株式会社 動画像符号化方法、動画像符号化装置、動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US8179964B1 (en) * 2007-09-07 2012-05-15 Zenverge, Inc. Efficient transcoding between formats using macroblock buffer
US8665946B2 (en) * 2007-10-12 2014-03-04 Mediatek Inc. Macroblock pair coding for systems that support progressive and interlaced data
GB2454240A (en) * 2007-11-01 2009-05-06 Tandberg Television Asa Picture adaptive frame or field (PAFF) coding for MPEG2 using temporal displacement and distortion thresholds
CN101742293B (zh) * 2008-11-14 2012-11-28 北京中星微电子有限公司 一种基于视频运动特征的图像自适应帧场编码方法
CN101742297B (zh) * 2008-11-14 2012-09-05 北京中星微电子有限公司 一种基于视频运动特征的宏块自适应帧场编码方法及设备
US8699778B2 (en) * 2009-07-29 2014-04-15 Panasonic Corporation Image coding method, image coding apparatus, program, and integrated circuit
CN101635856B (zh) * 2009-08-24 2012-01-11 杭州华三通信技术有限公司 场编码方法及装置
JP2011066592A (ja) * 2009-09-16 2011-03-31 Nippon Telegr & Teleph Corp <Ntt> 符号化モード選択方法,符号化モード選択装置および符号化モード選択プログラム
JP5336003B2 (ja) * 2011-06-15 2013-11-06 パナソニック株式会社 動画像符号化装置
JP5336004B2 (ja) * 2011-06-17 2013-11-06 パナソニック株式会社 動画像復号化装置
CN103702058B (zh) * 2012-09-27 2015-09-16 珠海扬智电子科技有限公司 解交错运算的宏块状态辨识方法与影像处理装置
BR102016022962B1 (pt) * 2016-10-03 2021-10-26 Petróleo Brasileiro S.A. - Petrobras Processo de preparação de um catalisador de ferro-cromo promovido com platina, e, catalisador composto de ferro-cromo promovido com platina
JP2022548521A (ja) 2019-09-23 2022-11-21 アリババ グループ ホウルディング リミテッド 参照ダウンサンプリングありの動き補償補間のためのフィルタ

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1159123A (zh) * 1995-12-28 1997-09-10 大宇电子株式会社 视频信号编码系统控制器
WO2003047271A2 (en) * 2001-11-21 2003-06-05 General Instrument Corporation Picture level adaptive frame/field coding for digital video signal
WO2003092301A1 (en) * 2002-04-26 2003-11-06 Sony Corporation Coding device and method, decoding device and method, recording medium, and program

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3917567A1 (de) * 1989-05-30 1990-12-06 Siemens Ag Verfahren zu einer ermittlung eines entscheidungsergebnisses fuer ein halbbild/vollbild-datenkompressionsverfahrens
JP3125145B2 (ja) * 1990-08-29 2001-01-15 日立電子株式会社 画像データの高能率符号化方法及びその装置
US5227878A (en) * 1991-11-15 1993-07-13 At&T Bell Laboratories Adaptive coding and decoding of frames and fields of video
KR970005831B1 (ko) * 1992-09-09 1997-04-21 대우전자 주식회사 적응적 프레임/필드 변환 부호화를 이용한 영상 부호화기
FR2699306A1 (fr) * 1992-12-16 1994-06-17 Philips Electronique Lab Etage de détection de mouvement dans des signaux représentatifs d'images à trames entrelacées.
JPH06284399A (ja) * 1993-03-29 1994-10-07 Canon Inc 動き検出装置
US5617143A (en) * 1993-03-29 1997-04-01 Canon Kabushiki Kaisha Movement detection device and encoding apparatus using the same
JPH07203428A (ja) * 1993-12-28 1995-08-04 Canon Inc 画像処理方法及び装置
JPH08275160A (ja) * 1995-03-27 1996-10-18 Internatl Business Mach Corp <Ibm> 離散余弦変換方法
JP3111028B2 (ja) * 1996-03-14 2000-11-20 松下電器産業株式会社 画像信号処理装置及び画像信号処理方法
US6577680B2 (en) * 1997-03-12 2003-06-10 Matsushita Electric Industrial Co., Ltd. Video signal coding method and coding device adapted to control code amounts according to the characteristics of pictures
US6275533B1 (en) * 1997-06-20 2001-08-14 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and data recording medium
WO2000059233A1 (en) * 1999-03-26 2000-10-05 Koninklijke Philips Electronics N.V. Video coding method and corresponding video coder
JP4086520B2 (ja) * 2001-03-19 2008-05-14 株式会社リコー 多値画像の符号化及び復号化方法並びに装置
US6980596B2 (en) * 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
US7864838B2 (en) * 2002-10-01 2011-01-04 Panasonic Corporation Picture encoding device, image decoding device and their methods
JP2004187107A (ja) * 2002-12-04 2004-07-02 Fujitsu Ltd 動画像符号化方法及び動画像復号化方法
US20040120398A1 (en) * 2002-12-19 2004-06-24 Ximin Zhang System and method for adaptive field and frame video encoding using rate-distortion characteristics
US7092442B2 (en) * 2002-12-19 2006-08-15 Mitsubishi Electric Research Laboratories, Inc. System and method for adaptive field and frame video encoding using motion activity
US7280597B2 (en) * 2003-06-24 2007-10-09 Mitsubishi Electric Research Laboratories, Inc. System and method for determining coding modes, DCT types and quantizers for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1159123A (zh) * 1995-12-28 1997-09-10 大宇电子株式会社 视频信号编码系统控制器
WO2003047271A2 (en) * 2001-11-21 2003-06-05 General Instrument Corporation Picture level adaptive frame/field coding for digital video signal
WO2003092301A1 (en) * 2002-04-26 2003-11-06 Sony Corporation Coding device and method, decoding device and method, recording medium, and program

Also Published As

Publication number Publication date
WO2006033915A3 (en) 2006-07-13
BRPI0515282A (pt) 2008-07-15
CN101677402B (zh) 2012-04-18
JP2008514120A (ja) 2008-05-01
WO2006033915A2 (en) 2006-03-30
EP1790171B1 (en) 2018-03-28
CN101686397A (zh) 2010-03-31
CN101023679B (zh) 2012-01-11
US8270480B2 (en) 2012-09-18
EP1790171A2 (en) 2007-05-30
CN101677402A (zh) 2010-03-24
CN101023679A (zh) 2007-08-22
US20080101471A1 (en) 2008-05-01
JP2013211882A (ja) 2013-10-10
JP5479679B2 (ja) 2014-04-23

Similar Documents

Publication Publication Date Title
CN101686397B (zh) 用于快速视频帧和场编码的方法
CN103632352B (zh) 一种噪声图像的时域降噪方法和相关装置
CN103141094B (zh) 自适应环路滤波方法和装置
JP2006246431A (ja) 画像符号化装置および画像符号化方法
CN110738611B (zh) 一种视频画质增强方法、系统及设备
CN101938649B (zh) 译码设备、译码控制设备、译码方法和程序
CN110781740B (zh) 一种视频画质识别方法、系统及设备
CN102754440B (zh) 图像编码方法、图像编码装置以及摄像系统
US20080219582A1 (en) Apparatus for Filtering an Image Obtained by Block Based Image Decompression
JP4853199B2 (ja) 画像圧縮方法、装置、電子カメラ、およびプログラム
CN103379319A (zh) 一种滤波方法、滤波器及包含该滤波器的编码器和解码器
CN107592547A (zh) 一种基于hevc压缩域的运动感知图提取方法
CN105828084A (zh) Hevc帧间编码处理方法和装置
CN109120943A (zh) 视频数据恢复方法及装置
CN113259669B (zh) 编码方法、装置、电子设备及计算机可读存储介质
JP4768649B2 (ja) カメラワーク検出方法,装置,プログラムおよびその記録媒体
CN111918059B (zh) 硬件友好的基于回归树的帧内预测模式决策方法及装置
JP5397372B2 (ja) テロップ移動ベクトル算出方法、装置及びプログラム
JP5655480B2 (ja) 動画像符号化装置
CN1503562A (zh) 图像数据的平滑处理器、平滑处理方法以及平滑处理程序
CN117135349A (zh) 图像编码方法、图像解码方法、装置以及存储介质
JP2005252593A (ja) 動きベクトル探索装置
CN104125477B (zh) 一种视频帧淡入/淡出检测方法及装置
CN101204093A (zh) 用于检测图像序列中的渐变的过程及设备
CN109618162A (zh) 带宽压缩中的后选择预测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: France's Nigeria - Billancourt City

Patentee before: THOMSON LICENSING

CP02 Change in the address of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20190130

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190130

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130731

Termination date: 20200914

CF01 Termination of patent right due to non-payment of annual fee