CN104871536A - 减少数字视频流中的压缩噪声的方法和设备 - Google Patents

减少数字视频流中的压缩噪声的方法和设备 Download PDF

Info

Publication number
CN104871536A
CN104871536A CN201380067950.XA CN201380067950A CN104871536A CN 104871536 A CN104871536 A CN 104871536A CN 201380067950 A CN201380067950 A CN 201380067950A CN 104871536 A CN104871536 A CN 104871536A
Authority
CN
China
Prior art keywords
image
pixel
block mode
identify
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380067950.XA
Other languages
English (en)
Inventor
梅诺·比斯瓦斯
瓦苏德弗·巴斯卡兰
苏伊特·斯里尼瓦桑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104871536A publication Critical patent/CN104871536A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H04N19/865Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明描述用于减少数字视频流中的随机噪声的方法和设备。在一个创新方面中,提供用于减少视频流的噪声的装置。所述装置包含经配置以识别所述视频流中包含的图像中的振铃噪声的振铃噪声检测器。所述装置进一步包含经配置以识别所述视频流中包含的所述图像中的块模式的块检测器,所述块检测器经配置以识别预定大小的块模式和任意大小的块模式。所述装置还包含经配置以基于所述识别的振铃噪声和所述块模式对所述图像进行滤波的噪声减少器。

Description

减少数字视频流中的压缩噪声的方法和设备
技术领域
本发明涉及数字视频流中的噪声的减少,更具体来说涉及减少数字视频流中的压缩噪声。
背景技术
产生、发射和观看的数字视频内容可受噪声影响。两个类型的噪声是随机噪声和压缩噪声。随机噪声(也可被称作视频噪声或高斯噪声)可由传感器(例如,相机)或由视频在模拟通道上的发射产生。压缩噪声可当作为存储或发射的部分而压缩数字视频时产生。
数字视频可经压缩以节省用于发射和/或存储视频的带宽要求。如果从源到显示器的带宽是充足可用的,那么可发射未经压缩视频。然而,这可比压缩视频花费更多时间和资源来发射。举例来说,在一些实施方案中,可无线地发射数字视频。可以1920 x 1080的分辨率以高达每秒60帧的速率俘获高清晰度视频。随着特征为在每秒120帧的速率下7680 x 4320的分辨率的超高清晰度视频的出现,此视频的质量继续改善。用户可能不愿意等待未经压缩高清晰度视频的完整下载。因此,可压缩视频流。
压缩可引入噪声。举例来说,压缩噪声可包含所谓的“蚊式噪声”或“振铃噪声”,其大体上指代靠近图像的高对比度边界部分定位的杂散像素。因为这些杂散像素可出现在第一部分中且消失在后续部分中,所以此噪声的视觉效果类似于在周围嗡嗡作响的蚊子的效果。另一形式的压缩噪声包含所谓的“块噪声”,其大体上指代视频流中可见的棋盘图案,其可对应于用于压缩视频的块大小。
随机和压缩噪声两者可分散观看者的注意力且影响观看视频内容的体验,尤其是在较大显示器上。此外,需要图像以提供视频质量呈现的比例和速度涉及在短时间周期中处理许多像素。举例来说,现代的电视机可特征在于1920×1080像素(例如,超过2百万像素)。随着相机和显示器技术变得复杂且消费者要求较高的保真度,像素的数目也可增加。
因此,需要提供用于减少数字视频流中可包含的压缩噪声的方法和设备。
发明内容
本发明的系统、方法和装置各自具有若干方面,其中没有单一方面单独负责其所期望属性。在不限制如通过以下权利要求书表达的本发明的范围的情况下,现在将简洁地论述一些特征。在考虑此论述之后,并且尤其在阅读标题为“具体实施方式”的部分之后,将理解本发明的特征如何提供包含噪声减少器的优点,所述噪声减少器并不假定关于用于视频流的特定压缩编解码器的任何先验知识,除了所述编解码器是基于块的。描述的系统和方法的另一非限制性优点是能够检测多种基于块的压缩方案。举例来说,许多压缩编解码器是基于8x8块。然而,如下文将进一步详细描述,可动态确定块大小以使得可对使用任意块大小压缩的视频流执行噪声减少。这为噪声减少器提供灵活性以使得其可用以对许多形式的视频进行噪声减少。此外,当处理在噪声减少之前可能已经按比例缩放的内容时这是有用的。描述的系统和方法的额外非限制性优点是可针对视频数据的特定部分减少块噪声,例如对接近块的边缘的像素进行滤波而不是将用于解块的滤波器应用于块的所有像素。描述的系统和方法的另一非限制性优点包含基于总图像质量(例如,噪声)的动态噪声滤波(例如,解块和/或去振铃)以使得不会在与含噪声内容相同的电平下对良好质量内容进行滤波。
在一个创新方面中,提供用于减少视频流的噪声的装置。所述装置包含经配置以识别所述视频流中包含的图像中的振铃噪声的振铃噪声检测器。所述装置进一步包含经配置以识别所述视频流中包含的所述图像中的块模式的块检测器,所述块检测器经配置以识别预定大小的块模式和任意大小的块模式。所述装置还包含经配置以基于所述识别的振铃噪声和所述块模式对所述图像进行滤波的噪声减少器。
在另一创新方面中,提供用于减少视频流的噪声的方法。所述方法包含识别视频流中包含的第一图像中的振铃噪声。所述方法进一步包含识别所述视频流中包含的所述图像中的块模式,其中识别所述块模式包含识别预定大小的块模式和任意大小的块模式。所述方法还包含基于所述第一图像、所述识别的振铃噪声和所述块模式而产生第二图像。
还提供用于减少视频流的噪声的另一装置。所述装置包含处理器。所述处理器经配置以识别视频流中包含的第一图像中的振铃噪声。所述处理器进一步经配置以识别视频流中包含的图像中的块模式,其中识别块模式包含识别预定大小的块模式和任意大小的块模式。所述处理器还经配置以基于第一图像、所识别的振铃噪声和块模式产生第二图像。
在另一新颖方面中提供包括指令的计算机可读存储媒体,所述指令可由用于视频流中的噪声减少的设备的处理器执行。所述指令致使所述设备识别视频流中包含的第一图像中的振铃噪声。所述指令致使所述设备识别视频流中包含的图像中的块模式,其中识别块模式包含识别预定大小的块模式和任意大小的块模式。所述指令进一步致使所述设备基于所述第一图像、识别的振铃噪声和块模式而产生第二图像。
还提供用于减少视频流的噪声的另一装置。所述装置包含用于识别视频流中包含的第一图像中的振铃噪声的装置。所述装置包含用于识别所述视频流中包含的所述图像中的块模式的装置,其中识别所述块模式包含识别预定大小的块模式和任意大小的块模式。所述装置还包含用于基于所述第一图像、所述识别的振铃噪声和所述块模式而产生第二图像的装置。
下文进一步参考下图描述符合本发明的这些及其它实施方案。
附图说明
图1说明示范性视频编码及解码系统的功能框图。
图2说明示范性压缩噪声减少器的功能框图。
图3说明去振铃滤波器的功能框图。
图4说明示范性分段窗的像素图。
图5是说明成块假象的像素值的曲线。
图6是说明垂直块网格检测的过程流程图。
图7展示用于一般化的块栅格检测的过程流程图。
图8说明了说明成块假象的像素值的另一曲线。
图9说明减少视频流的噪声的方法的过程流程图。
图10说明另一示范性随机噪声减少器的功能框图。
在图中,具有相同或类似功能的元件尽可能地具有相同名称。
具体实施方式
在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践所述方面。举例来说,可以在框图中展示电组件/装置,以免用不必要的细节混淆所述实例。在其它实例中,可详细展示此些组件、其它结构和技术以进一步解释所述方面。
还应注意,可将所述实例描述成过程,所述过程被描绘成流程图、流图、有限状态图、结构图或框图。尽管流程图可以将操作描述成顺序过程,但是许多操作可以并行或同时执行,并且所述过程可以重复。另外,可以重新布置操作的次序。当过程的操作完成时,所述过程终止。过程可以对应于方法、功能、程序、子例程、子程序等。当过程对应于软件函数时,其终止对应于所述函数返回到调用函数或主函数。
所属领域的技术人员将了解,可使用多种不同技术及技艺中的任一者来表示信息及信号。举例来说,可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任一组合来表示在整个上文描述中可能提及的数据、指令、命令、信息、信号、位、符号和码片。
下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本发明,所属领域的技术人员应了解,本文中所描述的一方面可独立于任何其它方面而实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
图1说明示范性视频编码和解码系统的功能框图。如图1中所示,系统10包含源装置12,其可经配置以经由通信信道15将经编码视频发射到目的地装置16。源装置12和目的地装置16可包括广泛范围的装置中的任一者,包含移动装置或大体上固定装置。在某些情况下,源装置12和目的地装置16包括无线通信装置,例如无线手持机、所谓的蜂窝式或卫星无线电电话、个人数字助理(PDA)、移动媒体播放器或可在可为或可不为无线的通信信道15上传送视频信息的任何装置。然而,关注压缩噪声的检测和校正的本发明的技术可在许多不同系统和设定中使用。图1仅是此系统的一个实例。
在图1的实例中,源装置12可包含视频源20、视频编码器22、调制器/解调器(调制解调器)23和发射器24。目的地装置16可包含接收器26、调制解调器27、视频解码器28及显示装置30。根据本发明,源装置12的视频编码器22可经配置以对参考图像的帧序列进行编码。视频编码器22可经配置以对例如3D转换信息等与图像相关联的额外信息进行编码,所述3D转换信息包含可应用于参考序列的视频帧中的每一者以产生3D视频数据的参数集合。调制解调器23和发射器24可调制且发射无线信号到目的地装置16。以此方式,源装置12将经编码参考序列连同任何额外相关联信息一起传送到目的地装置16。
接收器26和调制解调器27接收且解调从源装置12接收的无线信号。因此,视频解码器28可接收参考图像的帧序列。视频解码器28还可接收可用于解码参考序列的额外信息。
源装置12及目的地装置16仅为这些译码装置的实例,其中源装置12产生用于发射到目的地装置16的经译码视频数据。在一些状况下,装置12、16可以实质上对称的方式操作,使得装置12、16中的每一者包含视频编码和解码组件。因此,系统10可支持视频装置12、16之间的单向或双向视频发射,例如用于视频流式传输、视频播放、视频广播或视频电话。
源装置12的视频源20可包括视频俘获装置,例如视频相机、含有先前俘获的视频的视频档案或来自视频内容提供者的视频馈送。作为另一替代方案,视频源20可产生基于计算机图形的数据作为源视频,或实况视频、存档视频及计算机产生的视频的组合。在一些情况下,如果视频源20为视频相机,那么源装置12及目的地装置16可形成所谓的相机电话或视频电话。在每一状况下,视频编码器22可对所俘获、所预俘获或计算机产生的视频进行编码。作为编码过程的部分,视频编码器22可经配置以实施在此所描述的方法中的一或多者,例如压缩噪声检测和/或校正。经编码视频信息可随后由调制解调器23根据例如码分多址(CDMA)或另一通信标准等通信标准而调制,且经由发射器24发射到目的地装置16。调制解调器23可包含各种混频器、滤波器、放大器或其它经设计用于信号调制的组件。发射器24可包含经设计用于发射数据的电路,包含放大器、滤波器及一或多个天线。
目的地装置16的接收器26可经配置以经由信道15接收信息。调制解调器27可经配置以解调所述信息。再次,视频编码过程可实施本文所描述的技术中的一或多者,例如压缩噪声检测和/或校正。在信道15上传送的信息可包含由视频编码器22界定的信息,其可由与本发明一致的视频解码器28使用。显示装置30向用户显示经解码的视频数据,且可包括例如阴极射线管、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置的多种显示装置中的任一者。
在图1的实例中,通信信道15可包括任一无线或有线通信媒体,例如,射频(RF)频谱或一或多个物理传输线、或无线和有线媒体的任一组合。因此,调制解调器23及发射器24可支持许多可能的无线协议、有线协议或有线及无线协议。通信信道15可形成例如局域网(LAN)、广域网(WAN)或全球网(例如,包含一或多个网络的互连的因特网)的基于包的网络的一部分。通信信道15通常表示用于将视频数据从源装置12发射到目的地装置16的任何合适的通信媒体或不同通信媒体的集合。通信信道15可包含可用于促进从源装置12到目的地装置16的通信的路由器、交换器、基站或任何其它设备。本发明的技术不一定需要将经编码数据从一个装置传送到另一装置,且可适用于没有互逆解码的编码情形。而且,本发明的方面可适用于没有互逆编码的解码情形。
视频编码器22和视频解码器28可与例如ITU-T H.264标准(替代地描述为MPEG-4第10部分高级视频译码(AVC))等视频压缩标准一致地操作。然而,本发明的技术不限于任何特定译码标准或其扩展。尽管图1中未展示,但在一些方面中,视频编码器22及视频解码器28可各自与音频编码器及解码器集成,且可包括适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件,以处理对共同数据流或单独数据流中的音频与视频两者的编码。如果适用,那么多路复用器-多路分用器(MUX-DEMUX)单元可符合多路复用器协议(例如,ITU H.223),或例如用户数据报协议(UDP)等其它协议。
视频编码器22及视频解码器28各自可实施为一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、执行于微处理器或其它平台上的软件、硬件、固件或其任何组合。视频编码器22和视频解码器28中的每一者可包含在一或多个编码器或解码器中,其任一者可作为经组合的编码器/解码器(CODEC)的部分集成在相应移动装置、订户装置、广播装置、服务器或其类似者中。
视频序列通常包括一系列视频帧。视频编码器22和视频解码器28可对个别视频帧内的视频块操作以便对视频数据进行编码和解码。视频块可以具有固定或变化的大小,并且根据指定译码标准可以有不同大小。每一视频帧可包含一系列切片或其它可独立解码的单元。每一切片可包含一系列宏块,其可布置为若干子块。作为实例,ITU-T H.264标准支持各种块大小的帧内预测(例如对于明度分量,16乘16、8乘8或4乘4,及对于色度分量,8乘8)以及各种块大小的帧间预测(例如对于明度分量,16乘16、16乘8、8乘16、8乘8、8乘4、4乘8及4乘4,及对于色度分量,对应的经按比例缩放的大小)。视频块可包含像素数据的块,或变换系数的块,例如,在例如离散余弦变换或概念上类似的变换过程等变换过程之后。
宏块或其它视频块可分组为可解码单元,例如切片、帧或其它独立单元。每一切片可为视频帧的可独立解码的单元。或者,帧本身可为可解码单元,或帧的其它部分可被定义为可解码单元。在本发明中,术语“经译码单元”指代视频帧的任何可独立解码的单元,例如整个帧、帧的切片、图片群组(GOP)或根据使用的译码技术界定的另一可独立解码的单元。
图1的系统10的视频编码器22和/或视频解码器28可经配置以采用如本发明中描述的压缩噪声减少的技术。确切地说,视频编码器22和/或视频解码器28可包含噪声减少器,其应用此些技术中的至少一些以减少视频中可包含的随机噪声。
图2是说明压缩噪声减少器的功能框图的实例的框图。压缩噪声减少器200可包含在源装置12中。举例来说,在一些实施方案中,可能需要在发射之前减少压缩噪声。在此些实施方案中压缩噪声减少器200可从视频编码器22获得压缩视频且提供噪声减少的视频流用于发射。在一些实施方案中,压缩噪声减少器200可包含在视频编码器22中。
在一些实施方案中,压缩噪声减少器200可包含在目的地装置16中。举例来说,在一些实施方案中,可能需要在发射之后减少压缩噪声。在此些实施方案中,压缩噪声减少器200可包含在视频解码器28中。在一些实施方案中,压缩噪声减少器200可作为后解码模块而包含。在此些实施方案中,压缩噪声减少器200可经配置以从视频解码器28接收经解码视频且在显示之前减少经解码视频中包含的压缩噪声。
压缩噪声减少器200接收输入视频数据202。输入视频数据202可为视频数据帧。为便于论述,输入视频数据202将包含视频数据帧。然而将理解,描述的系统和方法可适合于输入视频数据202,例如宏帧、超帧、图片群组或视频数据的其它部分。如上文所论述,输入视频数据202可为视频数据流中包含的图像。所述输入可为实际视频数据或指示视频数据的位置的值。如果输入视频数据202是位置信息,那么随机噪声减少器200可包含经配置以检索所识别输入视频数据202的像素信息的电路。
输入视频数据202可包含其中包含的像素的明度数据。输入视频数据202可包含其中包含的像素的色度数据。在一些实施方案中,输入视频数据202可使用8位来表示。在一些实施方案中,输入视频数据202可使用10位来表示。
输入视频数据202可提供到检测模块204。检测模块204可包含振铃噪声检测器206、标准块检测器208和一般化块检测器210。检测模块204还可接收外部检测器数据214。外部检测器数据214可(例如)从存储器获得(例如,配置设定)。配置数据可包含指示检测模块204中包含的哪些检测器经启用的值和/或由所述检测器中的一或多者使用的值。举例来说,用户可偏好于积极的振铃噪声检测,同时具有对块检测的较高容限。在此系统中,用户可指定将用于每一检测器的阈值以表达这些偏好。外部检测器数据214可从时钟、日历、网络、包含压缩噪声减少器的装置的组件及类似物获得。
每一检测器经配置以将检测值216a、216b和216c(下文统称为检测值216)提供到组合器218。组合器218经配置以部分基于检测值216而产生输出图像数据220。
组合器218还经配置以从包含滤波模块224的滤波器获得滤波器值222a、222b和222c(下文统称为滤波器值222)。如图2中示出,包含三个滤波器:二维滤波器226、水平滤波器228和垂直滤波器230。每一滤波器获得输入视频数据202且产生输入视频数据202的经滤波版本。类似于外部检测器数据214,滤波模块224可经配置以获得外部滤波器数据232。举例来说,外部滤波器数据232可包含滤波器偏好、滤波器阈值、滤波器启用/停用值及类似物中的一或多者。
组合器218进一步经配置以部分基于滤波器值222产生输出图像数据220。在一些实施方案中,组合器218还可获得外部检测器数据214和/或外部滤波器数据232。组合器218还可接收外部组合数据234。外部组合数据234可(例如)从存储器获得。外部组合数据234可包含可用以产生输出图像数据220的值。举例来说,外部组合数据234可包含指示一或多个经滤波值会如何贡献于输出视频数据220的用户偏好数据。以下表1说明可提供到组合器218的外部组合数据234的实例。
检测到水平块? 检测到垂直块? 检测到振铃? 候选滤波
振铃
水平块
水平块和振铃
垂直块
垂直块和振铃
水平块和垂直块
水平块、垂直块和振铃
表1
在根据表1的实施方案中,如果考虑多个经滤波值,那么组合器218可经配置以选择表示与输入值的最大偏差的经滤波值。举例来说,如果选择水平和垂直块滤波,那么组合器218可从水平和垂直经滤波输出计算输入像素上的偏差且选择具有与输入像素值的较大偏差的输出。在一些实施方案中,可针对整个输入视频数据计算偏差(例如,输入视频数据中包含的所有像素的聚合偏差)。在一些实施方案中,组合器218可进一步包含当选择将应用的滤波器时作为外部组合数据的加权因数。在一些实施方案中,组合器218可经配置以组合两个或两个以上滤波器输出值以产生输出视频数据。
图3说明去振铃滤波器的功能框图。去振铃滤波器是二维滤波器226的实例。振铃可接近于场景中的高对比度边缘而发生。振铃假象可在场景的邻近于此些边缘的平坦区域中可见。减少振铃假象的可见度的一个方法是检测平坦区域中具有较小变化的像素且将低通滤波器应用于此些像素。
图3中所示的去振铃滤波器300提供每像素自适应帧间处理。因此,在一些实施方案中,可避免时间处理(例如,缓冲)。在一些实施方案中,时间信息可用以促进滤波,但此信息是不需要的。图3中所示的去振铃滤波器300具有额外非限制性优点在于所述滤波器并不需要在处理输入数据之前已知块大小尺寸。展示的去振铃滤波器300确定用于待滤波像素位于其中的块的量化参数。此外,因为滤波可跨越块边界而发生,所以经去振铃滤波图像值也可提供一些解块。
去振铃滤波器300可用以对色度通道(例如,Cb,Cr)和/或明度(例如,Y)通道进行去振铃。可如上文所描述基于外部滤波器数据而确定将对哪些通道进行滤波。在一些实施方案中,可例如基于输入视频数据202中包含的数据动态确定将滤波的通道。
去振铃滤波器300获得输入视频数据202。去振铃滤波器300包含量化参数提取器302。量化参数提取器302经配置以确定用以对输入视频数据进行编码的量化参数。
去振铃滤波器300包含上下文自适应分段电路304。上下文自适应分段电路304经配置以确定所关注像素(p(x0,y0))周围的邻域是否为不具有主要边缘的平滑区或所述邻域中是否存在强边缘。所关注像素周围的邻域可被称为分段窗。
图4说明示范性分段窗的像素图。如图所示,分段窗402包含三行(例如,404A-404C)上的七列(例如,406B-406H)像素。在不脱离本发明的范围的情况下可使用其它分段窗大小(例如,3x7、5x2、11x4)。分段窗大小可为基于其中包含的压缩噪声减少器200和/或去振铃滤波器300的实施方案选择的预定配置。分段窗大小可(例如)基于输入视频数据202、视频流、压缩噪声减少器200包含于其中的装置及类似物而动态确定。如图4中示出,所关注像素是位于行404B和列406E处的像素。应注意,分段窗402并不包含位于列406A或406I中的像素。在所展示的实施方案中,分段窗402外部的像素可视为太远而无法纳入所关注像素的滤波的考虑因素,所关注像素即位于行404B和列406E处的像素。
返回到图3,上下文自适应分段电路304可经配置以识别用于所关注像素的分段窗中的最大像素值和最小像素值。上下文自适应分段电路304可随后使用这些最大和最小值确定是否应针对此所关注像素应用去振铃过程。等式(1)说明大小为k x l的分段窗内的所关注像素p(x0,y0)的此确定的表达式。
如果range>t1*QP,dering_flag=1,否则dering_flag=0    (1)
其中
range=maxval-minval,
max v a l = max p ( i , j ) ∀ i ∈ [ x 0 - k , x 0 + k ] , j ∈ [ y 0 - l , y 0 + l ] ,
min v a l = min p ( i , j ) ∀ i ∈ [ x 0 - k , x 0 + k ] , j ∈ [ y 0 - l , y 0 + l ] ,
t1是阈值,且
QP是用于包含所关注像素的块的量化参数。
dering_flag值和图像数据可提供到像素标记电路306。像素标记电路306可实施为低通滤波器。如果dering_flag值设定成1以标记用于滤波的像素,那么可将低通滤波器应用于所关注像素。
在一些实施方案中,阈值(t1)可为用户指定的。在一些实施方案中,滤波器阈值可基于指定增益和噪声的标准差而确定。阈值可大体上为大于或等于0的值。如果为零,那么基本上停用内容自适应分段。然而,此设定将通过包含不具有任何强边缘的区的图像而应用滤波器。在一些实施方案中,这可导致图像细节的丢失。将阈值设定于大于一的值大体上将滤波应用于强边缘。因此,在此些配置中,去振铃滤波将发生的可能性是低的。
像素标记电路306中可包含基本低通滤波器。然而在一些实施方案中,可能需要包含用于针对去振铃而识别的像素的局部梯度自适应低通滤波核心。局部梯度自适应低通滤波核心的一个实例包含确定所关注像素周围的m x n邻域中的每一像素的灰度级值是否在所关注像素的灰度级值的ε距离内。邻域m x n周围的所关注像素p(x0,y0)的ε邻域的表达式在等式(2)中展示。
其中
k∈[x0-m,x0+m],
l∈[y0-n,y0+n],
ε=t2*QP,
t2是滤波器阈值,且
QP是用于包含所关注像素的块的量化参数。
所述标记检测所关注像素周围的较小起伏。所述标记还可从滤波过程排除强边缘。此外,所述标记防止边缘像素经滤波,因为所识别边缘像素周围的m x n邻域内的像素将不在所识别的所关注像素的ε邻域内。
滤波器阈值(t2)是指示所关注像素与像素核心中的像素之间的差的量值的值,其将致使核心中的像素的值包含在经滤波像素值中。在一些实施方案中,滤波器阈值可为用户指定的。在一些实施方案中,滤波器阈值可基于指定增益和噪声的标准差而确定。滤波器阈值可设定成大于或等于0的值。将滤波器阈值设定于零基本上停用滤波。如果滤波器阈值设定成大于一的值,那么强去振铃滤波发生,因为滤波过程中将包含m x n邻域内的许多像素。这可造成平滑和/或边缘拖尾。因此,可自适应地确定滤波器阈值以提供弱到强去振铃滤波器模式。
在首先将像素分段且随后标记待滤波的像素后,去振铃滤波器300可进一步包含像素滤波器308以产生所关注像素的经去振铃像素值(p'(x0,y0))。等式(3)是可由像素滤波器308实施的低通滤波的实例。等式(3)可用于对所关注像素p(x0,y0)进行滤波以产生新的经滤波像素值p'(x0,y0)。经滤波像素值可为所关注像素的明度值和/或色度值。去振铃滤波器300提供此输出作为经去振铃滤波视频数据310。
p , ( x 0 , y 0 ) = λ p ( x 0 , y 0 ) + Σ k = x 0 - m x 0 + m Σ l = y 0 - n y 0 + n p ( k , l ) × δ ( k , - l ) λ + γ
其中                                         (3)
γ = Σ k = x 0 - m x 0 + m Σ l = y 0 - n y 0 + n δ ( k , l )
k∈[x0-m,x0+m]
l∈[y0-n,y0+m]
且其中
m是像素核心的宽度,
n是像素核心的高度,
δ(k,l)是来自等式(2)的像素标记,且
λ是掺合因数。
如上文所论述,像素核心的高度和宽度可预定或自适应地确定。掺合因数是确定潜在经滤波像素值的量值的值。所述掺合因数可预定(例如,存储在存储器中)或基于视频、视频类型(例如,体育、电影)、目标显示器或类似物中的一或多者而自适应地确定。在一些实施方案中,掺合因数可为8与16之间的值。在一些实施方案中,掺合因数可为3、26或40。滤波器核心m x n可经选择以使得其足够大以横跨振铃假象但并不会太大而造成图像的模糊。在一些实施方案中,滤波器核心大小可与分段窗大小相同。分段窗和滤波器核心大小的选择涉及实施方案复杂性与振铃假象减少能力之间的平衡点。5 x 1和9x 1是提供经平衡的实施方案的分段窗或滤波器核心大小的两个实例配置。
图5是说明成块假象的像素值的曲线。图5中所示的曲线包含y轴上的像素值和x轴上的像素位置。像素标记为A到H。像素A到D具有相同像素值。像素E到H具有相同像素值,但不同于像素A到D的像素值。可基于像素D与E之间的像素值差而识别像素D与E之间的成块假象。
图5中的曲线可用以展示沿着水平线或垂直线的像素值。因此,可使用垂直成块检测器或水平成块检测器来识别成块假象。
返回到图2,标准块检测器208假定8 x 8块用以压缩输入视频数据。因此,可比较八个连续像素的像素值以识别成块假象。一个实例比较包含产生指示一系列像素值的不同水平的平坦度的五个索引值。以下表2展示可由标准块检测器208产生的五个实例索引值。
平坦度索引编号
1 abs(A-B)+abs(B-C)+abs(C-D)<ft1
2 abs(E-F)+abs(F-G)+abs(G-H)<ft2
3 abs(max(A,B,C,D)-min(A,B,C,D))<ft3
4 abs(max(E,F,G,H)-min(E,F,G,H))<ft4
5 abs(mean(A,B,C,D)-mean(E,F,G,H))>ft5
表2
在表2中,t1、ft2、ft3、ft4和ft5是平坦度阈值。平坦度阈值可为用户指定的。在一些实施方案中,平坦度阈值可例如基于输入视频数据中包含的数据动态确定。
标准块检测器208可经配置以基于索引值产生检测值。举例来说,标准块检测器208可在全部五个值为真的情况下识别块。在一些实施方案中,如果所述五个值中的三个为真,那么所述识别可为肯定的。
标准块检测器208可检测水平和垂直块。因此,可包含两个平行检测器用于检测水平和垂直块。在一些实施方案中,标准块检测器208可经配置以使用同一单元执行水平和垂直块两者。当检测垂直和水平块时,待考虑的像素值的数目可为相同的。在一些实施方案中,对于垂直和水平块,待比较的像素值的数目可为不同的。举例来说,可使用八个像素值检测水平块,同时可使用四个像素值执行垂直块检测。
图6是说明垂直块栅格检测的过程流程图。图6中所示的过程可在标准块检测器208中实施。所述过程接收两个值作为输入:输入视频数据和检测阈值。所述过程经配置以通过分析输入视频数据中包含的至少一些像素而识别输入视频数据中的垂直块栅格。所述分析可跨越行像素水平地或沿着像素列垂直地进行。例如帧等较小部分中可提供输入视频数据。然而,无论是整体或部分地提供,图6中所示的过程都可用以检测输入视频数据中的垂直块栅格。
图6中所示的过程可用以确定对于输入视频数据是否存在垂直块栅格。如果确定栅格在输入视频数据的一部分处或针对整个输入视频数据存在,那么输入视频数据包含可使用解块移除的可见栅格模式。由于这是标准检测方案,因此假设是如果栅格存在,那么其将本身在例如8 x 8块的标准块大小内展现。因此,在垂直栅格检测中,所述过程试图找到表示块栅格边界的列。
在节点602处,将累加器的数字初始化到零。累加器的数字是基于预期的标准块大小而确定。举例来说,如果8 x 8块大小是标准块大小,那么将初始化八个累加器,其各自对应于块中的像素列。
在节点604处,获得视频数据的下一像素。在节点606处,做出关于像素是否靠近垂直块边界的确定。可如上文所描述执行此确定。如果确定像素不靠近垂直块边界,那么所述过程返回到节点604以获得视频数据的下一像素。如果确定像素靠近垂直块边界,那么在节点608处,将与所述像素的列相关联的累加器递增。对于第一块,列数目可与累加器相同。然而,对于后续块,列数目将大于八。在此些情况下,可通过将像素的列数目取模8来识别待递增的累加器。在节点610处,做出关于是否存在更多像素值要处理的确定。如果是,那么过程返回到如上文所描述的节点604。
如果所有像素已经处理,那么在节点612处,识别最大累加器。最大累加器经识别为具有最高计数值。在节点614处,识别第二最大累加器。第二最大累加器经识别为具有第二最高计数值的累加器。
在决策节点616处,将识别的第一和第二累加器计数值与提供的检测阈值进行比较。如图6中示出,所述确定将第一与第二累加器计数之间的差与阈值进行比较。如果所述差大于检测阈值,那么在节点618处,将与最大累加器相关联的列识别为垂直块栅格边界。否则,在节点620处,将输入视频数据识别为不成块。
图6中所示的过程描述用于垂直块栅格检测的过程。然而,相似过程可用以检测水平块栅格的存在。在此些实施方案中,累加器将对应于沿着水平块边界而不是垂直块边界识别的像素的行而不是列。
图7展示用于一般化的块栅格检测的过程流程图。虽然可大体上假定标准块大小,但标准大小设计可能不适用于所有输入视频数据。举例来说,在噪声减少之前可按比例缩放内容。因此,在一些实施方案中可能需要检测任何大小的块栅格的存在。在一些情况下,由于按比例缩放,所述大小还可包含分数大小。一般化块栅格检测可由一般化块检测器210实施。
在节点702处,获得输入视频数据的像素。在决策节点704处,做出关于像素是否沿着垂直块边界的确定。如果是,那么在节点706处,将与像素位于其中的列相关联的计数器递增。过程继续到如下文将描述的节点708。
可类似于上文描述的块边界检测执行块边界检测。在一些实施方案中,对于一般化块边界检测,将通过一或多个像素分隔开的两个像素集合进行比较可为有利的。举例来说,如图5中示出,使用标准边界检测方法比较八个像素的邻接线。
图8说明了说明成块假象的像素值的另一曲线。图8中所示的曲线包含y轴上的像素值和x轴上的像素位置。像素标记为A到H。像素A到D具有相同像素值。像素E到H具有相同像素值,但不同于像素A到D的像素值。可基于像素D与E之间的像素值的差而识别像素D与E之间的成块假象。然而,不同于图5中,在像素D与E之间存在并不作为一般化块边界检测的部分来分析的一些像素。在输入视频数据可能已经预先按比例缩放并且因此块边界可不像未经按比例缩放版本中那样尖锐的条件下,此像素选择可提供块边界的有效检测。所述检测可类似于上述标准块检测而进行(例如,使用表2中包含的分析结果)。
返回到决策节点704,如果像素并不沿着垂直块边界,那么在节点708处,做出关于所述像素是否沿着水平块边界的确定。水平块边界检测可包含上文参考节点704所论述的分离。如果是,那么在节点710处,将与像素位于其中的行相关联的计数器递增。过程继续到如下文将描述的节点712。
返回到决策节点708,如果确定像素并不沿着水平块边界,那么过程继续到决策节点712。在决策节点712处,做出关于是否有更多像素可用于处理的确定。如果是,那么过程返回到节点702。如果不是,那么过程继续到节点714,其中将与每一列和每一行相关联的计数器进行比较。所述比较可分析提供视频数据的两个一维栅格简档的计数器。所述分析可包含频率变换(例如,DFT、DCT、哈达玛(Hadamard)等)以识别视频数据的周期性块特征。举例来说,如果DCT系数ci是高的(例如,大于阈值),那么其可对应于周期2N/i的周期性模式,其中N是变换的长度。在进行分析中,可包含某些假设以加快累加器计数的处理。举例来说,由于可假定块大小处于某一范围的块大小值之间,例如八与三十二之间,因此不需要计算所有系数。基于输入视频数据或类似物,可提供所述值范围作为外部检测数据。举例来说,如果N是1024,那么计算210个系数足以检测在八到三十二的范围内的块大小。
在一些实施方案中,一般化块检测器210可经配置以在输入视频数据的部分之间的空白时间期间执行系数计算。举例来说,如果在两个帧中的一个执行块检测,那么可在整个帧时间期间确定系数(例如,每个奇数帧产生栅格简档且每个偶数帧产生系数)。给定此宽裕的时间分配,可计算系数而无需包含额外硬件来加快处理。举例来说,一般化块检测器210中可包含一个MAC单元和用于三角旋转因数的LUT以实施所描述的过程。
在决策节点716处,基于所述比较做出是否已检测到块栅格的确定。如果检测到栅格,那么在节点718处,一般化块检测器210可将指示检测的值提供到组合器218。所述检测可采取具有N个像素的周期的栅格模式。在此些情况下,行和列累加器将在对准于块栅格的区间中具有高计数值且在别处具有低值。组合器218可使用此信息或将此信息提供到一或多个滤波器以全局地对视频数据进行滤波。如果未检测到栅格,那么在节点720处,由一般化块检测器210提供此信息。
可对计数器设定阈值。举例来说,如果用于给定行的计数器大于一般化水平块阈值,那么使用指示相关联行处的栅格的一位值来标记所述行。这可减少提供到组合器218用于后续滤波器处理的信息量。每一累加器的长度也可能有限(例如,饱和)。举例来说,累加器可限于2的幂(例如,512或1024)。这在其中对累加器值执行后续频率变换以例如减少计数值的处理要求的实施方案中可为有用的。
返回到图2,标准块检测器208和/或一般化块检测器210可将每一像素以及检测到的任何经图案化栅格的块边界信息提供到组合器218。此信息可由组合器218使用以应用如以上表1中所示且描述的滤波规则。举例来说,当检测到块栅格时,可沿着垂直或水平轴应用滤波以用于视频数据的后续部分。此外,组合器218可经配置以对位于块栅格上的所有像素进行滤波。在一些实施方案中,组合器218可经配置以将滤波仅应用于位于块栅格上且被标记为块边界的那些像素。在一些实施方案中,组合器218可将此信息提供到水平滤波器228和/或垂直滤波器230以相应地执行滤波。为了执行此前视滤波,可将块栅格检测值的时间历史维持在例如存储器中。解块器可经配置以在可配置数目的帧之后将状态从滤波改变为不滤波(或反之亦然)。持续时间可基于外部滤波器数据、外部组合数据、输入视频流、用户偏好及类似物。
水平滤波器228可包含动态滤波器系数。滤波器系数可基于输入视频数据202的压缩简档而确定。压缩简档包含输入视频数据的量化参数、输入视频数据202的位速率以及振铃和块检测值。举例来说,低位速率视频大体上具有较低质量。因此,在位速率低的情况下可选择较强的滤波系数。在一些实施方案中,水平滤波器228可包含用于对标准清晰度以及高清晰度视频数据进行滤波的八个分接头。
垂直滤波器230也可包含动态滤波器系数。如同水平滤波器228,可基于输入视频数据202的压缩简档选择滤波系数。举例来说,如上文所描述,在位速率低的情况下可选择较强的滤波系数。可能需要包含用于低于指定位速率的视频的经界定滤波参数。举例来说,等式4展示可在包含于压缩噪声减少器200中的滤波器中实施的滤波器的一个表达式。
y ( n ) = &Sigma; n = 1 N x ( i - n ) * h ( i ) - - - ( 4 )
其中
H=[0.0908 0.1054 0.1167
0.1239 0.1263 0.1239
0.1167 0.1054 0.0908]且
N为块大小。
在其中位速率高于指定最小值的情况下,最接近的固定点近似可用以产生经滤波像素值。在一些实施方案中,垂直滤波器230可包含用于对标准清晰度视频数据进行滤波的八个分接头以及用于对高清晰度视频数据进行滤波的四个分接头。
由标准块检测器208和/或一般化块检测器210提供的信息可用以确定是否针对整个输入视频数据202(例如,全局解块)或输入视频数据202的部分(例如,局部解块)需要解块。举例来说,可将垂直和水平块边界的总数提供到组合器。如果总解块边界计数器大于解块边界的阈值数目,那么可认为所述图像具有很低的质量而无法保证全局解块滤波。所述阈值可作为外部滤波器数据232和/或外部组合数据234而提供。所述阈值可基于输入视频数据202的解块边界的最大数目而确定。等式5展示用于确定是否应用全局滤波的实例表达式。
边界_计数>阈值*max(解块_边界)    (5)
如果确定全局滤波为适当的,那么对于输入视频数据202中的所有像素可将解块掩码设定成1,因此指示解块可用于输入视频数据202。为了防止全局与局部滤波之间的快速切换,可包含滞后。
图9说明减少视频流的噪声的方法的过程流程图。图9中所示的过程可由例如图2中所示的本文所描述的装置中的一或多者整体或部分地实施。在框902处,识别视频流中包含的第一图像中的振铃噪声。在框904处,识别视频流中包含的图像中的块模式,其中识别所述块模式包含识别预定大小的块模式和任意大小的块模式。在框906处,基于第一图像、所识别振铃噪声和块模式而产生第二图像。
图10说明另一示范性随机噪声减少器的功能框图。所属领域的技术人员将了解,噪声减少器可具有比图10中说明的简化噪声减少器1000多的组件。图10中所示的噪声减少器1000仅包含可用于描述权利要求书的范围内的实施方案的一些显要特征的那些组件。噪声减少器1000包含振铃噪声检测器1002、块检测器1004和像素产生器1006。
振铃噪声检测器1002经配置以识别视频流中包含的第一图像中的振铃噪声。振铃噪声检测器1002可包含处理器、像素提取器、比较器、查找表、存储器和算术单元中的一或多者。在一些实施方案中,用于识别振铃噪声的装置可包含振铃噪声检测器1002。
块检测器1004经配置以识别视频流中包含的图像中的块模式,其中识别块模式包含识别预定大小的块模式和任意大小的块模式。块检测器1004可包含处理器、存储器、标准块检测器、一般化块检测器、算术单元和缓冲器中的一或多者。在一些实施方案中,用于识别视频流中包含的图像中的块模式的装置包含块检测器1004。
图像产生器1006经配置以基于第一图像、所识别振铃噪声和块模式产生第二图像。图像产生器1006可包含处理器、查找表、外部数据源、存储器、比较器和图像滤波器中的一或多者。在一些实施方案中,用于产生第二图像的装置包含像素产生器1006。
如本文所用,术语“确定”包含广泛多种动作。举例来说,“确定”可包含推算、计算、处理、导出、研究、查找(例如,在表、数据库或另一数据结构中查找)、断定等等。而且,“确定”可包含接收(例如,接收信息)、存取(例如,在存储器中存取数据)等等。而且,“确定”可包含解析、选择、挑选、建立等等。
如本文所用,术语“提供”包含广泛多种动作。举例来说,“提供”可包含将值存储于位置中以用于后续检索,将值直接发射到接收方,发射或存储值的参考,及其类似者。“提供”还可包含编码、解码、加密、解密、验证、检验及其类似者。
如本文所使用,涉及项目列表中的“至少一者”的短语指代那些项目的任何组合,包含单成员。作为实例,“a、b或c中的至少一者”希望涵盖:a、b、c、a-b、a-c、b-c及a-b-c。
上文描述的方法的各个操作可由能够执行所述操作的任何合适的装置来执行,例如各个硬件及/或软件组件、电路及/或模块。大体上,各图所说明的任何操作可由能够执行所述操作的对应功能装置执行。
可使用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其它可编程逻辑装置(PLD)、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文所描述的功能的任何组合来实施或执行结合本发明而描述的各种说明性逻辑块、模块和电路。通用处理器可为微处理器,但或者,处理器可为任何市售处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如,DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器,或任何其它此类配置。
在一个或一个以上方面,所描述功能可以硬件、软件、固件或其任何组合来实施。如果在软件中实施,则可将功能作为一或多个指令或代码而存储在计算机可读媒体上或经由计算机可读媒体传输。计算机可读媒体包括计算机存储媒体与包括促进计算机程序从一处传递到另一处的任何媒体的通信媒体两者。存储媒体可为可由计算机存取的任何可用媒体。举例来说且并非限制,所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用于载运或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且,任何连接被恰当地称为计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或无线技术(例如红外线、无线电和微波)从网站、服务器或其它远程源传输软件,那么所述同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如红外线、无线电和微波)包含在媒体的定义中。如本文中所使用,磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光以光学方式再现数据。因此,在一些方面中,计算机可读媒体可包括非暂时性计算机可读媒体(例如,有形媒体)。另外,在一些方面中,计算机可读媒体可包括暂时计算机可读媒体(例如,信号)。上述各者的组合也应包含在计算机可读媒体的范围内。
本文中所揭示的方法包括用于实现所描述的方法的一或多个步骤或动作。在不偏离权利要求书的范围的情况下,方法步骤及/或动作可互换。换句话说,除非规定了步骤或动作的特定次序,否则在不偏离权利要求书的范围的情况下可对特定步骤及/或动作的次序及/或用法加以修改。
所描述的功能可以硬件、软件、固件或其任何组合实施。如果以软件实施,那么可将所述功能作为一或多个指令存储在计算机可读媒体上。存储媒体可为可由计算机存取的任何可用媒体。举例来说且并非限制,所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用于载运或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。如本文所使用,磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及光盘,其中磁盘通常以磁性方式复制数据,而光盘使用激光以光学方式复制数据。
因此,某些方面可包括用于执行本文中所呈现的操作的计算机程序产品。因此,某些实施例可包括用于举例来说,此计算机程序产品可包括存储有(和/或编码有)指令的计算机可读媒体,所述指令可由一个或一个以上处理器执行以执行本文所描述的操作。对于某些方面,计算机程序产品可包含封装材料。
也可经由传输媒体而传输软件或指令。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或无线技术(例如,红外线、无线电及微波)从网站、服务器或其它远程源传输软件,那么同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如,红外线、无线电及微波)包含在传输媒体的定义中。
此外,应了解,用于执行本文中所描述的方法及技术的模块及/或其它适当装置可在适当时由编码装置及/或解码装置下载及/或以其它方式获得。举例来说,可将此装置耦合到服务器以有利于传送用于执行本文中所描述的方法的装置。或者,可经由存储装置(例如,RAM、ROM、例如压缩光盘(CD)或软盘等等物理存储媒体等等)来提供本文所描述的各种方法,使得用户终端和/或基站可在将存储装置耦合或提供到所述装置后即获得所述各种方法。此外,可利用用于将本文中所描述的方法及技术提供到装置的任何其它合适的技术。
应理解,权利要求书不限于上文所说明的精确配置及组件。在不偏离权利要求书的范围的情况下,可在上文所描述的方法和设备的布置、操作和细节中作出各种修改、改变和变化。
虽然前述内容是针对本发明的各方面,但在不偏离本发明的基本范围的情况下,可设计出本发明的其它及另外方面,且由所附权利要求书确定本发明的范围。

Claims (29)

1.一种用于视频流的噪声减少的装置,所述装置包括:
振铃噪声检测器,其经配置以识别所述视频流中包含的图像中的振铃噪声;
块检测器,其经配置以识别所述视频流中包含的所述图像中的块模式,所述块检测器经配置以识别预定大小的块模式和任意大小的块模式;以及
噪声减少器,其经配置以基于所述识别的振铃噪声和所述块模式对所述图像进行滤波。
2.根据权利要求1所述的装置,其中识别振铃噪声是至少部分基于所述识别的块模式。
3.根据权利要求1所述的装置,其进一步包括经配置以存储所述图像的所述识别的块模式的存储器,所述噪声减少器经配置以基于所述存储的块模式对所述图像进行滤波。
4.根据权利要求1所述的装置,其中对所述图像进行滤波包含水平滤波和垂直滤波中的至少一者。
5.根据权利要求1所述的装置,其中对所述图像进行滤波包含对所述图像进行解块和去振铃中的至少一者。
6.根据权利要求5所述的装置,其中解块包含当识别出所述块模式时对所述整个图像进行解块,且否则对所述图像的一部分进行解块。
7.根据权利要求5所述的装置,其中解块包含基于所述图像的块特性与阈值的比较对所述整个图像进行解块。
8.根据权利要求5所述的装置,其中去振铃是部分基于识别的块模式。
9.根据权利要求5所述的装置,其中去振铃包括:
识别与输入视频数据相关联的量化参数;
基于第一像素的第一像素值与靠近所述像素定位的多个像素的比较而确定所述第一像素是否位于靠近第一图像中包含的对比区域处;以及
基于所述第一像素值以及所述第一像素位于靠近对比区域处的确定而产生第二像素值。
10.根据权利要求9所述的装置,其中所述多个像素位于所述第一图像的连续区中。
11.根据权利要求9所述的装置,其中所述多个像素包括:
第一邻接像素集合;以及
第二邻接像素集合,其中至少一个像素位于所述第一像素集合与所述第二像素集合之间,所述至少一个像素不包含在所述第一像素集合或所述第二像素集合中。
12.根据权利要求1所述的装置,其中所述视频数据包含经按比例缩放视频数据。
13.根据权利要求1所述的装置,其中所述视频数据包含使用第一编解码器编码的第一部分和使用第二编解码器编码的第二部分。
14.一种用于视频流的噪声减少的方法,所述方法包括:
识别所述视频流中包含的第一图像中的振铃噪声;
识别所述视频流中包含的所述图像中的块模式,其中识别所述块模式包含识别预定大小的块模式和任意大小的块模式;以及
基于所述第一图像、所述识别的振铃噪声和所述块模式而产生第二图像。
15.根据权利要求14所述的方法,其中识别振铃噪声是至少部分基于所述识别的块模式。
16.根据权利要求14所述的方法,其进一步包括存储所述图像的所述识别的块模式,其中基于所述存储的块模式对所述图像进行滤波。
17.根据权利要求14所述的方法,其中对所述图像进行滤波包含水平滤波和垂直滤波中的至少一者。
18.根据权利要求14所述的方法,其中对所述图像进行滤波包含对所述图像进行解块和去振铃中的至少一者。
19.根据权利要求18所述的方法,其中解块包含当识别出所述块模式时对所述整个图像进行解块,且否则对所述图像的一部分进行解块。
20.根据权利要求18所述的方法,其中解块包含基于所述图像的块特性与阈值的比较对所述整个图像进行解块。
21.根据权利要求18所述的方法,其中去振铃是部分基于识别的块模式。
22.根据权利要求18所述的方法,其中去振铃包括:
识别与输入视频数据相关联的量化参数;
基于第一像素的第一像素值与靠近所述像素定位的多个像素的比较而确定所述第一像素是否位于靠近所述第一图像中包含的对比区域处;以及
基于所述第一像素值以及所述第一像素位于靠近对比区域处的确定而产生第二像素值。
23.根据权利要求22所述的方法,其中所述多个像素位于所述第一图像的连续区中。
24.根据权利要求22所述的方法,其中所述多个像素包括:
第一邻接像素集合;以及
第二邻接像素集合,其中至少一个像素位于所述第一像素集合与所述第二像素集合之间,所述至少一个像素不包含在所述第一像素集合或所述第二像素集合中。
25.根据权利要求14所述的方法,其中所述视频数据包含经按比例缩放视频数据。
26.根据权利要求14所述的方法,其中所述视频数据包含使用第一编解码器编码的第一部分和使用第二编解码器编码的第二部分。
27.一种用于视频流的噪声减少的装置,所述装置包括:
处理器,其经配置以:
识别所述视频流中包含的第一图像中的振铃噪声;
识别所述视频流中包含的所述图像中的块模式,其中识别所述块模式包含识别预定大小的块模式和任意大小的块模式;以及
基于所述第一图像、所述识别的振铃噪声和所述块模式而产生第二图像。
28.一种包括指令的计算机可读存储媒体,所述指令可由用于视频流的噪声减少的设备的处理器执行,所述指令致使所述设备:
识别所述视频流中包含的第一图像中的振铃噪声;
识别所述视频流中包含的所述图像中的块模式,其中识别所述块模式包含识别预定大小的块模式和任意大小的块模式;以及
基于所述第一图像、所述识别的振铃噪声和所述块模式而产生第二图像。
29.一种用于视频流的噪声减少的装置,所述装置包括:
用于识别所述视频流中包含的第一图像中的振铃噪声的装置;
用于识别所述视频流中包含的所述图像中的块模式的装置,其中识别所述块模式包含识别预定大小的块模式和任意大小的块模式;以及
用于基于所述第一图像、所述识别的振铃噪声和所述块模式而产生第二图像的装置。
CN201380067950.XA 2013-01-04 2013-12-06 减少数字视频流中的压缩噪声的方法和设备 Pending CN104871536A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/734,667 US20140192266A1 (en) 2013-01-04 2013-01-04 Method and apparatus of reducing compression noise in digital video streams
US13/734,667 2013-01-04
PCT/US2013/073664 WO2014107264A1 (en) 2013-01-04 2013-12-06 Method and apparatus of reducing compression noise in digital video streams

Publications (1)

Publication Number Publication Date
CN104871536A true CN104871536A (zh) 2015-08-26

Family

ID=49885404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380067950.XA Pending CN104871536A (zh) 2013-01-04 2013-12-06 减少数字视频流中的压缩噪声的方法和设备

Country Status (6)

Country Link
US (1) US20140192266A1 (zh)
EP (1) EP2941870A1 (zh)
JP (1) JP2016506201A (zh)
KR (1) KR20150103072A (zh)
CN (1) CN104871536A (zh)
WO (1) WO2014107264A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642611A (zh) * 2021-07-16 2021-11-12 重庆邮电大学 一种基于多粒度的胎儿心脏超声图像识别方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10659817B2 (en) * 2013-07-15 2020-05-19 Hfi Innovation Inc. Method of sample adaptive offset processing for video coding
WO2015186511A1 (ja) * 2014-06-03 2015-12-10 ソニー株式会社 画像処理装置および画像処理方法
US10432952B2 (en) * 2015-11-19 2019-10-01 Qualcomm Incorporated System and methods for fixed-point approximations in display stream compression (DSC)
GB2557997B (en) * 2016-12-21 2019-05-01 Apical Ltd Encoding and Decoding of image data
WO2019240630A1 (en) * 2018-06-13 2019-12-19 Huawei Technologies Co., Ltd. Intra sharpening and/or de-ringing filter for video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080218782A1 (en) * 2007-03-05 2008-09-11 Fujitsu Limited Image processing apparatus
US20080231753A1 (en) * 2007-03-23 2008-09-25 Mitsubishi Electric Corporation Noise reducer for video signals
US20090116546A1 (en) * 2007-11-01 2009-05-07 Gwang Hoon Park Transcoding apparatus and method between two codecs each including a deblocking filter
CN102150426A (zh) * 2008-09-09 2011-08-10 马维尔国际贸易有限公司 减少数字图像噪声

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9607668D0 (en) * 1996-04-12 1996-06-12 Snell & Wilcox Ltd Video noise reducer
US6535254B1 (en) * 1997-10-31 2003-03-18 Pinnacle Systems Inc. Method and device for noise reduction
US6493039B1 (en) * 1999-01-19 2002-12-10 Xerox Corporation Method and apparatus for white noise reduction in video images
EP1230791A1 (en) * 1999-11-11 2002-08-14 STMicroelectronics Asia Pacific Pte Ltd. Spatio-temporal video noise reduction system
JP3489735B2 (ja) * 2000-08-16 2004-01-26 松下電器産業株式会社 デブロッキングフィルタ演算装置
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
JP4145586B2 (ja) * 2001-07-24 2008-09-03 セイコーエプソン株式会社 画像処理装置及び画像処理プログラム、並びに画像処理方法
US7050501B2 (en) * 2002-07-16 2006-05-23 Broadcom Corporation Digital noise reduction techniques
US7295616B2 (en) * 2003-11-17 2007-11-13 Eastman Kodak Company Method and system for video filtering with joint motion and noise estimation
US20060104351A1 (en) * 2004-11-15 2006-05-18 Shu-Wen Teng Video/image processing devices and methods
US7515768B2 (en) * 2004-12-07 2009-04-07 Sony Corporation Method, and apparatus for processing image, recording medium and computer program
US7657098B2 (en) * 2005-05-02 2010-02-02 Samsung Electronics Co., Ltd. Method and apparatus for reducing mosquito noise in decoded video sequence
US7680355B2 (en) * 2005-05-02 2010-03-16 Intel Corporation Detection of artifacts resulting from image signal decompression
US7548660B2 (en) * 2005-09-30 2009-06-16 Intel Corporation System and method of spatio-temporal edge-preserved filtering techniques to reduce ringing and mosquito noise of digital pictures
US7787541B2 (en) * 2005-10-05 2010-08-31 Texas Instruments Incorporated Dynamic pre-filter control with subjective noise detector for video compression
TWI324013B (en) * 2006-02-22 2010-04-21 Huper Lab Co Ltd Video noise reduction method using adaptive spatial and motion-compensation temporal filters
US7796834B2 (en) * 2006-11-16 2010-09-14 Texas Instruments Incorporated Post-processing technique for noise reduction of DCT-based compressed images
AU2006252195B8 (en) * 2006-12-21 2011-02-03 Canon Kabushiki Kaisha MPEG noise reduction
US7925086B2 (en) * 2007-01-18 2011-04-12 Samsung Electronics Co, Ltd. Method and system for adaptive quantization layer reduction in image processing applications
US8189946B2 (en) * 2007-01-24 2012-05-29 Canon Kabushiki Kaisha Image processing apparatus and method thereof for detecting and removing noise in decoded images
US8073276B2 (en) * 2007-04-10 2011-12-06 Vivante Corporation De-ringing filter for decompressed video data
JP4609457B2 (ja) * 2007-06-14 2011-01-12 ソニー株式会社 画像処理装置、及び、画像処理方法
WO2009044549A1 (ja) * 2007-10-03 2009-04-09 Panasonic Corporation ブロック歪みを減少させる方法および装置
US20110255606A1 (en) * 2008-09-04 2011-10-20 Ojo Olukayode A Spatial noise reduction circuit and approach therefor
EP2290996A4 (en) * 2008-09-29 2012-03-14 Panasonic Corp VIDEO SIGNAL PROCESSING DEVICE
GB2465158A (en) * 2008-11-05 2010-05-12 Sony Corp Image data filtering
US8279345B2 (en) * 2009-07-21 2012-10-02 Qualcomm Incorporated System and method for random noise estimation in a sequence of images
US8743287B2 (en) * 2009-07-24 2014-06-03 Broadcom Corporation Method and system for mitigating motion trail artifacts and improving low contrast contours in temporal filtering based noise reduction
US8885969B2 (en) * 2010-03-29 2014-11-11 Sony Corporation Method and apparatus for detecting coding artifacts in an image
US8670073B2 (en) * 2010-08-02 2014-03-11 Broadcom Corporation Method and system for video noise filtering
US8773593B2 (en) * 2011-01-03 2014-07-08 Arm Limited Noise reduction filter circuitry and method
US8792549B2 (en) * 2011-02-28 2014-07-29 Sony Corporation Decoder-derived geometric transformations for motion compensated inter prediction
US20130101027A1 (en) * 2011-06-20 2013-04-25 Matthias Narroschke Deblocking control by individual quantization parameters
US8805114B2 (en) * 2012-11-27 2014-08-12 Texas Instruments Incorporated Content adaptive edge and detail enhancement for image and video processing
EP2916548A4 (en) * 2012-11-30 2016-06-01 Sony Corp IMAGE PROCESSING APPARATUS AND METHOD
JP6300576B2 (ja) * 2013-05-02 2018-03-28 キヤノン株式会社 画像処理装置及び画像処理方法
US9118932B2 (en) * 2013-06-14 2015-08-25 Nvidia Corporation Adaptive filtering mechanism to remove encoding artifacts in video data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080218782A1 (en) * 2007-03-05 2008-09-11 Fujitsu Limited Image processing apparatus
US20080231753A1 (en) * 2007-03-23 2008-09-25 Mitsubishi Electric Corporation Noise reducer for video signals
US20090116546A1 (en) * 2007-11-01 2009-05-07 Gwang Hoon Park Transcoding apparatus and method between two codecs each including a deblocking filter
CN102150426A (zh) * 2008-09-09 2011-08-10 马维尔国际贸易有限公司 减少数字图像噪声

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642611A (zh) * 2021-07-16 2021-11-12 重庆邮电大学 一种基于多粒度的胎儿心脏超声图像识别方法
CN113642611B (zh) * 2021-07-16 2024-04-12 重庆邮电大学 一种基于多粒度的胎儿心脏超声图像识别方法

Also Published As

Publication number Publication date
WO2014107264A1 (en) 2014-07-10
US20140192266A1 (en) 2014-07-10
EP2941870A1 (en) 2015-11-11
JP2016506201A (ja) 2016-02-25
KR20150103072A (ko) 2015-09-09

Similar Documents

Publication Publication Date Title
US10555006B2 (en) Deriving bilateral filter information based on a prediction mode in video coding
US11044473B2 (en) Adaptive loop filtering classification in video coding
US20190208225A1 (en) Sign prediction in video coding
US20190238845A1 (en) Adaptive loop filtering on deblocking filter results in video coding
US20190014315A1 (en) Adaptive loop filter with enhanced classification methods
TWI532369B (zh) 用於基於高效率視訊寫碼之可擴縮寫碼視訊資訊之裝置及方法
US11153563B2 (en) Combined in-loop filters for video coding
JP2024001165A (ja) イントラ予測の方法及び装置
TW201832562A (zh) 具有減低複雜性之視訊寫碼中之雙邊濾波器
TW201838415A (zh) 在視訊寫碼中判定用於雙邊濾波之鄰近樣本
CN104871536A (zh) 减少数字视频流中的压缩噪声的方法和设备
US9712834B2 (en) Hardware efficient sparse FIR filtering in video codec
CN112385234B (zh) 图像和视频译码的设备和方法
CN104871209A (zh) 减少数字视频流中的随机噪声的方法和设备
US11259052B2 (en) Transform variations of multiple separable transform selection
US11172215B2 (en) Quantization artifact suppression and signal recovery by the transform domain filtering
TW202133616A (zh) 視訊編解碼中的畫面標頭訊框內隨機存取畫面和漸進解碼器刷新訊號傳遞
US20200036980A1 (en) Rounding of motion vectors for adaptive motion vector difference resolution and increased motion vector storage precision in video coding
CN113545063A (zh) 使用线性模型进行帧内预测的方法及装置
EP3207700A1 (en) Systems and methods for mask based processing of a block of a digital image
US11647212B2 (en) Activation function design in neural network-based filtering process for video coding
CN109891885B (zh) 视频编译中用于环路恢复的引导偏移校正
US11991399B2 (en) Apparatus and method for de-blocking filtering
US20240015284A1 (en) Reduced complexity multi-mode neural network filtering of video data
CA3103654C (en) Method and apparatus for intra prediction

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150826

WD01 Invention patent application deemed withdrawn after publication