CN102246532B - 用于避免传送的媒体内容质量恶化的方法和设备 - Google Patents

用于避免传送的媒体内容质量恶化的方法和设备 Download PDF

Info

Publication number
CN102246532B
CN102246532B CN200880132456.6A CN200880132456A CN102246532B CN 102246532 B CN102246532 B CN 102246532B CN 200880132456 A CN200880132456 A CN 200880132456A CN 102246532 B CN102246532 B CN 102246532B
Authority
CN
China
Prior art keywords
media
media content
graphical information
content
piece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200880132456.6A
Other languages
English (en)
Other versions
CN102246532A (zh
Inventor
M·佩特森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN102246532A publication Critical patent/CN102246532A/zh
Application granted granted Critical
Publication of CN102246532B publication Critical patent/CN102246532B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Abstract

在从媒体服务器向媒体客户端分发带有覆盖图形信息的媒体内容的方法中，图形信息从媒体内容提取，并传送到媒体客户端。在编码媒体内容之前，以避免在图形信息的附近区域中引入视觉赝象的方式，在分离的块中处理包含图形信息的区域的每个帧。然后，编码的媒体内容传送到媒体客户端，在其中，通过在解码的媒体内容之上作为覆盖加入图形信息，将重新产生媒体内容，而不包含任何编码引发的赝象。

Description

用于避免传送的媒体内容质量恶化的方法和设备
技术领域
本发明涉及在媒体客户端上重新产生内容时用于避免包括图形信息覆盖的媒体内容质量恶化的方法。本发明还提及适于执行建议方法的媒体服务器。
背景技术
移动视频是分发装置，其通过诸如移动电视和视频流传送的新兴服务而变得越来越流行。然而，为了能够在无线网络上发送视频，视频不得不使用通常具有高压缩率的有损压缩来编码。
与媒体内容经由诸如用于固定电视分发的固定分发网络而分发时通常获得的质量相比，对移动视频分发而言视频质量趋于较低。在很大程度上，这是由于用于移动视频分发的非常低的传送比特率。
移动视频分发包括一个或多个移动媒体客户端或媒体内容的传送。在媒体内容在媒体服务器编码前，可以并通常执行必要的预处理，以便在媒体内容通过媒体客户端处的视频编解码器(vide coded)解码后改进媒体内容的质量，所述必要的预处理包括诸如颜色格式转换、视频格式转换、和/或帧率转换的步骤。
诸如MPEG-4、H.263、以及H.264的、当今使用的多数视频编解码器正使用基于块的编码，其中在每块基础上施加变换。
宏块是通常与视频压缩相关联使用的术语，它是指具有16x16像素尺寸的块单元。用于诸如二维离散余弦变换(DCT)的变换的块尺寸对不同的编解码器是不同的，并且因而宏块典型地可进一步细分为更小的块，例如进一步细分为由8x8或4x4像素组成的块。举例来说，MPEG-4和H.263使用8x8像素块尺寸，而H.264使用4x4像素块尺寸。
从媒体服务器发送用于相应块的、从使用的变换获得的系数，而不在网络上发送像素值。
二维DCT变换是可分的，这意味着通过使相应的一维水平基函数和垂直基函数在一起相乘，将获得基本变换函数。对于8x8像素块，有64个基函数，其中水平频率从左向右增加，而垂直频率从顶部向底部增加。
除了舍入误差以外，在此类型变换中不会毁坏信息。对于8x8像素块，64个像素值变换为64个DCT系数。举例来说，H.264使用4x4类DCT变换，其中16个像素变换为16个DCT系数。
在视频使能媒体服务器的编码器中执行的第一步骤之一是执行DCT变换，其中从像素值变换的结果舍入为整数。在此种DCT变换已经开始之后，能量将有效地集中，但在此阶段仍有不得不编码的很多系数。此种DCT变换矩阵的一示例示于图1a中，其中，以左边矩阵100示出的8x8像素变换为以右边矩阵101示出的、对应的8x8个DCT系数。
在有损视频压缩中主要的比特节省之一来自于典型地接下来执行的变换系数的量化。然而，可描述某种典型的情景，以使得随着量化步长增加，解码的变换系数的精确度降低，这典型地将导致质量降级，当在视频使能用户装置/媒体客户端上显示视频时，质量降级对于终端用户将可见。
在图1b中，呈现了图1a的DCT变换之后获得的DCT系数的示例性量化，在其中，DCT系数101在左边矩阵101中示出，而结果的量化系数在图1b右边的矩阵102中示出。在此示例中，DCT系数已经除以10，并且因而仅有10个系数将不得不从媒体服务器发送，但是尽管不得不发送的数据量已经极大降低，还是有编码赝象(artefact)已经引入到媒体内容，作为描述的处理的结果。
在已经压缩图像、以量化方式形成媒体内容之后，将不得不发送多个图像(对于视频流传送典型地10-30个图像/秒)，以便能够作为能由媒体客户端再现(render)的视频来提供媒体内容。
然而，相对经常的是，大量图像将具有相似内容，例如，在对于两个或多个连续图像背景完全相同的情况下。
图2示出了通过利用依靠执行运动补偿、已编码的内容也能用于编码随后的块的事实，如何可更加减少需要的带宽的一示例。
在图2中，第一图像系列200-203代表原始视频序列，其显示了在贯穿整个系列都保持相同的背景前、正移动到右边的人像(figure)。通过图像204-207，示出了在被发送到媒体客户端之前、以图像200-203的媒体内容为基础进行编码的图像系列。
图像序列通常开始于第一帧204，其中完整图像(即图像200的信息)例如根据上述编码原理被编码。以典型地称之为内部帧或I帧的帧来传送此信息。
在第二图像201中，人像类似于图像200的人像，只是它移动到了右边，逼近(towards)图像的中间。因此，不编码及发送关于图像201的所有信息，而是仅仅关于图像间移动的信息，即，目前图像201和在前图像200之间的差异，将在下一帧205中编码和发送。
以对应的方式，如通过帧206示出的、图像201和202之间的差异接下来被识别、编码和发送，而不是发送图像202的完整内容。这些类型的帧典型地称之为预测帧或P帧。
为了减少在分发期间例如由于分组丢失而释放(loose)信息的风险，以及为了能平滑地切换信道，将不时地发送另一个I帧，并且因而在许多P帧205和206已经在给定示例中发送后，在随后的I帧207中传送图像203的信息。
包含带高频的块(即，包括带高对比度的变换系数的块，例如，在其中不同像素的亮度从高亮度到低亮度变化非常大)的媒体内容经常需要以许多比特编码，即，以低量化编码，以便对重新产生的视频获得良好的视觉质量。在其中通常存在高频的一个示例是在视频包括文本或已经应用到视频上的任何其它类似类型的图形信息时，其通常趋于在同形成视频的图像一起显示时，具有在高亮度值和低亮度值之间的尖锐过渡。这是为什么包含图形信息作为覆盖的视频在以相对低质量呈现给用户时经常看起来不那么好的原因，这对移动视频应用来说通常是事实。
设法减少这个问题的一种方式是分离于视频内容而发送图形信息，并且在视频已经在客户端解码后，将分离的图形信息作为覆盖稍后施加。此处理常常用于数字广播电视应用。
在本文件中描述的图形信息典型地包括但不限于：字幕和其它文本信息、标志、呈现于新闻节目中的图形、或者呈现于运动项目中的记分板，其在呈现给终端用户时表现为视频上的覆盖。
也有从固定电视分发已知的其它解决方案，在其中，对下面的文本已经进行了涂抹(smudge)，以便使得文本覆盖更可见。
有很多已知方法能用来从诸如图形和/或视频的媒体内容，检测和提取文本。
美国专利6937766提及用于在视频中检测、提取、及索引化文本的方法。该方法可应用到例如静态文本、滚动文本、覆盖文本、以及场景内文本(in-scene text)。
WO/2008/003095涉及用于从图像提取文本的方法，其目的在于：在包含图像的媒体内容的文本中，以及在视频中的文本中进行搜索。
JP2005235220建议了另一种方法，其适于检测视频中的字幕，而EP0720114提及了用于在视频中检测文本标题(caption)的方法。
上述所有文件建议了不同的方法来用于在包含一系列图像的媒体内容中检测和/或提取文本和/或图形信息。然而，建议的方法并没有讨论或建议处理分发视频的任何方式，所述赝象在包含文本和/或图形的视频在视频客户端重新产生和显示时，最可能出现在图形信息的附近区域(vicinity)中。
与编码视频分离地发送图形信息是在窄带信道上传送包括图形信息的视频的常见地已知和优选的方式。从图像分离图形信息通常需要图形信息分离于视频内容而被存储在媒体源。然而，从视频分离图形信息不总是可能的，因为视频内容提供商并不总是具有对图形信息的完全的控制。
如从上面提及的文件中能理解，使用各种图像处理技术，有很多种方式从媒体内容提取图形信息。然而，即使从媒体源/媒体服务器将提取的图形信息分离地传送到媒体客户端，并在媒体客户端将提取的图形信息作为覆盖加入到解码的视频，如上文建议的那样，当在媒体客户端再现视频时，编码赝象可以并且将非常可能仍然在图形信息周围是可见的。这种现象是典型的，并不仅仅对于包含了作为编码下面的图形信息结果的、覆盖中的字幕字母的视频，而且还对于包含一个或多个图像的分发的、其它类型的媒体内容。
为了能够在通信网络上传送包含某种覆盖图形信息的媒体内容，主要有三种不同的情景供选择。
根据现在将参考图3呈现的第一情景，图形信息包含于已在媒体源处的媒体内容中。在图形信息经由通信网络302传送到诸如蜂窝式电话、膝上型计算机、或机顶盒的媒体客户端301之前，它和媒体内容一起在通过操作员控制的媒体服务器300被编码。
在第一步骤3:1中，递送到媒体客户端301的媒体内容或者从外部媒体源(未示出)检索(例如，如果媒体内容是指流传送的视频)，或者从内部或外部存储器装置(未示出)检索(例如，如果媒体内容改为包括存储的内容)。
在下一个步骤3:2中，使用任何传统编解码器编码包括图形内容的媒体内容。然后，典型地通过在诸如移动通信网络的通信网络302上广播内容的方式，将编码的内容传送到调谐到相应信道的一个或多个媒体客户端。这通过随后的步骤3:3来指示。在媒体客户端301，在随后的步骤3:4中接收媒体内容，在此之后在接下来的步骤3:5中解码该内容，并且在最后的步骤3:6中经由任何传统显示装置显示内容。
尽管上述方法易于实现，但不推荐用于在低比特率下分发到媒体客户端的媒体内容分发，因为诸如文本的图形由于在当前环境下，图形信息趋于很难读取。
根据现在将参考图4流程图描述的第二、备选情景，媒体内容的图形信息改为在媒体服务器400从媒体内容分离，并然后能与编码的媒体内容分离地、从媒体服务器400发送到媒体客户端401。然后，在媒体客户端401，图形信息在解码后作为覆盖加入到编码的和传送的媒体内容。
根据图4，与其它媒体内容一起提供的图形内容已经在媒体源处从媒体内容分离，并因而在第一步骤4:1中，从媒体源检索一般媒体内容，而在另一个步骤4:2检索图形内容，在此之后图形内容在另一个步骤4:3中传送到媒体客户端401，并且在接下来的步骤4:4中通过媒体客户端401接收。
备选地，图形内容还可在步骤4:3中或甚至在该步骤前编码，并在网络202上作为压缩的内容来发送。在此情况中，也在步骤4:4或步骤4:4随后的步骤中解码图形内容。可缩放矢量图形(SVG)是用来编码提取的图形信息的主要压缩方法，在其中视频编码能被看做其它方法之中的一种可能备选。如果已知图形信息是文本并且还已知文本的位置、使用的字体、及尺寸，则可备选地翻译文本并作为ASCII符号发送。用于这些具体方面的过程可基于任何传统技术，并且因此将不在本文件中进行任何更详细地讨论。
如在随后的步骤4:5中指示的，包括图形内容的媒体内容被编码，然后在另一个步骤4:6中，编码的媒体内容传送到媒体客户端401。在媒体客户端401，编码的内容如在接下来的步骤4:7中指示的那样被接收，并如在随后的步骤4:8中指示的那样被解码。
在另一个步骤4:9中，在步骤4:4中接收的图形信息作为覆盖加入到解码的媒体内容，并且然后该媒体内容能显示到用户，如通过最后的步骤4:10指示的那样。
当包括覆盖图形信息的视频将传送到媒体客户端时，上述情景经常是优选的，因为它提供了当在媒体客户端显示时保持相对良好视觉质量的可靠方式。
同样，根据参考图5示出的第三情景，假定图形信息已经在媒体服务器500加入到媒体内容。然而，根据此情景，在步骤5:1中从媒体源检索的媒体内容已经包括了图形内容。
然而，在接下来的步骤5:2中，在图形内容在接下来的步骤5:3被传送到媒体客户端401并在随后的步骤5:4由媒体客户端401接收以前，从剩余内容中识别并提取图形内容。
如在之前情景中指示的，图形信息在传送到媒体客户端401之前也可以已经被编码，例如作为SVG。在此种情况中，此信息将在它在步骤5:9被添加作为覆盖之前，在媒体客户端401解码。
在接下来的步骤5:5中，在如通过另一个步骤5:6指示的那样传送媒体内容之前，编码媒体内容。剩余步骤5:7-5:10对应于图4的步骤4:7-4:10。
到目前为止描述的两个场景的缺陷在于：当在媒体客户端被显示时，显示的媒体内容趋于在图形信息周围包括可见赝象。这是由于包含图形信息的变换块趋于具有很多高频的事实，这使得与仅仅包括较低频的块编码相比，在比特方面这些块编码昂贵。
发明内容
本发明的目的是解决上文略述的至少一些问题。具体地，目的是提供解决方案，使得包括覆盖图形信息并从媒体服务器向媒体客户端提供的媒体内容以保持的视觉质量再现，特别是当图形信息已经在媒体客户端作为覆盖加入到媒体内容时，针对图形信息的附近区域中的区域而言。
根据一个方面，提供了从媒体服务器向媒体客户端分发带有覆盖图形信息的媒体内容的方法，在其中运送媒体内容和覆盖图形信息的至少一帧从媒体源检索。
图形信息从媒体内容提取，并传送到媒体客户端。然后，在分离块中以某种方式处理包含图形信息区域的每帧，该方式避免在图形信息的附近区域中引入视觉赝象。然后，从在前步骤提供的每帧被编码，并传送到媒体客户端(401)。
编码过程使得媒体客户端能够通过在解码的媒体内容之上作为覆盖加入图形信息而重新产生媒体内容，而没有任何编码引发的赝象。
根据一个实施例，处理步骤可包括：掩蔽包含图形信息的块的区域的第一步骤，以及低通滤波该块的第二步骤。
根据另一个实施例，处理步骤可改为包括：检测对应于仅包含图形信息的媒体内容变换块的每个块的第一步骤，以及通知媒体服务器的编码器以避免编码相应块的另一个步骤。
根据又一个实施例，处理步骤包括：检测对应于仅包含图形信息的媒体内容变换块的每个块的第一步骤，以及(典型地以前面帧的块)替换此块的另一个步骤。备选地，检测的块中的每个像素可设定为共同的单一色。
建议的预处理机制适于处理视频以及包含带有作为覆盖加入的图形信息的至少一个图像的其它媒体内容。
根据另一个方面，也提供了适于执行建议的方法的媒体服务器。
通过在编码将提供到媒体服务器的媒体内容之前施加任何建议的预处理步骤，将不会在随后的编码步骤中引入在图形信息作为覆盖加入到媒体内容上时通常引入的赝象，并且因而在媒体客户端解码和将图形信息加入到媒体内容后，也将保持媒体内容的质量。
从下面的详细描述中，本发明的进一步的特征和益处将变得明显。
附图说明
现在将依靠示例性实施例并参考附图更详细地描述本发明，在附图中：
图1a是示出根据现有技术的、媒体内容的8x 8DCT变换的示例性结果的矩阵。
图1b是根据现有技术的、示于图1a中的DCT变换的量化的示例性结果的图示。
图2是示出根据现有技术的、执行运动补偿的方法的一系列帧。
图3是示出根据现有技术的、从媒体服务器向媒体客户端分发包含图形内容的视频的方法的流程图。
图4是示出根据现有技术的、分发包含图形内容的视频的另一个方法的另一个流程图。
图5是示出根据现有技术的、分发包含图形内容的视频的又一个方法的又一个流程图。
图6是示出减轻视觉赝象可具有的、对包含图形信息的编码媒体内容的负面影响的方法的流程图。
图7是根据一个实施例的、如何可在8x8像素块中执行一块字幕文本掩蔽的示例性图示。
图8a和图8b是示出8x8像素块的示例性低通滤波的两个矩阵。
图9a是示出根据第一实施例的、可如何处理媒体内容的流程图。
图9b是示出根据第二实施例的、可如何处理媒体内容的另一个流程图。
图9c是示出根据第三实施例的、可如何处理媒体内容的又一个流程图。
图10是示出适于执行根据一个示例性实施例的、参考图6描述的质量改进方法的媒体服务器的方框图。
图11a是示出适于执行参考图9a描述的、根据本发明第一实施例的媒体内容处理的、处理单元架构的方框图。
图11b是示出适于执行参考图9b描述的、根据第二实施例的媒体内容处理的、处理单元和编码器架构的另一个方框图。
图11c是示出适于执行参考图9c描述的、根据第三实施例的媒体内容处理的、处理单元架构的又一个方框图。
具体实施方式
为了减轻当包含覆盖图形信息的媒体内容在媒体客户端上放出时图形信息可以并典型地将对总的视觉体验造成的负面影响，建议了一种方法，该方法用于在提取图形内容之后及编码媒体内容之前，在媒体服务器处理媒体内容。作为对上述第三情景改进的建议的方法将在下面更详细地描述。
在媒体内容编码前处理它的主要目的在于：使得视频编码更平滑。当根据将在下文更详细地描述的任何备选实施例执行此过程时，将保证通过编码/解码处理在覆盖视频的图形信息附近区域中通常引入的可见赝象将减轻。
作为此处理步骤的结果，也将减少媒体内容的比特率，因此简化了媒体内容的编码/解码，并还在图形信息周围以保持质量的可见视频来执行。
根据一个实施例，通过在编码媒体内容之前施加内容处理，将保持质量，内容处理包括：通过低通滤波媒体内容而改变包含图形信息的块中的像素值的步骤。
根据另一个实施例，处理可改为包括：识别盖有图形信息的每个块的步骤以及将其通知编码器的步骤。响应于此信息，编码器将跳过编码此块，因为此块将仅运送冗余信息。后面的实施例将需要编码器适于认出并解释此通知。
根据不需要编码器的任何修改的又一个实施例，被发现盖有图形信息的每个块可改为由在处理步骤中前面的块来替换。然后，编码器将把随后的块认出为仅包含冗余信息，并且因而将不编码此块。
即使下面的示例提及视频分发，但理解的是描述的方法也可适于处理各种其它类型的媒体内容，在其中图形信息作为覆盖提供在一个或多个图像上，并且在其中，当媒体内容在媒体客户端再现时，希望保持媒体内容的视觉图像质量。
图6是流程图，示出了如何可在媒体服务器600处理媒体内容，以及如何在通信网络102(典型地，移动通信网络)上将媒体内容分发到媒体客户端401。
如上所述，媒体客户端401可以是任何类型的传统媒体客户端，其配置成处理图像之上的覆盖图形内容。媒体服务器600是配置成根据上面提到的任何原理、在媒体内容被编码并转送到媒体客户端401用于在显示装置上呈现之前、处理媒体内容的媒体服务器。
在图6中，步骤6:1-6:4对应于图5的步骤5:1-5:4，并且因而将根据现有技术来执行。在已经从视频提取图形媒体内容以后，并且在已经将它传送到媒体客户端401后，在随后的步骤6:6编码媒体内容和在接下来的步骤6:7将媒体内容传送到媒体客户端401之前，将根据任何建议的方法来处理包含图形信息的块，如在步骤6:5中指示的那样。
在处理期间，在由编解码器来相应地处理相应块之前，包含图形信息的每帧都在至少一个分离的块中处理。不包含任何图形信息的块将只是未处理地转送到编码器，其中将根据任何传统的编码过程来编码相应块的内容。由于在媒体客户端401将不需要改变，步骤6:8-6:11分别对应于图5的步骤5:7-5:10。
如对于上文参考图4和图5描述的两个实施例提到的那样，也可在传送到媒体客户端401之前编码图形信息(例如，作为SVG)，并且在将该信息在步骤6:10中作为覆盖加入到媒体内容之前在媒体客户端解码。
现在，将更详细地描述用于在编码前处理媒体内容的三个不同的实施例。
根据与低通滤波有关的第一实施例，由图6的步骤6:5代表的处理步骤可包括用于替换每个块的像素值的过程，每个块的像素值包括带低通滤波的像素值的识别的图形信息。此块的尺寸典型地表达(said)为对应于变换块。
处理步骤6:5在根据此实施例应用时，具有在编码处理开始前，减少得自于图像上的图形信息的宏块高频的目的，使得宏块变得在比特方面以保持的质量来编码更廉价。
这种类型的处理将需要将低通滤波单元加入媒体服务器，但将不需要对视频编码器的修改。
图7示出了执行此种低通滤波的一种方式，在其中帧701的图形信息700被掩蔽，图形信息700在此情况中是包含媒体内容一部分字幕的区域。在放大的(zoomed in)8x 8像素变换块702中，字幕700的T的掩蔽部分703能清楚地辨别。
如果适用于使用的颜色格式(可以是例如RGB或YUV)，分量之一的像素可具有像素值图案，例如，通过代表图7的变换块702的、图8a的8x 8矩阵800示出的图案。
如图8a中指示的，对应于掩蔽区域801的像素值(对应于图7的掩蔽部分703)已经从矩阵中移除。掩蔽区域的左上像素位置802仅在它的最靠近的附近区域中具有一个像素值，即47。如果以得自位于紧接着邻近(next adjacent)像素的每个其它像素值的平均的像素值，来代表每个掩蔽像素，则此像素也将具有等于47的像素值。右上像素803现在有两个值，即邻近它的47和67，并因而将此像素设定为这些值的平均，即设定为(47+67)/2＝57。第二左上像素804具有两个邻近值47和45，并且因此将此像素值设定为(47+45)/2＝46。然后，以相同的方式计算其它空像素值，使得结果的变换块将看起来如同图8b的矩阵一样。
备选地，更多像素，诸如最为邻近(most adjacent)和次最为邻近像素的像素值能例如用于计算用于掩蔽像素的平均值。
理解的是，上面示出的示例仅描述了执行变换块的像素值的低通滤波的一种可能方式，并且可改为使用计算掩蔽区域像素值的其它方式或结合。
如果将施加根据第一实施例的处理，则可以图9a的步骤9:1a和步骤9:2a来描述图6的步骤6:5的处理步骤。
在图9a的第一步骤9:1a中，掩蔽包含图形信息的宏块的区域，而在接下来的步骤9:2a中，低通滤波该宏块的像素值，例如根据上述滤波方法。
如果处理改为根据第二实施例来执行，则图6的处理步骤6:5可改为通过步骤9:1b和步骤9:2b来描述，而图6的编码步骤6:6可通过步骤9:3b和步骤9:4b来描述，如通过图9b的流程图示出的那样。
在图9b的第一步骤9:1b中，确定宏块是否盖有图形信息。如果是这种情况，则在接下来的步骤9:2b中产生识别相应宏块的通知。在随后的步骤9:3b中，编码器将通知认出为跳过编码相应宏块的指令，并因而针对其没有通知被识别的宏块以传统方式编码，如通过步骤9:3d指示的那样，而通知的块在没有编码的情况下传送到媒体客户端。
根据上文提到的、第三实施例的施加宏块替换的处理步骤可参考步骤9:1c-9:2c来描述。
与图9b的步骤9:1b类同，对于第三实施例，也先在第一步骤9:1c中确定宏块的完整区域是否包含图形内容。如果是这种情况，则相应块通过前面的块来替换，典型地通过从在前帧复制相应宏块。此种块替换步骤通过接下来的步骤9:2c来指示。
如上文已经提到的，传统的编码器将认出同一个宏块，并因而跳过编码此块，而不需要在编码器的任何修改。
作为对替换宏块的备选，对于已经确定所有像素在包含图形信息的区域之内的宏块，可改为将该宏块处理为使得：块的每个像素将被给予单一的、共同的静态颜色。于是，在比特数目方面编码此宏块将更廉价。
此外，也可施加如上所述的、在其中可基于在前和/或随后帧的内容来编码一帧的运动补偿的预测，以便找到用于掩蔽像素的最佳像素值。运动补偿的预测可典型地结合有低通滤波过程。
理解的是在典型情景中，对于使用的颜色格式的所有分量，或者对于使用的任何其它方法，重复相同的过程。
如上面指示的，为了能够通过运行根据上述任何实施例的方法，来在媒体客户端提供保持视觉质量的视频以及其它类型媒体内容的再现，将需要媒体服务器的适当适配。
因此，现在将参考图10更详细地描述根据一个示例性实施例的媒体服务器的方框图。理解的是所述媒体服务器仅代表多个可能配置之一，并且在图10中呈现的架构仅包括理解建议的方法所需要的功能单元，并且通常呈现在传统媒体服务器中的其它实体已经出于简化的原因而省略。
根据图10，媒体服务器600包括本文称之为内容取得单元1000的单元，其适于捕获或接收媒体内容，所述媒体内容可从诸如视频流传送源的媒体源检索，或者可从诸如DVD蓝光光盘或硬盘驱动器的存储装置检索。称之为提取单元1001的另一个单元适于在检索到的媒体内容中认出图形内容，并从媒体内容中提取此图形内容。
提取单元1001也适于将图形媒体内容转送到传送单元1002，图形媒体内容从传送单元1002递送到一个或多个媒体客户端。
媒体服务器600还包括称之为处理单元1003的单元，其如上所述，适于在编码前处理媒体内容。然后，由处理单元已经处理过的帧，以及简单通过处理单元而未改变的帧，被提供给编码器1004。然后，编码的媒体内容经由传送单元1002转送到一个或多个媒体客户端。
另外，如果对提取的图形内容进行编码将在传送之前应用，则也可出于此目的应用诸如SVG编码器的适当编码器1005。备选地，编码器1004可配置成也处理此任务。
依赖于在媒体服务器600应用哪个处理机制，因此将不得不配置处理单元。
参考图11a，可按如下所述来配置适于执行低通滤波过程的处理单元。
根据图11a，处理单元1003a包括掩蔽单元1100，其适于掩蔽已经被识别为包含图形信息的块的区域。当已经掩蔽了相应区域时，滤波单元1101适于在块上执行低通滤波过程。备选地，掩蔽单元也可适于使用来自在前块/帧的预测，填充像素掩蔽。
图11b是媒体服务器600的处理单元1003b和编码器1004b的另一个配置，其适于改为跳过对已经被发现仅运送冗余信息的冗余宏块进行编码。处理单元1003b包括检测单元1102，其适于检测仅包括图形信息的宏块。然后，通知单元1103适于向编码器1004b提供信息，其通知编码器哪些块将跳过。另一方面，编码器1004b包括跳过单元1104，其适于识别不应由编码器1004b的编码单元1105编码的每个宏块。
参考图11c描述了第三可能处理单元1103c，在其中，与检测单元1102类同，检测单元1106适于检测仅包含图形信息的宏块。然后，替换单元1107适于以另一个块(典型地，在前块)替换检测的宏块，然后所述另一个块将转送给与处理单元1003c连接的编码器(未示出)。
视频的质量改进越高，视频格式越小。这是由于用于小视频格式的变换块尺寸(诸如，由适于接收视频的移动媒体客户端使用的格式)相比用于视频的整帧尺寸而言相对大的事实。出于相同的原因，对于具有大变换块尺寸的编解码器，诸如每个具有8x8像素变换块的H.263和MPEG-4，潜在质量改进较好。
对于以低比特率传送的媒体内容，质量改进也较高，因为与具有低对比度(contrast)的块(诸如，已经低通滤波的块)相比，包含具有高对比度的像素的变换块，诸如包含图形信息的块，需要更多比特，以使得编码能够具有良好质量。
对于低质量视频，通过使用建议方法能够获得的潜在质量改进较高，并且因此，特别适于诸如移动视频流传送和移动电视的服务，所述服务基于诸如DVB-H、MBMS、或移动视频流传送的标准。
然而，建议的预处理方法也可对适于较大视频格式的视频(诸如标准清晰度(SD)和高清晰度(HD))，以及适于较高比特率传送的服务(诸如根据诸如DVB-T、DVB-C、DVB-S或因特网上的视频流传送的标准来操作的IPTV、广播电视)两者起到质量影响。
此外，本发明还能用于改进在诸如WCDMA、MBMS、DVB-H、因特网、或内联网的网络上已经发送的视频的视觉质量。当将从媒体服务器向媒体客户端分发不同类型的存储的视频，诸如DVD、蓝光光盘、或硬盘驱动器上的视频时，也能应用建议的方法。
此外，源媒体内容并不必须是原始媒体内容，即，建议的方法也可用来改进从高质量向较低质量译码的包含图形信息的媒体内容的质量，以便正确匹配特定显示标准和/或传送媒体。
尽管当前方法适于处理视频，但它可用来改进包含任何类型图像上某种图形信息的任何适当文本中的体验图像质量。
本文件中描述的本发明改进了包含文本和其它类型图形信息的所传送的媒体内容的体验质量。除了移除了在与其它信息一起显示时典型地存在于文本和图形周围的视觉赝象以外，本发明还允许先前用于编码图形信息的比特被用来改进图形信息周围的可见媒体内容的质量。
缩写
Figure BPA00001390130900171

Claims (1)

1.一种从媒体服务器(600)向媒体客户端(401)分发带有覆盖图形信息的媒体内容的方法，所述方法包括将在所述媒体服务器(600)处执行的下述步骤：
-从媒体源检索(6:1)运送媒体内容和覆盖图形信息的至少一个帧，
-从所述媒体内容提取(6:2)所述图形信息，并将所述图形信息传送(6:3)到所述媒体客户端(401)，
-在分离的块中处理(6:5)包含图形信息的区域的每个帧，所述处理步骤(6:5)包括掩蔽包含图形信息的块的区域的第一步骤(9:1a)以及低通滤波所述块的第二步骤(9:2a)，从而避免在所述图形信息的附近引入视觉赝象，
-编码从前一个步骤提供的每个帧，以及
-将所编码的媒体内容传送(6:7)到所述媒体客户端(401)，
从而，通过在所解码的媒体内容之上作为覆盖加入所述图形信息，使得所述媒体客户端(401)能够重新产生所述媒体内容，而没有编码引发的赝象。
2．如权利要求1所述的方法，其中所述处理步骤还包括运动补偿随后的块的内容的步骤。
3．如权利要求2所述的方法，其中所述块的尺寸对应于变换块。
4．如权利要求1-3任何之一所述的方法，其中所述块的尺寸对应于宏块的尺寸。
5．如权利要求1-3任何之一所述的方法，其中所述媒体内容包括至少一个图像。
6．如权利要求1-3任何之一所述的方法，其中所述媒体内容包括视频。
7．一种用于向媒体客户端(401)分发带有覆盖图形信息的媒体内容的媒体服务器(600)，所述媒体服务器(600)包括：
-内容取得单元(1000)，用于从媒体源检索运送媒体内容和覆盖图形信息的至少一个帧，
-提取单元(1001)，用于从所述媒体内容识别和提取所述图形信息，并用于将所述图形信息经由传送单元(1002)传送到所述媒体客户端(401)，
-处理单元(1003、1003a)，用于在分离的块中处理包含图形信息的区域的每个帧，其中所述处理单元(1003a)还包括：适于掩蔽包含图形信息的块的区域的掩蔽单元(1100)，以及适于低通滤波所述块的滤波单元(1101)，从而避免在所述图形信息的附近引入视觉赝象，
-编码器(1004,1004b)，用于编码提供给所述编码器的每个帧，所述传送单元还适于将所编码的媒体内容传送到所述媒体客户端(401)，
从而，通过在所解码的媒体内容之上作为覆盖加入所述图形信息，使得所述媒体客户端(401)能够重新产生所述媒体内容，而没有引入编码引发的赝象。
8．如权利要求7所述的媒体服务器，其中所述处理单元(1003a)还适于执行对随后的块的内容的运动补偿。
9．如权利要求7或8所述的媒体服务器，其中所述媒体内容包括至少一个图像。
10．如权利要求7或8所述的媒体服务器，其中所述媒体内容包括视频。
CN200880132456.6A 2008-12-15 2008-12-15 用于避免传送的媒体内容质量恶化的方法和设备 Expired - Fee Related CN102246532B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2008/051462 WO2010071504A1 (en) 2008-12-15 2008-12-15 Method and apparatus for avoiding quality deterioration of transmitted media content

Publications (2)

Publication Number Publication Date
CN102246532A CN102246532A (zh) 2011-11-16
CN102246532B true CN102246532B (zh) 2014-04-02

Family

ID=42268988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880132456.6A Expired - Fee Related CN102246532B (zh) 2008-12-15 2008-12-15 用于避免传送的媒体内容质量恶化的方法和设备

Country Status (4)

Country Link
US (1) US8750384B2 (zh)
EP (1) EP2359590A4 (zh)
CN (1) CN102246532B (zh)
WO (1) WO2010071504A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120062563A1 (en) * 2010-09-14 2012-03-15 hi5 Networks, Inc. Pre-providing and pre-receiving multimedia primitives
US8752113B1 (en) 2013-03-15 2014-06-10 Wowza Media Systems, LLC Insertion of graphic overlays into a stream
US10070098B2 (en) * 2016-10-06 2018-09-04 Intel Corporation Method and system of adjusting video quality based on viewer distance to a display
US11109042B2 (en) * 2018-05-31 2021-08-31 Apple Inc. Efficient coding of video data in the presence of video annotations
CN112087660A (zh) * 2019-06-14 2020-12-15 华为技术有限公司 视频处理方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1868211A (zh) * 2003-03-28 2006-11-22 微软公司 使用图形处理单元加速视频解码
US7254824B1 (en) * 1999-04-15 2007-08-07 Sedna Patent Services, Llc Encoding optimization techniques for encoding program grid section of server-centric interactive programming guide
CN101068364A (zh) * 2006-06-16 2007-11-07 威盛电子股份有限公司 视频编码器与图形处理单元

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69602515T2 (de) * 1995-06-16 2000-03-02 Princeton Video Image Inc Vorrichtung und verfahren zur echtzeiteinblendung in videobilder unter verwendung von adaptiver okklusion mit einem synthetischen referenzbild
US6661422B1 (en) * 1998-11-09 2003-12-09 Broadcom Corporation Video and graphics system with MPEG specific data transfer commands
EP1238541B1 (en) * 1999-12-14 2004-03-17 Broadcom Corporation Method and system for decoding video and graphics
KR100322755B1 (ko) * 2000-02-14 2002-02-07 윤종용 가변형 오에스디 그래픽 데이터를 가진 영상장치
EP1324615A1 (en) * 2001-12-28 2003-07-02 Deutsche Thomson-Brandt Gmbh Transcoding MPEG bitstreams for adding sub-picture content
US7382969B2 (en) 2003-02-19 2008-06-03 Sony Corporation Method and system for preventing the unauthorized copying of video content
US7599558B2 (en) * 2005-08-24 2009-10-06 Mavs Lab. Inc. Logo processing methods and circuits
EP2084669A4 (en) * 2006-08-08 2009-11-11 Digital Media Cartridge Ltd SYSTEM AND METHOD FOR COMPRESSING ANIMATED DRAWINGS
DE102009029184A1 (de) 2009-09-03 2011-03-10 Robert Bosch Gmbh Herstellungsverfahren für ein verkapptes mikromechanisches Bauelement, entsprechendes mikromechanisches Bauelement und Kappe für ein mikromechanisches Bauelement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7254824B1 (en) * 1999-04-15 2007-08-07 Sedna Patent Services, Llc Encoding optimization techniques for encoding program grid section of server-centric interactive programming guide
CN1868211A (zh) * 2003-03-28 2006-11-22 微软公司 使用图形处理单元加速视频解码
CN101068364A (zh) * 2006-06-16 2007-11-07 威盛电子股份有限公司 视频编码器与图形处理单元

Also Published As

Publication number Publication date
EP2359590A1 (en) 2011-08-24
WO2010071504A1 (en) 2010-06-24
US8750384B2 (en) 2014-06-10
EP2359590A4 (en) 2014-09-17
CN102246532A (zh) 2011-11-16
US20110243246A1 (en) 2011-10-06

Similar Documents

Publication Publication Date Title
US10887612B2 (en) Hybrid backward-compatible signal encoding and decoding
EP3633995B1 (en) Method and device for chroma prediction
JP6075486B2 (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
JP6642631B2 (ja) 画像復号装置および方法
US10257522B2 (en) Image decoding device, image decoding method, image encoding device, and image encoding method
US10182235B2 (en) Hardware efficient sparse FIR filtering in layered video coding
US9918116B2 (en) Image domain compliance
US10412418B2 (en) Image processing apparatus and method
US7460037B2 (en) Method and apparatus for replacing a portion of a first digital signal with a second digital signal
CN103716632A (zh) 图像处理设备和图像处理方法
CN103988508A (zh) 图像处理设备和方法
US6594311B1 (en) Methods for reduced cost insertion of video subwindows into compressed video
US20160241882A1 (en) Image processing apparatus and image processing method
US20130156113A1 (en) Video signal processing
CN102246532B (zh) 用于避免传送的媒体内容质量恶化的方法和设备
US20140056535A1 (en) Image processing device and method
WO2013051452A1 (ja) 画像処理装置および方法
CN104272734A (zh) 图像处理装置和图像处理方法
US20120044422A1 (en) Video Signal Processing
CN117376585A (zh) 解码设备、编码设备及发送图像的数据的设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140402

Termination date: 20211215

CF01 Termination of patent right due to non-payment of annual fee