CN1270539C - 用于动态指派有选择地增强的细粒度可缩放编码的图像的方法和设备 - Google Patents

用于动态指派有选择地增强的细粒度可缩放编码的图像的方法和设备 Download PDF

Info

Publication number
CN1270539C
CN1270539C CNB028247469A CN02824746A CN1270539C CN 1270539 C CN1270539 C CN 1270539C CN B028247469 A CNB028247469 A CN B028247469A CN 02824746 A CN02824746 A CN 02824746A CN 1270539 C CN1270539 C CN 1270539C
Authority
CN
China
Prior art keywords
fgs
macro block
bit
transfer sequence
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028247469A
Other languages
English (en)
Other versions
CN1602633A (zh
Inventor
M·范德沙尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funai Electric Co Ltd
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1602633A publication Critical patent/CN1602633A/zh
Application granted granted Critical
Publication of CN1270539C publication Critical patent/CN1270539C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种用于动态地有选择地增强被FGS编码的视频图像中想要的区域的方法和系统。该方法包括以下步骤：确定在与视频图像的想要的区域或部分相关的每个FGS编码的比特平面中的至少一个FGS编码的宏块，确定在传输序列内的每个已确定的FGS编码的宏块的传输次序，以及以与已知的增强级别相对应的传输序列次序推进每个确定的FGS编码的宏块，其中推进的FGS编码的宏块被包含在具有较高的传输优先权的比特平面中。在本发明的一个方面中，所述想要的区域可由用户互动地选择。另一方面，想要的一个或多个区域可以自动地选择。

Description

用于动态指派有选择地增强的细粒度可缩放编码的 图像的方法和设备
技术领域
本申请涉及到以下共同转让的：
2000年7月12日提交的、题目为“System and Method for FineGranular Scalable Video with Selective Quality Enhancement(用于具有选择的质量增强的细粒度可缩放视频的系统和方法)”的、美国专利申请序列号60/217,827；以及2001年12月13日提交的、题目为“Method and Apparatus for Dynamic Allocation of ScalableSelective Enhancement Fine Granular Encoded Images(用于动态指派选择增强的细粒度可缩放编码图像的方法和设备)”的、美国专利申请序列号10/015,508。
本发明总的涉及视频编码。更具体地，涉及动态指派选择增强的细粒度可缩放编码的视频数据。
背景技术
MPEG-4-细粒度可缩放性(FGS)框架通过使用被称为选择增强的自适应量化技术，允许不同级别地压缩视频图像的不同部分。FGS编码的视频图像的选择增强在2000年7月12日提交的、题目为“System andMethod for Fine Granular Scalable Video with Selective QualityEnhancement(用于具有选择的质量增强的细粒度可缩放视频的系统和方法)”的、美国专利申请序列号60/217,827中有更充分的讨论。选择地增强的FGS视频信号的传输效率的提高在2001年12月13日提交的、题目为“Method and Apparatus for Dynamic Allocation ofScalable Selective Enhancement Fine Granular EncodedImages(用于动态指派选择增强的细粒度可缩放编码图像的方法和设备)”的、美国专利申请序列号10/015,508中更充分地作了讨论。
FGS编码的视频图像的指定区域可以利用选择增强发送而达到比未指定的区域更高的质量水平。正如在涉及到的专利申请中所公开的，通过把FGS编码的图像单元的特定的或指定的区域或范围“移位”到更高的传输优先权水平，可以使发送的图像达到更高的质量水平或更高的分辨率。选择增强的图像因此不按它们的正常的序列被发送。特定的或指定的区域或范围可以与特定的象素、象素阵列或象素阵列组(在这里称为宏块)相联系。增强因子或移位因子的指示也与每个移位的FGS编码的图像单元(即宏块)相联系。
当前的选择增强方法的缺点在于，移位因子和为选择增强所选择的一个或多个区域实际上是在FGS编码处理期间预先确定和指派的。这样来选择增强区域可以由自动系统根据某些预定的法则来执行。例如，可以选择与图像内最慢的运动有关的数据块以进行增强。替换地，图像内的面部可以比起背景更多地增强。然而，这些基于法则的自动系统常常无法精确地增强用户或观众感兴趣的部分。因此，由自动系统选择的那些感兴趣的区域或范围可能与用户或观众感兴趣的那些区域或范围不一致。
因此，有需要提供一种允许用户或观众选择或指派感兴趣的区域作为增强的FGS编码数据进行传输的系统。
发明内容
给出了一种在FGS编码的视频图像内动态地选择或指派一或多个区域的方法和系统。该方法包括以下步骤：在与视频图像中想要的区域或部分有关的每个FGS编码的比特平面中确定至少一个FGS编码的宏块，确定在传输序列内的每个确定的FGS编码的宏块的传输次序，以及以相应于已知的增强级别的传输序列次序推进每个确定的FGS编码的宏块，其中所推进的FGS编码的宏块被包含在具有较高优先权的比特平面中。在本发明的一个方面中，想要的区域可由用户互动地选择。在另一方面中，想要的一个或多个区域可以自动选择。
附图说明
图1a显示利用选择增强技术的传统的FGS系统；
图1b显示传统的经过选择增强的FGS编码的视频图像；
图2显示按照本发明的原理的、用于动态选择增强FGS编码的图像的FGS编码系统；
图3a显示传统的非选择性增强的FGS编码的视频图像；
图3b显示按照本发明的原理的、与图3a所示的编码的视频图像有关的示例性传输序列次序；
图4a显示对图3b所示的示例性传输序列次序的示例性调整；
图4b显示按照本发明的原理的、与图3a所示的编码的视频图像有关的第二个示例性传输序列次序；
图4c显示对图4b所示的示例性传输序列次序的示例性调整；
图5显示按照本发明的原理的、用于传输FGS编码的图像的示例性系统；
图6显示按照本发明的原理的、用于动态改变FGS编码的图像的帧传输序列的示例性处理过程的流程图；
图7显示按照本发明的原理的、用于改变FGS编码的图像的帧传输序列的示例性处理过程的流程图；以及
图8显示按照本发明的原理的一个方面的、用于处理用户请求的示例性系统。
具体实施方式
应当看到，这些图只是为了说明本发明的概念，而不打算作为对本发明的限制的级别。将会看到，相同的参考数字一直被使用来表示相应的部件，在适当的地方这些数字可能被补充以参考字符。
图1a显示利用预先确定的选择增强技术的、传统的细粒度可缩放性(FGS)视频编码系统100。如图所示，这个系统由基本层编码器102和增强层编码器104组成。原始的视频信号106由基本层编码器102进行数字编码和量化，从而产生基本层(BL)110。基本层110包含能表示最低可接受的视频信号的足够的信息。基本层信号110也可包括运动补偿信息。运动补偿在本技术中是众所周知的，因而无需在此讨论。基本层信号110然后被提供到缓存器/速率发射机170，用于以后通过网络(例如，互联网)180传输。
原始的视频信号106连同基本层110的数字化和量化的版本也一起被提供给增强层编码器104。增强层编码器104确定在原始的视频信号与量化的基本层110之间的残差。增强层编码器104创建包含各信息项的质量提高的(SNR)增强层150，当把它加到被发送的基本层110时，将去除量化误差并提高所传输的图像质量。SNR增强层信号150然后被提供到缓存器170，用于以后通过速率控制器175在网络(例如，互联网)180上传输。
还显示了时域FGS编码的增强层(FGST)155，它包括有关基本层110和增强层150的运动补偿信息。时域增强层信号155也被提供到缓存器170，用于以后通过速率控制器175在网络180上传输。
正如在FGS编码的视频图像的传输中看到的，在被发送的增强层150、155内的信息项的数量取决于可得到的带宽。因此，可能无法在一个帧期间发送增强层150、155内的每个信息项。因此，传输的图像中首先或以较高优先权发送的那些区域比起以后发送的那些区域趋于具有更高的质量或更高的分辨率。
在FGS编码器104内的选择增强装置108给要被发送的图像内指定的区域，比起图像中其他未指定的区域或范围提供更高的传输优先权。选择增强在所涉及的专利申请中被更充分地公开，这些专利申请在此引用，以供参考。
图1b显示按照图1a所示的编码器生成的具有预定的选择增强的、传统的FGS编码的视频图像200。如图所示，图像200由基本层110、增强层150和移位因子层160组成。正如在所涉及的专利申请中更充分地讨论的，被FGS编码的视频图像被格式化为块，这些通常被称为宏块的块通常代表包含在六个8×8数据块内的图像信息。所编码的图像存储在各信息级别(被称为比特平面)中。每个比特平面包含有关每个宏块的视频信息的、逐渐更详细的信息(例如，非零DCT剩余系数)。例如，一部分视频图像可存储在基本层块112中，而逐渐更细致的图像分辨率的数据被存储在增强层块132、142等等。因此，按照FGS编码原理，最低分辨率视频图像被存储在由信息块、宏块或数据块112、114、116、118等等组成的基本层110中，而有关视频图像的相应部分的逐渐更细致分辨率的信息被存储在由比特平面120、130和140等等组成的增强层150中。因此，在这个说明的例子中，比特平面130包括有关相应的宏块的最高位或字节的信息，而比特平面140包括有关相应的宏块的最低位或字节的信息。
比特平面120包含有关选择增强的宏块的信息，这些宏块被缩放以获得更高的传输优先权。在这个示例性说明中，有关图像的信息被缩放，以使得相应的宏块134的最高位或字节(表示为E’。)在相应于第一宏块132的最高位或字节(表示为E’。)之前发送。同样地，有关相应于宏块144的次最高位或字节的信息(被表示为E”。)被“移位”或缩放，以使得它在第一宏块142的次最高位或字节(被表示为E”。)之前被发送。有关相应的宏块的移位或缩放的信息位于移位因子层160，在本说明的例子中，它由块162、164、166、168组成，这些块为每个相应的宏块提供信息。正如已知的，在160中的移位因子并不同时发送，而是在增强层150之前。一旦MB变得重要(即，非零DCT剩余系数)就对各宏块(MB)独立地发送这些因子。因此，当MB是重要的时，将发送MB，或替换地，将发送非零宏块符号(NULL)，表示该MB仍旧是不重要的。在MB第一次变成为重要时，也将发送相应的选择增强(SE)移位因子160。
存储在与视频源相关帧相对应的比特平面中的每个FGS编码的宏块信息项随后被存储在器件170。器件170可以是永久的或半永久媒体，诸如只读存储器(ROM)、随机存取存储器(RAM)、磁盘或光盘等等，用于以后通过通信网(诸如互联网)传输。虽然显示的是示例性选择地增强的组合图像，但还应当看到，视频源106的多个版本可被同时存储在至少一个永久的或半永久媒体中，用于按照不同的带宽或比特速率条件传输。虽然未示出，将会看到，FGST增强层155类似地由宏块组成，并相应地被移位。
图2显示按照本发明的原理的示例性编码系统。在这个示例性系统中，基本层110、FGS增强层150和FGST增强层155被存储在具有传统的非选择增强的结构的缓存器170中。宏块数据然后被提供到动态选择增强模块210，以便当请求选择增强时动态地确定传输序列。不管宏块数据或信息是否被选择地增强，该宏块数据或信息都被提供到速率控制器175，用于以后通过网络180传输。
图3a显示传统的FGS编码的视频图像的比特平面结构，它简单地被表示为由四个宏块组成。而且，视频图像在六个比特平面上被FGS编码，其中由宏块311、312、313和314组成的比特平面310代表基本层110，以及以后的比特平面320-360分别代表增强层150。因此，宏块321、331、341等等包括使包含在宏块311中的视频信息逐渐得到更细致分辨率的信息。
在本例中，视频图像是使用传统的行光栅型扫描370发送的，在本说明性例子中，这种扫描在奇数行从左到右并在偶数行从右到左地发送各行中的宏块数据。因此，在宏块311中的数据首先被发送，然后，接着是宏块312中的数据，后面分别跟随宏块314和313中的数据。然后，如果有足够的带宽可用，则接着发送在宏块321、322、324和323中的数据，它们代表第一级别的增强层数据。如果有足够带宽可用，在比特平面330-360中的数据也可以被发送。虽然这里说明了行光栅型扫描，但应当看到，水平和/或垂直逐行/隔行扫描也可认为属于本发明的范围内。
图3b显示相应于图3a所示的FGS编码的比特平面结构的示例性传输序列次序380。在所显示的示例性传输序列次序中，与每个比特平面内的每个宏块有关的指针或矢量按传输的次序被存储。因此，对于图3a所示的示例性水平光栅扫描，与宏块311有关的指针或矢量作为传输序列次序380中的第一项被存储，以及与宏块312、314和313有关的相应的指针或矢量然后顺序地被存储在传输序列控制表中。同样地，与每个比特平面中的每个宏块有关的相应的指针或矢量按它们的传输次序被存储。正如将会看到的，如图1或2所示速率控制器175，包括一个处理过程(这将进一步被描述)，它顺序地进到传输序列次序380的每个单元以确定要被发送的第一个/下一个宏块。正如将会看到的，宏块传输的另一个次序将造成相关的宏块指针或矢量的另一个储存次序。因此，按照本发明的原理，宏块的示例性传输序列不是固定的，或“硬连线的”，而是由在传输序列次序380中选择的次序所确定。
图4a显示传输序列次序380的调整，这种调整是为了响应对选择地增强与在宏块313中所示相对应的所想要的部分图像的请求。在这种情形下，与宏块313和以后的比特平面中的宏块(即宏块323、333、343、353、363)有关的相应的指针或矢量按传输表次序380被移位或改变位置，以适应所请求的增强。传输次序的这个移位或改变位置给所请求的图像部分提供更高的传输优先权。因此，有关宏块313的信息(被表示为指针或矢量394)被放置在有关宏块311的信息(被表示为指针或矢量395)之前。同样地，有关宏块363的信息(被表示为指针或矢量397)被放置在有关宏块361的信息(被表示为指针或矢量398)之前。
将会看到，为了提供与许多现有的接收系统的兼容性以及限制对于专门的接收和发送设备的需要，传统的光栅型传输序列被保持。在这种情形下，指针或矢量391、392、393被引入到传输序列次序380，以补偿所请求的宏块311的选择性增强或更高的传输优先权。在本说明性例子中，所述指针或矢量被设置作“不重要的”宏块或块。正如将会看到的，指针或矢量同样可被设置为未用的数值，诸如“0”，它表示“不重要的”字符或块。“不重要的”宏块被发送来向相应的接收系统表示用零去填充接收的宏块。同样地，为了保持在所有选择增强的宏块被发送后的传输次序，“0”指针被引入到所选择增强的宏块的比特平面中。因此，“0”指针被放置在传输控制表中，在相应于移位过的宏块信息的位置处给出序列次序380。在本例中，“0”指针被放置于位置399，表示将发送一组零块。
图4b和4c一起显示传输序列次序的另一个实施例和使用链接表结构的示例性改变。图4b显示类似于图3b所示的传输序列次序。然而，类似于图3b所示，在本例中，第一指针或矢量用来确定供传输的宏块。第二指针或矢量415，420，...，440等等用来确定以后供传输的宏块。因此，不用如图3b中所做的那样顺序地获取或确定下一个宏块，而是用第二指针或矢量来确定下一个用于传输的宏块。为了确定用于传输的第一项，保持了一个包含指针或矢量的分开的数值410。
图4c显示了为选择增强图3a的宏块313或提升其传输优先权而做出的对传输序列次序所做的适配。在本例中，初始值指针410’被改变以获取具有“不重要的”值的数据块455。这时，数据块455被利用来保持已知的传输次序。数据块455的最后一项包括指针或矢量460，它选择传输序列中相应于宏块313的那一项。与宏块313相关的下一个宏块指针465然后被改变以选择用于下一次发送的宏块311。然后，宏块312被选择为下一个用于发送的宏块，因为与宏块311有关的下一个宏块指针未被改变。同样地，宏块314然后被选择为下一个供发送的宏块，因为与宏块312有关的下一个宏块指针470未被改变。然而，与宏块314有关的下一个宏块指针475被改变以选择用于发送的宏块324。为了完成和保持此传输序列次序，包括“不重要的”块的、最后或最终的块480可以由与上一个发送的宏块364相关的指针获取。
正如所看到的，数据块455和480用来保持每个比特平面的均匀数目的宏块。然而，将会看到，数据块455或480中的任何一个的使用都是任选的，因为每个比特平面的非均匀数目的宏块也可以被保持和被发送。
图3b，4a，4b，和4c显示线性的或顺序的传输次序。本领域技术人员都了解如何使用初始的指针和链接表和或双链接表来保持和动态地改变传输序列。而且，通过使用链接表或双链接表，可保持另外的非顺序的传输序列。
虽然仅仅一个宏块被选择地增强到更高一级的传输优先权，但应当看到，任何数目的宏块可被移位到任何更高级别的传输优先权。例如，多个宏块可被移位或改变位置，以使得移位后的各宏块可以在未增强的图像的最高位或字节发送之前全部被发送。
动态选择增强处理过程可通过以下例子进一步被说明。假设原始的FGS剩余图像在六个比特平面上被编码，每个比特平面包括四个宏块。而且，第一个宏块的最高位的字节是6，第二个宏块的最高位的字节是3，第三个宏块的最高位的字节是4，以及第四个宏块的最高位的字节是5。原始的FGS编码的比特平面可被表示为：
  Coded_bpx6(MB1)   0   0   0
  Coded_bpx5(MB1)   0   0   Coded_bpx5(MB4)
  Coded_bpx4(MB1)   0   Coded_bpx4(MB3)   Coded_bpx4(MB4)
  Coded_bpx3(MB1)   Coded_bpx3(MB2)   Coded_bpx3(MB3)   Coded_bpx3(MB4)
  Coded_bpx2(MB1)   Coded_bpx2(MB2)   Coded_bpx2(MB3)   Coded_bpx2(MB4)
  Coded_bpx1(MB1)   Coded_bpx1(MB2)   Coded_bpx1(MB3)   Coded_bpx1(MB4)
其中”Coded_bpx”是指相应于宏块的编码的比特平面；以及“0”表示不重要的数值。
假设宏块3以因子三(3)被选择增强，则比特平面数被增加到七(7)，以及选择地FGS编码的宏块被表示为：
  0   0   Coded_bpx4(MB3)   0
  Coded_bpx6(MB1)   0   Coded_bpx3(MB3)   0
  Coded_bpx5(MB1)   0   Coded_bpx2(MB3)   Coded_bpx5(MB4)
  Coded_bpx4(MB1)   0   Coded_bpx1(MB3)   Coded_bpx4(MB4)
  Coded_bpx3(MB1)   Coded_bpx3(MB2)   0   Coded_bpx3(MB4)
  Coded_bpx2(MB1)   Coded_bpx2(MB2)   0   Coded_bpx2(MB4)
  Coded_bpx1(MB1)   Coded_bpx1(MB2)   0   Coded_bpx1(MB4)
图5显示利用本发明原理的示例性传输系统500。在本示例性系统中，发送单元510由接收视频帧图像信息的视频帧源106、类似于图1a所示的但不带有选择性增强单元108的视频编码单元100、和存储FGS编码的视频图像的编码器缓存器170组成。传输速率控制器175获取包含在编码器缓存器170内的所存储的FGS编码的视频图像，并以存储在相关的传输序列表中的次序在数据网180上发送所存储的图像数据。在接收系统517中，接收的数据帧被存储在译码器缓存器518，并提供给视频译码器520。译码的信息然后呈现在视频显示器522上。
进一步说明处理器577，它与图2所示的动态选择增强设备210是类似的。在本示例性实施例中，动态选择性增强被集成到传输速率控制器175内。在本说明性例子中，控制器175动态地确定那些要被选择地增强的、包括想要的图像部分的宏块，调整用于下一个/以后的帧发送的传输序列次序，以及以适合于可用带宽的速率在网络180上发送图像数据。处理器577还可通过网络180接收有关用户命令的或请求的选择增强的信息。这时，处理器577响应用户对选择增强的请求(这请求可由I/O处理器525提供)，可以动态地确定包括所请求的图像部分的那些宏块，以及调整用于下一次/以后的发送的传输序列次序。
正如看到的，处理器577或IO处理器525可以是任何装置，诸如通用或专用计算系统，或可以是硬件结构，诸如专用逻辑电路、集成电路、可编程的阵列逻辑(PAL)、专用集成电路(ASIC)，它们响应已知的输入(即传输序列次序)提供已知的输出(即宏块数据)。
在本发明的另一方面中，传输控制器175可自动地(没有用户请求)选择地增强所发送图像的指定的区域，以便根据可用的带宽为接收系统提供更好的质量。例如，基于面部的增强法则、基于运动的分段法则、基于重要性掩膜的增强法则、基于中心的增强法则等等可自动确定一个或多个增强区域。
图6显示用于传输控制器175的示例性处理过程的流程图600。在本示例性处理过程中，在块610，选择第一指针。在块615，确定所选择的指针是否相应于不重要的宏块。如果回答是肯定的，则在块620，选择表示为“0”指针的数据块供发送。
然而，如果回答是否定的，则在块630，选择在所选择的数据块内的信息项用于发送。
在块640，选择下一个指针。在块650，确定所选择的下一个指针是否为帧末尾标记。如果回答是否定的，则处理过程返回到块615，确定所选择的下一个指针是否与“零”块相关。
然而，如果回答是肯定的，则对所选择的帧传输序列的处理过程完成。
图7显示按照本发明的原理的、用于动态调整帧传输序列的示例性处理过程的流程图700。在本例中，处理器577确定图像的指定区域能够被选择地增强。例如，正如图所示，在块710，处理器577可以接收用户对于选择地增强图像的一部分的请求。在另一个实施例中，处理器577可以根据可用的带宽确定选择性增强是合适的。
在块720，确定有关或包括选定的图像部分的宏块，所述图像部分是经请求要被选择地增强的。同样地，在块730，确定增强的级别。在块740，选择每个下一个帧传输序列表。在每个所选择的下一个帧传输序列表中，所确定的与所请求的选择性增强区域有关的宏块在块750被调整(即移位或改变位置)使得所确定的宏块能够被分配给更高的传输优先权。在块760，在每个选定的序列表内不包含指针数据的各个位置被填充，以便允许表示为“0”数据的数据块发送。
图8显示可被使用来实施本发明的原理的、处理器577的示例性实施例。处理器577可以代表台式、笔记本式或掌上计算机、个人数字助理(PDA)、诸如录像机(VCR)、数字录像机(DVR)、TiVO设备等等的视频/图像存储设备，以及这些和其他设备的一部分或组合。处理器577包括一个或多个输入/输出设备802、处理器803和存储器804。存储器804可以是诸如RAM、ROM、闪存、超高速缓存的半导体媒体，诸如磁盘的磁媒体或诸如CD-ROM的光媒体。
处理器577可以通过I/O设备802访问一个或多个数据源801，例如缓存器170，数据源可以通过网络(未示出)被接收。源801替换地可以是一个或多个网络连接，用于通过例如因特网这样的全球计算机通信网、广域网、城域网、局域网、或电话网以及这些和其他类型的网络的一部分或组合从一个或多个服务器接收信息。
输入/输出设备802、处理器803和存储器804可以通过通信媒体805通信。通信媒体805可以是，例如，总线、通信网、电路的一个或多个内部连接、电路卡或其它器件、以及这些和其他通信媒体的一部分或组合。来自源801的数据按照存储在存储器804并由处理器803执行的一个或多个软件程序被处理，以便改变传输序列次序，以及生成一个输出，它可提供给网络(未示出)或显示设备806。
在优选实施例中，采用本发明的原理的编码和译码可以由系统执行的计算机可读代码来实施。代码可以存储在存储器804中或可以从诸如CDROM或软盘的存储器媒体中读出/下载。在其他实施例中，可以使用硬件电路代替软件指令或与其相组合来实施本发明。例如，这里说明的单元也可以由分立的硬件单元来实现。
虽然以优选的形式描述和显示了本发明，然而，应当看到，本公开内容只是作为例子作出的，并且在不背离如此后所要求的本发明的精神和范围的前提下可以在细节上作出许多改变。例如，所描述的指示符可以由说明在传输帧中采用的特定方法的各个设置值所指定。或者指示符可以是在传输帧内具有固定数目的传输比特的编码值。或者指示符可以是一个单独的设置，它规定了在传输帧中采用的特定的方法的存在。本专利打算通过所附权利要求书中的适当的表达来包含在所公开的本发明中存在的可取得专利的创新性的那些特性。

Claims (8)

1.一种用于动态确定FGS编码的视频图像的传输序列以允许有选择地增强所述FGS编码的视频图像中想要的部分的方法，其中FGS是细粒度可缩放性的缩写，所述FGS编码的视频图像由分布在不同级别的多个比特平面(310，320，330，360)中的多个宏块(311，312，313，314)构成，所述方法包括以下步骤：
确定在FGS编码的视频图像中的一个想要的部分，
确定与所述FGS编码的视频图像的所述想要的部分相关联的至少一个FGS编码的宏块(313)；
为该FGS编码的视频图像建立一个预定的传输序列(380)，按照该预定的传输序列(380)，较高级别的比特平面具有比较低级别的比特平面更高的传输优先级；以及
在所述预定的传输序列(380)中推进与所述想要的部分相关联的至少一个FGS编码的宏块(313)，以便得到一个被调整的传输序列，按照该被调整的传输序列，一个属于与所述想要的部分相关联的所述至少一个FGS编码的宏块(313)的比特平面具有比属于不与所述想要的部分相关联的FGS编码的宏块的相应级别的比特平面更高的传输优先级。
2.如权利要求1中阐述的方法，还包括在所述被调整的传输序列中填充一个已知的数值(391，399)以保持一个常规的传输序列的步骤。
3.如权利要求2中阐述的方法，其中所述已知的数值(391，399)代表不重要的数值。
4.如权利要求1中阐述的方法，还包括根据用户请求确定所述想要的部分的步骤。
5.如权利要求1中阐述的方法，还包括按照已知因素确定所述想要的部分的步骤。
6.如权利要求5中阐述的方法，其中所述已知的因素是从包括以下项目的组中选择的：图像的中心、面部、运动图像、等等。
7.如权利要求1中阐述的方法，其中所述预定的传输序列是从包括以下项目的组中选择的：水平扫描、垂直扫描、对角线扫描、光栅扫描、逐行扫描、隔行扫描等等。
8.一种用于动态确定FGS编码的视频图像的传输序列以允许有选择地增强所述FGS编码的视频图像的想要的部分的传输系统(500)，其中FGS是细粒度可缩放性的缩写，所述FGS编码的视频图像由分布在不同级别的多个比特平面(310，320，330，360)中的多个宏块(311，312，313，314)构成，所述传输系统包括：
用于确定在FGS编码的视频图像中的一个想要的部分的装置(525)；
一个装置(577)，该装置(577)用于为该FGS编码的视频图像建立一个预定的传输序列(380)，按照该预定的传输序列(380)，较高级别的比特平面具有比较低级别的比特平面更高的传输优先级，
并且该装置(577)用于确定与所述FGS编码的视频图像的所述想要的部分相关联的至少一个FGS编码的宏块(313)，
以及该装置(577)还用于在所述预定的传输序列(380)中推进与所述想要的部分相关联的至少一个被确定的FGS编码的宏块(313)，以便得到一个被调整的传输序列，按照该被调整的传输序列，一个属于与所述想要的部分相关联的所述至少一个FGS编码的宏块(313)的比特平面具有比属于不与所述想要的部分相关联的FGS编码的宏块的相应级别的比特平面更高的传输优先级。
CNB028247469A 2001-12-13 2002-12-06 用于动态指派有选择地增强的细粒度可缩放编码的图像的方法和设备 Expired - Fee Related CN1270539C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/015,508 US7068717B2 (en) 2000-07-12 2001-12-13 Method and apparatus for dynamic allocation of scalable selective enhanced fine granular encoded images
US10/015,508 2001-12-13

Publications (2)

Publication Number Publication Date
CN1602633A CN1602633A (zh) 2005-03-30
CN1270539C true CN1270539C (zh) 2006-08-16

Family

ID=21771807

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028247469A Expired - Fee Related CN1270539C (zh) 2001-12-13 2002-12-06 用于动态指派有选择地增强的细粒度可缩放编码的图像的方法和设备

Country Status (7)

Country Link
US (1) US7068717B2 (zh)
EP (1) EP1459546A1 (zh)
JP (1) JP2005512470A (zh)
KR (1) KR20040068231A (zh)
CN (1) CN1270539C (zh)
AU (1) AU2002348773A1 (zh)
WO (1) WO2003051060A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020080878A1 (en) * 2000-10-12 2002-06-27 Webcast Technologies, Inc. Video apparatus and method for digital video enhancement
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US20040071216A1 (en) * 2000-12-21 2004-04-15 Richardson John William Delivering video over an ATM/DSL network using a multi-layered video coding system
US20020126759A1 (en) 2001-01-10 2002-09-12 Wen-Hsiao Peng Method and apparatus for providing prediction mode fine granularity scalability
JP2003022232A (ja) * 2001-07-06 2003-01-24 Fujitsu Ltd コンテンツデータ転送システム
US6996172B2 (en) * 2001-12-21 2006-02-07 Motorola, Inc. Method and structure for scalability type selection in digital video
KR100556838B1 (ko) * 2002-09-17 2006-03-10 엘지전자 주식회사 미세단위 신축형 부호화 및 복호화 장치와 방법
KR20050061483A (ko) * 2002-09-27 2005-06-22 코닌클리케 필립스 일렉트로닉스 엔.브이. 스케일링 가능한 비디오 인코딩
US8204079B2 (en) * 2002-10-28 2012-06-19 Qualcomm Incorporated Joint transmission of multiple multimedia streams
US20040083495A1 (en) * 2002-10-29 2004-04-29 Lane Richard D. Mulitmedia transmission using variable gain amplification based on data importance
US7447264B2 (en) * 2002-11-07 2008-11-04 Victor Company Of Japan, Ltd. Moving-picture temporal scalable coding method, coding apparatus, decoding method, decoding apparatus, and computer program therefor
US20060156363A1 (en) * 2005-01-07 2006-07-13 Microsoft Corporation File storage for scalable media
US20090279602A1 (en) * 2005-04-13 2009-11-12 Ye-Kui Wang Method, Device and System for Effective Fine Granularity Scalability (FGS) Coding and Decoding of Video Data
FR2893806A1 (fr) 2005-11-21 2007-05-25 Thomson Licensing Sas Systeme de transmission d'images de dynamique elevee, unites et procedes de codage et de decodage pour ce systeme
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
KR100781530B1 (ko) * 2006-07-14 2007-12-03 삼성전자주식회사 변환 계수의 재배열을 이용하여 ｆｇｓ 계층의 비디오신호를 부호화하고 복호화하는 방법 및 장치
US20080013624A1 (en) * 2006-07-14 2008-01-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding video signal of fgs layer by reordering transform coefficients
KR20080034417A (ko) * 2006-10-16 2008-04-21 한국전자통신연구원 개선된 ａｒ-ｆｇｓ 및 ｆｇｓ 모션 리파인먼트 기법을적용하는 ｓｖｃ 부호화기, 복호화기 및 그곳에서의 부호화및 복호화 방법
US20080170611A1 (en) * 2007-01-17 2008-07-17 Srikrishna Ramaswamy Configurable functional multi-processing architecture for video processing
CN101146229B (zh) * 2007-10-29 2010-06-02 北京大学 一种svc视频fgs优先级调度方法
US8290285B2 (en) * 2008-06-23 2012-10-16 Mediatek Inc. Method and related apparatuses for decoding multimedia data
US8407754B2 (en) * 2008-09-17 2013-03-26 Sony Corporation Efficient mobile receiver autoprogramming
KR101590633B1 (ko) * 2008-11-11 2016-02-02 삼성전자주식회사 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법
KR101557504B1 (ko) * 2009-04-13 2015-10-07 삼성전자주식회사 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템
GB2482731B (en) * 2010-08-13 2016-12-21 Advanced Risc Mach Ltd A video decoding apparatus and method
US9538174B2 (en) 2012-08-10 2017-01-03 Mediatek Inc. Method and apparatus for inverse scan of transform coefficients in HEVC
CN103581676B (zh) * 2012-08-10 2016-12-28 联发科技股份有限公司 视频编码变换系数的解码方法及装置
US9467681B2 (en) * 2013-03-25 2016-10-11 Microsoft Technology Licensing, Llc Representation and compression of depth data
DE102021130728A1 (de) 2021-11-24 2023-05-25 Audi Aktiengesellschaft Brennstoffzellenstapel sowie Brennstoffzellenfahrzeug

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480541B1 (en) * 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
US6112234A (en) * 1997-07-01 2000-08-29 Leiper; Thomas W. Method for transfer of radiographic images
US6263022B1 (en) * 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
US7245663B2 (en) * 1999-07-06 2007-07-17 Koninklijke Philips Electronis N.V. Method and apparatus for improved efficiency in transmission of fine granular scalable selective enhanced images
US6788740B1 (en) * 1999-10-01 2004-09-07 Koninklijke Philips Electronics N.V. System and method for encoding and decoding enhancement layer data using base layer quantization data
US6614936B1 (en) * 1999-12-03 2003-09-02 Microsoft Corporation System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding
US6700933B1 (en) * 2000-02-15 2004-03-02 Microsoft Corporation System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding
US20020080878A1 (en) * 2000-10-12 2002-06-27 Webcast Technologies, Inc. Video apparatus and method for digital video enhancement

Also Published As

Publication number Publication date
JP2005512470A (ja) 2005-04-28
AU2002348773A1 (en) 2003-06-23
EP1459546A1 (en) 2004-09-22
KR20040068231A (ko) 2004-07-30
CN1602633A (zh) 2005-03-30
US20020181580A1 (en) 2002-12-05
US7068717B2 (en) 2006-06-27
WO2003051060A1 (en) 2003-06-19

Similar Documents

Publication Publication Date Title
CN1270539C (zh) 用于动态指派有选择地增强的细粒度可缩放编码的图像的方法和设备
CN1192629C (zh) 应用基层编码信息改进精确颗粒可定标图像的系统和方法
CN1636394A (zh) 细粒视频编码的空间可缩放性
CN1166200C (zh) 混合式时间-信杂比精细颗粒可分级视频编码
US4698689A (en) Progressive image transmission
CN1253014C (zh) 图像编码方法及设备和图像解码方法及设备
CN1319380C (zh) 用于译码空间定标的细粒度编码的视频信号的方法和设备
US6546143B1 (en) Efficient wavelet-based compression of large images
US7245663B2 (en) Method and apparatus for improved efficiency in transmission of fine granular scalable selective enhanced images
US20030023982A1 (en) Scalable video encoding/storage/distribution/decoding for symmetrical multiple video processors
EP2057847A1 (en) Video encoding apparatus and method and video decoding apparatus and method
CN1339224A (zh) 使用基层量化数据对增强层数据进行编码和解码的系统和方法
KR970050863A (ko) 비디오 신호 엔코딩 방법, 비디오 신호 엔코딩 장치, 비디오 신호 전송 방법, 및 기록 매체
US20070031051A1 (en) Image encoding apparatus and method, and image decoding apparatus and method
US5703652A (en) Information signal encoding system and method for adaptively encoding an information signal
CN1893576A (zh) 数字数据接收器以及构建幻灯节目的方法
CN1568621A (zh) 混合时域信噪比细粒视频编码中的传输控制方法
EP1483918A2 (en) Method and system for layered video encoding
CN1159922C (zh) 编码二进制形状信号的方法
US7042942B2 (en) Zigzag in-order for image/video encoder and decoder
CN1092587A (zh) 移动图象解码器
JP2006500849A (ja) スケーラブルなビデオエンコード
US5828413A (en) Method and apparatus for image processing using model-based localized quantization
US20090097766A1 (en) Apparatus of compressing image data and a method thereof
EP1037468B1 (en) Image coding using embedded zerotree patterns and bitplanes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: IPG ELECTRONICS 503 CO., LTD.

Free format text: FORMER OWNER: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Effective date: 20090821

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20090821

Address after: British Channel Islands

Patentee after: IPG Electronics 503 Co.,Ltd.

Address before: Holland Ian Deho Finn

Patentee before: Koninklijke Philips Electronics N.V.

ASS Succession or assignment of patent right

Owner name: FUNAI ELECTRIC CO., LTD.

Free format text: FORMER OWNER: IPG ELECTRONICS 503 CO., LTD.

Effective date: 20120518

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20120518

Address after: Osaka Japan

Patentee after: Funai Electric Co.,Ltd.

Address before: British Channel Islands

Patentee before: IPG Electronics 503 Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060816

Termination date: 20211206

CF01 Termination of patent right due to non-payment of annual fee