CN101180884B - 用于视频数据的有效精细粒度伸缩（fgs）编码和解码的方法、装置和系统 - Google Patents
用于视频数据的有效精细粒度伸缩（fgs）编码和解码的方法、装置和系统 Download PDFInfo
- Publication number
- CN101180884B CN101180884B CN2006800180489A CN200680018048A CN101180884B CN 101180884 B CN101180884 B CN 101180884B CN 2006800180489 A CN2006800180489 A CN 2006800180489A CN 200680018048 A CN200680018048 A CN 200680018048A CN 101180884 B CN101180884 B CN 101180884B
- Authority
- CN
- China
- Prior art keywords
- band
- enhancement layer
- tomographic image
- video data
- fgs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000008569 process Effects 0.000 claims description 4
- 230000000750 progressive effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 23
- 230000001413 cellular effect Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005469 granulation Methods 0.000 description 1
- 230000003179 granulation Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种用于基于精细粒度伸缩(FGS)信息的有效的和改进的视频数据可伸缩编码和/或解码的方法，装置和系统。根据本发明的第一方面，一种用于视频数据编码的方法被提出，该方法包括获取所述视频数据；基于所述获取的视频数据产生基本层图像，基本层图像包括至少一个条带，所述条带对应于所述基本层图像中的区域；并产生对应于所述基本层图像的至少一个的增强层图像，其中，所述至少一个增强层图像包括至少一个精细粒度伸缩(FGS)条带，所述至少一个FGS条带对应于所述增强层图像中的区域，其中所述FGS条带对应的所述至少一个区域不同于所述基础层中所述条带对应的区域，编码所述基础层图像和所述至少一个增强层图像，得到编码视频数据。
Description
技术领域
本发明涉及视频编码和解码领域，且尤其涉及基于精细粒度伸缩的可伸缩视频数据处理。
背景技术
传统的视频编码标准(例如，MPEG-1，H.261/263/364)结合运动估计和运动补偿以消除视频帧之间的时间冗余。这些概念对于那些对视频编码技术有基本了解的技术人员而言是十分熟悉的，将不进行详细描述。
目前，对H.264/AVC的可伸缩扩展允许精细粒度的可伸缩性，据此可以通过以10％或更小的增量来增加比特率，使得视频序列的质量得以提高。根据传统实施，每个FGS(精细粒度伸缩)条带(slice)必须与其“基本层图像”中的对应条带覆盖相同的空间区域，即，一个FGS条带的开始宏块和宏块数量必须与其“基本层图像”中的对应条带相同。因此，每个FGS平面必须具有与其“基本层图像”相同的条带数量。
根据现有技术，每个FGS条带必须与其“基本层图像”中对应的条带覆盖相同空间区域这一约束，影响了NAL(网络提取层)单元的尺寸，因此无法根据已知的包丢失率和协议数据单元(PDU)尺寸来进行最优传输。此外，该约束不允许感兴趣区域(ROI)FGS增强，其中这些感兴趣区域可具有比其他区域更好的质量。
发明内容
本发明的目的是分别提供用于有效编码或解码的方法、装置和系统，其克服现有技术的上述问题，并提供有效的和质量上有所改进的编码。
本发明的主要优势在于FGS条带可以被编码，使得起始宏块位置和宏块数量的大小可以根据最优传输的需要确定，例如，使得条带的字节数接近但决不超过协议数据单元(PDU)的字节数，还在于FGS条带可以被编码，使得它覆盖更为重要的感兴趣区域或其部分，并且它以高于不重要区域的质量被编码，或者，可选地，仅覆盖感兴趣区域的FGS条带被编码和传输。
根据本发明，每个FGS条带必须与其“基本层图像”中对应条带覆盖相同空间区域这一约束被消除。此外，被一个FGS条带覆盖的区域(即，起始宏块和宏块数量)独立于其基本层图像。相应地，应用了支持FGS条带的可伸缩视频编码的任何应用，都可受益于本发明的创造性。
本发明的目的由所附独立权利要求中定义的主题解决。
根据本发明的第一方面，提供一种用于编码视频数据的方法，该方法包括获取所述视频数据；基于所述获取的视频数据产生基本层图像，基本层图像包括至少一个条带，所述条带对应于所述基本层图像中的区域；并产生对应于所述基本层图像的至少一个增强层图像，其中所述至少一个增强层图像包括至少一个精细粒度伸缩(FGS)条带，所述至少一个FGS条带对应于所述增强层图像中的区域，其中所述FGS条带对应的至少一个区域不同于所述基本层中的所述条带对应的区域，编码所述基本层图像和所述至少一个增强层图像得到编码的视频数据。
在一个优选实施方式中，所述至少一个FGS条带是如在视频编码标准H.264/AVC的可伸缩扩展中说明的渐进细化条带。
在一个优选实施方式中，所述产生所述基本层图像和所述至少一个增强层图像是基于所述视频数据中的运动信息，所述运动信息由运动估计过程提供。
优选地，至少一个FGS条带对应于图像中的感兴趣区域(ROI)。
优选地，所述基本层图像中的条带数量不同于增强层图像中的FGS条带数量。
优选地，所述FGS条带被编码，使得其具有根据预定数值的字节数。
根据本发明的另一方面，提供一种用于编码视频数据的可伸缩解码的方法，包括以下步骤：获取所述编码视频数据；识别所述编码视频数据中的基本层图像和至少一个增强层图像；所述基本层图像包括至少一个条带，所述条带对应于所述基本层图像中的区域；以及对应于所述基本层图像的至少一个增强层图像，其中所述至少一个增强层图像包括至少一个精细粒度伸缩(FGS)条带，所述至少一个FGS条带对应于所述增强层图像中的一个区域，其中所述至少一个所述FGS条带对应的区域不同于所述基本层中所述条带对应的区域，以及通过合并所述基本层图像和所述至少一个增强层图像解码所述编码视频数据，得到解码视频数据。
优选地，所述至少一个FGS条带是如在称为H.264/AVC的视频编码标准的可伸缩扩展中说明的渐进细化条带。
优选地，所述基本层和所述增强层图像基于所述编码视频数据中的运动信息，所述运动信息在所述编码视频数据中提供。
优选地，所述至少一个FGS条带涉及所述编码视频数据中单独图像的某些感兴趣区域。
优选地，所述编码视频数据不包括覆盖非感兴趣区域的FGS条带。
优选地，所述至少一个FGS条带具有接近但小于预定数值的字节数。
另一方面，提供一种根据用于编码的上述方法操作的设备。
另一方面，提供一种根据用于解码的上述方法操作的设备。
另一方面，提供一种系统，所述系统根据用于编码的上述方法支持数据传输。
另一方面，提供一种系统，所述系统根据用于解码的上述方法支持数据传输。
还提供一种数据传输系统，包括至少一个编码设备，用于执行可伸缩编码视频数据的方法，包括步骤：获取所述视频数据；基于所述获取的视频数据产生基本层图像，基本层图像包括至少一个条带，所述条带对应于所述基本层图像中的区域；并产生对应于所述基本层图像的至少一个增强层图像，其中所述至少一个增强层图像包括至少一个精细粒度伸缩(FGS)条带，所述至少一个FGS条带对应于所述增强层图像中的区域，其中所述至少一个所述FGS条带对应的区域不同于所述基本层图像中所述条带对应的区域，编码所述基本层图像和所述至少一个增强层图像得到编码视频数据，以及一种解码设备，用于执行编码视频数据的可伸缩解码方法，包括步骤：获取所述编码视频数据，识别所述编码视频数据中的基本层图像和至少一个增强层图像；所述基本层图像包括至少一个条带，所述条带对应于所述基本层图像中的区域；以及对应于所述基本层图像的至少一个增强层图像，其中所述至少一个增强层图像包括至少一个精细粒度伸缩(FGS)条带，所述至少一个FGS条带对应于所述增强层图像中的区域，其中所述至少一个所述FGS条带对应的区域不同于所述基本层中条带对应的区域，以及通过合并所述基本层图像和所述至少一个增强层图像解码所述编码视频数据，得到解码视频数据。
提供一种计算程序产品，包括计算机可读存储结构，其上包含计算机程序代码，用于由电子设备主控的计算机处理器执行，其中所述计算机程序代码包括用于执行上述编码方法的指令。
还提供一种计算机程序产品，包括计算机可读存储结构，其上包含计算机程序代码，用于由电子设备主控的计算机处理器执行，其中所述计算机程序代码包括执行上述解码方法的指令。
还提供一种实施在载波中和表示指令的计算机数据信号，当其被处理器执行时，导致编码方法的操作被执行。
还提供一种用于视频数据的可伸缩编码的模块，包括：获取组件，用于获取所述视频数据；产生组件，用于基于获取的视频数据产生基本层图像；产生组件，用于基于所述获取的视频数据和所述基本层产生至少一个增强层图像，基本层图像包括至少一个条带，所述条带对应于所述基本层图像中的区域；且至少一个增强层图像对应于所述基本层图像，其中所述至少一个增强层图像包括至少一个精细粒度伸缩(FGS)条带，所述至少一个FGS条带对应于所述增强层图像中的区域；以及定义组件，用于以如下方式定义所述一个或多个产生的增强层FGS条带的所述至少一个，即所述FGS条带对应的区域不同于所述基本层图像中条带对应的区域；以及编码组件，用于编码所述基本层和所述至少一个增强层，得到编码视频数据的。
还提供一种用于编码视频数据的可伸缩解码的模块，包括：获取组件，用于获取所述编码视频数据；识别组件，用于识别所述编码视频数据中基本层图像和至少一个增强层图像；其中所述基本层图像包括至少一个条带，所述条带对应于所述基本层图像中的区域；以及对应于所述基本层图像的至少一个增强层图像，其中所述至少一个增强层图像包括至少一个精细粒度伸缩(FGS)条带，所述至少一个FGS条带对应于所述增强层图像中的区域，其中所述所述FGS条带的至少一个对应的区域不同于所述基本层图像中条带对应的区域，以及解码组件，用于通过合并所述基本层和所述至少一个增强层解码被编码的视频数据，得到解码视频数据。
还提供一种实施在载波中和表示指令的计算机数据信号，当其被处理器执行时，导致用于解码的方法的操作被执行。
由此，现在提供了一种用于在这样的意义下对FGS条带灵活编码的方法，即由FGS条带覆盖的区域独立于其基本层图像。并因此，每个FGS平面可以具有不同于“基本层”的条带数量。
本发明的更多优势将在阅读本发明实施方式的详细说明时明晰，基于此，创造性概念是很容易理解的。
在详细说明和附图中，为清晰起见，相同或相似的组件，单元或设备被标以相同的参考数字。
附图说明
附图被用来提供对本发明的进一步理解，它被引入说明书并组成说明书的一个部分。附图说明了本发明的实施方式，并与描述一起用来解释本发明的原理。在附图中，
图1示意性地示出便携客户电子设备的示例框图，其基于蜂窝终端物设备被典型地实施；
图2是根据本发明的编码原理的详细图示；
图3是根据本发明的解码原理的详细图示；
图4绘出根据本发明表示的编码侧的操作序列；
图5绘出根据本发明表示的解码侧的操作序列；
图6表示根据示出所有组件的本发明的编码模块；
图7表示根据示出所有组件的本发明的解码模决。
虽然本发明是参考根据附图的实施方式被说明的，但显然本发明并不限于此，而是它可以在所附权利要求的范围内以多种方式修改。
在下文对各种实施方式的描述中将参考附图，其构成说明书的一部分，并且其中通过图示本发明可被实施的各种实施方式来表示。应该理解，其他可能使用的实施方式以及可能做出的结构性和功能性修改没有脱离本发明的范围。贯穿附图和说明书，尽可能使用相同的参考编号来指代相似或相同的部分。
具体实施方式
图1绘出了根据本发明的一个实施方式的一种典型的移动设备。图1中表示的移动设备10能够进行蜂窝数据和语音通信。应当指出，这种特定实施方式以说明的方式代表了多种实施方式中的一种，本发明不限于此特定的实施方式。移动设备10包括(主)微处理器或微控制器100以及与控制移动设备的操作的微处理器相关联的组件。这些组件包括连接到显示模块135的显示控制器130、非易失性存储器140、易失性存储器150(例如，随机存取存储器(RAM))、连接到麦克风161的音频输入/输出(I/O)接口160、扬声器162和/或听筒163、连接到小键盘175或键盘的小键盘控制器170、任何辅助输入/输出(I/O)接口200、以及短程通信接口180。这样的设备还典型地包括被总体示为190的其他设备子系统。
移动设备10可以在语音网络上通信，和/或在数据网络上同样地通信，例如，任何公共陆地移动网络(PLMN)，形式上是例如数字蜂窝网络，尤其是GSM(全球移动通信系统)或UMTS(通用移动通信系统)。典型地，语音和/或数据通信通过空中接口被操作，即与基站(BS)或节点B(没有示出)的其他部件(如上)协作的蜂窝通信接口子系统，其中基站(BS)或节点B是蜂窝网络基础设施的无线接入网络(RAN)的一部分。参考如图1中说明性描述的蜂窝通信接口子系统，包括蜂窝接口110、数字信号处理器(DSP)120、接收器(RX)121、发送器(TX)122、以及一个或多个本地振荡器(LO)123，它支持与一个或多个公共陆地移动网络(PLMN)的通信。数字信号处理器(DSP)120发送通信信号124到发送器(TX)122，并从接收器(RX)121接收通信信号125。除了处理通信信号之外，数字信号处理器120还提供接收器控制信号126和发送器控制信号127。例如，除分别对将要发送信号的调制和对接收信号的解调制外，接收器(RX)121和发送器(TX)122中通信信号所应用的增益水平可以通过实施在数字信号处理器(DSP)120中实施的自动增益控制算法自适应地控制。其他收发器控制算法也可以在数字信号处理器(DSP)120中实施，以提供收发器122更为复杂的控制。当移动设备10通过PLMN的通信发生在单一频率或一组密集分布频率上时，单个的本地振荡器(LO)123可以与发送器(TX)122和接收器(RX)121协同使用。可选地，如果不同的频率被用于语音/数据通信或发送与接收，则多个本地振荡器128可被用以产生多个相应的频率。尽管图1中描述的天线129可以是不同的天线系统(未示出)，移动设备10可以如图所示地使用单天线结构用于信号接收及发送。包括语音和数据信息两者在内的信息经由接口110与数字信号处理器(DSP)120之间的数据链路在蜂窝接口110之间往来通信。蜂窝接口110的详细设计，例如频带、组件选择、功率水平等，将依赖于其中旨在操作移动设备100的无线网络。
在完成了所有所需的网络注册或激活过程之后(该过程可能涉及在蜂窝网络中注册所需的订户识别模块(SIM)210)，然后移动设备10可以通过无线网络发送和接收通信信号，包括语音和数据信号。由天线129从无线网络接收到的信号被路由给接收器121，其提供如下操作：信号放大、频率下变频、滤波、通道选择以及模数转换。接收信号的模数转换允许使用数字信号处理器(DSP)120执行更为复杂的通信功能，例如数字解调和解码。以类似的方式，将要被发送的信号由例如数字信号处理器(DSP)120处理(包括调制和编码)，而后提供给发送器122用于数模转换、频率上变频、滤波、放大，并经由天线129传输到无线网络。
可被指定为设备平台微处理器的微处理器/微控制器(μC)100管理移动设备10的功能。由处理器110使用的操作系统软件149优选地在例如非易失性存储器140中永久地存储，其可被实施为例如闪存、支持电池的RAM、任何其他的非易失性存储技术、或其组合。除了控制移动设备10的低层功能和(图形)基本用户界面功能的操作系统149之外，非易失性存储器140还包括多个高层软件应用程序或模块，例如语音通信软件应用程序142、数据通信软件应用程序141、组织器模块(未示出)、或其他任何类型的软件模块(未示出)。这些模块被处理器100执行并提供移动设备10与其用户之间的高层接口。该接口典型地包括：通过受控于显示控制器130的显示器135提供的图形组件、以及通过小键盘控制器170与处理器100连接的小键盘175提供的输入/输出组件、辅助输入/输出(I/O)接口200、和/或短程(SR)通信接口180。辅助I/O接口200尤其包括USB(通用串行总线)接口、串行接口、MMC(多媒体卡)接口和相关接口技术/标准、以及其他任何标准化的或私有的数据通信总线技术，而短程通信接口射频(RF)低功率接口尤其包括WLAN(无线局域网)和蓝牙通信技术或IRDA(红外数据接入)接口。这里引入的RF低功率接口应特别被理解为包括任何IEEE 801.xx标准技术，其描述可从电子电气工程师协会获得。此外，辅助I/O接口200和短程通信接口180可以分别表示一个和多个接口，这些接口分别支持一个或多个输入/输出接口技术和通信接口技术。
操作系统、特定的设备软件应用或模块或其部分可以被暂时性地加载到易失性存储器150中，例如典型地基于DRAM(直接随机存取存储器)技术实现的随机存取存储器，以便更快地操作。此外，接收到的通信信号在被永久性地写入文件系统前，也可以被暂时性地保存在易失性存储器150中，其中文件系统位于非易失性存储器140或存储到优选地经由辅助I/O可拆卸连接的任何适合的大容量存储器上。应当理解，上述组件代表了这里以蜂窝电话形式实施的传统移动设备10的典型组件。本发明不限于这些特定组件，对其实现的描述仅为说明之用及出于完整性考虑。
移动设备10的示例性软件应用模块是个人信息管理器应用程序，其提供PDA(个人数字助理)功能，典型地包括联系人管理器、日历、任务管理器等。这样的个人信息管理器由处理器100执行，可访问移动设备10的组件，也可与其他软件应用模块交互。例如，与语音通信软件应用的交互使其可以管理电话呼叫、语音邮件等，并且与数据通信软件应用程序的交互使其可以管理SMS(短消息服务)、MMS(多媒体服务)、电子邮件通信和其他数据传输。非易失性存储器140优选地提供文件系统以利于永久保存设备上数据项，具体包括日历条目、联系人等。与例如经由蜂窝接口、短程通信接口或辅助I/O接口的网络进行数据通信能力支持经由这些网络的上传、下载、同步。
应用模块141到149表示被配置为由处理器100执行的设备功能或软件应用。在大多数已知的移动设备中，单个的处理器管理和控制移动设备的全部操作及所有设备功能和软件应用。这个概念适用于今天的移动设备。特别地，增强的多媒体功能的实施驱动对计算能力的需求，该实施包括例如视频流重现应用、对由集成地或可拆卸地连接的数字照相机功能获取的数字图像和视频序列的操作、以及还包括复杂图形学的游戏应用程序。处理计算能力需求的一种方式是通过实施强大的和通用的处理器内核来解决提高计算能力的问题，这种方法在过去被沿用。另一个用于提供计算能力的方法是实现两个或多个独立的处理器内核，这是本领域内众所周知的方法。多个独立处理器内核的优势可以被本领域的技术人员很快理解。尽管通用处理器被设计为执行多样性的不同任务，没有针对事先选定的特殊任务的专门化，但多处理器设置可以包括一个或多个通用处理器、以及被配置为处理预定任务集的一个或多个专用处理器。然而，在一个设备中多个处理器的实施中，特别是在如移动设备10这样的移动设备中，传统上需要对组件进行完全和复杂的重新设计。
下文中，本发明将提出一个概念，它允许附加处理器内核与现有处理设备实施的简单集成，使得代价高昂的完全和复杂的重新设计可以被省略。将参考片上系统(SoC)设计加以描述创造性。片上系统(SoC)是将处理设备的至少多个(或所有)组件集成在单个的高集成化芯片上的概念。这样的片上系统可以包含数字、模拟、混合信号，并常常包含射频功能——全部在一个芯片上。典型的处理设备包括执行不同任务的多个集成电路。这些集成电路具体包括微处理器、存储器、通用异步结接收器-发送器(UART)、串行/并行端口、直接存储器存取(DMA)控制器等。通用异步接收器-发送器(UART)在数据的并行比特和串行比特之间转换。导致超大规模集成(VLSI)电路的半导体技术近来的进展实现复杂性方面的重大增长，从而有可能将系统的多个组件集成在单一的芯片上。参考图1，其一个或多个组件，例如控制器130和160、存储器组件150和140、以及接口200、180、110中的一个或多个，可以与处理器100一起集成在单个的芯片中，最终形成片上系统(SoC)。
另外，所述设备10配备有用于根据本发明的创造性操作视频数据可伸缩编码的模块105和解码的模块106。依靠CPU100，所述模块105和106可以单独被使用。然而，所述设备10被配置为分别执行视频数据编码或解码。所述视频数据可能依靠设备的通信模块被接收，也可以被保存在设备10中的任意可能想到的存储装置上。
参考附图2，根据本发明的FGS编码原理的详细解释被描述。原始的未加工视频数据被用于运动估计，以及还用于编码基本层EL和相应的增强层EL。原则上，每个EL包括被编码的FGS信息，它可以例如实现解码器侧的进一步图像改进。在进行了所有编码操作之后，BL数据流和(如果需要)具有附加FGS信息的多于一个的EL数据流被提供。根据本发明的创造性步骤，FGS信息以如下方式有利地编码，即，每个FGS条带可以覆盖与基本层图像中其对应条带覆盖的区域不同的区域。因此，对于没有被基本层图像中的一组条带准确覆盖的某个区域，可以基于EL中的FGS信息增强图像质量，从而可以通过以更高的质量编码覆盖感兴趣区域的FGS条带、或只编码覆盖感兴趣区域的FGS条带，从而实现感兴趣区域ROI的图像改进。可选地，由运动估计ME产生的运动向量MV可以被进一步处理或发送给接收器。
图3绘出了根据本发明的FGS解码原理。在接收到BL和EL流之后，FGS解码器对所述可伸缩编码的视频数据提供适当的解码。依靠运动向量MV和EL中的FGS条带，解码器将根据FGS信息确定基本层中的哪部分图像应当被改进。可伸缩解码技术由此被实现，同时解码器可以确定哪些图像区域应当利用EL的FGS信息。在这个典型的实施方式中，只有一个EL被描述并被相应地解码，但可以想像解码器可以处理多个EL。
图4示出了操作序列，该操作序列图示出根据本发明的一般FGS编码方法。在操作S400中序列开始。这可能对应于编码器模块从例如照相机获取未加工视频数据流的时间，参考操作S410。下一个操作将根据本操作的创造性步骤使用相应的FGS信息提供可伸缩视频编码。操作S420和S430分别象征从基本层BL产生或创建(如果需要)多于一个的增强层EL。对于每个EL，FGS信息将被定义S440，其中所述信息被包含在对应于基本层图像某区域的FGS条带中。在定义了包含FGS信息的所有相关的FGS条带之后，编码器确定基本层图像中的哪部分表示ROI，并可由此将条带中的FGS信息专门用于该图像部分，如参考操作S440所示。本发明范围内的其他实施同样也是可以想像到的。
如果不需要进一步处理，则操作序列可以到结束操作S490，也可以根据新的迭代而被重新启动。
图5是根据本发明的FGS解码方法的操作序列。操作序列在操作S500被启动。接下来提供了获取操作S510，它与例如包含FGS信息的可伸缩编码数据流的接收相一致。基于所述接收到的编码数据流，解码器导出S520全部所需信息：BL、EL和所谓FGS条带中包含的FGS信息。
根据接收到的FGS条带、基本层和增强层，解码器被配置为重构原始序列S530。根据本发明的创造性步骤，接收到的FGS信息可被用于基本层图像中的某些感兴趣区域。
如果不需要进一步处理，操作序列可能到达结束操作S590，也可能根据新的迭代而被重新启动。
参考图6和图7，根据本发明的编码和解码模块被描述。所述模块可以被实施为软件、硬件等单独形式或任意组合形式。
图6示出用于视频数据可伸缩编码的模块105。所述模块105包括：获取组件600，用于获取所述视频数据，产生组件610，用于基于所述获取的视频数据产生基本层，产生组件620，用于根据所述视频数据和所述基本层产生至少一个相应的可伸缩增强层，其中所述至少一个增强层包括基于一个或多个增强FGS条带的精细粒度伸缩(FGS)信息，所述FGS条带描述所述基本层中的某些区域；以及定义组件630，用于以如下方式定义所述一个或多个产生的增强FGS条带的至少一个，即所述至少一个产生的增强FGS条带覆盖的区域不同于基本层图像中相应条带覆盖的区域；以及编码组件640，用于编码所述基本层和所述至少一个增强层，得到编码视频数据。
图7示出了用于编码视频数据的可伸缩解码的模块106，包括获取组件700，用于获取所述编码视频数据，识别组件710，用于识别所述编码视频数据中的基本层和多个增强层，确定组件720，用于确定所述多个增强层中关于所述基本层的精细粒度伸缩(FGS)信息，其中所述FGS信息包括描述所述基本层中某区域的至少一个FGS条带，且所述FGS条带的至少一个覆盖的区域不同于所述基本层图像中相应条带所覆盖的区域，解码组件730，用于通过合并所述基本层、所述多个增强层和所述FGS信息解码所述编码视频数据，得到解码视频数据。
尽管本发明参考基于附图的实施方式被描述，显而易见的是，本发明并不限于此，其可以在所附权利要求的范围内以多种方式修改。
Claims (14)
1.一种用于对视频数据进行可伸缩编码的方法，包括：
-获取所述视频数据；
-基于所述视频数据产生基本层图像，所述基本层图像包括至少一个条带，所述条带对应于所述基本层图像中的区域；
-产生对应于所述基本层图像的至少一个增强层图像，其中所述至少一个增强层图像包括对应于所述增强层图像中的区域的至少一个精细粒度伸缩FGS条带，其中所述至少一个FGS条带对应的区域不同于基本层图像中至少一个相应的条带对应的区域；以及
-编码所述基本层图像和所述至少一个增强层图像，得到编码的视频数据。
2.根据权利要求1所述的方法，其中所述至少一个FGS条带是视频编码标准H.264/AVC的可伸缩扩展中说明的渐进细化条带。
3.根据权利要求1所述的方法，其中所述产生所述基本层图像和所述至少一个增强层图像是基于所述视频数据中的运动信息，所述运动信息由运动估计过程提供。
4.根据权利要求1所述的方法，其中所述至少一个FGS条带对应于图像中的感兴趣区域。
5.根据权利要求1所述的方法，其中所述基本层图像中条带的数量和增强层图像中FGS条带的数量不同。
6.根据权利要求1所述的方法，其中所述至少一个FGS条带被编码，使得其具有对应于预定数值的字节数。
7.一种用于对编码的视频数据进行可伸缩解码的方法，包括：
-获取所述编码的视频数据；
-识别所述编码的视频数据中的基本层图像和至少一个增强层图像；所述基本层图像包括对应于所述基本层图像中的区域的至少一个条带，并且至少一个增强层图像对应于所述基本层图像，其中所述至少一个增强层图像包括对应于所述增强层图像中的区域的至少一个精细粒度伸缩FGS条带，其中所述至少一个FGS条带对应的区域不同于所述基本层图像中至少一个相应的条带对应的区域，
-通过合并所述基本层图像、所述至少一个增强层图像解码所述编码的视频数据，得到解码的视频数据。
8.根据权利要求7所述的方法，其中所述至少一个FGS条带是称作H.264/AVC的视频编码标准的可伸缩扩展中说明的渐进细化条带。
9.根据权利要求7所述的方法，其中所述基本层图像和所述增强层图像是基于所述编码的视频数据中的运动信息，所述运动信息在所述编码的视频数据中提供。
10.根据权利要求7所述的方法，其中所述至少一个FGS条带涉及图像的某些感兴趣区域。
11.一种用于对视频数据进行可伸缩编码的设备，包括：
-用于获取所述视频数据的装置；
-用于基于所述视频数据产生基本层图像的装置，所述基本层图像包括至少一个条带，所述条带对应于所述基本层图像中的区域；
-用于产生对应于所述基本层图像的至少一个增强层图像的装置，其中所述至少一个增强层图像包括对应于所述增强层图像中的区域的至少一个精细粒度伸缩FGS条带，其中所述至少一个FGS条带对应的区域不同于基本层图像中至少一个相应的条带对应的区域；以及
-用于编码所述基本层图像和所述至少一个增强层图像以得到编码的视频数据的装置。
12.一种用于对编码的视频数据进行可伸缩解码的设备，包括：
-用于获取所述编码的视频数据的装置；
-用于识别所述编码的视频数据中的基本层图像和至少一个增强层图像的装置，其中所述基本层图像包括对应于所述基本层图像中的区域的至少一个条带，并且至少一个增强层图像对应于所述基本层图像，其中所述至少一个增强层图像包括对应于所述增强层图像中的区域的至少一个精细粒度伸缩FGS条带，其中所述至少一个FGS条带对应的区域不同于所述基本层图像中至少一个相应的条带对应的区域；
-用于通过合并所述基本层图像、所述至少一个增强层图像解码所述编码的视频数据以得到解码的视频数据的装置。
13.一种用于视频数据的可伸缩编码的设备，包括：
-获取组件(600)，用于获取所述视频数据；
-第一产生组件(610)，用于基于所获取的视频数据产生基本层图像；
-第二产生组件(620)，用于基于所述获取的视频数据和所述基本层图像产生至少一个增强层图像，所述基本层图像包括至少一个条带，所述条带对应于所述基本层图像中的区域；且至少一个增强层图像对应于所述基本层图像，其中所述至少一个增强层图像包括对应于所述增强层图像中的区域的至少一个精细粒度伸缩FGS条带；以及
-定义组件(630)，用于以如下方式定义所述至少一个FGS条带，即所述至少一个FGS条带对应的区域不同于所述基本层图像中至少一个相应的条带对应的区域；以及
-编码组件(640)，用于编码所述基本层图像和所述至少一个增强层图像以得到编码的视频数据。
14.一种用于编码视频数据的可伸缩解码的设备，包括：
-获取组件(700)，用于获取所述编码视频数据；
-识别组件(710)，用于识别所述编码的视频数据中的基本层图像和至少一个增强层图像，其中所述基本层图像包括对应于所述基本层图像中的区域的至少一个条带，且至少一个增强层图像对应于所述基本层图像，其中所述至少一个增强层图像包括对应于所述增强层图像中的区域的至少一个精细粒度伸缩FGS条带，其中所述至少一个FGS条带对应的区域不同于所述基本层图像中至少一个相应的条带对应的区域；以及
解码的基本层解码器和增强层解码器(730)，用于通过合并所述基本层和所述至少一个增强层解码所述编码的视频数据以得到解码的视频数据。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US67115505P | 2005-04-13 | 2005-04-13 | |
| US60/671,155 | 2005-04-13 | ||
| PCT/IB2006/000631 WO2006109116A1 (en) | 2005-04-13 | 2006-03-22 | Method, device and system for effective fine granularity scalability (fgs) coding and decoding of video data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101180884A CN101180884A (zh) | 2008-05-14 |
| CN101180884B true CN101180884B (zh) | 2010-12-29 |
Family
ID=37086631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2006800180489A Expired - Fee Related CN101180884B (zh) | 2005-04-13 | 2006-03-22 | 用于视频数据的有效精细粒度伸缩（fgs）编码和解码的方法、装置和系统 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20090279602A1 (zh) |
| EP (1) | EP1908289A4 (zh) |
| KR (1) | KR100931871B1 (zh) |
| CN (1) | CN101180884B (zh) |
| TW (1) | TW200707326A (zh) |
| WO (1) | WO2006109116A1 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060256863A1 (en) * | 2005-04-13 | 2006-11-16 | Nokia Corporation | Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data |
| KR101255226B1 (ko) | 2005-09-26 | 2013-04-16 | 한국과학기술원 | 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법 |
| US8184153B2 (en) * | 2005-09-26 | 2012-05-22 | Electronics And Telecommunications Research Institute | Method and apparatus for defining and reconstructing ROIs in scalable video coding |
| CN101998141B (zh) * | 2008-06-19 | 2013-06-05 | 华为技术有限公司 | 视频数据的打包、编解码方法及装置及系统 |
| KR101037868B1 (ko) * | 2008-08-11 | 2011-05-31 | 주식회사 케이티 | 듀얼 모드 비디오 인코더와 이를 이용한 인코딩 장치, 인코딩 방법 및 이를 수록한 저장매체 |
| JP4962525B2 (ja) * | 2009-04-08 | 2012-06-27 | ソニー株式会社 | 再生装置、再生方法、およびプログラム |
| US8483333B2 (en) * | 2010-05-06 | 2013-07-09 | Mediatek Inc. | Methods for adjusting system clock in terms of operational status of non-baseband module, methods for peripheral device control adjustment, and electronic devices using the same |
| CN101895748B (zh) * | 2010-06-21 | 2014-03-26 | 华为终端有限公司 | 一种编解码方法以及编解码装置 |
| US10034013B2 (en) * | 2012-12-05 | 2018-07-24 | Intel Corporation | Recovering motion vectors from lost spatial scalability layers |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1462555A (zh) * | 2001-05-16 | 2003-12-17 | 皇家菲利浦电子有限公司 | 用于精细可伸缩性增强层的基于活动的频率加权方法及系统 |
| CN1589575A (zh) * | 2001-11-21 | 2005-03-02 | 皇家飞利浦电子股份有限公司 | 改进的位面压缩方法 |
| CN1602633A (zh) * | 2001-12-13 | 2005-03-30 | 皇家飞利浦电子股份有限公司 | 用于动态指派有选择地增强的细粒度可缩放编码的图像的方法和设备 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6263022B1 (en) * | 1999-07-06 | 2001-07-17 | Philips Electronics North America Corp. | System and method for fine granular scalable video with selective quality enhancement |
| US20020126759A1 (en) | 2001-01-10 | 2002-09-12 | Wen-Hsiao Peng | Method and apparatus for providing prediction mode fine granularity scalability |
| US6909753B2 (en) * | 2001-12-05 | 2005-06-21 | Koninklijke Philips Electronics, N.V. | Combined MPEG-4 FGS and modulation algorithm for wireless video transmission |
| AU2003208500A1 (en) * | 2002-03-05 | 2003-09-16 | Koninklijke Philips Electronics N.V. | Method and system for layered video encoding |
| US7072394B2 (en) | 2002-08-27 | 2006-07-04 | National Chiao Tung University | Architecture and method for fine granularity scalable video coding |
| JP2005260912A (ja) * | 2004-02-10 | 2005-09-22 | Matsushita Electric Ind Co Ltd | 映像通信装置および映像通信方法 |
| US7227894B2 (en) * | 2004-02-24 | 2007-06-05 | Industrial Technology Research Institute | Method and apparatus for MPEG-4 FGS performance enhancement |
| US20060256863A1 (en) * | 2005-04-13 | 2006-11-16 | Nokia Corporation | Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data |
-
2006
- 2006-03-22 KR KR1020077025990A patent/KR100931871B1/ko not_active IP Right Cessation
- 2006-03-22 WO PCT/IB2006/000631 patent/WO2006109116A1/en active Application Filing
- 2006-03-22 US US11/918,370 patent/US20090279602A1/en not_active Abandoned
- 2006-03-22 CN CN2006800180489A patent/CN101180884B/zh not_active Expired - Fee Related
- 2006-03-22 EP EP06727344A patent/EP1908289A4/en not_active Withdrawn
- 2006-03-29 TW TW095110982A patent/TW200707326A/zh unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1462555A (zh) * | 2001-05-16 | 2003-12-17 | 皇家菲利浦电子有限公司 | 用于精细可伸缩性增强层的基于活动的频率加权方法及系统 |
| CN1589575A (zh) * | 2001-11-21 | 2005-03-02 | 皇家飞利浦电子股份有限公司 | 改进的位面压缩方法 |
| CN1602633A (zh) * | 2001-12-13 | 2005-03-30 | 皇家飞利浦电子股份有限公司 | 用于动态指派有选择地增强的细粒度可缩放编码的图像的方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1908289A4 (en) | 2011-01-26 |
| US20090279602A1 (en) | 2009-11-12 |
| CN101180884A (zh) | 2008-05-14 |
| KR100931871B1 (ko) | 2009-12-15 |
| WO2006109116A1 (en) | 2006-10-19 |
| EP1908289A1 (en) | 2008-04-09 |
| TW200707326A (en) | 2007-02-16 |
| KR20080006595A (ko) | 2008-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101180883B (zh) | 用于有效地编码和解码视频数据的方法、设备和系统 | |
| CN101180884B (zh) | 用于视频数据的有效精细粒度伸缩（fgs）编码和解码的方法、装置和系统 | |
| CN101416513A (zh) | 具有运动补偿的用于低复杂性精细粒度可伸缩视频编码的系统和装置 | |
| US20060256863A1 (en) | Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data | |
| CN101647285A (zh) | 用于运动矢量预测的方法和系统 | |
| CN101278563A (zh) | 用于视频编码中更新操作的亚像素内插的方法和装置 | |
| CN101213842A (zh) | 用于使用运动补偿时域滤波的视频编码中的更新步骤的方法和装置 | |
| KR20080006607A (ko) | 편차 제어를 통한 움직임 보상된 미세 입도 규모 가변성비디오 부호화를 위한 방법 및 시스템 | |
| CN103181167A (zh) | 用于提供复杂度平衡熵编码的方法和装置 | |
| WO2007080486A2 (en) | Method and apparatus for entropy coding in fine granularity scalable video coding | |
| CN101390398A (zh) | 用于精细粒度可伸缩视频编码中的熵编码的方法和装置 | |
| JP4392160B2 (ja) | プログラマブルな無線装置用の集積回路構造 | |
| CN101185340A (zh) | 具有漂移控制的运动补偿精细粒度可伸缩视频编码方法和系统 | |
| CN102497625A (zh) | 短消息处理方法、装置及系统 | |
| KR20060123021A (ko) | 방송 정보 운용방법 및 시스템과 이를 위한 방송 정보 운용장치, 방송 수신 단말, 기록매체 | |
| CN101355722A (zh) | 混合多模通信系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1115257 Country of ref document: HK |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101229 Termination date: 20110322 |
|
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: WD Ref document number: 1115257 Country of ref document: HK |