CN101911712A - 可扩展编码框架中使用纹理分析和合成的视频编码系统 - Google Patents

可扩展编码框架中使用纹理分析和合成的视频编码系统 Download PDF

Info

Publication number
CN101911712A
CN101911712A CN200980102411.9A CN200980102411A CN101911712A CN 101911712 A CN101911712 A CN 101911712A CN 200980102411 A CN200980102411 A CN 200980102411A CN 101911712 A CN101911712 A CN 101911712A
Authority
CN
China
Prior art keywords
texture
coding
synthetic
piece
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200980102411.9A
Other languages
English (en)
Other versions
CN101911712B (zh
Inventor
穆罕默德·Z·维沙拉姆
艾利·塔巴塔拜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Electronics Inc
Original Assignee
Sony Corp
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Electronics Inc filed Critical Sony Corp
Publication of CN101911712A publication Critical patent/CN101911712A/zh
Application granted granted Critical
Publication of CN101911712B publication Critical patent/CN101911712B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

一种在可扩展视频编码框架中利用纹理分析和合成技术对高分辨率视频高效编码的装置或方法。对高分辨率视频信号进行空间降采样并编码到基本层中。从经降采样的信号和基本层中提取纹理和结构信息以供纹理合成器使用。纹理合成器是结构和纹理意识型的,利用了来自合成器的基本层的边缘信息来改善合成。在合成后,视频质量评估器引导通过替代(非纹理)编码手段(例如传统AVC或MPEG-2编码)对不可接受地合成的区域的增强层编码。在一种模式中,质量评估器迭代地改善某些块的合成,以使它们可接受来用于增强层编码。装置或方法输出包含经编码的基本层和增强层的一个或多个比特流。

Description

可扩展编码框架中使用纹理分析和合成的视频编码系统
相关申请的交叉引用
本申请要求2008年1月16日提交的美国临时申请No.61/011,428和2008年9月22日提交的美国专利申请No.12/235,499的优先权,这里通过引用将这两个申请全部并入。
关于联邦赞助研究或开发的声明
不适用
通过引用并入以光盘提交的材料
不适用
关于受著作权保护的材料的公告
本专利文献中的一部分材料根据美国或其他国家的著作权法受著作权保护。著作权所有人不反对任何人对专利文献或专利公开进行复制再现,因为其出现在了美国专利商标局的公众可得文件或记录中,但是除此之外保留一切著作权权利。著作权所有人并不据此放弃其使本专利文献保持秘密的权利,包括但不限于其根据37C.F.R.§1.14的权利。
技术领域
本发明总地涉及视频编码,更具体而言涉及将纹理分析和合成用于高分辨率视频的高效编码的可扩展编码框架。
背景技术
当前的诸如AVC/H.264之类的单层视频编码标准的意图之一是产生一种标准,其能够在比诸如MPEG-2、H.263或MPEG-4Part 2之类的先前标准低得多的比特率下提供良好的视频质量,同时维持现实水平的复杂度。此领域中的进一步扩展带来了诸如SVC标准之类的可扩展视频编码方法的发展,其中可扩展视频编码提供了一种机制,利用这种机制,视频可被编码来适应于以不同分辨率工作的许多种不同应用或设备。可扩展编码器将视频编码成多层,例如包括基本层和至少一个增强层。基本层应当被以最高的可靠度发送,并且包括增强层所依赖的“基础”。
在探求提高视频编码标准的编码效率时,当前正在研究新的技术,与当前标准相比,这种新技术承诺了额外的比特率节省,同时提供了相似或改善的视觉质量。一个这种正引起兴趣的技术是在纹理分析和合成领域。
视频编码和感知评估方面的最近的趋势已经表明,与提供原始纹理本身的精确再现相比,特定纹理的语义含义对于观看者来说更重要。这样,如果提供足够良好的纹理合成方法,这些方法以合理的精确度再现某些类别的纹理,则观看者将无法确定在再现的纹理中是否存在差异,尤其如果他或她未曾看见过原始纹理的话。此技术现在被用于视频编码领域,以实现编码效率的更大增长。
然而,当前可得的大多数技术使用了非常复杂的方案来进行纹理分析和合成。如果这种方案被应用到高分辨率视频数据上,则系统将变得过于复杂。另外,许多当前技术或者在合成阶段遭遇纹理结构的损失,或者要求以额外数据/附带信息的形式发送结构信息以保留纹理属性,从而增大了经编码的数据/比特流的速率。因此,这些当前的方法存在若干的缺点,例如要求较高的处理复杂度或者比特率方面的额外开销。
因此,需要一种在无需高复杂度处理的情况下提供更高质量编码的可扩展视频编码的系统和方法。本发明满足了这些需求和其他需求,本发明克服了先前开发的视频编码系统和方法的缺陷。
发明内容
本发明是一种可以体现在用于在可扩展视频编码框架中利用纹理分析和合成压缩高分辨率视频的装置和系统中的视频编码方法。创造性方法利用了使用来自较低空间层的信息判定被编码的内容的性质(例如,纹理区域、结构区域、平坦区域等等)的纹理分析和合成的思想,其目的是提供更高的编码效率。
本发明通过使用一种可扩展编码框架,减轻了当前方法的缺点,所述可扩展编码框架使用纹理分析和合成技术,这些技术通过使用来自基本层视频的结构信息减小了比特率开销并提供了更健壮的合成结果。结果,本发明的装置和方法提供了致力于提供比当前技术更高的编码效率的非常有竞争力的编码方案。
本发明的方法相较于使用纹理分析和合成的现有视频编码系统提供了多种优点。将纹理分析和合成用于单层视频编码的现有方案遭遇这样的缺陷,即它们必须将额外的附带信息与合成参数一起发送,以便合成器能够成功创建纹理,同时保持结构。本发明提出了一种结构和纹理意识型合成器,其利用来自合成器的较低层的边缘信息来改善合成。这种实现方式涉及“低复杂度”纹理分析,之所以这样称呼它是因为它是在低空间分辨率基本层上执行的。视频质量评估器模块被用于接受和拒绝某些区域的合成。在一种模式中,质量评估器程序被配置用于迭代地改善合成,以便使临界不可接受的合成区域成为可接受来用于增强层记录的。该方法因此响应于使用结构意识型高级纹理合成而在更高空间分辨率上提供了增强的编码性能,同时提供了更低的复杂度,因为大量的纹理分析是在较低分辨率基本层上执行的。
联系说明书概括描述以下术语,这些术语不应当被理解为限制本发明的具体记载。
应用到图像的术语“分辨率”通常指的是空间分辨率,从而如果这里的文本没有指定“时间分辨率”或“空间分辨率”,则在“分辨率”一词的最常见上下文中,它可以被认为是指代空间分辨率。应注意,术语“高分辨率”和“高清晰度”都针对的是空间分辨率方面,并且在本申请内指的是超过了能够在可扩展编码格式的传统基本层中编码的空间分辨率的空间分辨率。
视频压缩中使用的术语“宏块”(MB)表示像素(例如16乘16像素)的块,其也可被认为是块的集合,例如布置成一个阵列的16个块,每个块是4乘4像素的。每个宏块包含每个颜色平面中的像素,例如包含4Y块、1Cb块、1Cr块(4:2:0),但包括4:2:2或4:4:4YCbCr格式在内的其他配置也是常见的。应明白,“块”一词通常在这里用作“宏块”的缩略称呼。
这里应用的术语“纹理意识”指的是认识到视频内的宏块(块)的视觉纹理属性,并且这里纹理信息是从经降采样的视频中提取的,或者不那么优选地是从基本级编码中提取的。
这里应用的术语“结构意识”指的是认识到视频内的块的视觉结构属性(例如,边缘、其方向、厚度和类似的结构属性),并且这里结构信息是从基本级编码中提取的,或者不那么优选地是从经降采样的视频中提取的。
本发明可以以多种方式来实现,包括但不限于以下描述。
本发明的一个实施例是一种对高分辨率视频序列编码的方法,包括:(a)对作为输入接收的高分辨率视频序列进行空间降采样以获得具有较低空间分辨率视频信号的降采样视频;(b)利用任何期望的视频编码机制(例如传统视频编码)对降采样视频的基本层编码;(c)对降采样视频执行纹理分析和分类;(d)从基本层解码视频确定结构信息;(e)响应于结构信息,利用关于块的额外信息,对被确定为纹理合成兼容的块执行纹理合成;(f)对于可接受地合成的块响应于对基本层的结构分析对增强层编码,并且对于不可接受地合成的块使用替代可扩展编码框架(例如传统编码);以及(g)输出包含经编码的基本层和增强层的比特流。
纹理分析是从降采样视频执行的,而结构意识优选地是从基本层编码(例如,从经解码的基本层)提取的。在执行纹理合成之前,对纹理合成兼容块进行判定,并且不兼容的块(被称为非纹理块)通过替代非纹理编码手段(例如传统可扩展编码方法,比如SVC)被编码到增强层中。
基于从降采样视频获得的结构和纹理信息执行的合成保留了高分辨率视频中合成区域的边缘信息。在纹理结构意识型合成之后,质量评估器程序判定哪些块在视觉上可接受来用于增强层编码。不可接受的块通过替代手段(例如传统增强层编码手段(比如SVC))被编码。
在本发明的一种模式中,对评估器认为临界不可接受的块执行额外的合成处理,以便使这些块达到可接受水平的视觉质量。如果无法在期望限度(例如时间、迭代次数或其他度量的限度)内使这些临界块达到可接受质量水平,则将这些块视为不可接受的。
本发明的一个实施例是一种对高分辨率视频序列编码的方法,包括:(a)对作为输入接收的高分辨率视频序列进行空间降采样以获得具有较低空间分辨率视频信号的降采样视频;(b)利用传统视频编码对降采样视频的基本层编码;(c)对降采样视频执行纹理分析;(d)对块执行纹理分类,以分类成能够被执行纹理合成的纹理块(T块)和要被执行替代非纹理编码的非纹理块(NT块);(e)从经解码的基本层获得结构信息;(f)响应于纹理和结构信息,执行纹理合成;(g)对纹理块执行纹理质量评估,以将合成区域的视觉可接受性分类为可接受、不可接受和可选的临界不可接受块;其中对可接受地合成的块的确定是通过质量评估器程序执行的,质量评估器程序可选地利用了以使临界不可接受块达到可接受水平的视觉质量为目的的迭代处理;(h)对于可接受地合成的块响应于对基本层的结构分析对增强层编码,并且对于不可接受地合成的块使用替代非纹理编码;以及(j)输出包含经编码的基本层和增强层的比特流。应当明白,这里描述的方法响应于不同的实现方式可被扩展来支持可扩充的增强层和/或多于一个增强层。
本发明的一个实施例是一种用于对高分辨率视频序列编码的方法,包括:(a)被配置用于处理高分辨率视频信号的计算机;以及(b)可在该计算机上执行的程序,用于:(b)(i)对作为输入接收的高分辨率视频序列进行空间降采样以获得具有较低空间分辨率视频信号的降采样视频,(b)(ii)利用传统视频编码对降采样视频的基本层编码,(b)(iii)执行纹理分析和分类,(b)(iv)从经解码的基本层视频确定结构信息,(b)(v)响应于来自基本层视频的结构信息,对被确定为纹理合成兼容的块执行纹理合成,(b)(vi)对于可接受地合成的块响应于对基本层的结构分析对增强层编码,并且对于不可接受地合成的块使用传统可扩展编码框架,以及(b)(vii)输出包含经编码的基本层和增强层的比特流。
本发明的一个实施例是一种包含计算机程序的计算机可读介质,该计算机程序可在被配置用于处理高分辨率视频的计算机上执行并且使得该计算机响应于以下步骤生成可扩展编码:(a)对作为输入接收的高分辨率视频序列进行空间降采样以获得具有较低空间分辨率视频信号的降采样视频;(b)利用传统视频编码对降采样视频的基本层编码;(c)执行纹理分析和分类;(d)从经解码的基本层确定结构信息;(e)响应于从基本层获得的结构信息,对被确定为纹理合成兼容的块执行纹理合成;(f)对于可接受地合成的块响应于对基本层的结构分析对增强层编码,并且对于不可接受地合成的块使用传统可扩展编码框架;以及(g)输出包含经编码的基本层和增强层的比特流。
本发明提供了多种有益方面,这些方面可被单独实现或者以任何期望的组合实现,而不会脱离本教导。
本发明的一个方面是一种用于生成高清晰度视频的可扩展视频编码的装置和方法。
本发明的另一个方面是响应于使用高级结构意识型纹理合成提供高编码性能的高清晰度编码器。
本发明的另一个方面是响应于从经解码的基本层确定的结构意识保留合成区域的边缘信息的高清晰度编码器。
本发明的另一个方面生成基本层和增强层的高清晰度编码器。
本发明的另一个方面是使用结构意识的纹理合成器的高清晰度编码器。
本发明的另一个方面是从基本层提取边缘信息(例如,边缘的范围、位置和方向)的结构意识型纹理合成器。
本发明的另一个方面是利用在数据被从高清晰度视频输入降采样后对数据执行的低复杂水平纹理分析的高清晰度编码器。
本发明的另一个方面是使用质量评估器的高清晰度编码器,该质量评估器选择性地将合成结果接受到所生成的增强层中。
本发明的另一个方面是迭代地尝试清除临界不可接受的合成块以使它们可接受来用于增强层中的质量评估器。
本发明的另一个方面是将不可接受的合成块(包括不能被充分校正的临界不可接受块)降级为通过替代非纹理手段(例如传统技术)来编码的质量评估器。
本发明的另一个方面是利用替代非纹理手段(例如AVC或MPEG-2协议)来对不能被可接受地合成的块编码的高分辨率编码器。
本发明的另一个方面是一种高清晰度编码器,其能够被实现为装置、系统、方法、实现为可在计算机上执行的程序、实现为可被配置用于在介质上或者通过通信网络分发并由一个或多个相关联计算机执行的程序、及其组合。
在说明书的以下部分中揭露了本发明的其他方面,其中详细描述是为了在不对其施以限制的情况下完整公开本发明的优选实施例。
附图说明
通过参考以下仅用于例示的附图,将更全面地理解本发明:
图1是根据本发明一个实施例的使用纹理分析和结构合成的可扩展视频编码的框图。
图2是根据本发明一个实施例的增强层编码步骤的流程图。
图3是根据本发明一个方面的详细增强层编码步骤的流程图。
图4是被配置用于生成包含基本层和增强层的比特流的系统(或装置)的框图,其中示出了根据本发明一个方面该系统内的计算机和存储器。
具体实施方式
更具体地参考仅用于例示的附图,本发明体现在图1至图4大体示出的装置和方法中。应明了,装置(或系统)的配置和部件细节可以变化,并且方法的具体步骤和顺序可以变化,而不脱离这里公开的基本思想。
图1示出了根据本发明的可扩展视频编码系统的示例性实施例10,该系统利用了纹理分析和合成,纹理分析和合成从更低的空间层(例如从基本层或经降采样的视频)获得其结构和纹理意识。应当明白,图1所示的功能块是以便利地划分实现创造性方面所需的处理的方式提供的,而不是以要求按照每个块的限度分离这些功能的方式提供的。本领域的普通技术人员可以很容易地采用本发明的教导,而不保留精确的模块定义,而不会脱离本发明的教导。因此,本发明的功能可以以多种方式被组合或分离,而不会脱离本发明的教导。在以下描述中经常使用便利的术语“模块”来指代这些功能,然而,使用此术语并不意味着对功能的具体物理分离或打包的任何限制。
高分辨率(例如,高清晰度(HD)视频序列12被用作输入,并且经过空间降采样装置14(例如,降采样滤波器)以获得较低分辨率的视频信号,该较低分辨率的视频信号例如可利用以AVC兼容基本层16为代表的任何期望的视频编码系统来编码,但也可利用MPEG-2和其他协议。这个经降采样的低空间分辨率信号被用作纹理分析模块18和视频编码系统实施例的其余部分的输入信号。
与基本层编码相并行地,纹理分析模块18根据其是否适合于纹理合成对输入视频中的每个宏块(MB)分类,宏块一般被简称为“块”。例如,响应于基于输入信号的空间-时间特性的分析以及随后的判定,每个块被分类为纹理合成的候选者,这里称之为“纹理块”(T块)20,或者“非纹理块”(NT块)22。
利用纹理分类器24通过进一步的细化来处理被分类为T块的块,纹理分类器24的主要功能是精确地对输入的纹理块“T”的属性分类,以便接下来的纹理合成器26能够使用适当的合成机制。纹理分类器例如基于各种局部属性来分离“T”块,以便合成模块能够应用更适合于这种纹理的合成方案,其中所述各种局部属性从比如石头、花朵等等之类的非常刚硬的情况到水、烟雾等等不那么刚硬的情况变化。纹理合成器还接受来自结构意识模块28的输入。在此创造性方法中使用结构意识的一个重要的方面是其起到了保留合成的区域中的边缘信息的作用,而这种边缘信息在合成期间通常是会丢失的。关于结构的信息是从基本层解码视频16获得的。采取边缘、其范围和方向的形式的结构信息可以通过使用简单的边缘检测技术或者通过对基本层视频应用更复杂的空间-时间分离技术来获得。应当明白,由于基本层16不经历纹理合成,所以大量的原始边缘信息被保留,只要基本层没有被剧烈地量化即可。来自基本层的结构信息包括边缘信息,并且可以描述这些边缘/结构的范围和方向。结构意识的合成器26接收来自基本层的结构信息以增强和引导合成过程。在至少一种实现方式中,纹理合成器利用经解码的基本层中可得的纹理信息来在合成过程期间帮助自己。图1中可见一条将合成器26与基本层16相连的流程线,其中合成模块可以利用来自基本层的低分辨率纹理信息来在高分辨率层的合成过程期间帮助自己。
合成的区域的合成数据随后被输出到质量评估器模块30,质量评估器模块30确定合成的输出的可接受性。在一种优选实现方式中,评估器判定合成的区域是否是(1)视觉上可接受的,(2)视觉上不可接受的,或者(3)临界不可接受的(marginally unacceptable)。如果区域合成是可接受的,则分析/合成参数32与相关掩蔽一起被接受到增强层34中。如果区域合成是不可接受的,则合成被拒绝(36),并且对于此合成区域的增强编码被跳过,而非结构意识型编码方法被利用,例如优选地遵循用于对NT块编码的那种方法。在临界不可接受合成的情况下,质量评估器30启动(38)迭代细化过程,该过程优选地进行操作,直到合成可接受为止,或者直到达到处理限度为止,此时合成被最终拒绝(36)。从图中将注意到,所得到的增强层和基本层被组合(44)成比特流46。
考虑被分类为NT块的块的处理,图中示出了根据另一种替代编码机制来处理这些块。应当明白,任何期望的编码框架都可用于此替代编码,例如传统的可扩展编码框架。
在所示出的示例中,如果基本层块是内编码的,则对基本层块解码,并且利用残余编码器42使用原始输入高清晰度视频信号12对其进行升采样,以对增强层编码(34)。
然而,如果基本层块是互编码的,则来自基本层块的运动向量信息(mv)被升采样,以下以示例而非限制方式描述了若干个情况和子类。(1)如果经升采样的运动向量落在增强层的参考帧中的非合成区域中,则计算细化mv并且将残余和细化mv一起编码。(2)如果这个经升采样的运动向量落在参考帧中的合成区域中,则有两个选择可用:(a)利用合成的参考块来替换当前块,不发送残余,或者(b)对基本层互编码块解码,对信号升采样,然后对从增强层视频获得的残余编码,这是一个可能需要多个解码器的过程。
上述处理的一个结果是,高清晰度视频被编码成了可扩展比特流,其中基本层符合传统的视频编码系统(例如,AVC或MPEG-2),并且增强层使用纹理和非纹理编码的混合。
应当注意,由于纹理分析是对低空间分辨率基本层执行的,因此其是低复杂度分析。合成过程是响应于关于结构和纹理的知识而执行的。这里的合成成为了响应于质量评估器模块的操作的“接受还是放弃”的命题,其中质量评估器模块判定合成是可被使用,还是需要更多工作,还是根据替代方法(例如传统的增强编码方法)被拒绝。总体上,本发明的装置和方法由于对纹理和结构合成的先进使用,在更高的空间分辨率上提供了改善的编码性能。
图2示出了本发明的纹理和结构意识型增强层编码的实施例。在谈到流程图时,术语“步骤”将用于指代图中的每个流程图“块”,以使与被执行视频操作的宏块(块)的混淆达到最低限度。应当明白,本领域的普通技术人员可以实现具体步骤或顺序的变化,而不脱离本发明的教导。高清晰度视频的接收由步骤50表示,并且其在步骤52中被进行空间降采样,然后根据步骤54被编码到基本层中。在步骤56中对经降采样的视频基本层执行纹理分析,其中在步骤58中将块分类成T块(可纹理合成的块)和NT块(不可纹理合成的块)。利用在步骤60执行的额外的纹理分类和结构意识型纹理合成,执行对T块的进一步细化。根据合成的信息,结合来自非纹理编码块的编码,执行增强层的编码62。步骤64表示输出包含基本层和至少一个增强层的至少一个比特流。虽然对于大多数应用来说,输出包含基本层和(一个或多个)增强层的单个比特流,但是应当明白,选定的应用可被配置为分别接收来自基本层和增强层的信息,例如为了执行额外的处理。
图3示出了本发明的纹理和结构意识型增强层编码的实施例,其中示出了图2中未示出的额外细节。高清晰度视频的接收由步骤70表示,其在步骤72中被进行空间降采样,然后在步骤74中被编码到基本层中。在步骤76中对经降采样的视频基本层执行纹理分析,其中在步骤78中将块分类成T块和NT块。在步骤80,从基本层确定结构信息,包括关于边缘的存在性和位置的信息。在步骤82中,利用额外的纹理分类执行T块的进一步细化,然后执行结构意识型纹理合成。然后质量评估处理将合成区域的纹理块分类为可接受或不可接受的,如步骤84所表示。在本发明的优选模式中,在步骤84中,区域也可被可选地分类为临界不可接受的,其中在可选的步骤86中,执行迭代处理,以力图使临界块达到可接受水平的合成视觉质量。使合成区域达到可接受质量水平的尝试在时间、迭代次数和其他阈值机制方面是受限的,从而不会阻碍整体编码过程。在步骤88中,利用替代非纹理编码机制,例如利用包括AVC或MPEG-2编码在内的传统视频编码,执行不可接受块的处理。根据合成的信息,在步骤90中结合来自非纹理编码块的信息对增强层编码。最后,步骤92表示输出包含基本层和增强层的比特流(或至少一个比特流)。
图4示出了在启用了计算机处理器的设备110的上下文中本发明的实现方式。视频源提供高分辨率信号112,该信号112被至少一个计算机处理元件114(例如,CPU、微处理器、DSP、包含处理器核心的ASIC等等)所接收,所述至少一个计算机处理元件114能够访问至少一个存储器116,从所述至少一个存储器116中执行指令,以用于执行根据本发明的方法并且生成数据输出,例如包含基本层和至少一个增强层的至少一个比特流118。
应当明白,存储器116可包括其中可接收供计算机114处理的可执行指令的任何期望形式的存储器及其组合,例如内部半导体存储器(例如,静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、FLASH、只读存储器(ROM)以及其他形式的数字存储器),以及从包括半导体存储器、介质设备、网络等等的外部存储器源接收信息。
响应于根据本发明的结构意识型纹理合成处理,一个或多个比特流118被输出,所述一个或多个比特流118包括可扩展视频编码。本发明的可扩展视频输出可用在许多种应用中,例如涉及显示输出120、通信122(例如,通过因特网)、存储124,以及多种具备视频能力的系统126内。因此,应明白,本发明可被应用到可扩展编码技术适用的多种不同应用领域。
虽然以上描述包含许多细节,但这些细节不应当被解释限制本发明的范围,而只是提供了对本发明的一些当前优选的实施例的例示。因此,应明白,本发明的范围完全涵盖对于本领域的技术人员来说显而易见的其他实施例,并且本发明的范围因此仅由所附权利要求来限制,在权利要求中以单数形式提及一个要素并不意图表示“一个且仅一个”(除非另有指明),而表示“一个或多个”。本领域的普通技术人员已知的上述优选实施例的要素的所有结构和功能等同物通过引用被明确结合在此,并且意图被当前的权利要求所涵盖。另外,一个设备或方法并不需要解决本发明所要解决的所有问题才能被当前的权利要求所涵盖。另外,本公开中的要素、组件或方法步骤不打算被奉献给公众,不论该要素、组件或方法步骤是否在权利要求中有明确记载。这里的权利要求要素不应根据35U.S.C.112第六款的规定来解释,除非该要素是利用短语“用于...的装置”来明确记载的。

Claims (20)

1.一种对高分辨率视频序列高效编码的方法,包括:
对作为输入接收的高分辨率视频序列进行空间降采样以获得具有较低空间分辨率视频信号的降采样视频;
利用传统视频编码对所述降采样视频的基本层编码;
从所述降采样视频执行纹理分析和分类;
从所述经解码的基本层确定结构信息;
响应于所述结构信息,对被确定为纹理合成兼容的块执行纹理合成;
对于可接受地合成的块响应于对基本层的结构分析对增强层编码,并且对于不可接受地合成的块使用传统的可扩展编码框架;以及
输出包含经编码的基本层和增强层的至少一个比特流。
2.如权利要求1所述的方法,其中所述纹理分析是从所述降采样视频执行的。
3.如权利要求1所述的方法,其中纹理合成兼容块的确定包括对块执行纹理分析并分类成纹理块(T块)和非纹理块(NT块),其中纹理块可以经历纹理合成,而非纹理块可被执行替代非纹理编码。
4.如权利要求1所述的方法,还包括评估纹理合成的视觉可接受性并且将纹理块分类为可接受或不可接受的。
5.如权利要求4所述的方法,还包括确定临界不可接受的不可接受块并且对这些块执行额外的合成处理以使这些块达到可接受水平的视觉质量。
6.如权利要求5所述的方法,其中如果无法使块在期望的时间或迭代次数限度内达到可接受质量水平,则认为块是不可接受的。
7.如权利要求1所述的方法,其中基于从所述降采样视频获得的所述结构信息的所述合成响应于高分辨率视频中的所述结构意识数据而保留了合成的区域的边缘信息。
8.如权利要求1所述的方法,其中所述合成在高分辨率层的合成过程期间利用了来自经解码的基本层的低分辨率纹理信息。
9.如权利要求1所述的方法,其中所述方法是响应于在被配置用于处理高清晰度视频信号的计算机上运行程序而执行的。
10.一种对高分辨率视频序列高效编码的方法,包括:
对作为输入接收的高分辨率视频序列进行空间降采样以获得具有较低空间分辨率视频信号的降采样视频;
利用传统视频编码对所述降采样视频的基本层编码;
对所述降采样视频执行纹理分析,以分成能够被执行纹理合成的纹理块(T块)和要被执行替代非纹理编码的非纹理块(NT块);
对T块执行纹理分类,以分类成从高度刚硬到非刚硬变化的各种类别,以便能够取决于分类执行有效的合成技术;
从所述基本层获得结构信息;
响应于所述结构信息,执行纹理合成;
对纹理块执行纹理质量评估,以将合成区域的视觉可接受性分类为可接受、不可接受和临界不可接受;
其中对可接受地合成的块的确定是通过质量评估器程序执行的,所述质量评估器程序利用了以使临界不可接受块达到可接受水平的视觉质量为目的的迭代处理;
对于可接受地合成的块响应于对基本层的结构分析对增强层编码,并且对于不可接受地合成的块使用所述替代非纹理编码;以及
输出包含经编码的基本层和增强层的至少一个比特流。
11.如权利要求10所述的方法,其中所述执行纹理分类包括响应于降采样视频的空间-时间特性对所述降采样视频中的每个块就其纹理合成能力进行表征。
12.如权利要求10所述的方法,其中所述替代非纹理编码包括利用AVC或MPEG-2协议的传统视频编码。
13.如权利要求10所述的方法,其中所述替代非纹理编码包括:
确定块是内编码的非纹理块,其中基本层块被解码、升采样、并利用原始输入高清晰度视频信号计算残余;以及
确定块是互编码的非纹理块,其中来自基本层的运动向量信息(mv)被升采样,并且
(i)对于在增强层的参考帧中的非合成区域中的mv,mv的细化被计算,然后残余和细化mv被编码,或者
(ii)对于增强层的参考帧的合成区域中的mv,合成的参考块被当前块所替换,或者
(iii)对于增强层的参考帧的合成区域中的mv,基本层互块被解码,降采样视频被升采样,并且来自增强层视频的残余通过至少一个解码器被编码。
14.如权利要求10所述的方法,其中所述方法响应于对基本层解码以提取结构特征而意识到结构。
15.如权利要求14所述的方法,其中所述结构特征包括边缘或结构的范围以及它们的位置和方向。
16.如权利要求15所述的方法,其中通过从未经纹理合成的经解码基本层中获得结构信息来保留结构特征。
17.如权利要求10所述的方法,其中所述纹理合成是响应于关于边缘和结构的存在性、范围和位置的结构信息而执行的。
18.如权利要求10所述的方法,其中所述纹理合成在高分辨率层的合成过程期间利用来自经解码的基本层的低分辨率纹理信息。
19.一种用于对高分辨率视频序列高效编码的装置,包括:
被配置用于处理高分辨率视频信号的计算机;以及
可在所述计算机上执行的程序,用于,
对高分辨率视频序列输入进行空间降采样以获得具有较低空间分辨率视频信号的降采样视频,
利用非纹理视频编码将所述降采样视频的基本层编码成经解码的基本层,
执行纹理分析和分类,
从所述经解码的基本层确定结构信息,
响应于来自所述经解码的基本层的所述结构信息,对被确定为纹理合成兼容的块执行纹理合成,
对于被可接受地合成的块响应于来自经编码的基本层的结构信息对增强层编码,并且对于未被合成或者未获得可接受的合成结果的块使用非纹理编码框架,以及
输出包含经编码的基本层和增强层的至少一个比特流。
20.一种包含计算机程序的计算机可读介质,所述计算机程序可在被配置用于处理高分辨率视频的计算机上执行并且使得所述计算机响应于以下步骤生成可扩展编码:
对作为输入接收的高分辨率视频序列进行空间降采样以获得具有较低空间分辨率视频信号的降采样视频;
利用非纹理视频编码将所述降采样视频的基本层编码成经解码的基本层;
执行纹理分析和分类;
从所述经解码的基本层确定结构信息;
响应于接收到从所述经解码的基本层获得的所述结构信息,对被确定为纹理合成兼容的块执行纹理合成;
对于被可接受地合成的块响应于来自基本层的结构信息对增强层编码,并且对于未被合成或者未获得可接受的合成结果的块使用非纹理编码框架;以及
输出包含经编码的基本层和增强层的至少一个比特流。
CN200980102411.9A 2008-01-16 2009-01-05 可扩展编码框架中使用纹理分析和合成的视频编码系统 Expired - Fee Related CN101911712B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US1142808P 2008-01-16 2008-01-16
US61/011,428 2008-01-16
US12/235,499 2008-09-22
US12/235,499 US8155184B2 (en) 2008-01-16 2008-09-22 Video coding system using texture analysis and synthesis in a scalable coding framework
PCT/US2009/030117 WO2009091625A1 (en) 2008-01-16 2009-01-05 Video coding system using texture analysis and synthesis in a scalable coding framework

Publications (2)

Publication Number Publication Date
CN101911712A true CN101911712A (zh) 2010-12-08
CN101911712B CN101911712B (zh) 2013-08-14

Family

ID=40850603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980102411.9A Expired - Fee Related CN101911712B (zh) 2008-01-16 2009-01-05 可扩展编码框架中使用纹理分析和合成的视频编码系统

Country Status (5)

Country Link
US (1) US8155184B2 (zh)
JP (1) JP5606326B2 (zh)
CN (1) CN101911712B (zh)
TW (1) TW200943968A (zh)
WO (1) WO2009091625A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103155556A (zh) * 2010-10-05 2013-06-12 通用仪表公司 用于基于特征的视频编译的方法和设备
CN104050688A (zh) * 2013-03-15 2014-09-17 Arm有限公司 对数据进行编码和解码的方法和设备
CN110460846A (zh) * 2012-09-27 2019-11-15 杜比实验室特许公司 针对编码标准可扩展性的层间参考图片处理

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204325B2 (en) * 2008-01-18 2012-06-19 Sharp Laboratories Of America, Inc. Systems and methods for texture synthesis for video coding with side information
WO2009147224A1 (fr) * 2008-06-05 2009-12-10 Thomson Licensing Procede de codage d ' image avec synthese de texture
CN105915921B (zh) * 2010-04-13 2019-07-02 Ge视频压缩有限责任公司 跨平面预测
DK3301648T3 (da) 2010-04-13 2020-04-06 Ge Video Compression Llc Nedarvning i samplearraymultitræsunderinddeling
KR102282803B1 (ko) 2010-04-13 2021-07-28 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
CN106231336B (zh) 2010-04-13 2020-06-12 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
KR102145722B1 (ko) 2010-04-13 2020-08-20 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
JP5351094B2 (ja) * 2010-06-01 2013-11-27 日本電信電話株式会社 画像符号化方法,画像符号化装置および画像符号化プログラム
JP5351093B2 (ja) * 2010-06-01 2013-11-27 日本電信電話株式会社 画像符号化方法,画像符号化装置および画像符号化プログラム
JP2014230176A (ja) 2013-05-23 2014-12-08 ソニー株式会社 画像信号処理装置、画像信号処理方法、撮像装置および画像表示方法
US9992502B2 (en) * 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
US10291910B2 (en) 2016-02-12 2019-05-14 Gopro, Inc. Systems and methods for spatially adaptive video encoding
US10163029B2 (en) 2016-05-20 2018-12-25 Gopro, Inc. On-camera image processing based on image luminance data
US10198862B2 (en) 2017-01-23 2019-02-05 Gopro, Inc. Methods and apparatus for providing rotated spherical viewpoints
WO2019088435A1 (ko) * 2017-11-02 2019-05-09 삼성전자 주식회사 로우-퀄리티 부호화 모드에 따라 영상을 부호화하는 방법 및 장치, 및 영상을 복호화하는 방법 및 장치
US20230055497A1 (en) * 2020-01-06 2023-02-23 Hyundai Motor Company Image encoding and decoding based on reference picture having different resolution

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480538B1 (en) * 1998-07-08 2002-11-12 Koninklijke Philips Electronics N.V. Low bandwidth encoding scheme for video transmission
JP2003518882A (ja) * 1999-12-28 2003-06-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Snrスケーラブルビデオ符号化方法及び対応する復号化方法
JP2001204026A (ja) * 2000-01-21 2001-07-27 Sony Corp 画像情報変換装置及び方法
US6490320B1 (en) * 2000-02-02 2002-12-03 Mitsubishi Electric Research Laboratories Inc. Adaptable bitstream video delivery system
US6493387B1 (en) * 2000-04-10 2002-12-10 Samsung Electronics Co., Ltd. Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together
DE10310023A1 (de) * 2003-02-28 2004-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
KR101117840B1 (ko) * 2004-04-02 2012-03-15 톰슨 라이센싱 복잡도 가변 비디오 디코더를 위한 방법 및 장치
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
EP1769640A1 (en) * 2004-07-15 2007-04-04 Samsung Electronics Co., Ltd. Scalable motion information encoding/decoding apparatus and method and scalable video encoding/decoding apparatus and method using them
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
KR100763181B1 (ko) * 2005-04-19 2007-10-05 삼성전자주식회사 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
BRPI0612984A2 (pt) * 2005-07-15 2016-11-29 Konink Philips Elecronics N V codificador e decodificador de imagem, método de codificação de uma imagem, de decodificação de um fluxo de dados comprimidos e de transmissão de um sinal de imagem codificado comprimido, tramisssor, dispositivo portátil, receptor, sinal de imagem codificado comprimido, e, produto de programa de computador
FR2889017A1 (fr) * 2005-07-19 2007-01-26 France Telecom Procedes de filtrage, de transmission et de reception de flux video scalables, signal, programmes, serveur, noeud intermediaire et terminal correspondants
KR100736080B1 (ko) * 2005-10-27 2007-07-06 삼성전자주식회사 다 계층으로 구성된 멀티미디어 스트림의 저작권을 계층별로 관리하는 방법 및 장치
US20070160134A1 (en) * 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
US8320450B2 (en) * 2006-03-29 2012-11-27 Vidyo, Inc. System and method for transcoding between scalable and non-scalable video codecs
US20070268964A1 (en) * 2006-05-22 2007-11-22 Microsoft Corporation Unit co-location-based motion estimation

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103155556A (zh) * 2010-10-05 2013-06-12 通用仪表公司 用于基于特征的视频编译的方法和设备
CN110460846A (zh) * 2012-09-27 2019-11-15 杜比实验室特许公司 针对编码标准可扩展性的层间参考图片处理
CN110460846B (zh) * 2012-09-27 2021-12-31 杜比实验室特许公司 针对编码标准可扩展性的层间参考图片处理
CN104050688A (zh) * 2013-03-15 2014-09-17 Arm有限公司 对数据进行编码和解码的方法和设备
CN104050688B (zh) * 2013-03-15 2019-06-04 Arm有限公司 数据编码和解码方法和设备以及计算机可读记录介质

Also Published As

Publication number Publication date
US8155184B2 (en) 2012-04-10
JP5606326B2 (ja) 2014-10-15
TW200943968A (en) 2009-10-16
JP2011510566A (ja) 2011-03-31
CN101911712B (zh) 2013-08-14
US20090180552A1 (en) 2009-07-16
WO2009091625A1 (en) 2009-07-23

Similar Documents

Publication Publication Date Title
CN101911712B (zh) 可扩展编码框架中使用纹理分析和合成的视频编码系统
US7949053B2 (en) Method and assembly for video encoding, the video encoding including texture analysis and texture synthesis, and corresponding computer program and corresponding computer-readable storage medium
TWI297252B (en) Color image encoding and decoding method and apparauts using a correlation between chrominance components
Wang et al. Blind MPEG-2 video watermarking robust against geometric attacks: a set of approaches in DCT domain
JP3597025B2 (ja) 頂点群をデータベースとする階層的形状符号化/復号方法並びに装置
JP5313916B2 (ja) テクスチャ合成を利用した映像の符号化、復号化の方法及び装置
JP2003087785A (ja) 動画像符号化データの形式変換方法及び装置
Liu et al. Three-dimensional point-cloud plus patches: Towards model-based image coding in the cloud
JP2006101521A (ja) 入力メディアオブジェクトの視覚的表現を決定する方法、コンピュータプログラム及びデータ処理システム
Liu et al. Steganography in vector quantization process of linear predictive coding for low-bit-rate speech codec
KR20090024091A (ko) 비디오 파일에 대한 썸네일을 생성하는 방법 및 장치
JP2006135939A (ja) 入力メディアオブジェクトをエンコードする方法、コンピュータプログラム及びデータ処理システム
JP2006155580A (ja) メディアオブジェクトを生成する方法、コンピュータプログラム及びデータ処理システム
KR20110023863A (ko) 패치-기반의 샘플링 텍스쳐 합성을 사용하여 텍스쳐 압축을 위한 방법 및 장치
RU2007125472A (ru) Способ и устройство для кодирования, передачи и декодирования видеосигнала
US20150117515A1 (en) Layered Encoding Using Spatial and Temporal Analysis
EP1006482A2 (en) Encoding separately image object and its boundary
JP2011522496A (ja) テクスチャ合成による画像符号化方法
JP2024001318A5 (zh)
CN116368798A (zh) 编码方法、解码方法、编码器、解码器以及存储介质
EP2224724A3 (en) Image encoding and decoding method using residue sampling
KR20020024484A (ko) 전자책용 영상정보 부호화 및 복호화 시스템
Torres et al. A proposal for high compression of faces in video sequences using adaptive eigenspaces
Roux et al. Performance of av1 real-time mode
KR101347750B1 (ko) 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130814

Termination date: 20160105