CN101682771B - 视频译码中的自适应系数扫描 - Google Patents

视频译码中的自适应系数扫描 Download PDF

Info

Publication number
CN101682771B
CN101682771B CN2008800202330A CN200880020233A CN101682771B CN 101682771 B CN101682771 B CN 101682771B CN 2008800202330 A CN2008800202330 A CN 2008800202330A CN 200880020233 A CN200880020233 A CN 200880020233A CN 101682771 B CN101682771 B CN 101682771B
Authority
CN
China
Prior art keywords
predictive mode
given
scanning
coefficient
scanning sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008800202330A
Other languages
English (en)
Other versions
CN101682771A (zh
Inventor
叶琰
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101682771A publication Critical patent/CN101682771A/zh
Application granted granted Critical
Publication of CN101682771B publication Critical patent/CN101682771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明描述用于扫描视频块的系数的技术，所述系数例如为经量化和经变换的系数。并非使用常规的Z字形扫描，本发明的技术基于与先前以相同预测模式译码的块相关联的统计资料来调适扫描次序。针对每一预测模式，存储所述系数的统计资料，例如，指示给定系数为零或非零的概率。可周期性地进行对所述扫描次序的调整，以便更好地确保非零系数被分组在一起，且零值系数被分组在一起，这可改进熵译码的有效性。本发明的技术提供可减少扫描次序调整发生频率的阈值和阈值调整，但由于此些扫描次序调整的缘故仍实现所要的压缩改进。

Description

视频译码中的自适应系数扫描
本申请案主张以下美国临时申请案的权益：
2008年2月21日申请的第61/030,443号美国临时申请案；2007年6月15日申请的第60/944,470号美国临时申请案；以及2007年10月12日申请的第60/979,762号美国临时申请案。
这些申请案中的每一者的完整内容以引用的方式并入本文中。
技术领域
本发明涉及数字视频译码，且更明确地说，涉及视频块的系数(例如经变换的视频块的变换系数)的熵译码。
背景技术
数字视频能力可并入多种装置中，所述装置包括数字电视机、数字直播系统、例如无线电话手持机的无线通信装置、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台，等等。数字视频装置实施视频压缩技术(例如MPEG-2、MPEG-4，或H.264/MPEG-4(第10部分)高级视频译码(AVC))，以更高效地发射和接收数字视频。视频压缩技术执行空间和时间预测，减少或移除视频序列中固有的冗余。
视频压缩通常包括空间预测和/或时间预测。明确地说，帧内译码(intra-coding)依靠空间预测来减少或移除给定经译码单元内的视频块之间的空间冗余，所述经译码单元可包含视频帧、视频帧的切片(slice)，等等。与此对比，帧间译码(inter-coding)依靠时间预测来减少或移除视频序列的连续经译码单元的视频块之间的时间冗余。对于帧内译码，视频编码器执行空间预测，以基于同一经译码单元内的其它数据而压缩数据。对于帧间译码，视频编码器执行运动估计和运动补偿以追踪两个或两个以上邻近经译码单元的对应视频块的移动。
经译码的视频块可由包含预测模式和预测性块大小的预测信息以及指示正被译码的块与预测性块之间的差异的残差(residual)数据块表示。在帧间译码的情况下，使用一个或一个以上运动向量来识别预测性数据块，而在帧内译码的情况下，可使用预测模式来产生预测性块。帧内译码和帧间译码两者均可定义若干不同的预测模式，所述预测模式可定义译码中所使用的不同的块大小和/或预测技术。
视频编码器可应用变换、量化和熵译码过程来进一步减少与残差块的传送相关联的位速率。变换技术可包含离散余弦变换或概念上类似的过程，例如小波变换、整数变换或其它类型的变换。在离散余弦变换(DCT)过程中，举例来说，所述变换过程将一组像素值转换成变换系数，所述变换系数表示所述像素值在频域中的能量。将量化应用于所述变换系数，且量化通常涉及限制与任一给定变换系数相关联的位的数目的过程。熵译码包含共同压缩经量化变换系数序列的一个或一个以上过程。
在熵译码过程之前，可通过将来自二维块的变换系数扫描成一维向量来使变换系数的经变换视频块串行化。通常，以Z字形(zig-zag)方式执行扫描，使得视频块的左上部分中的变换系数在一维向量中较早出现，且视频块的右下部分中的变换系数较晚出现。高能变换系数在变换之后通常驻存在靠近左上角处，因此Z字形扫描有效地将非零变换系数分组在靠近一维向量的开始处。扫描次序可显著影响熵译码中可实现的压缩等级。
熵译码过程的实例包括内容自适应可变长度译码(content adaptive variable lengthcoding，CAVLC)和上下文自适应二进制算术译码(context adaptive binary arithmeticcoding，CABAC)。CAVLC是ITU H.264/MPEG4(第10部分)AVC标准所支持的一种类型的熵译码技术。CAVLC以有效地压缩经量化变换系数的串行化“游程”的方式使用可变长度译码(VLC)表。CABAC是ITU H.264/MPEG4(第10部分)AVC标准所支持的另一类型的熵译码技术。CABAC可涉及若干阶段，包括二进制化(binarization)、上下文模型选择和二进制算术译码。还存在许多其它类型的熵译码技术，且未来将很可能出现新的熵译码技术。
视频解码器可执行对应于编码过程中所使用的熵译码的类型的逆熵译码操作，以重构变换系数的一维向量。还可在解码器处执行逆扫描，以根据接收到的变换系数的一维向量形成二维块。视频解码器接着逆量化且逆变换块中的变换系数，以重构残差像素数据。视频解码器可使用包含预测模式、预测大小的经解码预测信息以及(在帧间译码的情况下)运动信息来获得预测性视频块。视频解码器可接着将预测性块与对应的经重构残差块组合，以便产生经解码的视频序列。
发明内容
一般来说，本发明描述用于扫描视频块的系数(例如，经量化的变换系数)的技术。在编码方面，扫描根据系数的二维块创建系数的一维向量，且在解码方面，逆扫描根据一维向量创建系数的二维块。并非使用常规的Z字形扫描，本发明中所描述的扫描技术基于与先前被译码的系数块相关联的统计资料来调适块中的系数的扫描次序，所述先前被译码的系数块是以相同预测模式译码的。针对每一预测模式，存储系数的统计资料，例如，指示给定系数具有零或非零值的概率。可周期性地进行对扫描次序的调整，以便更好地确保将非零系数朝一维向量的开始处分组在一起，且将零值系数朝一维向量的结束处分组在一起，这可改进熵译码的有效性。
扫描次序的调整可能是计算密集型的。因此，本发明的技术可强加可减小扫描次序调整发生的频率的阈值和阈值调整，但由于扫描次序调整的缘故仍实现所要的压缩改进。所述技术可由编码器和解码器以互逆方式执行。即，编码器可在熵编码之前使用自适应扫描技术将视频块的系数从二维格式扫描成一维向量格式。解码器可扫描接收到的视频块的系数的一维向量以形成系数的二维块。因此，视频块的系数可以二维块格式或一维向量格式表示。本发明的扫描技术通常定义如何将视频块的系数从二维块格式转换成一维向量格式，以及如何从一维向量格式转换成二维块格式。尽管本发明主要集中在经量化变换系数的扫描，但类似技术可用于扫描其它类型的系数，例如未经变换视频块的未经量化系数或像素值(例如，如果实施了像素值的扫描)。
在一个实例中，本发明提供一种对视频块的系数进行译码的方法，所述方法包含：针对多种预测模式中的每一者，存储与视频块的系数值相关联的统计资料；对与所述预测模式中的每一者相关联的视频块进行计数；基于针对所述预测模式中的每一者而定义的扫描次序来扫描所述视频块的系数值；在与所述预测模式中的一个给定预测模式相关联的计数值满足所述预测模式中的所述一个给定预测模式的阈值时，基于所述预测模式中的所述一个给定预测模式的统计资料来评估与所述预测模式中的所述一个给定预测模式相关联的给定扫描次序；以及对所述系数值进行熵译码。
在另一实例中，本发明提供一种对视频块的系数进行译码的设备，所述设备包含扫描单元和熵译码单元。所述扫描单元针对多种预测模式中的每一者存储与视频块的系数值相关联的统计资料，对与所述预测模式中的每一者相关联的视频块进行计数，基于针对所述预测模式中的每一者而定义的扫描次序来扫描所述视频块的系数值，且在与所述预测模式中的一个给定预测模式相关联的计数值满足所述预测模式中的所述一个给定预测模式的阈值时，基于所述预测模式中的所述一个给定预测模式的统计资料来评估与所述预测模式中的所述一个给定预测模式相关联的给定扫描次序。所述熵译码单元对所述系数值进行熵译码。
在另一实例中，本发明提供一种对视频块的系数进行译码的装置，所述装置包含：用于针对多种预测模式中的每一者存储与视频块的系数值相关联的统计资料的装置；用于对与所述预测模式中的每一者相关联的视频块进行计数的装置；用于基于针对所述预测模式中的每一者而定义的扫描次序来扫描所述视频块的系数值的装置；用于在与所述预测模式中的一个给定预测模式相关联的计数值满足所述预测模式中的所述一个给定预测模式的阈值时，基于所述预测模式中的所述一个给定预测模式的统计资料来评估与所述预测模式中的所述一个给定预测模式相关联的给定扫描次序的装置；以及用于对所述系数值进行熵译码的装置。
在另一实例中，本发明提供一种装置，其包含扫描单元，所述扫描单元：针对多种预测模式中的每一者，存储与视频块的系数值相关联的统计资料；对与所述预测模式中的每一者相关联的视频块进行计数；基于针对所述预测模式中的每一者而定义的扫描次序，将所述视频块的系数值从二维块扫描成一维向量；且在与所述预测模式中的一个给定预测模式相关联的计数值满足所述预测模式中的所述一个给定预测模式的阈值时，基于所述预测模式中的所述一个给定预测模式的统计资料来评估与所述预测模式中的所述一个给定预测模式相关联的给定扫描次序。所述装置还包括：熵译码单元，其对所述一维向量的系数值进行熵编码；以及无线发射器，其发送包含经熵编码的系数值的位流。
在另一实例中，本发明提供一种装置，其包含：无线接收器，其接收包含视频块的呈一维向量形式的经熵译码的系数值的位流；熵译码单元，其对所述视频块的系数值进行熵解码；以及扫描单元。在此情况下，所述扫描单元：针对多种预测模式中的每一者存储与所述视频块的系数值相关联的统计资料；对与所述预测模式中的每一者相关联的视频块进行计数；基于针对所述预测模式中的每一者而定义的扫描次序，将所述视频块的系数值从一维向量扫描成二维块；且在与所述预测模式中的一个给定预测模式相关联的计数值满足所述预测模式中的所述一个给定预测模式的阈值时，基于所述预测模式中的所述一个给定预测模式的统计资料来评估与所述预测模式中的所述一个给定预测模式相关联的给定扫描次序。
本发明中所描述的技术可以硬件、软件、固件或其任一组合的形式实施。如果以硬件形式实施，那么设备可实现为集成电路、处理器、离散逻辑或其任一组合。如果以软件形式实施，那么所述软件可在一个或一个以上处理器(例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP))中执行。执行所述技术的软件最初可存储在计算机可读媒体中，且被加载在处理器中并在处理器中执行。
因此，本发明还涵盖一种计算机可读媒体，其包含指令，所述指令在于视频译码装置中执行时，致使所述装置对视频块的系数进行译码，其中所述指令致使所述装置：针对多种预测模式中的每一者，存储与视频块的系数值相关联的统计资料；对与所述预测模式中的每一者相关联的视频块进行计数；基于针对所述预测模式中的每一者而定义的扫描次序来扫描所述视频块的系数值；在与所述预测模式中的一个给定预测模式相关联的计数值满足所述预测模式中的所述一个给定预测模式的阈值时，基于所述预测模式中的所述一个给定预测模式的统计资料来评估与所述预测模式中的所述一个给定预测模式相关联的给定扫描次序；且对所述系数值进行熵译码。
附图和以下描述中陈述本发明的一个或一个以上方面的细节。本发明中所描述的技术的其它特征、目标和优点将从所述描述和图式且从权利要求书显而易见。
附图说明
图1是说明视频编码和解码系统的示范性框图。
图2是说明符合本发明的视频编码器的实例的框图。
图3是说明符合本发明的视频解码器的实例的框图。
图4是说明4×4视频块的Z字形扫描的概念图。
图5是说明8×8视频块的Z字形扫描的概念图。
图6是说明与特定模式的块相关联的统计资料以及符合本发明的技术的算法的概念图。
图7是说明符合本发明的假想实例的概念图。
图8和图9是说明符合本发明的技术的流程图。
具体实施方式
本发明描述用于扫描视频块的系数(例如，经量化的变换系数)的技术。在本发明中，术语“系数块”通常指代与视频块相关联的一组变换系数。系数块可以二维块格式或一维向量格式表示。本发明的扫描技术定义如何通过编码器将系数块从二维块格式转换成一维向量格式，以及如何通过解码器将系数块从一维向量格式转换成二维块格式。虽然本发明主要将扫描技术描述为应用于经变换且经量化的视频块，但本文中所描述的扫描技术还可应用于将其它类型的视频数据(例如，像素域中的视频块)从二维块格式转换成一维向量格式。
按照惯例，将系数块从二维块格式扫描成一维向量格式遵循Z字形扫描次序。在此情况下，系数块的左上部分中的系数在一维向量中较早出现，且系数块的右下部分中的系数较晚出现。高能变换系数在变换之后通常驻存在靠近左上角处。为此，Z字形扫描是将非零系数分组在靠近一维向量的开始处的有效方式。熵译码单元接着通常对呈游程和阶形式的一维向量进行熵译码，其中游程是在两个非零变换系数中间的零值变换系数的数目，且阶表示所述非零变换系数的值。此外，在针对给定系数块发送最后一个非零变换系数(例如，以一维向量格式)之后，熵译码器通常发送块结尾(EOB)符号或最后系数旗标，以指示此非零变换系数是所述块中的最后一个非零变换系数。通过将非零变换系数朝一维向量的开始处分组，可实现较高压缩，因为可对较小游程值进行译码，且还因为可更快地发送所述EOB符号或所述最后系数旗标。遗憾的是，Z字形扫描并不总是实现对系数的最有效分组。
并非使用常规的Z字形扫描，本发明的技术基于与先前经译码的块相关联的统计资料来调适扫描次序，所述先前经译码的块是以相同预测模式译码的。针对每一预测模式，存储变换系数的统计资料，例如指示给定位置处的变换系数为零或非零的概率。可周期性地进行对扫描次序的调整，以便更好地确保将非零变换系数朝一维向量的开始处分组在一起，且将零值系数朝一维向量的结尾处分组在一起，这可改进熵译码的有效性。自适应扫描技术可针对每一单独的经译码单元(例如，每一帧、切片，或其它类型的经译码单元)而发生。最初可以固定方式(例如，以Z字形扫描次序或另一固定扫描次序)扫描经译码单元的系数块，但如果针对给定预测模式的系数块的统计资料指示不同扫描次序将更有效地分组非零和零值系数，那么可快速地调适到不同扫描次序。
然而，扫描次序的调整可能是计算密集型的。因此，本发明的技术强加可减小扫描次序调整发生的频率的阈值和阈值调整，但由于此些扫描次序调整的缘故仍实现所要的压缩改进。所述技术可由编码器和解码器以互逆方式执行。即，编码器可在熵编码之前使用自适应扫描技术来将视频块的系数从二维格式扫描成一维向量。解码器可在熵解码过程之后逆扫描接收到的视频块的系数的一维向量，以重新创建呈二维格式的系数块。此外，短语“系数块”通常指代以二维块格式或一维向量格式表示的一组经变换系数。
图1是说明可实施本发明的技术的示范性视频编码和解码系统10的框图。如图1中所示，系统10包括源装置12，其经由通信信道15将经编码的视频传输到目的装置16。源装置12和目的装置16可包含多种装置中的任一者。在一些情况下，源装置12和目的装置16包含无线通信装置手持机，例如所谓的蜂窝式或卫星无线电话。然而，本发明的技术(其更一般地应用系数的自适应扫描)未必限于无线应用或设定。
在图1的实例中，源装置12可包括视频源20、视频编码器22、调制器/解调器(调制解调器)23和发射器24。目的装置16可包括接收器26、调制解调器27、视频解码器28和显示装置30。根据本发明，源装置12的视频编码器22可经配置以在熵编码之前执行系数的自适应扫描以形成一维数据集合。类似地，目的装置16的视频解码器28可经配置以在熵解码之后执行系数的自适应扫描以产生二维数据集合。视频解码器28无需接收对视频编码器22所应用的扫描次序的任何指示；实情为，可在视频编码器22和视频解码器28处以基本上相同的方式导出扫描次序。
图1的所说明系统10仅为示范性的。本发明的扫描技术可由支持多种熵译码方法(例如，内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)，或其它熵译码方法)中的任一者的任何编码或解码装置来执行。源装置12和目的装置16仅为此些译码装置的实例。
根据本发明，视频编码器22和视频解码器28可针对多种预测模式中的每一者存储与视频块的系数值相关联的统计资料，且可对与所述预测模式中的每一者相关联的视频块进行计数。视频编码器22和视频解码器28：基于针对所述预测模式中的每一者而定义的扫描次序来扫描视频块的系数值；在与所述预测模式中的一个给定预测模式相关联的计数值满足所述预测模式中的所述一个给定预测模式的阈值时，基于所述预测模式中的所述一个给定预测模式的统计资料来评估与所述预测模式中的所述一个给定预测模式相关联的给定扫描次序；且对所述系数值进行熵译码。此外，在编码方面，扫描是在熵编码之前，而在解码方面，扫描是在熵解码之后。
一般来说，源装置12产生供传输到目的装置16的经译码视频数据。然而，在一些情况下，装置12、16可以大体上对称的方式操作。举例来说，装置12、16中的每一者可包括视频编码和解码组件。因此，系统10可视频装置12、16之间(例如)用于视频流式传输、视频重放、视频广播或视频电话的单向或双向视频传输。
源装置12的视频源20可包括视频捕捉装置，例如视频相机、含有先前捕捉到的视频的视频档案，或来自视频内容提供者的视频馈入。作为另一替代方案，视频源20可产生基于计算机图形的数据作为源视频，或实况视频、归档视频与计算机产生的视频的组合。在一些情况下，如果视频源20为视频相机，那么源装置12和目的装置16可形成所谓的相机电话或视频电话。在每一情况下，捕捉到的、预先捕捉到的或计算机产生的视频可由视频编码器22编码。经编码的视频信息可接着由调制解调器23根据例如码分多址(CDMA)的通信标准或另一通信标准或技术来调制，且经由发射器24发射到目的装置16。
目的装置16的接收器26经由信道15接收信息，且调制解调器27对所述信息进行解调。视频解码器28所执行的视频解码过程可作为视频序列的重构的一部分而执行熵解码和自适应扫描。如同编码过程一样，解码过程使用本发明的技术，以便支持经改进的数据压缩等级。显示装置28向用户显示经解码的视频数据，且可包含例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置的多种显示装置中的任一者。
在图1的实例中，通信信道15可包含任何无线或有线通信媒体，例如射频(RF)频谱或一个或一个以上物理传输线，或无线媒体与有线媒体的任一组合。通信信道15可形成基于包的网络(例如，局域网、广域网或例如因特网的全球网络)的一部分。通信信道15一般表示用于将来自源装置12的视频数据传输到目的装置16的任何合适的通信媒体，或不同通信媒体的集合。
视频编码器22和视频解码器28可根据支持CAVLC、CABAC或另一熵译码方法的视频压缩标准(例如，ITU-T H.264标准，或者称为MPEG-4(第10部分)高级视频译码(AVC))而操作。然而，仅出于说明目的而关于此标准来描述所述技术。此些技术可容易地应用于多种其它视频译码标准中的任一者，例如MPEG-1、MPEG-2和MPEG-4中由运动图像专家组(MPEG)定义的标准、ITU-T H.263标准、电影和电视工程师协会(SMPTE)421M视频CODEC标准(通常称为“VC-1”)、由中国音频视频译码标准工作组定义的标准(通常称为“AVS”)，以及作为专有标准由某一标准机构定义或由某一组织开发的任何其它视频译码标准。
尽管图1中未展示，但在一些方面中，视频编码器22和视频解码器28可各自与音频编码器和解码器集成，且可包括适当的MUX-DEMUX单元或其它硬件和软件，以处置对共用数据流或单独数据流中的音频和视频两者的编码。如果适用，那么MUX-DEMUX单元可遵守ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
ITU H.264/MPEG-4(第10部分)AVC标准是作为被称为联合视频编码组(JVT)的共同合作伙伴关系的产物由ITU-T视频译码专家组(VCEG)与ISO/IEC运动图像专家组(MPEG)一起制定。在一些方面中，本发明中所描述的技术可应用于大体上遵守H.264标准的装置。ITU-T研究组在日期为2005年3月的ITU-T建议H.264“一般视听服务的高级视频译码(Advanced video coding for generic audiovisual services)”中描述H.264标准，所述标准在本文中可被称为H.264标准或H.264规范，或H.264/AVC标准或规范。联合视频编码组(JVT)继续致力于对H.264/AVC的扩充。
视频编码器22和视频解码器28各自可实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任一组合。视频编码器22和视频解码器28中的每一者可包括于一个或一个以上编码器或解码器中，其中任一者可集成为相应移动装置、订户装置、广播装置、服务器等等中的组合式编码器/解码器(CODEC)的一部分。
视频序列包括一系列视频帧。在一些情况下，视频序列可布置为图片群组(GOP)。视频编码器22对个别视频帧内的视频块进行操作，以便对视频数据进行编码。所述视频块可具有固定或不同的大小，且可根据指定的译码标准在大小上有所不同。每一视频帧可包括一系列切片。每一切片可包括一系列宏块，所述宏块可布置成甚至更小的块。宏块通常指代16×16数据块。ITU-T H.264标准支持各种块大小(例如，对于亮度分量为16×16、8×8或4×4，且对于色度分量为8×8)的帧内预测，以及各种块大小(例如，对于亮度分量为16×16、16×8、8×16、8×8、8×4、4×8和4×4，且对于色度分量为对应的经缩放大小)的帧间预测。在本发明中，术语“视频块”可指代系数(例如，变换系数)块，其后为例如离散余弦变换的变换过程或概念上类似的变换过程，在此过程中将一组像素值变换到频域中。可量化变换系数。本发明的扫描技术通常关于经量化的变换系数而应用，但在一些实施方案中，所述扫描技术可适用于未经量化的变换系数。此外，本发明的扫描技术还可适用于像素值块(即，无变换过程)，所述像素值块可为或可不为经量化的像素值块。术语“系数”在本文中被广泛用来表示视频块的值，其不仅包括系数块的变换系数，而且包括未经变换的视频块的像素值。
例如宏块的较大视频块可被分成大小较小的视频块。较小视频块可提供较好的分辨率，且可用于视频帧的包括高等级细节的位置。一般来说，宏块(MB)和各种较小块全都可被视为视频块。视频帧可包含可解码单元，或可被分成较小的可解码单元，例如“切片”。即，一切片可被视为一系列视频块(例如，MB和/或大小较小的块)，且每一切片可为视频帧的一可独立解码的单元。
在预测之后，可对8×8残差像素块或4×4残差像素块执行变换，且可对用于色度分量或用于亮度分量(如果使用帧内16×16预测模式)的4×4像素块的DC系数应用额外变换。在所述变换之后，数据可被称为系数块或经变换视频块。在所述变换之后，系数块含有变换系数，而不是像素值。此外，术语“系数”一般指代变换系数，但可替代地指代其它类型的系数或值(例如，无变换过程的情况下的像素值)。
在基于帧内或帧间的预测性译码和变换技术(例如，H.264/AVC或离散余弦变换DCT中所使用的4×4或8×8整数变换)之后，可执行量化。可使用例如基于小波的压缩等其它变换技术。量化一般指代使系数量化以可能减少用来表示所述系数的数据的量的过程。量化过程可减小与所述系数中的一些或全部系数相关联的位深度。举例来说，在量化期间可将8位值下舍入为7位值。
在量化之后，可根据本文中所描述的技术来执行扫描和熵译码。明确地说，可将变换系数的视频块(例如，4×4视频块、8×8视频块，或可能其它大小的块，例如16×16视频块)从二维格式扫描成一维格式。扫描次序可针对每一经译码单元而初始化，且可以常规方式(例如，Z字形扫描次序)开始。根据本发明，扫描次序可为自适应的。明确地说，扫描次序可基于与一种或一种以上预测模式的视频块相关联的统计资料而针对此些视频块进行调适。所述统计资料可包含在每一相应预测模式下编码的视频块的数目的计数，以及与在每一预测模式下编码的视频块的系数相关联的一组概率。所述概率可包含视频块的每一位置中的给定系数值具有为零的值或具有非零值的可能性的指示。或者，所述概率可包含指示每一位置处的实际值的更详细概率，或与系数值相关联的另一类型的统计概率量度。
可相对于计数值而定义一个或一个以上阈值。可以周期性间隔(例如，当遇到宏块边界时)来评估与视频块的不同模式相关联的扫描次序。在评估扫描次序时，如果与给定预测模式相关联的计数值满足所述给定预测模式的阈值，那么可检查针对所述模式的扫描次序，且可能改变所述扫描次序以反映在所述给定预测模式下被译码的视频块的统计资料。明确地说，可定义扫描次序，使得以系数具有非零值的概率的次序来扫描所述系数。即，具有较高的为非零的概率的系数位置在具有较低的为非零的概率的系数位置之前被扫描。以此方式，常规的扫描次序(例如，Z字形扫描次序)可调适为将非零系数更朝向系数块的一维向量表示的开始处分组的扫描次序。解码器可计算相同统计资料，且借此确定编码过程中所使用的扫描次序。因此，解码器可应用互逆的自适应扫描次序，以将系数块的一维向量表示转换回到二维块格式。
如所指出，扫描次序(以及对其的自适应改变)针对每一不同预测性模式可有所不同。即，针对每一不同预测模式而保存统计资料。本发明不限于模式的任何特定数目，或模式的类型。不同模式可定义译码过程中所使用的视频块的大小和预测的类型。多种预测模式可包含多种帧内预测模式和多种帧间预测模式。
举例来说，帧间译码可支持两种或两种以上模式，例如，对应于4×4变换块大小的帧间预测模式，以及对应于8×8变换块大小的帧间预测模式。在一些情况下，可支持若干4×4模式，例如预测性(P)模式和双向预测性(B)模式。帧间译码还可支持8×8P模式和8×8B模式。此外，还可针对亮度和色度信息的经帧间译码的块定义不同模式。可定义多种不同的帧间译码预测模式，且本发明不限于任何特定模式集合。
帧内译码也可支持多种预测性模式。举例来说，帧内预测模式可包含多个4×4亮度帧内预测模式、多个8×8亮度帧内预测模式、多个16×16亮度帧内预测模式以及多个8×8色度帧内预测模式。举例来说，帧内预测模式可包含二十六个不同模式，在所述模式下，基于同一经译码单元内的相邻数据的传播、调适和/或内插的不同类型而产生预测性块。
帧内译码模式可包含例如垂直、水平、DC、对角线向左下、对角线向右下、垂直向右、水平向下、垂直向左和水平向上的模式。这些不同模式中的每一者定义基于同一经译码单元内的相邻数据而产生预测性块的方式。帧内译码模式还可定义上文所提及的模式的组合，例如垂直加水平、DC加垂直、DC加水平、对角线向左下加水平、对角线向右下加垂直、垂直向右加水平、水平向下加垂直、垂直向左加水平以及水平向上加垂直。这些特定模式的细节在以下文献中陈述，所述文献以引用的方式并入本文中：Y·叶(Y.Ye)和M·卡兹维茨(M.Karczewicz)的“经改进的帧内译码(Improved Intra Coding)”(ITU-T Q.6/SG16 VCEG，C257，日内瓦，瑞士，2007年6月)。无论如何，本发明不限于模式的任何特定数目，或模式的类型。基本上，预测性模式可定义经编码块的大小、预测性块的大小、所用变换的大小，以及定位或产生预测性块的数据的方式。
图2是说明视频编码器50的实例的框图，视频编码器50包括自适应扫描单元45，其执行本发明的技术以将视频块从二维块格式扫描成一维向量格式。如图2中所示，视频编码器50接收视频帧内待编码的当前视频块。在图2的实例中，视频编码器50包括预测单元32、参考帧存储件34、块变换单元38、量化单元40、逆量化单元42、逆变换单元44、自适应扫描单元45和熵编码单元46。还可包括去块滤波器(未图示)，以过滤块边界从而去除成块假影。视频编码器50还包括加法器48和加法器51。
对于帧间译码，预测单元32将待编码的视频块与一个或一个以上视频参考帧中的各个块进行比较。对于帧间译码，预测单元32根据同一经译码单元的已译码的相邻视频块来预测待编码的视频块。可从参考帧存储件34检索所预测的数据，参考帧存储件34可包含用以存储从先前编码的块重构的视频块的任何类型的存储器或数据存储装置。预测单元32可产生预测模式和预测向量，其包含可用于识别用来对当前视频块进行译码的预测块的语法元素。对于帧内译码，预测单元32可包含空间预测单元，而对于帧间译码，预测单元32可包括运动估计单元和运动补偿单元。
视频编码器50通过从正被编码的原始视频块减去由预测单元32产生的预测块来形成残差视频块。加法器48表示执行此减法运算的单元或模块。块变换单元38将变换(例如离散余弦变换(DCT)或概念上类似的变换)应用于所述残差块，从而产生包含残差变换块系数的视频块。块变换单元38(例如)可执行由H.264标准定义的其它变换，所述变换在概念上类似于DCT。
量化单元40量化所述残差变换系数以进一步减小位速率。量化单元40(例如)可限制用来对所述系数中的每一者进行译码的位的数目。在量化之后，自适应扫描单元45将经量化的系数块从二维表示扫描成一维向量。接着，在此扫描过程之后，熵编码单元46根据熵译码方法(例如CAVLC或CABAC)来对所述经量化的变换系数进行编码以进一步压缩数据。下文中更详细地概述由自适应扫描单元45执行的符合本发明的自适应扫描。
简要地说，自适应扫描单元45针对多种预测模式中的每一者存储与视频块的系数值相关联的统计资料，对与所述预测模式中的每一者相关联的视频块进行计数，基于针对所述预测模式中的每一者而定义的扫描次序来扫描所述视频块的系数值，且在与所述预测模式中的一个给定预测模式相关联的计数值满足所述预测模式中的所述一个给定预测模式的阈值时，基于所述预测模式中的所述一个给定预测模式的统计资料来评估与所述预测模式中的所述一个给定预测模式相关联的给定扫描次序。接着，在此扫描过程之后，熵编码单元46根据熵译码方法来对经量化的变换系数进行编码。
自适应扫描单元45可在与所述预测模式中的所述一个给定预测模式相关联的计数值满足所述预测模式中的所述一个给定预测模式的所述阈值时，基于所述预测模式中的所述一个给定预测模式的统计资料来确定与所述预测模式中的所述一个给定预测模式相关联的新扫描次序。另外，自适应扫描单元45可在调整给定扫描次序后调整所述阈值。由自适应扫描单元45存储的统计资料可包含指示系数值为零或非零的概率的统计资料。在一个实例中，自适应扫描单元45基于所述预测模式中的所述一个给定预测模式的统计资料来确定与所述预测模式中的所述一个给定预测模式相关联的新扫描次序，且基于所述新扫描次序是否与先前扫描次序相同来增大或减小所述阈值。举例来说，如果新扫描次序与先前扫描次序相同，那么自适应扫描单元45可使所述预测模式中的所述一个给定预测模式的阈值增大(例如)两倍(其取决于上限)。类似地，如果新扫描次序不同于先前扫描次序，那么自适应扫描单元45可使所述预测模式中的所述一个给定预测模式的阈值减小(例如)两倍(其取决于下限)。在确定所述预测模式中的所述一个给定预测模式的扫描次序后，自适应扫描单元45可使与所述预测模式中的所述一个给定预测模式相关联的计数值复位。一旦将系数块扫描成一维格式，熵编码单元46就对经量化的变换系数进行熵编码。
在由熵编码单元46进行的熵译码之后，经编码的视频可被传输到另一装置或被归档以供以后传输或检索。逆量化单元42和逆变换单元44分别应用逆量化和逆变换来在像素域中重构残差块。加法器51使经重构的残差块与由预测单元32产生的预测块相加，以产生经重构的视频块以供存储在参考帧存储件34中。如果需要的话，经重构的视频块还可在被存储在参考帧存储件34中之前通过去块滤波器单元(未图示)。经重构的视频块可由预测单元32用作参考块来对后续视频帧中的块进行帧间译码，或对同一经译码单元内的未来的相邻块进行帧内译码。
图3是说明视频解码器60的实例的框图，视频解码器60对以本文所描述的方式编码的视频序列进行解码。视频解码器60包括熵解码单元52，其执行由图2的熵编码单元46执行的编码的互逆解码功能。视频解码器60还包括自适应扫描单元55，其执行与由图2的自适应扫描单元45执行的扫描互逆的逆扫描。
视频解码器60可执行对视频帧内的块的帧内解码和帧间解码。在图3的实例中，视频解码器60还包括预测单元54、逆量化单元56、逆变换单元58和参考帧存储件62。视频解码器60还包括加法器64。任选地，视频解码器60还可包括去块滤波器(未图示)，其对加法器64的输出进行滤波。
对于帧内译码，预测单元54可包含空间预测单元，而对于帧间译码，预测单元54可包含运动补偿单元。逆量化单元56执行逆量化，且逆变换单元58执行逆变换以将视频块的系数变回到像素域。加法器将来自单元54的预测块与来自逆变换单元58的经重构的残差块进行组合以产生经重构的块，所述经重构的块存储在参考帧存储件62中。如果需要的话，经重构的视频块还可在被存储在参考帧存储件62中之前通过去块滤波器单元(未图示)。经解码的视频从参考帧存储件62输出，且还可被反馈到预测单元54以供后续预测中使用。
如所指出，熵解码单元52执行由图2的熵编码单元46执行的编码的互逆解码功能，且自适应扫描单元55接着执行由图2的自适应扫描单元45执行的扫描的互逆扫描。如同图2的自适应扫描单元45一样，图3的自适应扫描单元55针对多种预测模式中的每一者存储与视频块的系数值相关联的统计资料，对与所述预测模式中的每一者相关联的视频块进行计数，基于针对所述预测模式中的每一者而定义的扫描次序来扫描所述视频块的系数值，且在与所述预测模式中的一个给定预测模式相关联的计数值满足所述预测模式中的所述一个给定预测模式的阈值时，基于所述预测模式中的所述一个给定预测模式的统计资料来评估与所述预测模式中的所述一个给定预测模式相关联的给定扫描次序。基本上，自适应扫描单元55与自适应扫描单元45执行类似的功能，但是以相反方式执行。因此，鉴于自适应扫描单元45在熵编码之前将系数块从二维格式扫描成一维格式，自适应扫描单元55在熵解码之后将系数块从一维格式扫描成二维格式。
图4是说明对4×4系数块的Z字形扫描的概念图。图5是说明对8×8系数块的Z字形扫描的概念图。图4和图5中所示的Z字形扫描可由自适应扫描单元45在针对经译码单元的译码过程的开始处执行。然而，如下文更详细地论述，扫描次序可基于与已译码的系数块相关联的实际统计资料而调适。
用于图4和图5中所示的此Z字形扫描的扫描次序遵循穿过视频块80和90的箭头，且系数是以扫描次序标记的。明确地说，图4和图5中所示的数值指示循序一维向量内系数的位置，且不表示系数的值。在初始化时，本发明的技术不限于任何特定的扫描次序或技术。举例来说，本发明中所使用的初始扫描次序可为图4和图5中所示的Z字形扫描次序。或者，替代地，本发明中所使用的初始扫描次序可为可针对多种预测模式中的每一者特别训练的一组固定扫描次序。因为Z字形扫描是相当典型的，所以其为本发明的自适应扫描的论述提供了良好的起点。此外，根据本发明，扫描次序基于与已译码的系数块相关联的实际统计资料随时间而调适。对于每一经译码单元，扫描次序可以常规扫描次序(例如Z字形扫描)开始，但随着统计资料针对所述经译码单元内以不同预测模式译码的系数块累积而调适。然而，如上文所指出，Z字形扫描并非自适应扫描的唯一可能起点。水平扫描、垂直扫描或任何初始扫描技术均可用作本文所描述的自适应扫描技术的起点。
图6是说明与特定预测模式的块相关联的一组示范性统计资料(S1到S16)以及符合本发明的技术的算法的概念图。如图所示，在模式X下的视频块的初始扫描次序可由Z字形扫描过程定义如下：(S1、S2、S5、S9、S6、S3、S4、S7、S10、S13、S14、S11、S8、S12、S15、S16)。在此情况下，经编号的系数对应于编号在图6的统计资料块69中的统计资料。计数(模式X)(Count(mode X))定义针对给定经译码单元以模式X来译码的块的数目的计数。随着计数(模式X)的每一次递增，统计资料(S1到S16)可改变以反映所述系数的统计资料，因为其受模式X下的新块影响。
图6的算法60可在经译码单元(例如，帧或切片)的译码中以预定义的更新间隔(例如，当遇到宏块边界时)被调用。根据本发明，一旦调用算法60，如果计数(模式X)大于或等于预定义的阈值，那么扫描单元45或55(图2或图3)就基于统计资料S1到S16来选择扫描次序，且接着使计数(模式X)复位。如果扫描次序改变，那么扫描单元45或55可向下调整所述阈值，且如果扫描次序不改变，那么扫描单元45或55可向上调整所述阈值。
阈值基本上为可限制扫描次序改变的发生(其通常需要计算密集型的分类过程)且可确保在评估扫描次序之前针对视频块的给定模式累积足够的统计资料的机制。明确地说，只有在给定模式的计数满足所述给定模式的阈值时，才能为视频块的所述给定模式选择新的扫描次序。此外，阈值可随时间的过去而调整，以便在新扫描次序不同于先前扫描次序时，加速扫描次序评估的发生，或在新扫描次序保持与先前扫描次序相同时，减少扫描次序评估的发生。以此方式，针对多种预测模式中的每一者，本文所描述的技术可在译码单元的开始处较为频繁地执行扫描次序评估，直到扫描次序达到稳定且理想的状态为止，且可接着较不频繁地执行扫描次序选择，因为扫描次序改变的可能性变得较小。
图7是说明符合本发明的假想实例的概念图。在此实例中，系数在项目71A和71B中被标记为c1到c16。块1(72)、块2(73)、块3(74)和块4(75)中展示实际系数值。块1到块4可包含与同一预测模式相关联的块。可依序对块1到块4进行译码。
最初，可使用Z字形扫描。在此情况下，以符合图4的说明的以下次序来扫描所述块：
(c1、c2、c5、c9、c6、c3、c4、c7、c10、c13、c14、c11、c8、c12、c15、c16)。
假定系数块的统计资料被初始化为全零，统计资料1(76)表示块1的统计资料，例如，其中为一的值用于任何非零系数，且为零的值用于任何具有值零的系数。统计资料2(77)表示块1和块2的组合统计资料，例如，其中正规化概率值指示系数位置在块1和块2中是为一还是零。在此情况下，位置c6的正规化概率为0.5，因为块1在所述位置处具有非零系数，但块2在所述位置处具有零值系数。统计资料3(78)将块1、2和3的组合统计资料表示为正规化概率，且统计资料4(79)将块1、2、3和4的组合统计资料表示为正规化概率。所述正规化概率可包含针对每个给定位置为一或零的值的平均值，其中如果块的特定位置定义非零系数，那么针对所述位置给出为一的值。在以上描述中，使用Z字形扫描作为初始扫描次序，且将系数块的统计资料初始化为全零。仅作为实例给出此些初始化，且可使用扫描次序和系数统计资料的替代初始化。
在图7的实例中，可假定阈值被设置为值4。在此情况下，在对第四个块75进行译码后，一旦遇到预设的更新间隔(例如，一旦遇到宏块边界)，就确定4个块的计数以满足阈值4。在此情况下，调用分类算法，且扫描单元45(图2)可基于统计资料4(79)来定义新的扫描次序。因此，新的扫描次序如下：
(c1、c5、c9、c2、c13、c6、c3、c4、c7、c10、c14、c11、c8、c12、c15、c16)
明确地说，扫描次序从初始扫描次序(例如，Z字形扫描)变为新扫描次序，新扫描次序促进非零系数在一维向量的开始处且零系数在结尾处。举例来说，由于在统计资料4(79)中，位置c5和c9处的概率高于c2处的概率，所以在新扫描次序中，c5和c9两者在c2之前被扫描。不同于同等地在水平维度与垂直维度之间交替的Z字形扫描，新扫描次序在垂直维度上展现出较强的方向性。即，新扫描次序通过垂直维度上的系数比通过水平维度上的系数快，其符合在给定预测模式中译码的视频块1到4(72、73、74、75)的系数的统计资料分布。因此，通过使用过去的统计资料定义扫描次序，本发明的技术可促进非零系数分组在靠近经扫描的一维向量的开始处，且零值系数分组在靠近所述经扫描的一维向量的结尾处。此又可改进可在熵译码期间实现的压缩等级。
此外，将阈值定义为限制扫描次序改变的发生(因为此些改变需要计算密集型的分类过程)，且帮助确保在评估扫描次序之前针对视频块的给定模式累积足够的统计资料。在此情况下，只有在视频块的给定模式的计数满足所述给定模式的阈值时，才能为所述给定模式选择新的扫描次序。阈值可随时间的过去而向上或向下调整(其取决于上界和下界)。举例来说，如果扫描次序评估导致扫描次序改变，那么可减小阈值，使得后续的扫描次序评估更快地发生。在此情况下，由于扫描次序在改变，所以可能需要加速未来改变的发生以使扫描次序处于稳定状态。另一方面，如果扫描次序评估不导致扫描次序改变，那么可增大阈值，使得后续的扫描次序评估更慢地发生。在此情况下，由于扫描次序未改变，所以可能需要减小可能的扫描次序改变的评估频率，因为这些评估需要使用处理资源。这些类型的阈值调整可更频繁地评估扫描次序改变，直到扫描次序达到稳定且理想的状态为止，且可接着限制扫描次序评估的频率，因为改变的可能性变得较小。
图8是说明符合本发明的译码(即，编码或解码)技术的流程图。在熵译码步骤(步骤85)在扫描步骤(步骤83)之后的情况下，从视频编码器50的角度来说明图8。从视频解码器60的角度，熵译码步骤(步骤85)将在扫描步骤(步骤83)之前。举例来说，从视频解码器60的角度，可以下列次序(步骤85、步骤83、步骤81、步骤82、步骤84)执行图8中所示的步骤。出于简单的目的，下文从视频编码器50的角度来描述图8。
如图8中所示，自适应扫描单元45针对多种预测模式中的每一者更新与视频块的系数值相关联的统计资料(81)，且对与所述预测模式中的每一者相关联的视频块进行计数(82)。自适应扫描单元45接着根据针对所述预测模式中的每一者而定义的扫描次序将视频块的系数值扫描成一维系数向量(83)，且在与所述预测模式中的一个给定预测模式相关联的计数值满足所述预测模式中的所述一个给定预测模式的阈值时，基于所述预测模式中的所述一个给定预测模式的统计资料来评估与所述预测模式中的所述一个给定预测模式相关联的给定扫描次序(84)。接着，在此扫描过程之后，熵编码单元46根据熵译码方法来对所述一维系数向量进行编码(85)。
自适应扫描单元45可在与所述预测模式中的所述一个给定预测模式相关联的计数值满足所述预测模式中的所述一个给定预测模式的阈值时，基于所述预测模式中的所述一个给定预测模式的统计资料来确定与所述预测模式中的所述一个给定预测模式相关联的新扫描次序。另外，自适应扫描单元45可在确定所述给定扫描次序后调整阈值。如本发明中所论述，由自适应扫描单元45存储的统计资料可包含指示系数值为零或非零的概率的统计资料，或可能包含指示系数值的概率的其它类型的统计资料。在一个实例中，自适应扫描单元45基于所述预测模式中的所述一个给定预测模式的统计资料来确定与所述预测模式中的所述一个给定预测模式相关联的新扫描次序，且基于所述新扫描次序是否与先前扫描次序相同来增大或减小阈值。
举例来说，如果新扫描次序与先前扫描次序相同，那么自适应扫描单元45可使阈值增大(例如)两倍(其取决于上限)。类似地，如果新扫描次序不同于先前扫描次序，那么自适应扫描单元45可使阈值减小(例如)两倍(其取决于下限)。在确定新扫描次序后，自适应扫描单元45可使与所述预测模式中的所述一个给定预测模式相关联的计数值复位。一旦系数向量被扫描成一维格式，熵编码单元46就对所述系数向量进行熵编码。
图9是说明可由视频编码器50的扫描单元45(图2)和视频解码器60的扫描单元55(图3)执行的自适应扫描过程的示范性流程图。图9的过程可对每一经译码单元重复。此外，经译码单元可包含视频序列的个别帧、帧的部分(例如切片)，或视频序列的另一可独立解码的单元。
如图9中所示，扫描单元45针对新的经译码单元而初始化其扫描次序(91)。换句话说，在帧或切片的开始处，初始化所述扫描次序。将针对每种模式的计数值设置为零，且将阈值设置为初始值，例如，针对对应于4×4个块的模式为值4，且针对对应于8×8个块的模式为值2。在新的经译码单元的开始处，还将针对每种模式的系数块的统计资料初始化为全零或基于经验训练的其它统计资料。扫描单元45应用其初始扫描次序(例如，Z字形扫描)。在此过程中，扫描单元45收集块系数统计资料，且针对为经扫描的块识别的每一模式使计数(模式)递增(92)。此过程继续，直到达到预设的更新间隔为止(93)。举例来说，预设的更新间隔可对应于宏块边界，或另一预定间隔。
当识别到预设的更新间隔时(93的回答为“是”)，扫描单元45评估扫描次序。明确地说，扫描单元45确定计数(模式)是否满足阈值thresh(模式)(thresh(mode))(94)。如果不满足(94的回答为“否”)，那么扫描单元45考虑其它模式，例如，直到检查了所有模式(100)为止。针对任何给定模式，如果计数(模式)满足阈值(94的回答为“是”)，那么扫描单元45调用分类功能，所述功能基于针对所述模式而累积的统计资料来更新扫描次序(95)。如果扫描次序由于扫描次序的此更新而改变(96的回答为“是”)，那么扫描单元45减小所述模式的thres(模式)(97)。如果扫描次序不因扫描次序的此更新而改变(96的回答为“否”)，那么扫描单元45增大所述模式的thres(模式)(98)。举例来说，阈值的这些增大(98)或减小(97)可改变两倍(即，乘以2或除以2)，其取决于下界和上界。针对对应于4×4个块的模式，可将下界和上界设置为4，且针对对应于8×8个块的模式，可将下界和上界设置为值2。在此实例中，可将初始阈值设置为下界，以便在初始化之后尽可能快地调用分类。
一旦更新给定模式的扫描次序(95)，就使所述模式的计数(模式)复位为零(99)。所述过程接着确定是否需要检查额外模式(100)。所述过程随着给定经译码单元(例如，帧或切片)被译码而继续。即，当遇到下一个经译码单元时，可能发生新的初始化(91)。
本发明的技术可在多种装置或设备中实现，所述装置或设备包括无线手持机，以及集成电路(IC)或一组IC(即，芯片组)。提供已描述的任何组件、模块或单元以强调功能方面，且未必需要由不同硬件单元来实现。
因此，本文中所描述的技术可以硬件、软件、固件或其任一组合来实施。被描述为模块或组件的任何特征可一起实施于集成逻辑装置中或单独实施为离散但可共同操作的逻辑装置。如果以软件实施，那么所述技术可至少部分地由包含指令的计算机可读媒体实现，所述指令在被执行时实施上述方法中的一者或一者以上。计算机可读数据存储媒体可形成可包括封装材料的计算机程序产品的一部分。计算机可读媒体可包含例如同步动态随机存取存储器(SDRAM)等随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体，等等。另外或替代地，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体携载或传送呈指令或数据结构形式且可由计算机存取、读取和/或执行的代码。
所述代码可由一个或一个以上处理器(例如，一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效的集成或离散逻辑电路)执行。因此，术语“处理器”如本文中所用可指代前述结构中的任一者或适合实施本文中所描述的技术的任何其它结构。另外，在一些方面中，本文中所描述的功能性可提供于经配置以用于编码和解码的专用软件模块或硬件模块内，或并入组合式视频编码器-解码器(CODEC)中。而且，所述技术可全部实施于一个或一个以上电路或逻辑元件中。
已描述了本发明的各个方面。已在经变换视频块的经变换系数的扫描的上下文中描述了所述技术，但所述技术也可应用于视频块的其它类型的系数的扫描。举例来说，如果实施像素值或其它类型的未经变换系数或与视频块相关联的值的扫描，那么本发明的技术可应用于此扫描。这些和其它方面在所附权利要求书的范围内。

Claims (45)

1.一种对视频块的系数进行译码的方法，所述方法包含：
针对多种预测模式中的每一者，存储与所述视频块的系数值相关联的统计资料；
对与所述预测模式中的每一者相关联的所述视频块进行计数；
基于针对所述预测模式中的每一者而定义的扫描次序来扫描所述视频块的所述系数值；
在与所述预测模式中的一个给定预测模式相关联的计数值满足所述预测模式中的所述一个给定预测模式的阈值时，基于所述预测模式中的所述一个给定预测模式的所述统计资料来评估与所述预测模式中的所述一个给定预测模式相关联的给定扫描次序；以及
基于与所述预测模式中的所述一个给定预测模式相关联的扫描次序对所述系数值进行熵译码。
2.根据权利要求1所述的方法，其进一步包含：
在与所述预测模式中的所述一个给定预测模式相关联的所述计数值满足所述预测模式中的所述一个给定预测模式的所述阈值时，基于所述预测模式中的所述一个给定预测模式的所述统计资料来确定与所述预测模式中的所述一个给定预测模式相关联的新扫描次序。
3.根据权利要求2所述的方法，其进一步包含：
在调整所述预测模式中的所述一个给定预测模式的所述给定扫描次序后，调整所述预测模式中的所述一个给定预测模式的所述阈值。
4.根据权利要求1所述的方法，其中存储所述统计资料包含针对所述多种预测模式中的每一者：
存储指示所述系数值为零或非零的概率的统计资料。
5.根据权利要求1所述的方法，其进一步包含：
基于所述预测模式中的所述一个给定预测模式的所述统计资料来确定与所述预测模式中的所述一个给定预测模式相关联的新扫描次序；
如果所述新扫描次序与先前扫描次序相同，那么增大所述预测模式中的所述一个给定预测模式的所述阈值；
如果所述新扫描次序不同于所述先前扫描次序，那么减小所述预测模式中的所述一个给定预测模式的所述阈值；以及
使与所述预测模式中的所述一个给定预测模式相关联的所述计数值复位。
6.根据权利要求1所述的方法，其中所述多种预测模式包含多种帧内预测模式和多种帧间预测模式。
7.根据权利要求6所述的方法，
其中所述帧内预测模式包含多种4×4亮度帧内预测模式、多种8×8亮度帧内预测模式、多种16×16亮度帧内预测模式以及多种8×8色度帧内预测模式；且
其中所述帧间预测模式包含对应于4×4块大小和8×8块大小的帧间预测模式。
8.根据权利要求1所述的方法，其中熵译码包含可变长度译码(CAVLC)或上下文自适应二进制算术译码(CABAC)。
9.根据权利要求1所述的方法，其进一步包含经由所述视频块从像素域到经变换域的变换而产生所述系数值。
10.根据权利要求1所述的方法，其中译码包含编码，
其中扫描所述视频块的所述系数值包含基于针对所述预测模式中的每一者而定义的扫描次序从系数的二维块中产生系数的一维向量，
其中熵译码包含在扫描所述系数值之后对所述一维向量进行熵编码。
11.根据权利要求1所述的方法，其中译码包含解码，
其中扫描所述视频块的所述系数值包含基于针对所述预测模式中的每一者而定义的扫描次序从系数的一维向量中产生系数的二维块，
其中熵译码包含在扫描所述系数值之前对所述一维向量进行熵解码。
12.根据权利要求1所述的方法，其进一步包含以预设的更新间隔来检查针对所述预测模式中的每一者而定义的所述扫描次序。
13.根据权利要求1所述的方法，其中对形成视频序列的多个经译码单元中的每一者重复所述方法，所述方法进一步包含：
在对所述多个经译码单元中的每一者重复所述方法之前，初始化所述预测模式中的每一者的所述扫描次序、所述统计资料和阈值。
14.一种对视频块的系数进行译码的设备，所述设备包含：
扫描单元，其：
针对多种预测模式中的每一者，存储与所述视频块的系数值相关联的统计资料；
对与所述预测模式中的每一者相关联的所述视频块进行计数；
基于针对所述预测模式中的每一者而定义的扫描次序来扫描所述视频块的所述系数值；且
在与所述预测模式中的一个给定预测模式相关联的计数值满足所述预测模式中的所述一个给定预测模式的阈值时，基于所述预测模式中的所述一个给定预测模式的所述统计资料来评估与所述预测模式中的所述一个给定预测模式相关联的给定扫描次序；以及
熵译码单元，其基于与所述预测模式中的所述一个给定预测模式相关联的扫描次序对所述系数值进行熵译码。
15.根据权利要求14所述的设备，其中所述扫描单元：
在与所述预测模式中的所述一个给定预测模式相关联的所述计数值满足所述预测模式中的所述一个给定预测模式的所述阈值时，基于所述预测模式中的所述一个给定预测模式的所述统计资料来确定与所述预测模式中的所述一个给定预测模式相关联的新扫描次序。
16.根据权利要求15所述的设备，其中所述扫描单元：
在调整所述预测模式中的所述一个给定预测模式的所述给定扫描次序后，调整所述预测模式中的所述一个给定预测模式的所述阈值。
17.根据权利要求14所述的设备，其中所述扫描单元针对所述多种预测模式中的每一者：
存储指示所述系数值为零或非零的概率的统计资料。
18.根据权利要求14所述的设备，其中所述扫描单元：
基于所述预测模式中的所述一个给定预测模式的所述统计资料来确定与所述预测模式中的所述一个给定预测模式相关联的新扫描次序；
如果所述新扫描次序与先前扫描次序相同，那么增大所述预测模式中的所述一个给定预测模式的所述阈值；
如果所述新扫描次序不同于所述先前扫描次序，那么减小所述预测模式中的所述一个给定预测模式的所述阈值；且
使与所述预测模式中的所述一个给定预测模式相关联的所述计数值复位。
19.根据权利要求14所述的设备，其中所述多种预测模式包含多种帧内预测模式和多种帧间预测模式。
20.根据权利要求19所述的设备，
其中所述帧内预测模式包含多种4×4亮度帧内预测模式、多种8×8亮度帧内预测模式、多种16×16亮度帧内预测模式以及多种8×8色度帧内预测模式；且
其中所述帧间预测模式包含对应于4×4块大小和8×8块大小的帧间预测模式。
21.根据权利要求14所述的设备，其中所述熵译码单元执行可变长度译码(CAVLC)或上下文自适应二进制算术译码(CABAC)。
22.根据权利要求14所述的设备，其进一步包含变换单元，所述变换单元经由所述视频块从像素域到经变换域的变换而产生所述系数值。
23.根据权利要求14所述的设备，其中所述设备对所述视频块进行编码，
其中所述扫描单元基于针对所述预测模式中的每一者而定义的扫描次序从系数的二维块中产生系数的一维向量，且
其中所述熵译码单元在所述扫描单元扫描所述系数值之后对所述一维向量进行熵编码。
24.根据权利要求14所述的设备，其中所述设备对所述视频块进行解码，
其中所述扫描单元基于针对所述预测模式中的每一者而定义的扫描次序从系数的一维向量中产生系数的二维块，且
其中所述熵译码单元在所述扫描单元扫描所述系数值之前对所述一维向量进行熵解码。
25.根据权利要求14所述的设备，其中所述扫描单元以预设的更新间隔来检查针对所述预测模式中的每一者而定义的所述扫描次序。
26.根据权利要求14所述的设备，其中所述扫描单元对于形成视频序列的多个经译码单元中的每一者重复其存储、计数、扫描和评估操作，且其中在所述扫描单元对所述多个经译码单元中的每一者重复其存储、计数、扫描和评估操作之前，所述扫描单元初始化所述预测模式中的每一者的所述扫描次序、所述统计资料和阈值。
27.根据权利要求14所述的设备，其中所述设备包含集成电路。
28.根据权利要求14所述的设备，其中所述设备包含微处理器。
29.一种对视频块的系数进行译码的装置，所述装置包含：
用于针对多种预测模式中的每一者存储与所述视频块的系数值相关联的统计资料的装置；
用于对与所述预测模式中的每一者相关联的所述视频块进行计数的装置；
用于基于针对所述预测模式中的每一者而定义的扫描次序来扫描所述视频块的所述系数值的装置；
用于在与所述预测模式中的一个给定预测模式相关联的计数值满足所述预测模式中的所述一个给定预测模式的阈值时基于所述预测模式中的所述一个给定预测模式的所述统计资料来评估与所述预测模式中的所述一个给定预测模式相关联的给定扫描次序的装置；以及
用于基于与所述预测模式中的所述一个给定预测模式相关联的扫描次序对所述系数值进行熵译码的装置。
30.根据权利要求29所述的装置，其进一步包含：
用于在与所述预测模式中的所述一个给定预测模式相关联的所述计数值满足所述预测模式中的所述一个给定预测模式的所述阈值时基于所述预测模式中的所述一个给定预测模式的所述统计资料来确定与所述预测模式中的所述一个给定预测模式相关联的新扫描次序的装置。
31.根据权利要求30所述的装置，其进一步包含：
用于在调整所述预测模式中的所述一个给定预测模式的所述给定扫描次序后调整所述预测模式中的所述一个给定预测模式的所述阈值的装置。
32.根据权利要求29所述的装置，其中用于存储所述统计资料的装置包含，针对所述多种预测模式中的每一者：
用于存储指示所述系数值为零或非零的概率的统计资料的装置。
33.根据权利要求29所述的装置，其进一步包含：
用于基于所述预测模式中的所述一个给定预测模式的所述统计资料来确定与所述预测模式中的所述一个给定预测模式相关联的新扫描次序的装置；
用于在所述新扫描次序与先前扫描次序相同的情况下增大所述预测模式中的所述一个给定预测模式的所述阈值的装置；
用于在所述新扫描次序不同于所述先前扫描次序的情况下减小所述预测模式中的所述一个给定预测模式的所述阈值的装置；以及
用于使与所述预测模式中的所述一个给定预测模式相关联的所述计数值复位的装置。
34.根据权利要求29所述的装置，其中所述多种预测模式包含多种帧内预测模式和多种帧间预测模式。
35.根据权利要求34所述的装置，
其中所述帧内预测模式包含多种4×4亮度帧内预测模式、多种8×8亮度帧内预测模式、多种16×16亮度帧内预测模式以及多种8×8色度帧内预测模式；且
其中所述帧间预测模式包含对应于4×4块大小和8×8块大小的帧间预测模式。
36.根据权利要求29所述的装置，其中用于熵译码的装置包含用于可变长度译码(CAVLC)的装置或用于上下文自适应二进制算术译码(CABAC)的装置。
37.根据权利要求29所述的装置，其进一步包含用于经由所述视频块从像素域到经变换域的变换而产生所述系数值的装置。
38.根据权利要求29所述的装置，其中所述装置对视频块进行编码，
其中用于扫描所述视频块的所述系数值的装置包含用于基于针对所述预测模式中的每一者而定义的扫描次序从系数的二维块中产生系数的一维向量的装置，
其中用于熵译码的装置包含用于在扫描所述系数值之后对所述一维向量进行熵编码的装置。
39.根据权利要求29所述的装置，其中所述装置对视频块进行解码，
其中用于扫描所述视频块的所述系数值的装置包含用于基于针对所述预测模式中的每一者而定义的扫描次序从系数的一维向量中产生系数的二维块的装置，
其中用于熵译码的装置包含用于在扫描所述系数值之前对所述一维向量进行熵解码的装置。
40.根据权利要求29所述的装置，其进一步包含用于以预设的更新间隔来检查针对所述预测模式中的每一者而定义的所述扫描次序的装置。
41.根据权利要求29所述的装置，其中对形成视频序列的多个经译码单元中的每一者重复存储、计数、扫描和评估操作，所述装置进一步包含用于在对所述多个经译码单元中的每一者重复所述存储、计数、扫描和评估操作之前，初始化所述预测模式中的每一者的所述扫描次序、所述统计资料和阈值的装置。
42.一种对视频块的系数进行译码的装置，其包含：
扫描单元，其：
针对多种预测模式中的每一者，存储与视频块的系数值相关联的统计资料；
对与所述预测模式中的每一者相关联的所述视频块进行计数；
基于针对所述预测模式中的每一者而定义的扫描次序，将所述视频块的所述系数值从二维块扫描成一维向量；且
在与所述预测模式中的一个给定预测模式相关联的计数值满足所述预测模式中的所述一个给定预测模式的阈值时，基于所述预测模式中的所述一个给定预测模式的所述统计资料来评估与所述预测模式中的所述一个给定预测模式相关联的给定扫描次序；
熵译码单元，其基于与所述预测模式中的所述一个给定预测模式相关联的扫描次序对所述一维向量的所述系数值进行熵编码；以及
无线发射器，其发送包含所述经熵编码的系数值的位流。
43.根据权利要求42所述的装置，其中所述装置包含无线通信手持机。
44.一种对视频块的系数进行解码的装置，其包含：
无线接收器，其接收包含视频块的呈一维向量形式的经熵译码的系数值的位流；
熵译码单元，其基于与多种预测模式中的一个给定预测模式相关联的扫描次序对所述视频块的所述系数值进行熵解码；以及
扫描单元，其：
针对所述预测模式中的每一者，存储与所述视频块的系数值相关联的统计资料；
对与所述预测模式中的每一者相关联的所述视频块进行计数；
基于针对所述预测模式中的每一者而定义的扫描次序，将所述视频块的所述系数值从所述一维向量扫描成二维块；且
在与所述预测模式中的所述一个给定预测模式相关联的计数值满足所述预测模式中的所述一个给定预测模式的阈值时，基于所述预测模式中的所述一个给定预测模式的所述统计资料来评估与所述预测模式中的所述一个给定预测模式相关联的给定扫描次序。
45.根据权利要求44所述的装置，其中所述装置包含无线通信手持机。
CN2008800202330A 2007-06-15 2008-06-12 视频译码中的自适应系数扫描 Active CN101682771B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US94447007P 2007-06-15 2007-06-15
US60/944,470 2007-06-15
US97976207P 2007-10-12 2007-10-12
US60/979,762 2007-10-12
US3044308P 2008-02-21 2008-02-21
US61/030,443 2008-02-21
US12/133,232 2008-06-04
US12/133,232 US8571104B2 (en) 2007-06-15 2008-06-04 Adaptive coefficient scanning in video coding
PCT/US2008/066796 WO2008157268A2 (en) 2007-06-15 2008-06-12 Adaptive coefficient scanning in video coding

Publications (2)

Publication Number Publication Date
CN101682771A CN101682771A (zh) 2010-03-24
CN101682771B true CN101682771B (zh) 2012-02-29

Family

ID=40132401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800202330A Active CN101682771B (zh) 2007-06-15 2008-06-12 视频译码中的自适应系数扫描

Country Status (9)

Country Link
US (1) US8571104B2 (zh)
EP (1) EP2165542B1 (zh)
JP (1) JP5032657B2 (zh)
KR (2) KR101244229B1 (zh)
CN (1) CN101682771B (zh)
BR (1) BRPI0813275A2 (zh)
CA (1) CA2687253A1 (zh)
TW (1) TW200915885A (zh)
WO (1) WO2008157268A2 (zh)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8428133B2 (en) * 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
US8542748B2 (en) 2008-03-28 2013-09-24 Sharp Laboratories Of America, Inc. Methods and systems for parallel video encoding and decoding
US8000546B2 (en) * 2008-08-01 2011-08-16 National Cheng Kung University Adaptive scan method for image/video coding
KR101379185B1 (ko) * 2009-04-14 2014-03-31 에스케이 텔레콤주식회사 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101379186B1 (ko) * 2009-08-21 2014-04-10 에스케이 텔레콤주식회사 인트라 예측 부호화/복호화 방법 및 장치
US9287894B2 (en) * 2009-10-05 2016-03-15 Orange Methods for encoding and decoding images, corresponding encoding and decoding devices and computer programs
BR112012009142B1 (pt) * 2009-10-20 2021-10-19 Sharp Kabushiki Kaisha Dispositivo de codificação de imagem móvel, dispositivo de decodificação de imagem móvel, método de codificação de imagem móvel e método de decodificação de imagem móvel
WO2011083573A1 (ja) 2010-01-07 2011-07-14 株式会社 東芝 動画像符号化装置及び動画像復号化装置
JP5323209B2 (ja) * 2010-01-07 2013-10-23 株式会社東芝 動画像符号化装置及び動画像復号化装置
JP5696248B2 (ja) * 2010-01-07 2015-04-08 株式会社東芝 動画像符号化装置及び動画像復号化装置
JP5526277B2 (ja) * 2010-01-07 2014-06-18 株式会社東芝 動画像復号化装置、方法及びプログラム
JP5908619B2 (ja) * 2010-01-07 2016-04-26 株式会社東芝 動画像符号化装置及び動画像復号化装置
JP5525650B2 (ja) * 2010-01-07 2014-06-18 株式会社東芝 動画像復号化装置、方法及びプログラム
JP5432412B1 (ja) * 2010-01-07 2014-03-05 株式会社東芝 動画像符号化装置及び動画像復号化装置
JP5597782B2 (ja) * 2010-01-07 2014-10-01 株式会社東芝 動画像符号化装置及び動画像復号化装置
JP5432359B2 (ja) * 2010-01-07 2014-03-05 株式会社東芝 動画像符号化装置、方法及びプログラム
US9049450B2 (en) 2010-04-05 2015-06-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment
US8982961B2 (en) 2010-04-05 2015-03-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using transformation index, and method and apparatus for decoding video by using transformation index
WO2011126277A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Low complexity entropy-encoding/decoding method and apparatus
US8929440B2 (en) * 2010-04-09 2015-01-06 Sony Corporation QP adaptive coefficients scanning and application
HUE040296T2 (hu) 2010-04-13 2019-02-28 Ge Video Compression Llc Szignifikancia térképek és transzformációs együttható blokkok kódolása
JP2011259205A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
US9661338B2 (en) 2010-07-09 2017-05-23 Qualcomm Incorporated Coding syntax elements for adaptive scans of transform coefficients for video coding
JP2012019448A (ja) * 2010-07-09 2012-01-26 Sony Corp 画像処理装置および方法
US9300970B2 (en) * 2010-07-09 2016-03-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding motion vector
US8344917B2 (en) 2010-09-30 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for context initialization in video coding and decoding
CN102447895B (zh) 2010-09-30 2013-10-02 华为技术有限公司 扫描方法及装置、反扫描方法及装置
US9313514B2 (en) * 2010-10-01 2016-04-12 Sharp Kabushiki Kaisha Methods and systems for entropy coder initialization
US8923395B2 (en) * 2010-10-01 2014-12-30 Qualcomm Incorporated Video coding using intra-prediction
CA2810899C (en) 2010-10-05 2016-08-09 General Instrument Corporation Coding and decoding utilizing adaptive context model selection with zigzag scan
US9532059B2 (en) 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
US9641846B2 (en) 2010-10-22 2017-05-02 Qualcomm Incorporated Adaptive scanning of transform coefficients for video coding
US9497472B2 (en) * 2010-11-16 2016-11-15 Qualcomm Incorporated Parallel context calculation in video coding
US9042440B2 (en) 2010-12-03 2015-05-26 Qualcomm Incorporated Coding the position of a last significant coefficient within a video block based on a scanning order for the block in video coding
US9288496B2 (en) * 2010-12-03 2016-03-15 Qualcomm Incorporated Video coding using function-based scan order for transform coefficients
US8976861B2 (en) 2010-12-03 2015-03-10 Qualcomm Incorporated Separately coding the position of a last significant coefficient of a video block in video coding
JP2012129888A (ja) * 2010-12-16 2012-07-05 Samsung Electronics Co Ltd 画像符号化装置及び画像符号化方法
US20120163472A1 (en) * 2010-12-22 2012-06-28 Qualcomm Incorporated Efficiently coding scanning order information for a video block in video coding
US20120163456A1 (en) 2010-12-22 2012-06-28 Qualcomm Incorporated Using a most probable scanning order to efficiently code scanning order information for a video block in video coding
US9049444B2 (en) * 2010-12-22 2015-06-02 Qualcomm Incorporated Mode dependent scanning of coefficients of a block of video data
US20120236931A1 (en) * 2010-12-23 2012-09-20 Qualcomm Incorporated Transform coefficient scan
US10992958B2 (en) 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
KR101739580B1 (ko) * 2010-12-30 2017-05-25 에스케이 텔레콤주식회사 적응적 스캔 장치 및 그 스캔 방법
US9490839B2 (en) 2011-01-03 2016-11-08 Qualcomm Incorporated Variable length coding of video block coefficients
JP5781313B2 (ja) 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
FR2972588A1 (fr) 2011-03-07 2012-09-14 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
US9106913B2 (en) 2011-03-08 2015-08-11 Qualcomm Incorporated Coding of transform coefficients for video coding
US20120230418A1 (en) * 2011-03-08 2012-09-13 Qualcomm Incorporated Coding of transform coefficients for video coding
US8861593B2 (en) 2011-03-15 2014-10-14 Sony Corporation Context adaptation within video coding modules
US9648334B2 (en) * 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
US8938001B1 (en) 2011-04-05 2015-01-20 Google Inc. Apparatus and method for coding using combinations
US8989256B2 (en) 2011-05-25 2015-03-24 Google Inc. Method and apparatus for using segmentation-based coding of prediction information
FR2977111A1 (fr) * 2011-06-24 2012-12-28 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
US9491469B2 (en) 2011-06-28 2016-11-08 Qualcomm Incorporated Coding of last significant transform coefficient
US9516316B2 (en) 2011-06-29 2016-12-06 Qualcomm Incorporated VLC coefficient coding for large chroma block
CN104980746B (zh) * 2011-07-01 2018-07-31 三星电子株式会社 用于使用分层数据单元进行编码和解码的方法和设备
US9338456B2 (en) 2011-07-11 2016-05-10 Qualcomm Incorporated Coding syntax elements using VLC codewords
US8891616B1 (en) 2011-07-27 2014-11-18 Google Inc. Method and apparatus for entropy encoding based on encoding cost
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
MX338988B (es) * 2011-10-24 2016-05-09 Infobridge Pte Ltd Aparato para la decodificacion de imagenes.
KR20130049524A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 방법
KR20130049523A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 장치
US10390046B2 (en) 2011-11-07 2019-08-20 Qualcomm Incorporated Coding significant coefficient information in transform skip mode
KR20130050405A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 시간 후보자 결정방법
US9247257B1 (en) * 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
AR092786A1 (es) * 2012-01-09 2015-05-06 Jang Min Metodos para eliminar artefactos de bloque
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
US11039138B1 (en) * 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
GB2501534A (en) * 2012-04-26 2013-10-30 Sony Corp Control of transform processing order in high efficeency video codecs
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
WO2013181821A1 (en) * 2012-06-07 2013-12-12 Mediatek Singapore Pte. Ltd. Improved intra transform skip mode
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US9774856B1 (en) 2012-07-02 2017-09-26 Google Inc. Adaptive stochastic entropy coding
KR102167095B1 (ko) 2012-07-02 2020-10-16 엘지전자 주식회사 영상 정보 코딩 방법 및 이를 이용하는 장치
MY200990A (en) * 2012-07-02 2024-01-29 Samsung Electronics Co Ltd Entrophy Coding of a Video and Entropy Decoding of a Video
US9264713B2 (en) * 2012-07-11 2016-02-16 Qualcomm Incorporated Rotation of prediction residual blocks in video coding with transform skipping
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9826229B2 (en) 2012-09-29 2017-11-21 Google Technology Holdings LLC Scan pattern determination from base layer pixel information for scalable extension
EP2920962A4 (en) 2012-11-13 2016-07-20 Intel Corp ADAPTIVE TRANSFORMATION ENCODING OF CONTENT FOR NEXT GENERATION VIDEO
US9350988B1 (en) 2012-11-20 2016-05-24 Google Inc. Prediction mode-based block ordering in video coding
EP2952003B1 (en) * 2013-01-30 2019-07-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
US9681128B1 (en) 2013-01-31 2017-06-13 Google Inc. Adaptive pre-transform scanning patterns for video and image compression
US9509998B1 (en) 2013-04-04 2016-11-29 Google Inc. Conditional predictive multi-symbol run-length coding
CN103428492B (zh) * 2013-07-16 2016-11-16 山东大学 一种高清AVS编码中快速zig-zag扫描的方法
CN105453567B (zh) 2013-07-24 2019-04-23 微软技术许可有限责任公司 用于非变换编码的扫描次序
US9247251B1 (en) 2013-07-26 2016-01-26 Google Inc. Right-edge extension for quad-tree intra-prediction
JP5646713B2 (ja) * 2013-09-13 2014-12-24 株式会社Ｎｔｔドコモ 画像符号化装置、方法及びプログラム、並びに、画像復号装置、方法及びプログラム
US9392288B2 (en) 2013-10-17 2016-07-12 Google Inc. Video coding using scatter-based scan tables
US9179151B2 (en) 2013-10-18 2015-11-03 Google Inc. Spatial proximity context entropy coding
JP5893711B2 (ja) * 2014-11-04 2016-03-23 株式会社Ｎｔｔドコモ 画像符号化装置、方法及びプログラム、並びに、画像復号装置、方法及びプログラム
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
JP6109354B2 (ja) * 2016-01-20 2017-04-05 株式会社Ｎｔｔドコモ 画像復号装置、方法及びプログラム
EP3412028B1 (en) 2016-02-12 2024-04-03 Huawei Technologies Co., Ltd. Method and apparatus for scan order selection
EP3412027B1 (en) 2016-02-12 2024-04-24 Huawei Technologies Co., Ltd. Method and apparatus for scan order selection
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US10440394B2 (en) * 2016-09-08 2019-10-08 Google Llc Context adaptive scan order for entropy coding
JP6767691B2 (ja) * 2016-10-18 2020-10-14 パナソニックＩｐマネジメント株式会社 画像符号化方法、伝送方法および画像符号化装置
GB2557335A (en) * 2016-12-07 2018-06-20 Sony Corp Image data encoding and decoding
CA3060201C (en) 2017-04-13 2023-09-19 Lg Electronics Inc. Image encoding/decoding method and device therefor
BR112020012643B1 (pt) 2017-12-21 2022-05-17 Lg Electronics Inc Método para codificação de imagem com base em transformada seletiva e dispositivo para o mesmo
US11303884B2 (en) 2018-06-21 2022-04-12 Kt Corporation Method and apparatus for processing video signal
US20220038702A1 (en) * 2018-09-20 2022-02-03 Nokia Technologies Oy A method and an apparatus for encoding and decoding of digital image/video material
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
KR20210031296A (ko) 2019-09-11 2021-03-19 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1665303A (zh) * 2005-03-18 2005-09-07 清华大学 图像/视频编码中变换系数的熵编码方法
WO2006071125A1 (en) * 2004-12-30 2006-07-06 Tandberg Telecom As Method for improved entropy coding

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1000643A5 (fr) * 1987-06-05 1989-02-28 Belge Etat Procede de codage de signaux d'image.
JPH01155678A (ja) 1987-12-11 1989-06-19 Matsushita Electric Ind Co Ltd 半導体発光装置
US5136371A (en) * 1990-03-15 1992-08-04 Thomson Consumer Electronics, Inc. Digital image coding using random scanning
EP0586225B1 (en) * 1992-08-31 1998-12-23 Victor Company Of Japan, Ltd. Orthogonal transform coding apparatus and decoding apparatus
TW224553B (en) 1993-03-01 1994-06-01 Sony Co Ltd Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture
TW297202B (zh) * 1993-10-13 1997-02-01 Rca Thomson Licensing Corp
KR0183688B1 (ko) * 1994-01-12 1999-05-01 김광호 영상부호화방법 및 장치
KR0178198B1 (ko) 1995-03-28 1999-05-01 배순훈 영상 신호 부호화 장치
US5721822A (en) * 1995-07-21 1998-02-24 Intel Corporation Run-length encoding/decoding video signals using scan patterns explicitly encoded into bitstreams
US5790706A (en) 1996-07-03 1998-08-04 Motorola, Inc. Method and apparatus for scanning of transform coefficients
JP2002232887A (ja) 1996-11-07 2002-08-16 Matsushita Electric Ind Co Ltd 画像符号化方法および画像符号化装置並びに画像復号化方法および画像復号化装置
EP1689194A3 (en) * 1996-11-07 2008-12-10 Panasonic Corporation Image encoder and image decoder
JPH10271505A (ja) 1997-03-25 1998-10-09 Oki Electric Ind Co Ltd 信号処理装置、符号化回路および復号回路
US5995055A (en) * 1997-06-30 1999-11-30 Raytheon Company Planar antenna radiating structure having quasi-scan, frequency-independent driving-point impedance
DE69838630T2 (de) * 1997-07-31 2008-08-28 Victor Company of Japan, Ltd., Yokohama Prädiktive Digitalvideosignalkodierung- und Dekodierungsmethode unter Verwendung von Blockinterpolation
JP4226172B2 (ja) * 1998-11-24 2009-02-18 株式会社ハイニックスセミコンダクター 適応的変換方法を用いる映像圧縮符号化装置および復号化装置ならびにその方法
AU1115001A (en) * 1999-10-22 2001-05-08 Activesky, Inc. An object oriented video system
US6724818B1 (en) * 2000-07-17 2004-04-20 Telefonaktiebolaget Lm Ericsson (Publ) Alternative block orders for better prediction
CN1142683C (zh) 2000-10-13 2004-03-17 清华大学 无转置行列分离二维离散余弦正反变换电路及其方法
JP2002135126A (ja) * 2000-10-26 2002-05-10 Seiko Epson Corp 半導体装置及びこれを用いた電子機器
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
KR100468844B1 (ko) 2002-01-07 2005-01-29 삼성전자주식회사 정지영상 및 동영상을 부호화/복호화하기 위한변환계수들의 최적주사방법
BR0304545A (pt) * 2002-01-14 2004-11-03 Nokia Corp Método de codificação das imagens em uma sequência de vìdeo digital para fornecer os dados de vìdeo codificados, codificador de vìdeo, método de decodificação dos dados indicativos de uma sequência de vìdeo digital, decodificador de vìdeo, e, sistema de decodificação de vìdeo
CN1620816A (zh) 2002-01-22 2005-05-25 诺基亚有限公司 图像/视频编码器和/或解码器中的编码变换系数
US6757576B2 (en) * 2002-02-05 2004-06-29 Gcc, Inc. System and method for drawing and manufacturing bent pipes
KR100508798B1 (ko) 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
US7170937B2 (en) * 2002-05-01 2007-01-30 Texas Instruments Incorporated Complexity-scalable intra-frame prediction technique
EP2290989B1 (en) 2002-05-28 2015-01-28 Sharp Kabushiki Kaisha Method and systems for image intra-prediction mode estimation, communication, and organization
RU2314656C2 (ru) 2002-06-11 2008-01-10 Нокиа Корпорейшн Внутреннее кодирование, основанное на пространственном прогнозировании
CN101039427B (zh) * 2002-07-15 2010-06-16 株式会社日立制作所 动态图像的解码方法
US6795584B2 (en) 2002-10-03 2004-09-21 Nokia Corporation Context-based adaptive variable length coding for adaptive block transforms
US7463782B2 (en) * 2002-11-05 2008-12-09 Canon Kabushiki Kaisha Data encoding with an amplitude model and path between the data and corresponding decoding
FI116710B (fi) * 2002-12-20 2006-01-31 Oplayo Oy Kuvien koodausmenetelmä ja -järjestely
KR100750110B1 (ko) * 2003-04-22 2007-08-17 삼성전자주식회사 ４×４인트라 휘도 예측 모드 결정방법 및 장치
JP3756897B2 (ja) 2003-07-30 2006-03-15 株式会社東芝 動画像符号化装置及び動画像符号化方法
US7289562B2 (en) * 2003-08-01 2007-10-30 Polycom, Inc. Adaptive filter to improve H-264 video quality
US20050036549A1 (en) * 2003-08-12 2005-02-17 Yong He Method and apparatus for selection of scanning mode in dual pass encoding
US7688894B2 (en) * 2003-09-07 2010-03-30 Microsoft Corporation Scan patterns for interlaced video content
JP4127818B2 (ja) * 2003-12-24 2008-07-30 株式会社東芝 動画像符号化方法及びその装置
EP1558039A1 (en) * 2004-01-21 2005-07-27 Deutsche Thomson-Brandt Gmbh Method and apparatus for generating/evaluating prediction information in picture signal encoding/decoding
JP4542447B2 (ja) * 2005-02-18 2010-09-15 株式会社日立製作所 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
US8731054B2 (en) * 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
US8369402B2 (en) * 2004-06-17 2013-02-05 Canon Kabushiki Kaisha Apparatus and method for prediction modes selection based on image formation
US8311119B2 (en) 2004-12-31 2012-11-13 Microsoft Corporation Adaptive coefficient scan order
US7706443B2 (en) * 2005-03-11 2010-04-27 General Instrument Corporation Method, article of manufacture, and apparatus for high quality, fast intra coding usable for creating digital video content
US20070014348A1 (en) * 2005-04-12 2007-01-18 Nokia Corporation Method and system for motion compensated fine granularity scalable video coding with drift control
EP1768415A1 (en) 2005-09-27 2007-03-28 Matsushita Electric Industrial Co., Ltd. Adaptive scan order of DCT coefficients and its signaling
CN101815224A (zh) 2005-07-22 2010-08-25 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
US7933337B2 (en) * 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
JP2007053561A (ja) 2005-08-17 2007-03-01 Matsushita Electric Ind Co Ltd 画像符号化装置および画像符号化方法
WO2007046644A1 (en) 2005-10-21 2007-04-26 Electronics And Telecommunications Research Institute Apparatus and method for encoding and decoding moving picture using adaptive scanning
US8200033B2 (en) 2005-11-30 2012-06-12 Koninklijke Philips Electronics N.V. Encoding method and apparatus applying coefficient reordering
US7529484B2 (en) * 2005-12-14 2009-05-05 Nec Laboratories America, Inc. Triplexer transceiver using parallel signal detection
CN1801940A (zh) 2005-12-15 2006-07-12 清华大学 整型变换电路和整型变换方法
US8000539B2 (en) * 2005-12-21 2011-08-16 Ntt Docomo, Inc. Geometrical image representation and compression
US20080008246A1 (en) * 2006-07-05 2008-01-10 Debargha Mukherjee Optimizing video coding
US8428133B2 (en) * 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
EP2422520A1 (en) * 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Adaptive interpolation filters for multi-layered video delivery
US9641846B2 (en) * 2010-10-22 2017-05-02 Qualcomm Incorporated Adaptive scanning of transform coefficients for video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006071125A1 (en) * 2004-12-30 2006-07-06 Tandberg Telecom As Method for improved entropy coding
CN1665303A (zh) * 2005-03-18 2005-09-07 清华大学 图像/视频编码中变换系数的熵编码方法

Also Published As

Publication number Publication date
WO2008157268A2 (en) 2008-12-24
BRPI0813275A2 (pt) 2014-12-30
CN101682771A (zh) 2010-03-24
EP2165542B1 (en) 2012-07-25
KR20100021658A (ko) 2010-02-25
CA2687253A1 (en) 2008-12-24
US20080310745A1 (en) 2008-12-18
KR101244229B1 (ko) 2013-03-18
KR20110129493A (ko) 2011-12-01
EP2165542A2 (en) 2010-03-24
US8571104B2 (en) 2013-10-29
JP2010530183A (ja) 2010-09-02
WO2008157268A3 (en) 2009-02-05
JP5032657B2 (ja) 2012-09-26
TW200915885A (en) 2009-04-01

Similar Documents

Publication Publication Date Title
CN101682771B (zh) 视频译码中的自适应系数扫描
CN101690227B (zh) 用于对子带进行熵译码的子带扫描技术
RU2447612C2 (ru) Адаптивное сканирование коэффициентов при кодировании видео
CN102172021B (zh) 用大宏块进行视频译码
CN101627636B (zh) 可缩放视频译码增强层中的精细化和有效系数的组合式游程长度译码的方法和装置
CN102172023B (zh) 用大宏块进行视频译码
CN101578870B (zh) 对可缩放视频译码(svc)方案的增强层进行译码的方法和装置
CN101946515B (zh) Cabac译码器的二回合量化
CN102369731B (zh) 基于视频译码中的活动度量的滤波预测
CN102870413B (zh) 用于视频数据译码的可变长度码
KR101168843B1 (ko) 수평 및 수직 대칭에 기초한 필터 계수들의 비디오 코딩
CN101822065A (zh) 对视频块的经交错子块的熵译码
CN102204251A (zh) 使用大于4×4和8×8的变换的视频译码
CN103181170A (zh) 用于视频译码的变换系数的自适应扫描
CN102172025A (zh) 用大宏块进行视频译码
CN103718551A (zh) 在视频译码中用信号发出图片大小
CN103270754A (zh) 对视频数据块的系数的模式相依扫描
CN104247420A (zh) 转换系数译码
CN102342101A (zh) 用于在视频译码中进行内插滤波、环路内滤波和环路后滤波的组合方案
CN102783149A (zh) 用于视频译码的适应性运动分辨率
CN103140877A (zh) 使用帧内预测的视频译码
CN103238323A (zh) 在视频译码中基于视频块的扫描次序对块内的最后有效系数的位置进行译码
CN103250413A (zh) 视频译码中的并行上下文计算
CN103636223A (zh) 用于视频译码的多区扫描次序
CN105659603A (zh) 用于视频译码的高精度显式经加权预测

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20171101

Address after: Dublin, Ireland

Patentee after: Verona Media International Limited

Address before: American California

Patentee before: Qualcomm Inc.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211012

Address after: California, USA

Patentee after: QUALCOMM Inc.

Address before: Ai Erlandubailin

Patentee before: Willow Media International Ltd.