CN107409208A - 图像处理装置、图像处理方法、程序以及记录媒体 - Google Patents

图像处理装置、图像处理方法、程序以及记录媒体 Download PDF

Info

Publication number
CN107409208A
CN107409208A CN201680017090.2A CN201680017090A CN107409208A CN 107409208 A CN107409208 A CN 107409208A CN 201680017090 A CN201680017090 A CN 201680017090A CN 107409208 A CN107409208 A CN 107409208A
Authority
CN
China
Prior art keywords
block
hunting zone
image
unit
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680017090.2A
Other languages
English (en)
Other versions
CN107409208B (zh
Inventor
金钟大
陆硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107409208A publication Critical patent/CN107409208A/zh
Application granted granted Critical
Publication of CN107409208B publication Critical patent/CN107409208B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

为了通过减轻块之间的依赖关系而改善编码或解码性能。本发明提供一种图像处理装置，其包括：搜索单元，其被配置为针对待编码图像中所包括的每个预测块搜索帧内预测模式；以及控制单元，其被配置为确定色度格式是否为4:2:2并且在确定所述色度格式为4:2:2的情况下相对于色差分量的预测块将所述搜索单元的帧内预测模式的搜索范围限于不参考上部参考像素的预定范围。

Description

图像处理装置、图像处理方法、程序以及记录媒体
技术领域
本公开涉及图像处理装置、图像处理方法、程序以及记录媒体。
背景技术
作为ITU-T和ISO/IEC的标准化组织的视频编码联合协作团队(JCT-VC)已经引领对称为高效率视频编码(HEVC)的图像编码方案进行标准化，以便改善编码效率以优于H.264/AVC的编码效率，并且已经出版了所述标准的规范的第一版本(例如，见非专利文献1)。此后，已经连续不断地从多种角度尝试对HEVC规范进行扩展，包括增强编码工具等等(例如，见非专利文献2)。
HEVC的各种特征之一是改善的帧内预测。帧内预测是通过利用同一帧内的相邻块之间的相关性来减少像素信息的代码量的技术。例如，在H.264/AVC中，除了平面预测和DC预测之外，适用于大约九个预测方向的方向性预测可被选择作为帧内预测模式。在HEVC中，除了平面预测和DC预测之外，适用于大约三十三个预测方向的角度预测可被选择作为帧内预测模式，如图1所示。预测块大小在HEVC中还比在H.264/AVC中扩展得多，并且还支持32×32预测单元(PU)以及4×4、8×8和16×16。请注意，取决于色度格式，色差分量(Cr或Cb)的块大小与亮度(Y)分量的块大小相同或小于亮度(Y)分量的块大小。在设置于CU内的变换单元(TU)中控制帧内预测过程的次序。
色度格式是用于指定水平方向和垂直方向上的色差分量的像素密度与亮度分量的像素密度的比率的指数。在色度格式为4:2:0的情况下，色差分量的像素密度在水平和垂直方向上是亮度分量的像素密度的一半。在色度格式为4:2:2的情况下，色差分量的像素密度在水平方向上是亮度分量的像素密度的一半，并且在垂直方向上等于亮度分量的像素密度。也就是说，如果亮度分量块在这种情况下具有正方形形状，则对应于其的色差分量块具有矩形形状，其在垂直方向上的边是水平方向上的边的两倍长。在色度格式为4:4:4的情况下，色差分量的像素密度在水平和垂直方向上等于亮度分量的像素密度。
引文列表
非专利文献
非专利文献1：Benjamin Bross等人，“High Efficiency Video Coding(HEVC)text specification draft 10(for FDIS&Last Call)”(JCTVC-L1003_v4，2013年1月14日至23日)
非专利文献2：David Flynn等人，“High Efficiency Video Coding(HEVC)RangeExtensions text specification:Draft 5”(JCTVC-O1005_v2，2013年10月23日至11月1日)
发明内容
技术问题
例如，假设亮度分量的TU大小为2N×2N且色度格式为4:2:2的情况。对应色差分量的大小为N×2N，并且所述分量实际上由各自具有大小N×N的色差分量的两个垂直邻接正方形TU覆盖。在HEVC中，色差分量的两个TU在帧内预测期间处于依赖关系，并且所述依赖关系所造成的预测过程中的延迟影响编码或解码性能。
因此，期望提供一种能够减轻块之间的此类依赖关系并且因此改善编码或解码性能的机制。
问题解决方案
根据本公开，提供一种图像处理装置，其包括：搜索单元，其被配置为针对待编码图像中所包括的每个预测块搜索帧内预测模式；以及控制单元，其被配置为确定色度格式是否为4:2:2并且在确定色度格式为4:2:2的情况下相对于色差分量的预测块将搜索单元的帧内预测模式的搜索范围限于不参考上部参考像素的预定范围。
另外，根据本公开，提供一种用于致使控制图像处理装置的计算机充当以下装置的程序：搜索单元，其被配置为针对待编码图像中所包括的每个预测块搜索帧内预测模式；以及控制单元，其被配置为确定色度格式是否为4:2:2并且在确定色度格式为4:2:2的情况下相对于色差分量的预测块将搜索单元的帧内预测模式的搜索范围限于不参考上部参考像素的预定范围。
另外，根据本公开，提供一种上面记录程序的计算机可读记录媒体。
另外，根据本公开，提供一种图像处理装置，其包括：控制单元，其被配置为确定在图像编码期间在帧内预测中相对于色度格式为4:2:2的事实搜索帧内预测模式的搜索范围是否已被限于不参考上部参考像素的预定范围；以及生成单元，其被配置为在确定搜索范围已被限于预定范围的情况下在图像解码期间在帧内预测中以并行方式生成对应于一个亮度分量块的两个垂直邻接色差分量块的预测图像。
发明的有利效果
根据本公开的技术，可由于在帧内预测中减轻块之间的依赖关系而改善编码或解码性能。以上效果未必是有限的，并且除了以上效果之外或者代替以上效果，可获得本说明书中所描述的效果或能够从本说明书理解的其他效果。
附图说明
【图1】图1是用于描述可在HEVC的帧内预测中选择的预测模式的示例图。
【图2】图2是用于描述在色度格式为4:2:2的情况下的块的结构的示例图。
【图3A】图3A是用于描述H.264/AVC的帧内预测中的色差分量的块之间的依赖关系的实例的示例图。
【图3B】图3B是用于描述HEVC的帧内预测中的色差分量的块之间的依赖关系的实例的示例图。
【图4】图4是用于描述块之间的依赖关系所造成的预测图像的生成延迟的实例的示例图。
【图5】图5是示出编码器的示意性配置的实例的框图。
【图6】图6是示出图5所示的编码器的帧内预测部的详细配置的实例的框图。
【图7】图7是用于描述帧内预测模式的搜索范围的限制的示例图。
【图8】图8是示出归因于搜索范围的限制而消除预测图像的生成延迟的情况的示例图。
【图9】图9是用于描述参考像素填补的实例的示例图。
【图10A】图10A是用于描述基于参考像素可用性的搜索范围的限制的控制的实例的示例图。
【图10B】图10B是用于描述基于参考像素可用性的搜索范围的限制的控制的另一个实例的示例图。
【图11A】图11A是用于描述基于块位置的搜索范围的限制的控制的实例的示例图。
【图11B】图11B是用于描述基于块位置的搜索范围的限制的控制的另一个实例的示例图。
【图12】图12是用于描述基于图像的分辨率和帧速率的搜索范围的限制的控制的实例的表。
【图13】图13是示出根据一个实施例的在编码时的帧内预测过程的流程的实例的流程图。
【图14A】图14A是示出图13所示的流程图的搜索范围决定过程的详细流程的第一实例的流程图。
【图14B】图14B是示出图13所示的流程图的搜索范围决定过程的详细流程的第二实例的流程图。
【图14C】图14C是示出图13所示的流程图的搜索范围决定过程的详细流程的第三实例的流程图。
【图14D】图14D是示出图13所示的流程图的搜索范围决定过程的详细流程的第四实例的流程图。
【图14E】图14E是示出图13所示的流程图的搜索范围决定过程的详细流程的第五实例的流程图。
【图15】图15是示出包括编码器和解码器的系统的示意性配置的实例的框图。
【图16】图16是示出图15所示的解码器的帧内预测部的详细配置的框图。
【图17】图17是示出根据一个实施例的在解码期间的帧内预测过程的流程的实例的流程图。
【图18】图18是示出装置的硬件配置的实例的框图。
【图19】图19是示出电视设备的示意性配置的实例的框图。
【图20】图20是示出移动电话的示意性配置的实例的框图。
【图21】图21是示出记录/再现装置的示意性配置的实例的框图。
【图22】图22是示出成像装置的示意性配置的实例的框图。
具体实施方式
下文将参考附图详细描述本公开的优选实施例。在本说明书和附图中，使用相同参考符号表示具有基本上相同功能和结构的元件，并且省略重复解释。
另外，将按以下次序提供描述。
1.概观
2.编码器的配置的实例
3.在编码期间的过程的流程
4.解码器的配置的实例
5.在解码期间的过程的流程
6.硬件配置的实例
7.应用实例
8.结论
<1.概观>
图1是用于描述可在HEVC的帧内预测中选择的预测模式的示例图。图1所示的像素P0是块B0内的关注像素。在块B0周围的具有影线的像素是参考像素。图中的编号指示预测模式编号。例如，可针对大小为8×8的块B0的亮度分量选择在预测模式编号“0”至“34”的范围内的帧内预测模式。预测模式编号“0”对应于平面预测。在平面预测中，参考邻接块B0的上侧的像素和邻接块B0的左侧的像素以便生成预测图像。预测模式编号“1”对应于DC预测。在DC预测中，同样参考邻接预测块B0的上侧的像素和邻接预测块B0的左侧的像素以便生成预测图像。预测模式编号“2”至“34”各自对应于与唯一预测方向相关联的角度预测。在角度预测中，参考从对预测模式唯一的预测方向确定的参考信号。预测模式编号“10”和“26”分别对应于水平预测和垂直预测。
在尝试以特定帧内预测模式生成预测图像的情况下，应当已经决定待在帧内预测中参考的参考像素的重构(解码)像素值。这意味着相邻块具有依赖关系，并且控制其处理次序以免与所述依赖关系不一致。在图1的实例中，例如，应当完成邻近于块B0的左侧的块的解码以便在水平预测中生成块B0的预测图像。同样，应当完成邻近于块B0的上方的块的解码以便在垂直预测中生成块B0的预测图像。另外，块之间的此类依赖关系可为预测过程中的延迟的原因。
图2是用于描述在色度格式为4:2:2的情况下的块的结构的示例图。在图2的实例中，例如，块B1对应于编码单元(CU)，并且由三种类型的色彩分量(亮度(Y)分量和色度(Cr和Cb)分量)构成。块B1针对每个色彩分量划分成四个块。例如，所述块中的每一者对应于预测单元(PU)或变换单元(TU)。例如，块B21Y、B22Y、B23Y和B24Y是亮度分量块。块B21Cb、B22Cb、B23Cb和B24Cb是第一色度(Cb)分量块。块B21Cr、B22Cr、B23Cr和B24Cr是第二色度(Cr)分量块。在色度格式为4:2:2的情况下，水平方向上的色差分量的像素密度等于亮度分量的像素密度的一半，并且垂直方向上的色差分量的像素密度等于亮度分量的像素密度。因此，如果亮度分量块具有正方形形状，则对应色差分量块具有矩形形状，其在垂直方向上的边是水平方向上的边的两倍长。参看图2，例如，亮度分量块B21Y、B22Y、B23Y和B24Y中的每一者具有大小为8×8的正方形形状。同时，色差分量块B21Cb、B22Cb、B23Cb、B24Cb、B21Cr、B22Cr、B23Cr和B24Cr中的每一者具有大小为4×8的矩形形状。
在H.264/AVC中与HEVC不同地相对于如图2所示的矩形色差分量块处理当在帧内预测中生成预测图像时所使用的参考像素。将使用图3A和3B描述所述差异。例如，此处将关注第一色差分量块B24Cb。所述块B24Cb被划分成各自大小为4×4的两个正方形TU24Cb(1)和TU24Cb(2)。在以帧内预测模式生成这些正方形当中尤其是TU24Cb(2)的预测图像的情况下，在H.264/AVC中将邻接由TU24Cb(1)和TU24Cb(2)形成的矩形的上侧的像素和邻接左侧的像素视为参考像素，如图3A所示。例如，当在垂直预测中计算像素P12的预测像素值时，参考参考像素P11的重构像素值。另一方面，在HEVC中以帧内预测模式生成TU24Cb(2)的预测图像的情况下，将邻接块24Cb(2)的上侧的像素和邻接左侧的像素视为参考像素，如图3B所示。例如，当在垂直预测中计算P12的预测像素值时，参考块24Cb(1)中所包括的像素P21的重构像素值。
如果如上所述当在HEVC方案中编码或解码图像时色度格式为4:2:2，则块可具有H.264/AVC中不存在的依赖关系。一般来说，对应于一个亮度分量块(例如，亮度分量的TU)的两个垂直邻接色差分量块(例如，色差分量的TU)具有依赖关系。由于这种依赖关系，在选择尤其参考上部参考像素的预测模式的情况下，在等待上部色差分量块的解码(重构)的完成之后生成下部色差分量块的预测图像。
图4是用于描述块之间的依赖关系所造成的预测图像的生成延迟的实例的示例图。图4所示的每个框表示用于图2所示的每个块的预测图像生成过程的时序，并且时间在图的从左到右和从上到下的方向上前进。在图4的实例中，TU层级的处理次序是：
●块B21Y→块B21cb(1)→块B21cb(2)→块B21cr(1)→块B21cr(2)→块B22Y→块B22cb(1)→块B22cb(2)→块B22cr(1)→块B22cr(2)→块B23Y→块B23cb(1)→块B23cb(2)→块B23cr(1)→块B23cr(2)→块B24Y→块B24cb(1)→块B24cb(2)→块B24cr(1)→块B24cr(2)。可并行地执行第一色差分量和第二色差分量的处理，只要装置的能力准许，并且还在图4的实例中分批地执行并行化处理。然而，根据HEVC规范，如果色度格式为4:2:2，则由于两个垂直邻接色差分量块之间的依赖关系而发生处理延迟。例如，在处理块B21cb(1)之后处理块B21cb(2)。在处理块B21cr(1)之后处理块B21cr(2)。这同样适用于其他色差分量块。
如参考图4所描述的帧内预测的处理延迟妨碍装置的处理资源的有效利用，并且不利地影响编码器的性能，甚至在一些情况下影响解码器的性能。因此，将在下一部分中详细描述的实施例旨在通过减轻上文所述的块之间的此类依赖关系来实现编码器和解码器的性能改善。另外，将在若干实施例中在考虑性能与图像质量之间的折衷的情况下定义用于减轻依赖关系的条件。
<2.编码器的配置的实例>
【2-1.整体配置】
图5是示出编码器10的示意性配置的实例的框图。参看图5，编码器10具有分类缓冲器11、减法部13、正交变换部14、量化部15、无损编码部16、累积缓冲器17、速率控制部18、逆量化部21、逆正交变换部22、加法部23、去块滤波器24、SAO滤波器25、帧存储器26、切换器27、模式设置部28、帧内预测部30以及帧间预测部40。
分类缓冲器11对一系列图像数据中所包括的图像进行分类。在编码过程中根据GOP(图片群组)结构对图像进行分类之后，分类缓冲器11将已被分类的图像数据输出到减法部13、帧内预测部30和帧间预测部40。
减法部13计算作为从分类缓冲器11输入的图像数据与预测图像数据之间的差异的预测误差数据，并且将所计算的预测误差数据输出到正交变换部14。
正交变换部14对设置在每个编码树单元(CTU)内的一个或多个TU中的每一者执行正交变换过程。例如，此处所执行的正交变换可为离散余弦变换或离散正弦变换。更具体地说，正交变换部14针对每个TU将从减法部13输入的预测误差数据从空间域的像素信号变换为频域的变换系数数据。接着，正交变换部14将变换系数数据输出到量化部15。
量化部15接收从正交变换部14输入的变换系数数据和下文将描述的来自速率控制部18的速率控制信号的供应。量化部15在根据速率控制信号所决定的量化步骤中对变换系数数据进行量化。另外，量化部15生成指示用于每个TU的量化步骤的量化参数。量化部15将经过量化的变换系数数据(其将在下文中称为量化数据)输出到无损编码部16和逆量化部21。
无损编码部16针对每个CTU对从量化部15输入的量化数据进行编码并且从而生成编码流。另外，无损编码部16对各种参数进行编码以供解码器参考并且将编码参数插入到编码流的标头区域中。无损编码部16所编码的参数可包括指示如何在图像中设置CTU、CU、TU和PU的块信息、帧内预测信息和帧间预测信息。无损编码部16将所生成的编码流输出到累积缓冲器17。
累积缓冲器17将从无损编码部16输入的编码流临时累积在诸如半导体存储器等存储媒体中。接着，累积缓冲器17以根据传输路径的频带的速率将所累积的编码流输出到传输部(未示出)(例如，通信接口或通往外围装置的接口)。
速率控制部18监视累积缓冲器17的自由空间。接着，速率控制部18根据累积缓冲器17上的自由空间生成速率控制信号，并且将所生成的速率控制信号输出到量化部15。例如，当在累积缓冲器17上没有很多自由空间时，速率控制部18生成用于降低量化数据的位速率的速率控制信号。另外，例如，当累积缓冲器17上的自由空间足够大时，速率控制部18生成用于增大量化数据的位速率的速率控制信号。
逆量化部21、逆正交变换部22和加法部23构成局部解码器。局部解码器起到从编码数据重构原始图像的作用。
在量化部15所使用的量化步骤中，逆量化部21对量化数据执行逆量化以从而恢复变换系数数据。接着，逆量化部21将所恢复的变换系数数据输出到逆正交变换部22。
逆正交变换部22对从逆量化部21输入的变换系数数据执行逆正交变换过程以从而恢复预测误差数据。接着，逆正交变换部22将所恢复的预测误差数据输出到加法部23。
加法部23将从逆正交变换部22输入的所恢复的预测误差数据相加到从帧内预测部30或帧间预测部40输入的预测图像数据以从而生成解码图像数据(重构图像)。接着，加法部23将所生成的解码图像数据输出到去块滤波器24和帧存储器26。
去块滤波器24和SAO滤波器25各自为环内滤波器以用于改善重构图像的图像质量。去块滤波器24通过对从加法部23输入的解码图像数据进行滤波来去除块失真，并且将经过滤波的解码图像数据输出到SAO滤波器25。SAO滤波器25通过向从去块滤波器24输入的解码图像数据应用边缘偏移过程或频带偏移过程来去除噪声，并且将经过处理的解码图像数据输出到帧存储器26。
帧存储器26将从加法部23输入的未经滤波的解码图像数据和从SAO滤波器25输入的已被应用环内滤波的解码图像数据存储在存储媒体中。
切换器27从帧存储器26读取待用于帧内预测的未经滤波的解码图像数据并且将所读取的解码图像数据作为参考图像数据供应到帧内预测部30。另外，切换器27从帧存储器26读取待用于帧间预测的经过滤波的解码图像数据并且将所读取的解码图像数据作为参考图像数据供应到帧间预测部40。
模式设置部28基于从帧内预测部30和帧间预测部40输入的成本的比较来针对每个CTU或CU设置预测模式。模式设置部28针对已经设置帧内预测模式的块将帧内预测部30所生成的预测图像数据输出到减法部13并且将帧内预测信息输出到无损编码部16。另外，模式设置部28针对已经设置帧间预测的块将帧间预测部40所生成的预测图像数据输出到减法部13并且将帧间预测信息输出到无损编码部16。
帧内预测部30基于原始图像数据和解码图像数据来对设置在每个CTU内的一个或多个PU执行帧内预测过程。PU可被划分成一个或多个TU。例如，帧内预测部30基于待生成的预测误差和代码量来针对HEVC所指定的搜索范围中所包括的预测模式候选者中的每一者评估成本。接着，帧内预测部30选择成本最小化的预测模式(即，压缩率最高的预测模式)作为最佳预测模式。另外，帧内预测部30根据所选择的最佳预测模式生成预测图像数据。接着，帧内预测部30向模式设置部28输出帧内预测信息，其包括指示最佳预测模式的预测模式信息、对应成本和预测图像数据。在本实施例中，帧内预测部30在满足特定条件的情况下将帧内预测模式的搜索范围限于预定范围。因此，可减轻块之间的依赖关系，并且可消除或缩短帧内预测中可能发生的处理延迟。下文将描述帧内预测部30的更详细配置。
帧间预测部40基于原始图像数据和解码图像数据来针对设置在每个CTU内的一个或多个PU执行帧间预测过程(运动检测和运动补偿)。例如，帧间预测部40基于待生成的预测误差和代码量来针对HEVC所指定的搜索范围中所包括的预测模式候选者中的每一者评估成本。接着，帧间预测部40选择成本最小的预测模式(即，压缩率最高的预测模式)作为最佳预测模式。另外，帧间预测部40根据所选择的最佳预测模式生成预测图像数据。接着，帧间预测部40将帧间预测的信息、对应成本和预测图像数据输出到模式设置部28。
【2-2.帧内预测部的详情】
图6是示出图5所示的编码器10的帧内预测部30的详细配置的实例的框图。参看图6，帧内预测部30具有预测控制单元31、参考像素设置单元33、搜索单元35、确定单元37以及预测图像生成单元39。
预测控制单元31基于事先存储在存储器中的、由用户设置的或动态决定的控制参数来控制帧内预测部30的帧内预测。例如，预测控制单元31首先致使搜索单元35针对每个预测块搜索亮度分量的预测模式并且致使确定单元37确定最佳预测模式。另外，预测控制单元31致使搜索单元35搜索色差分量的预测模式并且致使确定单元37确定最佳预测模式。接着，预测控制单元31致使预测图像生成单元39根据所确定的最佳预测模式生成预测图像。通常按从左侧的块到右侧的块和从上侧的块到下侧的块的次序执行帧内预测。然而，预测控制单元31可致使不处于依赖关系的两个或更多个块彼此并行地进行处理，只要装置的能力准许(包括硬件电路的数量、处理器的核心的数量、时钟的数量等)。另一方面，例如，在块具有依赖关系并且第二块参考第一块中所包括的像素的情况下，预测控制单元31致使预测图像生成单元39在完成第一块的预测图像的生成之后开始第二块的处理。
使用HEVC规范界定搜索预测模式的搜索单元35的基础搜索范围。例如，除了平面预测和DC预测之外，对应于大约33个预测方向的角度预测可包括在用于亮度分量的搜索范围中，如图1所示。针对色差分量界定帧内预测模式的搜索范围，如表1所示，并且具有预测模式编号“0”、“1”、“10”、“26”和“34”的预测模式和针对亮度分量选择的预测模式(IntraPredModeY)可包括在搜索范围中。
【表1】
表1色差分量的帧内预测模式(JCTVC-L1003_v34中的表8-2)
然而，在本实施例中，预测控制单元31确定色度格式是否为4:2:2，并且在确定色度格式为4:2:2的情况下，将用于色差分量的预测块的帧内预测模式中的搜索单元35的搜索范围限于不参考上部参考像素的预定范围。假设此处所提及的“上部参考像素”不仅包括设置在关注像素正上方的参考像素，而且还包括设置在关注像素斜上方的参考像素。
图7是用于描述帧内预测模式的搜索范围的限制的示例图。参看图7，用X标记可在色度格式为4:2:2的情况下被排除在搜索范围之外的预测模式。具体地说，平面预测、DC预测以及对应于预测模式编号“11”至“34”的角度预测被排除在色差分量的预测模式的搜索范围之外，其中应当参考在关注像素P0上方的参考像素以便生成关注像素P0的预测图像。因此，这种情况的搜索范围包括其中参考在关注像素的正左侧的参考像素或定位在其正左侧上方的参考像素的帧内预测模式中的至少一者或多者(对应于预测模式编号“2”至“10”的角度预测)。搜索范围中所包括的预测模式(候选者)的数量是任意的，并且例如，搜索范围中可仅包括单个预测模式。作为搜索范围的限制的结果，没有可能选择应当参考上部参考像素的预测模式，并且因此，例如，减轻图3B所示的块24Cb(1)与块24Cb(2)之间的依赖关系。这意味着可在不必等待块24Cb(1)的预测图像的生成结束的情况下开始块24Cb(2)的预测图像的生成。
图8是示出其中归因于搜索范围的限制而消除预测图像的生成延迟的情况的示例图。参看图8，如在图4中那样在时间轴上表达用于图2所示的块的预测图像生成过程的时序。如从图8与图4的差异理解，例如，可作为减轻块B21cb(1)与B21cb(2)之间的依赖关系的结果来并行地生成块B21cb(1)和B21cb(2)的预测图像。这同样适用于其他色差分量块。也就是说，消除了图4中由弯曲箭头指示的处理延迟，并且缩短了生成每个TU的色差分量的预测图像所花的时间。根据发明人所执行的分析，每个CU所必要的处理循环的数量由于并行化过程而平均从310减少到179。在并行化之后的必要处理循环的最高数量在TU大小为16×16的情况下为224。另外，在包括分辨率为4096×2160(所谓的4k)、帧速率为60fps、位深度为10个位且色度格式为4:2:2的条件下处理器的所需频率从698MHz(在并行化之前)减少到504MHz(在并行化之后)。
在编码器10支持H.264/AVC和HEVC方案两者的情况下，预测控制单元31确定应当使用哪个图像编码方案。接着，在使用HEVC方案编码图像的情况下，预测控制单元31实行用于色差分量的搜索范围的上述限制。另一方面，在使用H.264/AVC方案的情况下，预测控制单元31不实行搜索范围的上述限制，因为H.264/AVC规范不包括如结合图3B所论述的块之间的依赖关系(即，可搜索H264/AVC规范中可用的所有候选模式)。
请注意，虽然在本说明书中已经主要描述了HEVC方案的实例，但根据本公开的技术不限于此。根据本公开的技术可通常应用于容许如图3B中结合色度格式4:2:2所示的块之间的依赖关系的任何图像编码方案。
参考像素设置单元33设置在预测控制单元31所设置的搜索范围中根据从分类缓冲器11输入的原始图像数据搜索帧内预测模式中参考的每个预测块的参考像素。在待设置的参考像素不可用的情况下，参考像素设置单元33从可用参考像素复制像素值并且用此填补待设置的参考像素。参考像素设置单元33可使用解码图像数据代替原始图像数据来搜索帧内预测模式。在解码图像数据用于搜索帧内预测模式的情况下，可同样在搜索过程中发生由块之间的依赖关系造成的处理延迟。然而，可在搜索过程中发生的此类处理延迟也可根据本公开的技术来消除。此外，参考像素设置单元33设置将在根据从帧存储器26输入的解码图像数据生成预测图像中参考的每个预测块的参考像素。
搜索单元35针对待编码图像中所包括的每个预测块搜索预测控制单元31针对帧内预测模式所设置的搜索范围。用于亮度分量的搜索范围可如在如上所述的HEVC规范中描述。因此，搜索单元35基于假设生成的原始图像与预测图像之间的误差(即，预测误差)和代码量来评估例如平面预测、DC预测和对应于大约33个预测方向的角度预测的每个成本。另一方面，在色度格式为4:2:2的情况下，可依据本说明书中所描述的各种条件将用于色差分量的搜索范围限于预定范围。在搜索范围不受限的情况下，搜索单元35基于假设生成的原始图像与预测图像之间的误差以及代码量来根据HEVC规范评估搜索范围中所包括的色差分量的预测模式中的每一者的成本。另外，在搜索范围受限的情况下，搜索单元35评估已被限制为使得不参考上部参考像素的搜索范围中所包括的预测模式中的每一者的成本。接着，搜索单元35将针对搜索范围中所包括的每个候选模式所评估的成本的值输出到确定单元37。
确定单元37将针对每个预测块从搜索单元35输入的成本的值彼此进行比较，并且从而确定用于亮度分量的最佳(最低成本)帧内预测模式和用于色差分量的最佳帧内预测模式。接着，确定单元37将指示所确定的最佳模式的预测模式信息输出到预测图像生成单元39。另外，确定单元37将包括预测模式信息和最佳模式的成本在内的帧内预测信息输出到模式设置部28。
预测图像生成单元39以确定单元37所确定的最佳预测模式参考由参考像素设置单元33所设置的参考像素根据解码图像数据生成每个预测块的亮度分量、第一色差分量和第二色差分量的预测图像。在每两个块处于依赖关系的情况下，预测图像生成单元39首先生成一个块的预测图像并且接着参考首先生成的预测图像中所包括的像素生成另一个块的预测图像。预测图像生成单元39可以并行方式生成不处于依赖关系的每两个块的预测图像。例如，在预测控制单元31将搜索范围限于不参考上部参考像素的范围的情况下，在对应于一个亮度分量块的两个垂直邻接色差分量块之间没有构建依赖关系。在这种情况下，预测图像生成单元39可以基于搜索结果所确定的最佳帧内预测模式生成对应于一个亮度分量块的两个垂直邻接色差分量块的预测图像。接着，预测图像生成单元39将所生成的预测图像输出到模式设置部28。
请注意，本说明书中的描述“以并行方式执行”意味着以至少部分或暂时重叠的方式执行多个过程，而不是意味着完全同时执行多个过程。因此，即使在以不同时序开始两个过程的情况下，例如，如果在不必等待另一个过程结束的情况下开始一个过程，则这两个过程可被视为“以并行方式执行”。
【2-3.额外条件】
(1)第一条件
在图7的实例中，用于色差分量的预测模式的搜索范围被限制为使得参考在关注像素的正左侧的参考像素或定位在其正左侧下方的参考像素。然而，即使搜索范围被限于上文所述的范围，关注块与其相邻的上部块之间的依赖关系在特殊情况下仍保持。这种特殊情况是指其中关注块的左侧邻接图片或切片的边界的情况。在关注块的左侧邻接图片或切片的边界的情况下，在关注块的左侧的像素是不可用的。在这种情况下，根据HEVC规范，通过如图9所示从上部参考像素复制像素值来填补左侧参考像素。例如，图中不可用的左上方参考像素P32的像素值是从可用的上部参考像素P31复制的，并且另外，不可用的左侧参考像素P33的像素值是从参考像素P32复制的。在这种情况下，即使搜索范围被限于上述预定范围，仍不能减轻块之间的依赖关系，并且因此，不能获得降低处理延迟的好处。因此，在块的左侧邻接图片或切片的边界的情况下，预测控制单元31可不将块的搜索范围限于上述范围，即使色度格式为4:2:2。
图10A和10B示出了基于参考像素的可用性(可用或不可用)的搜索范围的限制的控制的实例。图10A所示的图像Im1在水平方向上具有8个CTU并且在垂直方向上具有6个CTU。这同样适用于图10B所示的图像Im2。然而，图像Im2被划分成三个切片SL1、SL2和SL3。针对图中这些CTU当中的被标记为“开”的CTU实行搜索范围的限制。另一方面，针对被标记为“关”的CTU取消搜索范围的限制。在图10A的实例中，针对定位在图像Im1的左端处的6个CTU取消搜索范围的限制。可在这些CTU的搜索范围中包括所有类型的预测模式，即使色度格式为4:2:2。在图10B的实例中，除了定位在图像Im1的左端处的6个CTU之外，还针对图像Im2中所包括的切片SL2和SL3的头部CTU取消搜索范围的限制。可同样在这些CTU的搜索范围中包括所有类型的预测模式，即使色度格式为4:2:2。通过针对在其左侧含有不可用的参考像素的块取消搜索范围的限制，有可能避免不利的限制(其不产生减少处理延迟的好处)。请注意，虽然此处已经介绍了以CTU为单位控制搜索范围的限制的实例，但实施例不限于此，并且可以例如CU或PU为不同单位控制搜索范围的限制。另外，可不仅针对左侧邻接图片或切片的边界的块而且还针对左侧邻接瓦片的边界的块取消搜索范围的限制。
(2)第二条件
图像可在用于色差分量的预测模式的搜索范围如上所述受限的情况下由于预测误差而严重失真。明确地说，如果搜索范围被限制为使得仅参考在关注像素的正左侧的参考像素或定位在其正左侧下方的参考像素，则很有可能发生在水平方向上具有高相关性的图像的失真。在布置于水平方向上的许多块上出现此类失真的情况下，所述失真可由最终用户主观地感测为条纹形状，水平方向上的图像质量恶化。因此，作为一种用于避免此类图像质量恶化的技术，预测控制单元31可仅针对根据某种规则在构成图像的CTU当中选择的CTU子集将用于色差分量的预测模式的搜索范围限于预定范围。所述某种规则可为例如将搜索范围应当受限的CTU散布在图像内。
图11A和11B示出了基于块位置的搜索范围的限制的控制的实例。图11A所示的图像Im3和图11B所示的图像Im4各自在水平方向上具有8个CTU并且在垂直方向上具有6个CTU。在图11A的实例中，针对在水平方向上连续的每4个CTU中的一个引导CTU取消搜索范围的限制。在图11B的实例中，针对在水平方向上连续的每两个CTU中的一者取消搜索范围的限制。可在这些CTU的搜索范围中包括所有类型的预测模式，即使色度格式为4:2:2。通过将搜索范围应当受限的CTU散布在图像内(例如，通过在水平方向上以均匀间隔提供搜索范围不受限的块)，可防止从搜索范围的限制产生的预测误差所造成的图像的失真的传播，并且可减少主观上感测到的图像质量的恶化。可提供使得用户能够设置限制搜索范围的规则(例如，不施加限制的CTU的间隔或比例)的控制参数。
(3)第三条件
在以上部分中所描述的在水平方向上的主观图像质量的条纹形恶化可在块大小较大的情况下为明显的。在块大小较小的情况下，失真在块边界处间断，这向主观图像质量给予减弱的影响。因此，在对应于关注块的TU大小超过预先决定的阈值的情况下，预测控制单元31可作为另一种用于避免图像质量恶化的技术不限制关注块的搜索范围。例如，此处提及的TU大小的阈值为4×4、8×8或16×16中的一者。可提供使得用户能够设置阈值的控制参数。随着块大小变得较大，预测图像生成过程的处理延迟(由块之间的依赖关系造成)与处理时间的比率变得较低，并且因此，只要块大小不超过上述阈值，限制搜索范围鉴于性能与图像质量之间的折衷而为有利的。
(4)第四条件
预测控制单元31还可基于图像的分辨率和帧速率中的至少一者来控制用于色差分量的帧内预测模式的搜索范围是否应当限于预定范围。如果装置具有相同性能，则用于编码和解码的性能要求在分辨率较高或帧速率较高时较严格。因此，在分辨率和帧速率中的任一者或两者较高的情况下，可通过根据上述机制在某种程度上牺牲图像质量的同时缩短处理延迟来满足所需性能要求。
图12是用于描述基于图像的分辨率和帧速率的搜索范围的限制的控制的实例的表。参看图12，作为实例示出呈表格式的控制数据D1。控制数据D1针对分辨率、帧速率和色度格式的比率的每个组合界定是否应当实行搜索范围的限制。例如，在分辨率为4096×2160、帧速率为60fps并且色度格式为4:2:2的情况下，实行(“开”)搜索范围的限制并且减少处理延迟。在分辨率为4096×2160、帧速率为30fps并且色度格式为4:2:2的情况下，同样实行搜索范围的限制并且减少处理延迟。在分辨率为2048×1088、帧速率为60fps并且色度格式为4:2:2的情况下，同样实行搜索范围的限制并且减少处理延迟。在分辨率为1920×1088、帧速率为60fps并且色度格式为4:2:2的情况下，取消(“关”)搜索范围的限制。在分辨率为2048×1088、帧速率为30fps并且色度格式为4:2:2的情况下，同样取消搜索范围的限制。这个控制数据D1被事先存储在例如存储器中，并且在预测控制单元31确定是否应当实行搜索范围的限制时被参考。代替控制数据D1，可定义与分辨率和帧速率进行比较的阈值。
这个部分中已经描述了用于控制用于色差分量的帧内预测模式的搜索范围的若干条件。此处所描述的条件可以任何形式彼此组合，并且可进一步向其添加另一个条件。
【2-4.控制信息的编码】
编码器10根据这个章节中所描述的机制来编码的流可由根据HEVC规范进行操作的标准解码器进行解码。标准解码器以仅仅通过编码参数指定的预测模式生成帧内预测块的预测图像，而不辨识搜索帧内预测模式的搜索范围是否受限。然而，具有已经辨识在编码时用于帧内预测模式的搜索范围已被限于不参考上部参考像素的范围的解码器也是有利的。之所以这样做是因为如果解码器可辨识搜索范围的限制，则解码器也可以并行方式针对如图3B所示的对应于一个亮度分量块的两个垂直邻接色差分量块生成预测图像。
因此，帧内预测部30的预测控制单元31可结合色度格式4:2:2作为修改实例在用于搜索帧内预测模式的搜索范围限于上述预定范围的情况下生成指示搜索范围已被限制的限制信息。此处提及的限制信息可包括针对任意级别(例如，序列、图片、切片、CTU、CU、PU或TU)界定的一个旗标。另外，限制信息还可包括实行或取消搜索范围的限制所针对的CTU的间隔、待与TU大小进行比较的阈值等的信息。预测控制单元31所生成的限制信息由无损编码部16编码，并且可插入到例如编码流的扩展信息域中。
<3.在编码期间的过程的流程>
【3-1.帧内预测过程】
图13是示出根据一个实施例的在编码期间的帧内预测过程的流程的实例的流程图。
参看图13，预测控制单元31首先获取待用于控制帧内预测的控制参数(步骤S10)。例如，此处所获取的控制参数包括编码方案的标识信息、色度格式、块大小、块位置、分辨率、帧速率和阈值信息中的一者或多者。接着，预测控制单元31使用所获取的控制参数执行搜索范围决定过程(步骤S20)。稍后将更详细地描述此次所执行的搜索范围决定过程的若干实例。
接下来，预测控制单元31确定是否已经在搜索范围决定过程中做出将帧内预测模式的搜索范围限于预定范围的决策(步骤S40)。此处所提及的预定范围是仅包括不参考上部参考像素的预测模式的范围。在已经决定限制搜索范围的情况下，预测控制单元31针对关注块设置已将参考上部参考像素的预测模式排除在外的搜索范围(步骤S42)。另一方面，在已经决定不限制搜索范围的情况下，预测控制单元31针对关注块设置正常搜索范围(通常，包括HEVC规范所准许的所有候选模式的范围)(步骤S44)。请注意，在亮度分量的帧内预测中，可不限制搜索范围并且过程可跳过步骤S44。
接下来，搜索单元35基于待使用参考像素设置单元33所设置的参考像素生成的预测误差和代码量来针对预测控制单元31所设置的搜索范围中所包括的预测模式候选者中的每一者评估成本(步骤S46)。接下来，确定单元37将搜索单元35所评估的成本彼此进行比较，从而确定亮度分量或色差分量的最佳帧内预测模式(步骤S48)。接着，预测图像生成单元39使用参考像素设置单元33所设置的参考像素以确定单元37所确定的最佳预测模式生成亮度分量的预测图像或第一色差分量和第二色差分量的预测图像(步骤S50)。
以块为单位针对亮度分量和色差分量中的每一者执行图13所示的帧内预测过程。可以并行方式针对没有依赖关系的多个块中的至少一些执行帧内预测过程。可跨多个块一次执行不依赖于对块唯一的参数的过程步骤，而不是以块为单位执行，不管所示出的实例如何。
【3-2.搜索范围决定过程】
(1)第一实例
图14A是示出图13所示的流程图的搜索范围决定过程的详细流程的第一实例的流程图。参看图14A，预测控制单元31首先确定HEVC方案是否将用于图像编码(步骤S21)。在将使用HEVC方案的情况下，预测控制单元31确定色度格式是否为4:2:2(步骤S22)。在色度格式为4:2:2的情况下，预测控制单元31确定待处理的色彩分量是否为色差分量(步骤S23)。在待处理的色彩分量为色差分量的情况下，预测控制单元31决定将帧内预测模式的搜索范围限于仅包括不参考上部参考像素的预测模式的范围(步骤S31)。另一方面，在不使用HEVC方案(例如，使用H.264/AVC)、色度格式不是4:2:2或待处理的色彩分量为亮度分量的情况下，预测控制单元31决定不限制帧内预测模式的搜索范围(步骤S32)。
(2)第二实例
图14B是示出图13所示的流程图的搜索范围决定过程的详细流程的第二实例的流程图。参看图14B，预测控制单元31首先确定HEVC方案是否将用于图像编码(步骤S21)。在将使用HEVC方案的情况下，预测控制单元31确定色度格式是否为4:2:2(步骤S22)。在色度格式为4:2:2的情况下，预测控制单元31确定待处理的色彩分量是否为色差分量(步骤S23)。在待处理的色彩分量为色差分量的情况下，预测控制单元31确定关注块(待处理的块)的左侧是否邻接图片或切片的边界(步骤S24)。在关注块的左侧不邻接图片或切片的边界的情况下，预测控制单元31决定将帧内预测模式的搜索范围限于仅包括不参考上部参考像素的预测模式的范围(步骤S31)。另一方面，在不使用HEVC方案、色度格式不是4:2:2、待处理的色彩分量为亮度分量或关注块的左侧邻接图片或切片的边界的情况下，预测控制单元31决定不限制帧内预测模式的搜索范围(步骤S32)。
(3)第三实例
图14C是示出图13所示的流程图的搜索范围决定过程的详细流程的第三实例的流程图。参看图14C，在确定HEVC方案的使用(步骤S21)、色度格式(步骤S22)和待处理的色彩分量(步骤S23)之后，预测控制单元31进一步确定是否已经针对当前CTU(即，关注块所属的CTU)实行搜索范围的限制(步骤S25)。例如，在已经针对当前CTU(诸如图11A或图11B中被标记为“开”的CTU)实行搜索范围的限制的情况下，预测控制单元31决定将帧内预测模式的搜索范围限于仅包括不参考上部参考像素的预测模式的范围(步骤S31)。另一方面，在不使用HEVC方案、色度格式不是4:2:2、待处理的色彩分量为亮度分量或尚未实行用于当前CTU的搜索范围的限制的情况下，预测控制单元31决定不限制帧内预测模式的搜索范围(步骤S32)。
(4)第四实例
图14D是示出图13所示的流程图的搜索范围决定过程的详细流程的第四实例的流程图。参看图14D，在确定HEVC方案的使用(步骤S21)、色度格式(步骤S22)和待处理的色彩分量(步骤S23)之后，预测控制单元31进一步确定对应于关注块的TU大小是否超过阈值(步骤S26)。在TU大小不超过阈值的情况下，预测控制单元31决定将帧内预测模式的搜索范围限于仅包括不参考上部参考像素的预测模式的范围(步骤S31)。另一方面，在不使用HEVC方案、色度格式不是4:2:2、待处理的色彩分量为亮度分量或TU大小超过阈值的情况下，预测控制单元31决定不限制帧内预测模式的搜索范围(步骤S32)。
(5)第五实例
图14E是示出图13所示的流程图的搜索范围决定过程的详细流程的第五实例的流程图。参看图14E，在确定HEVC方案的使用(步骤S21)、色度格式(步骤S22)和待处理的色彩分量(步骤S23)之后，预测控制单元31进一步确定图像的分辨率和帧速率是否满足用于实行搜索范围的限制的条件(步骤S27)。例如，在分辨率和帧速率的组合与如图12所示的控制数据中的搜索范围的限制的实行相关联的情况下，预测控制单元31决定将帧内预测模式的搜索范围限于仅包括不参考上部参考像素的预测模式的范围(步骤S31)。另一方面，在不使用HEVC方案、色度格式不是4:2:2、待处理的色彩分量为亮度分量或分辨率和帧速率不满足用于实行搜索范围的限制的条件的情况下，预测控制单元31决定不限制帧内预测模式的搜索范围(步骤S32)。
待在图14A至14E所示的搜索范围决定过程中确定的条件可以任何形式彼此组合。另外，确定所述条件的次序不限于所示出的实例。所描述的过程可被划分成多个过程，使得跨多个块一次做出一些条件的确定并且以块为单位重复剩余条件的确定。
<4.解码器的配置的实例>
使用本公开的技术进行编码的流可由如上所述的根据HEVC规范进行操作的标准解码器进行解码。然而，如果解码器具有辨识在编码期间帧内预测模式的搜索范围限于不参考上部参考像素的范围的扩展功能，则解码器可缩短帧内预测过程中的处理延迟并且改善解码性能。在这个部分中，将描述此类扩展解码器的配置的实例。
【4-1.整体配置】
图15示出了图像处理系统1的示意性配置的实例。图像处理系统1包括编码器10和解码器60。当对视频中所包括的一系列图像进行编码时在帧内预测中相对于色度格式为4:2:2的事实，编码器10将搜索帧内预测模式的搜索范围限于不参考上部参考像素的预定范围。接着，编码器10将指示帧内预测模式的搜索范围已被如上限制的限制信息插入到编码流中。解码器60从编码器10接收编码流，并且在执行帧内预测过程时基于从编码流提取的限制信息来以并行方式对所述一系列图像进行解码。
更具体地说，解码器60包括累积缓冲器61、无损解码部62、逆量化部63、逆正交变换部64、加法部65、去块滤波器66、SAO滤波器67、分类缓冲器68、数/模(D/A)转换部69、帧存储器70、选择器71a和71b、帧内预测部80以及帧间预测部90。
累积缓冲器61使用存储媒体临时累积编码流。
无损解码部62根据在编码期间使用的编码流对来自从累积缓冲器61输入的编码流的量化数据进行解码。另外，无损解码部62对插入到编码流的标头区中的信息进行解码。例如，由无损解码部62解码的信息可包括块信息、限制信息、关于帧内预测的信息和关于帧间预测的信息。无损解码部62将量化数据输出到逆量化部63。另外，无损解码部62将限制信息和关于帧内预测的信息输出到帧内预测部80。此外，无损解码部62将关于帧间预测的信息输出到帧间预测部90。
逆量化部63在编码所使用的相同量化步骤中对从无损解码部62输入的量化数据进行逆量化以恢复变换系数数据。逆量化部63将所恢复的变换系数数据输出到逆正交变换部64。
逆正交变换部64根据编码所使用的正交变换方案对从逆量化部63输入的变换系数数据执行逆正交变换，从而生成预测误差数据。逆正交变换部64将所生成的预测误差数据输出到加法部65。
加法部65通过将从逆正交变换部64输入的预测误差数据相加到从选择器71b输入的预测图像数据来生成解码图像数据。接着，加法部65将所生成的解码图像数据输出到去块滤波器66和帧存储器70。
去块滤波器66通过对从加法部65输入的解码图像数据进行滤波来去除块失真并且将经过滤波的解码图像数据输出到SAO滤波器67。
SAO滤波器67通过向从去块滤波器66输入的解码图像数据应用边缘偏移过程或频带偏移过程来去除噪声并且将经过处理的解码图像数据输出到分类缓冲器68和帧存储器70。
分类缓冲器68对从SAO滤波器67输入的图像进行分类，从而生成一系列时间系列图像数据。接着，分类缓冲器68将所生成的图像数据输出到D/A转换部69。
D/A转换部69将从分类缓冲器68输入的呈数字形式的图像数据转换为呈模拟形式的图像信号。接着，D/A转换部69将模拟图像信号输出到例如连接到解码器60的显示器(未示出)，从而显示解码视频。
帧存储器70将从加法部65输入的未经滤波的解码图像数据和从SAO滤波器67输入的经过滤波的解码图像数据存储在存储媒体中。
选择器71a根据无损解码部62所获取的模式信息针对图像中所包括的每个块在帧内预测部80与帧间预测部90之间切换来自帧存储器70的图像数据的输出目的地。例如，在已经指定帧内预测模式的情况下，选择器71a将从帧存储器70供应的尚未滤波的解码图像数据输出到帧内预测部80作为参考图像数据。另外，在已经指定帧间预测模式的情况下，选择器71a将经过滤波的解码图像数据输出到帧间预测部90作为参考图像数据。
选择器71b根据无损解码部62所获取的模式信息在帧内预测部80与帧间预测部90之间切换待供应到加法部65的预测图像数据的输出源。例如，在已经指定帧内预测模式的情况下，选择器71b将从帧内预测部80输出的预测图像数据供应到加法部65。另外，在已经指定帧间预测模式的情况下，选择器71b将从帧间预测部90输出的预测图像数据供应到加法部65。
帧内预测部80基于从无损解码部62输入的关于帧内预测的信息和来自帧存储器70的参考图像数据执行帧内预测过程，从而生成预测图像数据。在本实施例中，帧内预测部30基于从无损解码部62输入的控制信息来确定在编码器中帧内预测模式的搜索范围是否已被限于预定范围。在搜索范围已被限制的情况下，帧内预测部30以并行方式跨所述多个块执行预测图像生成过程，因为已经减轻了所述块之间的依赖关系。因此，有可能消除或缩短帧内预测中的处理延迟。接着，帧内预测部80将所生成的预测图像数据输出到选择器71b。下文将进一步详细描述帧内预测部80的这种配置。
帧间预测部90基于从无损解码部62输入的关于帧间预测的信息和来自帧存储器70的参考图像数据执行帧间预测过程，从而生成预测图像数据。接着，帧间预测部90将所生成的预测图像数据输出到选择器71b。
[4-2.帧内预测部的详情】
图16是示出图15所示的解码器60的帧内预测部80的详细配置的框图。参看图16，帧内预测部80具有预测控制单元81、参考像素设置单元83和预测图像生成单元89。
预测控制单元81基于关于帧内预测的信息中所包括的控制参数和上述控制信息来控制在帧内预测部80中执行的帧内预测。例如，预测控制单元81致使预测图像生成单元89根据预测模式信息所指示的亮度分量的预测模式相对于每个预测块生成亮度分量的预测图像。另外，预测控制单元81致使预测图像生成单元89根据预测模式信息所指示的色差分量的预测模式生成第一色差分量和第二色差分量的预测图像。
通常以从左侧块到右侧块以及从上部块到下部块的次序执行帧内预测。然而，预测控制单元81可致使以并行方式对没有依赖关系的两个或更多个块执行所述过程，只要装置的能力准许。例如，预测控制单元81参考上述控制信息确定在图像编码期间在帧内预测中相对于色度格式为4:2:2的事实用于色差分量的帧内预测模式的搜索范围是否已被限于不参考上部参考像素的范围。例如，所述控制信息可为指示是否已经针对每个块或针对多个块一起限制搜索范围的一组旗标。另外，预测控制单元81可针对每个CTU确定是否已经在符合控制信息所指示的规则的CTU中限制搜索范围。此外，预测控制单元81可通过将控制信息所指示的阈值与TU大小进行比较来针对每个TU确定是否已经限制搜索范围。预测控制单元81致使预测图像生成单元89以并行方式生成搜索范围已被限于不参考上部参考像素的范围的色差分量块和上方邻接色差分量块的预测图像。
参考像素设置单元83设置待在预测控制单元81的控制下根据从帧存储器70输入的解码图像数据生成每个预测块的预测图像中参考的参考像素。在待设置的参考像素不可用的情况下，参考像素设置单元83通过从可用参考像素复制像素值来填补待设置的参考像素。
预测图像生成单元89根据预测控制单元81所指定的预测模式同时参考参考像素设置单元83从解码图像数据设置的参考像素来生成每个预测块的亮度分量、第一色差分量和第二色差分量的预测图像。在每两个块具有依赖关系的情况下，预测图像生成单元89首先生成一个块的预测图像并且参考首先生成的预测图像中所包括的像素进一步生成另一个块的预测图像。预测图像生成单元89可以并行方式生成没有依赖关系的两个或更多个块的预测图像。例如，在预测控制单元81相对于特定色差分量块确定搜索范围被限于不参考上部参考像素的范围的情况下，预测图像生成单元89以并行方式生成前述块和上方邻接色差分量块的预测图像。在这种情况下并行处理的两个色差分量块是对应于一个亮度分量块的垂直邻接色差分量块。接着，预测图像生成单元89将所生成的预测图像输出到加法部65。
请注意，此处已经主要描述了基于可从编码流解码的限制信息来确定是否在编码期间已经限制帧内预测模式的搜索范围的实例。然而，预测控制单元81可基于例如对编码流中所包括的预测模式信息的分析(例如，是否存在参考上部参考像素的至少一个预测模式，等)而不是使用此类限制信息来确定是否已经限制帧内预测模式的搜索范围。
<5.在解码期间的过程的流程>
图17是示出根据一个实施例的在解码期间的帧内预测过程的流程的实例的流程图。
参看图17，预测控制单元81首先获取关于帧内预测的信息和无损解码部62所解码的限制信息(如果存在的话)(步骤S60)。例如，此处所获取的关于帧内预测的信息包括每个预测块的亮度分量和色差分量的预测模式信息。
接下来，预测控制单元81确定在图像编码期间在帧内预测中相对于色度格式为4:2:2的事实搜索帧内预测模式的搜索范围是否已被限于不参考上部参考像素的预定范围(步骤S70)。
接着，预测图像生成单元89以并行方式根据所指定的预测模式针对搜索范围已被确定为限于预定范围的块当中的对应于一个亮度分量块的每两个垂直邻接色差分量块生成预测图像(步骤S80)。另外，预测图像生成单元89以不与块之间的依赖关系矛盾的处理次序根据所指定的预测模式针对搜索范围尚未被限制的块生成预测图像(步骤S80)。
<6.硬件配置的实例>
上述实施例可使用软件、硬件和软件与硬件的组合中的任一者来实现。在编码器10或解码器60使用软件的情况下，构成软件的程序可被存储在例如事先在装置内部或外部提供的存储媒体(非暂态媒体)中。接着，由例如随机存取存储器(RAM)读取每个程序以供执行，并且由诸如中央处理单元(CPU)等处理器执行每个程序。
图18是示出上述实施例可应用于的装置的硬件配置的实例的框图。参看图18，图像处理装置800具有系统总线810、图像处理芯片820和芯片外存储器890。图像处理芯片820包括n(n等于或大于1)个处理电路830-1、830-2、…和830-n、参考缓冲器840、系统总线接口850和局部总线接口860。
系统总线810提供图像处理芯片820与外部模块(例如，中央控制功能、应用程序功能、通信接口、用户接口等)之间的通信路径。处理电路830-1、830-2、…和830-n经由系统总线接口850连接到系统总线810并且经由局部总线接口860连接到芯片外存储器890。处理电路830-1、830-2、…和830-n还可访问可对应于芯片上存储器(例如，SRAM)的参考缓冲器840。例如，芯片外存储器890可为存储图像处理芯片820所处理的图像数据的帧存储器。例如，处理电路830-1和830-2被配置为用于帧内预测并且以并行方式生成多个块的预测图像。请注意，这些处理电路可形成在各个芯片上，而不是形成在同一图像处理芯片820上。
<7.应用实例>
根据上述实施例的编码器10和解码器60可应用于用于卫星广播、有线广播(诸如有线电视)、互联网分发、通过蜂窝式通信分发到终端、在诸如光盘、磁盘和闪存存储器等媒体上记录图像的记录装置或诸如从前述存储媒体再现图像的再现装置等各种电子设备的发射器或接收器。下文将描述四个应用实例。
(1)第一应用实例
图19示出了上述实施例应用于的电视设备的示意性配置的实例。电视设备900具有天线901、调谐器902、多路分用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。
调谐器902从经由天线901接收的广播信号提取所需信道的信号并且对所提取的信号进行解调。接着，调谐器902将从解调获得的编码位流输出到多路分用器903。也就是说，调谐器902充当电视设备900的接收编码图像的编码流的传输装置。
多路分用器903从编码流分离待观看的节目的视频流和音频流，并且将所分离的流输出到解码器904。另外，多路分用器903从编码流提取诸如电子节目指南(EPG)等辅助数据，并且将所提取的数据供应到控制单元910。请注意，在编码位流已被加扰的情况下，多路分用器903可执行解扰。
解码器904对从多路分用器903输入的视频流和音频流进行解码。接着，解码器904将从解码过程生成的视频数据输出到视频信号处理单元905。另外，解码器904将从解码过程生成的音频数据输出到音频信号处理单元907。
视频信号处理单元905再现从解码器904输入的视频数据以致使显示单元906显示视频。另外，视频信号处理单元905可致使显示单元906显示经由网络供应的应用程序屏幕。此外，视频信号处理单元905可根据设置对视频数据执行额外过程(例如降噪)。此外，视频信号处理单元905可生成图形用户界面(GUI)(例如，菜单、按钮或光标)的图像并且将所生成的图像重叠在输出图像上。
使用从视频信号处理单元905供应的驱动信号驱动显示单元906，并且在显示装置(例如，液晶显示器、等离子显示器、OLED等)的视频平面上显示视频或图像。
音频信号处理单元907对从解码器904输入的音频数据执行包括D/A转换和放大的再现过程并且致使扬声器908输出声音。另外，音频信号处理单元907可对音频数据执行诸如去噪等额外过程。
外部接口909是用于将电视设备900连接到外部设备或网络的接口。例如，经由外部接口909接收的视频流或音频流可由解码器904解码。换句话说，外部接口909还充当电视设备900的接收编码图像的编码流的传输装置。
控制单元910具有诸如中央处理单元(CPU)等处理器以及诸如随机存取存储器(RAM)和只读存储器(ROM)等存储器。存储器存储CPU所执行的程序、程序数据、EPG数据和经由网络获取的数据。存储器中所存储的程序在例如电视设备900启动时由CPU读取并执行。CPU通过执行程序来根据例如从用户接口911输入的操作信号控制电视设备900的操作。
用户接口911连接到控制单元910。例如，用户接口911具有用户用以操作电视设备900的按钮和开关、用于远程控制信号的接收单元等。用户接口911通过经由前述组成元件检测用户的操作来生成操作信号并且将所生成的操作信号输出到控制单元910。
总线912将调谐器902、多路分用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910连接到彼此。
解码器904在如上所述配置的电视设备900中具有根据上述实施例的解码器60的功能。因此，电视设备900可通过在图像解码期间缩短帧内预测过程中的处理延迟来改善解码性能。
(2)第二应用实例
图20是示出上述实施例应用于的移动电话的示意性配置的实例的图。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、多路分用单元928、记录/再现单元929、显示器930、控制单元931、操作单元932和总线933。
天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933相互连接通信单元922、音频编解码器923、相机单元926、图像处理单元927、多路分用单元928、记录/再现单元929、显示器930和控制单元931。
移动电话920以包括音频呼叫模式、数据通信模式、照相模式和视频电话模式在内的各种操作模式执行诸如发射/接收音频信号、发射/接收电子邮件或图像数据、成像图像或记录数据等操作。
在音频呼叫模式中，将麦克风925所生成的模拟音频信号供应到音频编解码器923。接着，音频编解码器923将模拟音频信号转换为音频数据，对经过转换的音频数据执行A/D转换，并且压缩所述数据。此后，音频编解码器923将经过压缩的音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制以生成传输信号。接着，通信单元922通过天线921将所生成的传输信号发射到基站(未示出)。此外，通信单元922放大通过天线921接收的无线电信号，对所述信号的频率进行转换，并且获取接收信号。此后，通信单元922对接收信号进行解调和解码以生成音频数据并且将所生成的音频数据输出到音频编解码器923。音频编解码器923扩展音频数据，对所述数据执行D/A转换，并且生成模拟音频信号。接着，音频编解码器923通过将所生成的音频信号供应到扬声器924来输出音频。
例如，在数据通信模式中，控制单元931根据通过操作单元932的用户操作生成构成电子邮件的字符数据。控制单元931进一步在显示器930上显示字符。此外，控制单元931根据通过操作单元932来自用户的传输指令生成电子邮件数据，并且将所生成的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制以生成传输信号。接着，通信单元922通过天线921将所生成的传输信号发射到基站(未示出)。通信单元922进一步放大通过天线921接收的无线电信号，对所述信号的频率进行转换，并且获取接收信号。此后，通信单元922对接收信号进行解调和解码，恢复电子邮件数据，并且将所恢复的电子邮件数据输出到控制单元931。控制单元931在显示器930上显示电子邮件的内容并且将电子邮件数据存储在记录/再现单元929的存储媒体中。
记录/再现单元929包括可读且可写的任意存储媒体。例如，存储媒体可为内置存储媒体，诸如RAM或闪存存储器，或者可为安装在外部的存储媒体，诸如硬盘、磁盘、磁光盘、光盘、USB(未分配空间位图)存储器或存储卡。
在照相模式中，例如，相机单元926对对象进行成像，生成图像数据，并且将所生成的图像数据输出到图像处理单元927。图像处理单元927对从相机单元926输入的图像数据进行编码并且将编码流存储在记录/再现单元929的存储媒体中。
例如，在视频电话模式中，多路分用单元928对图像处理单元927所编码的视频流和从音频编解码器923输入的音频流进行多路复用，并且将经过多路复用的流输出到通信单元922。通信单元922对所述流进行编码和调制以生成传输信号。随后，通信单元922通过天线921将所生成的传输信号发射到基站(未示出)。此外，通信单元922放大通过天线921接收的无线电信号，对所述信号的频率进行转换，并且获取接收信号。传输信号和接收信号可包括编码位流。接着，通信单元922对接收信号进行解调和解码以恢复所述流，并且将所恢复的流输出到多路分用单元928。多路分用单元928使视频流和音频流与输入流隔离，并且将视频流和音频流分别输出到图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。接着，将视频数据供应到显示器930，所述显示器930显示一系列图像。音频编解码器923扩展音频流并且对其执行D/A转换以生成模拟音频信号。接着，音频编解码器923将所生成的音频信号供应到扬声器924以输出音频。
图像处理单元927在如上所述配置的移动电话920中具有根据上述实施例的编码器10和解码器60的功能。因此，移动电话920可通过在图像编码或解码期间缩短帧内预测过程中的处理延迟来改善编码或解码性能。
(3)第三应用实例
图21是示出上述实施例应用于的记录/再现装置的示意性配置的实例的图。例如，记录/再现装置940对所接收的广播节目的音频数据和视频数据进行编码并且将所述数据记录到记录媒体中。例如，记录/再现装置940还可对从另一个装置获取的音频数据和视频数据进行编码，并且将所述数据记录到记录媒体中。例如，响应于用户指令，记录/再现装置940在监视器和扬声器上再现记录媒体中所记录的数据。这时，记录/再现装置940对音频数据和视频数据进行解码。
记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、磁盘驱动器945、选择器946、解码器947、OSD(屏幕上显示器)948、控制单元949和用户接口950。
调谐器941从通过天线(未示出)接收的广播信号提取所需信道的信号并且对所提取的信号进行解调。接着，调谐器941将通过解调获得的编码位流输出到选择器946。也就是说，调谐器941具有作为记录/再现装置940中的传输装置的作用。
外部接口942是连接记录/再现装置940与外部装置或网络的接口。例如，外部接口942可为IEEE 1394接口、网络接口、USB接口或闪存存储器接口。例如，将通过外部接口942接收的视频数据和音频数据输入到编码器943。也就是说，外部接口942具有作为记录/再现装置940中的传输装置的作用。
编码器943在从外部接口942输入的视频数据和音频数据不被编码的情况下对视频数据和音频数据进行编码。此后，编码器943将编码位流输出到选择器946。
HDD 944将诸如视频和音频等内容数据被压缩的编码位流、各种程序和其他数据记录到内部硬盘中。HDD 944在再现视频和音频时从硬盘读取这些数据。
磁盘驱动器945将数据记录到安装至磁盘驱动器的记录媒体中并且从其读取数据。例如，安装至磁盘驱动器945的记录媒体可为DVD磁盘(诸如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或蓝光(注册商标)磁盘。
选择器946在记录视频和音频时选择从调谐器941或编码器943输入的编码位流，并且将所选择的编码位流输出到HDD 944或磁盘驱动器945。另一方面，当再现视频和音频时，选择器946将从HDD 944或磁盘驱动器945输入的编码位流输出到解码器947。
解码器947对编码位流进行解码以生成视频数据和音频数据。接着，解码器904将所生成的视频数据输出到OSD 948并且将所生成的音频数据输出到外部扬声器。
OSD 948再现从解码器947输入的视频数据并且显示视频。OSD 948还可将诸如菜单、按钮或光标等GUI的图像重叠到所显示的视频上。
控制单元949包括诸如CPU等处理器以及诸如RAM和ROM等存储器。存储器存储CPU所执行的程序以及程序数据。例如，存储器中所存储的程序在记录/再现装置940启动时由CPU读取并且进行执行。例如，通过执行所述程序，CPU根据从用户接口950输入的操作信号控制记录/再现装置940的操作。
用户接口950连接到控制单元949。例如，用户接口950包括供用户操作记录/再现装置940的按钮和开关，以及接收远程控制信号的接收部分。用户接口950通过这些部件检测用户操作，生成操作信号，并且将所生成的操作信号输出到控制单元949。
编码器943在具有以上配置的记录/再现装置940中具有根据上述实施例的编码器10的功能。另外，解码器947具有根据上述实施例的解码器60的功能。因此，记录/再现装置940可通过在图像编码或解码期间缩短帧内预测过程中的处理延迟来改善编码或解码性能。
(4)第四应用实例
图22示出上述实施例应用于的成像装置的示意性配置的实例。成像装置960对对象进行成像，生成图像，对图像数据进行编码，并且将数据记录到记录媒体中。
成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、媒体驱动器968、OSD 969、控制单元970、用户接口971和总线972。
光学块961连接到成像单元962。成像单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口971连接到控制单元970。总线972相互连接图像处理单元964、外部接口966、存储器967、媒体驱动器968、OSD 969和控制单元970。
光学块961包括聚焦透镜和光圈机构。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962包括诸如CCD(电荷耦合装置)或CMOS(互补金属氧化物半导体)等图像传感器，并且执行光电转换以将形成于成像表面上的光学图像转换为图像信号作为电信号。随后，成像单元962将图像信号输出到信号处理单元963。
信号处理单元963对从成像单元962输入的图像信号执行各种相机信号处理，诸如拐点校正、伽马校正和色彩校正。信号处理单元963将已被执行相机信号处理的图像数据输出到图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码并且生成编码数据。接着，图像处理单元964将所生成的编码数据输出到外部接口966或媒体驱动器968。图像处理单元964还对从外部接口966或媒体驱动器968输入的编码数据进行解码以生成图像数据。接着，图像处理单元964将所生成的图像数据输出到显示单元965。此外，图像处理单元964可向显示单元965输出从信号处理单元963输入的图像数据以显示图像。此外，图像处理单元964可将从OSD 969获取的显示数据重叠到在显示单元965上输出的图像上。
OSD 969生成诸如菜单、按钮或光标等GUI的图像，并且将所生成的图像输出到图像处理单元964。
例如，外部接口966被配置为USB输入/输出端子。例如，外部接口966在打印图像时连接成像装置960与打印机。此外，驱动器在需要时连接到外部接口966。例如，诸如磁盘或光盘等可装卸媒体被安装到驱动器，以使得从可装卸媒体读取的程序可被安装到成像装置960。外部接口966还可被配置为连接到诸如LAN或互联网等网络的网络接口。也就是说，外部接口966具有作为成像装置960中的传输装置的作用。
安装至媒体驱动器968的记录媒体可为可读且可写的任意可装卸媒体，诸如磁盘、磁光盘、光盘或半导体存储器。此外，例如，记录媒体可被固定安装到媒体驱动器968，以使得配置诸如内置硬盘驱动器或SSD(固态驱动器)等不可移动存储单元。
控制单元970包括诸如CPU等处理器以及诸如RAM和ROM等存储器。存储器存储CPU所执行的程序以及程序数据。存储器中所存储的程序在成像装置960启动时由CPU读取并且接着加以执行。例如，通过执行所述程序，CPU根据从用户接口971输入的操作信号控制成像装置960的操作。
用户接口971连接到控制单元970。例如，用户接口971包括供用户操作成像装置960的按钮和开关。用户接口971通过这些部件检测用户操作，生成操作信号，并且将所生成的操作信号输出到控制单元970。
图像处理单元964在如上所述配置的成像装置960中具有根据上述实施例的编码器10和解码器60的功能。因此，成像装置960可通过在图像编码或解码期间缩短帧内预测过程中的处理延迟来改善编码或解码性能。
<8.结论>
至此已经使用图1至22详细描述了根据本公开的技术的实施例。根据上述实施例，在确定色度格式为4:2:2的情况下，将相对于待编码图像中所包括的色差分量的预测块搜索帧内预测模式的搜索范围限于不参考上部参考像素的预定范围。此处所提及的预定范围通常包括参考在关注像素的正左侧的参考像素或定位在其正左侧下方的参考像素的一个或多个帧内预测模式。作为此类限制的结果，当在色度格式为4:2:2的情况下在对应于一个亮度分量块的两个垂直邻接色差分量块之间不存在依赖关系时，参考一个块的解码像素值以生成另一个块的预测图像的关系。因此，可以并行方式生成两个色差分量块的预测图像，因此消除了处理延迟并且改善了编码和解码性能。
此外，根据上述实施例，可根据诸如块的左侧是否邻接图片边界或切片边界、TU大小是否超过阈值或CTU是否定位在根据某种规则选择的地方等额外条件实行或取消用于色差分量的帧内预测模式的搜索范围的限制。因此，有可能灵活地找到适合于装置的应用或用户的条件的对编码和解码性能改善与主观图像质量之间的折衷的解决方案。
本说明书中所描述的术语CTU、CU、PU和TU可分别与术语CTB、CB、PB和TB互换。CTB、CB、PB和TB主要意指作为图像的部分的相应色彩分量的各个块(或子块)，而CTU、CU、PU和TU主要意指包括多个色彩分量和相关联语法的逻辑单元。
本文主要描述如下实例，其中诸如关于帧内预测的信息和限制信息等各种信息被多路复用到编码流的标头并且从编码侧发射到解码侧。然而，发射这些信息的方法不限于此类实例。例如，这些信息可在没有被多路复用到编码位流的情况下作为与编码位流相关联的独立数据来发射或记录。此处，术语“关联”意指允许位流中所包括的图像(可为图像的一部分，诸如切片或块)和对应于当前图像的信息在解码时建立链接。即，可在与图像(或位流)不同的传输路径上发射所述信息。信息还可被记录在与图像(或位流)不同的记录媒体(或同一记录媒体的不同记录区域)中。此外，信息和图像(或位流)可通过诸如多个帧、一个帧或一个帧内的一部分等任意单位彼此相关联。
上文已经参考附图描述了本公开的优选实施例，同时本公开不限于以上实例。本领域的技术人员可发现属于所附权利要求书的范围内的各种更改和修改形式，并且应当理解，它们将自然归入本公开的技术范围。
另外，本说明书中所描述的效果仅仅是例示性和说明性的，而不是限制性的。换句话说，连同或代替基于本说明书的效果，根据本公开的技术可展现对本领域的技术人员明显的其他效果。
另外，本技术还可如下配置。
(1)一种图像处理装置，其包括：
搜索单元，其被配置为针对待编码图像中所包括的每个预测块搜索帧内预测模式；以及
控制单元，其被配置为确定色度格式是否为4:2:2并且在所述色度格式被确定为4:2:2的情况下相对于色差分量的预测块将所述搜索单元的帧内预测模式的搜索范围限于不参考上部参考像素的预定范围。
(2)根据(1)所述的图像处理装置，其中所述控制单元在所述预测块的左侧邻接图片或切片的边界的情况下不将用于所述预测块的所述搜索范围限于所述预定范围。
(3)根据(1)或(2)所述的图像处理装置，其中所述控制单元在变换单元(TU)大小超过预定义阈值的情况下不将所述搜索范围限于所述预定范围。
(4)根据(1)至(3)中任一项所述的图像处理装置，其中所述控制单元仅针对在构成所述图像的编码树单元(CTU)当中根据某种规则选择的CTU子集将所述搜索范围限于所述预定范围。
(5)根据(1)至(4)中任一项所述的图像处理装置，其中所述控制单元基于所述图像的分辨率和帧速率中的至少一者来控制所述搜索范围是否应被限于所述预定范围。
(6)根据(1)至(5)中任一项所述的图像处理装置，其中所述控制单元在以高效率视频编码(HEVC)方案编码所述图像的情况下实行所述搜索范围的所述限制。
(7)根据(1)至(6)中任一项所述的图像处理装置，其中所述预定范围包括参考在关注像素的正左侧的参考像素或定位在所述关注像素的正左侧下方的参考像素的一个或多个帧内预测模式。
(8)根据(1)至(7)中任一项所述的图像处理装置，其进一步包括：
生成单元，其被配置为在所述控制单元将所述搜索范围限于所述预定范围的情况下以并行方式生成对应于一个亮度分量块的两个垂直邻接色差分量块的预测图像。
(9)一种图像处理方法，其包括：
针对待编码图像确定色度格式是否为4:2:2；
基于所述确定的结果针对所述图像中所包括的每个预测块搜索帧内预测模式；以及
在确定所述色度格式为4:2:2的情况下相对于色差分量的预测块在所述搜索中将帧内预测模式的搜索范围限于不参考上部参考像素的预定范围。
(10)一种程序，用于使控制图像处理装置的计算机充当：
搜索单元，其被配置为针对待编码图像中所包括的每个预测块搜索帧内预测模式；以及
控制单元，其被配置为确定色度格式是否为4:2:2并且在所述色度格式被确定为4:2:2的情况下相对于色差分量的预测块将所述搜索单元的帧内预测模式的搜索范围限于不参考上部参考像素的预定范围。
(11)一种计算机可读记录媒体，其上记录根据(10)所述的程序。
(12)一种图像处理装置，其包括：
控制单元，其被配置为确定在图像的编码期间在帧内预测中相对于色度格式为4:2:2的事实搜索帧内预测模式的搜索范围是否已被限于不参考上部参考像素的预定范围；以及
生成单元，其被配置为在所述搜索范围被确定为已被限于所述预定范围的情况下在所述图像的解码期间在帧内预测中以并行方式生成对应于一个亮度分量块的两个垂直邻接色差分量块的预测图像。
参考符号列表
1 图像处理系统
10 图像处理装置(编码器)
16 无损编码部
30 帧内预测部
31 预测控制单元
33 参考像素设置单元
35 搜索单元
37 确定单元
39 预测图像生成单元
60 图像处理装置(解码器)
62 无损解码部
80 帧内预测部
81 预测控制单元
83 参考像素设置单元
89 预测图像生成单元。

Claims (12)

1.一种图像处理装置，其包括：
搜索单元，其被配置为针对待编码图像中所包括的每个预测块搜索帧内预测模式；以及
控制单元，其被配置为确定色度格式是否为4:2:2并且在所述色度格式被确定为4:2:2的情况下相对于色差分量的预测块将所述搜索单元的帧内预测模式的搜索范围限于不参考上部参考像素的预定范围。
2.根据权利要求1所述的图像处理装置，其中所述控制单元在所述预测块的左侧邻接图片或切片的边界的情况下不将用于所述预测块的所述搜索范围限于所述预定范围。
3.根据权利要求1所述的图像处理装置，其中所述控制单元在变换单元(TU)大小超过预定义阈值的情况下不将所述搜索范围限于所述预定范围。
4.根据权利要求1所述的图像处理装置，其中所述控制单元仅针对在构成所述图像的编码树单元(CTU)当中根据某种规则选择的CTU的子集将所述搜索范围限于所述预定范围。
5.根据权利要求1所述的图像处理装置，其中所述控制单元基于所述图像的分辨率和帧速率中的至少一者来控制所述搜索范围是否应被限于所述预定范围。
6.根据权利要求1所述的图像处理装置，其中所述控制单元在以高效率视频编码(HEVC)方案编码所述图像的情况下实行所述搜索范围的所述限制。
7.根据权利要求1所述的图像处理装置，其中所述预定范围包括参考在关注像素的正左侧的参考像素或定位在所述关注像素的正左侧下方的参考像素的一个或多个帧内预测模式。
8.根据权利要求1所述的图像处理装置，其进一步包括：
生成单元，其被配置为在所述控制单元将所述搜索范围限于所述预定范围的情况下以并行方式生成对应于一个亮度分量块的两个垂直邻接色差分量块的预测图像。
9.一种图像处理方法，其包括：
针对待编码图像确定色度格式是否为4:2:2；
基于所述确定的结果针对所述图像中所包括的每个预测块搜索帧内预测模式；以及
在确定所述色度格式为4:2:2的情况下相对于色差分量的预测块在所述搜索中将帧内预测模式的搜索范围限于不参考上部参考像素的预定范围。
10.一种程序，用于使控制图像处理装置的计算机充当以下各项：
搜索单元，其被配置为针对待编码图像中所包括的每个预测块搜索帧内预测模式；以及
控制单元，其被配置为确定色度格式是否为4:2:2并且在所述色度格式被确定为4:2:2的情况下相对于色差分量的预测块将所述搜索单元的帧内预测模式的搜索范围限于不参考上部参考像素的预定范围。
11.一种计算机可读记录媒体，其上记录根据权利要求10所述的程序。
12.一种图像处理装置，其包括：
控制单元，其被配置为确定在图像的编码期间在帧内预测中相对于色度格式为4:2:2的事实搜索帧内预测模式的搜索范围是否已被限于不参考上部参考像素的预定范围；以及
生成单元，其被配置为在所述搜索范围被确定为已被限于所述预定范围的情况下在所述图像的解码期间在帧内预测中以并行方式生成对应于一个亮度分量块的两个垂直邻接色差分量块的预测图像。
CN201680017090.2A 2015-03-27 2016-01-07 图像处理装置、图像处理方法以及计算机可读存储介质 Expired - Fee Related CN107409208B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-067082 2015-03-27
JP2015067082 2015-03-27
PCT/JP2016/050318 WO2016157924A1 (ja) 2015-03-27 2016-01-07 画像処理装置、画像処理方法、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
CN107409208A true CN107409208A (zh) 2017-11-28
CN107409208B CN107409208B (zh) 2021-04-20

Family

ID=57004942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680017090.2A Expired - Fee Related CN107409208B (zh) 2015-03-27 2016-01-07 图像处理装置、图像处理方法以及计算机可读存储介质

Country Status (4)

Country Link
US (1) US10362305B2 (zh)
JP (1) JP6747430B2 (zh)
CN (1) CN107409208B (zh)
WO (1) WO2016157924A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10390021B2 (en) * 2016-03-18 2019-08-20 Mediatek Inc. Method and apparatus of video coding
JP6680260B2 (ja) 2017-04-28 2020-04-15 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
CN112313957A (zh) 2018-06-26 2021-02-02 日本电气株式会社 视频编码或解码装置、视频编码或解码方法、程序和记录介质
CN113170173B (zh) * 2018-11-28 2024-04-12 北京字节跳动网络技术有限公司 变换量化或量化旁路模式的改进方法
CN113170195B (zh) 2018-12-22 2024-09-03 北京字节跳动网络技术有限公司 具有双树分割的帧内块复制模式
US11533506B2 (en) * 2019-02-08 2022-12-20 Tencent America LLC Method and apparatus for video coding
KR102448518B1 (ko) * 2019-08-15 2022-09-27 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩의 작은 크로마 블록 크기 제한
JP6879401B2 (ja) * 2020-02-27 2021-06-02 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231835A (zh) * 2005-07-22 2011-11-02 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
CN103141103A (zh) * 2010-04-09 2013-06-05 Lg电子株式会社 处理视频数据的方法和装置
WO2013160693A2 (en) * 2012-04-26 2013-10-31 Sony Corporation Method and apparatus for chrominance processing in video coding and decoding
CN103621087A (zh) * 2011-06-23 2014-03-05 Jvc建伍株式会社 图像编码装置、图像编码方法及图像编码程序、以及图像解码装置、图像解码方法及图像解码程序
WO2014163200A1 (ja) * 2013-04-05 2014-10-09 三菱電機株式会社 カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
WO2014161043A1 (en) * 2013-04-05 2014-10-09 Canon Kabushiki Kaisha Method, apparatus and system for generatiing intra- predicted samples
WO2015005132A1 (ja) * 2013-07-08 2015-01-15 ソニー株式会社 画像符号化装置および方法、並びに画像復号装置および方法
US20150023405A1 (en) * 2013-07-19 2015-01-22 Qualcomm Incorporated Disabling intra prediction filtering

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090123066A1 (en) * 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
JP5089878B2 (ja) 2005-10-28 2012-12-05 パナソニック株式会社 画像符号化装置
JP2008182527A (ja) * 2007-01-25 2008-08-07 Matsushita Electric Ind Co Ltd 画像符号化装置及び方法、並びに撮像システム
JP2011041037A (ja) * 2009-08-12 2011-02-24 Sony Corp 画像処理装置および方法
WO2011129163A1 (ja) * 2010-04-16 2011-10-20 コニカミノルタホールディングス株式会社 イントラ予測処理方法、及びイントラ予測処理プログラム
JP2013034163A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
JP2013034162A (ja) 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
JP2014075652A (ja) * 2012-10-03 2014-04-24 Canon Inc 画像符号化装置及び方法
JP2014204311A (ja) * 2013-04-05 2014-10-27 三菱電機株式会社 カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
CN105474639B (zh) * 2013-07-10 2018-08-07 凯迪迪爱通信技术有限公司 视频编码装置、视频解码装置、视频系统、视频编码方法、视频解码方法以及程序

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231835A (zh) * 2005-07-22 2011-11-02 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
CN103141103A (zh) * 2010-04-09 2013-06-05 Lg电子株式会社 处理视频数据的方法和装置
CN103621087A (zh) * 2011-06-23 2014-03-05 Jvc建伍株式会社 图像编码装置、图像编码方法及图像编码程序、以及图像解码装置、图像解码方法及图像解码程序
WO2013160693A2 (en) * 2012-04-26 2013-10-31 Sony Corporation Method and apparatus for chrominance processing in video coding and decoding
WO2014163200A1 (ja) * 2013-04-05 2014-10-09 三菱電機株式会社 カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
WO2014161043A1 (en) * 2013-04-05 2014-10-09 Canon Kabushiki Kaisha Method, apparatus and system for generatiing intra- predicted samples
WO2015005132A1 (ja) * 2013-07-08 2015-01-15 ソニー株式会社 画像符号化装置および方法、並びに画像復号装置および方法
US20150023405A1 (en) * 2013-07-19 2015-01-22 Qualcomm Incorporated Disabling intra prediction filtering

Also Published As

Publication number Publication date
JPWO2016157924A1 (ja) 2018-01-18
WO2016157924A1 (ja) 2016-10-06
JP6747430B2 (ja) 2020-08-26
US20180063525A1 (en) 2018-03-01
CN107409208B (zh) 2021-04-20
US10362305B2 (en) 2019-07-23

Similar Documents

Publication Publication Date Title
US20220335657A1 (en) Image Processing Device and Method
CN107409208A (zh) 图像处理装置、图像处理方法、程序以及记录媒体
CN103563383B (zh) 图像处理装置和图像处理方法
CN104429068B (zh) 图像处理装置及方法
TWI749530B (zh) 資訊處理設備及資訊處理方法
CN103563374B (zh) 图像处理设备及方法
CN103229505A (zh) 图像处理设备和图像处理方法
US20200221126A1 (en) Image processing apparatus and image processing method
WO2012153578A1 (ja) 画像処理装置及び画像処理方法
KR102338523B1 (ko) 디코딩 디바이스, 디코딩 방법, 인코딩 디바이스, 및 인코딩 방법
CN101990099A (zh) 图像处理设备和方法
CN102511165A (zh) 图像处理装置及方法
CN103229506A (zh) 图像处理设备和图像处理方法
CN104380740A (zh) 编码装置、编码方法、解码装置和解码方法
US20150036758A1 (en) Image processing apparatus and image processing method
CN102648630A (zh) 图像处理设备和方法
US10477207B2 (en) Image processing apparatus and image processing method
US20130136173A1 (en) Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
CN104620586A (zh) 图像处理装置和方法
CN103155564A (zh) 图像处理装置和方法
CN104539964A (zh) 图像处理装置和方法
CN103907353A (zh) 图像处理设备和方法
CN104854869B (zh) 图像处理装置及方法
CN103125118A (zh) 图像处理装置和图像处理方法
AU2017201515B2 (en) Image processing device and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210420