CN105659257A - 处理图像高度不能被切片高度平分以及/或者切片宽度不能被像素组合宽度平分的图像的方法以及相关装置 - Google Patents

Abstract

一种图像处理方法，包含将填充区域与图像组合，其中该填充区域中包含的任意填充像素被指派一个预定像素值；以及编码具有该填充区域组合其中的该图像。举例来说，该填充区域直接位于该图像的底部边缘之下。另举一例，该填充区域中包含的所有的填充像素具有相同的像素值。

Description

处理图像高度不能被切片高度平分以及/或者切片宽度不能被像素组合宽度平分的图像的方法以及相关装置

优先权声明

本申请请求2013年11月15日提交的申请号为61/904,490的美国临时专利申请、2013年10月25日提交的申请号为61/895,454的美国临时专利申请、以及2013年10月25日提交的申请号为61/895,461的美国临时专利申请。相关的专利申请的全文被本申请引用。

技术领域

本发明的实施例有关于具有像素填充(pixelpadding)的图像处理，更具体来说，有关于处理一种具有不能够以一个切片高度平分的图像高度以及/或者不能够以一个像素组合宽度平分的图像宽度的图像的方法以及装置。

背景技术

一种显示接口可位于应用处理器(AP)以及一个显示驱动集成电路(displaydriverintegratedcircuit，DDIC)之间，来传输显示数据从AP至DDIC以进行进一步的处理。当显示面板支持一个较高的显示分辨率时，具有较高分辨率的2D/3D显示可以实现。因此，从显示接口传输的显示数据将具有一个较大的数据尺寸/数据码率，这将不可避免地增加显示接口的功率消耗。如果AP与DDIC都位于一个由电池提供电源的可携带装置中(例如智慧型手机)，电池的寿命将由于显示接口的功率消耗而缩短。

相似地，一个相机接口可位于一个相机模组以及一个图像信号处理器(imagesignalprocessor，ISP)之间，来从相机模组至ISP传输多媒体数据以进一步的处理。ISP可以是应用处理器的一部分。当相机模组中使用的相机传输器具有一个较高的分辨率时，经由相机接口传输的捕获的图像数据具有较大的数据尺寸/数据码率，这将不可避免地增加相机接口的功率消耗。如果相机模组与ISP都位于一个由电池提供电源的可携带装置中(例如智慧型手机)，电池的寿命将由于相机接口的功率消耗而缩短。

可使用数据压缩来减少经由传输接口(例如显示接口或者相机接口)传输的数据尺寸/数据码率。为了使得在编码器端、解码器端、或者这两者实现并行处理，提出了切片划分(slicepartitioning)。然而，有可能一个图像的图像高度不能够被一个切片高度平分、以及/或者一个图像的图像宽度不能够被一个像素组合宽度平分。因此需要像素填充。然而，切片边界条件使得处理变得更加复杂。因此，需要一种创新的设计使得图像的像素填充更加简单化，从而使得图像能够被分割为相等尺寸的切片。

发明内容

依据本发明的实施例，提供了处理一种图像高度不能够被一个切片高度平分、以及/或者图像宽度不能够被一个像素组合宽度平分的图像的方法以及装置。

依据本发明的第一方面，提供一种示例性的图像处理方法，包含：填充区域与图像组合，其中该填充区域中包含的任意填充像素被指派一个预定像素值；以及编码具有该填充区域组合其中的该图像。

依据本发明的第二方面，提供一种示例性的图像处理方法，包含：使用第一填充规则来设定超出图像的右侧边缘的多个第一填充像素；使用第二填充规则来设定超出该图像的底部边缘的多个第二填充像素，其中该第二填充规则与该第一填充规则不同；以及编码具有该多个第一填充像素与该多个第二填充像素组合其中的该图像。

依据本发明的第三方面，提供一种示例性的图像处理方法，包含：使用第一填充规则来设定超出图像的右侧边缘的多个第一填充像素；从编码具有该多个第一填充像素组合其中的图像产生比特流；以及使用第二填充规则来设定第一预定比特模型，并且填充该第一预定比特模型至该比特流，其中该第一预定比特模型代表超出该图像的底部边缘的多个第二填充像素的至少一部分的编码结果，其中该第二填充规则与该第一填充规则不同。

依据本发明的第四方面，提供一种示例性的图像处理方法，包含：接收从编码具有至少一个第一填充区域组合其中的图像产生的比特流，其中该第一填充区域中包含的任一个填充像素被指派一个预定像素值，并且该比特流包含至少该图像的编码数据的第一比特流与该第一填充区域的编码数据的第二比特流；从该比特流识别该第二比特流；以及忽略解码至少一部分的该第二比特流。

依据本发明的第五方面，提供一种示例性的图像处理方法，包含：通过将图像的图像宽度除以一个切片行的切片的目标数量，决定初始切片宽度；当该初始切片宽度具有不是像素组合宽度的整数倍的第一值时，通过扩展该初始切片宽度至一个是该像素组合宽度的整数倍的第二值来决定最终切片宽度；以及至少部分依据该最终切片宽度编码该图像。

依据本发明的第六方面，提供一种示例性的图像处理装置，包含填充电路与编码电路。填充电路，用于将填充区域与图像组合，其中该填充区域中包含的任意填充像素被指派一个预定像素值。编码电路，用于编码具有该填充区域组合其中的该图像。

依据本发明的第七方面，提供一种示例性的图像处理装置，包含填充电路与编码电路。填充电路，用于使用第一填充规则来设定超出图像的右侧边缘的多个第一填充像素，以及使用第二填充规则来设定超出该图像的底部边缘的多个第二填充像素，其中该第二填充与该第一填充规则不同。编码电路，用于编码具有该多个第一填充像素与该多个第二填充像素组合其中的该图像。

依据本发明的第八方面，提供一种示例性的图像处理装置，包含填充电路，用于使用第一填充规则来设定超出图像的右侧边缘的多个第一填充像素。编码电路，用于从编码具有该多个第一填充像素组合其中的图像产生比特流。其中该填充电路进一步使用第二填充规则来设定第一预定比特模型，并且填充该第一预定比特模型至该比特流，其中该第一预定比特模型代表超出该图像的底部边缘的多个第二填充像素的至少一部分的编码结果，其中该第二填充规则与该第一填充规则不同。

依据本发明的第九方面，提供一种示例性的图像处理装置，包含接口电路与解码电路。接口电路，用于接收从编码具有至少一个第一填充区域组合其中的图像产生的比特流，其中该第一填充区域中包含的任一个填充像素被指派一个预定像素值，并且该比特流包含至少该图像的编码数据的第一比特流与该第一填充区域的编码数据的第二比特流。解码电路，用于从该比特流识别该第二比特流，并且忽略解码至少一部分的该第二比特流。

依据本发明的第十方面，提供一种示例性的图像处理装置，包含切片宽度决定电路与编码电路。切片宽度决定电路，用于通过将图像的图像宽度除以一个切片行的切片的目标数量，决定初始切片宽度，并且当该初始切片宽度具有不是像素组合宽度的整数倍的第一值时，通过扩展该初始切片宽度至一个是该像素组合宽度的整数倍的第二值来决定最终切片宽度。编码电路，用于至少部分依据该最终切片宽度编码该图像。

在本领域的技术人员阅读了如下的本发明的细节说明与附图之后，可了解本发明的其他目的。

附图说明

图1是依据本发明的一实施例的图像处理装置的举例说明。

图2是依据本发明的一实施例的将像素填充应用至基于不能被像素组合宽度平分的切片宽度分割的图像的示意图。

图3是依据本发明的一实施例的将像素填充应用至基于能被像素组合宽度平分的切片宽度分割的图像的示意图。

图4A是依据本发明的一实施例的增加至图像的填充区域的示意图。

图4B是依据本发明的一实施例的在一图像中切片的分割设定的示意图。

图5是依据本发明的另一实施例的图像处理装置的举例说明。

具体实施方式

整个说明书和权利要求书采用确定的术语来指代特定的部件。正如本领域的技术人员将理解的是，制造商可以使用不同的名称来指代某一部件。本文件无意于区分那些名称不同但功能相同的部件。在下面的说明书和权利要求书中，用开放式方式使用术语“包含”和“包括”，因此应当被解释为“包含，但是不限于……”。同样地，术语“耦合”既可以表示间接电气连接也可以表示直接电气连接。因此，如果一个设备与另一个设备耦合，其连接可以是通过直接电气连接或者是通过其他设备和连接件的间接电气连接。

本发明提出应用数据压缩至图像，并且接着经由传输接口传输压缩的图像。由于压缩图像的数据尺寸/数据码率小于原始未压缩的图像，传输接口的功率消耗因此减少。关于数据压缩，本发明提出调整切片宽度至一个值，这个值是一个像素组合宽度(例如一维像素组合的组合尺寸)的整数倍，以及/或者指派一个预定值至超出图像边缘(例如一个图像的底边)的每一填充像素。通过举例说明，而并非本发明的限制，所提出的切片宽度决定方法以及/或者所提供的填充方法可通过一个编码标准实施，例如视频电子标准协会(VideoElectronicsStandardsAssociation，VESA)显示串流压缩(displaystreamcompression，DSC)，来简化在编码器端的编码操作。进一步，由于每一超出图像边缘的填充像素被指派一个预定的值，来自编码填充像素的至少一部分(即部分或者全部)的一个比特流(即一个比特模型)可以被提前知悉以及获得。在一个示例中，没有编码操作(例如预测编码模式(P-mode)或者索引颜色历史(indexedcolorhistory，ICH)编码)被实际应用至填充像素的至少一部分，并且一个提前产生的预定的比特模型被直接填充至来自编码的图像的比特流，以作为填充像素的至少一部分的编码结果。在另一个示例中，没有像素实际填充至超出图像边缘的增加的填充像素，并且一个对应填充像素的至少一部分的预定的比特模型被直接地填充至从编码该图像产生的一个比特流。更多的细节将在以下的段落中详细说明。

图1是依据本发明的实施例的一个图像处理系统的举例说明。图像处理系统100包含多个图像处理装置102以及104。图像处理装置102包含切片宽度决定电路112、切片高度决定电路113、填充电路114、编码电路116、码率控制器117以及输出接口118。切片宽度决定电路112、填充电路114以及编码电路116中的每一个可以是在编码器端的压缩器中的一个电路组成部分。图像处理装置104包含输入接口122以及解码电路124，其中解码电路124是解码器端中的解压缩器的一部分。此外，解码电路124可执行如同码率控制器117所执行的码率控制功能的相似功能来增强压缩效率。需注意的是，仅仅与本发明相关的电路元件在本发明的图1中举例说明。具体来说，图像处理装置102与104中的一个或者两个可以具有额外的电路元件。

图像处理装置102与104可以在不同的芯片中的实现。因此图像处理装置102经由传输接口101产生一个比特流BS至图像处理装置104。具体来说，图像处理装置102的输出接口118依据传输接口101的协议与图像处理装置104的输入接口122沟通。

在一个示例性说明中，图像处理装置102可以在一个相机模组中实现，图像处理装置104可以在一个图像信号处理器(ISP)中实现。ISP可以是AP的一部分。所提出的图像处理装置102所处理的一个图像IMG是从相机模组中的相机传感器的输出而获得。此外，传输接口101是移动产业处理器接口(MobileIndustryProcessorInterface，MIPI)规定的相机串行接口(cameraserialinterface，CSI)。

在另一个举例说明中，图像处理装置100在应用处理器(AP)中实现，并且图像处理装置104以显示驱动集成电路(DDIC)实现。所提出的图像处理装置102所处理的图像是在AP中产生的。此外，传输接口101是移动产业处理器接口(MobileIndustryProcessorInterface，MIPI)规定的显示串行接口(displayserialinterface，DSI)。

图像处理装置102使用所提出的切片宽度决定方法来决定一个最终的切片宽度W_S，用于分割图像IMG为切片，以在编码电路116中编码。图像IMG中的所有的切片具有由切片高度相同H_S以及切片宽度W_S所定义的相同的尺寸。具体来说，图像IMG依据切片高度H_S分割为多个切片行，其中切片行在图像IMG中垂直地排列，并且切片高度H_S决定每一切片行中包含的行(line，即像素行)的数量。每一切片行依据切片宽度W_S分割为多个切片，其中多个切片在切片行中水平排列。依据组合尺寸(即一个包含多个像素的像素组合的尺寸)，每一切片被划分为多个像素组合，每一个像素组合作为编码电路116所处理的一个基本压缩单元。举例来说，每一个像素组合是一个mxn的像素区块，其中m代表像素组合高度，n代表像素组合宽度，并且m与n是正整数。其中m＝1，每一个像素组合是一个一维像素区块。当m>1，每一个像素组合是一个二维的像素区块。

在这个实施例中，切片宽度决定电路112用于依据图像IMG的图像宽度W_P、切片行NS中的目标切片数量、以及每一切片中的每一像素组合的像素组合宽度n计算最终的切片宽度W_S。切片宽度决定电路112平均地用一个切片行中的目标切片数量NS除图像宽度W_P，来产生一个初始切片宽度W_S’(即W_S’＝W_P/NS)。接着，切片宽度决定电路112检查初始切片宽度W_S’是否是像素组合宽度n的一个整数倍。需注意的是，当像素组合是一维的时，像素组合宽度是一维像素组合的组合尺寸。

考虑当初始切片宽度W_S’是像素组合宽度n的整数倍的情况，切片宽度决定电路112通过初始切片宽度W_S’设定最终的切片宽度W_S，(即W_S＝W_S’)。当切片宽度W_S是用于分割图像IMG为切片时，由于每一个切片的切片宽度被像素组合宽度平分，在每一切片的右边缘不需要像素填充。

考虑当初始切片宽度W_S’不是像素组合宽度n的整数倍的情况，如果最终切片宽度W_S是通过初始切片宽度W_S’来设定，并接着用于分割图像IMG为多个切片时，由于每一切片的切片宽度不能被像素组合宽度平分，在每一切片的右边缘需要像素填充。图2是应用至依据一个不能被像素组合宽度平分的切片宽度来分割的图像IMG的像素填充的示意图。假设图像宽度是800，切片宽度W_S’是400，并且每一像素组合是一个具有3个像素的一维像素组合(即m＝1并且n＝3)。在这个例子中，原始图像IMG中每一个切片行平均分割为两个切片；然而，切片宽度W_S’是通过一个不能被像素组和宽度平均除开的值来设定。在每一个切片的一个组合行(groupline)中具有134像素组合，并且每一切片具有400个像素，其中2个额外的像素是填充至组合行的最后的像素组合(即最右的像素组合)。如图2的子图(A)所示，一个切片行包含两个切片，切片_1与切片_2，每一个切片具有一个通过W_S’设定的切片宽度。切片宽度W_S’不能被3整除。考虑到图2的子图(B)中所示的切片_1，组合行的最后的像素组合包含一个图像IMG中原始包含的像素400以及两个超出切片_1的右侧边缘的填充像素。相似地，如图2的子图(B)中的切片_2所示，组合行的最后的像素组合(即最右的像素组合)包含一个在图像IMG中原始包含的像素800以及两个超出切片_2的右侧边缘的填充像素。由于切片_2是在一个切片行中的最后的切片(即最右的切片)，切片_2的像素填充超出了图像IMG的右侧边缘。在一个举例说明中，填充电路114使用第一填充规则来设定超出图像IMG的右侧边缘的填充像素。举例来说，第一填充规则定义在图像的每一行的最右侧的像素被重复，产生填充像素，与切片行的最右侧的切片组合。因此，像素800被复制来形成切片_2的组合行的最后的像素组合的两个填充像素。在第一填充规则中，尽管切片宽度W_S’并非像素组合宽度的整数倍，一个编码的切片的组合行是像素组合宽度的整数倍。举例来说，切片宽度W_S’是400，并且一个将要编码的切片的组合行的像素数量是402，其中两个编码的像素是填充像素。

为了减少执行像素填充的频率，以及简化编码程序，切片宽度决定电路112用来通过调整初始切片宽度W_S’来决定最终切片宽度W_S。举例来说，当初始切片宽度W_S’具有一个第一值，该第一值并不是像素组合宽度n的整数倍。切片宽度决定电路112通过扩展初始切片宽度W_S’至一个是像素组合尺寸n的整数倍的第二值来决定最终切片宽度W_S。最终切片宽度W_S的计算可以用如下的公式表示。

在公式(1)中，代表天棚函数(ceilingfunction)，用来找到一个不小于的最小的整数。

当最终切片宽度W_S用于分割图像IMG为切片时，由于每一切片的切片宽度被适当地控制为可被像素组合宽度平分的值，像素填充仅仅在每一切片行的最后的切片(即最右侧的切片)的右侧需要。图3是应用基于一个可被像素组合宽度平分的切片宽度来分割图像IMG的像素填充的示意图。假设图像宽度是800，初始切片宽度W_S’是400，每一像素组合是一维像素组合，像素组合具有3像素(即m＝1并且n＝3)。在这个例子中，原始图像IMG的每一切片行被不平均地分割为两个切片；然而切片宽度W_S是设定为一个可被像素组合宽度平分的一个值。具体来说，在这个例子中，原始图像IMG的每一切片行是非平均地分割为两个切片。最终切片宽度W_S是设定为一个可被像素组合宽度平分的一个值。可替换地，切片_1’的切片宽度是设定为像素组合宽度的倍数，同时切片_2’的切片宽度是设定为图像IMG的图像宽度W_P与切片_1’的切片宽度的差。因此，根据等式(1)，具有值400的初始切片宽度W_S’将扩展至具有值402的最终切片宽度W_S，从而使得切片宽度可被像素组合宽度平分。在每一切片的一个组合行中，具有134个像素组合，并且每一切片将具有402个像素。如图3的子图(A)所示，一个切片行包含两个切片，为切片_1’与切片_2’，每一个切片具有设定为W_S的切片宽度。切片宽度W_S可被3平分。考虑到如图3的子图(B)所示的切片_1’，其包含一个组合行中的像素1-402，并且组合行中的每一像素组合具有3个原始包含在图像IMG的像素。考虑到如图3的子图(B)所示的切片_2’，其包含一个组合行中的像素403-800以及4个超出切片_2’的右侧边缘的填充像素，从而使得最后两个像素组合具有填充像素在其中。由于切片_2是一个切片行中的最后的切片(即最右的切片)，切片_2的填充像素超出了图像IMG的右侧边缘。在一个举例说明中，填充电路114应用第一填充规则来设定超出图像IMG右侧边缘的填充像素。举例来说，第一填充规则定义了图像的每一行(line)的最右侧的像素被复制，从而产生的填充像素与切片行的最右侧的切片相结合。因此，像素800被复制来形成在切片_2的一个组合行中的最后两个组合中的后续4个填充像素中的每一个。在第一填充规则下，尽管初始切片宽度W_S’并非是像素组合宽度的整数倍，编码的一个切片的组合行是像素组合宽度的整数倍。举例来说，切片_2’的最终切片宽度是402并且在切片_2’中的待编码的的组合行中的像素数量是402，其中待编码的像素中的4个是填充像素。

当实施所提出的切片宽度决定方法时，一个切片行中仅仅最右切片(例如图3中的切片_2’)具有填充像素。换言之，一个切片行的非最右切片其中并没有填充像素。使用这样的方法，像素填充操作可以简化。

除了超出一个切片/图像右侧边缘的填充像素，图像的编码操作需要在超出图像的底部边缘填充像素。相同图像中的所有的切片需要具有相同的切片高度。当图像高度不能被切片高度平分时，填充像素将添加至超出图像底部边缘的部分。图4A是依据本发明的实施例增加填充区域至图像IMG的示意图。在这个例子中，图像处理装置102分割图像IMG为八个切片，包含垂直分布的切片(H1，V1)、切片(H1，V2)、切片(H1，V3)、切片(H1，V4)以及垂直分布的切片(H2，V1)、切片(H2，V2)、切片(H2，V3)、切片(H2，V4)。图4B是依据本发明的一个实施例的图像IMG的一个切片SL的分割设定的示意图。举例来说，切片SL可以是切片(H1，V1)-切片(H1，V4)以及切片(H2，V1)-切片(H2，V4)中的一个。每一切片包含至少一个像素组合行，每一像素组合行包含至少一个像素组合。在这个例子中，切片SL具有四个像素组合行，其中每一像素组合行定义为具有多个像素组合，其中每一像素组合定义为包含三个像素。举例来说，像素组合G1具有像素P1-P3。需注意的是，在替代性举例说明中，每一像素组合是一个二维像素区块。更进一步，多个像素组合可视作一个超组合。如图4B所示，在切片SL中具有超组合SG1-SG10，其中每一超组合具有四个像素组合。举例来说，超组合SG1具有像素组合G1-G4。一个包含一个像素组合行的像素组合的超组合可溢出(wraparound)至包含下一像素组合行的像素组合，例如SG3与SG8。

切片宽度W_S”可能不被像素组合宽度(例如一维像素组合的组合尺寸)平分。因此，在这样的切片的右侧边缘需要像素填充。举例来说，当切片SL是切片(H2、V1)-切片(H2、V4)中的一个时，切片SL的右侧边缘也是图像IMG的右侧边缘。图像IMG的每一行(即像素行)的最右像素被复制，产生的填充像素附着于切片行的最右切片。另举一例来说，当切片SL是切片(H1，V1)-切片(H1，V4)中的一个时，切片SL的右侧边缘并非图像IMG的右侧边缘，并且设定填充像素超出切片SL的右侧边缘的方法依赖于切片SL的像素组合行的最后一个像素组合的编码模式。具体来说，考虑到切片SL的每一行(即像素行)，至少依据最右的像素所属的像素组合的编码模式(例如P模式或者ICH模式)，一个或者更多的填充像素可增加至最右像素的右侧。如果最后的像素组合是用ICH模式编码的，用于最右像素的索引将被复制来填充熵编码单元，以具有3个索引。如果最后的像素组合的编码模式是P模式，任何对应超出切片右侧边缘的像素的冗余将设定为0。

如上所述，图像IMG的图像宽度可能无法被切片高度平分。为了简单起见，超出图像IMG的右侧边缘的填充像素在图4A中没有绘出。图像IMG的图像高度H_P可能无法被切片高度H_S平分。填充电路114因此使用一个第二填充规则来设定超出图像IMG的底部边缘的填充像素，从而增加填充像素至最底/最后的切片行，使得最底/最后的切片行具有所需的切片高度H_S。如图4A所示，填充区域(或者称为虚拟图像区域)402直接位于图像IMG的底部边缘的下方。因此，在最后行(即最后的像素行)下面增加的填充像素用来作为最底/最后切片行的切片(H1，V4)与切片(H2，V4)的一部分，从而使得每一切片具有相同的切片高度H_S。在第二填充规则下，扩展的图像高度H_P’是切片高度H_S的整数倍。

用来设定超出图像的底部边缘的填充像素的第二填充规则与用于设定超出图像的右侧边缘的填充像素的第一填充规则不同。如上所述，第一填充规则通过复制位于图像边缘的像素(例如在图像的最右/最后像素列的像素)来设定填充像素。通过举例说明，第二填充规则通过使用至少一个预定像素值(即至少一个提前产生的预先定义的值)来设定填充像素。需要注意的是，当使用第二填充规则时，填充像素的像素值并非依赖于位于图像边缘的像素(例如位于图像的最底边缘/最后行的像素)的值。需注意的是，预先定义的像素值可依据每一颜色分量(colorcomponent)的位深(bitdepth)来调整。举例来说，对于8位以及10位深度的颜色分量，预先设定的像素值可以不同。因此，图像处理装置102可依据位深指示(bitdepthindicator)来设定填充像素。举例来说，位深指示可以暂存器或者通过其他基于硬件的方式实现。在另一实例说明中，所有通过第二填充规则填充的填充像素可具有相同的像素值。举例来说，填充区域402包含的每一填充像素可通过一个白像素来设定。另举一例来说，在填充区域402中包含的每一填充像素可通过一个黑像素来设定。再另举一例来说，在填充区域402中包含的每一填充像素可通过每一颜色分量的一个中间点采样值来设定。以YCoCg颜色空间来说，具有每一颜色分量为8位深的每一填充像素可具有虚拟亮度值Y＝0x80、橘色色度值Co＝0x100、以及绿色色度值Cg＝0x100。需注意的是，当每一颜色分量的位深变化时，每一颜色分量的中间点采样值可调整。更进一步，不同的颜色空间可具有不同的颜色分量中间点采样值的不同设定。因此，图像处理装置102可依据颜色空间指示来设定填充像素。举例来说，颜色空间指示可通过暂存器或者其他基于硬件的方式来实现。

在本发明中，切片高度决定电路113用来设定切片高度H_S。举例来说，切片高度H_S可依据从编码的图像IMG的压缩的图像的压缩率CR来决定，其中当图像高度H_P是的整数倍时，切片高度H_S可通过的整数倍来设定。因此，图像高度H_P也保持切片高度H_S的整数倍。举例来说，当CR＝1/3时，切片高度H_S设定为值3*K，其中K是一个正整数。考虑到另一种情况，当图像高度H_P不是的整数倍时，如果优选超出图像的底部边缘填充像素，切片高度H_S可通过的整数倍来设定。因此，由于像素填充，扩展的图像高度H_P’将是切片高度H_S的整数倍。如果优选超出一个图像的底部边缘填充像素，图像高度H_P保持为切片高度H_S的整数倍。另举一例来说，切片高度H_S是基于是整数的条件来设定的。

当填充区域已决定时，填充电路114用于指派预定像素值至填充区域中包含的任意填充像素。填充区域超出图像边缘并且增加至图像，来保证所有的切片具有相同的尺寸。举例来说，填充区域直接位于图像IMG的底部边缘之下。在另一实施例中，在填充区域中包含的所有的填充像素具有相同的像素值(即相同的预定像素值)。

如图4A所示，由于切片高度决定电路113决定图像高度H_P不能被切片高度H_S平分，填充电路114需要决定直接在图像IMG的底部边缘之下的填充区域402。举例来说，当第一图像高度(例如图像IMG的初始图像高度H)不是切片高度H_S的整数倍时，填充电路114用于接收第一图像高度的信息；决定第二图像高度(例如图像IMG的扩展的图像高度H_P’)为切片高度H_S的整数倍；并且依据切片高度H_S与第二图像高度决定直接在图像IMG底部边缘之下的填充区域(例如填充区域402)。

编码电路116用于编码具有填充像素结合其中的图像IMG。举例来说，填充像素包含第一填充像素以及第二填充像素，其中第一填充像素是位于超出图像IMG的右侧边缘，并且是通过第一填充规则来设定，第二填充像素是位于超出图像IMG的底侧边缘，并且是通过第二填充规则来设定。由于填充区域402是由每一具有预定像素值的填充像素组成的，填充区域402的至少一部分(即部分或者全部)的编码结果可提前知晓。在一个举例说明中，编码电路116直接输出预定的比特流作为填充区域402的至少一部分的编码结果，而没有针对填充区域402实际执行编码操作(例如P模式编码或者ICH模式编码)。例如，预定的比特流可提前计算。再例如，预定的比特流是从先前所实际执行的针对填充区域402的先前部分编码操作(例如P模式编码或者ICH模式编码)所产生的先前比特流复制。依据编码顺序，填充区域402的先前部分是在填充区域的至少一部分被处理之前处理。

在填充区域402中的所有填充像素具有相同的预定值的情况下，压缩填充区域402变的简便。码率控制器117可应用码率控制至每一压缩/编码操作，来保证一个切片的编码数据满足分配给这个切片的比特预算。因此与原始图像区域相比较，码率控制器117可分配较少的比特预算至填充区域402。举例来说，码率控制器117可依据分配给图像IMG的比特预算以及图像IMG中原始包含的真实像素组合的数量来决定一个真实的像素组合行的比特预算。一个真实的像素组合行的比特预算可依据如下等式计算。

${\mathrm{BB}}_{GL}=\frac{{\mathrm{BB}}_{PIC}}{N_{GL}};---\left(2\right)$

在上述等式(2)中，BB_GL代表一个真实像素组合行的比特预算，BB_PIC代表分配至图像IMG的比特预算，以及N_GL代表真实像素组合行的数量。

最底/最后切片行包含初始包含在图像IMG中的真实像素组合行以及在填充区域402中的填充像素组合行。最底/最后切片行的比特预算可通过如下的等式设定。

BB_LASTSG＝BB_GL×N_SGGL+OFFSET；(3)

在上述等式(3)中，BB_LASTSG代表最底/最后切片行的比特预算，N_SGGL代表最底/最后切片行中的真实像素组合行的数量，并且OFFSET代表分配给填充区域402的比特预算。需注意的是，OFFSET的值依赖于填充区域402。

关于并非最底/最后的切片行，其仅仅包含真实像素组合行，其中真实像素组合行的数量等于切片高度H_S。一个并非是最底/最后的切片行的比特预算可通过如下的等式设定。

BB_SG＝BB_GL×H_S；(4)

在上述等式(4)中，BB_SG代表一个并非是最底/最后切片行中的一个切片的比特预算。

此外，编码电路116可使用第三填充规则来填充一个预定比特模型(例如0)至图像IMG的一个切片编码产生的一个特定比特流，来保证该特定比特流的尺寸与该预定比特模型的尺寸之和等于码率控制器117分配至该切片的比特预算。

输出接口118产生比特流BS，至少包含图像IMG的编码数据的第一比特流BS₁以及填充区域402的编码数据的第二比特流BS₂，通过传输接口101传输至图像处理装置104。举例来说，传输接口101是一个显示接口或者一个相机接口。此外，图像处理装置102可进一步通过比特流BS传输切片高度H_S的信息以及第一图像高度(即图像IMG的初始图像高度H_P)至图像处理装置104。输入接口122从传输接口101接收比特流BS。因此，解码电路124可从经由输入接口122接收到的比特流BS获取切片高度H_S的信息以及第一图像高度(即图像IMG的初始图像高度H_P)。当第一图像高度并非是切片高度的整数倍时，解码电路124决定第二图像高度(例如图像IMG的扩展图像高度H_P’)至切片高度的整数倍，并且至少依据切片高度以及第二图像高度从比特流BS中识别第二比特流BS₂。更进一步，解码电路124可使用位置信息来识别第二比特流BS₂。该位置信息是通过像素坐标信息(piexlcoordinationinformation)来决定的。当解码程序进行至图像高度Hp时，剩余的比特流识别为第二比特流BS₂。可替代地，当发现解码程序进行至最后的切片行时，解码电路124识别到解码程序进行至像素坐标差Hp’Hp，并且接着将剩余的比特流视作第二比特流BS₂。填充区域402将不再显示屏幕上显示。在这个例子中，解码电路124用来忽略从比特流BS中识别出的第二比特流BS₂的至少一部分(即部分或者全部)，因此在解码器端简化解码操作。

如果在一个切片行中有多于一个切片，解码电路124可针对一个切片行的每一切片具有不同的切片解码电路。比特流BS是解多工的，并且每一切片的比特流部分传输至每一切片解码电路。接着每一切片解码电路定义其自身的BS₂部分。在解码电路124具有一个切片解码电路来解码多于一个切片(即时分方式)的情况下，切片解码电路识别每一切片的比特流BS₂。在一些情况下，仅仅最后的切片行的最后的切片的比特流部分被识别以简化解码电路124的设计的复杂性。

比特流BS可进一步包含与上述直接在图像的底部边缘之下的填充区域不同的另一填充区域的编码数据的第三比特流。举例来说，另一填充区域包含超出图像的右侧边缘(或者切片的右侧边缘)的填充像素。解码电路124用来从比特流BS中识别第三比特流，并且解码第三比特流的至少一部分。

在如图1所示的实施例中，填充电路114用来组合填充区域402与图像IMG，使得图像IMG与填充区域402都反馈至编码电路116来进行数据压缩。由于填充区域402是由每一具有预定像素值的填充像素组成，填充区域402的至少一部分(即部分或者全部)的编码结果可提前知晓。可替代地，增加填充区域402至图像IMG的操作可省略，以进一步简化编码器端的编码操作。

图5是依据本发明的实施例的另一图像处理系统的示意图。图像处理系统500包含在编码器端的图像处理装置502以及如上所述的在解码器的图像处理装置104。图像处理装置502也使用如上所述的第一填充规则来设定超出图像IMG的右侧边缘的第一填充像素。在图像处理装置102与图像处理装置502之间的不同是图像处理装置502使用第二填充规则来设定一个预定比特模型，来代表超出图像IMG的底部边缘的第二填充像素的至少一部分(即部分或者全部)，并且增加该预定的比特模型至一个比特流(即编码电路516编码具有第一填充像素组合其中的图像IMG而产生的)

当图像IMG的图像高度H_p不能被切片高度决定电路113决定的切片高度H_S平分时，填充电路514决定超出图像IMG的底部边缘的填充区域402的位置和尺寸，而并不实际将填充区域402与图像IMG组合。因此，没有超出图像IMG的底部边缘的填充区域回馈至编码电路516。如上所述，本发明提出使用充满具有预定像素值的每一填充像素的填充区域402。填充区域的至少一部分(即部分或者全部)的编码结果可提前知晓。因此，填充电路514使用第二填充规则来设定该预定比特模型(其代表填充区域的至少一部分的编码结果)，其中第二填充规则与第一填充规则不同，该第一填充规则复制位于图像边缘的像素(例如在图像的最右/最后像素列的像素)。举例来说，该预定的比特模型代表一个像素组合的编码数据的比特流，该像素组合中的每一像素具有每一颜色分量的中间点采样值，并且该像素组合是使用ICH编码来编码的。在另一个例子中，预定的比特模型代表一个像素组合的编码数据的比特流，该像素组合中的每一像素具有每一颜色分量的中间点采样值，并且该像素组合是使用P模式编码来编码的。经由传输接口101产生比特流BS(包含图像IMG的编码数据的至少第一比特流BS₁以及填充区域402的编码数据的第二比特流BS₂)至图像处理装置104的相同的目的都可以达到。

相似地，编码电路516可使用如上所述的第三填充规则来填充另一预定比特模型(例如0)至一个特定比特流，该特定比特流是从图像IMG的编码的切片产生的，来保证该特定比特流的尺寸与该另一预定比特模型的尺寸之和等于码率控制器117分配给切片的比特预算。

本发明通过上述实施例进行举例说明，本发明并非局限于上述举例说明。本发明应理解为涵盖本领域技术人员可了解的多种变型的实施方式与相似的安排。因此，本发明的权利要求书应该理解为涵盖本领域技术人员可了解的多种变型的实施方式与相似的安排的较广范围。

Claims (26)

1.一种图像处理方法，包含：

将填充区域与图像组合，其中该填充区域中包含的任意填充像素被指派一个预定像素值；以及

编码具有该填充区域组合其中的该图像。

2.根据权利要求1所述的图像处理方法，其特征在于，该填充区域直接位于该图像的底部边缘之下。

3.根据权利要求1所述的图像处理方法，其特征在于，该填充区域中包含的所有的填充像素具有相同的像素值。

4.根据权利要求1所述的图像处理方法，其特征在于，进一步包含：

设定切片高度；

接收第一图像高度的信息；

当该第一图像高度不是该切片高度的整数倍时，决定第二图像高度为该切片高度的整数倍；以及

依据该切片高度以及该第二图像高度决定该填充区域。

5.根据权利要求1所述的图像处理方法，其特征在于，该编码该图像的步骤包含：

输出预定比特流作为该填充区域的至少一部分的编码结果。

6.根据权利要求1所述的图像处理方法，其特征在于，该预定像素值包含每一颜色分量的一个中间点采样值。

7.一种图像处理方法，包含：

使用第一填充规则来设定超出图像的右侧边缘的多个第一填充像素；

使用第二填充规则来设定超出该图像的底部边缘的多个第二填充像素，其中该第二填充规则与该第一填充规则不同；以及

编码具有该多个第一填充像素与该多个第二填充像素组合其中的该图像。

8.根据权利要求7所述的图像处理方法，其特征在于，该多个第二填充像素中的任一个被指派一个预定像素值。

9.根据权利要求8所述的图像处理方法，其特征在于，该预定像素值包含每一颜色分量的一个中间点采样值。

10.根据权利要求7所述的图像处理方法，其特征在于，该多个第二填充像素具有相同的像素值。

11.根据权利要求7所述的图像处理方法，其特征在于，进一步包含：

填充预定比特模型至从编码该图像的切片产生的比特流，来保证该比特流的尺寸与该预定比特模型的尺寸之和等于分配给该切片的比特预算。

12.一种图像处理方法，包含：

使用第一填充规则来设定超出图像的右侧边缘的多个第一填充像素；

从编码具有该多个第一填充像素组合其中的图像产生比特流；以及

使用第二填充规则来设定第一预定比特模型，并且填充该第一预定比特模型至该比特流，其中该第一预定比特模型代表超出该图像的底部边缘的多个第二填充像素的至少一部分的编码结果，其中该第二填充规则与该第一填充规则不同。

13.根据权利要求12所述的图像处理方法，其特征在于，该多个第二填充像素中的任一个被指派一个预定像素值。

14.根据权利要求13所述的图像处理方法，其特征在于，该预定像素值包含每一颜色分量的一个中间点采样值。

15.根据权利要求12所述的图像处理方法，其特征在于，该多个第二填充像素具有相同的像素值。

16.根据权利要求12所述的图像处理方法，其特征在于，进一步包含：

填充第二预定比特模型至编码该图像的切片产生的特定比特流，来保证该特定比特流的尺寸与该第二预定比特模型的尺寸之和等于分配给该切片的比特预算。

17.一种图像处理方法，包含：

接收从编码具有至少一个第一填充区域组合其中的图像产生的比特流，其中该第一填充区域中包含的任一个填充像素被指派一个预定像素值，并且该比特流包含至少该图像的编码数据的第一比特流与该第一填充区域的编码数据的第二比特流；

从该比特流识别该第二比特流；以及

忽略解码至少一部分的该第二比特流。

18.根据权利要求17所述的图像处理方法，其特征在于，该第一填充区域直接位于该图像的底部边缘之下。

19.根据权利要求17所述的图像处理方法，其特征在于，其中该比特流是从编码至少具有该第一填充区域与该第二填充区域组合其中的图像而产生的，该比特流进一步包含该第二填充区域的编码数据的第三比特流，并且该图像处理方法进一步包含：

从该比特流识别该第三比特流；以及

解码该第三比特流的至少一部分。

20.根据权利要求17所述的图像处理方法，其特征在于，该从该比特流识别该第二比特流的步骤包含：

接收切片高度的信息；

接收第一图像高度的信息；

当该第一图像高度不是该切片高度的整数倍时，决定第二图像高度为该切片高度的整数倍；以及

依据该切片高度与该第二图像高度从该比特流识别该第二比特流。

21.一种图像处理方法，包含：

通过将图像的图像宽度除以一个切片行的切片的目标数量，决定初始切片宽度；

当该初始切片宽度具有不是像素组合宽度的整数倍的第一值时，通过扩展该初始切片宽度至一个是该像素组合宽度的整数倍的第二值来决定最终切片宽度；以及

至少部分依据该最终切片宽度编码该图像。

22.一种图像处理装置，包含：

填充电路，用于将填充区域与图像组合，其中该填充区域中包含的任意填充像素被指派一个预定像素值；以及

编码电路，用于编码具有该填充区域组合其中的该图像。

23.一种图像处理装置，包含：

填充电路，用于使用第一填充规则来设定超出图像的右侧边缘的多个第一填充像素，以及使用第二填充规则来设定超出该图像的底部边缘的多个第二填充像素，其中该第二填充规则与该第一填充规则不同；以及

编码电路，用于编码具有该多个第一填充像素与该多个第二填充像素组合其中的该图像。

24.一种图像处理装置，包含：

填充电路，用于使用第一填充规则来设定超出图像的右侧边缘的多个第一填充像素；

编码电路，用于从编码具有该多个第一填充像素组合其中的图像产生比特流；

其中该填充电路进一步使用第二填充规则来设定第一预定比特模型，并且填充该第一预定比特模型至该比特流，其中该第一预定比特模型代表超出该图像的底部边缘的多个第二填充像素的至少一部分的编码结果，其中该第二填充规则与该第一填充规则不同。

25.一种图像处理装置，包含：

接口电路，用于接收从编码具有至少一个第一填充区域组合其中的图像产生的比特流，其中该第一填充区域中包含的任一个填充像素被指派一个预定像素值，并且该比特流包含至少该图像的编码数据的第一比特流与该填充区域的编码数据的第二比特流；以及

解码电路，用于从该比特流识别该第二比特流，并且忽略解码至少一部分的该第二比特流。

26.一种图像处理装置，包含：

切片宽度决定电路，用于通过将图像的图像宽度除以一个切片行的切片的目标数量，决定初始切片宽度，并且当该初始切片宽度具有不是像素组合宽度的整数倍的第一值时，通过扩展该初始切片宽度至一个是该像素组合宽度的整数倍的第二值来决定最终切片宽度；以及

编码电路，用于至少部分依据该最终切片宽度编码该图像。