CN104969258A

CN104969258A - 插值方法和对应设备

Info

Publication number: CN104969258A
Application number: CN201480006020.8A
Authority: CN
Inventors: 纪尧姆·布瓦松; 保罗·凯尔比里乌; 大卫·内布伊
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2013-01-24
Filing date: 2014-01-20
Publication date: 2015-10-07
Also published as: WO2014114601A1; EP2948921B1; US9652826B2; EP2948921A1; FR3001318A1; JP2016511962A; KR20150110541A; US20150356709A1

Abstract

本发明涉及一种将第一像素块(20)插值为第二像素块(200)的方法，所述第二块(200)包括比所述第一块(20)的像素的数量多的多个像素。所述方法包括以下步骤：根据穿过四个像素的块中的三个像素的平面并根据所述第二块(200)中插值像素的坐标，确定要与所述第二块(200)的插值像素(202、203、206、211、216、220、221、225、227、228、229)相关联的第二值，所述四个像素包括其相关联的值(视差或灰度)是未知的像素。本发明还涉及对应的插值模块和在计算机中实现插值方法的计算机程序产品。

Description

插值方法和对应设备

技术领域

本发明涉及图像或视频处理的领域。本发明还涉及像素块的插值的领域，并更具体地涉及源像素块或矩阵的上采样。

背景技术

根据现有技术，存在使得能够捕捉与图像的像素相关联的各种信息(例如相同场景的若干视图之间(即在根据若干视角捕捉的相同场景的若干图像之间)的灰度或视差信息)的设备。使用例如静态摄像机或视频摄像机的CCD传感器捕捉灰度信息，并例如使用(例如类型的)深度传感器捕捉或使用视差估计软件计算视角间视差信息。这种信息存储在与图像相关联的图中，例如与像素矩阵相对应的灰度图(该像素矩阵包括与灰度图相关联的图像一样多的像素，灰度值与每个像素相关联)或与像素矩阵相对应的视差图(该像素矩阵包括与视差图相关联的图像一样多的像素，视差值与每个像素相关联)。

在该信息的捕捉或估计期间的捕捉或估计误差造成在与图像相关联的图中呈现孔，即某些像素不具有相关联的(灰度或视差)信息或具有错误的相关联的信息。

此外，由于用于捕捉该信息的传感器所固有的硬件限制或由于避免高清晰度捕捉的实时捕捉限制，图常常具有有限的分辨率。

发明内容

本发明的目的是克服现有技术的这些缺点中的至少一个。

更具体地，本发明的目的尤其是提供与完整图像和/或更佳分辨率相关联的信息图。

本发明涉及一种将第一像素块插值为第二像素块的方法，所述第二块包括比所述第一块的像素的数量大的多个像素，所述第一像素块包括以两个相邻行和两个相邻列布置的四个像素，第一值与所述第一块的所述像素相关联，所述第一值针对所述四个像素中的三个像素是确定的，但针对所述四个像素中的一个像素是不确定的。所述方法包括：根据所述三个像素在所述第一块中的坐标，根据与三个像素相关联的第一值并根据所述第二块中插值像素的坐标，确定要与来自所述第一块的所述三个像素的所述第二块的插值像素的至少一部分相关联的第二值，所述第一块的所述三个像素具有确定的相关联的第一值。

根据特定特性，所述方法还包括：根据所述三个像素在所述第一块中的坐标和与所述三个像素相关联的第一值来确定穿过所述第一块的所述三个像素的平面的方程，所述第一块的所述三个像素具有确定的相关联的第一值，与所述插值像素的至少一部分相关联的所述第二值是根据所述平面的方程和所述插值像素在所述第二块中的所述坐标确定的。

有益地，所确定的第二值的至少一部分与位于多边形外部的插值像素相关联，所述多边形以拷贝到所述第二块中的所述第一块的所述三个像素作为顶点。

有益地，不确定的第一值与所述第二块中的至少一个像素相关联。

根据另一特性，与所述不确定的第一值相关联的所述第二块的像素的数量是水平上采样因子和垂直上采样因子中的至少一个的奇偶性的函数，所述水平上采样因子和所述垂直上采样因子用于通过对所述第一像素块进行插值来获得所述第二像素块。

根据特定特性，通过使用水平上采样因子和垂直上采样因子，所述第二块对应于所述第一块的上采样；所述方法还包括以下步骤：

-确定所述水平上采样因子和所述垂直上采样因子的所述奇偶性，

-确定当所述水平上采样因子是偶数时要应用于属于所述第二块的中间列的插值像素(203，228)的插值规则，和/或当所述垂直上采样因子是偶数时要应用于属于所述第二块的所述中间行的所述插值像素的插值规则。

有益地，从规则集合中选择所述插值规则，所述规则集合包括以下规则：

-将第二值与根据所述平面的所述方程确定的所述中间列和/或所述中间行的所述像素相关联；

-将第二值与和所述第一块的至少一个像素相关联的至少一个第一值相对应的所述中间列和/或所述中间行的所述像素相关联。

根据另一特性，所述第一值是代表视差的值。

根据特定特性，所述第一值是代表灰度的值。

本发明还涉及一种用于将第一像素块插值为第二像素块的模块，所述第二块包括比所述第一块的像素的数量多的多个像素，所述第一像素块包括以两个相邻行和两个相邻列布置的四个像素，第一值与所述第一块的所述像素相关联，所述第一值针对所述四个像素中的三个像素是确定的，但针对所述四个像素中的一个像素是不确定的，所述模块包括至少一个处理器，被配置为：根据所述三个像素在所述第一块中的坐标，根据与所述三个像素相关联的第一值并根据所述第二块中插值像素的坐标，确定要与来自所述第一块的所述三个像素的所述第二块的插值像素的至少一部分相关联的第二值，所述第一块的所述三个像素具有确定的相关联的第一值。

根据特定特性，所述至少一个处理器是图形处理单元(GPU)。

有益地，所述至少一个处理器还被配置为：根据所述三个像素在所述第一块中的坐标和与所述三个像素相关联的第一值来确定穿过所述第一块的所述三个像素的平面的方程，所述第一块的所述三个像素具有确定的相关联的第一值，与所述插值像素的至少一部分相关联的所述第二值是根据所述平面的方程和所述插值像素在所述第二块中的所述坐标确定的。

本发明还涉及计算机程序产品，所述计算机程序产品包括程序代码指令，用于当该程序在计算机上执行时执行所述插值方法的步骤。

附图说明

在阅读以下描述之后，将更好地理解本发明，并且其他特定特征和优点将出现，以下描述参考附图，在附图中：

-图1示出了根据本发明的特定实施例的从第一像素矩阵生成第二像素矩阵。

-图2示出了根据本发明的特定实现的将图1的第一像素矩阵的像素组插值为第二像素组。

-图3图示地示出了根据本发明的特定实现的实现用于插值图1的第一像素矩阵的方法的设备；

-图4示出了根据本发明的特定实施例的在图3的设备中实现的用于对图1的第一像素矩阵进行插值的方法。

具体实施方式

图1示出了根据本发明的特定和非限制性实施例的通过对第一像素矩阵10(还被称为第一像素块)进行插值来生成第二像素矩阵13(还被称为第二像素块)。第二像素矩阵13有益地包括比第一像素矩阵10多的像素。换言之，第二像素矩阵13的分辨率高于第一像素矩阵10的分辨率。根据第一示例，第一像素矩阵10的分辨率是640*360像素(即640列和360行)，而第二像素矩阵13的分辨率是1920*1080(即1920列和1080行)。根据该第一示例，用于从第一矩阵10到第二矩阵13的水平上采样因子N为N＝3，而用于从第一矩阵10到第二矩阵13的垂直上采样因子M为M＝3。根据该第一示例，水平上采样因子和垂直上采样因子是相等的。根据第二示例，在交织模式中，第一像素矩阵10的分辨率是640*360像素，而第二像素矩阵13的分辨率是1920*1080。根据第二示例，水平上采样因子N和垂直上采样因子M不同，M等于6，而N等于3。自然地，第一矩阵和第二矩阵的分辨率不限于这两个示例而可以扩展到任意分辨率(例如，第一矩阵10的分辨率是1024*768，而第二矩阵13的分辨率是2048*1536，上采样因子M和N等于2，或第一矩阵10的分辨率是1024*720，而第二矩阵13的分辨率是4096*2160，水平上采样因子N＝4，垂直上采样因子M＝3)。根据不同示例，上采样因子可以是偶数或奇数。

第一像素矩阵10的每个像素与值相关联，该值例如表示视差或表示灰度。当与第一矩阵10的像素相关联的值表示视差时，第一矩阵有益地对应于与图像相关联的视差图。在立体观视(即若干图像代表根据若干视角的相同场景时，例如相同场景的两个图像(左和右))中，与第一图像(例如左侧图像)相关联的视差图包括第一图像(例如左侧图像)的像素和第二图像(例如右侧图像)的对应像素之间的水平差(以像素为单位)，第一图像和第二图像的两个对应像素代表场景的相同元素。例如由适当的设备捕捉与图像的像素相关联的视差值。根据一个变体，通过比较相同场景的两个图像(即通过将场景的第一图像的每个像素与相同场景的第二图像的对应像素匹配(第一图像和第二图像的两个对应像素代表场景的相同元素，即相同的灰度值(在误差边界内)与两个对应像素相关联)，且通过确定第一图像的像素和第二图像的对应像素之间的水平位置上的差(表达为像素的数量))，估计视差值。当与视差图的一个或更多个像素相关联的视差的测量或估计是错误的时(例如当对象从一个视角可见但从另一视角被遮挡时)，第一像素矩阵中存储的针对这些像素的视差值是不确定的或未知的。不确定的或未知的值是例如经由预定码(例如当按8比特对视差值进行编码时等于1111111(十六进制的0xFF)或当按11比特对视差值进行编码时等于11111111111(十六进制的0x07FF)的码)识别的。

当与第一矩阵10的像素相关联的值表示灰度时，第一矩阵10有益地对应于与图像相关联的灰度图。表示灰度的值是例如按8比特、10比特或12比特进行编码的，例如针对图像的每个颜色频道的灰度是可用的，即灰度图与每个颜色频道(例如RGB)相关联。当与第一像素矩阵的一个或更多个像素相关联的一个或多个灰度值是有误差的(例如伴随有传感器测量问题)，在第一像素矩阵中存储的针对这个或这些像素的灰度值是不确定的或未知的。不确定的或未知的值是例如经由预定码(例如当按8比特对视差值进行编码时等于11111111或00000000的码)识别的。

图1的剩余描述将基于以下示例：在交织模式中，第一像素矩阵10的分辨率是640*360像素，而在渐进模式中，第二像素矩阵13的分辨率是1920*1080像素，即水平上采样因子N等于3，垂直上采样因子M等于6。第一矩阵和第二矩阵的每个像素的位置由与像素在像素矩阵中的坐标相对应的列号C/行号L定义，第一矩阵的像素的位置由对(C₁；L₁)定义，第二矩阵的像素的位置由对(C₂；L₂)定义。通过例如第一像素矩阵10的双线性插值获得第二像素矩阵13。在第一步骤期间，将第一矩阵10的每个像素拷贝到第一中间版本11的第二矩阵中取决于第一矩阵10中像素的位置、水平上采样因子N和垂直上采样因子M处。通过以下等式获得拷贝到第一中间版本11的第二矩阵13中的第一矩阵10的像素的位置：

C₂＝N*C₁

L₂＝M*C₁

通过以在第一矩阵10上呈现为灰色并分别具有以列号C₁和行号L₁表述的以下坐标(1；1)、(1；2)、(2；1)和(2；2)(矩阵的第一行和第一列被编号为0)的4个相邻像素101、102、103和104作为示例，分别与第一矩阵10的4个像素101、102、103和104相对应的第一版本11的第二矩阵的4个像素111、112、113和114的坐标分别是(3；6)、(3；12)、(6；6)和(6；12)。将第一矩阵的像素拷贝到第二矩阵中被理解为将与第一矩阵的像素相关联的值指派给第二矩阵的对应像素。针对在第二矩阵中具有对应像素(即具有相同的相关联的值)的第一矩阵10的每个像素，有益地重复该操作。为了确定与第二矩阵的剩余像素(在第一中间版本11的第二矩阵中用白色标识)相关联的值，使用本领域技术人员已知的双线性插值法。根据该方法，通过使用没有值相关联的像素周围的像素的值进行插值，确定属于值与至少一些像素相关联的第二矩阵的列的像素的值。通过插值确定的要关联的值的列的这些像素在第二中间版本12的第二矩阵上被标识为灰色底白色纹。例如，为了更清楚，对第二中间版本12的第二矩阵的一部分进行放大。放大部分由虚椭圆围绕，并对应于包括像素111、121、122、123、124、125和112的列号3的一部分。像素111和112对应于第一矩阵10的像素101和102，即与这些像素111和112中每一个相关联的值是分别与像素101和102相关联的值的拷贝。通过对与像素111和112相关联的值进行插值，确定与像素121值125相关联的值，像素111和112在像素121至125周围。然后，通过使用在确定了相关联的值的像素周围的行的像素的值，逐行地确定剩余像素(在第二中间版本12的第二像素矩阵中用白色标识)的值。这通过第二像素矩阵13示出，其中已经确定了相关联的值的行的像素呈现为灰色底白色纹。例如，为了更清楚，对第二矩阵13的一部分进行放大。放大部分由虚椭圆围绕，并对应于包括像素124、131、132和129的行10的一部分，先前通过对来自第一矩阵10的值进行插值已经确定与像素124和129相关联的值。通过对于像素124和129相关联的值进行插值，确定与像素131和132相关联的值，像素124和129在像素131和132周围。自然地，能够首先确定包括具有来自第一矩阵的相关联的值的像素的第二矩阵的行，其次确定针对剩余像素的列。根据该双线性插值法，插值系数用于对要确定要关联的值的像素周围的像素相关联的值进行加权。对于列的像素其值要被确定为垂直上采样因子M的函数的每个像素(如在第二中间版本12的第二矩阵上指示的对于以灰色底白色纹呈现的像素，例如像素121至125)和对于行的像素其值要被确定为水平上采样因子N的函数的每个像素(如在第二矩阵13上指示的对于以灰色底白色纹呈现的像素，例如像素131和132)，有益地确定这些插值系数。对于通过对在该像素周围的像素的两个值进行插值来确定相关联的值的每个像素，使用两个插值因子，第一因子(α_y)用于对在要确定的像素周围的两个像素中的第一个像素进行加权，第二因子(β_y)用于对在要确定的像素周围的两个像素中的第二个像素进行加权。根据以下等式计算第一垂直加权因子和第二垂直加权因子(即用于根据已知相关联的值的列的像素来确定与该列的像素相关联的值，例如用于根据像素111和112来确定与像素121至125相关联的值)：

α_y＝k/M

β_y＝1-α_y

其中，k被包括在1和M-1之间，对于与在要确定的像素周围的第一像素最近的像素，k等于M-1，而对于与在要确定的像素周围的第一像素最远的像素，k等于1，当远离在要确定的像素周围的第一像素时且当靠近在要确定的像素周围的第二像素时，k减1。通过以根据像素111和112的值确定相关联的值的像素121至125作为示例，并通过认为像素111是在像素121至125周围的第一像素且像素112是在像素121至125周围的第二像素，应用于像素121至125的第一垂直插值因子和第二垂直插值因子的值分别是：

	像素121	像素122	像素123	像素124	像素125
						α_y	5/6	4/6	3/6	2/6	1/6
β_y	1/6	2/6	3/6	4/6	5/6

因此，要与像素121至125之一相关联的值V是由垂直插值因子加权的像素121至125周围的第一像素111和第二像素112相关联的值的和的平均，即：

V_pixel＝(α_y*V_Pixel，111+β_y*V_Pixel，112)

其中V_pixel是要与我们试图确定其相关联值的像素相关联的值，V_pixel，111是与在我们试图确定其相关联值的像素周围的第一像素相关联的值，而V_pixel，112是与在我们试图确定其相关联值的像素周围的第二像素相关联的值。

应用于像素121至125，得到：

V₁₂₁＝(5/6*V_Pixel，111+1/6*V_Pixel，112)

V₁₂₂＝(4/6*V_Pixel，111+2/6*V_Pixel，112)

V₁₂₃＝(3/6*V_Pixel，111+3/6*V_Pixel，112)

V₁₂₄＝(2/6*V_Pixel，111+4/6*V_Pixel，112)

V₁₂₅＝(1/6*V_Pixel，111+5/6*V_Pixel，112)

以相同方式，水平插值因子用于：根据认为已知相关联值(如上所述从第一矩阵拷贝或通过应用于列的插值确定)的行上在这些像素周围的两个像素的值，确定要与行的像素相关联的值。这些第一水平插值因子和第二水平插值因子(分别由α_x和β_x表示)有益地被确定为水平上采样因子N的函数，即：

α_x＝k/N

β_x＝1-α_x

其中，k被包括在1和N-1之间，对于与在要确定的像素周围的第一像素最近的像素，k等于N-1，而对于与在要确定的像素周围的第一像素最远的像素，k等于1，当远离在要确定的像素周围的第一像素时且当靠近在要确定的像素周围的第二像素时，k减1。通过以根据像素124和129的值确定相关联的值的像素131和132作为示例，并通过认为像素124是在像素131和132周围的第一像素且像素125是在像素131和132周围的第二像素，应用于像素131和132的第一水平插值因子和第二水平插值因子的值分别是：

	像素131	像素132
			α_x	2/3	1/3
β_x	1/3	2/3

因此，要与像素131和132之一相关联的值V是由垂直插值因子加权的像素131和132周围的第一像素124和第二像素129相关联的值的和的平均，即：

V_pixel＝(α_x*V_Pixel，124+β_x*V_Pixel，129)

其中V_pixel是要与我们试图确定其相关联值的像素相关联的值，V_pixel，124是与在我们试图确定其相关联值的像素周围的第一像素相关联的值，而V_pixel，129是与在我们试图确定其相关联值的像素周围的第二像素相关联的值。

应用于像素131和132，得到：

V₁₃₁＝(2/3*V_Pixel，124+1/3*V_Pixel，129)

V₁₃₂＝(1/3*V_Pixel，124+2/3*V_Pixel，129)

双线性插值法有益地用于：当与在我们试图确定其相关联值的像素周围的像素相关联的值已知和/或从一个像素到另一个像素没有显著变化时，确定不知道相关联值的像素的值。例如，如果与第一矩阵10的一个或更多个像素101至104相关联的值是未知的，双线性插值法将不用于确定由第二矩阵13的4个像素111至114围绕并与第一矩阵10的4个像素101至104相对应的第二矩阵13的像素。以相同方式，如果第一矩阵10的4个像素101至104中两个相邻像素之间的差出现(即如果与两个相邻像素相关联的值之间的差大于所确定的阈值，这在实际中意味着这2个考虑的相邻像素属于与第一矩阵10相关联的图像上的2个不同对象)，则双线性插值法将不用于确定由第二矩阵13的4个像素111至114围绕并与第一矩阵10的4个像素101至104相对应的第二矩阵13的像素。当这些情况中的一种情况或其他情况发生时，将有益地使用结合图2描述的方法，以最小化插值误差。

图2示出了根据本发明的特定和有益实施例将第一组像素21、22、23和24(所谓第一像素块)插值为第二组像素201至230(所谓第二像素块)。第一像素块21至24对应于例如第一像素矩阵10的像素块或对应于仅包括4个像素的第一像素矩阵20。根据图2的非限制性示例，水平上采样因子N等于4，而垂直上采样因子M等于5。与像素21、23和24相关联的值是已知的(经由由一个或更多个合适的传感器实施的测量或经由本领域技术人员已知的任意估计方法)。三个像素21、23和24是相邻的并分布在两个相邻列和两个相邻行上。根据第一示例，与第四像素22相关联的值是未知的，或代表捕捉或估计误差。根据第二示例，与第一像素22相关联的值和与相同行的相邻像素21相关联的值之间的差大于阈值，或与该像素22相关联的值和与相同列的相邻像素24相关联的值之间的差大于阈值。值的差大于阈值代表一方面的该像素22和另一方面的像素21、23和24属于与第一块10相关联的图像的两个不同对象。例如，如果与像素21至24相关联的值代表视差，两个像素之间视差的显著差(即大于阈值(例如大于10个像素或15个像素))意味着一方面的像素22和另一方面的像素21、23和24所属的对象属于不同深度面。以相同方式，如果与像素21至24相关联的值代表灰度，灰度中的显著差(即大于阈值(例如当以8比特对灰度进行编码时(即在0至255的范围中)大于16或32))揭示在像素21至24处存在轮廓(contour)，即一方面的像素22和另一方面的像素21、23和24属于图像的不同对象。为了克服在对第一块20的4个像素进行上采样以生成第二块200的情况下将基于与4个像素21至24相关联的4个值的插值问题，拷贝与像素21、23和24相关联的值并将其与第二块200的对应像素相关联，即分别与像素201、226和230相关联。还拷贝与像素22相关联的未知值(或相对于与像素21和24相关联的值之一，差比阈值大的值)并将其与同第一块20的像素22相对应的第二块200的像素205相关联。如结合图1所解释，根据第一块20中像素21、22、23和24的坐标并根据上采样因子M和N，确定分别与像素21、22、23和24相对应的第二块200的像素201、205、226和230在X、Y参考系统中的坐标(即行号和列号)。第一块20中像素21、22、23和24的坐标因此例如分别是(0，0)、(1，0)、(0，1)和(1，1)，第二块200中对应像素201、205、226和230的坐标分别是(0，0)、(4，0)、(0，5)和(4，5)。为了确定要与其他像素202、203、204、206至210、211至215、216至220、221至225、227、228和229相关联的值，确定穿过已知相关联值的(第一块20的或等同的第二块200的(第一块的像素21至24被拷贝到第二块))三个像素的平面的方程。平面的卡迪尔方程具有以下形式：

a*x+b*y+c*z+d＝0

其中，x和y对应于平面的像素的坐标(即分别是平面的像素的列号和行号)；z对应于与平面的像素相关联的值；a、b、c和d对应于通过已知平面的三个像素而能够确定的平面的因子。

一旦根据本领域技术人员已知的任意方法、基于已知x、y和z的三个像素确定了平面的方程(即一旦确定了因子a、b、c和d的值)，能够找到与像素相关联的值，该值是通过已知像素在第二块200中的坐标x和y(即列号和行号)来寻找的，z_pixel对应于要与寻找(已知像素的列号x_pixel和像素的行号y_pixel)其相关联值的像素相关联的值。于是，我们有：

z_pixel＝-(a*x_pixel+b*y_pixel+d)/c

根据该等式并且已知我们想要确定其相关联值的像素的坐标x和y，能够确定针对第二块200的每个像素(即对于经由第一块20而已知相关联值的4个像素201、205、226和230所限制的区域中的每个像素)的z(相关联值)。因此，能够确定位于三角形内部的像素相关联的值(该三角形以用于确定平面的方程的三个点作为顶点，即像素201、226和230)，还能够确定与位于该三角形之外的像素相关联的值(例如像素202、203、220、225和在图2中未呈现其参考的其他像素)。根据变体，将与像素22相关联并拷贝以与第二块200的像素205相关联的值指派给我们设法确定要相关联的值的第二块的其他像素。根据图2的示例，将像素205的值传播给属于与像素205的列相邻的列(在由像素201、205、226和230限制的区域内)和与包括像素205的行最近的两行两者的像素。该值因而与像素204、209、210、214和215相关联。有益地预定确定必须向第二块200中的哪些像素指派像素205的值的一个或多个规则。用于决定向哪些像素指派未知值的准则之一是(水平和垂直)上采样因子的奇偶性。在上采样因子M或N是奇数的情况下，在一半插值的列/行上传播像素205的值，所关注的列/行号等于(M-1)/2或(N-1)/2。根据图2的示例，我们有奇数的垂直上采样因子，因为其等于5。这意味着在包括其相关联值源自第一块20的像素201、205和226、230的行之间存在4行。包括像素201和205的行例如被编号为0，且包括像素226和230的行被编号为5。因此，包括被指派像素205的值的像素的两行是编号为1和2的行。水平上采样因子N是偶数(根据图2的示例等于4)，不能将第二块200的列数除以二以获得整数。对于中间列(包括像素203和228的编号为2的列，依据编号为0的列是最左侧列的原则，即包括像素201和226的列)的像素，需要确定应用哪个规则来确定它们相关联的值的先验信息：使用平面的方程还是拷贝与像素205相关联的值。这意味着确定中间列的像素必须属于包括像素21、23、24的对象或平面还是属于包括像素22的对象或平面。根据情况，两种规则是有意义的。有益地，决定应用哪个规则的先验信息，在实现本文所描述的插值方法之后缺省地编程和应用该规则。例如，为了综合查看的目的，将拷贝与距离摄像机(距离视角)最远的深度相对应的视差值，并将限制视差值是不确定的像素的个数。相反，为了3D重构的目的，中间行和/或列的像素将保持不确定，即与这些像素相关联的值将保持未知或不确定。在图2的示例中，决定使用穿过像素21、23、24(或等同地穿过像素201、226和230)的平面的方程，以确定要与第2列的像素(例如像素203和208)相关联的值，这些像素中的一些位于由顶点201、226和230形成的三角形的内部(即行3、4和5的像素)，其他像素位于该三角形的外部(即行0、1、2的像素)。根据图2的示例，6个像素接收像素22的值，即针对具有列号3和4以及行号0、1、2的第二块的6个像素，拷贝与像素22相关联的值。对于第二块200的其他像素，通过使用穿过像素21、23、24(或穿过像素201、226、230)的平面的方程，确定他们相关联的值。

根据一种变体，平面的方程是参数类型的，并根据表示为A的像素(例如像素23)的坐标(x₂₃，y₂₃，z₂₃)和两个非共线向量(例如根据像素对23、21定义的第一向量和根据像素对23、24定义的第二向量)来确定。平面是点M(x，y，z)的集合，存在两个标量λ和μ使得：

对应于平面的向量方程

\{\begin{matrix} x = x_{23} + λ u_{1} + μ v_{1} \\ y = y_{23} + {λu}_{2} + {μv}_{2} \\ z = z_{23} + {λu}_{3} + {μv}_{3} \end{matrix},

对应于平面的参数方程，λ和μ是平面的参数，λ和μ是实数。

图3图示地示出了适于将第一像素矩阵插值为第二像素矩阵的设备3的硬件实施例。设备3对应于例如个人计算机、膝上型计算机、机顶盒或嵌入在显示设备中的图像处理模块。

图3包括以下元件(这些元件通过还传送时钟信号的地址和数据总线35相互连接)：

-微处理器31(或CPU)；

-显卡32，包括：

●若干图像处理单元320(或GPU)；

●图像随机存取存储器(GRAM)321；

-ROM(只读存储器)类型36的非易失性存储器，包括例如操作系统类型的程序360；

-随机存取存储器(RAM)37；

-一个或更多个I/O(输入/输出)设备35，例如键盘、鼠标、网络摄像头；以及

-电源38。

设备3还包括显示屏类型的显示设备33，显示设备33直接连接到显卡32，以显著地显示与第一像素矩阵或与第二像素矩阵相关联的图像的渲染。使用专用总线来将显示设备33连接到显卡32提供了以下优点：具有更大的数据传输比特率并因此减少显示由显卡制成的图像的延迟时间。根据一种变体，用于显示图像的装置在设备3的外部，并通过发送显示信号的电缆连接到设备3。设备3(例如显卡32)包括用于发送的装置或连接器(在图3中未示出)，适于用于向外部显示装置(例如LCD或等离子屏幕或视频投影机)发送显示信号。

应当注意的是，在存储器321、36、37的描述中所使用的词语“寄存器”指定在所述存储器中的每一个中的低容量的存储区域(一些二进制数据)以及大容量的存储区域(使得能够存储整个程序或表示所计算的或要显示的数据的数据的全部或部分)。

当开启时，微处理器31加载并执行在RAM 37中包含的程序的指令。

随机存取存储器37显著地包括：

-在寄存器370中，负责开启设备3的微处理器31的操作程序，

-表示第一矩阵的像素的参数371，例如像素的坐标或与像素相关联的第一值。

实现对本发明特定的并在下文中描述的方法的步骤的算法存储在与实现这些步骤的设备3相关联的显卡32的存储器GRAM 321中。当开启并且一旦表示第一矩阵的参数371加载到RAM 37中时，显卡32的图形处理器320将这些参数加载到GRAM 321中，并以使用例如HLSL(“高级着色器语言”)或GLSL(“OpenGL着色器语言”)的“着色器(shader)”类型的微程序的形式，执行这些算法的指令。

随机存取存储器GRAM 321显著地包括：

-表示第一像素矩阵的像素的参数3210；

-与第一矩阵的像素相关联的第一值3211；

-表示穿过第一矩阵的至少三个像素的平面的方程的参数3212；以及

-与从第一像素矩阵插值的第二像素矩阵的像素相关联的第二值3213。

根据一种变体，值和参数3210至3213存储在RAM 37中并由微处理器31处理。

根据另一变体，如果GRAM 321中可用的的存储器存储空间不足，由CPU 31指派RAM 37的一部分用于值和参数3210至3213的存储。然而，该变体导致针对来自GPU中包含的微程序的插值所必需的计算中更大的延迟时间，因为必须从显卡经由总线35向随机存取存储器37发送数据，而总线35的传输能力远低于显卡中针对从GPU向GRAM和从GRAM向GPU传输数据可用的传输能力。

根据另一变体，电源38在设备3的外部。

图4示出了根据本发明的非限制性特定有益实施例的在设备3中实现的用于将第一像素矩阵插值为第二像素矩阵的方法。

在初始化步骤40期间，更新设备3的不同参数。

然后，在步骤41期间，通过直接测量或通过估计其他值来确定穿过第一像素矩阵的三个像素的平面的方程，已知与这三个像素相关联的第一值。第一值是例如从适于测量这些第一值的传感器接收的或根据其他值确定的(例如如果第一值对应于表示视差的值，则可以根据与两个图像的每个像素相关联的灰度来确定这些第一值，这两个图像根据两个不同视角表示相同场景)。根据第一矩阵中的三个像素的坐标和与这些像素相关联的第一值，确定平面的方程。根据一种变体，当与这些像素相关联的第一值相对均匀时(即当它们之间的变化较小(即小于阈值，例如小于结合图2描述的阈值)时)，根据多于三个像素(例如4个像素)确定平面的方程。这尤其是当用于确定平面的方程的4个像素与图像的对象的相同表面相关联时的情况。平面的方程例如是卡迪尔类型或参数类型。

有益地，第二像素矩阵包括比第一矩阵的像素的数量大的多个像素，第二矩阵对应于第一矩阵的上采样。根据水平上采样因子和垂直上采样因子，获得第一矩阵的上采样。有益地，水平上采样因子与垂直上采样因子不同。根据一种变体，水平上采样因子等于垂直上采样因子。

有益地，当根据三个像素来确定平面的方程时，所使用的三个像素是相邻的，并分布在两个相邻列和两个相邻行上。

第一值有益地代表视差。根据一种变体，第一值代表灰度。

然后，在步骤42期间，根据在先前步骤中确定的平面的方程和第二矩阵中插值像素的坐标，确定与第二像素矩阵的插值像素相关联的第二值。第二矩阵的插值像素有益地对应于由与第一矩阵的像素相对应的第二矩阵的像素围绕的第二矩阵的像素。同与第一矩阵的像素相对应的第二矩阵的像素相关联的值等于与第一矩阵的像素相关联的第一值，拷贝这些第一值以与第二矩阵的对应像素相关联。换言之，将第一矩阵的像素拷贝到第二矩阵，针对这些像素，在第一矩阵和第二矩阵之间仅坐标不同。

有益地，插值像素的至少一部分位于第二矩阵中的多边形的外部，该多边形以第二矩阵中的第一矩阵的像素的拷贝作为顶点。当用于确定平面的方程的像素在数量上等于三时，多边形对应于例如三角形，并且当用于确定平面的方程的像素在数量上等于四时，多边形对应于例如四边形。

有益地，第一矩阵包括相关联的第一值是未知的或不确定的一个或更多个像素。根据一种变体，第一矩阵包括至少一对像素，该至少一对像素的相关联的第一值之间的差大于预定阈值。

根据一种变体，确定水平上采样因子的奇偶性和垂直上采样因子的奇偶性。根据奇偶性确定的结果，确定当水平上采样因子是偶数时哪个插值规则必须应用于属于第二矩阵的中间列的插值像素，并且确定当垂直上采样因子是偶数时哪个插值规则必须应用于属于第二矩阵的中间行的插值像素。从多个插值规则中(例如从以下两种插值规则中)有益地作出要应用的规则的选择：

-使用平面的方程来确定要与第二像素矩阵的中间列和/或中间行的插值像素相关联的第二值；

-拷贝与第二矩阵的像素之一(对应于第一矩阵的像素的拷贝)相关联的第一值，以将其与第二像素矩阵的中间列和/或中间行的插值像素相关联。

当水平上采样因子和/或垂直上采样因子是偶数时将规则中的一个还是另一个用于第二像素矩阵的中间列和/或中间行的插值像素的决定对应于任意实现选择并且是预先确定的。

自然地，本发明不限于上述实施例。

具体地，本发明不限于插值方法，而可以扩展到实现插值方法的处理单元。本发明还涉及实现源图像的上采样以根据源图像生成上采样图像的图像处理方法。

上述实施例实现在例如方法或处理、装置、软件程序、数据流或信号中。实现所述插值方法的设备或装置例如以硬件组件的形式(不管是否可编程)、以一个或更多个处理器的形式(有益地是GPU类型，但根据变体可以是CPU或ARM类型)。所述方法实现在包括至少一个处理器(通常指代处理设备)、包括例如计算机、微处理器、集成电路或可编程软件设备的装置中。处理器还包括通信设备，例如计算机、移动电话或蜂窝电话、智能电话、便携式/个人数字助理(PDA)、数字平板计算机或能够实现用户之间的信息通信的任意其他设备。

上述各种处理和各种特性的实施例可以实现在各种设备或应用中，例如尤其在与数据的编码、数据的解码、视图或图像的生成、处理纹理以及图像或代表纹理的信息和/或代表深度的信息的任意其他处理相关联的设备或应用中。这种设备的示例是编码器、解码器、处理解码器的输出的后处理器、将输入提供给编码器的预处理器、视频编码器、视频解码器、视频编解码器、web服务器、机顶盒、膝上型计算机、个人计算机、移动电话、PDA、数字平板计算机和任意其他通信设备。该设备可以是移动的或在移动车辆上。

此外，所述方法可以以由一个或更多个处理器执行的指令的形式实现，并且这些指令可以存储在可以由处理器或计算机(例如集成电路)读取的介质、诸如硬盘等的任意存储设备、光盘(CD或DVD)、随机存取存储器(RAM)或非易失性存储器(ROM)上。指令形成例如在计算机可读介质中存储的应用程序。指令可以采用硬件、固件或软件的形式。

Claims

1.一种将第一像素块(20)插值为第二像素块(200)的方法，所述第二块(200)包括比所述第一块(20)的像素的数量多的多个像素，所述第一像素块包括以两个相邻行和两个相邻列布置的四个像素(21、22、23、24)，第一值与所述第一块的所述像素(21、22、23、24)相关联，所述第一值针对所述四个像素中的三个像素(21、23、24)是确定的，但针对所述四个像素中的一个像素(22)是不确定的，其特征在于，所述方法包括：根据所述三个像素(21、23、24)在所述第一块(20)中的坐标，根据与所述三个像素(21、23、24)相关联的第一值并根据所述第二块(200)中插值像素的坐标，确定(42)要与所述第二块(200)的插值像素(202、203、206、211、216、220、221、225、227、228、229)的至少一部分相关联的第二值，所述第二块(200)的插值像素(202、203、206、211、216、220、221、225、227、228、229)来自所述第一块(20)的所述三个像素(21、23、24)，所述第一块(20)的所述三个像素(21、23、24)具有确定的相关联的第一值。

2.根据权利要求1所述的方法，还包括：根据所述三个像素(21、23、24)在所述第一块(20)中的所述坐标和与所述三个像素(21、23、24)相关联的所述第一值来确定穿过所述第一块(20)的所述三个像素(21、23、24)的平面的方程，所述第一块(20)的所述三个像素(21、23、24)具有确定的相关联的第一值，与所述插值像素(202、203、206、211、216、220、221、225、227、228、229)的至少一部分相关联的所述第二值是根据所述平面的方程和所述插值像素在所述第二块(200)中的所述坐标确定的。

3.根据权利要求1或2所述的方法，其中，所确定的第二值的至少一部分与位于多边形外部的插值像素(202、203、220、225)相关联，所述多边形以拷贝到所述第二块(200)中的所述第一块(20)的所述三个像素(201、226、230)作为顶点。

4.根据权利要求1至3中任一项所述的方法，其中，所述不确定的第一值与所述第二块(200)的至少一个像素(204、205、210、215)相关联。

5.根据权利要求4所述的方法，其中，与所述不确定的第一值相关联的所述第二块的像素的数量是水平上采样因子和垂直上采样因子中的至少一个的奇偶性的函数，所述水平上采样因子和所述垂直上采样因子用于通过对所述第一像素块(20)进行插值来获得所述第二像素块(200)。

6.根据权利要求1至5中任一项所述的方法，其中，通过使用水平上采样因子和垂直上采样因子，所述第二块(200)对应于所述第一块(20)的上采样，所述方法包括以下步骤：

-确定当所述水平上采样因子是偶数时要应用于属于所述第二块的中间列的所述插值像素(203，228)的插值规则，和/或当所述垂直上采样因子是偶数时要应用于属于所述第二块的中间行的所述插值像素的插值规则。

7.根据权利要求6所述的方法，其中，从规则集合中选择所述插值规则，所述规则集合包括以下规则：

-将第二值与根据所述平面的所述方程确定的所述中间列和/或所述中间行的所述像素(203、228)相关联；

-将第二值与所述中间列和/或所述中间行的所述像素相关联，所述中间列和/或所述中间行的所述像素同与所述第一块的至少一个像素相关联的至少一个第一值相对应。

8.根据权利要求1至7中任一项所述的方法，其中，所述第一值是代表视差的值。

9.根据权利要求1至8中任一项所述的方法，其中，所述第一值是代表灰度的值。

10.一种将第一像素块(20)插值为第二像素块(200)的模块(3)，所述第二块(200)包括比所述第一块(20)的像素的数量多的多个像素，所述第一像素块包括以两个相邻行和两个相邻列布置的四个像素(21、22、23、24)，第一值与所述第一块的所述像素(21、22、23、24)相关联，所述第一值针对所述四个像素中的三个像素(21、23、24)是确定的，但针对所述四个像素中的一个像素(22)是不确定的，其特征在于，所述模块包括至少一个处理器(320)，被配置为：根据所述三个像素(21、23、24)在所述第一块(20)中的坐标，根据与所述三个像素(21、23、24)相关联的第一值并根据所述第二块(200)中插值像素的坐标，确定(42)要与所述第二块(200)的插值像素(202、203、206、211、216、220、221、225、227、228、229)的至少一部分相关联的第二值，所述第二块(200)的插值像素(202、203、206、211、216、220、221、225、227、228、229)来自所述第一块(20)的所述三个像素(21、23、24)，所述第一块(20)的所述三个像素(21、23、24)具有确定的相关联的第一值。

11.根据权利要求10所述的模块，其中，所述至少一个处理器(320)是图形处理单元。

12.根据权利要求10至11中任一项所述的模块，其中，所述至少一个处理器(320)还被配置为：根据所述三个像素(21、23、24)在所述第一块(20)中的所述坐标和与所述三个像素(21、23、24)相关联的所述第一值来确定穿过所述第一块(20)的所述三个像素(21、23、24)的平面的方程，所述第一块(20)的所述三个像素(21、23、24)具有确定的相关联的第一值，与所述插值像素(202、203、206、211、216、220、221、225、227、228、229)的至少一部分相关联的所述第二值是根据所述平面的方程和所述插值像素在所述第二块(200)中的所述坐标确定的。

13.一种计算机程序产品，其特征在于，所述计算机程序产品包括程序代码指令，用于当所述程序在计算机上执行时执行根据权利要求1至9中任一项所述的方法的所述步骤。