CN110506418A

CN110506418A - 联合双边滤波器的有效实施

Info

Publication number: CN110506418A
Application number: CN201880024410.6A
Authority: CN
Inventors: A·K·黎曼斯; B·G·B·巴恩布鲁格
Original assignee: Ao Cui Enlightening Cooperative Venture
Current assignee: Ao Cui Enlightening Cooperative Venture
Priority date: 2017-04-13
Filing date: 2018-04-04
Publication date: 2019-11-26
Anticipated expiration: 2038-04-04
Also published as: IL269868B; US20210192760A1; TWI762617B; RU2019136258A3; JP2020518892A; WO2018189010A1; RU2019136258A; JP7094299B2; EP3610645B1; CA3056371A1; KR20190135527A; EP3389265A1; BR112019019379A2; TW201837863A; EP3610645A1; KR102464876B1; US11216962B2; CN110506418B; CA3056371C; RU2767512C2

Abstract

提供了一种使用联合双边滤波器以降低计算复杂度从图像估计深度映射的集成电路和计算机实施的方法。出于此目的，访问图像的图像数据及模板深度映射的深度数据。然后，使用图像数据作为联合双边滤波器中的范围项来将联合双边滤波器应用于模板深度映射，从而获得经图像适配的深度映射作为输出。应用联合双边滤波器包括：将加权深度总和体积及权重总和体积初始化为存储器中的相应的空数据结构，执行抛雪球算法操作以填充该体积，执行切片操作来获得经图像适配的深度体积，及执行插值操作以获得图像中的每个像素的经图像适配的深度映射的经图像适配的深度值。相较于已知的使用联合双边滤波器从图像估计深度映射的方法，获得减少的计算复杂度。

Description

联合双边滤波器的有效实施

技术领域

本发明涉及一种被配置为使用联合双边滤波器从图像估计深度映射(depth map)的集成电路。本发明还涉及一种用于使用联合双边滤波器从图像估计深度映射的方法，且涉及一种计算机可读介质，该计算机可读介质包括表示被布置成导致处理器系统执行该方法的指令的暂时性或非暂时性数据。

背景技术

显示设备诸如电视机、平板电脑和智能电话可以包括3D显示器，以当用户观看这样的设备上的内容时为用户提供深度感知。出于此目的，这样的3D显示器可以独立地或连同用户佩戴的眼镜一起在每只眼中为用户提供不同的图像，以便为用户提供基于立体视觉的深度感知。

3D显示器通常要求含有深度信息的内容。可以在3D内容中隐含地提供深度信息。例如，在有立体感的内容(简言之，也被称为“立体”内容)的情况下，深度信息由左图像和右图像之间的差异提供。还可以在3D内容中明确地提供深度信息。例如，在以所谓的图像+深度格式编码的3D内容中，深度信息由深度映射提供，该深度映射可以包括深度值、差距值(disparity value)和/或视差偏移值(parallactic shift value)，其中所述值中的每个指示图像中的对象朝向摄像机所具有的距离。

当前可用的大量内容(例如，电影、电视节目、图像等)是2D内容。需要将这样的内容转换到3D，以使得能够在3D显示器上对其进行3D渲染。转换到3D可以包括生成2D图像的(例如，2D视频的每个2D图像的)深度映射。通常，此过程被称为“2D到3D转换”，且可能涉及手动创建深度映射。例如，在工作站上运行的软件工具可以通过使用数字笔绘制深度映射来向专业用户提供向2D图像添加深度的可能性。也可以自动生成深度映射。例如，设备可以估计2D图像内的对象朝向摄像机所具有的距离，且基于此，生成2D图像的深度映射。

从US 8,447,141中已知自动生成深度映射的一个实施例，US8,447,141描述了一种使用单眼信息生成图像的深度映射的方法。该方法包括生成该图像的第一深度映射，该第一深度映射提供全局深度分布，且该第一深度映射可以是简单通用模板(template)，诸如，倾斜(slant)。此外，生成第二深度映射，该第二深度映射基于该第一深度映射的深度值和该图像的颜色值和/或亮度值。生成该第二深度映射可以涉及使用来自该图像的范围信息将联合双边滤波器应用于该第一深度映射。据称，结果将使对象与该全局深度分布更加不同。

实际上，US 8,447,141使用联合双边滤波器来使由深度映射所提供的通用模板适应图像的实际内容。

然而，联合双边滤波器的实施是计算复杂的。Paris等人的出版物“A fastapproximation of the bilateral filter using a signal processing approach”(International Journal of Computer Vision 81.1,2009,第24-52页)描述了联合双边滤波器的近似，据称其是较少计算复杂的。不利的是，所描述的该双边滤波器的近似仍然是相对计算复杂的，因此不太适合于消费者设备(例如，集成电路)中的具有成本效益的实施。

发明内容

本发明的目的之一是获得一种被配置为使用联合双边滤波器从图像估计深度映射的集成电路，相较于Paris等人所描述的近似，该集成电路在计算上不太复杂。

本发明的第一方面提供了一种被配置为从图像估计深度映射的集成电路，该集成电路包括一个存储器或被连接至一个存储器，该集成电路包括：

-一个图像数据接口，被配置为访问该图像的图像数据；

-一个深度数据接口，被配置为访问一个模板深度映射的深度数据，该模板深度映射表示一个待被适配到该图像数据的模板；

-一个处理子系统，被配置为使用该图像数据作为联合双边滤波器中的一个范围项来将该联合双边滤波器应用于该模板深度映射，从而获得一个经图像适配的深度映射作为输出；

其中该处理子系统被配置为通过以下方式来实施该联合双边滤波器：

-将一个加权深度总和体积以及一个权重总和体积初始化为该存储器中的相应的空数据结构，所述体积中的每个包括：

-两个空间维度，表示该图像数据的两个空间维度的下采样型式，以及

-至少一个范围维度，表示该图像数据的该范围维度的下采样型式；

其中所述体积的单元格限定该图像的坐标系中的仓，该坐标系是相对于该图像的所述两个空间维度和该图像数据的该范围维度限定的；

-执行抛雪球算法操作(splatting operation)以填充所述体积，其中该抛雪球算法操作包括对于该图像中的每个像素：

-基于该像素在该图像的该坐标系中的坐标，该坐标指示该像素相对于所述体积中的每个的仓的相对位置，

-基于在该抛雪球算法操作中具有映射到邻近的仓上的足迹的像素来识别在该抛雪球算法操作中该像素对其有贡献的该加权深度总和体积中的邻近的仓；

其中在该抛雪球算法操作中的所述贡献包括：

-从该模板深度映射获得该像素的一个深度值；

-对于邻近的仓中的每个：

-获得用于加权该深度值的一个抛雪球算法权重，其中基于该像素相对于相应的仓的相对位置来确定该抛雪球算法权重，

-通过该抛雪球算法权重来加权该深度值，

-将加权深度值累积在该加权深度总和体积的相应的仓中，且将该抛雪球算法权重累积在该权重总和体积的一个对应的仓中；

-对于该加权深度总和体积中的每个仓以及该权重总和体积的对应的仓，通过将累积的加权深度值除以该累积的权重来执行切片操作(slicing operation)，以获得一个经图像适配的深度体积；

-执行插值操作(interpolation operation)，以获得该图像中的每个像素的经图像适配的深度映射的经图像适配的深度值，其中该插值操作包括：

-基于该像素在该图像的该坐标系中的坐标，基于在该抛雪球算法操作期间对加权深度总和体积中的对应的仓有贡献的像素来识别该经图像适配的深度体积中的邻近的仓；

-将一个插值滤波器应用于该经图像适配的深度体积的邻近的仓，其中对于邻近的仓中的每个，该插值滤波器包括一个插值权重，该插值权重是基于该像素相对于相应的仓的相对位置确定的。

本质上，该集成电路以较粗糙的分辨率但以与Paris等人不同的方式实施该联合双边滤波器。有利差异之一是Paris等人首先执行插值且然后执行切片操作，其中后者涉及除法。因此，Paris等人中的除法对已经被插值回到全分辨率的数据执行。所要求保护的集成电路在下采样的体积上执行切片操作，因此以大大降低的分辨率执行。例如，如果使用例如18×12×18(高度×宽度×范围)的体积，则仅需要3,888个除法操作，这远远少于在例如480×270图像上执行除法所需要的除法操作(129,600个除法操作)。已经发现，在下采样体积上执行切片操作的品质降低是非常有限的。然而，由于除法操作的实施是计算复杂的，因此执行联合双边滤波器的计算负担被大大降低。这允许在软件中执行切片操作，这关于其实施方式进一步产生灵活性。

注意到，用作输入的深度映射可以是模板深度映射，从而对应于预先确定的通用深度分布(诸如，倾斜)，或从最佳匹配图像的内容的不同通用深度分布的一个列表所选择的通用深度分布。然而，通常，该深度映射可以是从被进一步适配图像获益的任何深度映射。

进一步注意到，体积可以是三维体积，例如，由图像的两个空间维度的下采样型式和图像的分量中的一个分量(例如，亮度分量)的范围维度的下采样型式构成的三维体积。替代地，体积可以包括两个或更多个范围维度，所述范围维度可以对应于图像的分量中的两个或更多个，例如，YUV图像的亮度和一个或多个色度分量，或RGB图像的个体颜色分量等。

可选地，该处理子系统包括一个专用硬件电路和一个通过软件能配置的微处理器，其中：

-该专用硬件电路被配置为执行该抛雪球算法操作和该插值操作；且

-该微处理器通过该软件配置成在该集成电路操作期间执行该切片操作。

本发明的此方面基于这样的洞察力：虽然该抛雪球算法操作和该插值操作这二者仍然是相对计算复杂的，但是该切片操作通过仅在下采样体积上操作已经相较于Paris等人显著减少了复杂性。这样，可以在软件中执行该切片操作，产生灵活性，而鉴于软件实施方式相对于软件的总体较高的效率，可以在硬件中执行该抛雪球算法操作和该插值操作。

可选地，该专用硬件电路包括一个滤波器表，用于存储在该抛雪球算法操作中所使用的该抛雪球算法权重和/或在该插值操作中所使用的该插值权重。假使该抛雪球算法操作和该插值操作是硬件操作，则所述权重可以被存储在硬件电路的一个滤波器表中，该硬件电路可以是只读存储器或随机访问存储器。这使得通过相应操作的硬件可容易地访问所述权重。

可选地，该滤波器表被加载有在该抛雪球算法操作中所使用的该抛雪球算法权重以及在执行相应的操作之前在该插值操作中所使用的该插值权重。假使用于该抛雪球算法操作的权重不同于用于该插值操作的权重，则可以在执行相应的操作之前将这些权重加载到该滤波器表内，例如，通过微处理器。以此方式，重复使用该滤波器表的硬件且不对于该抛雪球算法操作的硬件和该插值操作的硬件单独实施该滤波器表的硬件。注意到，除了在该抛雪球算法操作和该插值操作之间重复使用该滤波器表的硬件之外或作为其替代，通常还可以在该抛雪球算法操作和该插值操作之间重复使用用于确定样本在一个仓内的相对位置的硬件。

可选地，在该抛雪球算法操作中所使用的该抛雪球算法权重和在该插值操作中所使用的该插值权重是相同的。本发明的此方面基于这样的洞察力：相同的权重可以用于执行该抛雪球算法操作以及用于执行该插值操作，由于这二者本质上是类似操作，所述类似操作在本上下文中也一方面在图像上操作，且另一方面在相对于图像的两个空间维度和范围维度具有下采样维度的多维体积上操作。通过使用相同的权重，两个操作的实施方式相当更有效。

可选地，在该抛雪球算法操作中所使用的该抛雪球算法权重以及在该插值操作中所使用的该插值权重表示相对于该图像的该坐标系的线性插值。所述权重因此被选择成使得线性插值被应用于该抛雪球算法操作和该插值操作的相应的体积中沿着所述体积的维度中的每个维度的数据。例如，对于三维体积，可以使用三线性插值，而对于四维体积(例如，具有两个范围维度)，可以使用四线性插值。已经发现，线性插值很好地适合于该抛雪球算法操作和该插值操作。替代地，在每个维度中可以使用较高阶插值，包括但不限于立方插值。

可选地，该微处理器通过该软件被配置为在该集成电路的操作期间，在执行该切片操作之前，将时域滤波(temporal filtering)应用于该加权深度总和体积以及该权重总和体积。时域滤波常常被应用于深度映射，以确保时域稳定性。作为对将这样的时域滤波应用于深度映射的附加或替代，用于生成深度映射所使用的体积本身可以被时域滤波。已经发现，这产生更时域稳定的深度映射，同时与图像相比，在计算上有效地实施相对小的体积尺寸。例如，典型的18×12×18的体积含有3,888个待被滤波的数据值，而480×270的图像含有129,600个待被滤波的数据值。由于滤波被特定地应用于体积，所以软件实施方式是可能的。有利地，已经发现，将无限脉冲响应(IIR)滤波器应用于加权深度总和体积改善了在所谓的镜头切换(shot-cut)的情况下所得到的深度映射的时域稳定性，而不需要专用镜头切换处理，例如，涉及专用的镜头切换检测器。该时域滤波可以例如是一阶或更高阶无限脉冲响应滤波器，且可以被实施为体积数据上的其他(非线性)操作的部分。

可选地，该微处理器通过软件配置成在该集成电路操作期间，将时域滤波应用于该经图像适配的深度体积。相较于如关于对该加权深度总和体积以及该权重总和体积的滤波所描述的对实际图像的滤波，这样的时域滤波提供计算复杂度的相当降低。该时域滤波可以是与如关于对该加权深度总和体积或者该权重总和体积的滤波所描述的相同类型。

可选地，该处理子系统被配置为在执行该抛雪球算法操作之后，将该加权深度总和体积与高斯核进行卷积。已经发现，这样的卷积改善了该深度映射的品质。

可选地，该模板深度映射相对于该图像具有减少的空间分辨率，例如，具有与该加权深度总和体积以及该权重总和体积的两个空间维度对应的两个空间维度。然后，可以使用与在该抛雪球算法操作中所使用的相同的权重来插值该模板深度映射。

可选地，该联合双边滤波器仅被应用于该图像的亮度数据。可选地，该联合双边滤波器被应用于该图像的亮度数据和色度数据。在后一种情况下，所述体积可以是具有三个范围维度(例如，Y、U和V维度)的五维体积。

可选地，该集成电路是现场可编程门阵列或现场可编程门阵列的一部分，或是片上系统或片上系统的一部分。该集成电路可以不仅是诸如显示设备或机顶盒的设备的一部分，而且是在内部使用该集成电路来通过估计深度映射将2D视频转换成3D视频的其他设备的一部分。

本发明的另一方面提供了一种用于从图像估计深度映射的计算机实施的方法，该方法包括：

-访问该图像的图像数据；

-访问一个模板深度映射的深度数据，该模板深度映射表示一个待被适配到该图像数据的模板；

-使用该图像数据作为联合双边滤波器中的一个范围项来将该联合双边滤波器应用于该模板深度映射，从而获得一个经图像适配的深度映射作为输出，其中应用该联合双边滤波器包括：

-将一个加权深度总和体积以及一个权重总和体积初始化为存储器中的相应的空数据结构，所述体积中的每个包括：

其中所述体积的单元格限定该图像的一个坐标系中的仓，该坐标系是相对于该图像的所述两个空间维度和该图像数据的该范围维度限定的；

-执行抛雪球算法操作以填充所述体积，其中该抛雪球算法操作包括对于该图像中的每个像素：

其中在该抛雪球算法操作中的所述贡献包括：

-从该模板深度映射获得该像素的一个深度值；

-对于邻近的仓中的每个：

-通过该抛雪球算法权重来加权该深度值，

-对于该加权深度总和体积中的每个仓以及该权重总和体积的对应的仓，通过将累积的加权深度值除以该累积的权重来执行切片操作，以获得一个经图像适配的深度体积；

-执行插值操作以获得该图像中的每个像素的经图像适配的深度映射的经图像适配的深度值，其中该插值操作包括：

本发明的另一方面提供了一种计算机可读介质，该计算机可读介质包括表示被布置成导致处理器系统执行所述方法的指令的暂时性或非暂时性数据。

本领域技术人员将理解，本发明的上文提及的实施方案、实施方式和/或方面中的两个或更多个可以以任何被认为有用的方式组合。

对应于所描述的该集成电路的改型和变化的方法的改型和变化可以由本领域技术人员基于本描述来执行。

附图说明

通过参考下文中所描述的实施方案，本发明的这些和其他方面将变得明显且将被阐明。在附图中，

图1示意性地示出了被配置为以计算有效的方式从图像估计深度映射的集成电路；

图2例示了图像和体积之间的关系，该关系可以被用来在抛雪球算法操作期间累积权重和加权深度值，且该关系可以保持深度值以用于插值操作；

图3A示出了抛雪球算法操作的一个简化实施例；

图3B示出了例示用于抛雪球算法操作和插值操作的仓寻址和相关联的权重的一个详细实施例；

图4例示了抛雪球算法操作的多个方面；

图5至图7例示了插值操作的多个方面；

图8示出了一种用于从图像估计深度映射的方法；以及

图9示出了包括用于导致处理器系统执行该方法的指令的计算机可读介质。

应注意，在不同的图中具有相同参考数字的项具有相同的结构特征和相同的功能，或是相同的信号。在已经解释这样的项的功能和/或结构的情况下，没有必要在具体实施方式中对其进行重复解释。

参考和缩写列表

提供下面的参考和缩写列表以便于解释附图，且不应将其解释为限制权利要求。

010 图像数据

020 深度体积输入数据

022 深度输出数据

024 模板深度数据

026 插值模板深度数据

030 权重总和体积数据

032 加权深度总和体积数据

052 权重与体积索引数据

054 权重数据

100 集成电路的处理子系统

110 图像数据输入接口

120 深度体积数据输入接口

122 深度数据输出接口

130-132 体积数据输出接口

140 抛雪球算法块

150 加权块

160 插值块

170 2D插值块

180 控制逻辑

200 图像

210 水平维度

220 竖直维度

250 亮图像补片的映射

260 暗图像背景的映射

300 图像的体积表示

310 水平维度

320 竖直维度

330 范围维度

400 维度(水平、竖直或范围)

410 系列深度样本

420 抛雪球累积间隔

430 加权函数

440 仓间隔

442 边缘仓

444 非边缘仓

500 用于从图像估计深度映射的方法

510 访问图像数据

520 访问深度数据

530 应用联合双边滤波器

540 初始化体积

550 抛雪球算法操作

560 切片操作

570 插值操作

600 计算机可读介质

610 表示指令的非暂时性数据

具体实施方式

图1示意性地示出了集成电路的处理子系统100，该集成电路被配置为以计算有效的方式从图像估计深度映射。处理子系统100被示出为功能块图，且可以由部件(诸如，微处理器、专用硬件电路和一个或多个本地存储器)来体现。该集成电路可以包括图1中未示出的其他部件，包括但不限于其他微处理器、总线系统、其他存储器等。通常，该集成电路可以被实施为现场可编程门阵列(FPGA)或片上系统(SoC)，或被实施为现场可编程门阵列(FPGA)或片上系统(SoC)的一部分，或以任何其他合适的方式来实施。

处理子系统100被示出为包括图像数据输入接口110，经由该图像数据输入接口110可以从存储器读取图像数据010，例如，经由直接存储器访问(DMA)通信。例如，该图像数据可以是亮度输入数据Y_in。在这方面，注意到，处理子系统100的图像数据输入接口110和其他接口可以包括或被连接至充当缓存器的本地存储器，该缓存器贯穿图1中被标注为“Buf”。

处理子系统100还被示出为包括：深度体积数据输入接口120，经由深度体积数据输入接口120可以从存储器读取深度体积数据020；以及深度数据输出接口122，经由深度数据输出接口122可以将深度数据022写入到存储器。处理子系统100还被示出为包括相应的体积数据输出接口130、132，用于将权重总和体积数据030以及加权深度总和体积数据032写入到存储器。

处理子系统100的其他功能块包括：抛雪球算法块140，与体积数据输出接口130、132通信；插值块160，与深度数据接口120、122通信；加权块150，与图像数据输入接口110通信且将加权与体积索引数据052提供至抛雪球算法块140与插值块160；2D插值块170，从控制逻辑180接收模板深度数据024且从加权块150接收加权数据054，且将经插值的模板深度数据026提供至抛雪球算法块140。

在一个实施方案中，如图1中所示出的处理子系统100可以被实施为专用硬件电路。此外，可以在该集成电路中设置单独的微处理器(未示出在图1中)，该微处理器被配置为执行切片操作，如以后所讨论的。出于此目的，该微处理器可以访问存储器，例如，经由DMA。替代地，该切片操作也可以由专用硬件电路来实施。

将参考图2-图7进一步解释处理子系统100及其功能块的操作。在这方面，注意到，在图1中，“*”表示本地缓存器或与体积多维数据表示相关联的接口，如参考图2所解释的。

图2例示了图像200和体积300之间的关系，其中这样类型的体积被用于在抛雪球算法操作期间累积权重以及加权深度值，且保持图像200的像素的深度值以用于插值操作。体积300被示出为具有三个维度。X维度310可以对应于图像200的水平轴线210。Y维度320可以对应于图像200的竖直轴线220。I维度330可以对应于图像的(例如，图像200的诸如但不限于亮度分量的图像分量)范围维度。体积300可以具有相对于图像200的空间维度和范围维度被子采样的尺寸。例如，虽然图像200可以具有480个像素×270行的空间维度(X，Y)以及限定256个值的范围的8位范围维度(I)，但是体积300可以具有18×12×18(X，Y，I)的维度，也就是说，用于空间维度310、320的18×12(X，Y)以及用于范围维度330的18(I)。

体积300的单元格可以表示仓。在抛雪球算法操作期间，这样的仓可以限定用于累积图像200的深度信息的累积间隔。在此，在累积与一个特定像素相关联的权重或加权深度值时所使用的仓是根据该像素的空间坐标及其范围值选择的。例如，图像200的亮度值可以确定该仓沿着体积300的I维度330的坐标，因为暗图像内容的深度信息可以被累积在体积300的‘较低’仓中，如由箭头260所例示的，而亮图像内容的深度信息可以被累积在体积300的‘较高’仓中，如由箭头250所例示的。此外，图像内容的空间位置可以限定该仓沿着体积300的空间维度310、320的位置。因此，图像200的像素的空间坐标和范围值的组合(即，该像素在该图像的(至少)3D坐标系中的坐标)可以确定在抛雪球算法操作期间权重或加权深度值被累积在体积300的哪个(哪些)仓中，或哪个(哪些)仓保持像素的深度值以用于通过插值操作进行插值。

对仓的此确定本质上可以涉及将像素的空间坐标和范围值映射到体积的坐标空间中的坐标，且基于像素在该体积中的相对位置来识别将在抛雪球算法和插值期间所使用的仓。实际上，在抛雪球算法期间，邻近的仓可以被识别，以基于像素的抛雪球算法足迹来确定该像素对哪些仓有贡献(其中‘贡献’是权重或加权深度值的累积)，而在插值期间，邻近的仓可以被识别，以基于像素在一个体积内的相对位置来确定将在哪些仓之间执行插值。出于此目的，可以使用映射函数，该映射函数将像素的空间坐标和范围值映射到体积的坐标空间中的坐标，然后后者坐标直接指示邻近的仓。

由于子采样，图像200的多个像素可以对体积300的单个仓有贡献，因为它们的深度值可以至少部分地被累积在该单个仓中。相反，单个像素可以对体积300的几个仓有贡献，因为其在体积的坐标系中的坐标可以位于体积300的几个单元格之间。这样，当在体积300中累积像素的深度值时，该深度值可能必须被加权以考虑对体积300的几个单元格的贡献。这也被称为“抛雪球算法”。

图3A例示了沿着单个维度K 400的这样的抛雪球算法操作。此维度K可以是水平维度(X)、竖直维度(Y)或亮度维度(I)。对于此解释，维度K 400被认为表示亮度维度I。首先，此维度被划分为仓440，例如，通过对亮度维度I的子采样，例如，从256个值(8位，0到255)下至十六个宽度16的仓。如本身已知的，每个仓是一个可以保持一个特定值或累积值总和的存储元件。注意到，出于例示目的，且特别是为了改善图的可见性，在图3A和下面中，示出了一个像素合并(binning)，该像素合并仅涉及总共十二个仓：十个‘正常’仓[1]至[10]和两个所谓的‘边缘仓’[0]和[11]。注意到，将进一步参考图3B解释边缘仓[0]和[11]的不同尺寸和目的。

下面参考直方图操作例示了抛雪球算法操作。一个常规直方图可以被获得如下：对于一个图像的每个像素，可以确定其亮度值落在哪个单个仓内。然后，那个仓的值可以被增加，例如，增加1。结果，该亮度值相对于与该仓相关联的亮度间隔的相对位置可以是无关的。例如，如果一个仓限定用于累积的[0...7]的亮度间隔，则落在此仓内的所有亮度值可以导致相同的增加，即，增加1，而不管亮度值是落在该仓的中心内(例如，亮度值3和4)还是落在该仓的边缘(例如，亮度值0和7)处。

可以使用抛雪球算法技术来获得更好的(例如，更准确的)直方图表示。即，可以通过加权来考虑亮度值在一个仓内的相对位置。在这样的抛雪球算法技术中，可以通过明确地或隐含地将一个足迹指派到像素沿着亮度维度的坐标(例如，指派到亮度值)来确定被‘抛雪球’的像素的贡献。通过抛雪球算法的累积可以被执行如下：对于一个像素的亮度值，确定该像素对哪些邻近的仓有贡献，其中“贡献”指的是一个仓至少部分地落在该像素的足迹内。然后，邻近的仓中的值可以被增加相应的权重，所述权重取决于该亮度值相对于两个仓的相对位置。例如，当该亮度值在中心处落在一个‘目前的’仓内时，对那个仓的贡献可能是‘高’，而对‘前一个’(较低)仓和对‘下一个’(较高)仓的贡献可能是低。类似地，当一个亮度值落在两个仓之间时，对每个仓的贡献可以是“高”值的一半。

前面提及的位置相关的加权可以使这样的基于足迹的对仓的贡献体现。注意到，由于加权仅限定在一个特定间隔内对一个仓的贡献，因此，此间隔也可以被认为表示特定的仓的‘累积间隔’。例如，‘目前的’(或‘当前的’)仓的累积间隔可以被认为包括该目前的仓，同时也延伸到前一个仓和下一个仓内的中途。因此，在前一个仓的中途开始，对目前的仓的贡献可以从零缓慢增加到目前的仓内在中心处的最大值，且然后缓慢减小到下一个仓的中途的零。

作为使用抛雪球算法操作的结果，仓中的累积值可以表示直方图的更准确的表示。

在抛雪球算法操作的一个具体且有效的实施方式中，足迹被认为至多对两个邻近的仓有贡献，例如，通过具有与一个仓的尺寸对应的尺寸或更小。在此情况下，一个像素至多对仓[n]和仓[n+1]的贡献最大，其中n是体积的坐标系中的仓索引或坐标。第一仓在下面可以被称为“当前的”仓，且第二仓可以被称为“下一个”仓。

一个特别具体且有效的实施方式将仓的累积间隔限定成使得在目前的仓内一个像素的贡献仅是对目前的仓和下一个仓。然而，此实施方式可以被认为具有相对于人们将直觉地理解像素的贡献所位于的位置的半个仓的“偏离”。即，在此具体实施方式中，不是在仓的中间处而是在其最低边界处获得对仓的最大贡献。以此方式限定仓的原因是在抛雪球算法操作和插值操作之间允许更多硬件重复使用，例如，当考虑权重的计算和存储和/或相对于一个仓的相对位置的计算时。

作为一个实施例，在图3A中考虑亮度值p0的情况，该亮度值p0是仓[5]的左侧处的亮度值。根据加权函数430，此相对位置可以对仓[5]贡献“高”权重(虚线在最大值处/在最大值附近)，且对仓[6]贡献“低”权重(虚线在零处/在零附近)。接下来，考虑亮度值p1的情况，该亮度值p1在仓[5]的中间处。此相对位置可以对仓[5]和[6]贡献相同的权重(‘高’权重的一半)到。最后，考虑在仓[5]的右侧处的亮度值p2的情况。此相对位置可以对仓[5]贡献“低”权重，且对仓[6]贡献“高”权重。因此，亮度值的相对位置可以确定亮度值在目前的仓和下一个仓中累积所使用的权重。从而，图3A的实施例例示了根据亮度值从对仓[5]的最大贡献到对仓[6]的最大贡献的线性“淡出淡入(fade-over)”。

应理解，在此具体且有效的实施方式中，其中在目前的仓内具有亮度值的像素仅对目前的仓和下一个仓有贡献，与仓[5]相关联的累积间隔可以是跨越仓[5]及其前一个仓的间隔，例如，对应于图3A中的覆盖仓[4]和仓[5]的虚线的间隔。同样，与仓[6]相关联的累积间隔可以是跨越仓[6]及其前一个仓的间隔，例如，对应于图3A中的覆盖仓[5]和仓[6]的虚线的间隔。

图3B示出了一个类似的实施方案的更多细节，但是该实施方案被应用于在相应的体积中加权深度值以及权重的累积，即前面提及的加权深度总和体积以及权重总和体积。

在此实施例中，两个体积具有18×12×18个仓(X，Y，I)的固定最大尺寸而与图像的尺寸无关，而仓的实际数目可以变化。即，可以在抛雪球算法操作中使用“sizeBinK”参数来限定非边缘仓444的尺寸，从而确定使用了多少个仓。此尺寸可以是2的幂，以降低实施方式的复杂性。在一个维度的边缘处的两个仓的尺寸“edgeBinK”可以变化，以允许维度尺寸的任何值。图3B示出了下边缘仓442。例如，如果图像宽度是480且sizeBinX被选择为32，则可以存在14个非边缘仓和2个边缘仓，每个边缘仓具有(480-14*32)/2＝16的宽度。在另一实施例中，如果图像高度是270且sizeBinY是32，则边缘仓中的每个的宽度可以是(270-8*32)/2＝7。这样，边缘仓的使用允许非边缘仓具有等于2的幂的尺寸，从而简化了实施方式复杂性。即，可以通过简单的偏移操作来执行固定点算术中的归一化。此外，使用两个边缘仓(在上端和下端处)已经示出产生更好的滤波器结果，因为边缘仓与图像的边缘重合。因此可能期望的是，有意地具有一定尺寸的边缘仓。例如，已经发现，边缘仓是常规非边缘仓的一半尺寸可能是优选的，同时最小具有常规仓尺寸的1/4和最大具有常规仓尺寸的3/4。

图3B还示出了用于抛雪球算法和深度插值的仓寻址以及相关联的权重的一个实施例。为了易于理解，图3B仅示出了单个维度。此维度可以是图像位置的X、Y或范围尺度。具体地，图3B示出了在所指示的索引位置[0]...[12]处的深度样本的位置410，例如，对应于样本沿着输入深度映射中的一个行的位置，例如，如从图1的模板深度数据024获得的。对于每个索引位置，示出了对应的抛雪球累积间隔420、对于抛雪球算法和深度分布插值(由图1中的参考数字170指示)通过加权函数430所确定的权重、以及仓间隔440。图3B将被解释如下。对于一个给定的索引位置，例如，索引位置[7]，限定一个由相同的数字[7]表示的累积间隔，以及以与累积间隔[7]相同的行型(line-style)所示出的对应的加权函数430。加权函数430表示权重“f”，该权重“f”从累积间隔[7]的边缘处的0线性转变到累积间隔[7]的中心处的1。在相同的累积间隔[7]内，还示出了权重“1-f”，该权重“1-f”在累积区间[7]的左半部分中表示深度样本[6]在其中途的重叠累积间隔[6]中的权重，且该权重“1-f”在累积间隔[7]的右半部分上表示深度样本[8]在其中途的重叠累积间隔[8]中的权重。

可以看到，累积间隔以及权重被选择成使得，对于沿着所示出的维度的给定的位置p，权重总和体积的仓可以根据SW[x]+＝f和SW[x+1]+＝(1-f)来累积，而加权深度总和体积的仓可以根据SWD[x]+＝f*d_p和SWD[x+1]+＝(1-f)*d_P来累积。在此，位置p确定仓x，x在此实施例中是[6]，且根据d_p＝(1-f)*D[x]+f*D[x+1]通过深度分布插值(图1中的‘170’)从深度映射D获得深度值d_p。注意到，这仅是针对单个维度；通常，仓的寻址基于图像的空间维度X、Y和一个或多个范围维度I，从而通常还取决于图像数据本身。

注意到，可以用归一化表达式将权重‘f’和‘(1-f)’计算为固定点值。例如，在二进制点之后3位的情况下，8的值表示‘1’，因此‘f’在范围[0..8]内。在一个具体实施例中，如果假设将计算dp＝(f-1)*D[x]+f*D[x+1]，其中D[x]是24、D[x+1]是8且f是6，则‘dp’可以被计算为((8-6)*24+6*8)/8＝96/8＝12。除以8是归一化步骤。此实施例还在图5的表中示出在Y位置10上。在此图和其他图中以及在整个文本中，‘wny’和‘wpy’表示在此归一化之前‘f’和‘(1-f)’的固定点值。

在一个具体且有效的实施方案中，最大权重可以对应于仓的尺寸，例如，对于8的仓尺寸，最大权重是8。因此，亮度值中的每个步长导致两个邻近的仓中的每个仓的权重中的步长。类似地，(x或y)位置中的每个步长导致两个相应的邻近的仓中的每个仓的权重中的步长。

图4例示了沿着单个维度填充加权深度总和(SWD)及权重总和(SW)的抛雪球算法操作。在此实施例中，选择竖直Y轴，其中仓的尺寸是8(“sizeBinY”)，且第一仓具有的尺寸是4(“edgeBinY”)。“Yposition(Y位置)”仅仅是行编号。图4的表示出了针对具有索引1的binY中的行的插值。“factorY”是仓内的一个行的相对位置。基于“factorY”值，导出两个权重“wpy”和“wny”，它们涉及如图3B所描述的互补权重“f”和“1-f”，但是现在被表示为用于‘下一个’仓的权重“wny”和用于‘目前的’仓的权重“wpy”，其中‘下一个’和‘目前的’指的是两个连续且空间上邻近的仓。抛雪球算法本质上是下采样函数，通过该下采样函数将高分辨率输入转换到低分辨率输出。在此实施例中，binY编号1内的所有行具有输入深度值“20”。根据行位置，权重逐渐从仓1偏移到仓2。这样，在行编号4(其是仓1中的第一行)上，完整值被累积到仓1且没有值被添加到仓2，这通过两个箭头例示在图4中。在行编号8(在仓的中途)，50％的值被添加到仓1且50％被添加到仓2。此方式实现了仓之间的线性淡出淡入。使用权重，SW(权重总和)体积的单元格仅累积所应用的权重，而SWD(加权深度总和)体积的单元格累积深度值乘以权重(“加权深度”)。

总之，对于图像中的每个像素，抛雪球算法操作可以涉及确定像素在图像的坐标系中的坐标，该坐标系例如呈(X，Y，I)坐标、(X，Y，R，G，B)坐标或(X，Y，I，U，V)坐标的形式。在后者中，(I，U，V)指的是YUV信号的分量，其中Y(亮度)分量被称为I(强度)以区别于Y空间维度。然后可以确定权重总和体积中的哪些邻近的单元格表示与像素相关联的累积间隔。如果深度映射具有比图像低的空间分辨率，则可能可以使用插值来从深度映射获得像素的深度值。对于邻近的单元格中的每个，可以获得用于加权深度值的权重。可以基于像素相对于一个相应的单元格的累积间隔的相对位置(如由坐标所指示的)来(预先)计算权重。然后可以通过权重对深度值进行加权并且在加权深度总和体积的相应的单元格中累积该深度值，其中权重本身被累积在权重总和体积的一个对应的单元格中。

注意到，对于单个维度，线性插值要求2个值。类似地，对于两个维度，双线性插值要求4个值。对于3个维度的体积，三线性插值使用8个值。权重可以是根据样本在一个仓内的相对位置预先计算的值。假使深度映射相对于图像具有降低的空间分辨率，且特别是与加权深度总和体积以及权重总和体积相同的降低的空间分辨率，可以使用与抛雪球算法操作中所使用的相同的权重来在抛雪球算法操作之前将深度映射插值到图像分辨率。这在图1中由加权块150例示，加权块150将权重数据054提供到2D插值块170，该2D插值块170将深度模板插值到图像分辨率。

在执行抛雪球算法操作之后，可以执行切片操作以获得经图像适配的深度体积。此切片操作可以由通过软件配置的微处理器来执行，该微处理器未被明确地示出在图1中，但是该微处理器可以访问存储器，例如，经由DMA通信。该切片操作可以包括对于加权深度总和体积中的每个单元格以及权重总和体积的对应的单元格，将累积的加权深度值除以累积的权重。作为此除法的结果，每个仓现在包含一个经图像适配的深度值，因此总体体积表示一个经图像适配的深度体积。

在执行切片操作之后，可以执行插值操作以获得图像中的每个像素的经图像适配的深度映射的经图像适配的深度值。此插值操作可以包括识别经图像适配的深度体积中的邻近的单元格(其基于所述单元格表示基于像素的坐标，像素在加权深度总和体积中的累积间隔)，且应用插值滤波器到经图像适配的深度体积的邻近的单元格，其中对于单元格中的每个，该插值滤波器包括基于像素相对于一个相应的单元格的累积间隔的相对位置(如由坐标所指示的)所确定的权重。换句话说，像素的位置(如由其空间坐标和其范围值所确定的)可以确定待在插值中所使用的仓，而仓中的一个像素的相对位置可以确定插值权重。权重可以被预先计算。特别地，权重可以是与还在抛雪球算法操作中使用的相同的权重，和/或可以使用相同的硬件电路来存储或计算权重。

图5以与图4例示抛雪球算法的方式类似的方式例示了插值操作。在此，权重被用来从经图像适配的深度体积对输出深度值进行插值。如当将图5和图4进行比较时可以看到的，相同的权重被用于仓内的一个特定相对位置。这在图1中由加权块150例示，该加权块150将相同的权重以及体积索引数据052提供到插值块160和抛雪球算法块140。该表的右侧部分示出了如何在输入深度值24和8上施加权重。例如，Y位置7上的插值产生((5×24+3×8))/8＝18。

图6以图形方式示出了在图4和图5中使用的两个权重，即，竖直轴线上的“wpy”和“wpy”的值作为水平轴线上的行编号Y的函数。权重“wpy”被应用在“目前的”值上，而权重“wny”被应用在“下一个”值上。图7对应于图6，但是附加地示出了如图5中所示出的如在输入深度值24和8之间所获得的插值输出—可以看到，权重被计算以便在输入深度值之间提供线性减弱(linear fading)。除了线性减弱之外，还可以使用更高阶的插值函数，例如，三次或样条插值。

通常，注意到，所描述的体积的X或Y维度中的仓的尺寸可以总是2的幂，因为在此情况下，插值(例如，固定点三线性插值)可以使用用于归一化的偏移操作，这导致硬件成本的显著降低。这可能导致根据图像尺寸所需要的可变数目的仓。随着仓尺寸改变，可能影响滤波器性能。然而，实验示出，这并没有显著影响视觉性能。此外，使用可变数目的仓而不是固定数目的仓不会显著影响硬件设计。X或Y维度中的仓的尺寸可以由硬件参数指定，而分析选择哪个值可以留给例如微处理器的软件。

应理解，通常，处理子系统可以与所描述的集成电路单独提供，例如，在另一种类型的SoC中。

数据可以被设置在计算机可读介质上，该数据可以以网表和/或可综合RTL的形式限定处理子系统。该计算机可读介质从而存储在该计算机可读介质上的数据可以是暂时性的或非暂时性的。例如，该处理子系统可以被设置为可综合核心，例如，以硬件描述语言(诸如，Verilog或VHDL)，或作为通用门级网表，所述通用门级网表提供被实施为通用门或过程特定标准单元格的RTC IP块的逻辑功能的布尔代数表示。

术语‘映射’指的是按行和列布置的数据。此外，形容词‘深度’应被理解为指示图像到摄像机的部分的深度。因此，深度映射可以由深度值构成，但是也可以由例如差距值或视差偏移值构成。实质上，深度映射因此可以构成差距映射或视差偏移映射。在此，术语差距指的是当用用户的左眼或右眼感知时对象的位置差别。术语视差偏移指的是对象在两个视图之间的位移，以便向用户提供所述差距。差距和视差偏移通常与距离或深度负相关。用于在所有以上类型的映射和/或值之间进行转换的设备和方法是已知的。

图8示出了用于从图像估计深度映射的计算机实施的方法500。方法500被示出为在题为“ACCESSING IMAGE DATA”的操作中访问510图像的图像数据，在题为“ACCESSINGDEPTH DATA”的操作中访问520模板深度映射的深度数据，在题为“APPLIYINGJOINTBILATERAL FILTER”的操作中使用图像数据作为联合双边滤波器中的范围项，应用530联合双边滤波器到模板深度映射，从而获得经图像适配的深度映射作为输出，其中应用联合双边滤波器包括，在题为“INITALIZING VOLUMES”的操作中，初始化540加权深度总和体积以及权重总和体积作为存储器中的相应的数据空结构，在题为“SPLATTINGOPERATION”的操作中，执行550抛雪球算法操作以填充所述体积，在题为“SLICINGOPERATION”的操作中，执行560切片操作以获得经图像适配的深度体积，以及在题为“INTERPOLATION OPERATION”的操作中，执行570插值操作以获得图像中的每个像素的经图像适配的深度映射的经图像适配的深度值。将理解，以上操作可以以任何合适的顺序(例如，连续地、同时地或其任何组合)执行，在适用的情况下，遵循必需的特定顺序，例如，通过输入/输出关系。例如，操作510和520可以并行地或顺序地执行。

方法500可以被实施在处理器系统上，例如，在计算机上作为计算机实施的方法、作为专用硬件、或作为二者的组合。还如图9中所例示的，用于计算机的指令(例如，可执行代码)可以被存储在计算机可读介质600上，例如，以一系列610机器可读物理标记的形式和/或作为一系列具有不同的电学(例如，磁性或光学)属性或值的元件。可执行代码可以以暂时性或非暂时性的方式存储。计算机可读介质的实施例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。图9示出光盘600。

应注意，上文提及的实施方案例示而不是限制本发明，且本领域技术人员将能够设计许多替代实施方案。

在权利要求书中，放置在括号之间的任何参考符号不应被解释为限制权利要求。动词“包括”及其词形变化的使用不排除除权利要求中陈述的那些元件和步骤以外的元件或步骤的存在。在元件之前的冠词“一(a)”或“一个(an)”不排除多个这样的元件的存在。可借助于包括若干不同元件的硬件以及借助于适当地编程的计算机实施本发明。在列举了若干装置的设备权利要求中，这些装置中的若干个可以由同一个硬件项来体现。在相互不同的从属权利要求中引用某些措施这一纯粹事实并不指示这些措施的组合不能被有利地使用。

Claims

1.一种被配置为从图像估计深度映射的集成电路，该集成电路包括一个存储器或被连接至一个存储器，该集成电路包括：

-一个图像数据接口，被配置为访问该图像的图像数据；

其中在该抛雪球算法操作中的所述贡献包括：

-从该模板深度映射获得该像素的一个深度值；

-对于邻近的仓中的每个：

-通过该抛雪球算法权重来加权该深度值，

-将加权深度值累积在该加权深度总和体积的相应的仓中，且将该抛雪球算法权重累积在该权重总和体积的对应的仓中；

-对于该加权深度总和体积中的每个仓以及该权重总和体积的对应的仓，通过将累积的加权深度值除以累积的权重来执行切片操作，以获得一个经图像适配的深度体积；

2.根据权利要求1所述的集成电路，其中该处理子系统包括一个专用硬件电路和一个通过软件能配置的微处理器，其中：

-该专用的硬件电路被配置为执行该抛雪球算法操作和该插值操作；且

-该微处理器通过该软件配置成在该集成电路的操作期间执行该切片操作。

3.根据权利要求2所述的集成电路，其中该专用硬件电路包括一个滤波器表，用于存储在该抛雪球算法操作中所使用的抛雪球算法权重和/或在该插值操作中所使用的插值权重。

4.根据权利要求3所述的集成电路，其中该滤波器表被加载有在该抛雪球算法操作中所使用的抛雪球算法权重以及在执行相应的操作之前在该插值操作中所使用的插值权重。

5.根据权利要求1至3中的任一项所述的集成电路，其中在该抛雪球算法操作中所使用的抛雪球算法权重以及在该插值操作中所使用的插值权重是相同的。

6.根据权利要求1至5中的任一项所述的集成电路，其中在该抛雪球算法操作中所使用的抛雪球算法权重以及在该插值操作中所使用的插值权重表示相对于该图像的该坐标系的线性插值。

7.根据从属于权利要求2的权利要求2至6中的任一项所述的集成电路，其中该微处理器通过该软件被配置为在该集成电路的操作期间，在执行该切片操作之前，将时域滤波应用于该加权深度总和体积以及该权重总和体积。

8.根据权利要求7所述的集成电路，其中该时域滤波是一阶或更高阶无限脉冲响应滤波器。

9.根据权利要求1至8中的任一项所述的集成电路，其中该处理子系统被配置为在执行该抛雪球算法操作之后，将该加权深度总和体积与高斯核进行卷积。

10.根据权利要求1至9中的任一项所述的集成电路，其中该集成电路是现场可编程门阵列或是现场可编程门阵列的一部分。

11.根据权利要求1至9中的任一项所述的集成电路，其中该集成电路是一个片上系统或是一个片上系统的一部分。

12.一种设备，包括根据权利要求1至11中的任一项所述的集成电路。

13.根据权利要求12所述的设备，所述设备是一个显示设备或机顶盒。

14.一种用于从图像估计深度映射的计算机实施的方法，该方法包括：

-访问该图像的图像数据；

-使用该图像数据作为联合双边滤波器中的一个范围项来将该联合双边滤波器应用于该模板深度映射，从而获得一个经图像适配的深度映射作为输出；其中应用该联合双边滤波器包括：

其中在该抛雪球算法操作中的所述贡献包括：

-从该模板深度映射获得该像素的一个深度值；

-对于邻近的仓中的每个：

-通过该抛雪球算法权重来加权该深度值，

15.一种计算机可读介质，包括表示被布置成导致处理器系统执行根据权利要求14所述的方法的指令的暂时性或非暂时性数据。