CN106537462B - 利用深度或视差对来自图像的视图插补进行自适应网格重构 - Google Patents

Abstract

多种方法和系统可以提供用于为第一图像创建非均匀网格，所述非均匀网格包括与所述第一图像中的一个或多个边界对准的多个顶点。另外，可以获得至少与所述第一图像相关联的样本数据，其中，所述样本数据对应于所述多个顶点。在一个示例中，至少部分地基于所述样本数据来合成第二图像，其中，合成所述第二图像包括对在所述第二图像中未被遮挡并且在所述第一图像中被遮挡的一个或多个区域进行渲染。

Description

利用深度或视差对来自图像的视图插补进行自适应网格重构

相关申请的交叉引用

本申请要求于2014年6月3日提交的美国非临时专利申请号14/294,309的优先权权益。

发明背景

诸如虚拟游览和/或“飞越”模拟之类的基于图像的渲染应用可以从各种视点捕获三维(3D)场景的图像，并使用所捕获的图像来合成表示3D场景的中间视点的图像(例如“视图插补”)。用于视图插补的常规方法可以涉及：根据将样本位置映射到所捕获的图像的像素上的均匀且相对稀疏的网格从所捕获的图像中采样视差和/或深度信息。然后，所采样的深度/视差信息可以用于使所捕获的图像变形并对合成的图像进行渲染(例如通过使用约束优化技术将深度/视差信息平滑地传播到所有其他图像像素上)。虽然这种方法在某些情况下可能是合适的，但是仍存在相当大的改进余地。

例如，当中间视点动态改变时，相对于场景中的对象可能出现许多明显的伪像。更具体地，稀疏采样、次优样本放置以及通过对象边界的深度/视差值的平滑传播可能导致对象边界周围的不正确变形。另外，传统的连续性和平滑性假设可能不考虑当视点改变时在对象之间发生的遮挡。因此，即使在中间视点的精确表示中看不到场景的遮挡区域，在合成图像中仍可看到它们(例如看起来只是在尺寸上缩小)。

附图说明

通过阅读以下说明书和所附权利要求书并参考以下附图，实施例的各种优点对于本领域技术人员将变得显而易见，在附图中：

图1是根据一个实施例的映射到所捕获的图像上的非均匀网格的示例的图不；

图2是根据一个实施例的映射到合成图像上的非均匀网格的示例的图示；

图3是根据一个实施例的一种进行视图插补的方法的示例的流程图；

图4是根据一个实施例将变形策略应用到非均匀网格上的示例的图示；

图5A和图5B是根据一个实施例的自适应网格重构方案的示例的图示；

图6是根据一个实施例的一种创建非均匀网格的方法的示例的流程图；

图7是根据一个实施例的视图插补逻辑的示例的框图；

图8是根据一个实施例的具有导航控制器的系统的示例的框图；以及

图9是根据一个实施例的具有小形状因数的系统的示例的框图。

具体实施方式

图1示出了包含被第二对象14部分遮蔽的第一对象12的3D场景的捕获图像10。捕获图像10中反映的场景可以由诸如例如虚拟游览、拟现实游戏和/或飞越模拟器的应用来渲染，其中捕获图像10是从相对于场景的特定视点(例如视角)拍摄到的。捕获图像10可以具有便于生成中间视图的深度信息，或者可以与其他捕获图像相组合以生成中间视图。在所示出的示例中，非均匀网格16被映射到捕获图像10上。非均匀网格16可以具有在多个顶点18(18a-18n)处相交并形成各种多边形(例如矩形)的水平和垂直边缘。此外，多个顶点18可以与捕获图像10中的一个或多个边界对准。

例如，第一顶点18a可以与第二对象14的左上边界对准，第二顶点18b可以与第一对象12的左上边界对准，第三顶点18n可以与第二对象14的右边界对准，等等。边界也可以由例如在噪声图像捕获配置中缺乏图像数据所造成。顶点18可以用于从捕获图像10采样诸如深度、颜色和/或视差(例如相对于另一个捕获图像，未示出)的数据。如将更详细地讨论的，所示出的非均匀网格16使得能够消除当捕获图像10被用于合成具有与捕获10图像的视点不同的视点的另一图像时可能另外出现的伪像。更具体地，将非均匀网格16的顶点18与对象12、14的边界对准可以使得采样数据能够以高精度追踪对象边界，这可以继而使得能够从其他视点正确地显示遮挡。

就这一点而言，图2示出从与捕获图像10(图1)相关联的视点稍微向左的视点拍摄的包含第一对象12和第二对象14的3D场景的合成图像20。因此，合成图像20可以将随后时刻的3D场景表示为在基于图像的渲染应用中的虚拟相机运动的从右向左的转换。因此，可以移动网格16的顶点18，用以考虑所述运动并且准确地渲染3D场景中的对象12、14。

在所示出的示例中，第二对象14的左上边界、第一对象12的左上边界、第二对象14的右边界等等不会由于从接近对象12、14的边界的区域进行采样而不是从捕获图像10(图1)中的其他任意区域进行采样而弯曲或另外变形。另外，在所示出的示例中，被第二对象14部分遮挡的第一对象12的圆并不变形。此外，可以正确地对在捕获图像10(图1)中被遮挡并且在合成图像20中未被遮挡(例如由于虚拟相机运动)的3D场景中的区域22进行渲染，因为顶点18(例如并对应图像样本)与对象12、14的边界紧密相关。可以基于来自另一捕获图像的数据、应用于非均匀网格16的变形策略等或其任何组合，将区域22渲染为多边形。

现在转到图3，示出了一种进行视图插补的方法24。所述方法24可以被实现为可执行软件中的一个或多个模块，所述可执行软件作为逻辑指令集被存储在诸如随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、固件、闪存等的存储器的机器或计算机可读存储介质中、在诸如例如可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)的可配置逻辑中，在诸如例如专用集成电路(ASIC)、互补金属氧化物半导体(CMOS)或晶体管-晶体管逻辑(TTL)技术的使用电路技术的固定功能逻辑硬件中或其任何组合。

所示出的处理框26提供用于为第一图像(例如捕获图像)创建非均匀网格，其中非均匀网格包括与第一图像中的一个或多个边界对准的多个顶点。如将更详细地讨论的，方框26可以涉及迭代过程，其开始于具有相对精细分辨率的均匀网格，并且结束于紧密追踪存在于捕获图像中的边界的非均匀网格。此外，可以离线(例如在后台中，当捕获的图像最初加载时等)进行方框26。可以在方框28处获得与第一图像相关联的样本数据，其中，所述样本数据对应于多个顶点。方框28可以涉及：从适当的存储器位置、寄存器、网络控制器等中检索样本结果；对捕获图像进行采样等等，或其任何组合。

所示出的方框30至少部分地基于样本数据来合成第二图像(例如合成图像)。如已经指出的，第一图像可以与第一视点相关联，并且第二图像可以与不同于第一视点的第二视点相关联。此外，方框30可以涉及对在第二图像中未被遮挡并在第一图像中被遮挡的一个或多个区域进行渲染。未遮挡区域可以基于来自第三图像(例如另一所捕获图像)的数据、应用于非均匀网格的变形策略等或其任何组合而被渲染。

在这点上，图4示出了一个场景，在所述场景中将变形策略应用于非均匀网格16(图1)以获得具有位于对象12、14的边界之外的弯曲段34的修改网格32，并且因此对3D场景的合成图像36的质量具有最小到不可察觉的影响。可替代地，可以使用来自另一捕获图像的样本数据(例如存储在Z缓冲器和/或深度图中的多边形数据，未示出)来渲染未遮挡区域。

图5A证明可以创建具有相对精细分辨率(例如每个像素一个顶点)的均匀网格38并将其映射到捕获图像10上。在所示出的示例中，移除不与捕获的图像10中的一个或多个边界对准的均匀网格38的顶点，用以自适应“网格重构”均匀网格38并创建非均匀网格16。更具体地，可以使用所选择的不连续性测量函数来创建边缘/边界掩模，其中边缘/边界掩模可以实现具有子像素精度的对象边界位置的快速估计。因此，可以容易地构造均匀网格38，并且可以将相应的深度/视差值作为属性分配给均匀网格38的每个顶点。

在一个示例中，自适应网格重构通过首先在对象边界上插入顶点并沿着边界边缘分割网格来迭代地分析均匀网格。边界顶点和边缘可以被标记为边界。当插入新的边界顶点时，其可以与新插入的边缘一起被复制，以便在网格中创建/扩展拓扑切口(例如“孔”)。可以向新边界顶点分配与其边界的边相对应的深度/视差值，同时向重复的顶点分配对应于边界的另一边的值。在一个示例中，在跨过对象边界的每个网格边缘上创建边界顶点。这种顶点的位置可以被计算为边缘与边界的交点。

因此，图5B证明新边界顶点40和网格边缘44可以插入到与另一对象边界46相交的对象边界42上。边界顶点40可以被复制为对象边界46的另一边上的另一个顶点48。因此，与边界顶点40相对应的样本可以从具有边界46的对象获得深度、视差和/或颜色数据，而与顶点48相对应的样本可以从具有边界46的对象获得深度、视差和/或颜色数据。

自适应网格重构还可以移除平滑和/或接近平面的场景几何形状(例如接近的深度值、低不连续性测量值等)的区域中的不必要的顶点，同时保留边界边缘的结构。为了保留边界边缘的结构，移除边界顶点可遵循三个准则：

尊重边界-当移除内部顶点时，边界顶点并不移动。

对称边界变化-边界顶点与其在同一边界的另一侧上的副本一起被移除。相邻边界顶点和/或边缘及其副本可以用相同方式进行变换。

跟随边界-作为边界顶点被移除的结果的边界顶点位移沿着边界移动。

取决于环境，可以使用其他移除顶点的方法。然而，可以用拓扑感知方式执行顶点插入/移除操作，从而产生追踪图像中的对象边界的“流形”网格。此外，可以执行插入/移除操作，直到满足特定标准(例如达到多边形计数或表面误差阈值)。

图6示出了创建非均匀网格的方法50。因此，方法50可以容易地替代已经讨论过的处理框26(图3)。因此，方法50可以被实现为可执行软件中的一个或多个模块，所述可执行软件作为逻辑指令集被存储在诸如RAM、ROM、PROM、固件、闪存等的存储器的机器或计算机可读存储介质中、在诸如例如PLA、FPGA、CPLD的可配置逻辑中、在使用诸如例如ASIC、CMOS或TTL技术的电路技术的固定功能逻辑硬件中或其任何组合。在方框52处可以为第一图像创建均匀网格，其中，所示出的方框53将与所述第一图像中的一个或多个边界对准的一个或多个顶点插入到所述网格中，并且方框54移除所述均匀网格的不与所述第一图像中的一个或多个边界对准的一个或多个顶点。在一个示例中，方框54涉及根据定义多边形计数、表面误差等或其任何组合的标准来移除所述一个或多个顶点。例如，网格中的多边形的数量可以减少(例如经由顶点移除)，直到达到最大表面误差阈值。这种方法可以提供最优数量的顶点。

现在转到图7，示出了视图插补逻辑56(56a-56d)，其中，所示出的视图插补逻辑56一般可以用作被配置为从中间视点渲染合成图像的装置。更具体地，视图插补逻辑56的一个或多个方面可以被实现为固定功能逻辑硬件。在所示出的示例中，网格初始化器56a为第一图像创建均匀网格，并且网格适配器56b将与第一图像中的一个或多个边界对准的一个或多个顶点插入到均匀网格中，并且移除网格的不与第一图像中的一个或多个边界对准的一个或多个顶点。如已经指出的，可以根据定义多边形计数或表面误差中的一者或多者的标准来移除所述一个或多个顶点。因此，所述移除可能导致具有与第一图像中的一个或多个边界对准的多个顶点的非均匀网格。

所示出的视图插补逻辑56还包括用于获得至少与第一图像相关联的样本数据的数据模块56c，其中，样本数据对应于多个顶点。数据模块56c可从适当的存储器位置、寄存器、网络控制器等检索样本结果，对第一图像进行采样等等或其任何组合。另外，图像合成器56d可以至少部分地基于样本数据来合成第二图像。第一图像可以与第一视点相关联，并且第二图像可以与不同于第一视点的第二视点相关联。在一个示例中，图像合成器56d对在第二图像中未被遮挡并且在第一图像中被遮挡的一个或多个区域进行渲染。此外，所述一个或多个区域可以基于来自第三图像(例如另一捕获的图像)的数据或者应用于非均匀网格的变形策略中的一者或多者而被渲染。

图8示出了系统700的一个实施例。在实施例中，尽管系统700不限于此上下文，但系统700可以是媒体系统。例如，系统700可以结合到个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板机、触摸板、便携式计算机、手持式计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视、智能设备(例如智能电话、智能平板或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备等等。因此，系统700可以用如本文所述的进行视图插补。

在实施例中，系统700包括耦合到呈现视觉内容的显示器720的平台702上。平台702可以从内容设备(诸如(多个)内容服务设备730或(多个)内容传递设备740或者其他类似内容源)接收视频码流内容。包括一个或多个导航特征的导航控制器750可以用于例如与平台702和/或显示器720进行交互。以下将更详细地描述这些部件中的每个部件。

在实施例中，平台702可以包括芯片组705、处理器710、存储器712、存储设备714、图形子系统715、应用716和/或无线电718(例如，网络控制器)的任何组合。芯片组705可以在处理器710、存储器712、存储设备714、图形子系统715、应用716和/或无线电718之中提供相互通信。例如，芯片组705可以包括能够提供与存储设备714的相互通信的存储设备适配器(未描绘)。

处理器710可以被实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核或任何其他微处理器或中央处理单元(CPU)。在实施例中，处理器710可以是(多个)双核处理器、(多个)双核移动处理器等。

存储器712可以被实现为易失性存储设备，如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、或静态RAM(SRAM)。

存储设备714可以被实现为非易失性存储设备，如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附加存储设备、闪存、电池应急SDRAM(同步DRAM)和/或可接入网络的存储设备。在实施例中，存储设备714可以包括用于当例如包括多个硬盘驱动器时增加对有价值的数字媒体的存储性能增强型保护的技术。

图形子系统715可以对如用于显示的静态或视频图像执行处理。例如，图形子系统715可以是图形处理单元(GPU)或视觉处理单元(VPU)。因此，图形子系统715可以包括已经讨论的视图插补逻辑56(图7)。此外，处理器710可以被配置为经由从存储器712、存储设备714或其他合适的来源获得的指令进行操作。可以使用模拟或数字接口来通信地耦合图形子系统715与显示器720。例如，接口可以是高清多媒体接口、显示端口、无线HDMI、和/或符合无线HD技术中的任何一个接口。图形子系统715能够集成到处理器电路710或芯片组705中。图形子系统715可以是通信地耦合至芯片组705的独立卡。

在此描述的图形和/或视频处理技术可以用各种硬件架构实现。例如，图形和/或视频功能可以集成到芯片组中。可替代地，可以使用离散图形和/或视频处理器。如又另一种实施例，图形和/或视频功能可以由通用处理器(包括多核处理器)来实现。在进一步的实施例中，所述功能可以在消费电子设备中实现。

无线电718可以是包括能够使用各种合适的无线通信技术发送和接收信号的一个或多个无线电的网络控制器。这类技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括(但不限于)无线局域网(WLAN)、无线个人局域网(WPAN)、无线城域网(WMAN)、蜂窝网和卫星网。在跨这类网络进行通信时，无线电718可以根据任何版本中的一个或多个可适用标准进行操作。

在实施例中，显示器720可以包括任何电视类型的监视器或显示器。显示器720可以包括例如，计算机显示屏、触摸屏显示器、视频监视器、类似电视机的设备和/或电视机。显示器720可以是数字和/或模拟的。在实施例中，显示器720可以是全息显示器。而且，显示器720可以是可以接收视觉投影的透明表面。这种投影可以传达各种形式的信息、图像和/或物体。例如，这种投影可以是针对移动增强现实(MAR)应用的视觉叠加。在一个或多个软件应用716的控制下，平台702可以在显示器720上显示用户界面722。

在实施例中，(多个)内容服务设备730可以由任何国家的、国际的和/或独立的服务托管，并因此例如经由互联网可接入平台702。(多个)内容服务设备730可以耦合至平台702和/或至显示器720。平台702和/或(多个)内容服务设备730可以耦合至网络760以便将媒体信息传达至所述网络760或者从所述网络传达(例如，发送和/或接收)。(多个)内容传递设备740也可以耦合至平台702和/或至显示器720。

在实施例中，(多个)内容服务设备730可以包括有线电视盒、个人计算机、网络、电话、能够传递数字信息和/或内容的支持互联网的设备或电器、以及能够在内容提供方与平台702和/或显示器720之间经由网络760或直接地单向或双向传达内容的任何其他类似设备。应理解的是，内容可以经由网络760被单向地和/或双向地传达到系统700中的部件中的任何一个部件和内容提供方且从系统中的部件中的任何一个部件和内容提供方被传达。内容的示例可以包括任何媒体信息，包括例如视频、音乐、医疗和游戏信息等。

(多个)内容服务设备730接收如包含媒体信息、数字信息和/或其他内容的有线电视节目的内容。内容提供方的示例可以包括任何有线或卫星电视或无线电或互联网内容提供方。所提供的示例不意味着限制实施例。

在实施例中，平台702可以从具有一个或多个导航特征的导航控制器750中接收控制信号。控制器750的导航特征可以用于例如与用户界面722进行交互。在实施例中，导航控制器750可以是定位设备，所述定位设备可以是允许用户输入空间(如连续的和多维的)数据到计算机的计算机硬件部件(特别是人机接口设备)。诸如图形用户界面(GUI)、和电视机以及监视器的许多系统允许用户使用物理姿势来控制计算机或电视机并向计算机或电视机提供数据。

可以通过指针、光标、聚焦环或在显示器上显示的其他视觉指示器的移动在显示器(例如，显示器720)上重复控制器750的导航特征的移动。例如，在软件应用716的控制下，位于导航控制器750上的导航特征可以例如被映射至用户界面722上显示的虚拟导航特征。在实施例中，控制器750可以不是单独的部件，而是集成到平台702和/或显示器720中。然而，各实施例不限于图8中示出或描述的元素或上下文。

在实施例中，驱动器(未示出)可以包括使用户能够通过例如在初始引导后启动的按钮的触摸立刻打开和关闭类似电视机的平台702的技术。当平台被“关闭”时，程序逻辑可以允许平台702将内容流传输到媒体适配器或其他(多个)内容服务设备730或(多个)内容传递设备740。此外，芯片组705可以包括支持例如5.1环绕声音频和/或高清7.1环绕声音频的硬件和/或软件。驱动器可以包括用于集成图形平台的图形驱动器。在实施例中，图形驱动器可以包括外围部件互连(PCI)快速图形卡。

在各种实施例中，系统700中示出的部件中的任何一个或多个部件可以是集成的。例如，平台702和(多个)内容服务设备730可以是集成的，或者平台702和(多个)内容传递设备740可以是集成的，或者平台702、(多个)内容服务设备730和(多个)内容传递设备740可以例如是集成的。在各实施例中，平台702和显示器720可以是集成单元。例如，显示器720和(多个)内容服务设备730可以是集成的，或者显示器720和(多个)内容传递设备740可以是集成的。这些示例不意味着限制实施例。

在各实施例中，系统700可以被实现为无线系统、有线系统、或二者的组合。当被实现为无线系统时，系统700可以包括适合于通过如一个或多个天线、发送器、接收器、收发器、放大器、滤波器、控制逻辑等的无线共享介质进行通信的部件和接口。无线共享介质的示例可以包括无线光谱部分，如RF光谱等。当被实现为有线系统时，系统700可以包括适用于通过有线通信介质(如输入/输出(I/O)适配器、利用相应有线通信介质连接I/O适配器的物理连接器、网络接口卡(NIC)、光盘控制器、视频控制器、音频控制器等)进行通信的部件和接口。有线通信介质的示例可以包括导线、电缆、金属引线、印刷电路板(PCB)、背板、交换光纤、半导体材料、双绞线、同轴电缆、光纤等。

平台702可以建立一个或多个逻辑或物理信道以传达信息。所述信息可以包括媒体信息和控制信息。媒体信息可以指表示针对用户的内容的任何数据。内容的示例可以包括例如，来自语音对话、视频会议、流媒体视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文字等的数据。来自语音对话的数据可以是例如，语音信息、静音期、背景噪音、舒适噪音、声调等。控制信息可以指表示针对自动化系统的命令、指令或控制字的任何数据。例如，控制信息可以用于通过系统路由媒体信息、或者指示节点以预定方式处理所述媒体信息。然而，各实施例不限于图8中示出或描述的元素或上下文。

如上所述，系统700可以用变化的物理风格或形成因子来体现。图9展示了可以用其体现系统800的小形成因数设备700的实施例。例如，在实施例中，设备800可以被实现为具有无线能力的移动计算设备。例如，移动计算设备可以指具有处理系统和移动电源或电源(诸如一个或多个电池)的任何设备。

如上所述，移动计算设备的示例可以包括个人计算机(PC)、膝上计算机、超级膝上计算机、平板机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视、智能设备(例如智能电话、智能平板机或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备等。

移动计算设备的示例还可以包括被安排以由人穿戴的计算机，诸如手腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带夹计算机、臂带计算机、鞋计算机、服装计算机、以及其他可穿戴计算机。在实施例中，例如移动计算设备可以实现为能够执行计算机应用程序、以及语音通信和/或数据通信的智能电话。举例来讲，尽管一些实施例可以用被实现为智能电话的移动计算设备来描述，但可以理解的是，其他实施例也可以使用其他无线移动计算设备来实现。实施例并不局限于本上下文中。

如图9中所示，设备800可以包括：壳体802、显示器804、输入/输出(I/O)设备806、和天线808。设备800还可以包括导航特征812。显示器804可以包括适合于移动计算设备的用于显示信息的任何适当的显示单元。I/O设备806可以包括用于将信息输入移动计算设备中的任何适当的I/O设备。I/O设备806的示例可以包括：字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、摇杆式开关、麦克风、扬声器、语音识别设备和软件等。信息也可以通过麦克风输入到设备800中。这种信息可以由话音识别设备数字化。实施例并不局限于本上下文中。

附加说明和示例：

示例1可以包括一种视图插补系统，所述系统包括用于接收第一图像的网络控制器以及用于为所述第一图像创建非均匀网格的网格适配器，所述非均匀网格包括与所述第一图像中的一个或多个边界对准的多个顶点。所述系统还可以包括用于获得至少与所述第一图像相关联的样本数据的数据模块以及至少部分地基于所述样本数据来合成第二图像的图像合成器，所述样本数据对应于所述多个顶点。

示例2可以包括如示例1所述的系统，其中所述图像合成器对在所述第二图像中未被遮挡并且在所述第一图像中被遮挡的一个或多个区域进行渲染。

示例3可以包括如示例2所述的系统，其中，所述一个或多个区域基于来自第三图像的数据或者应用于非均匀网格的变形策略中的一者或多者而被渲染。

示例4可以包括如示例1所述的系统，所述系统还包括用于为所述第一图像创建均匀网格的网格初始化器，其中，所述网格适配器用于将与所述第一图像中的一个或多个边界对准的一个或多个顶点插入到所述均匀网格中，并且移除不与所述第一图像中的一个或多个边界对准的一个或多个顶点。

示例5可以包括如示例4所述的系统，其中，根据定义多边形计数或表面误差中的一者或多者的标准来移除所述一个或多个顶点。

示例6可以包括如示例1至5中任一项所述的系统，其中，所述第一图像与第一视点相关联，并且所述第二图像与不同于所述第一视点的第二视点相关联。

示例7可以包括一种插补视图的方法，所述方法包括：为第一图像创建非均匀网格，所述非均匀网格包括与所述第一图像中的一个或多个边界对准的多个顶点；获得至少与所述第一图像相关联的样本数据，所述样本数据对应于所述多个顶点；以及至少部分地基于所述样本数据来合成第二图像。

示例8可以包括如示例7所述的方法，其中，合成所述第二图像包括对在所述第二图像中未被遮挡并且在所述第一图像中被遮挡的一个或多个区域进行渲染。

示例9可以包括如示例8所述的方法，其中，所述一个或多个区域基于来自第三图像的数据或者应用于所述非均匀网格的变形策略中的一者或多者而被渲染。

示例10可以包括如示例7所述的方法，其中，创建所述非均匀网格包括：为所述第一图像创建均匀网格；将与所述第一图像中的一个或多个边界对准的一个或多个顶点插入到所述均匀网格中；并且移除不与所述第一图像中的一个或多个边界对准的一个或多个顶点。

示例11可以包括如示例10所述的方法，其中，根据定义多边形计数或表面误差中的一者或多者的标准移除所述均匀网格的所述一个或多个顶点。

示例12可以包括如示例7至11中任一项所述的方法，其中，所述第一图像与第一视点相关联，并且所述第二图像与不同于所述第一视点的第二视点相关联。

示例13可以包括至少一种计算机可读存储介质，所述计算机可读存储介质包括指令集，所述指令当由计算设备执行时使得所述计算设备：为第一图像创建非均匀网格，所述非均匀网格包括与所述第一图像中的一个或多个边界对准的多个顶点；获得至少与所述第一图像相关联的样本数据，所述样本数据对应于所述多个顶点；以及至少部分地基于所述样本数据来合成第二图像。

示例14可以包括如示例13所述的至少一种计算机可读存储介质，其中，所述指令当被执行时使计算设备对在所述第二图像中未被遮挡并且在所述第一图像中被遮挡的一个或多个区域进行渲染。

示例15可以包括如示例14所述的至少一种计算机可读存储介质，其中，所述一个或多个区域基于来自第三图像的数据或者应用于非均匀网格的变形策略中的一者或多者而被渲染。

示例16可以包括如示例13所述的至少一种计算机可读存储介质，其中，所述指令当被执行时使得计算设备：为第一图像创建均匀网格；将与所述第一图像中的一个或多个边界对准的一个或多个顶点插入到所述均匀网格中；以及移除不与所述第一图像中的一个或多个边界对准的一个或多个顶点。

示例17可以包括如示例16所述的至少一种计算机可读存储介质，其中，根据定义多边形计数或表面误差中的一者或多者的标准来移除所述一个或多个顶点。

示例18可以包括如示例13至17中任一项所述的至少一种计算机可读存储介质，其中，所述第一图像与第一视点相关联，并且所述第二图像与不同于所述第一种视点的第二视点相关联。

示例19可以包括一种视图插补装置，所述装置包括：用于为第一图像创建非均匀网格的网格适配器，所述非均匀网格包括与所述第一图像中的一个或多个边界对准的多个顶点；用于获得至少与所述第一图像相关联的样本数据，所述样本数据对应于所述多个顶点；以及用于至少部分地基于所述样本数据来合成第二图像的图像合成器。

示例20可以包括如示例19所述的装置，其中，所述图像合成器对在所述第二图像中未被遮挡并且在所述第一图像中被遮挡的一个或多个区域进行渲染。

示例21可以包括如示例20所述的装置，其中，所述一个或多个区域基于来自第三图像的数据或应用于非均匀网格的变形策略中的一者或多者而被渲染。

示例22可以包括如示例19所述的装置，还包括用于为所述第一图像创建均匀网格的网格初始化器，其中，所述网格适配器用于将与所述第一图像中的一个或多个边界对准的一个或多个顶点插入到所述均匀网格中，并且移除不与所述第一图像中的一个或多个边界对准的一个或多个顶点。

示例23可以包括如示例22所述的装置，其中，根据定义多边形计数或表面误差中的一者或多者的标准来移除所述一个或多个顶点。

示例24可以包括如示例19至23中任一项所述的装置，其中，所述第一图像与第一视点相关联，并且所述第二图像与不同于所述第一点的第二视点相关联。

示例25可以包括一种视图插补装置，所述装置包括用于执行如示例7至12中任一项所述的方法的装置。

因此，多项技术可以在合成图像中的任何地方(包括对象边界周围)产生视觉上正确的结果。此外，可以直接显示遮挡，并且可以在最优计算负载下实现高质量视觉结果，因为样本的数量和位置接近最优。另外，以高精度检测和移位对象边界使得能够融合来自多个视图的信息而不用完全重建3D模型(例如导致图像质量的进一步改进和/或扩展合成视图的虚拟相机位置/取向的范围)。在同一边界上支持两个深度/视差值使得能够正确显示遮挡并检测要由来自其他视图的颜色值填充的区域。另外，多项技术可以使用视差/深度来理解场景结构。

可以使用硬件元件、软件元件、或两者的组合来实现各实施例。硬件元件的示例可以包括：处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件的示例可以包括：软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任意组合。判定是否使用硬件元件和/或软件元件来实现实施例可以根据任意数量的因子而变化，如预期的计算速率、功率电平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其他设计或性能约束。

可以由机器可读介质上所存储的表属性指令实现至少一个实施例的一个或多个方面，所述指令代表处理器内的各种逻辑，当被机器读取时所述指令使所述机器制作用于执行在此所描述的技术的逻辑。此类表示(称为“IP核”)可以被存储在有形的机器可读介质上并提供给各顾客或制造设施以加载至实际制作所述逻辑或处理器的制作机器中。

实施例可适用于所有类型的半导体集成电路(“IC”)芯片。这些IC芯片的示例包括但不限于：处理器、控制器、芯片组部件、可编程逻辑阵列(FLAs)、存储器芯片、网络芯片等。此外，在一些附图中，信号导线用线表示。一些线可以是不同的以指示更多组成信号路径，具有数字标签以指示多个组成信号路径，和/或在一个或多个末端具有箭头以指示主信息流方向。然而，不应当以限制的方式进行解释。相反，这种另加的细节可以结合一个或多个示例性实施例使以便于更容易理解电路。任何表示的信号线(无论是否具有附加信息)实际上可以包括可以在多个方向上传播的一个或多个信号，并且可以利用任何合适类型的信号方案来实现，例如利用差分对实现的数字或模拟线、光纤线和/或单端线。

尽管实施例不限于相同，可已经给出了示例尺寸/模型/值/范围。随着制造技术(例如光刻)随着时间的过去而成熟，预期能够制造更小尺寸的器件。另外，为了简化说明和讨论，并且为了不使实施例的某些方面模糊，在附图中可以或可以不示出到IC芯片和其它部件的公知的电源/接地连接。此外，可以用框图形式示出布置，以便避免模糊实施例，并且还鉴于有关这种框图布置的实施的细节高度依赖于实施本实施例的平台的事实，即所述细节应当完全在本领域技术人员的能力范围内。在阐述具体细节(例如电路)以描述示例性实施例的情况下，对于本领域技术人员来说应当显而易见的是，可以在没有这些具体细节或具有这些具体细节的变化的情况下实践实施例。本说明书因此被视为说明性的而非限制性的。

一些实施例可以例如使用机器或有形计算机可读介质或制品来实现，所述机器或有形计算机可读介质或制品可以存储一个指令或一组指令并且如果指令由机器执行则可以使机器根据所述实施例执行方法和/或操作.这样的机器可以包括例如任何合适的处理平台、计算平台、计算设备、处理设备、计算系统、处理系统、计算机、处理器等，并且可以使用硬件和/或软件。机器可读介质或制品可以包括例如任何合适类型的存储器单元、存储器设备、存储器制品、存储介质、存储设备、存储制品、存储介质和/或存储单元，例如存储器、可移动或可移动介质、不可移动介质、可擦除或不可擦除介质、可写或可重写介质、数字或模拟介质、硬盘、软盘、光盘只读存储器(CD-ROM)、可记录光盘(CD-R)、可重写光盘(CD-RW)、光盘、磁介质、磁光介质、可移动存储卡或盘、各种类型的数字通用盘(DVD)、磁带、盒式磁带等。指令可以包括使用任何合适的高级、低级、面向对象、可视、编译和/或解释编程语言的任何合适类型的代码，如源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、加密代码等。

除非另有特别说明，否则可以理解，诸如“处理”、“计算”、“运算”、“确定”等术语是指计算机或计算系统或类似计算机的动作和/过程，其对表示为计算系统的寄存器和/或存储器内的物理量(例如电子)的数据进行操纵和/或变换成类似地表示为计算系统的存储器、寄存器或此类信息存储、传输或显示设备内的物理量的其它数据。实施例并不局限于本上下文中。

术语“耦合”在本文中可以用于指代所讨论的部件之间的任何类型的直接或间接关系，并且可以应用于电学、机械、流体、光学、电磁、机电或其他连接。此外，除非另有说明，否则术语“第一”、“第二”等在本文中可以仅用于便于讨论，并且不具有特定的时间或时间顺序的意义。

本领域技术人员从前面的描述将理解，可以用各种形式来实现实施例的广泛技术。因此，虽然已经结合其特定示例描述了本发明的实施例，但是不应当如此限制实施例的真实范围，因为在研究附图、说明书以及以下权利要求书时，其他修改对于本领域技术人员将变得显而易见。

Claims (22)

1.一种视图插补系统，包括：

用于接收第一图像的网络控制器；

用于为所述第一图像创建非均匀网格的网格适配器，所述非均匀网格包括与所述第一图像中的一个或多个边界对准的多个顶点；

用于获得至少与所述第一图像相关联的样本数据的数据模块，所述样本数据对应于所述多个顶点；以及

用于至少部分地基于所述样本数据来合成第二图像的图像合成器，

用于为所述第一图像创建均匀网格的网格初始化器，其中，所述网格适配器用于将与所述第一图像中的一个或多个边界对准的一个或多个顶点插入到所述均匀网格中，并且移除不与所述第一图像中的一个或多个边界对准的一个或多个顶点。

2.如权利要求1所述的系统，其中，所述图像合成器对在所述第二图像中未被遮挡并且在所述第一图像中被遮挡的一个或多个区域进行渲染。

3.如权利要求2所述的系统，其中，所述一个或多个区域基于以下中的一者或多者而被渲染：来自第三图像的数据；或者应用于所述非均匀网格的变形策略。

4.如权利要求1所述的系统，其中，根据定义多边形计数或表面误差中的一者或多者的标准来移除所述一个或多个顶点。

5.如权利要求1至4中任一项所述的系统，其中，所述第一图像与第一视点相关联，并且所述第二图像与不同于所述第一视点的第二视点相关联。

6.一种插补视图的方法，所述方法包括：

为第一图像创建非均匀网格，所述非均匀网格包括与所述第一图像中的一个或多个边界对准的多个顶点；

获得至少与所述第一图像相关联的样本数据，所述样本数据对应于所述多个顶点；以及

至少部分地基于所述样本数据来合成第二图像，

其中，创建所述非均匀网格包括：

为所述第一图像创建均匀网格；

将与所述第一图像中的一个或多个边界对准的一个或多个顶点插入到所述均匀网格中；以及

移除不与所述第一图像中的一个或多个边界对准的一个或多个顶点。

7.如权利要求6所述的方法，其中，合成第二图像包括对在所述第二图像中未被遮挡并且在所述第一图像中被遮挡的一个或多个区域进行渲染。

8.如权利要求7所述的方法，其中，所述一个或多个区域基于以下中的一者或多者而被渲染：来自第三图像的数据；或者应用于所述非均匀网格的变形策略。

9.如权利要求6所述的方法，其中，根据定义多边形计数或表面误差中的一者或多者的标准来移除所述均匀网格的所述一个或多个顶点。

10.如权利要求6至9中任一项所述的方法，其中，所述第一图像与第一视点相关联，并且所述第二图像与不同于所述第一视点的第二视点相关联。

11.一种视图插补装置，包括：

用于为第一图像创建非均匀网格的网格适配器，所述非均匀网格包括与所述第一图像中的一个或多个边界对准的多个顶点；

用于获得至少与所述第一图像相关联的样本数据的数据模块，所述样本数据对应于所述多个顶点；并且

用于至少部分地基于所述样本数据来合成第二图像的图像合成器，

用于为所述第一图像创建均匀网格的网格初始化器，其中所述网格适配器将与所述第一图像中的一个或多个边界对准的一个或多个顶点插入到所述均匀网格中，并且移除不与所述第一图像中的一个或多个边界对准的一个或多个顶点。

12.如权利要求11所述的装置，其中，所述图像合成器对在所述第二图像中未被遮挡并且在所述第一图像中被遮挡的一个或多个区域进行渲染。

13.如权利要求12所述的装置，其中，所述一个或多个区域基于以下中的一者或多者而被渲染：来自第三图像的数据；或者应用于所述非均匀网格的变形策略。

14.如权利要求11所述的装置，其中，根据定义多边形计数或表面误差中的一者或多者的标准来移除所述一个或多个顶点。

15.如权利要求11至14中任一项所述的装置，其中，所述第一图像与第一视点相关联，并且所述第二图像与不同于所述第一视点的第二视点相关联。

16.一种视图插补设备，包括：

用于为第一图像创建非均匀网格的装置，所述非均匀网格包括与所述第一图像中的一个或多个边界对准的多个顶点；

用于获得至少与所述第一图像相关联的样本数据的装置，所述样本数据对应于所述多个顶点；以及

用于至少部分地基于所述样本数据来合成第二图像的装置，

其中，用于创建非均匀网格的装置包括：

用于为所述第一图像创建均匀网格的装置；

用于将与所述第一图像中的一个或多个边界对准的一个或多个顶点插入到所述均匀网格中的装置；以及

用于移除不与所述第一图像中的一个或多个边界对准的一个或多个顶点的装置。

17.如权利要求16所述的设备，其中，合成所述第二图像包括对在所述第二图像中未被遮挡并且在所述第一图像中被遮挡的一个或多个区域进行渲染。

18.如权利要求17所述的设备，其中，所述一个或多个区域基于以下中的一者或多者而被渲染：来自第三图像的数据；或者应用于所述非均匀网格的变形策略。

19.如权利要求16所述的设备，其中，根据定义多边形计数或表面误差中的一者或多者的标准来移除所述均匀网格的所述一个或多个顶点。

20.如权利要求16至19中任一项所述的设备，其中，所述第一图像与第一视点相关联，并且所述第二图像与不同于所述第一视点的第二视点相关联。

21.一种其上存储有指令的计算机可读介质，所述指令当由计算机处理器执行时使所述处理器执行如权利要求6至9中任一项所述的方法。

22.如权利要求21所述的计算机可读介质，所述指令当由计算机处理器执行时使所述处理器执行如权利要求10所述的方法。

Images