CN107590857A - 用于生成虚拟视点图像的设备和方法 - Google Patents

Abstract

公开了用于生成虚拟视点图像的设备和方法。所述用于生成虚拟视点图像的设备包括：分段图像生成单元，用于将与不同视点对应的基础图像和参考图像的每一个分段为片段单元；视差计算单元，用于通过计算分段的基础图像和分段的参考图像之间的视差值，来生成基础视差图像和参考视差图像；图像映射单元，用于使用视差值将基础视差图像和参考视差图像映射到虚拟视点；和虚拟视点图像生成单元，用于通过合成其中将基础视差图像映射到虚拟视点的第一映射图像和其中将参考视差图像映射到虚拟视点的第二映射图像，而生成与该虚拟视点对应的虚拟视点图像。

Description

用于生成虚拟视点图像的设备和方法

相关申请的交叉引用

本申请要求2016年7月7日提交的韩国专利申请第10-2016-0086054号的权益，通过引用由此将其全部合并在该申请中。

技术领域

本发明一般涉及用于生成虚拟视点图像的技术，并且更具体地，涉及用于使用与不同视点对应的基础图像与参考图像之间的几何关系、生成从虚拟视点观看的图像的技术。

背景技术

“虚拟视点图像”意味着从虚拟视点观看的图像，其不是使用捕获装置实际捕获的，而是使用利用捕获装置所捕获的现有图像生成的。

基本上，按照这样的方式生成虚拟视点图像，使得使用利用捕获装置获取的参考图像的几何信息，将点映射到目标虚拟视点的位置，并且使用另一参考图像对没有映射的封闭(occluded)区域中的点进行映射。然后，利用附近的类似信息执行内插，由此最终生成与虚拟视点对应的虚拟视点图像。这里，参考图像的几何信息可包括用于校准捕获装置的信息、关于个别像素的深度或视差的信息、等等。

在根据传统技术的方法中，假设参考图像具有相同尺寸，假设用于代表参考图像之间的几何信息的深度信息或视差信息具有其间的一一对应性，并且通过基于像素的映射来合成图像。

因为以像素为基础来执行映射，所以任何像素的不精确深度信息或不精确视差值可引起大量像素噪声。一般来说，当使用立体匹配方法基于两个图像之间的所有像素的相似度而获得对应点时，难以获取精确结果。

而且，获取所有像素的深度信息或视差值并利用获取的信息生成图像的处理是耗时的。所以，当必须实时生成虚拟视点图像时，可存在质量和计算负荷之间的有问题的折衷。

即，必须通过研究除了传统的基于像素的映射方法之外的方法，而开发可降低生成虚拟视点图像所花费的时间量的技术。与此相关，韩国专利申请公开号10-2014-0022300公开了涉及“Method and apparatus for creating multi-view image”的技术。

发明内容

本发明的目的是提供与没有从中捕获图像的视点对应的虚拟视点图像。

本发明的另一目的是与传统的基于像素的映射技术相比降低计算负荷。

本发明的另一目的是通过作为组处理具有区域特性的相邻像素、而生成鲁棒虚拟视点图像。

本发明的另一目的是防止归因于基于块的映射的成块伪影，以由此生成看上去自然的虚拟视点图像。

为了实现以上目的，根据本发明的一种用于生成虚拟视点图像的设备包括：分段图像生成单元，用于将与不同视点对应的基础图像和参考图像的每一个分段为片段单元；视差计算单元，用于通过计算被分段为片段单元的基础图像和参考图像之间的视差值，来生成基础视差图像和参考视差图像；图像映射单元，用于使用视差值将基础视差图像和参考视差图像映射到虚拟视点；和虚拟视点图像生成单元，用于通过合成其中将基础视差图像映射到虚拟视点的第一映射图像和其中将参考视差图像映射到虚拟视点的第二映射图像，而生成与该虚拟视点对应的虚拟视点图像。

这里，该图像映射单元可基于基础视差图像和参考视差图像执行后向映射。

这里，该图像映射单元可基于块单元执行映射，该块单元的尺寸等于或大于该片段单元的尺寸。

这里，该图像映射单元可通过分派取决于基础视差图像或参考视差图像的片段中的中心点与另一像素之间的距离的映射权重，来执行映射。

这里，该图像映射单元可使用基础图像、基础视差图像、参考图像、和参考视差图像中的至少两个来执行映射。

这里，当使用从基础图像、基础视差图像、参考图像、和参考视差图像中选择的三个图像执行映射时，该图像映射单元可通过向基础图像和参考图像的每一个分派混合权重，来执行映射。

这里，可使用基础图像的视点和虚拟视点之间的距离以及参考图像的视点和虚拟视点之间的距离中的至少一个，来计算混合权重。

这里，该虚拟视点图像生成单元可通过向第一映射图像和第二映射图像中的每一个分派合成权重，来生成虚拟视点图像。

这里，可使用基础图像的视点和虚拟视点之间的距离以及参考图像的视点和虚拟视点之间的距离中的至少一个，来设置合成权重。

这里，可使用映射到与同一像素对应的位置的、基础图像中的像素值和参考图像中的像素值之间的误差值，来设置合成权重。

这里，该设备可进一步包括图像内插单元，用于填充虚拟视点图像中的洞。

这里，该图像内插单元可使用基于与该洞对应的空间轴和时间轴中的至少一个相邻的区域中的像素的值，来填充该洞。

这里，该虚拟视点可位于该基础图像的视点和该参考图像的视点之间，并且该虚拟视点可以由用户设置，或者可以是预置值。

这里，该分段图像生成单元可通过执行均匀分段和非均匀分段中的至少一个，来对基础图像和参考图像进行分段。

而且，根据本发明实施例的由用于生成虚拟视点图像的设备执行的用于生成虚拟视点图像的方法包括：将与不同视点对应的基础图像和参考图像的每一个分段为片段单元；通过计算被分段为片段单元的基础图像和参考图像之间的视差值，来生成基础视差图像和参考视差图像；使用视差值将基础视差图像和参考视差图像映射到虚拟视点；和通过合成其中将基础视差图像映射到虚拟视点的第一映射图像和其中将参考视差图像映射到虚拟视点的第二映射图像，而生成与该虚拟视点对应的虚拟视点图像。

这里，映射基础视差图像和参考视差图像可被配置为基于基础视差图像和参考视差图像执行后向映射。

这里，映射基础视差图像和参考视差图像可被配置为基于其尺寸等于或大于片段单元的尺寸的块单元来执行映射。

这里，映射基础视差图像和参考视差图像可被配置为通过分派取决于基础视差图像或参考视差图像的片段中的中心点与另一像素之间的距离的映射权重，来执行映射。

这里，映射基础视差图像和参考视差图像可被配置为使用基础图像、基础视差图像、参考图像、和参考视差图像中的至少两个来执行映射。

这里，映射基础视差图像和参考视差图像可被配置为当使用从基础图像、基础视差图像、参考图像、和参考视差图像中选择的三个图像执行映射时，通过向基础图像和参考图像的每一个分派混合权重，来执行映射。

这里，可使用基础图像的视点和虚拟视点之间的距离以及参考图像的视点和虚拟视点之间的距离中的至少一个，来计算混合权重。

这里，生成虚拟视点图像可被配置为通过向第一映射图像和第二映射图像中的每一个分派合成权重，来生成虚拟视点图像。

这里，可以使用基础图像的视点和虚拟视点之间的距离以及参考图像的视点和虚拟视点之间的距离中的至少一个，来设置合成权重。

这里，可以使用映射到与同一像素对应的位置的、基础图像中的像素值和参考图像中的像素值之间的误差值，来设置合成权重。

这里，该方法可进一步包括执行内插以填充该虚拟视点图像中的洞。

这里，执行内插可被配置为使用基于与该洞对应的空间轴和时间轴中的至少一个相邻的区域中的像素的值，来填充该洞。

这里，该虚拟视点可位于该基础图像的视点和该参考图像的视点之间，并且该虚拟视点可以由用户设置，或者可以是预置值。

这里，对基础图像和参考图像的每一个进行分段可被配置为通过执行均匀分段和非均匀分段中的至少一个，来对基础图像和参考图像进行分段。

附图说明

通过结合附图进行的以下详细描述，将更清楚地理解本发明的以上和其它目的、特征和优点，其中：

图1是示出了根据本发明实施例的用于生成虚拟视点图像的设备的配置的框图；

图2是用于描述根据本发明实施例的用于生成虚拟视点图像的方法的流程图；

图3是用于描述根据本发明实施例的基础图像和参考图像的分段的图；

图4是用于描述根据本发明实施例的虚拟视点的图；

图5是用于描述图2的步骤S230的将视差图像映射到虚拟视点的处理的图；

图6是用于描述根据本发明实施例的映射权重的图；

图7是用于描述图2的步骤S240的生成虚拟视点图像的处理的图；和

图8是示出了根据本发明实施例的计算机系统的框图。

具体实施方式

下面将参考附图来详细描述本发明。下面将省略已被看作使得本发明的要义不必要的模糊的重复描述以及已知功能和配置的描述。本发明的实施例意欲向具有本发明所属领域的普通知识的技术人员全面描述本发明。因此，可夸大图中的组件的形状、尺寸等，以便使得描述更清楚。

其后，将参考附图来详细描述根据本发明的优选实施例。

图1是示出了根据本发明实施例的用于生成虚拟视点图像的设备的配置的框图。

如图1中图示的，用于生成虚拟视点图像的设备100包括分段图像生成单元110、视差计算单元120、图像映射单元130、虚拟视点图像生成单元140、和图像内插单元150。

首先，分段图像生成单元110将与不同视点对应的基础图像和参考图像的每一个分段为片段单元。

这里，基础图像的视点和参考图像的视点彼此不同。而且，与用于生成虚拟视点图像的设备100所要生成的虚拟视点图像对应的视点位于基础图像的视点和参考图像的视点之间。

而且，按照这样的方式生成所分段的基础图像，使得分段图像生成单元110将基础图像分段为片段单元，并且按照这样的方式生成所分段的参考图像，使得分段图像生成单元110将参考图像分段为片段单元。

分段图像生成单元110可通过执行均匀分段或非均匀分段中的至少一个，来对基础图像和参考图像进行分段。特别是，分段图像生成单元110可执行均匀分段，通过该均匀分段将基础图像和参考图像分段为具有均匀尺寸的片段。

而且，分段图像生成单元110可使用图像分段技术将基础图像和参考图像分段为非均匀片段，使得将每一图像分段为有针对性的(meaningful)片段。而且，分段图像生成单元110可执行非均匀分段，并且可然后将基础图像和参考图像分段为通过对类似片段进行分组所定义的片段单元。

接下来，视差计算单元120计算与分段的基础图像和分段的参考图像对应的视差，并由此生成基础视差图像和参考视差图像。

视差计算单元120计算已被分段为片段单元的基础图像和参考图像之间的视差值。这里，视差是通过从不同视点捕获相同场景而获取的基础图像和参考图像中分别包括的相同点之间的对应性。视差可以是代表基础图像和参考图像两者中的对应点的位置之间的差别的基于像素的值。

例如，如果基础图像中包括的某一像素的视差是10，则参考图像中与其对应的点位于基于该某一像素的坐标的左边或右边10个像素处。

即，当基础图像被设置为左图像时并且当参考图像被设置为右图像时，如果基础图像中包括的某一像素的视差是10，则参考图像中与其对应的点位于基于基础图像中该某一像素的坐标的左边10个像素处。

一般来说，使用立体匹配技术来处理诸如包括左和右图像的一对的立体图像。配置立体匹配技术，使得将基础图像中的像素与参考图像的坐标组中的像素进行比较，并且选择参考图像中具有最高相似度的像素。

然而，根据本发明实施例的用于生成虚拟视点图像的设备100的视差计算单元120通过比较基础图像中像素的特性与参考图像的候选组的像素的特性，来估计代表性视差。

而且，视差计算单元120使用计算的视差值来生成基础视差图像和参考视差图像。

图像映射单元130使用视差值将基础视差图像和参考视差图像映射到虚拟视点。

这里，虚拟视点位于基础图像的视点和参考图像的视点之间，并且虚拟视点可以由用户设置，或者可以是预置值。

当将基础图像设置为左图像并将参考图像设置为右图像时，基础图像的视点的位置可以被设置为0，并且参考图像的视点的位置可以被设置为1。然后，作为基础图像的视点和参考图像的视点之间的中间视点的虚拟视点可以被表示为基于基础图像的视点和参考图像的视点的相对位置。

这里，与要生成的虚拟视点图像对应的虚拟视点的位置可被设置为一个或多个位置。而且，虚拟视点可以是预置值，或者可以是用户输入的值。

特别是，虚拟视点可被设置为0.5，这指示基础图像的视点和参考图像的视点之间的精确中部。而且，当设置多个虚拟视点时，所述多个虚拟视点可被设置以使得基础图像的视点、多个虚拟视点、和参考图像的视点具有其间的相同间隔。

而且，图像映射单元130基于基础视差图像和参考视差图像，来执行后向映射。

图像映射单元130可通过执行基础视差图像向虚拟视点的后向映射来生成第一映射的图像，并且可通过执行参考视差图像向虚拟视点的后向映射来生成第二映射的图像。

而且，图像映射单元130可按照具有等于或大于片段单元的尺寸的尺寸的块单元来执行映射。例如，当片段单元的尺寸是4x4像素时，图像映射单元130可在其尺寸大于4x4像素的8x8块单元中执行映射，并且可由此连同4x4片段单元一起对4x4片段单元附近的像素执行映射。因此，图像映射单元130可解决成块伪影，并生成看上去自然的合成图像。

而且，图像映射单元130可使用基础图像和基础视差图像，或使用基础图像、基础视差图像和参考图像，来生成第一映射的图像。类似地，图像映射单元130可使用参考图像和参考视差图像，或使用参考图像、参考视差图像和基础图像，来生成第二映射的图像。

当使用三个图像生成第一映射的图像和第二映射的图像时，图像映射单元130可通过向基础图像和参考图像分派混合权重，来生成第一映射的图像和第二映射的图像。

这里，混合权重可使用基础图像的视点与虚拟视点之间的距离以及参考图像的视点与虚拟视点之间的距离的至少一个来设置。这里，当视点之间的差别较小时，图像映射单元130可通过分派较大的混合权重来生成映射的图像。

而且，图像映射单元130可通过分派取决于基础视差图像或参考视差图像的片段中的中心点和另一像素之间的距离的映射权重，来执行映射。

这里，映射权重是基于基础视差图像的要映射的片段中的中心点和另一像素或参考视差图像的中心点之间的距离的权重。例如，当来自基础视差图像的要映射的片段的尺寸是4x4时，与基础视差图像的片段的中心点最接近的四个像素被分派第一映射权重。而且，位于与基础视差图像的中心点分离2个像素的十二个像素被分派第二映射权重。这里，第一映射权重大于第二映射权重。

虚拟视点图像生成单元140合成其中将基础视差图像映射到虚拟视点的第一映射图像和其中将参考视差图像映射到虚拟视点的第二映射图像，并由此生成与该虚拟视点对应的虚拟视点图像。

而且，虚拟视点图像生成单元140可通过向第一映射图像和第二映射图像分别分派合成权重，而生成虚拟视点图像。这里，合成权重可使用基础图像的视点和虚拟视点之间的距离以及参考图像的视点和虚拟视点之间的距离中的至少一个来计算。

例如，假设基础图像是左图像，参考图像是右图像，并且虚拟视点被设置为0.4。这里，因为虚拟视点比参考图像更接近基础图像，所以虚拟视点图像生成单元140可设置要向第一映射图像分派的第一合成权重，以便大于要向第二映射图像分派的第二合成权重。

即，当视点之间的距离较小时，虚拟视点图像生成单元140分派较小合成权重，并然后合成第一映射图像和第二映射图像，由此生成虚拟视点图像。

而且，合成权重可以是当执行映射时计算的误差值。这里，误差值可以是当执行后向映射时、基于从基础图像和参考图像提取的相同点的像素值之间的差别设置的值。

例如，当从基础图像提取的像素的值是PL时并且当从参考图像提取的像素的值是PR时，这两个像素值之间的差别，即|PL-PR|，可以是误差值。

如果基础视差图像精确，则作为PL和PR之间的差别的误差值小。因此，虚拟图像生成单元140可分派较大合成权重。相反，如果基础视差图像不精确，则误差值可以较大，并且虚拟图像生成单元140分派较小合成权重。

为了便于描述，要分派的合成权重已被描述为使用基础视差图像设置，但是不限于此，虚拟视点图像140可使用参考视差图像来分派合成权重，或者可使用与基础视差图像对应的合成权重和与参考视差图像对应的合成权重两者，来生成虚拟视点图像。

图像内插单元150填充所生成的虚拟视点图像中的洞。

这里，图像内插单元150可使用基于与这些洞对应的空间轴和时间轴的至少一个、相邻的区域中的像素的值，来填充这些洞。

其后，将参考图2到7来详细描述根据本发明实施例的由用于生成虚拟视点图像的设备所执行的用于生成虚拟视点图像的方法。

图2是用于描述根据本发明实施例的用于生成虚拟视点图像的方法的流程图。

首先，用于生成虚拟视点图像的设备100在步骤S210对基础图像和参考图像进行分段。

用于生成虚拟视点图像的设备100将输入的基础图像和参考图像的每一个分段为片段单元。为了便于描述，假设基础图像是左图像，并且假设参考图像是右图像。

图3是用于描述根据本发明实施例的基础图像和参考图像的分段的图。

如图3中图示的，用于生成虚拟视点图像的设备100可通过执行均匀分段310和非均匀分段320中的至少一个，来对基础图像和参考图像进行分段。

用于生成虚拟视点图像的设备100可通过执行均匀分段310，而生成具有图3所示均匀片段的分段基础图像和分段参考图像。

例如，假设用于生成虚拟视点图像的设备100设置其宽度和长度是4个像素的片段单元，即4x4片段单元。这里，如果基础图像和参考图像的尺寸是FHD(1920x1080)，则基础图像和参考图像可被分段为按照行的480个片段和按照列的270个片段。

而且，用于生成虚拟视点图像的设备100可使用图像分段技术执行非均匀分段，通过该非均匀分段，将基础图像和参考图像的每一个分段为有针对性的单元。然后，用于生成虚拟视点图像的设备100可生成其中将片段在类似单元中分组的分段基础图像和分段参考图像。

一般，可按照这样的方式执行图像分段，使得对与参考像素具有高相似度的相邻像素进行重复分组。而且，当使用图像分段技术来执行非均匀分段时，用于生成虚拟视点图像的设备100可生成这样的图像，其中如图3中的非均匀分段320的示例中所示那样，对具有等于或大于阈值的相似度的像素进行分组。

随后，用于生成虚拟视点图像的设备100计算基础图像和参考图像的所有像素的视差值，并在步骤S220生成基础视差图像和参考视差图像。

用于生成虚拟视点图像的设备100计算视差，该视差是通过从不同视点捕获相同场景而获取的基础图像和参考图像之间的对应点。

这里，用于生成虚拟视点图像的设备100搜索通过从不同视点捕获相同场景而获取的基础图像和参考图像两者中包括的点。然后，用于生成虚拟视点图像的设备100获得与基础图像和参考图像两者中包括的点对应的像素之间的对应性，并通过将基础图像中的像素和参考图像中的与其对应的像素之间的距离表示为像素单元，而计算视差。

例如，假设左图像是基础图像，右图像是参考图像，并且基础视差图像中包括的某一像素的视差是10。这里，与基础图像中的像素A对应的参考图像中的像素A′位于从像素A的位置向左位移10个像素的位置处。

随后，用于生成虚拟视点图像的设备100在步骤S230将视差图像映射到虚拟视点。

图4是用于描述根据本发明实施例的虚拟视点的图。

如图4中所示，虚拟视点V_i位于基础图像410的视点和参考图像420的视点之间，并且用于生成虚拟视点图像的设备100可接收用户设置的虚拟视点V_i，或者可使用预置值来设置虚拟视点V_i。

如果基础图像410的视点是0并且如果参考图像420的视点是1，则虚拟视点V_i可具有从0到1的范围内的值。而且，虚拟视点V_i可表示基于基础图像410的视点和参考像素420的视点的相对位置。

如果用于生成虚拟视点图像的设备100意欲生成与单一虚拟视点对应的虚拟视点图像，则用于生成虚拟视点图像的设备100可将0.5设置为虚拟视点V_i。而且，如果用于生成虚拟视点图像的设备100意欲设置多个虚拟视点，则用于生成虚拟视点图像的设备100可设置所述多个虚拟视点，使得基础图像的视点、多个虚拟视点、和参考图像的视点具有其间的相同间隔。

然后，用于生成虚拟视点图像的设备100基于基础视差图像D_L 415和参考视差图像D_R 425，来执行后向映射。

图5是用于描述图2的步骤S230的将视差图像映射到虚拟视点的处理的图。

如图5中图示的，假设左图像是基础图像I_L 510，并且基础图像I_L 510的视差图像被称为基础视差图像D_L 515。这里，假设基础图像510通过均匀分段被分段为具有尺寸4x4像素的片段单元540。而且，假设右图像是参考图像I_R 520，并且假设虚拟视点V_0.4是0.4。

如图5中所示，当将基础图像I_L 510分段为4x4像素的尺寸均匀的片段单元540时，生成其宽度和高度是基础图像的宽度和高度的1/4的基础视差图像D_L 515。即，基础视差图像D_L 515中的单一像素的视差可对应于基础图像I_L 510中具有尺寸4x4像素的块的视差。

如果为了便于描述将作为基础视差图像D_L 515中的点x的视差的D_L(x)称为d_L，则d_L意味着基础图像I_L 510中的点x的像素与参考图像I_R 520中的与其对应的点x′之间的对应性。换言之，当d_L为10时，参考图像I_R 520中的点x′对应于从基础图像I_L 510中的点x的像素向左移动10个像素的像素。

而且，如果基础图像I_L 510的视点为0并且如果参考图像I_R 520的视点为1，则虚拟视点V_0.4位于沿着参考图像I_R 520的方向与基础图像I_L 510相距d_L×0.4的位置处。

因此，当生成虚拟视点图像530时，设备100执行后向映射，其将与虚拟视点V_0.4的位置对应的基础图像I_L 510的像素定位到沿着向右方向分开d_L×0.4的位置。

而且，因为视差值意味着基础图像I_L 510和参考图像I_R 520中包括的相同点之间的关系，所以按照相同方式执行后向映射，其将与虚拟视点V_0.4的位置对应的参考图像I_R520的像素定位到沿着向左方向分开d_L–(d_L×0.4)的位置。

而且，用于生成虚拟视点图像的设备100可使用基础图像I_L 510、基础视差图像D_L515和参考图像I_R 520中的至少两个，执行对于基础图像I_L 510的后向映射。

当用于生成虚拟视点图像的设备100使用基础图像I_L 510、视差图像和参考图像I_R520执行后向映射时，可通过向基础图像I_L 510和参考图像I_R 520分派相应混合权重，来执行映射。这里，视差图像可以是基础视差图像D_L 515和参考视差图像中的任一个。

这里，混合权重可使用基础图像的视点与虚拟视点之间的距离或者参考图像的视点与虚拟视点之间的距离的至少一个来设置。即，当视点之间的距离较小时，用于生成虚拟视点图像的设备100可通过分派较大的混合权重来生成映射的图像。

用于生成虚拟视点图像的设备100可向从基础图像I_L 510取得的像素以及从参考图像I_R 520取得的像素分别分派不同的混合权重，如等式(1)那样：

(0.6×p(I_L)+0.4×p(I′_R))×w (1)

其中p(I_L)表示从基础图像I_L取得的像素值，p(I′_R)表示从参考图像I_R取得的像素值，0.6表示要向p(I_L)分派的第一混合权重，0.4表示要向p(I′_R)分派的第二混合权重，并且w表示映射权重。

作为等式(1)，用于生成虚拟视点图像的设备100向从基础图像I_L 510取得的像素值分配第一混合权重，向从参考图像I_R 520取得的像素值分派第二混合权重，并然后将混合权重所分派到的这两个像素值相加。然后，用于生成虚拟视点图像的设备100向这两个像素值之和分派映射权重，并由此确定与虚拟视点图像的位置对应的像素的最终值。

这里，第一混合权重和第二混合权重可使用基础图像I_L 510的视点和虚拟视点V_0.4之间的差别以及参考图像I_R 520的视点和虚拟视点V_0.4之间的差别而分别设置。例如，如果基础图像I_L 510的视点为0，如果虚拟视点V_0.4为0.4，并且如果参考图像I_R 520的视点为1，则用于生成虚拟视点图像的设备100可将第一混合权重设置为0.6，并且可将第二混合权重设置为0.4。因此，用于生成虚拟视点图像的设备100可向基础图像I_L 510和参考图像I_R520之中的、具有其视点和虚拟视点V_0.4之间的较小差别的图像分派较大权重。

为了便于描述，第一混合权重和第二混合权重已被描述为分别等于0.6和0.4，但是不限于此，第一混合权重和第二混合权重可基于基础图像I_L 510的视点和虚拟视点V_0.4之间的差别以及参考图像I_R 520的视点和虚拟视点V_0.4之间的差别而不同地设置。

图6是用于描述根据本发明实施例的映射权重的图。

如图6中图示的，映射权重w可指示基于用于执行映射的视差图像的中心点和片段中的另一像素之间的距离而设置的值。这里，像素和中心点之间的距离越近，则映射权重越大。

根据本发明实施例的用于生成虚拟视点图像的设备100可通过执行映射使得向与视差图像的片段的中心点较近的像素分派较大权重，而生成看上去自然的虚拟视点图像。

因为视差图像中的单一像素的视差对应于基础图像中的具有尺寸4x4像素的块的视差，所以如果参考单一视差值执行后向映射，则基础图像可以是具有至少4x4像素的尺寸的块。这里，如果执行基于块的映射，则可出现成块伪影。所以，用于生成虚拟视点图像的设备100基于其尺寸等于或大于片段单元的块单元执行映射，由此防止成块伪影，并且可生成看上去自然的虚拟视点图像。

用于生成虚拟视点图像的设备100可基于具有等于或大于4x4像素(其是片段单元的尺寸)的尺寸的块单元执行映射，并因此相邻块可彼此重叠。如图5中图示的，如果将块单元550的尺寸设置为8x8像素，则当打算映射4x4片段单元时，用于生成虚拟视点图像的设备100映射包括该片段单元的8x8块单元550，由此可同时映射与该片段单元相邻的像素。

这里，用于生成虚拟视点图像的设备100可通过向每一像素分派映射权重w来执行映射，该映射权重w遵循诸如图6中图示的正态分布的概率分布。

而且，用于生成虚拟视点图像的设备100在步骤S240生成虚拟视点图像。

用于生成虚拟视点图像的设备100通过混合其中将基础视差图像映射到虚拟视点的第一映射图像和其中将参考视差图像映射到虚拟视点的第二映射图像，而生成与虚拟视点对应的虚拟视点图像。

图7是用于描述图2的步骤S240的生成虚拟视点图像的处理的图。

如图7中图示的，用于生成虚拟视点图像的设备100通过合成第一映射图像730和第二映射图像740，而生成虚拟视点图像750。这里，作为使用基础图像710和基础视差图像715的映射的结果，生成第一映射图像730，并且作为使用参考图像720和参考视差图像725的映射的结果，生成第二映射图像740。

而且，用于生成虚拟视点图像的设备100可通过向第一映射图像730和第二映射图像740的每一个分派合成权重，而生成虚拟视点图像750，如等式(2)中所示：

V_i＝wc_L×V_i ^L+wc_R×V_i ^R (2)

其中V_i ^L表示第一映射图像，V_i ^R表示第二映射图像，wc_L表示要向第一映射图像分派的第一合成权重，wc_R表示要向第二映射图像分派的第二合成权重，以及V_i表示虚拟视点图像。

这里，第一合成权重和第二合成权重可以考虑到基础图像的视点、参考图像的视点、以及虚拟视点之间的距离来设置，或者可以考虑到当执行映射时计算的误差值来设置。

这里，误差值可基于当执行后向映射时从基础图像取得的像素值和从参考图像取得的像素值之间的差别来设置，以便从基础图像和参考图像获取像素值。

而且，当第一合成权重和第二合成权重基于基础图像的视点、参考图像的视点、以及虚拟视点之间的距离来设置时，第一合成权重可和第一混合权重具有相同值，并且第二合成权重可和第二混合权重具有相同值。

最后，用于生成虚拟视点图像的设备100在步骤S250执行对于虚拟视点图像的内插。

当在虚拟视点图像中存在洞时，用于生成虚拟视点图像的设备100执行对于虚拟视点图像的内插。这里，用于生成虚拟视点图像的设备100可基于基于空间轴和时间轴的至少一个、相邻的区域中的相似像素的值，来执行对于虚拟视点图像的内插。

图8是示出了根据本发明实施例的计算机系统的框图。

参考图8，本发明的实施例可在诸如计算机可读储存介质的计算机系统800中实现。如图8中所示，计算机系统800可包括经由总线820彼此通信的至少一个处理器810、存储器830、用户界面输入装置840、用户界面输出装置850、和储存器860。而且，计算机系统800可进一步包括与网络880连接的网络接口870。处理器810可以是用于运行存储器830或储存器860中存储的处理指令的中央处理单元(CPU)或半导体装置。存储器830和储存器860可以包括各种易失性或非易失性储存介质。例如，存储器可以包括ROM 831或RAM 832。

因此，本发明的实施例可被实现为其中记录使用计算机或计算机中可运行的指令实现的方法的非易失性计算机可读储存介质。当计算机可读指令由处理器运行时，计算机可读指令可执行根据本发明的至少一个方面的方法。

根据本发明，可提供与不从其捕获图像的视点对应的虚拟视点图像。

而且，根据本发明，与传统的基于像素的映射技术相比，可降低计算负荷。

而且，根据本发明，通过作为组来处理具有区域特性的相邻像素，可生成鲁棒的虚拟视点图像。

而且，根据本发明，可能防止归因于基于块的映射的成块伪影，并生成看上去自然的虚拟视点图像。

如上所述，根据本发明的用于生成虚拟视点图像的设备和方法不限制性应用到上述实施例的配置和操作，而是可选择性组合和配置这些实施例的全部或一些，使得可按照各种方式来修改这些实施例。

Claims (20)

1.一种用于生成虚拟视点图像的设备，包括：

分段图像生成单元，用于将与不同视点对应的基础图像和参考图像的每一个分段为片段单元；

视差计算单元，用于通过计算被分段为片段单元的基础图像和参考图像之间的视差值，来生成基础视差图像和参考视差图像；

图像映射单元，用于使用所述视差值将基础视差图像和参考视差图像映射到虚拟视点；和

虚拟视点图像生成单元，用于通过合成其中将基础视差图像映射到虚拟视点的第一映射图像和其中将参考视差图像映射到虚拟视点的第二映射图像，而生成与该虚拟视点对应的虚拟视点图像。

2.根据权利要求1的设备，其中该图像映射单元基于基础视差图像和参考视差图像执行后向映射。

3.根据权利要求2的设备，其中该图像映射单元基于块单元执行映射，该块单元的尺寸等于或大于该片段单元的尺寸。

4.根据权利要求2的设备，其中该图像映射单元通过分派取决于基础视差图像或参考视差图像的片段中的中心点与另一像素之间的距离的映射权重，来执行映射。

5.根据权利要求1的设备，其中该图像映射单元使用基础图像、基础视差图像、参考图像、和参考视差图像中的至少两个来执行映射。

6.根据权利要求5的设备，其中，当使用从基础图像、基础视差图像、参考图像、和参考视差图像中选择的三个图像执行映射时，该图像映射单元通过向基础图像和参考图像的每一个分派混合权重，来执行映射。

7.根据权利要求6的设备，其中使用基础图像的视点和虚拟视点之间的距离以及参考图像的视点和虚拟视点之间的距离中的至少一个，来计算混合权重。

8.根据权利要求2的设备，其中该虚拟视点图像生成单元通过向第一映射图像和第二映射图像中的每一个分派合成权重，来生成虚拟视点图像。

9.根据权利要求8的设备，其中使用基础图像的视点和虚拟视点之间的距离以及参考图像的视点和虚拟视点之间的距离中的至少一个，来设置合成权重。

10.根据权利要求8的设备，其中使用映射到与同一像素对应的位置的、基础图像中的像素值和参考图像中的像素值之间的误差值，来设置合成权重。

11.根据权利要求1的设备，进一步包括：

图像内插单元，用于填充该虚拟视点图像中的洞。

12.根据权利要求11的设备，其中该图像内插单元使用基于与该洞对应的空间轴和时间轴中的至少一个相邻的区域中的像素的值，来填充该洞。

13.根据权利要求1的设备，其中该虚拟视点位于该基础图像的视点和该参考图像的视点之间，并且该虚拟视点由用户设置，或者是预置值。

14.根据权利要求1的设备，其中该分段图像生成单元通过执行均匀分段和非均匀分段中的至少一个，来对基础图像和参考图像进行分段。

15.一种由用于生成虚拟视点图像的设备执行的用于生成虚拟视点图像的方法，包括：

将与不同视点对应的基础图像和参考图像的每一个分段为片段单元；

通过计算被分段为片段单元的基础图像和参考图像之间的视差值，来生成基础视差图像和参考视差图像；

使用视差值将基础视差图像和参考视差图像映射到虚拟视点；和

通过合成其中将基础视差图像映射到虚拟视点的第一映射图像和其中将参考视差图像映射到虚拟视点的第二映射图像，而生成与该虚拟视点对应的虚拟视点图像。

16.根据权利要求15的方法，其中映射基础视差图像和参考视差图像被配置为基于基础视差图像和参考视差图像执行后向映射。

17.根据权利要求16的方法，其中映射基础视差图像和参考视差图像被配置为基于其尺寸等于或大于片段单元的尺寸的块单元来执行映射。

18.根据权利要求16的方法，其中映射基础视差图像和参考视差图像被配置为通过分派取决于基础视差图像或参考视差图像的片段中的中心点与另一像素之间的距离的映射权重，来执行映射。

19.根据权利要求15的方法，其中映射基础视差图像和参考视差图像被配置为使用基础图像、基础视差图像、参考图像、和参考视差图像中的至少两个来执行映射，并且当使用从基础图像、基础视差图像、参考图像、和参考视差图像中选择的三个图像执行映射时，通过向基础图像和参考图像的每一个分派混合权重，来执行映射。

20.根据权利要求15的方法，其中：

生成虚拟视点图像被配置为通过向第一映射图像和第二映射图像中的每一个分派合成权重，来生成虚拟视点图像；和

使用基础图像的视点和虚拟视点之间的距离以及参考图像的视点和虚拟视点之间的距离中的至少一个，来设置该合成权重，或者使用映射到与同一像素对应的位置的、基础图像中的像素值和参考图像中的像素值之间的误差值，来设置该合成权重。