CN107277482A - 用于多路复用多视图图像的设备和使用其的方法 - Google Patents

Abstract

这里公开了用于多路复用多视图图像的设备和方法。所述用于多路复用多视图图像的设备包括：升级单元，用于使用内插方法对视图图像进行升级；像素多路复用单元，用于以子像素为基础来多路复用所升级的视图图像的像素；和像素混合单元，用于基于包括子像素的混合比率的映射表，来混合所述子像素。

Description

用于多路复用多视图图像的设备和使用其的方法

相关申请的交叉引用

本申请要求2016年4月8日提交的韩国专利申请第10-2016-0043327号的权益，其通过引用由此全部合并在该申请中。

技术领域

本发明一般涉及用于自动立体3D显示器的技术，并且更具体地，涉及用于经由自动立体3D显示器所输出的多视图图像的内插和混合方法。

背景技术

在基于平板显示的自动立体3D显示器中，多视图图像具有有限分辨率。即，在自动立体3D显示器的情况下，因为用于各个视点的多个视图被同时多路复用和重构，所以所实现的每一视图的分辨率随着视图数目的增加而减小。例如，当在4K(3,840×2,160)平板显示器上同时多路复用和重构九个视图时，实现多视图图像，其每一视图具有HD分辨率(1,280×720)。一般来说，以子像素为基础来多路复用视图。这里，为了重构彩色多视图图像，每一视图中的每一像素必须具有与R、G和B值分别对应的三个子像素。

在3DTV-CON 2008中，公开了感知真实编码(PTC)方法，该方法使用以下事实，即人的视觉对亮度的变化敏感，但是对色度的变化不敏感(Siegbert Hentschke et al,Multi-view 3D TV subpixel coding for stress-free perception,3D TV conference 2008)。PTC方法是这样的方法，其中将不同视图映射到每一子像素，其中将每一视图的像素信息(R、G和B值)分离为亮度分量和色度分量，以及其中每一子像素值具有同一视图中的相邻像素的亮度分量和色度分量两者，由此视图的数目或多视图图像的分辨率可增加三倍。

根据传统PTC方法，27视图图像可在4K(3,840×2,160)平板显示器上实现，使得每一视图具有HD分辨率(1,280×720像素)。然而，为了有效实现传统PTC方法，每一输入视图必须具有与平板显示器相同的分辨率。即，当其每一个具有4K分辨率的27个视图基于PTC方法被输入并经受滤波操作时，可在4K平板显示器上实现27视图图像，使得每一视图具有HD分辨率。然而，如果按照传统PTC方法输入其每一个具有与要对于每一视点实现的分辨率相同的分辨率的多个视图，则诸如图像边界的失真、颜色的失真等的问题可出现。

其间，名为“3D stereoscopic multi-view video system and manufacturingmethod”的韩国专利号10-0375708涉及多视图视频系统，并且公开了这样的多视图视频系统和方法，其中可通过原始图像的预处理、压缩、多路复用、解多路复用、重构和合成的处理，经由显示装置来输出从多个图像输入装置输入的、比原始图像的数目更多的多个图像，由此可从各个距离和各个角度来观看3D立体图像。

然而，韩国专利号10-0375708没有公开用于利用PTC方法所应用到的高分辨率多视图图像来解决这些问题的方法。

发明内容

本发明的目的是解决当向多视图图像应用PTC方法时出现的图像失真问题。

本发明的另一目的是解决因为视图图像在相邻观看区中重叠所引起的图像质量降级问题。

本发明的另一目的是提供基于内插方法和混合方法的高质量多视图图像。

为了实现以上目的，根据本发明实施例的一种用于多路复用多视图图像的设备包括：升级单元，用于使用内插方法对视图图像进行升级；像素多路复用单元，用于以子像素为基础来多路复用所升级的视图图像的像素；和像素混合单元，用于基于包括子像素的混合比率的映射表，来混合子像素。

这里，该升级单元可执行升级以适合输出显示装置的分辨率。

这里，该像素多路复用单元可将每一视图图像分离为亮度分量和色度分量。

这里，该像素多路复用单元可对多路复用的子像素执行滤波。

这里，该映射表的尺寸可对应于通过将该输出显示装置的分辨率乘以每一像素的子像素的数目所获取的值。

这里，可配置该映射表，使得将其中的值的位置与子像素的位置匹配，并且使得每一值包括每一子像素的视点信息和混合比率信息。

这里，该视点信息可对应于具有在视图图像的观看区中重叠的像素的视图图像的数目。

这里，该混合比率信息可对应于其中像素在视图图像的观看区中重叠的区域的比例值。

这里，该映射表中的值可包括视图图像数目、以及与各个视图图像数目匹配的区域的比例值。

而且，为了实现以上目的，根据本发明实施例的一种用于多路复用多视图图像的方法，其中使用用于多路复用多视图图像的设备，该方法包括：使用内插方法对视图图像进行升级；以子像素为基础来多路复用所升级的视图图像的像素；和基于包括子像素的混合比率的映射表，来混合子像素。

这里，升级视图图像可被配置为执行升级以适合输出显示装置的分辨率。

这里，多路复用像素可被配置为将每一视图图像分离为亮度分量和色度分量。

这里，多路复用像素可被配置为对多路复用的子像素执行滤波。

这里，该映射表的尺寸可对应于通过将该输出显示装置的分辨率乘以每一像素的子像素的数目所获取的值。

这里，可配置该映射表，使得将其中的值的位置与子像素的位置匹配，并且使得每一值包括每一子像素的视点信息和混合比率信息。

这里，该视点信息可对应于具有在视图图像的观看区中重叠的像素的视图图像的数目。

这里，该混合比率信息可对应于其中像素在视图图像的观看区中重叠的区域的比例值。

这里，该映射表中的值可包括视图图像数目、以及与各个视图图像数目匹配的区域的比例值。

附图说明

通过结合附图进行的以下详细描述，将更清楚地理解本发明的以上和其它目的、特征和优点，其中：

图1是示出了根据本发明实施例的用于多路复用多视图图像的设备的框图；

图2是示出了根据本发明实施例的用于多路复用多视图图像的方法的流程图；

图3是示出了根据本发明实施例的用于亮度分量的内插的方法的流程图；

图4是示出了根据本发明实施例的用于色度分量的内插的方法的流程图；

图5是示出了根据本发明实施例的用于混合视图图像的方法的图；和

图6是示出了根据本发明实施例的计算机系统的框图。

具体实施方式

下面将参考附图来详细描述本发明。下面将省略已被看作使得本发明的要义不必要的模糊的重复描述以及已知功能和配置的描述。本发明的实施例意欲向具有本发明所属领域的普通知识的技术人员全面描述本发明。因此，可夸大图中的组件的形状、尺寸等，以便使得描述更清楚。

其后，将参考附图来详细描述根据本发明的优选实施例。

图1是示出了根据本发明实施例的用于多路复用多视图图像的设备的框图。

参考图1，根据本发明实施例的用于多路复用多视图图像的设备包括升级单元110、像素多路复用单元120、和像素混合单元130。

升级单元110可使用内插方法来升级多个视图图像。这里，升级单元110可升级多个视图图像，以适合输出显示装置的分辨率。

例如，当在4K(3,840×2,160)平板显示器上重构27个视图图像、使得每一视图具有HD分辨率(1,280×720)时，获取的图像可以是27视图图像，其中每一视图具有HD分辨率(1,280×720)。这里，为了通过多路复用接收的多个视图图像而在高分辨率自动立体3D显示器上重构所接收的多个视图图像，每一视图图像不得不通过向其应用内插方法，而被升级为自动立体3D显示器的分辨率。当不应用内插时，实现的立体图像的质量可降级，或者图像边界或颜色在滤波之后可失真。

像素多路复用单元120可以以子像素为基础对升级的视图图像的像素进行多路复用。这里，像素多路复用单元120可以将每一视图图像分离为亮度分量和色度分量。然后，像素多路复用单元120可以对多路复用的子像素执行滤波。

像素混合单元130可基于包括子像素的混合比率的映射表，来混合子像素。这里，映射表的尺寸可以是通过将输出显示装置的分辨率乘以每一像素的子像素的数目所获取的值。即，映射表的尺寸可以是自动立体3D显示器的水平分辨率×其垂直分辨率×3(其是每一像素的子像素的数目)。

这里，映射表可被配置为使得将其中的值的位置与子像素的位置匹配，并且使得其中的每一值包括用于每一子像素的视点信息和混合比率信息。视点信息可以是具有在视图图像的观看区中重叠的像素的视图图像的数目。混合比率信息可以对应于其中像素在视图图像的观看区中重叠的区域的比例。映射表中的值可包括视图图像数目、以及与各个视图图像数目匹配的区域的比例值。

即，表格中的值的格式可对应于n.f(视图图像数目.比例)。

例如，基于利用视差屏障或双凸透镜配置的平板显示器的自动立体3D显示器可将水平分辨率和垂直分辨率的降低速率设置为彼此类似，并且可对准视差屏障或双凸透镜的阵列，以便针对下层显示面板的垂直轴倾斜，以消除颜色莫阿(color moiré)效应。在这样的结构中，来自子像素的光可折射通过透镜，并然后投射到两个或更多相邻观看区。在该情况下，如果映射单一视图图像的子像素的值，则重构的多视图图像的质量降级，因为不想要的光被投射到不同的相邻观看区。因此，使用基于当多路复用子像素时先前存储的映射表在其上投射光的区域，将子像素与相邻视图图像的像素混合，由此可改进重构的多视图图像的质量。

图2是示出了根据本发明实施例的用于多路复用多视图图像的方法的流程图。

参考图2，在根据本发明实施例的用于多路复用多视图图像的方法中，首先，在步骤S210执行升级。

即，在步骤S210，可使用内插方法来升级多个视图图像。这里，在步骤S210，可升级视图图像以适合输出显示装置的分辨率。

例如，当在4K(3,840×2,160)平板显示器上重构27个视图图像使得每一视图具有HD分辨率(1,280×720)时，获取的图像可以是27视图图像，每一视图具有HD分辨率(1,280×720)。这里，为了在高分辨率自动立体3D显示器上多路复用和重构所接收的多个视图图像，每一视图图像必须使用内插方法升级，以适合自动立体3D显示器的分辨率。当不应用内插时，重构的立体图像的质量可降级，或者图像边界或颜色在滤波之后可失真。

而且，在根据本发明实施例的用于多路复用多视图图像的方法中，可在步骤S220执行像素的多路复用。

即，在步骤S220，可以以子像素为基础来多路复用升级的视图图像的像素。这里，在步骤S220，像素多路复用单元120可以将视图图像分离为亮度分量和色度分量。而且，在步骤S220，可以对多路复用的子像素执行滤波。

而且，在根据本发明实施例的用于多路复用多视图图像的方法中，可在步骤S230混合像素。

即，在步骤S230，可基于包括子像素的混合比率的映射表，来混合子像素。这里，映射表的尺寸可以是通过将输出显示装置的分辨率乘以每一像素的子像素的数目所获取的值。即，映射表的尺寸可对应于自动立体3D显示器的水平分辨率×其垂直分辨率×3(其是每一像素的子像素的数目)。

这里，映射表可被配置为使得将其中的值的位置与子像素的位置匹配，并且使得其中的每一值包括每一子像素的视点信息和混合比率信息。视点信息可以是具有在视图图像的观看区中重叠的像素的视图图像的数目。混合比率信息可以是其中像素在视图图像的观看区中重叠的区域的比例。映射表中的值可包括视图图像数目、以及与各个视图图像数目匹配的区域的比例值。

即，映射表中的值的格式可对应于n.f(视图图像数目.比例)。

例如，基于利用视差屏障或双凸透镜配置的平板显示器的自动立体3D显示器可将水平分辨率和垂直分辨率的降低速率设置为彼此类似，并且可对准视差屏障或双凸透镜的阵列，以便针对下层显示面板的垂直轴倾斜，以消除颜色莫阿效应。在这样的结构中，来自子像素的光可折射通过透镜，并然后投射到两个或更多相邻观看区。在该情况下，如果映射单一视图图像的子像素的值，则重构的多视图图像的质量降级，因为不想要的光被投射到不同的相邻观看区。因此，使用基于当多路复用子像素时先前存储的映射表在其上投射光的区域，将子像素与相邻视图图像的像素混合，由此可改进重构的多视图图像的质量。

图3是示出了根据本发明实施例的亮度分量的内插的图。

参考图3，L是视图图像的亮度分量，L_f是可应用到亮度分量的滤波器，并且S_L是用于亮度分量的滤波器所过滤的子像素值。

首先，可使用PTC方法将视图图像分离为亮度分量和色度分量。这里，内插方法可应用到分离的亮度分量，由此可重构低分辨率图像，以获得高分辨率图像。

例如，通过内插方法，可在具有4K(3,480×2,160)分辨率的平板显示器上重构具有HD分辨率(1,280×720)的某一视图图像(n视图)。

这里，通过内插方法，可以以子像素(R、G和B)为基础对于亮度分量的输入像素生成亮度分量的内插像素。

这里，亮度分量的内插像素由用于亮度分量的滤波器L_f过滤，由此生成子像素值S_L。

图4是示出了根据本发明实施例的色度分量的内插的图。

参考图4，L是视图图像的亮度分量，C是其色度分量，C_f是要向色度分量应用的滤波器，S_C是用于色度分量的滤波器所过滤的子像素值，以及C_S是用于S_C的值的调整系数。

首先，可使用PTC方法将视图图像分离为亮度分量和色度分量。这里，内插方法可应用到分离的色度分量，由此可重构低分辨率图像，以获得高分辨率图像。

例如，通过内插方法，可在具有4K(3,480×2,160)分辨率的平板显示器上重构具有HD分辨率(1,280×720)的某一视图图像(n视图)。

这里，通过内插方法，可以以子像素(R、G和B)为基础，对于色度分量的输入像素生成色度分量的内插像素。

这里，色度分量的内插像素由用于色度分量的滤波器C_f过滤，由此生成子像素值S_C。这里，子像素值S_C可以使用调整系数C_S来调整。

图5是示出了根据本发明实施例的用于混合多视图图像的方法的图。

参考图5，确认S_L是亮度分量的子像素值，S_C是色度分量的子像素值，S_n是多路复用的子像素值，并且S₀是通过混合视图图像的子像素的子像素值。

首先，在混合多视图图像的方法中，可通过多路复用视图图像(n视图)中的内插方法所应用到的、亮度分量的子像素值S_L和色度分量的子像素值S_C，来生成S_n。

这里，在混合多视图图像的方法中，可通过多路复用另一视图图像(n-1视图)中的内插方法所应用到的、亮度分量的子像素值S_L和色度分量的子像素值S_C，来生成S_n-1。

当视图图像(n视图)与另一视图图像(n-1视图)在相邻观看区中彼此重叠时，可根据用于混合多视图图像的方法基于映射表来混合视图图像的子像素。这里，映射表的尺寸可对应于通过将输出显示装置的分辨率乘以每一像素的子像素的数目而获取的值。即，映射表的尺寸可以是自动立体3D显示器的水平分辨率×其垂直分辨率×3(其是每一像素的子像素的数目)。

这里，映射表可被配置为使得将其中的值的位置与子像素的位置匹配，并且使得其中的每一值包括每一子像素的视点信息和混合比率信息。视点信息可以是具有在视图图像的观看区中重叠的像素的视图图像的数目。混合比率信息可以是其中像素在视图图像的观看区中重叠的区域的比例。映射表中的值可包括视图图像数目、以及与各个视图图像数目匹配的区域的比例值。

即，映射表中的值的格式可以是n.f(视图图像数目.比例)。

这里，视图图像数目可对应于n视图的“n”，并且比例可对应于“f”。

即，基于观看区中的重叠区域的比例所混合的子像素S₀的值可使用n视图的比例1-0.f和n-1视图的比例0.f来生成。

图6是示出了根据本发明实施例的计算机系统的框图。

参考图6，本发明的实施例可在诸如计算机可读记录介质的计算机系统1100中实现。如图6中所示，计算机系统1100可包括经由总线1120彼此通信的一个或多个处理器1110、存储器1130、用户界面输入装置1140、用户界面输出装置1150、和储存器1160。而且，计算机系统1100可进一步包括与网络1180通信的网络接口1170。处理器1110可以是用于运行存储器1130或储存器1160中存储的处理指令的中央处理单元或半导体装置。存储器1130和储存器1160可以是不同形式的易失性或非易失性储存介质。例如，存储器可以包括ROM1131或RAM 1132。

本发明可解决当向多视图图像应用PTC方法时出现的图像失真问题。

而且，本发明可解决因为视图图像在相邻观看区中重叠、所以出现的图像质量降级问题。

而且，本发明可提供基于内插方法和混合方法的高质量多视图图像。

如上所述，根据本发明的用于多路复用多视图图像的设备和方法不限制性应用到上述实施例的配置和操作，而是可选择性组合和配置这些实施例的全部或一些，使得可按照各种方式来修改这些实施例。

Claims (18)

1.一种用于多路复用多视图图像的设备，包括：

升级单元，用于使用内插方法对视图图像进行升级；

像素多路复用单元，用于以子像素为基础来多路复用所升级的视图图像的像素；和

像素混合单元，用于基于包括子像素的混合比率的映射表来混合子像素。

2.根据权利要求1的设备，其中该升级单元执行升级以适合输出显示装置的分辨率。

3.根据权利要求2的设备，其中该像素多路复用单元将每一视图图像分离为亮度分量和色度分量。

4.根据权利要求3的设备，其中该像素多路复用单元对多路复用的子像素执行滤波。

5.根据权利要求4的设备，其中该映射表的尺寸对应于通过将该输出显示装置的分辨率乘以每一像素的子像素的数目所获取的值。

6.根据权利要求5的设备，其中配置该映射表，使得将其中的值的位置与子像素的位置匹配，并且使得每一值包括每一子像素的视点信息和混合比率信息。

7.根据权利要求6的设备，其中该视点信息对应于具有在视图图像的观看区中重叠的像素的视图图像的数目。

8.根据权利要求7的设备，其中该混合比率信息对应于其中像素在视图图像的观看区中重叠的区域的比例值。

9.根据权利要求8的设备，其中该映射表中的值包括视图图像数目、以及与各个视图图像数目匹配的区域的比例值。

10.一种用于多路复用多视图图像的方法，其中使用用于多路复用多视图图像的设备，该方法包括：

使用内插方法对视图图像进行升级；

以子像素为基础来多路复用所升级的视图图像的像素；和

基于包括子像素的混合比率的映射表来混合子像素。

11.根据权利要求10的方法，其中升级视图图像被配置为执行升级以适合输出显示装置的分辨率。

12.根据权利要求11的方法，其中多路复用像素被配置为将每一视图图像分离为亮度分量和色度分量。

13.根据权利要求12的方法，其中多路复用像素被配置为对多路复用的子像素执行滤波。

14.根据权利要求13的方法，其中该映射表的尺寸对应于通过将该输出显示装置的分辨率乘以每一像素的子像素的数目所获取的值。

15.根据权利要求14的方法，其中配置该映射表，使得将其中的值的位置与子像素的位置匹配，并且使得每一值包括每一子像素的视点信息和混合比率信息。

16.根据权利要求15的方法，其中该视点信息对应于具有在视图图像的观看区中重叠的像素的视图图像的数目。

17.根据权利要求16的方法，其中该混合比率信息对应于其中像素在视图图像的观看区中重叠的区域的比例值。

18.根据权利要求8的方法，其中该映射表中的值包括视图图像数目、以及与各个视图图像数目匹配的区域的比例值。