CN103327349A - 三维图像处理装置和调整显示图像的最佳点的位置的方法 - Google Patents

Abstract

本发明涉及三维图像处理装置和调整显示图像的最佳点的位置的方法，该装置和方法用于控制用于显示多视点图像的最佳点的位置。接收器接收包括多个视点图像的多视点图像。控制器从通过拍摄观看区而获得的图像检测多个用户，获取指示检测的多个用户的位置的用户位置信息，利用获取的用户位置信息来计算指示检测的用户之间的距离的距离信息，以及基于所计算的距离信息和多视点图像的死区的长度，来控制用于观看多个视点图像的最佳点的位置。

Description

三维图像处理装置和调整显示图像的最佳点的位置的方法

技术领域

本发明涉及处理三维图像的装置和控制用于显示三维图像的最佳点（sweet spot）的位置的方法，并且更具体地说，涉及一种显示多视点图像的三维图像处理装置和控制用于显示多视点图像的最佳点的位置的方法。

背景技术

近来，显示三维图像的显示技术已经被研究并用于各种领域。特别地讲，利用显示三维图像的显示技术来显示三维图像的电子设备已经受到许多关注。

显示三维图像的技术基于双眼像差的原理，其中，观察者根据双眼的视差来感觉到三维效果。显示三维图像的技术被分成快门式眼镜方法、无眼镜方法，以及全三维方法。快门式眼镜方法具有的问题在于，用户应当佩戴诸如眼镜之类的另外的设备。无眼镜方法具有的问题在于，用户只有在特定位置处才可以观看三维图像。

发明内容

因此，本公开致力于提供一种控制用于显示多视点图像的最佳点的位置的三维图像处理装置和方法，其基本上消除了因现有技术的局限性和缺点而造成的一个或更多个问题。

本公开的一个目的是，提供一种控制用于显示多视点图像的最佳点的位置的三维图像处理装置和方法，其中，最佳点区可以根据观看基于无眼镜方法显示的三维图像的多个用户的位置而被控制。

本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构实现到并获得。

为实现这些目的和其它优点，并且根据本发明的目的，如本文具体实施和广泛描述的，提供了一种控制用于显示包括多个视点图像的多视点图像的最佳点的位置的方法，该方法包括以下步骤：从通过拍摄观看区而获取的图像检测多个用户，并且获取指示所检测到的多个用户的位置的用户位置信息；利用所获取的用户位置信息，来计算指示所检测到的用户之间的距离的距离信息；以及基于所计算的距离信息和多视点图像的死区的长度，来控制最佳点的位置。

控制最佳点的位置的步骤包括以下步骤：基于距离信息和多视点图像的死区的长度，来控制多个视点图像的排布。

控制最佳点的位置的步骤包括以下步骤：基于距离信息和多视点图像的死区的长度，来计算三维图像像素周期；以及基于所计算的三维图像像素周期，来控制多个视点图像的排布。

控制最佳点的位置的步骤包括以下步骤：基于距离信息和多视点图像的死区的长度，来计算指示显示板与滤光器之间的间隔的间隔信息；以及基于所计算的间隔信息，来控制显示板与滤光器之间的间隔。

控制最佳点的位置的步骤包括以下步骤：基于距离信息和多视点图像的死区的长度，来控制滤光器的透镜的位置和隔板的位置中的至少一个。

控制最佳点的位置的步骤还可以包括以下步骤：如果多个用户之间的距离大于多视点图像的死区的长度，则通过在多个用户之间排列多视点图像的死区，来控制最佳点的位置。

控制最佳点的位置的步骤还可以包括以下步骤：如果多个用户之间的距离小于多视点图像的死区的长度，则通过将多个用户排列在同一最佳点，来控制最佳点的位置。

计算距离信息的步骤包括以下步骤：如果多个用户之间的距离大于可视区，则移动多个用户中的至少一个用户，使得多个用户之间的距离小于可视区；以及计算指示所移动的至少一个用户与其他用户之间的距离的距离信息。

在本发明另一方面，提供了一种三维图像处理装置，该装置包括：接收器，该接收器用于接收包括多个视点图像的多视点图像；以及控制器，该控制器用于从通过拍摄观看区而获得的图像检测多个用户，获取指示所检测的多个用户的位置的用户位置信息，利用所获取的用户位置信息，来计算指示所检测的用户之间的距离的距离信息，并且基于所计算的距离信息和多视点图像的死区的长度，来控制用于观看多个视点图像的最佳点的位置。

该装置还包括显示模块，该显示模块用于显示在控制器的控制下排列的多个视点图像，其中，该显示模块包括：显示板，该显示板用于显示视点图像；以及滤光器，该滤光器用于控制所显示的视点图像的光路。

该控制器在将多个用户的实际位置移动多达可视区宽度的整数倍以到达一个可视区内部之后，计算多个用户的距离信息。

该控制器可以通过基于距离信息和多视点图像的死区的长度控制多个视点图像的排布，来控制最佳点的位置。

该控制器可以通过基于距离信息和多视点图像的死区的长度计算三维图像像素周期，并基于所计算的三维图像像素周期控制多个视点图像的排布，来控制最佳点的位置。

该控制器可以通过基于距离信息和多视点图像的死区的长度计算指示显示板与滤光器之间的间隔的间隔信息，并基于所计算的间隔信息控制显示板与滤光器之间的间隔，来控制最佳点的位置。

该控制器可以通过基于距离信息和多视点图像的死区的长度控制滤光器的透镜的位置或隔板的位置中的至少一个，来控制最佳点的位置。

如果多个用户之间的距离大于多视点图像的死区的长度，该控制器可以控制多视点图像的死区位于多个用户之间。

如果多个用户之间的距离小于多视点图像的死区的长度，该控制器可以控制多个用户位于同一最佳点处。

如果多个用户之间的距离大于可视区，该控制器可以移动多个用户中的至少一个用户，使得多个用户之间的距离小于可视区，并可以计算指示所移动的至少一个用户与其他用户之间的距离的距离信息。

应当明白，本发明的前述一般描述和下面的详细描述都是示例性和解释性的，并且旨在提供对如要求保护的本发明的进一步阐释。

附图说明

附图被包括进来以提供对本发明的进一步理解，并且被并入且构成本申请的一部分，附图例示了本发明的实施方式，并与本描述一起用于解释本发明的原理。在图中：

图1是例示根据本发明优选实施方式的图像系统的示意图；

图2是例示根据本发明一个实施方式的、处理头部跟踪系统的过程的流程图；

图3是例示根据本发明一个实施方式的、处理图像处理系统的过程的流程图；

图4是例示显示的多视点图像的中心位置的一示例的图；

图5是例示显示的多视点图像的中心位置的另一示例的图；

图6是例示计算检测到的多个用户之间的距离的方法的图；

图7是例示根据本发明的图像系统根据用户之间的距离来控制最佳点的位置的一示例的图；

图8是例示根据本发明的图像系统根据用户之间的距离来控制最佳点的位置的另一示例的图；

图9是例示根据本发明的视点表的一示例的图；

图10是例示根据本发明的视点表的另一示例的图；

图11是例示根据本发明的用于控制视距的方法的图；

图12是例示根据本发明的视点表的又一示例的图；

图13是例示根据本发明的视点表的再一示例的图；

图14是例示根据本发明的最佳点和死区的排布的一示例的图；

图15是例示根据本发明的最佳点和死区的排布的另一示例的图；

图16是例示根据本发明的、三维图像的像素周期和显示板与滤光器之间的间隔的一示例的图；

图17是例示根据图16的实施方式的最佳点和死区的排布的图；

图18是例示根据本发明的、三维图像的像素周期和显示板与滤光器之间的间隔的另一示例的图；

图19是例示根据图18的实施方式的最佳点和死区的排布的图；

图20是例示根据本发明的、三维图像的像素周期和显示板与滤光器之间的间隔的另外的示例的图；

图21是例示根据图20的实施方式的最佳点和死区的排布的图；

图22是例示根据本发明优选实施方式的三维图像处理装置的框图；

图23是例示根据本发明的、控制用于显示多视点图像的最佳点的位置的方法的一优选例的流程图；以及

图24是例示根据本发明的、控制用于显示多视点图像的最佳点的位置的方法的另一优选例的流程图。

具体实施方式

下面，对本发明的优选实施方式进行详细说明。这些优选实施方式的示例在附图中进行了例示。在尽可能的情况下，贯穿附图使用相同参考标号来表示相同或相似部件。附图中所示和根据附图描述的本发明的实施方式仅仅是示例性的，并且本发明的技术精神及其主要操作不限于这些实施方式。

尽管在本发明中使用的术语是考虑到它们在本发明中的功能而从通常已知且使用的术语中选择的，但这些术语可以根据本领域技术人员的意图、实践或新技术的出现而修改。而且，在特定情况下，本发明的描述中提到的这些术语可以由本申请人按其判断来选择，这些术语的详细含义在本文描述的相关部分中进行描述。因此，本文使用的术语不应简单地根据所使用实际术语来理解，而是根据内在的含义和本文公开的描述来理解。

而且，在本公开中公开的、根据本发明实施方式的特定结构性或功能性描述旨在描述本发明的实施方式，并且可以在本发明的这些实施方式中进行各种修改。不应理解成，本发明受限于本公开中描述的这些实施方式。

因为可以在根据本发明的这些实施方式中进行各种修改，所以将在附图中例示具体实施方式，并且将在本公开中进行详细描述。然而，要明白的是，根据本发明的实施方式不限于具体公开，而是包括被包括在本发明的技术精神和技术范围中的所有修改例、等同物或替换例。

而且尽管指示诸如第一和/或第二的序数的术语可以被用于描述各种要素，但这些要素不应受限于这些术语。这些术语被用于标识一个要素与另一要素。例如，在本发明的范围内，第一要素可以被称为第二要素，反之亦然。

在本公开中，当某一部分“包括”某些要素时，其意指，该部分还可以包括其它要素（除非另有相反的说明）。而且，本公开中提到的术语“……部”、“……块”，以及“……模块”意指处理至少一个功能或操作的单元，并且可以由硬件、软件或者硬件和软件的组合来实现。

图1是例示根据本发明优选实施方式的图像系统的示意图。

参照图1，根据本发明的图像系统100可以包括摄像机110、头部跟踪系统120、图像处理系统130以及显示板140中的至少一个。图像处理系统130可以是多视点系统，其可以向多个用户提供三维图像。无论何时移动可视区中用户101和102的位置，图像系统100都向这些用户的左眼和右眼提供与所移动位置相对应的两个视点图像，由此，该用户可以通过两个视点图像来感觉三维效果。

可视区可以包括最佳点和死区。最佳点意指通过左眼观看的左眼视点图像以及通过右眼观看的右眼视点图像以允许正常地观看到三维图像的区域。死区意指通过左眼观看除了左眼视点图像以外的其它图像并且通过右眼观看除了右眼视点图像以外的其它图像以允许观看重像的区域。

根据一个实施方式，图像系统可以被配置为向80cm的可视区提供55个视点图像的多视点系统。图像系统100可以被配置为向80cm的可视区提供44个视点图像的多视点系统。

摄像机110拍摄观看区。观看区包括可视区，并且意指显示板140的外围区。摄像机110可以拍摄位于观看区中的多个用户。摄像机110向头部跟踪系统120输出所拍摄的观看区图像。

头部跟踪系统120从由摄像机110输出的图像检测多个用户，并且获取指示所检测用户的位置的用户位置信息。头部跟踪系统120可以通过跟踪不同用户的眼睛的位置来识别用户的位置。用户位置信息可以包括指示用户101的位置的用户位置信息和指示用户102的位置的用户位置信息。而且，用户位置信息可以包括指示用户的眼睛的位置的眼睛位置信息。

根据一个实施方式，头部跟踪系统120可以从摄像机110所输出的图像检测用户101的眼睛，并且通过识别眼睛的位置来生成指示眼睛的位置的眼睛位置信息。头部跟踪系统120可以利用先前拍摄的用户101的面部图像来检测用户101的眼睛。

图像处理系统130利用由头部跟踪系统120获取的用户位置信息来计算用户之间的距离。例如，图像处理系统130利用由头部跟踪系统120获取的用户位置信息来计算用户101与用户102之间的距离d。

图像处理系统130可以基于距离d和死区的长度来控制最佳点的位置。

根据本发明的一个实施方式，图像处理系统130可以基于距离d和死区的长度来确定多个视点图像的排布，并且根据所确定的排布来排列和合成这些视点图像。而且图像处理系统130控制显示板140，从而显示所合成的视点图像。

根据一个实施方式，图像处理系统130可以基于距离d和死区的长度来确定三维图像像素周期，并且根据所确定的三维图像像素周期来排列和合成这些视点图像。而且图像处理系统130控制显示板140，从而显示所合成的视点图像。

根据一个实施方式，图像处理系统130可以基于距离d和死区的长度来确定显示板140与滤光器之间的间隔，并且根据所确定的间隔来控制显示板与滤光器之间的间隔。在这种情况下，滤光器可以是控制由显示板140显示的视点图像的光路的三维图像滤光器。

根据本发明的一个实施方式，滤光器可以包括按恒定间隔排列的透光区和不透光区。从显示板140发射的光穿过透光区到达用户右眼或左眼。如果滤光器是液晶视差隔板，则可以将不透光区设置为隔板，并且可以将一对透光区和不透光区称为节距。滤光器的透光区和不透光区可以在图像处理系统130的控制下移位。这时，可以将滤光器固定至显示板140。而且，滤光器可以具有指示不透光区的位置的多种切换模式。换句话说，滤光器可以具有按照不透光区的位置来指示不透光区的位置的切换模式。

根据一个实施方式，如果滤光器是液晶双凸透镜状滤光器，则透光区与不透光区可以通过透镜来识别，并且可以将一个透镜称为节距。滤光器的透镜可以在图像处理系统130的控制下移位。这时，可以将滤光器固定至图像处理系统130。而且，滤光器具有指示透镜的位置的多种切换模式。换句话说，滤光器可以具有按照位置来指示透镜的位置的切换模式。

根据一个实施方式，图像处理系统130可以基于距离d和死区的长度来确定滤光器的隔板或透镜的位置，并且根据所确定的位置来控制滤光器的隔板或透镜的位置。

根据一个实施方式，图像处理系统130可以基于距离d和死区的长度，来确定三维图像像素周期和显示板与滤光器之间的间隔。而且图像处理系统130根据所确定的三维图像像素周期，排列并合成视点图像，并且控制显示板140，从而显示所合成的视点图像。而且，图像处理系统130可以根据所确定的间隔来控制显示板与滤光器之间的间隔。

显示板140在图像处理系统130的控制下显示多视点图像。显示板140可以是两个视点或更多个视点的隔板型无眼镜3D显示器，或者双凸透镜型无眼镜3D显示器。而且，显示板140可以是视图格式为子像素单元或像素单元的无眼镜3D显示器。

图2是例示根据本发明一个实施方式的、处理头部跟踪系统的过程的流程图。

参照图2，头部跟踪系统120接收输入数据210。在这种情况下，该输入数据可以包括摄像机图像212。而且，输入数据210还可以接收有关包括在摄像机图像212中的对象的深度信息。摄像机图像212可以是由摄像机110拍摄的针对观看区的图像帧，或者可以包括多个用户的图像。

头部跟踪系统120从摄像机图像212检测多个用户（框220）。在这种情况下，头部跟踪系统120可以利用用户的面部图像来检测用户，并且可以检测用户的眼睛，其中，面部图像是先前存储的。

头部跟踪系统120生成用户位置信息（框230）。用户位置信息可以包括指示多个用户中的各个用户的位置的用户位置信息。用户位置信息可以是指示用户的左眼和右眼中的每只眼的位置的位置信息。

头部跟踪系统120将用户位置信息发送至图像处理系统130（框240）。

图3是例示根据本发明一个实施方式的、处理图像处理系统的过程的流程图。

参照图3，图像处理系统130接收输入图像310。输入图像310可以包括深度图312和原始图像314。

图像处理系统130利用输入图像310来生成多视点图像（框320）。根据一个实施方式，图像处理系统130可以生成包括55个视点图像的多视点图像，或者可以生成包括44个视点图像的多视点图像。

图像处理系统130接收来自头部跟踪系统120的用户位置信息。根据一个实施方式，如果所接收的用户位置信息包括有关一个用户的用户位置信息，则图像处理系统130基于该用户位置信息来执行视点图像的复用（框330）。根据另一实施方式，如果所接收的用户位置信息包括有关多个用户的用户位置信息，则图像处理系统130基于所接收的用户位置信息来计算相应用户之间的距离。图像处理系统130基于所计算的相应用户之间的距离和死区的长度来执行视点图像的复用（框330）。

图像处理系统130通过复用（框330）生成输出图像（框340）。输出图像（框340）包括通过复用（框330）合成的图像342。合成的图像342可以是通过合成包括在多视点图像中的视点图像而获取的图像。

图像处理系统130控制最终画面输出（框350），从而显示输出图像（框340）。显示板140显示输出图像。

图4是例示显示的多视点图像的中心位置的一示例的图。而图5是例示显示的多视点图像的中心位置的另一示例的图。

参照图4和图5，当用户401与用户402之间的距离为d时，图像处理系统130可以在用户401与用户402之间居中显示图像中心410，并且基于该图像中心410排列视点图像。

当用户402移动至点502，如果用户401与用户402之间的距离大于距离d，则图像处理系统130可以在位置520显示图像中心，并且基于该图像中心520排列视点图像。

图6是例示计算检测到的多个用户之间的距离的方法的图。

参照图6，如果第一用户位于点601处，而第二用户位于点602处，则图像处理系统130移动第一用户或第二用户的位置多达与可视区相对应的距离，使得第一用户与第二用户之间的距离小于可视区。例如，为了使第一用户与第二用户之间的距离小于可视区，图像处理系统130移动位于点602处的第二用户多达与可视区相对应的距离620，由此，第二用户可以位于和点601的可视区相同的可视区的点602'处。距离620可以是一个可视区或者多个可视区的距离。

图7是例示根据本发明的图像系统根据用户之间的距离来控制最佳点的位置的一示例的图。

参照图7，如果第一用户701与第二用户702'之间的距离小于死区的尺寸，则图像处理系统130可以控制以下中的至少一个：视点图像的排布、三维图像像素周期，以及显示板与滤光器之间的间隔，以使第一用户701和第二用户702'可以位于同一最佳点处。

根据一个实施方式，如果第一用户701与第二用户702'之间的距离小于死区的尺寸，则图像处理系统130可以控制以下中的至少一个：视点图像的排布、三维图像像素周期，以及显示板与滤光器之间的间隔，以使最佳点的中心可以位于第一用户701与第二用户702'之间。第二用户的位置702'可以是根据参照图6描述的方法而移动的位置。

根据一个实施方式，如果第一用户701与第二用户702'之间的距离小于死区的尺寸，则图像处理系统130可以控制以下中的至少一个：视点图像的排布、三维图像像素周期，以及显示板与滤光器之间的间隔，以使最佳点的中心可以居中位于第一用户701与第二用户702'之间。第二用户的位置702'可以是根据参照图6描述的方法而移动的位置。

根据一个实施方式，如果第一用户701与第二用户702'之间的距离小于死区的尺寸，则图像处理系统130可以控制以下中的至少一个：视点图像的排布、三维图像像素周期，以及显示板与滤光器之间的间隔，以使图像中心可以居中位于第一用户701与第二用户702'之间。

图8是例示根据本发明的图像系统根据用户之间的距离来控制最佳点的位置的另一示例的图。

根据一个实施方式，如果第一用户801与第二用户802'之间的距离大于死区的尺寸，则图像处理系统130可以控制以下中的至少一个：视点图像的排布、三维图像像素周期，以及显示板与滤光器之间的间隔，以使死区可以位于第一用户801与第二用户802'之间。第二用户的位置802'可以是根据参照图6描述的方法而移动的位置。

根据一个实施方式，图像处理系统130可以控制以下中的至少一个：视点图像的排布、三维图像像素周期，以及显示板与滤光器之间的间隔，以使死区的中心可以居中位于第一用户801与第二用户802'之间。第二用户的位置802'可以是根据参照图6描述的方法而移动的位置。

图9是例示根据本发明的视点表的一示例的图。

参照图9，视点表900表示视点图像在起始点处的排布。在视点表900中，蓝色（B）、红色（R）以及绿色（G）子像素按行方向交替地排列，并且同一颜色的子像素按列方向排列。

在视点表中，每一个子像素中标记的编号意指将通过对应子像素显示的视点图像的编号。例如，“1”意指第一视点图像、“6”意指第六视点图像，而“11”意指第十一视点图像。

根据一个实施方式，将在视点表900的子像素（m，n）中显示的视点图像View可以基于下面的公式1来确定。在这种情况下，m是行索引，而n是列索引。

[公式1]

View＝(Initial View)+{(Horizontal View Step)*m+(Vertical View Step)*n}%NView

在这种情况下，Initial View是显示在子像素（0，0）中的视点图像的编号，Horizontal View Step是按行方向增加的编号，Vertical View Step是按列方向增加的编号，而NView是视点图像的数量。

视点表900表示针对Horizontal View Step为5、Vertical View Step为6，而视点图像的数量为40的多视点图像在起始点处视点图像的排布。起始点意指在子像素中标记的视点图像是第一视点图像。

图10是例示根据本发明的视点表的另一示例的图。

参照图10，视点表1000是针对Horizontal View Step为5、Vertical View Step为6，而视点图像的数量为40的多视点图像从起始点移位多达四个视点的视点表。该视点图像标记在视点表1000的子像素（0，0）中。

在图9所示的视点表900显示在显示板110中的状态下，如果图像处理系统130根据视点表1000排列并合成这些视点图像，并将所合成的视点图像输出至显示板110，则可视区被移位多达由该可视区内的四个视点图像所占用的尺寸，结果，最佳点移位。换句话说，图像处理系统130可以通过控制视点图像的排布来控制最佳点的位置。

图11是例示根据本发明的用于控制视距的方法的图。

参照图11，图像处理系统130可以通过控制三维图像像素周期P来控制可视区L的位置和尺寸。而且，图像处理系统130可以通过控制可视区L的位置和尺寸来控制最佳点的位置和尺寸。换句话说，图像处理系统130可以通过控制三维图像像素周期P来控制最佳点与用户1101的位置相对应。

图像处理系统130可以通过控制比例因子（SF）来控制视距D。可视区L的位置和尺寸根据视距D而被控制。

将比例因子（SF）定义为如下面的公式2所表达。

[公式2]

SF＝p′/p＝(D′+d)/D′*(D+d)/D

在这种情况下，d是显示板1110与滤光器1120之间的间隔，D是可视区，p'是受控的三维图像像素周期，而D'是受控的视距。

如果图像处理系统130将三维图像像素周期P增加至P'，则视距D减小至视距D'，并且可视区L被控制成可视区L'。

如果图像处理系统130将三维图像像素周期P减小至P"，则视距D增加至视距D"，并且可视区L被控制成可视区L"。

图12是例示根据本发明的视点表的又一示例的图，尤其例示了最佳视距处的视点表。

参照图12，视点表1200具有和图9所示视点表900的排布相同的排布。线1210和线1220意指限定滤光器的不透光区的宽度的边缘或滤光器的透镜的边缘。

根据一个实施方式，可以基于下面的公式3来确定将在视点表1200的子像素（m，n）中显示的视点图像的视距VD。在这种情况下，m是行索引，而n是列索引。

[公式3]

VD=Y direction Initial View+X direction View=(Dist_y/DPV_y+Dist_X/DPV_x)%Nview

在这种情况下，Initial View是在子像素（0，0）中标记的视点图像的编号，而NView是视点图像的总数。

Dist_x被定义为如下面的公式4所表达。

[公式4]

Dist_x=PH*m

在这种情况下，PH是子像素的水平长度。

Dist_y被定义为如下面的公式5所表达。

[公式5]

Dist_y=Pv*n

在这种情况下，Pv是子像素的垂直长度。

DPV_x被定义为如下面的公式6所表达。

[公式6]

DPV_x=PHx1/HstepxSF

在这种情况下，Hstep是按行方向增加的编号，而SF是比例因子。

DPV_y被定义为如下面的公式7所表达。

[公式7]

DPV_y=Pvx1/VstepxSF

在这种情况下，Vstep是按列方向增加的编号。

视点表110是起始点的视点表，其中，Hstep为5、Vstep为6、视点图像总数为40，以及SF为1。

图13是例示根据本发明的视点表的又一示例的图，尤其例示了在视距相对于最佳视距移位时的视点表。

参照图13，视点表1300是起始点的视点表，其中，Hstep为5、Vstep为6、视点图像总数为40，以及SF为1.001989。可以基于下面的公式8来获取将在视点表1300的子像素（m，n）中显示的视点图像View。

[公式8]

View=O+{4.99*m+5.98*n}%40

公式8从公式7推导出。

线1310和线1320意指限定滤光器的不透光区的宽度的边缘或滤光器的透镜的边缘。

图14是例示根据本发明的最佳点和死区的排布的一示例的图，而图15是例示根据本发明的最佳点和死区的排布的另一示例的图。

参照图14和图15，区1410和1420分别意指处于最佳视距的最佳点和死区。如果视距移位，则最佳点1410和死区1420分别移位至区1510和区1520。随着视距移位，最佳点和死区的长度和位置中的至少一个移位。

图16是例示根据本发明的、三维图像的像素周期和显示板与滤光器之间的间隔的一示例的图，而图17是例示根据图16的实施方式的最佳点和死区的排布的图。

参照图16和图17，图像处理系统130可以通过控制显示板1610与滤光器1620之间的间隔来控制可视区L的位置和尺寸。而且，图像处理系统130可以通过控制可视区L的位置和尺寸来控制最佳点的位置和尺寸。

如果显示板1610与滤光器1620之间的间隔为d，并且三维图像像素周期为P，则最佳点和死区分别变为区1710和区1720。

图18是例示根据本发明的、三维图像的像素周期和显示板与滤光器之间的间隔的另一示例的图，而图19是例示根据图18的实施方式的最佳点和死区的排布的图。

参照图18和图19，显示板1810与滤光器1820之间的间隔d'小于图16的显示板1610与滤光器1620之间的距离d。

如果显示板1810与滤光器1820之间的间隔为d'，并且三维图像像素周期为P，则最佳点和死区分别变为区1910和区1920。

如果图像处理系统130控制显示板与滤光器之间的间隔从d至d'，则将最佳点被控制为从图17的区1710到图19的区1910，并且死区被控制为从图17的区1720到图19的区1920，

图20是例示根据本发明的、三维图像的像素周期和显示板与滤光器之间的间隔的另外的示例的图，而图21是例示根据图20的实施方式的最佳点和死区的排布的图。

参照图20和图21，显示板2010与滤光器2020之间的间隔d'大于图16的显示板1610与滤光器1620之间的距离d。

如果显示板2010与滤光器2020之间的间隔为d"，并且三维图像像素周期为P"，则最佳点和死区分别变为区2110和2120。

如果图像处理系统130控制显示板与滤光器之间的间隔从d至d"，并且控制三维图像像素周期从P至P"，则最佳点被控制为从图17的区1710到21的区2110，并且死区被控制为从图17的区1720到图21的区2120。

图22是例示根据本发明优选实施方式的三维图像处理装置的框图。

参照图22，根据本发明的三维图像处理装置2200可以包括以下中的至少一个：接收器2201、解复用器2232、视频解码器2234、音频解码器2238、缓冲器2240、图形处理器2245、显示模块2250、音频输出模块2260、输入模块2270、存储模块2280，以及控制模块2290。该三维图像处理装置2200可以根据实施方式而包括摄像机2295。

三维图像处理装置2200对应于除了广播接收功能以外还附加地提供计算机支持功能的智能显示装置。因此，根据与广播接收功能一起的附加因特网功能，三维图像处理装置2200可以设置有更方便的接口，如，人工输入单元、触摸屏、触摸板，或魔力遥控器。而且，三维图像处理装置2200可以根据对有线或无线因特网功能的支持通过接入因特网或通过计算机来执行诸如电子邮件收发、web浏览、银行业务或游戏等的功能。针对这些不同功能，可以使用标准化通用操作系统（OS）。例如，因为各种应用可以在通用OS内核上随意添加或删除，所以三维图像处理装置2200可以执行用户容易掌握使用的各种功能。更详细地说，三维图像处理装置2200可以是网络TV、HBB TV、智能TV、开放式混合TV（OHTV）等，并且可以视情况而应用至移动终端、智能电话、PC以及电子设备。

三维图像处理装置2200执行图1的图像系统100的功能。图像系统100可以实现为三维图像处理装置2200。

接收器2201可以接收广播数据、视频数据、音频数据、信息数据以及应用数据。视频数据可以是用于显示二维图像的视频数据和用于显示三维图像的视频数据。而且，三维图像可以包括立体图像和多视点图像中的至少一种。而且，三维图像可以包括图3所示的输入图像310。

三维图像可以是包括多个三维图像帧的三维运动图片（三维视频）。根据一个实施方式，三维图像帧可以包括具有特定宽度的二维图像帧和与二维图像相对应的深度图像。在这种情况下，二维图像帧包括彩色图像数据。该彩色图像数据包括像素值。下面，将二维图像帧称为彩色图像。深度图像可以按灰度级来表示。二维图像帧可以具有和像素分辨率相同的分辨率。包括在深度图像中的像素可以具有与包括在二维图像帧中的像素逐个地相对应的深度值。深度值可以按灰度级来表示。例如，灰度级可以具有0与255之间的值。

接收器2201可以包括：调谐器2210、解调制器2220、移动通信模块2215、网络接口模块2225、音频感测模块2233，以及外部信号接收器2235。调谐器2210可以通过广播网络接收包括数据的流信号，而解调制器2220解调制所接收流信号。移动通信模块2215可以通过诸如2G通信网络、3G通信网络以及4G通信网络之类的移动通信网络来接收数据。而且，网络接口模块2225可以通过网络发送和接收数据，并且外部信号接收器2235可以接收来自外部设备的应用和内容，并接收来自摄像机2295的图像帧。在这种情况下，图像帧可以是用户拍摄的图像帧。

解复用器2230将从解调制器2220输出的流信号解复用成视频信号和音频信号。而且，解复用器2230可以接收来自移动通信模块2215、网络接口模块2225，以及外部信号接收器2235的视频数据、音频数据、广播数据、信息数据以及应用数据。

视频解码器2234对由解复用器2230解复用的视频信号进行解码，并将所解码的视频信号存储在缓冲器2240中。

图形处理器2245控制显示模块2250显示存储在缓冲器2240中的图像数据。图形处理器2245可以将包括在图像数据中的视点图像进行排列与合成，并将所合成的图像输出至显示模块2250。图形处理器2245可以在控制模块2290的控制下排列这些视点图像。换句话说，图形处理器2245可以根据由控制模块2290生成的、用于控制视点图像的排布的控制信号来排列视点图像。

音频解码器2238对由解复用器2230解复用的音频信号进行解码，并将所解码的音频信号输出至音频输出模块2260。

显示模块2250显示图像2252。图像2252可以是通过合成包括在多视点图像中的视点图像而获取的图像。而且，图像2252可以包括图3所示的输出图像340。显示模块2250可以包括图1所示的显示板140，并且可以包括滤光器。滤光器可以是控制由显示板140显示的视点图像的光路的三维图像滤光器。

而且，显示模块2250可以通过与控制模块2290连接而被操作。显示模块2250可以显示图形用户接口（GUI）2253，该图形用户接口提供容易在用于处理三维图像的装置的用户与操作系统之间或与在该操作系统上实现的应用之间使用的接口。

音频输出模块2260可以接收来自音频解码器2238和控制模块2290的音频数据，并且输出根据所接收的音频数据再现的声音2261。

输入模块2270可以是设置在显示模块2250上或者设置在显示模块2250前部的触摸屏，或者可以是接收来自遥控器2211的信号的通信模块。输入模块2270可以接收来自遥控器2211的遥控器发送信号。

根据一个实施方式，接收器2201可以是接收来自遥控器2211的信号的通信模块。换句话说，外部信号接收器2235可以接收来自遥控器2211的遥控器发送信号。

存储模块2280通常提供用于存储程序代码和由用于处理三维图像的三维图像处理装置2200所使用的数据的位置。在这种情况下，程序代码可以是由接收器2201接收的应用的程序代码和在制造用于处理三维图像的装置220时存储的应用的程序代码。而且，应用可以用诸如HTML、XML、HTML5、CSS、CSS3、Java Script、Java、C-语言、C++、Visual C++，以及C#等的编程语言来设计。

存储模块2280可以存储用户的由摄像机2295拍摄的面部图像。控制模块2290可以利用存储在存储模块2280中的用户的面部图像，从由摄像机2295拍摄的图像检测用户。

只读存储器（ROM）、随机存取存储器（RAM）以及硬盘驱动器可以被用作存储模块2280。程序代码和数据可以存在于可分离的存储介质中，而且若需要的话，可以被加载或安装在用于处理三维图像的三维图像处理装置2200上。可分离的存储介质可以包括：CD-ROM、PC-CARD、存储卡、软盘，磁带以及网络组件。

控制模块2290实现命令语言并且与三维图像处理装置2200有关地执行。例如，控制模块2290可以利用从存储模块2280检测到的命令语言，来控制三维图像处理装置2200的组件之间的输入和输出，以及数据接收和处理。

控制模块2290与操作系统一起实现程序代码，并且生成和使用数据。操作系统通常是公知的，从而将不进行更详细描述。例如，操作系统可以是基于窗口的OS、Unix、Linux、Palm OS、DOS、android以及Macintosh。操作系统、其它计算机代码和数据可以存在于通过与控制模块2290连接而操作的存储模块2280中。

控制模块2290可以在单一芯片、多个芯片或多个电气部件上实现。例如，可以将诸如专用或嵌入式处理器、单一用途处理器、控制器以及ASIC之类的各种架构用于控制模块2290。

控制模块2290可以识别用户动作，并且基于所识别的用户动作，来控制用于处理三维图像的三维图像处理装置2200。在这种情况下，用户动作可以包括物理选择用于处理三维图像的装置或遥控器的按钮、触摸屏显示区上的预定姿势的动作、选择软按钮、从摄像机2295所拍摄的图像识别出的预定姿势的动作，以及通过语音识别识别出的预定话语的动作。姿势可以包括触摸姿势和空间姿势。

输入模块2270接收姿势2271，并且控制模块2290实现用于执行与姿势2271有关的操作的命令语言。而且，存储模块2280可以包括可以作为单独的应用的一部分或操作系统的一部分的姿势操作程序2281。姿势操作程序2281通常识别姿势2271的生成，并且包括将姿势2271或应当响应于姿势2271而采取什么动作通知给一个或更多个软件代理的一系列命令。

控制模块2290可以执行图1的头部跟踪系统120的功能。头部跟踪系统120可以被制造为软件并且在控制模块2290上被驱动。图1所示的摄像机110可以是摄像机2295。

控制模块2290从由摄像机2295输出的图像检测多个用户，并且获取指示检测到的多个用户的位置的用户位置信息；控制模块2290可以通过跟踪许多人的眼睛的位置来识别用户的位置。用户位置信息可以包括指示第一用户的位置的用户位置信息和指示第二用户的位置的用户位置信息。而且，用户位置信息可以包括指示用户的眼睛的位置的眼睛位置信息。

根据一个实施方式，控制模块2290可以从由摄像机2295输出的图像检测出用户的眼睛，并且通过识别眼睛的位置来生成指示眼睛的位置的眼睛位置信息。控制模块2290可以利用先前拍摄并存储在存储模块2280中的用户的面部图像，来检测该用户的眼睛。

而且，控制模块2290可以执行图1的图像处理系统130的功能。图像处理系统130可以被制造为软件并且在控制模块2290上被驱动。

控制模块2290利用所获取的用户位置信息，来计算用户之间的距离。例如，控制模块2290利用所获取的用户位置信息，来计算多个用户之间的距离d。控制模块2290可以根据参照图4描述的方法，来计算用户之间的距离。

控制模块2290可以基于所计算的距离d和死区的长度来控制最佳点的位置。

根据一个实施方式，控制模块2290可以基于距离d和死区的长度来确定多个视点图像的排布，并且根据所确定的排布来排列和合成这些视点图像。而且，控制模块2290控制显示模块2250，从而显示所合成视点图像。

根据一个实施方式，控制模块2290可以基于距离d和死区的长度来生成用于控制多个视点图像的排布的控制信号，并将所生成的控制信号输出至图形处理器2245。

根据一个实施方式，控制模块2290可以基于距离d和死区的长度来确定三维图像像素周期，并且根据所确定的三维图像像素周期来排列和合成这些视点图像。而且，控制模块2290控制显示模块2250，从而显示所合成的视点图像。

根据一个实施方式，控制模块2290可以基于距离d和死区的长度来确定三维图像像素周期，根据所确定的三维图像像素周期，来生成用于控制多个视点图像的排布的控制信号，并将所生成的控制信号输出至图形处理器2245。

根据一个实施方式，控制模块2290可以基于距离d和死区的长度来确定滤光器与显示模块2250的显示板之间的间隔，并且根据所确定的间隔来控制显示板与滤光器之间的间隔。在这种情况下，该滤光器可以是控制由显示板显示的视点图像的光路的三维图像滤光器。

根据一个实施方式，控制模块2290可以基于距离d和死区的长度来确定滤光器的透镜或隔板的排布，并且根据所确定的排布来控制滤波器的透镜或隔板的位置。

根据一个实施方式，控制模块2290可以基于距离d和死区的长度，来确定三维图像像素周期和显示板与滤光器之间的间隔。而且，控制模块2290根据所确定的三维图像像素周期，排列并合成视点图像，并且控制显示模块2250，从而显示所合成的视点图像。而且，控制模块2290可以根据所确定的间隔，来控制显示板与滤光器之间的间隔。

根据一个实施方式，控制模块2290可以基于距离d和死区的长度，来确定三维图像像素周期和显示板与滤光器之间的间隔。控制模块2290可以根据所确定的三维图像像素周期来生成用于控制多个视点图像的排布的控制信号，并将所生成的控制信号输出至图形处理器2245。

图23是例示根据本发明的、控制用于显示多视点图像的最佳点的位置的方法的优选例的流程图。

参照图23，摄像机2295拍摄图像（步骤S100）。

控制模块2290从由摄像机2295拍摄的图像检测多个用户（步骤S110）。而且，控制模块2290可以从由摄像机2295输出的图像检测用户的眼睛。控制模块2290可以利用先前拍摄并存储在存储模块2280中的用户的面部图像，来检测用户的眼睛。

控制模块2290获取指示检测到的多个用户的位置的用户位置信息（步骤S120）。用户位置信息可以包括以下信息中的至少一个：指示用户的眼睛的位置的眼睛位置信息和指示用户的左眼和右眼的中心点的位置的信息。

控制模块2290利用所获取的用户位置信息，来计算检测到的多个用户之间的距离（步骤S130）。控制模块2290可以根据参照图4描述的方法，来计算用户之间的距离。

控制模块2290基于所计算的距离和多视点图像的死区的长度，来确定多个视点图像的排布（步骤S140）。根据一个实施方式，控制模块2290可以基于距离d和死区的长度来确定三维图像像素周期，并且根据所确定的三维图像像素周期来确定视点图像的排布。控制模块2290可以根据参照图5和图6描述的方法来确定视点图像的排布，使得可以控制最佳点区。

图形处理器2245根据由控制模块2290确定的排布来排列视点图像，并合成所排列的视点图像（步骤S150）。

显示模块2250显示所合成的视点图像（步骤S160）。

图24是例示根据本发明的、控制用于显示多视点图像的最佳点的位置的方法的另一优选例的流程图。

参照图24，摄像机2295拍摄图像（步骤S200）。

控制模块2290从由摄像机2295拍摄的图像检测多个用户（步骤S210）。而且，控制模块2290可以根据从摄像机2295输出的图像检测用户的眼睛。控制模块2290可以利用先前拍摄并存储在存储模块2280中的用户的面部图像，来检测该用户的眼睛。

控制模块2290获取指示检测到的多个用户的位置的用户位置信息（步骤S220）。用户位置信息可以包括以下信息中的至少一个：指示用户的眼睛的位置的眼睛位置信息和指示用户的左眼和右眼的中心点的位置的信息。

控制模块2290利用所获取的用户位置信息，来计算检测到的多个用户之间的距离（步骤S230）。控制模块2290可以根据参照图4描述的方法，来计算用户之间的距离。

控制模块2290基于距离d和死区的长度，来确定显示板与滤光器之间的间隔（步骤S240）。控制模块2290可以根据参照图5和图6描述的方法来确定显示板与滤光器之间的间隔，使得可以控制最佳点区。

控制模块2290控制图形处理器2245，使得根据所确定的间隔来控制显示板与滤光器之间的间隔（步骤S250）。在这种情况下，图形处理器2245可以根据由控制模块2290确定的排布来排列视点图像，并合成所排列的视点图像，并且显示模块2250可以控制显示板与滤光器之间的间隔，并将所合成的视点图像显示在受控的显示板上。

根据一个实施方式，在步骤S240，控制模块2290可以基于距离d和死区的长度来确定滤光器的透镜或隔板的排布。在步骤S250，控制模块2290可以控制滤光器的透镜或隔板的位置，使得滤光器的透镜或隔板可以根据所确定的排布来排列。

根据本发明的用于处理三维图像的装置和用于控制该装置的方法不限于前述实施方式，并且前述实施方式中的全部或一些可以选择性地组合配置，使得可以在前述实施方式中进行各种修改。

同时，根据本发明的控制用于处理三维图像的装置的方法可以在能够由设置在网络设备中的处理器读取的记录介质中实现为能够由该处理器读取的代码。能够由处理器读取的记录介质包括存储能够由处理器读取的数据的所有类型的记录介质。该记录介质的示例包括：ROM、RAM、CD-ROM、磁带、软盘以及光学数据存储器。而且，该记录介质的另一示例可以按诸如通过因特网传输的载波的类型来实现。而且，能够由处理器读取的记录介质可以分布在通过网络连接至的计算机系统中，由此，能够由处理器读取的代码可以按分布模式来存储和实现。

在根据本发明的、控制用于显示多视点图像的最佳点的位置的三维图像处理装置和方法中，因为检测多个用户的位置，并且基于所检测的用户之间的距离和多视点图像的死区的长度来控制最佳点的位置，所以可以将最佳点区控制成对应于观看三维图像的用户的位置，由此，多个用户可以在他们希望的位置处观看三维图像，而无需单独的移动。

本领域技术人员应当明白，在不脱离本发明的精神或基本特征的情况下，本发明可以按其它特定形式来具体实施。由此，上述实施方式要在如所示例的全部方面中来考虑，并且不是限制性的。本发明的范围应当通过对所附权利要求的合理解释和落入被包括在本发明范围中的、本发明的等同范围内的所有变化来确定。

本申请要求2012年3月19日提交的韩国专利申请No.10-2012-0027574的优先权，该韩国专利申请的内容通过引用合并于此，如同在此进行了完整的陈述。

Claims (20)

1.一种控制用于显示包括多个视点图像的多视点图像的最佳点的位置的方法，该方法包括以下步骤：

从通过拍摄观看区而获取的图像检测多个用户，并且获取指示所检测到的多个用户的位置的用户位置信息；

利用所获取的用户位置信息，来计算指示所检测到的用户之间的距离的距离信息；以及

基于所计算的距离信息和所述多视点图像的死区的长度，来控制所述最佳点的位置。

2.根据权利要求1所述的方法，其中，控制所述最佳点的位置的步骤包括以下步骤：基于所述距离信息和所述多视点图像的死区的长度，来控制所述多个视点图像的排布。

3.根据权利要求1所述的方法，其中，控制所述最佳点的位置的步骤包括以下步骤：

基于所述距离信息和所述多视点图像的死区的长度，来计算三维图像像素周期；以及

基于所计算的三维图像像素周期，来控制所述多个视点图像的排布。

4.根据权利要求1所述的方法，其中，控制所述最佳点的位置的步骤包括以下步骤：

基于所述距离信息和所述多视点图像的死区的长度，来计算指示显示板与滤光器之间的间隔的间隔信息；以及

基于所计算的间隔信息，来控制所述显示板与所述滤光器之间的间隔。

5.根据权利要求1所述的方法，其中，控制所述最佳点的位置的步骤包括以下步骤：基于所述距离信息和所述多视点图像的死区的长度，来控制滤光器的透镜的位置和隔板的位置中的至少一个。

6.根据权利要求1所述的方法，所述方法还包括以下步骤：

如果所述多个用户之间的距离大于所述多视点图像的死区的长度，则通过在所述多个用户之间排列所述多视点图像的死区，来控制所述最佳点的位置。

7.根据权利要求1所述的方法，所述方法还包括以下步骤：

如果所述多个用户之间的距离小于所述多视点图像的死区的长度，则通过将所述多个用户排列在同一最佳点，来控制所述最佳点的位置。

8.根据权利要求1所述的方法，其中，计算所述距离信息的步骤包括以下步骤：

如果所述多个用户之间的距离大于可视区，则移动所述多个用户中的至少一个用户，使得所述多个用户之间的距离小于所述可视区；以及

计算指示所移动的至少一个用户与其他用户之间的距离的距离信息。

9.一种三维图像处理装置，该装置包括：

接收器，该接收器用于接收包括多个视点图像的多视点图像；以及

控制器，该控制器用于从通过拍摄观看区而获得的图像检测多个用户，获取指示所检测的多个用户的位置的用户位置信息，利用所获取的用户位置信息，来计算指示所检测的用户之间的距离的距离信息，并且基于所计算的距离信息和所述多视点图像的死区的长度，来控制用于观看所述多个视点图像的最佳点的位置。

10.根据权利要求9所述的装置，所述装置还包括：

显示模块，该显示模块用于显示在所述控制器的控制下排列的所述多个视点图像，其中，所述显示模块包括：

显示板，该显示板用于显示视点图像；以及

滤光器，该滤光器用于控制所显示的视点图像的光路。

11.根据权利要求9所述的装置，其中，所述控制器在将所述多个用户的实际位置移动多达可视区宽度的整数倍以到达一个可视区内部之后，计算所述多个用户的距离信息。

12.根据权利要求9所述的装置，其中，所述控制器通过基于所述距离信息和所述多视点图像的死区的长度控制所述多个视点图像的排布，来控制所述最佳点的位置。

13.根据权利要求9所述的装置，其中，所述控制器通过基于所述距离信息和所述多视点图像的死区的长度计算三维图像像素周期，并基于所计算的三维图像像素周期控制多个视点图像的排布，来控制所述最佳点的位置。

14.根据权利要求9所述的装置，其中，所述控制器通过基于所述距离信息和所述多视点图像的死区的长度计算指示显示板与滤光器之间的间隔的间隔信息，并基于所计算的间隔信息控制所述显示板与所述滤光器之间的间隔，来控制所述最佳点的位置。

15.根据权利要求9所述的装置，其中，所述控制器通过基于所述距离信息和所述多视点图像的死区的长度控制滤光器的透镜的位置或隔板的位置中的至少一个，来控制所述最佳点的位置。

16.根据权利要求9所述的装置，其中，如果所述多个用户之间的距离大于所述多视点图像的死区的长度，所述控制器控制所述多视点图像的死区位于所述多个用户之间。

17.根据权利要求9所述的装置，其中，如果所述多个用户之间的距离小于所述多视点图像的死区的长度，所述控制器控制所述多个用户位于同一最佳点处。

18.根据权利要求9所述的装置，其中，如果所述多个用户之间的距离大于可视区，所述控制器移动所述多个用户中的至少一个用户，使得所述多个用户之间的距离小于可视区，并计算指示所移动的至少一个用户与其他用户之间的距离的距离信息。

19.根据权利要求9所述的装置，所述装置还包括：

图形处理器，该图形处理器用于在所述控制器的控制下排列所述多个视点图像，并合成所排列的视点图像。

20.根据权利要求9所述的装置，所述装置还包括：

摄像机，该摄像机用于拍摄所述观看区。

Images