CN114630099B - 显示方法、装置、系统及计算机可读存储介质 - Google Patents

Abstract

本公开实施例提供一种显示方法、装置、系统及计算机可读存储介质，包括：获取观看者在三维显示面板上的注视位置，根据所述注视位置确定注视区；在所述注视区中，对待显示图像进行像素重排，以使观看者左眼接收到左视图，右眼接收到右视图。保证了观看者的三维显示效果。

Description

显示方法、装置、系统及计算机可读存储介质

技术领域

本公开实施例涉及显示技术领域，具体涉及一种显示方法、显示装置、显示系统及计算机可读存储介质。

背景技术

裸眼3D显示器是指利用人的双眼具有视差的特性，在不需要佩戴任何辅助设备(如3D眼镜，头盔等)的条件下即可观看3D立体效果的显示器。裸眼3d显示器，画中事物既可凸出于画面之外，也可深藏于画面之中。色彩艳丽、层次分明、活灵活现、栩栩如生，是真正意义上的三维立体影象。

裸眼3D显示的原理一般是通过光栅或透镜将显示器显示的图像进行分光，从而使人眼接收到不同的图像，左眼接收的是左图，右眼接收的是右图，再通过人类大脑自动合成一幅完整的三维视图，这样便实现了3D显示。由于屏幕和光栅的位置是固定的，因此左右图的发射角度是固定的，人眼只有在一定的范围内才能看到最佳的显示效果。在这个范围内的位置称为一个观看视点。有的裸眼3D显示器通过硬件设计，可以发射多个位置的视图，即观看视点有多个。但是这些位置是固定的，一旦脱离这些视点范围，就会出现看不清的状况。如果有两个以上的人观看，也需要在固定的视点观看，一般通过降分辨率的方法去做，即人眼看到的裸眼3D图像的分辨率低了，这极大影响了观看体验。

发明内容

本公开实施例提供一种显示方法、显示装置、显示系统及计算机可读存储介质，可以保证观看者的显示效果。

一方面，本公开实施例提供了一种显示方法，包括：

获取观看者在三维显示面板上的注视位置，根据所述注视位置确定注视区；

在所述注视区中，对待显示图像进行像素重排，以使观看者左眼接收到左视图，右眼接收到右视图。

另一方面，本公开实施例还提供了一种显示装置，包括处理器以及存储有可在处理器上运行的计算机程序的存储器，其中，所述处理器执行所述程序时实现上述显示方法的步骤。

再一方面，本公开实施例还提供了一种显示系统，包括图像采集装置和前述显示装置。

再一方面，本公开实施例还提供了一种计算机可读存储介质，存储有可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时用于实现上述显示方法。

本公开实施例提供的方法，通过对像素重排保证观看者左眼接收到左视图，右眼接收到右视图，从而保证观看者的观看效果。

当然，实施本公开的任一产品或方法并不一定需要同时达到以上所述的所有优点。本公开的其它特征和优点将在随后的说明书实施例中阐述，并且，部分地从说明书实施例中变得显而易见，或者通过实施本公开而了解。本公开实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本公开技术方案的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。附图中各部件的形状和大小不反映真实比例，目的只是示意说明本公开内容。

图1为一种三维显示示意图；

图2为本公开实施例一种显示方法的流程图；

图3为本公开实施例一种单人显示方法流程图；

图4为本公开实施例一种多人显示方法流程图；

图5为摄像头与显示器位置示意图；

图6为本公开实施例标定示意图；

图7为本公开实施例单人显示时像素重排示意图；

图8为本公开实施例多人显示时像素重排示意图；

图9为本公开实施例按注视区分割示意图；

图10为本公开实施例中的显示处理装置的结构示意图。

具体实施方式

本公开描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本公开所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。

本公开包括并设想了与本领域普通技术人员已知的特征和元件的组合。本公开已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本公开中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。

此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本公开实施例的精神和范围内。

在附图中，有时为了明确起见，夸大表示了构成要素的大小、层的厚度或区域。因此，本公开的一个方式并不一定限定于该尺寸，附图中每个部件的形状和大小不反映真实比例。此外，附图示意性地示出了理想的例子，本公开的一个方式不局限于附图所示的形状或数值等。

除非另外定义，本公开使用的技术术语或科学术语为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。本公开中，“多个”可以表示两个或两个以上的数目。“包括”或者“包含”等类似的词语意指出现该词前面的元件或物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“耦接”、“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“电性的连接”包括构成要素通过具有某种电作用的元件连接在一起的情况。“具有某种电作用的元件”只要可以进行连接的构成要素间的电信号的授受，就对其没有特别的限制。“具有某种电作用的元件”的例子不仅包括电极和布线，而且可以包括晶体管等开关元件、电阻器、电感器、电容器、其它具有一种或多种功能的元件等。

在本公开中，为了方便起见，使用“中部”、“上”、“下”、“前”、“后”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示方位或位置关系的词句以参照附图说明构成要素的位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。构成要素的位置关系根据描述各构成要素的方向适当地改变。因此，不局限于在说明书中说明的词句，根据情况可以适当地更换。

为了保持本公开实施例的以下说明清楚且简明，本公开省略了部分已知功能和已知部件的详细说明。本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。

如图1所示，一种三维显示面板，其光栅20位于三维显示面板的出光面一侧，通过光栅形成间隔设置的遮光区和透光区，遮光区可以遮挡像素阵列10的部分区域，使得图像左视图(L)投射到用户的左眼，右视图(R)投射到右眼，从而使人能够感受到三维显示的效果。但是由于光栅位置固定，当人眼移动到非最佳观赏区域但注视点位置不变时，会出现图像模糊，或者叠加等现象。另外当有多个人同时观看时，无法保证所有人的观看效果。

本公开提供了一种显示方法，如图2所示，包括以下步骤：

步骤10，获取观看者在三维显示面板上的注视位置，根据所述注视位置确定注视区；

步骤20，在所述注视区中，对待显示图像进行像素重排，以使观看者左眼接收到左视图，右眼接收到右视图。

本公开实施例提供的方法，通过对像素重排保证观看者左眼接收到左视图，右眼接收到右视图，从而保证观看者的观看效果。

在一示例性实施例中，所述方法可以用于单人显示，即观看者为一人的情况，针对裸眼三维显示观看位置固定的情况，可将固定视点的观看扩展为任意位置的视点观看，即在任意视点都能实现较好的三维显示效果。

所述用于实现单一观看者的三维图像显示方法如图3所示，包括：

步骤11，获取观看者人眼坐标以及在三维显示面板上的第一注视位置，根据所述第一注视位置确定第一注视区；

所述观看者的眼球坐标可以利用摄像头对人脸进行检测得到。

可以通过预先观看标定点的方式，建立人眼坐标与注视位置(即注视点)的坐标关系，根据建立好的人眼坐标与注视位置的坐标关系计算得到第一注视位置。

步骤12，确定用于输入左眼的左视图和用于输入右眼的右视图，确定是否需要进行像素重排，如果不需要，执行步骤13，如果需要执行步骤14；

在本步骤中，可以根据观看者人眼坐标和光栅位置确定是否需要进行像素重排，或者根据当前人眼坐标位置是否在较佳观测区域内确定是否需要进行像素重排。

其中，根据当前人眼坐标位置是否在较佳观测区域内确定是否需要进行像素重排时，如果在较佳观测区域内，则不需要重排，如果不在较佳观测区域内，则需要重排。所述较佳观测区域是指该三维显示面板制作设计时的观测区域。

其中，根据观看者人眼坐标和光栅位置确定是否需要进行像素重排时，以左眼为例，建立左眼坐标与光栅透光位置坐标的连线，该连线的延长线与显示区的交点处的像素显示的内容是否为左视图内容，如果是，则不需要进行像素重排，如果不是，则需要像素重排，可选地，可以计算注视区内的多个位置，根据需要进行像素重排的像素的数量判断是否需要进行像素重排。

步骤13，将所述左视图和所述右视图合成为待显示图像；

由于三维显示面板光栅位置固定，因此，可以将左视图与右视图按照光栅间隔进行合成。例如，合成时，图像的每一行按照固定个数的左视图像素和固定个数的右视图像素进行排列，以通过三维显示屏幕光栅的作用使左右视图分别进入左眼和右眼，形成视差，进而产生三维显示效果。

步骤14，根据观看者的人眼坐标以及光栅位置分别确定所述第一注视区中左眼看到的左眼像素位置和右眼看到的右眼像素位置，在对所述左视图和右视图进行合成时进行像素重排，使得左视图像素位于左眼像素位置，右视图像素位于右眼像素位置。

在本公开实施例中，通过在显示之前对像素重排，以保证观看者不在最佳观看视点时能有较好的观看效果。可适用于从一个最佳观看视点移动到另一个最佳观看视点的过程。

考虑到当前观看者所在位置未必是最佳视点位置，因此，根据观看者人眼位置以及光栅位置可以分别确定左眼所能看到的像素位置以及右眼所能看到的像素位置(例如可通过建立人眼位置与光栅透光区的连线，该连线的延长线与显示区的交点处的像素即为该人眼所能看到的像素位置)，对待显示图像进行像素重排，例如可以是对待显示图像中的像素进行移位，或者进行重复排列(例如通过上述延长线方式确定人眼可以同时看到多个像素时)，或者进行删除(例如通过上述延长线方式确定在某位置人眼无法看到响应视图时)，使得待显示图像中的左视图内容设置在所述观看者左眼所能看到的像素位置，待显示图像中的右视图内容设置在所述观看者右眼所能看到的像素位置，以保证观看者的观看效果。

在一示例性实施例中，所述步骤14中的像素重排除了针对第一注视区进行重排，还可以对整个显示区图像均进行像素重排。

在一示例性实施例中，在步骤14之后，所述方法还包括：步骤15，获取观看者当前人眼坐标以及所述观看者在三维显示面板上的第二注视位置，根据所述第二注视位置确定第二注视区，当观看者位置发生变化即人眼坐标发生变化，但第二注视位置与第一注视位置相同或者两者的差值在预设范围(该预设范围不会影响像素重排后的图像显示效果)内，则根据观看者当前人眼坐标以及光栅位置分别确定所述第二注视区中左眼看到的左眼像素位置和右眼看到的右眼像素位置，在对所述左视图和右视图进行合成时进行像素重排，使得左视图像素位于左眼像素位置，右视图像素位于右眼像素位置，显示所述像素重排后的图像。

本示例针对观看者移动但注视点未改变的情况，由于观看者位置发生变化，但注视点未变化，观看者与显示面板之间的观看角度必然发生变化，从而可能导致本应该进入左眼的图像没有进入左眼，应该进入右眼的图像没有进入右眼，从而出现图像模糊的情况。在本示例中，针对此种情况，通过像素重排可以保证观看者的移动不会影响观看效果。例如在t+1时刻，观看者位于位置1，对应屏幕的注视区为第一注视区，准备t+2时刻的待显示图像，在t+2时刻，检测到观看者位置发生变化，位于位置2，但在屏幕上的注视点未变化，即注视区未发生变化，但由于观看角度发生变化，可能导致观看效果不佳，将准备好的待显示图像进行像素重排，以保证观看者的观看效果。

采用本公开实施例方法，使得当人眼移动时，仍能保证三维显示效果。

在一示例性实施例中，设置所述注视区的图像分辨率高于非注视区的图像分辨率，以提供更佳的观看效果。

本公开实施例提供的方法，对于单视点的图像显示，通过观看者位置计算人眼在面板上的注视点，通过注视点计算确定注视区，当观看者位置发生变化时，根据注视区的位置变化对注视区的像素值进行重排列，使得观看者移动到任何位置都可以获得较佳的观看效果，避免了固定视点由于位置固定带来的观看角度单一的局限，极大提升了观看空间和用户的活动范围。

在一示例性实施例中，所述方法可以适用于多人显示，即观看者为多人的情况，针对裸眼三维显示多人多视点的情况，可保证多人观看时每个人的显示效果。

所述用于实现多人三维图像显示的方法如图4所示，包括：

步骤21，获取多个观看者在三维显示面板上的注视位置，根据每个注视位置确定每个观看者在所述三维显示面板中的注视区；

以两个观看者为例，获取第一观看者在三维显示面板上的第一注视位置，根据所述第一注视位置确定所述第一观看者在所述三维显示面板中的第一注视区；获取第二观看者在所述三维显示面板上的第二注视位置，根据所述第二注视位置确定所述第二观看者在所述三维显示面板中的第二注视区；

当有多个观看者时，可参照执行。

步骤22，判断所述多个注视区有重叠时，在重叠区域提升刷新频率，在所述重叠区域中进行像素重排，使重叠的注视区的内容交替刷新。

所述提升刷新率，例如可以在重叠区域将刷新率提升至n*A，其中n为重叠的注视区个数也即视点个数，A为原刷新率，在所述重叠区域内每个注视区在单位时间内刷新A次；再例如可以先提升刷新率(例如可以升至最高)，然后根据重叠的注视区个数平均分配刷新率，例如刷新率为H，且有n个注视区，则每个注视区的刷新率为N/n，即在所述重叠区域内每个注视区在单位时间内刷新N/n次。

以两个观看者(两视点)为例，判断第一注视区与第二注视区有重叠时，则在重叠区域提升刷新率为原来的2倍，在重叠区域交替刷新第一注视区与第二注视区的内容。具体地，可预先对不同注视区的图像进行像素重排，第一注视区待显示图像由第一左视图和第一右视图合成得到，第二注视区待显示图像由第二左视图和第二右视图合成得到。重排的一种方式可以是：预先设置相似度阈值和间隔像素数m，从重叠区域的第一行的左侧第一个像素(或者可以是任意一个像素)开始遍历，每隔m个像素用第二注视区待显示图像中的像素值替换所述第一注视区图像中的像素值(可以从预先合成好的待显示图像中寻找相应像素位置的像素值，也可以直接从第二左视图或者第二右视图中寻找相应像素位置的像素值)，替换完成后计算替换后图像与原始图像的相似度，例如SSIM(结构相似性)值，判断相似度值(例如SSIM值)如果小于预设相似度阈值，则表示重排后的图像可以被人眼接受，将替换后的图像作为待显示图像，判断相似度值如果大于预设相似度阈值，则按预设步长增大间隔像素数m，重新进行像素重排。可选地，重排的另一种方式可以是：计算第二视点位置处观看者的人眼坐标，判断是否需要对第二注视区图像进行像素重排，即采用前述实施例步骤12中的方式进行判断，如果判断需要进行重排，则可按照前述实施例步骤14中的方法进行重排。

可选地，可以只重排重叠区域的注视区中的像素，或者可以根据需要对整个注视区像素进行重排，或者可以整幅图像都进行像素重排。

当有多个注视区重叠时，可参照前述两注视区重叠情况进行处理。

在一示例性实施例中，当判断所述多个注视区没有重叠时，则可按照单一观看者的三维图像显示方法进行显示，即可根据观看者眼球坐标位置对待显示图像进行像素重排，即可采用前述实施例中的方法判断是否需要重排，如果需要，则进行重排。可选地，当观看者移动时即当前人眼坐标相较于原人眼坐标发生变化，且变化后的第二注视位置与第一注视位置相同或者第二注视位置与第一注视位置的差值在预设范围，则根据观看者当前人眼坐标以及光栅位置分别确定所述第二注视区中左眼看到的左眼像素位置和右眼看到的右眼像素位置，在对所述左视图和右视图进行合成时进行像素重排，使得左视图像素位于左眼像素位置，右视图像素位于右眼像素位置，显示所述像素重排后的图像。

在一示例性实施例中，可设置所述注视区的图像分辨率高于非注视区的图像分辨率，保证效果的同时，降低数据传输量。

本公开实施例裸眼三维显示的任意多视点显示方法，通过计算注视点确定多个注视区，若多个注视区没有重叠时，则每个注视区以固定刷新率刷新并显示，若多个注视区有重叠时，重叠区域位置可根据观看人数n进行刷新率提升，且通过像素重排实现对应不同观看者的显示内容的交替刷新，保证重叠区域每个人的观看效果最佳。另外，通过在非重叠区域按照单人显示的方式刷新，以保证非重叠区域的每个人的观看效果。

下面通过以应用示例对上述方法进行具体说明。

在本示例中，三维显示面板采用裸眼三维显示器，裸眼三维显示器用于提供左右两幅图像，通过光栅的作用可以使这两幅图像定向的投射到观看者的左右眼中，从而形成视差，使眼睛自动合成一幅3D图像。本公开对使用的裸眼3D显示器种类不做限制，只要能提供左右视图即可。

如图5所示，显示面板的显示区尺寸记作DW*DH，其中DW为显示区水平方向上的长度，DH为显示区垂直方向上的长度(或称宽度)，摄像头尺寸记作CW*CH，其中CW为摄像头水平方向上的长度，CH为摄像头宽度，摄像头光心与显示器中心在一条垂线上。摄像头用于人脸检测，一般人眼观看显示器时与显示器的距离大概在70CM左右，活动范围大概与显示器的尺寸所构成的区域相近，因此摄像头的视场角(FOV)需完全涵盖这一区域。

为了获取观看者在三维显示面板上的注视位置，需要建立人眼位置与屏注视点的关系，本实施例采用如下方式进行建立。

首先用摄像头检测人脸区域，并定位到眼睛区域，例如可以采用开源库opencv中提供的方法定位到一个包含人脸区域的矩形，在该矩形区域内可检测到人眼区域，为视线计算做准备。

然后标定人眼与屏幕坐标的关系。包括以下步骤：

步骤1，通过预先设置的标定点确定人眼在注视每个标定点时的头部中心点坐标和特征点坐标；此时得到的坐标是物理坐标系中的坐标；

标定时预设显示区若干个标定点，例如图6所示的9个标定点，使观看者分别注视这9个标定点，注视每个标定点时采用进行头部姿态计算，得到观看者在观看当前标定点时的眼部特征点坐标，至少包括左眼角特征点、右眼角特征点、左眼上方边缘特征点、右眼上方边缘特征点。头部姿态计算可采用PNP(pespective-n-point)算法，求解出头部中心点和68个人脸特征点的三维空间坐标，例如开源库opencv中的slovepnp可求出这些坐标。

标定的特征点坐标在物理坐标系(又称世界坐标系)中，为方便计算，可以设置物理坐标系以摄像头光心处为原点，物理坐标系用于描述真实世界中物体的坐标。屏幕坐标位于屏幕坐标系(又称像素坐标系)中，屏幕坐标系为二维，以显示屏左上角为原点。摄像头坐标系(又称相机坐标系)光心为原点。物理坐标系到屏幕坐标系的转换矩阵记作M1。摄像头坐标系与屏幕坐标系的转换矩阵记作M2。

步骤2，计算眼球中心点坐标

在摄像头坐标系下，在检测得到的人眼区域中检测眼球中心，如图6中的眼球中心，求眼球中心的算法可以使用梯度下降法、椭圆检测法或黑白像素积分图法等。以双眼注视图6中的一个标定点为例，在摄像头坐标系下，将左眼的左眼角特征点到眼球中心的水平距离记作x1，将左眼眼睛上方边缘特征点到眼球中心的垂直距离记作y1，将右眼的右眼角特征点到右眼的眼球中心的水平距离记作x2，将右眼眼睛上方边缘特征点到右眼眼球中心的垂直距离记作y2。

眼球的二维坐标通过坐标系转换可以得到物理坐标，由于眼球在Z方向变化较小，因此在z方向的坐标可以取眼睛周围特征点z方向物理坐标的平均数，作为该眼球中心的物理坐标。

步骤3，确定头部标准状态，计算人眼在注视每个标定点时的头部偏移；

在物理坐标系下，上述步骤1通过pnp计算头部姿态后会得到头部在物理坐标系下的中心点坐标和欧拉角，中心点坐标记作A(xa,ya,za)，设定头部标准状态，例如正视相机的状态，此时欧拉角为0，头部中心点坐标为B(xa,ya,zb)。用人眼在注视标定点时头部中心点坐标与标准状态下头部中心点坐标联合计算得到头部的平移旋转矩阵RT1，即头部偏移。

步骤4，去除坐标中的头部偏移；

包括将步骤1中得到的注视不同标定点时的头部中心点坐标和特征点坐标进行头部偏移去除，以及步骤2中得到的眼球中心点坐标进行头部偏移去除。具体地，将头部中心坐标、头部特征点坐标及眼球中心坐标分别乘以RT1的逆矩阵，得到在头部标准状态下的坐标。

步骤5，建立人眼坐标和屏幕注视点坐标的关系

建立如下关系式：

Func(xc,yc)＝a*x1+b*x2+c*y1+d*y2+e*x1*x2+f*y1*y2 (公式1)

其中，xc,yc表示屏幕上的注视点坐标值，由于标定点已知，因此xc,yc是已知的，由9个标定点可以确定9个方程，即可求出系数a,b,c,d,e,f，从而得到人眼坐标与屏幕注视点坐标关系。

当只有一个观看者时，如图7所示，左视图像素用黑色填充表示，右视图像素用白色填充表示。正常情况下，如图中的正常像素排列编号所示，图像的每一行按照一个左视图像素一个右视图像素进行排列。通过光栅的作用使左右视图分别进入左眼和右眼，形成视差，产生3D效果。当观看者位于位置1时，其处于较佳观看位置，左眼看到的刚好是左视图，右眼看到的刚好是右视图。当观看者移动到位置2时，其注视点未发生变化，但由于与光栅位置的相对关系发生变化，导致其左右眼无法接收到正确的左右视图，如图7中位置2左眼为例，其左眼看到的是右视图，因此，为了保证观看者在位置2时的观看效果，对图像内容进行调整，即像素重排，以使观看者在位置2时，左眼能看到左视图，右眼看到右视图。

由于可以计算得到人眼的坐标(包括左眼球坐标和右眼球坐标)，结合光栅位置可以确定理论上人眼能看到的图像，包括左眼能看到的像素位置和右眼能看到的像素位置，通过对待显示左视图和右视图合成时进行像素移位，使左视图位于左眼能看到的像素位置，右视图位于右眼能看到的像素位置，即按理论上的观看效果进行排列。重排时，根据人眼位置，除了移动图像中像素位置外，可能还会有重复排列像素值或者删除像素值的情况。

本实施例采用像素重排列方法，当计算得到人眼在三维屏幕上的注视区域时，将位置1的左右图对应的像素对移动到位置2的对应位置，使用此方法遍历图像，使得得到的整体左右图都可以透过光栅发射到人眼，与最佳视角保持一致。

当有多个观看者时，如图8所示，以两个观看者为例进行说明。考虑多个人的观看效果，可针对多个人进行像素重排列。正常情况下，位于位置1的观看者在观看时，可采用本公开实施例提供的单人观看时的显示方法，可以保证其获得较佳观看效果，但是对于位置2的观看者而言，其观看效果可能会变差，因为图像像素都是针对位置1的观看者的人眼位置排列的。为描述方便，以下将位置1的人眼位置记作视点1，位置2的人眼位置记为视点2。对于多人观看时，可先进行刷新率提升，例如可根据观看人数进行提升，或者将显示屏的刷新率提升至最高，平均分配刷新率，若刷新率为H，则视点1和视点2对应的刷新次数均为H/2。

图8中，黑白相间方块的代表显示屏的左右视图的像素对。图中时间轴箭头向上，表示按照时间更新显示屏的像素排列。

在T0时刻，按照前述实施例方法得到适应于视点1的显示图像。

在T1时刻，计算视点2在显示区的注视点位置，得到注视区域，

如果与视点1在显示区的注视区域完全不同(互相独立)，则按照单人像素排列分别对视点1和视点2对应的注视区域进行像素重排列，可选地，可按照注视区高清、非注视区低清方式渲染。

如果与视点1在显示区的注视区相同，或者注视区存在重叠，则在重叠区域，则对待显示图像进行像素重排，即将视点2对应的左视图像素和右视图像素进行部分重排列，使得待显示图像中有一部分像素符合视点2的观看角度。一种替换的方法为：预先设置阈值β，间隔像素数记作m，从每行左边开始遍历，每隔m取待显示图像中的1个像素进行替换，替换时，用视点2对应的左视图像素和右视图像素交替替换待显示图像中的像素，整体替换后计算替换后的待显示图像与原图的相似度(如SSIM值)，当相似度小于β时，表示此时的像素重排列可以被人眼接受，按照替换后的待显示图像显示，若大于β，则将m扩大(按照预设步长)，继续重复此操作直到相似度小于β，若m扩大到最大值时相似度仍大于β，则不进行替换。

在T2时刻，恢复像素排列到视点1的视角，即显示适应于视点1的图像。

在T3时刻，继续进行同T2时刻的操作；

以此类推。

由此，多人观看时，通过上述方法可以升其他人的观看效果，同时，在保证人眼接受范围内，保证了视点1的观看效果。

采用本实施例的方法，对于单视点的图像显示，通过观看者位置计算人眼在面板上的注视点，通过注视点计算确定注视区，当观看者位置发生变化时，根据注视区的位置变化对注视区的像素值进行重排列，使得观看者移动到任何位置都可以获得较佳的观看效果，避免了固定视点由于位置固定带来的观看角度单一的局限，极大提升了观看空间和用户的活动范围。对于多视点的图像显示，通过计算注视点确定多个注视区，若多个注视区有重叠时，在重叠区域提升刷新频率，在所述重叠区域中，重叠的注视区的内容交替刷新，保证重叠区域每个人的观看效果最佳。

裸眼3D显示器需要提供左右图才能合成完整的三维效果，因此数据量比一般的显示器要大，这对硬件系统造成了一定的负担。因此为了减小传输的数据量，可以采用注视区域高清渲染，非注视点区域低清渲染的方式。

裸眼三维显示的内容包括左视图和右视图，分别记作leftImage和rightImage，左右视图的像素排列是按顺序排放，每行一个左像素一个右像素这么排列下去。通过公式1可求得人眼在屏幕上的注视点，在左视图和右视图上分别记作P1和P2。以P1和P2为中心，2α为边长的矩形区域就是注视区。左视图和右视图均有两种格式的图像：高清的高分辨率原始图像和降采样后的低分辨率图像，降采样的倍数可以根据传输带宽自行控制，可以是2倍、4倍等等。

根据左右视图的注视区确定两个区域，记作leftRect(注视区左视图)，rightRect(注视图右视图)，如图9所示，以左视图为例，按照leftRect将左视图分割为1区、2区、3区、4区和leftRect区(可记作5区)，因此图像被分割为5个部分。其中1至4区选用降采样图像，5区选用高分辨率图像，可按照1至5区的顺序进行传输。

在显示器端接收图像后，按照预设顺序进行拼接。1至4区按照降采样的倍数进行图像拉伸，拉伸算法可采用插值拟合或三次立方插值等。5区不做处理放到原处，将1至5区拼接成一整幅图像，再进行显示。

在一种示例性实施例中，本公开还提供了一种显示装置，可以包括处理器和存储器，所述存储器存储有可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现本公开上述任一实施例中的显示方法的步骤。

在一种示例性实施例中，图10为本公开实施例中的显示装置的结构示意图。如图10所示，该装置60包括：至少一个处理器601；以及与处理器601连接的至少一个存储器602、总线603；其中，处理器601、存储器602通过总线603完成相互间的通信；处理器601用于调用存储器602中的程序指令，以执行上述任一实施例中的显示方法的步骤。

处理器可以是中央处理单元(Central Processing Unit，CPU)、微处理器(MicroProcessor Unit，MPU)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)、晶体管逻辑器件等，本公开对此不做限定。

存储器可以包括只读存储器(Read Only Memory，ROM)和随机存取存储器(RandomAccess Memory，RAM)，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。

总线除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图10中将各种总线都标为总线。

在实现过程中，处理设备所执行的处理可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。即本公开实施例的方法步骤可以体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

在一种示例性实施例中，本公开还提供了一种显示系统，可以包括图像采集装置(例如摄像机)和前述实施例中所述显示装置。

在一示例性实施例中，本公开实施例还提供了一种非易失性计算机可读存储介质，其上存储有可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现前述三维场景构建方法的步骤。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

虽然本公开所揭露的实施方式如上，但所述的内容仅为便于理解本公开而采用的实施方式，并非用以限定本公开。任何本公开所属领域内的技术人员，在不脱离本公开所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本公开的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (12)

1.一种显示方法，其特征在于，包括：

获取观看者在三维显示面板上的注视位置，根据所述注视位置确定注视区，包括：获取观看者人眼坐标以及在三维显示面板上的第一注视位置和第二注视位置，根据所述第一注视位置确定第一注视区，根据所述第二注视位置确定第二注视区，所述观看者为一人；

确定左视图和右视图，确定需要进行像素重排时，根据所述人眼坐标以及所述三维显示面板光栅位置分别确定所述第一注视区中左眼看到的左眼像素位置和右眼看到的右眼像素位置，在对所述左视图和右视图进行合成时进行像素重排，使得左视图像素位于左眼像素位置，右视图像素位于右眼像素位置；当所述当前人眼坐标相较于原人眼坐标发生变化，且所述第二注视位置与第一注视位置相同或者所述第一注视位置与第二注视位置的差值在预设范围，则根据观看者当前人眼坐标以及光栅位置分别确定所述第二注视区中左眼看到的左眼像素位置和右眼看到的右眼像素位置，在对所述左视图和右视图进行合成时进行像素重排，使得左视图像素位于左眼像素位置，右视图像素位于右眼像素位置，显示所述像素重排后的图像，以使观看者左眼接收到左视图，右眼接收到右视图。

2.根据权利要求1所述的显示方法，其特征在于，所述确定需要进行像素重排，包括：

根据观看者人眼坐标和三维显示面板光栅位置确定是否需要进行像素重排，或者根据当前人眼坐标位置是否在较佳观测区域确定是否需要进行像素重排。

3.根据权利要求1所述的显示方法，其特征在于，所述观看者包括多人；

所述获取观看者在三维显示面板上的注视位置，根据所述注视位置确定注视区，包括：获取多个观看者在三维显示面板上的注视位置，根据每个注视位置确定每个观看者在所述三维显示面板中的注视区；

所述在所述注视区中，对待显示图像进行像素重排，包括：判断所述多个注视区有重叠时，在重叠区域提升刷新频率，在所述重叠区域中进行像素重排，使重叠的注视区的内容交替刷新。

4.根据权利要求3所述的显示方法，其特征在于，所述在重叠区域提升刷新频率，包括：

在重叠区域将刷新率提升至n*A，其中n为重叠的注视区个数，A为原刷新率，在所述重叠区域内每个注视区在单位时间内刷新A次；或者

在重叠区域将提升刷新率为N，所述重叠区域中重叠的注视区个数为n时，在所述重叠区域内每个注视区在单位时间内刷新N/n次。

5.根据权利要求3所述的显示方法，其特征在于，

所述获取多个观看者在三维显示面板上的注视位置，根据每个注视位置确定每个观看者在所述三维显示面板中的注视区，包括：

获取第一观看者在三维显示面板上的第一注视位置，根据所述第一注视位置确定所述第一观看者在所述三维显示面板中的第一注视区；获取第二观看者在所述三维显示面板上的第二注视位置，根据所述第二注视位置确定所述第二观看者在所述三维显示面板中的第二注视区；

所述在所述重叠区域中进行像素重排，使重叠的注视区的内容交替刷新，包括：

从重叠区域的任意一像素开始遍历，每隔m个像素用第二注视区待显示图像中的像素值替换所述第一注视区待显示图像中的像素值，所述m为预设间隔像素数，替换完成后计算替换后图像与原始图像的相似度，判断所述相似度值如果小于预设相似度阈值，将替换后的图像作为待显示图像，判断所述相似度值如果大于预设相似度阈值，则按预设步长增大所述m，重新进行像素重排。

6.根据权利要求3所述的显示方法，其特征在于，所述方法还包括：

判断所述多个注视区没有重叠时，对于任一观看者，所述观看者在三维显示面板上的第一注视位置确定第一注视区，确定需要进行像素重排时，根据人眼坐标以及所述三维显示面板光栅位置分别确定所述第一注视区中左眼看到的左眼像素位置和右眼看到的右眼像素位置，在对左视图和右视图进行合成时进行像素重排，使得左视图像素位于左眼像素位置，右视图像素位于右眼像素位置。

7.根据权利要求6所述的显示方法，其特征在于，所述方法还包括：

获取观看者当前人眼坐标以及所述观看者在三维显示面板上的第二注视位置，根据所述第二注视位置确定第二注视区，当所述当前人眼坐标相较于原人眼坐标发生变化，且所述第二注视位置与第一注视位置相同或者所述第二注视位置与第一注视位置的差值在预设范围，则根据观看者当前人眼坐标以及光栅位置分别确定所述第二注视区中左眼看到的左眼像素位置和右眼看到的右眼像素位置，在对所述左视图和右视图进行合成时进行像素重排，使得左视图像素位于左眼像素位置，右视图像素位于右眼像素位置，显示所述像素重排后的图像。

8.根据权利要求1、2或3所述的显示方法，其特征在于，所述获取观看者在三维显示面板上的注视位置，包括：

获取所述观看者人眼坐标，根据以下公式计算得到所述观看者在三维显示面板上的注视位置：

Func(xc,yc)＝a*x1+b*x2+c*y1+d*y2+e*x1*x2+f*y1*y2

其中所述xc，yc为注视位置坐标，所述a、b、c、d、e和f为系数，所述x1为观看者左眼角特征点到左眼眼球中心的水平距离，x2为观看者右眼角特征点到右眼眼球中心的水平距离，y1为观看者左眼眼睛上方边缘特征点到左眼眼球中心的垂直距离，y2为观看者右眼眼睛上方边缘特征点到右眼眼球中心的垂直距离。

9.根据权利要求1、2或3所述的显示方法，其特征在于，所述方法还包括：设置所述注视区的图像分辨率高于非注视区的图像分辨率。

10.一种显示装置，包括处理器以及存储有可在处理器上运行的计算机程序的存储器，其中，所述处理器执行所述程序时实现如权利要求1至9中任一项所述显示方法的步骤。

11.一种显示系统，其特征在于，包括图像采集装置和如权利要求10所述的显示装置。

12.一种计算机可读存储介质，其特征在于，其上存储有可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述显示方法的步骤。