CN106371577A - 近眼显示控制方法和装置 - Google Patents

Abstract

本申请实施例涉及一种近眼显示控制方法和装置，其中，所述近眼显示控制方法包括：获取第t‑1时刻和第t时刻分别对应的眼底成像，每个眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加；根据获取的各眼底成像，确定所述第t时刻对应的眼底成像所包括的显示子图像相对第t‑1时刻对应的眼底成像所包括的显示子图像在所述眼底的相对变化信息；根据所述相对变化信息，进行第t+1时刻待显示内容在所述眼底的显示控制。该方案实现了近眼的防抖显示。

Description

近眼显示控制方法和装置

技术领域

本申请涉及显示技术领域，特别是涉及一种近眼显示控制方法和装置。

背景技术

近年来，近眼显示技术不断发展，成为虚拟现实的最佳呈现方式之一。由于近眼显示存在高倍放大，因此，近眼显示设备和/或用户头部等微小的运动都可能带来显示画面的显著抖动，从而影响用户的观看感受，甚至会导致用户产生头昏等不适。

发明内容

在下文中给出了关于本申请的简要概述，以便提供关于本申请的某些方面的基本理解。应当理解，这个概述并不是关于本申请的穷举性概述。它并不是意图确定本申请的关键或重要部分，也不是意图限定本申请的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本申请提供一种近眼显示控制方法和装置。

第一方面，本申请实施例提供了一种近眼显示控制方法，包括：

获取第t-1时刻和第t时刻分别对应的眼底成像，每个眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加；

根据获取的各眼底成像，确定所述第t时刻对应的眼底成像所包括的显示子图像相对第t-1时刻对应的眼底成像所包括的显示子图像在所述眼底的相对变化信息；

根据所述相对变化信息，进行第t+1时刻待显示内容在所述眼底的显示控制。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，所述相对变化信息包括：所述第t时刻对应的眼底成像所包括的显示子图像相对所述眼底的第t显示子区域，与第t-1时刻对应的眼底成像所包括的显示子图像相对所述眼底的第t-1显示子区域的相对变化信息。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，确定所述第t时刻对应的眼底成像所包括的显示子图像相对第t-1时刻对应的眼底成像所包括的显示子图像在所述眼底的相对变化信息，包括：对齐所述第t时刻的眼底成像和所述第t+1时刻的眼底成像；根据对齐结果确定所述相对变化信息。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，根据获取的各眼底成像，确定所述第t时刻对应的眼底成像所包括的显示子图像相对第t-1时刻对应的眼底成像所包括的显示子图像在所述眼底的相对变化信息，包括：分别分离所述第t-1时刻和第t时刻各自对应的眼底成像所包括的眼底子图像和显示子图像；根据相应的分离结果分别确定所述第t-1时刻对应的眼底成像所包括的眼底子图像和显示子图像的第t-1相对位置信息、以及所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像的第t相对位置信息；至少根据所述第t-1相对位置信息和所述第t相对位置信息确定所述相对变化信息。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，分离所述第t-1时刻和第t时刻中任一时刻对应的眼底成像所包括的眼底子图像和显示子图像，包括：至少根据眼底特征信息分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，所述至少根据眼底特征信息分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像之前，还包括：获取所述眼底特征信息。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，分离所述第t-1时刻和第t时刻中任一时刻对应的眼底成像所包括的眼底子图像和显示子图像，包括：至少根据眼底参考子图像分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，所述至少根据眼底参考子图像分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像之前，还包括：获取所述眼底参考子图像。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，分离所述第t-1时刻和第t时刻中任一时刻对应的眼底成像所包括的眼底子图像和显示子图像，包括：至少根据所述任一时刻对应的眼底成像所包括的显示子图像对应的源内容，分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，根据所述相对变化信息，进行第t+1时刻待显示内容在所述眼底的显示控制之前，还包括：确定所述相对变化信息超出一容许变化范围。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，所述获取第t-1时刻和第t时刻分别对应的眼底成像之前，还包括：确定视线方向维持不变。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，所述确定视线方向维持不变，包括：响应于所述第t-1时刻、第t时刻和第t+1时刻中任二个相邻时刻对应的视线方向的差异落入一容许差异范围，确定视线方向维持不变。

第二方面，本申请实施例还提供了一种近眼显示控制装置，包括：

一眼底成像获取模块，用于获取第t-1时刻和第t时刻分别对应的眼底成像，每个眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加；

一相对变化信息确定模块，用于根据获取的各眼底成像，确定所述第t时刻对应的眼底成像所包括的显示子图像相对第t-1时刻对应的眼底成像所包括的显示子图像在所述眼底的相对变化信息；

一显示控制模块，用于根据所述相对变化信息，进行第t+1时刻待显示内容在所述眼底的显示控制。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述相对变化信息包括：所述第t时刻对应的眼底成像所包括的显示子图像相对所述眼底的第t显示子区域，与第t-1时刻对应的眼底成像所包括的显示子图像相对所述眼底的第t-1显示子区域的相对变化信息。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述相对变化信息模块包括：一对齐子模块，用于对齐所述第t时刻的眼底成像和所述第t+1时刻的眼底成像；一第一相对变化信息确定子模块，用于根据对齐结果确定所述相对变化信息。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述相对变化信息模块包括：一分离处理子模块，用于分别分离所述第t-1时刻和第t时刻各自对应的眼底成像所包括的眼底子图像和显示子图像；一相对位置信息确定子模块，用于根据相应的分离结果分别确定所述第t-1时刻对应的眼底成像所包括的眼底子图像和显示子图像的第t-1相对位置信息、以及所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像的第t相对位置信息；一第二相对变化信息确定子模块，用于至少根据所述第t-1相对位置信息和所述第t相对位置信息确定所述相对变化信息。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述分离处理子模块包括：一第一分离处理单元，用于至少根据眼底特征信息分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述装置还包括：一眼底特征信息获取模块，用于获取所述眼底特征信息。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述分离处理子模块包括：一第二分离处理单元，用于至少根据眼底参考子图像分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述装置还包括：一眼底参考子图像获取模块，用于获取所述眼底参考子图像。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述分离处理子模块包括：一第三分离处理单元，用于至少根据所述任一时刻对应的眼底成像所包括的显示子图像对应的源内容，分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述装置还包括：一容许变化范围确定模块，用于确定所述相对变化信息超出一容许变化范围，并根据确定结果触发所述显示控制模块。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述装置还包括：一视线方向确定模块，用于确定视线方向维持不变，并根据确定结果触发所述眼底成像获取模块。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述视线方向确定模块包括：一视线方向确定子模块，用于响应于所述第t-1时刻、第t时刻和第t+1时刻中任二个相邻时刻对应的视线方向的差异落入一容许差异范围，确定视线方向维持不变，并根据确定结果触发所述眼底成像获取模块。

第三方面，本申请实施例还提供了另一种近眼显示控制装置，包括：

一处理器、一通信接口、一存储器以及一通信总线；所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一指令；所述至少一指令使所述处理器执行以下操作：

获取第t-1时刻和第t时刻分别对应的眼底成像，每个眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加；

根据获取的各眼底成像，确定所述第t时刻对应的眼底成像所包括的显示子图像相对第t-1时刻对应的眼底成像所包括的显示子图像在所述眼底的相对变化信息；

根据所述相对变化信息，进行第t+1时刻待显示内容在所述眼底的显示控制。

本申请实施例提供的技术方案，获取在先的二个相邻时刻各自对应的显示子图像在眼底的相对变化信息，并根据该相对变化信息进行在后时刻的显示控制，使之在眼底显示的显示子图像抵消所述相对变化信息，即实现近眼的防抖显示，提高图像稳定性，进而提高用户观看的舒适度，改善用户体验。本申请在诸如近眼显示设备和人眼发生相对运动等情形，可实现源内容在眼底的防抖显示，且防抖显示控制可不依赖惯性测量单元(Inertialmeasurement unit，简称IMU)硬件，提高了方案实施的灵活性和普适性。

通过以下结合附图对本申请的可选实施例的详细说明，本申请的这些以及其它的优点将更加明显。

附图说明

本申请可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本申请的可选实施例和解释本申请的原理和优点。在附图中：

图1为本申请实施例提供的一种近眼显示控制方法的流程图；

图2为本申请实施例提供的一种眼底成像的示例；

图3为本申请实施例提供的第一种近眼显示控制装置的逻辑框图；

图4为本申请实施例提供的第二种近眼显示控制装置的逻辑框图；

图5为本申请实施例提供的第三种近眼显示控制装置的逻辑框图。

本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本申请实施例的理解。

具体实施方式

在下文中将结合附图对本申请的示范性实施例进行详细描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本申请，在附图和说明中仅仅描述了与根据本申请的方案密切相关的装置结构和/或处理步骤，而省略了对与本申请关系不大的、本领域普通技术人员已知的部件和处理的表示和描述。

下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请，但不用来限制本申请的范围。

本领域技术人员可以理解，本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

防抖显示通常可基于运动传感元件实现，如在显示设备上安装IMU硬件，通过IMU测量显示设备的角速率和加速度等，根据测量结果确定显示设备的运动信息，并根据该显示设备的运动信息控制后续源内容的显示，使得后续显示的内容抵消了因显示设备的运动带来的画面抖动，从而实现显示画面的稳定显示。本申请发明人在实践本申请实施例的过程中发现，基于IMU虽然一定程度上可抵消显示画面的抖动，但其依赖IMU硬件并且是针对显示设备自身发生运动的情形下进行显示画面的防抖显示，而在近眼显示领域，除了近眼显示设备可能发生运动外、人体头部也可能发生运动；如果近眼显示设备和人眼没有发生相对运动，则即使二者都可能发生运动，但就用户看来，显示子图像并不会发生抖动；反之，如果近眼显示设备和人眼发生相对运动，则就用户看来，显示子图像可能发生相对抖动，由此可能造成用户观看不适，影响用户体验。为此，本申请实施例针对近眼显示领域提供了防抖显示解决方案。

图1为本申请实施例提供的一种近眼显示控制方法的流程图。本申请实施例提供的近眼显示控制方法的执行主体可为某一近眼显示控制装置，所述近眼显示控制装置可在但不限于涉及内容呈现、视频播放等应用过程中通过执行该近眼显示控制方法进行内容的显示控制。所述近眼显示控制装置的设备表现形式不受限制，例如所述近眼显示控制装置可为某一独立的部件，该部件与近眼显示设备配合通信；或者，所述显示控制装置可作为某一功能模块集成在一近眼显示设备中；所述近眼显示设备可包括但不限于头盔显示器、智能眼镜等。具体如图1所示，本申请实施例提供的一种近眼显示控制方法包括：

S101：获取第t-1时刻和第t时刻分别对应的眼底成像，每个眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加。

本申请实施例提供的技术方案中，可通过近眼显示设备的投射光学系统将源内容的光线投射到人眼的眼底以进行成像，再通过近眼显示设备的摄像头获取眼底的图像，该情形下获取到的眼底的图像不妨称为眼底成像，如图2所示，获取的眼底成像为眼底自身的成像(不妨称为眼底子图像)以及源内容的投射光线在眼底所成的图像(不妨称为显示子图像)的叠加，也即，所述眼底成像为眼底子图像和显示子图像的叠加。

实际应用中，可获取二个相邻时刻(不妨表示为第t-1时刻和第t时刻)分别对应的眼底成像，其中，所述相邻时刻是个相对的概念，如所述相邻时刻可为时间间隔较短的二个参考时刻，或者，所述相邻时刻可对应源内容中的相邻帧，或者，所述相邻时刻可根据用户实际需要确定，本申请实施例对此并不限制；获取到的每个时刻对应的眼底成像均为眼底子图像和显示子图像的叠加。

S102：根据获取的各眼底成像，确定所述第t时刻对应的眼底成像所包括的显示子图像相对第t-1时刻对应的眼底成像所包括的显示子图像在所述眼底的相对变化信息。

如果第t时刻对应的眼底成像所包括的显示子图像在眼底的显示情况与第t-1时刻对应的眼底成像所包括的显示子图像在眼底的显示情况相同或者变化程度很小，则可认为二者在眼底没有发生或者基本上没有发生相对变化，从时间轴的二个相邻时刻来看，显示子图像相对眼底是相对静止的，该情形下可不进行图像的防抖显示控制。反之，如果第t时刻对应的眼底成像所包括的显示子图像在眼底的显示情况与第t-1时刻对应的眼底成像所包括的显示子图像在眼底的显示情况的变化程度大，则二者在眼底发生了相对变化，该相对变化一定程度上反映了近眼显示设备和眼底发生了相对运动，该相对运动可造成显示子图像相对眼底的抖动，从而影响内容的显示，则需要进行图像的防抖显示控制。因此，根据获取的各眼底成像，确定所述第t时刻对应的眼底成像所包括的显示子图像相对第t-1时刻对应的眼底成像所包括的显示子图像在所述眼底的相对变化信息。

S103：根据所述相对变化信息，进行第t+1时刻待显示内容在所述眼底的显示控制。

获取了在先的二个相邻时刻(第t-1时刻和第t时刻)各自对应的显示子图像在眼底的相对变化信息之后，可根据所述相对变化信息进行在后时刻(第t+1时刻)的显示控制，使得第t+1时刻投射在眼底的显示子图像相对第t时刻投射在眼底的显示子图像在眼底的相对变化，一定程度上抵消了所述相对变化信息对应的相对变化，这样，从第t-1时刻到第t时刻的综合效果来看，显示子图像在眼底基本没有相对运动或相对运动很小，显示子图像的全部或部分属性与眼底没有发生相对运动，由此实现源内容在眼底的防抖显示。

可见，本申请实施例提供的技术方案，获取在先的二个相邻时刻各自对应的显示子图像在眼底的相对变化信息，并根据该相对变化信息进行在后时刻的显示控制，使之在眼底显示的显示子图像抵消所述相对变化信息，有利于提高用户观看的舒适度，改善用户体验。本申请在诸如近眼显示设备和人眼发生相对运动等情形，可实现源内容在眼底的防抖显示，且防抖显示控制可不依赖IMU硬件，提高了方案实施的灵活性和普适性。

结合本申请实施例提供的任一种技术方案，任意二个相邻时刻对应的眼底成像各自的显示子图像在眼底的相对变化信息，反应了这二个时刻分别对应的显示子图像相对眼底的一种或多种属性的变化情况。可根据所述相对变化信息进行在后时刻的显示控制，使之抵消这种相对变化，提高近眼显示图像的稳定性。

可选地，所述相对变化信息可包括：二个显示子图像在眼底的显示参数的变化(如缩放、拉伸、旋转等参数的变化)。在近眼显示设备和人眼(或眼底)发生如沿视线方向平移和/或转动等相对运动时，近眼显示设备在眼底当前时刻投射的显示子图像相对在先时刻投射的显示子图像可能发生放大、缩小、旋转等相对变化，采用本申请实施例提供的技术方案可有效抵消这些相对变化造成的图像抖动的视觉效果。

和/或，可选地，所述相对变化信息可包括：二个显示子图像在眼底的显示子区域的变化，如所述第t时刻对应的眼底成像所包括的显示子图像相对所述眼底的第t显示子区域，与第t-1时刻对应的眼底成像所包括的显示子图像相对所述眼底的第t-1显示子区域的相对变化。在近眼显示设备和人眼(或眼底)发生如相对视线方向转动等相对运动时，近眼显示设备在眼底当前时刻投射的显示子图像的显示子区域相对在先时刻投射的显示子图像的显示子区域可能发生移动、缩放、拉伸、旋转等相对变化，采用本申请实施例提供的技术方案可有效抵消这些相对变化造成的显示子区域偏移，进而实现近眼图像的防抖显示，提高近眼显示图像的稳定性。

本申请实施例提供的技术方案中，所述第t时刻对应的眼底成像所包括的显示子图像相对第t-1时刻对应的眼底成像所包括的显示子图像在所述眼底的相对变化信息的确定方式非常灵活，本申请对此并不限制。

可选地，确定所述第t时刻对应的眼底成像所包括的显示子图像相对第t-1时刻对应的眼底成像所包括的显示子图像在所述眼底的相对变化信息，包括：对齐所述第t时刻的眼底成像和所述第t+1时刻的眼底成像；根据对齐结果确定所述相对变化信息。在获取二个相邻时刻的眼底成像之后，可采用但不限于特征点对齐等方式对齐二个眼底成像。如果二个眼底成像相应特征点严格对齐或基本对齐，可确定这二个相邻时刻各自的显示子图像在眼底没有或者基本没有相对变化；反之，如果对齐结果表明二个眼底成像相应特征点无法对齐，则可根据相应特征点的差异确定所述相对变化信息。该方案简单，易实现。

可选地，根据获取的各眼底成像，确定所述第t时刻对应的眼底成像所包括的显示子图像相对第t-1时刻对应的眼底成像所包括的显示子图像在所述眼底的相对变化信息，包括：分别分离所述第t-1时刻和第t时刻各自对应的眼底成像所包括的眼底子图像和显示子图像；根据相应的分离结果分别确定所述第t-1时刻对应的眼底成像所包括的眼底子图像和显示子图像的第t-1相对位置信息、以及所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像的第t相对位置信息；至少根据所述第t-1相对位置信息和所述第t相对位置信息确定所述相对变化信息。通常眼底子图像和在眼底显示的显示子图像的特征差异较大，因此可利用眼底子图像、显示子图像中至少之一的显示特征，可对某一眼底成像的眼底子图像和显示子图像进行分离，并确定眼底子图像和显示子图像的相对位置信息，由此提高眼底成像分离的效率和准确性。例如，可分离第t-1时刻的眼底成像以得到第t-1时刻的眼底成像中眼底子图像和显示子图像(或者显示子图像对应的显示子区域)之间的变换矩阵A、分离第t时刻的眼底成像以得到第t时刻的眼底成像中眼底子图像和显示子图像(或者显示子图像对应的显示子区域)之间的变换矩阵B，根据变换矩阵A和变换矩阵B确定相对变化信息A·B^-1。

获取所述相对变化信息之后，可对应调整第t+1时刻的待显示内容，以进行第t+1时刻的显示控制，如可根据所述相对变化信息对第t+1时刻待显示的源内容(I_t+1)_校正前进行校正显示控制：

(I_t+1)_校正后＝(I_t+1)_校正前·A·B^-1.............................(1)

或者，获取所述相对变化信息之后，可对应调整第t+1时刻待显示内容的投影的PTZ(Pan–tilt–zoom)参数，如可根据所述相对变化信息对第t+1时刻待显示内容的源投影PTZ参数(p_t+1)_校正前进行校正显示控制：

(P_t+1)_校正后＝(P_t+1)_校正前·A·B^-1...........................(2)

其中，所述变换矩阵反映了眼底成像中眼底子图像和显示子图像(或显示子图像对应的显示子区域)的相对变化关系，根据相对变化的类型，所述变换矩阵可包括但不限于平移(Translation)变换矩阵、缩放(Scaling)变换矩阵、旋转(Rotation)变换矩阵等等，不妨以反映眼底子图像和显示子图像对应的显示子区域之间的相对变化信息的变换矩阵为例进行说明。

例如，所述平移变换矩阵可根据眼底子图像和显示子图像对应的显示子区域在参考坐标系的不同坐标轴的相对移动分量进行构建，如眼底子图像中的某点[x,y,z,1]与显示子区域中的某点[x',y',z',1]在三个坐标轴的移动分量分别为dx＝Tx,dy＝Ty,dz＝Tz,即：

x'＝x+Tx，y'＝y+Ty，z'＝z+Tz...................................(3)

则，相应点之间的平移变换关系可表示如下：

$\left[\begin{array}{cccc}{x}^{\′}& y^{\′}& z^{\′}& 1\end{array}\right]=\left[\begin{array}{cccc}x& y& z& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ T_x& T_y& T_z& 1\end{array}\right]\mathrm{...}\left(4\right)$

又例如，所述缩放变换矩阵可根据眼底子图像和显示子图像对应的显示子区域的相对缩放程度进行构建，如眼底子图像中的某点[x,y,z,1]与显示子区域中的某点[x',y',z',1]在三个坐标轴的坐标值缩放比例分别为Sx、Sy和Sz，相应点的坐标值满足：

x'＝x*Sx，y'＝y*Sy，z'＝z*Sz...................................(5)

则，相应点之间的缩放变换关系可表示如下：

$\left[\begin{array}{cccc}{x}^{\′}& y^{\′}& z^{\′}& 1\end{array}\right]=\left[\begin{array}{cccc}x& y& z& 1\end{array}\right]\left[\begin{array}{cccc}{S}_x& 0& 0& 0\\ 0& S_y& 0& 0\\ 0& 0& S_z& 0\\ 0& 0& 0& 1\end{array}\right]\mathrm{...}\left(6\right)$

再例如，所述旋转变换矩阵可根据眼底子图像和显示子图像对应的显示子区域的相对旋转角度进行构建，不妨绕X轴旋转为例，眼底子图像中的某点与显示子区域中的某点的X轴坐标不变，Y轴坐标和Z轴坐标绕X轴旋转θ度，旋转的正方向为顺时针方向(沿着旋转轴负方向向原点看)，则相应点之间的旋转变换关系可表示如下：

$\left[\begin{array}{cccc}{x}^{\′}& y^{\′}& z^{\′}& 1\end{array}\right]=\left[\begin{array}{cccc}x& y& z& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ 0& -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 0& 1\end{array}\right]\mathrm{...}\left(7\right)$

需要说明的是，平移变换矩阵、缩放变换矩阵、旋转变换矩阵等变换矩阵的构建方式为现有技术，以上构建方式的例子仅为可选构建方式的示例，不应理解为对本申请实施例技术方案实质的限制。

该方案通过确定每个眼底成像中眼底子图像和显示子图像之间的相对位置信息，来确定二个相邻时刻的眼底成像中相对位置信息的变化，方案简单易实现，之后，再可根据所述相对变化信息进行在后时刻的显示控制，使之抵消这种相对变化，提高近眼显示图像的稳定性。

在某一眼底成像中，眼底子图像和显示子图像之间的分离方式非常灵活，本申请实施例对此并不限制。

可选地，分离所述第t-1时刻和第t时刻中任一时刻对应的眼底成像所包括的眼底子图像和显示子图像，包括：至少根据眼底特征信息分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像。人眼的眼底通常具有已知的较为稳定的特征(如视网膜纹理特征等)，这些稳定的特征可作为所述眼底特征信息，其与近眼显示设备投射到眼底显示的显示子图像的特征通常差异较大，因此，可至少根据所述眼底特征信息分离某一眼底成像中的眼底子图像和显示子图像。该方案可充分利用眼底的特征信息进行眼底成像中眼底子图象和显示子图像的分离。其中，所述眼底的特征信息可预先获取，即所述至少根据眼底特征信息分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像之前，还包括：获取所述眼底特征信息，且所述眼底特征信息的获取方式非常灵活，例如可向外部设备获取人眼共性的眼底特征作为所述眼底特征信息，或者，可通过对多幅眼底图像进行共性特征提取以获取所述眼底特征信息，等等，本申请实施例对比并不限制。

可选地，分离所述第t-1时刻和第t时刻中任一时刻对应的眼底成像所包括的眼底子图像和显示子图像，包括：至少根据眼底参考子图像分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像。所述眼底参考子图像是以作为参考图像的眼底子图像，也就是说，在未向眼底投射显示内容的情况下可拍摄眼底的图像，这样拍摄的眼底的图像即为眼底自身的成像，没有叠加外部的显示内容。在获取所述眼底参考子图像之后，可至少根据所述眼底参考子图像进行任一时刻的眼底成像的分离，例如可采用但不限于眼底成像与眼底参考子图像相减等方法进行分离。所述眼底参考子图像的获取方式非常灵活，如可在向眼底投射显示内容之前拍摄眼底的图像，如所述至少根据眼底参考子图像分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像之前，还包括：获取所述眼底参考子图像；或者，可将预先获取的用户的眼底图像作为所述眼底参考子图像，等等，本申请实施例对此并不限制。该方案可至少根据眼底参考子图像对眼底成像中眼底子图像和显示子图像进行分离。

可选地，分离所述第t-1时刻和第t时刻中任一时刻对应的眼底成像所包括的眼底子图像和显示子图像，包括：至少根据所述任一时刻对应的眼底成像所包括的显示子图像对应的源内容，分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像。源内容经近眼显示设备投射到人眼的眼底后在眼底形成一显示子图像，显示子图像和源内容之间存在关联，因此，该方案至少可充分利用源内容的特性实现眼底成像中眼底子图像和显示子图像的分离。

需要说明的是，上述眼底特征信息、眼底参考子图像、相应的源内容中的二种或二种以上信息也可结合起来，共同作为眼底成像的分离依据，以提高眼底成像分离的准确性。

采用本申请实施例提供的任一种技术方案确定所述相对变化信息之后，可根据所述相对变化信息进行第t+1时刻的内容显示控制，使得第t+1时刻投射在眼底的显示子图像相对第t时刻投射在眼底的显示子图像在眼底的相对变化，一定程度上抵消了所述相对变化信息对应的相对变化，由此实现源内容在眼底的防抖显示。在实际应用中，可根据人眼对图像抖动感知的灵敏性或者对防抖显示的稳定性等期望确定某一容许变化范围，如确定显示子区域容许变化的偏移量等，将所述相对变化信息和所述容许变化范围进行比较，如果所述相对变化信息超出所述容许变化范围，则可采用本申请实施例提供的技术方案进行防抖显示控制，反之，如果所述相对变化信息未超出所述容许变化范围，则可采用采用现有技术进行显示即可，无需执行防抖显示控制，以降低显示控制的复杂度。该方案有利于满足多样化的实际应用需求，提高方案的普适性。

进一步可选地，所述获取第t-1时刻和第t时刻分别对应的眼底成像之前，还包括：确定视线方向维持不变。其中，人眼的视线方向的检测方法为现有技术，本申请实施例不再赘述。如果人眼视线方向随着时间推移没有发生改变或者基本没有发生改变，说明人眼观注方向不变的概率较大，该情形下，通过本申请实施例提供的技术方案进行近眼图像的防抖显示，可有效抵消近眼显示设备和眼底的相对运动，提高人眼观看的舒适度，改善用户体验，更好满足用户需求。所述确定视线方向维持不变是个相对的概率，可包括视线方向严格不变的情形，也可包括不同时刻的视线方向的变化在一定容许差异范围的情形，如响应于所述第t-1时刻、第t时刻和第t+1时刻中任二个相邻时刻对应的视线方向的差异落入一容许差异范围，确定视线方向维持不变，以提高方案实现的灵活性和普适性。如果人眼视线方向随着时间推移存在较大改变，说明关注方向改变的概率较大，此时，可采用现有技术进行显示即可，无需执行防抖显示控制，以满足用户通过视线方向的改变来调整自身关注的显示内容的近眼显示需求。

本领域技术人员可以理解，在本申请具体实施方式的上述任一方法中，各步骤的序号大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请具体实施方式的实施过程构成任何限定。

图3为本申请实施例提供的第一种近眼显示控制装置的逻辑框图。如图3所示，本申请实施例提供的近眼显示控制装置可包括：眼底成像获取模块31、一相对变化信息确定模块32和一显示控制模块33。

眼底成像获取模块31用于获取第t-1时刻和第t时刻分别对应的眼底成像，每个眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加。

相对变化信息确定模块32用于根据获取的各眼底成像，确定所述第t时刻对应的眼底成像所包括的显示子图像相对第t-1时刻对应的眼底成像所包括的显示子图像在所述眼底的相对变化信息。

显示控制模块33用于根据所述相对变化信息，进行第t+1时刻待显示内容在所述眼底的显示控制。

本申请实施例提供的技术方案，获取在先的二个相邻时刻各自对应的显示子图像在眼底的相对变化信息，并根据该相对变化信息进行在后时刻的显示控制，使之在眼底显示的显示子图像抵消所述相对变化信息，有利于提高用户观看的舒适度，改善用户体验。本申请在诸如近眼显示设备和人眼发生相对运动等情形，可实现源内容在眼底的防抖显示，且防抖显示控制可不依赖IMU硬件，提高了方案实施的灵活性和普适性。

所述近眼显示控制装置可在但不限于涉及内容呈现、视频播放等应用过程中通过执行该近眼显示控制方法进行内容的显示控制。所述近眼显示控制装置的设备表现形式不受限制，例如所述近眼显示控制装置可为某一独立的部件，该部件与近眼显示设备配合通信；或者，所述显示控制装置可作为某一功能模块集成在一近眼显示设备中；所述近眼显示设备可包括但不限于头盔显示器、智能眼镜等。

可选地，所述相对变化信息可包括：二个显示子图像在眼底的显示参数的变化(如缩放、拉伸、旋转等参数的变化)。和/或，可选地，二个显示子图像在眼底的显示子区域的变化，如所述第t时刻对应的眼底成像所包括的显示子图像相对所述眼底的第t显示子区域，与第t-1时刻对应的眼底成像所包括的显示子图像相对所述眼底的第t-1显示子区域的相对变化，采用本申请实施例提供的技术方案可有效抵消这些相对变化造成的显示子区域偏移，进而实现近眼图像的防抖显示，提高近眼显示图像的稳定性。

可选地，如图4所示，所述相对变化信息模块32包括：一对齐子模块321和一第一相对变化信息确定子模块322。对齐子模块321用于对齐所述第t时刻的眼底成像和所述第t+1时刻的眼底成像；第一相对变化信息确定子模块322用于根据对齐结果确定所述相对变化信息。在获取二个相邻时刻的眼底成像之后，可采用但不限于特征点对齐等方式对齐二个眼底成像。该方案简单，易实现。

可选地，所述相对变化信息模块32包括：一分离处理子模块323、一相对位置信息确定子模块324和一第二相对变化信息确定子模块325。分离处理子模块323用于分别分离所述第t-1时刻和第t时刻各自对应的眼底成像所包括的眼底子图像和显示子图像；相对位置信息确定子模块324用于根据相应的分离结果分别确定所述第t-1时刻对应的眼底成像所包括的眼底子图像和显示子图像的第t-1相对位置信息、以及所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像的第t相对位置信息；第二相对变化信息确定子模块325用于至少根据所述第t-1相对位置信息和所述第t相对位置信息确定所述相对变化信息。通常眼底子图像和在眼底显示的显示子图像的特征差异较大，因此可利用眼底子图像、显示子图像中至少之一的显示特征，可对某一眼底成像的眼底子图像和显示子图像进行分离，并确定眼底子图像和显示子图像的相对位置信息，由此提高眼底成像分离的效率和准确性。

可选地，所述分离处理子模块323包括：一第一分离处理单元3231。第一分离处理单元3231用于至少根据眼底特征信息分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像。进一步可选地，所述装置还包括：一眼底特征信息获取模块34。眼底特征信息获取模块34用于获取所述眼底特征信息。该方案可充分利用眼底的特征信息进行眼底成像中眼底子图象和显示子图像的分离。

进一步可选地，所述分离处理子模块323包括：一第二分离处理单元3232。第二分离处理单元3232用于至少根据眼底参考子图像分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像。进一步可选地，所述装置还包括：一眼底参考子图像获取模块35。眼底参考子图像获取模块35用于获取所述眼底参考子图像。该方案可至少根据眼底参考子图像对眼底成像中眼底子图像和显示子图像进行分离。

可选地，所述分离处理子模块323包括：一第三分离处理单元3233。第三分离处理单元3233用于至少根据所述任一时刻对应的眼底成像所包括的显示子图像对应的源内容，分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像。该方案至少可充分利用源内容的特性实现眼底成像中眼底子图像和显示子图像的分离。

需要说明的是，上述眼底特征信息、眼底参考子图像、相应的源内容中的二种或二种以上信息也可结合起来，共同作为眼底成像的分离依据，以提高眼底成像分离的准确性。

可选地，所述装置还包括：一容许变化范围确定模块36。容许变化范围确定模块36用于确定所述相对变化信息超出一容许变化范围，并根据确定结果触发所述显示控制模块。在实际应用中，可根据人眼对图像抖动感知的灵敏性或者对防抖显示的稳定性等期望确定某一容许变化范围，如确定显示子区域容许变化的偏移量等，将所述相对变化信息和所述容许变化范围进行比较，如果所述相对变化信息超出所述容许变化范围，则可采用本申请实施例提供的技术方案进行防抖显示控制，反之，如果所述相对变化信息未超出所述容许变化范围，则可采用采用现有技术进行显示即可，无需执行防抖显示控制，以降低显示控制的复杂度。该方案有利于满足多样化的实际应用需求，提高方案的普适性。

可选地，所述装置还包括：一视线方向确定模块37。视线方向确定模块37用于确定视线方向维持不变，并根据确定结果触发所述眼底成像获取模块。进一步可选地，所述视线方向确定模块37包括：一视线方向确定子模块371。视线方向确定子模块371用于响应于所述第t-1时刻、第t时刻和第t+1时刻中任二个相邻时刻对应的视线方向的差异落入一容许差异范围，确定视线方向维持不变，并根据确定结果触发所述眼底成像获取模块。如果人眼视线方向随着时间推移没有发生改变或者基本没有发生改变，说明人眼观注方向不变的概率较大，该情形下，通过本申请实施例提供的技术方案进行近眼图像的防抖显示，可有效抵消近眼显示设备和眼底的相对运动，提高人眼观看的舒适度，改善用户体验，更好满足用户需求。如果人眼视线方向随着时间推移存在较大改变，说明关注方向改变的概率较大，此时，可采用现有技术进行显示即可，无需执行防抖显示控制，以满足用户通过视线方向的改变来调整自身关注的显示内容的近眼显示需求。

图5为本申请实施例提供的第三种近眼显示控制装置的结构框图，本申请具体实施例并不对近眼显示控制装置500的具体实现方式做限定。如图5所示，近眼显示控制装置500可以包括：

处理器(Processor)510、通信接口(Communications Interface)520、存储器(Memory)530、以及通信总线540。其中：

处理器510、通信接口520、以及存储器530通过通信总线540完成相互间的通信。

通信接口520，用于与比如具有通信功能的设备、外部光源等通信。

处理器510，用于执行程序532，具体可以执行上述任一显示控制方法实施例中的相关步骤。

例如，程序532可以包括程序代码，所述程序代码包括计算机操作指令。

处理器510可能是一个中央处理器(Central Processing Unit，简称CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。

存储器530，用于存放程序532。存储器530可能包含随机存取存储器(RandomAccess Memory，简称RAM)，也可能还包括非易失性存储器(Non-volatile memory)，例如至少一个磁盘存储器。

例如，在一种可选的实现方式中，处理器510通过执行程序532可执行以下步骤：获取第t-1时刻和第t时刻分别对应的眼底成像，每个眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加；根据获取的各眼底成像，确定所述第t时刻对应的眼底成像所包括的显示子图像相对第t-1时刻对应的眼底成像所包括的显示子图像在所述眼底的相对变化信息；根据所述相对变化信息，进行第t+1时刻待显示内容在所述眼底的显示控制。

在其他可选的实现方式中，处理器510通过执行程序532还可执行上述其他任一实施例提及的步骤，在此不再赘述。

程序532中各步骤的具体实现可以参见上述实施例中的相应步骤、模块、子模块、单元中对应的描述，在此不再赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

在本申请上述各实施例中，实施例的序号和/或先后顺序仅仅便于描述，不代表实施例的优劣。对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。有关装置、设备或系统实施例的实施原理或过程的相关描述，可参见相应方法实施例的记载，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请的装置、方法、系统等实施例中，显然，各部件(系统、子系统、模块、子模块、单元、子单元等)或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本申请的等效方案。同时，在上面对本申请具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

最后应说明的是：以上实施方式仅用于说明本申请，而并非对本申请的限制，有关技术领域的普通技术人员，在不脱离本申请的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请的范畴，本申请的专利保护范围应由权利要求限定。

Claims (10)

1.一种近眼显示控制方法，其特征在于，包括：

获取第t-1时刻和第t时刻分别对应的眼底成像，每个眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加；

根据获取的各眼底成像，确定所述第t时刻对应的眼底成像所包括的显示子图像相对第t-1时刻对应的眼底成像所包括的显示子图像在所述眼底的相对变化信息；

根据所述相对变化信息，进行第t+1时刻待显示内容在所述眼底的显示控制。

2.根据权利要求1所述的方法，其特征在于，所述相对变化信息包括：所述第t时刻对应的眼底成像所包括的显示子图像相对所述眼底的第t显示子区域，与第t-1时刻对应的眼底成像所包括的显示子图像相对所述眼底的第t-1显示子区域的相对变化信息。

3.根据权利要求1或2所述的方法，其特征在于，确定所述第t时刻对应的眼底成像所包括的显示子图像相对第t-1时刻对应的眼底成像所包括的显示子图像在所述眼底的相对变化信息，包括：

对齐所述第t时刻的眼底成像和所述第t+1时刻的眼底成像；

根据对齐结果确定所述相对变化信息。

4.根据权利要求1或2所述的方法，其特征在于，根据获取的各眼底成像，确定所述第t时刻对应的眼底成像所包括的显示子图像相对第t-1时刻对应的眼底成像所包括的显示子图像在所述眼底的相对变化信息，包括：

分别分离所述第t-1时刻和第t时刻各自对应的眼底成像所包括的眼底子图像和显示子图像；

根据相应的分离结果分别确定所述第t-1时刻对应的眼底成像所包括的眼底子图像和显示子图像的第t-1相对位置信息、以及所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像的第t相对位置信息；

至少根据所述第t-1相对位置信息和所述第t相对位置信息确定所述相对变化信息。

5.根据权利要求4所述的方法，其特征在于，分离所述第t-1时刻和第t时刻中任一时刻对应的眼底成像所包括的眼底子图像和显示子图像，包括：

至少根据眼底特征信息分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像。

6.一种近眼显示控制装置，其特征在于，包括：

一眼底成像获取模块，用于获取第t-1时刻和第t时刻分别对应的眼底成像，每个眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加；

一相对变化信息确定模块，用于根据获取的各眼底成像，确定所述第t时刻对应的眼底成像所包括的显示子图像相对第t-1时刻对应的眼底成像所包括的显示子图像在所述眼底的相对变化信息；

一显示控制模块，用于根据所述相对变化信息，进行第t+1时刻待显示内容在所述眼底的显示控制。

7.根据权利要求6所述的装置，其特征在于，所述相对变化信息包括：所述第t时刻对应的眼底成像所包括的显示子图像相对所述眼底的第t显示子区域，与第t-1时刻对应的眼底成像所包括的显示子图像相对所述眼底的第t-1显示子区域的相对变化信息。

8.根据权利要求6或7所述的装置，其特征在于，所述相对变化信息模块包括：

一对齐子模块，用于对齐所述第t时刻的眼底成像和所述第t+1时刻的眼底成像；

一第一相对变化信息确定子模块，用于根据对齐结果确定所述相对变化信息。

9.根据权利要求6或7所述的装置，其特征在于，所述相对变化信息模块包括：

一分离处理子模块，用于分别分离所述第t-1时刻和第t时刻各自对应的眼底成像所包括的眼底子图像和显示子图像；

一相对位置信息确定子模块，用于根据相应的分离结果分别确定所述第t-1时刻对应的眼底成像所包括的眼底子图像和显示子图像的第t-1相对位置信息、以及所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像的第t相对位置信息；

一第二相对变化信息确定子模块，用于至少根据所述第t-1相对位置信息和所述第t相对位置信息确定所述相对变化信息。

10.一种近眼显示控制装置，其特征在于，包括：

一处理器、一通信接口、一存储器以及一通信总线；所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一指令；所述至少一指令使所述处理器执行以下操作：

获取第t-1时刻和第t时刻分别对应的眼底成像，每个眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加；

根据获取的各眼底成像，确定所述第t时刻对应的眼底成像所包括的显示子图像相对第t-1时刻对应的眼底成像所包括的显示子图像在所述眼底的相对变化信息；

根据所述相对变化信息，进行第t+1时刻待显示内容在所述眼底的显示控制。