CN112802110A - 确定显示偏移信息的方法、装置及电子设备 - Google Patents

Abstract

本申请提供了一种确定显示偏移信息的方法、装置及电子设备，该方法包括：获得智能穿戴式设备的屏幕图像，屏幕图像至少包括智能穿戴式设备的显示界面内输出的标记图案的成像，标记图案为用于标记基准方向的图案；基于屏幕图像中标记图案的成像，确定智能穿戴式设备设定的基准方向在设定坐标系中的实际方向向量；基于智能穿戴式设备之外的方向参照物所指示出的基准方向，确定设定坐标系中基准方向对应的参照方向向量；基于实际方向向量和参照方向向量，确定智能穿戴式设备设定的基准方向存在的偏移信息。本申请的方案可以准确得到智能穿戴式设备设定的基准方向所存在的偏移信息。

Description

确定显示偏移信息的方法、装置及电子设备

技术领域

本申请涉及显示处理技术领域，更具体地说，涉及一种确定显示偏移信息的方法、装置及电子设备。

背景技术

智能眼镜等可穿戴式电子设备可以根据用户的姿态数据，对显示画面进行显示控制。

但是，如果姿态跟踪算法存在偏差，则会导致基于用户的姿态数据控制输出的显示画面出现偏移。如，显示画面偏离竖直方向，而导致显示画面在竖直方向上存在倾斜等。而一旦显示画面出现偏移，则会影响到用户观看显示画面的效果，因此，如何较为准确的确定可穿戴式设备输出的显示画面所存在的偏移信息是本领域技术人员需要解决的技术问题。

发明内容

为实现上述目的，本申请提供了一种确定显示偏移信息的方法、装置及电子设备。

其中，一种确定显示偏移信息的方法，包括：

获得智能穿戴式设备的屏幕图像，所述屏幕图像至少包括所述智能穿戴式设备的显示界面内输出的标记图案的成像，所述标记图案为用于标记基准方向的图案；

基于屏幕图像中所述标记图案的成像，确定所述智能穿戴式设备设定的所述基准方向在设定坐标系中的实际方向向量；

基于所述智能穿戴式设备之外的方向参照物所指示出的所述基准方向，确定所述设定坐标系中所述基准方向对应的参照方向向量；

基于所述实际方向向量和所述参照方向向量，确定所述智能穿戴式设备设定的所述基准方向存在的偏移信息。

在一种可能的实现方式中，所述基于所述智能穿戴式设备之外的方向参照物所指示出的所述基准方向，确定所述设定坐标系中所述基准方向对应的参照方向向量，包括：

获得方向参照图像，所述方向参照图像至少包括：用于指示所述基准方向的方向参照线的图像；

基于所述方向参照图像中所述方向参照线的位置，确定所述方向参照线指示出的所述基准方向在所述设定坐标系中的参照方向向量。

在又一种可能的实现方式中，所述基于屏幕图像中的所述标记图案，确定所述智能穿戴式设备设定的所述基准方向在设定坐标系中的实际方向向量，包括：

基于所述屏幕图像中所述标记图案的成像，在所述屏幕图像中确定出所述标记图案标记的基准方向；

以所述屏幕图像所在平面构建设定坐标系，确定所述标记图案标记的基准方向在所述设定坐标系中的实际方向向量。

在又一种可能的实现方式中，所述标记图案为至少一个方形，且所述标记图案通过所述方形中两条相互平行的第一边表征基准方向；

所述基于所述屏幕图像中所述标记图案的成像，在所述屏幕图像中确定出所述标记图案标记的基准方向，包括：

基于所述屏幕图像中所述方形对应的成像图形，将所述成像图形中两条第二成像边的中心点的连线确定为所述标记图案标记出的基准方向；

所述方形的成像图形包括：两条第一成像边和两条第二成像边，所述第一成像边为所述方形的第二边在所述屏幕图像中的成像，所述第二成像边为所述方形中所述第一边之外的第二边在所述屏幕图像中的成像。

在又一种可能的实现方式中，还包括：

基于所述屏幕图像中所述方形对应的成像图形，确定所述方形中两条第一成像边的第一夹角以及所述方形中两条第二成像边的第二夹角；

基于确定出的第一夹角和第二夹角，确定所述智能穿戴式设备在第一辅助基准方向上的偏移信息以及第二辅助基准方向上的偏移信息，所述基准方向、第一辅助基准方向以及第二辅助基准方向相互垂直。

在又一种可能的实现方式中，还包括：

在所述方法应用于智能穿戴式设备之外的电子设备的情况下，所述方法还包括：将确定出的所述基准方向上的偏移信息发送给所述智能穿戴式设备，以使得所述智能穿戴式设备基于所述偏移信息，修正所述智能穿戴式设备输出显示画面所依据的所述基准方向；

或者是，

在所述方法应用于智能穿戴式设备的情况下，所述智能穿戴式设备基于所述偏移信息，修正所述智能穿戴式设备输出显示画面所依据的所述基准方向。

其中，一种确定显示偏移信息的装置，包括：

屏幕图像获得单元，用于获得智能穿戴式设备的屏幕图像，所述屏幕图像至少包括所述智能穿戴式设备的显示界面内输出的标记图案的成像，所述标记图案为用于标记基准方向的图案；

第一向量确定单元，用于基于屏幕图像中所述标记图案的成像，确定所述智能穿戴式设备设定的所述基准方向在设定坐标系中的实际方向向量；

第二向量确定单元，用于基于所述智能穿戴式设备之外的方向参照物所指示出的所述基准方向，确定所述设定坐标系中所述基准方向对应的参照方向向量；

偏移确定单元，用于基于所述实际方向向量和所述参照方向向量，确定所述智能穿戴式设备设定的所述基准方向存在的偏移信息。

在一种可能的实现方式中，所述第二向量确定单元，包括：

参照图像获得单元，用于获得方向参照图像，所述方向参照图像至少包括：用于指示所述基准方向的方向参照线的图像；

参照向量确定单元，用于基于所述方向参照图像中所述方向参照线的位置，确定所述方向参照线指示出的所述基准方向在所述设定坐标系中的参照方向向量。

在又一种可能的实现方式中，所述第一向量确定单元，包括：

标记方向确定单元，用于基于所述屏幕图像中所述标记图案的成像，在所述屏幕图像中确定出所述标记图案标记的基准方向；

基准方向确定单元，用于以所述屏幕图像所在平面构建设定坐标系，确定所述标记图案标记的基准方向在所述设定坐标系中的实际方向向量。

又一方面，本申请还提供了一种电子设备，包括：

处理器和存储器；

其中，该处理器用于执行如上任一项所述的确定显示偏移信息的方法；

所述存储器用于存储所述处理器执行如上操作所需的程序。

通过以上方案可知，本申请可以在智能穿戴式设备的显示界面内输出标记图案的情况下，获得智能穿戴式设备的屏幕图像，使得该屏幕图像中包括该标记图案的成像。由于标记图案为标记基准方向的图案，因此，基于屏幕图像中该标记图案的成像，便可以确定智能穿戴式设备设定的基础方向在设定坐标系中的实际方向向量。在此基础上，由于穿戴式设备之外的方向参照物可以准确指示出的基准方向，因此，在基于该方向参照物指示出的基准方向确定出该设定坐标系中基础方向的参照方向向量之后，便可以结合该参照方向向量和该实际方向向量，准确得到智能穿戴式设备设定的基准方向所存在的偏移信息。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的确定显示偏移信息的方法的一种流程示意图；

图2为标记图案为多个方形组成的图案的一种示意图；

图3为智能式穿戴式设备向显示界面输出的该标记图案的一种示意图；

图4为本申请实施例提供的确定显示偏移信息的方法的又一种流程示意图；

图5为本申请实施例提供的确定显示偏移信息的方法的又一种流程示意图；

图6为本申请实施例提供的采集智能眼镜输出的标记图案以及该方向参照图像的一种场景示意图；

图7为本申请实施例提供的方向参照图像的一种示意图；

图8为本申请实施例提供的一种确定显示偏移信息的装置的一种组成结构示意图；

图9为本申请实施例提供的一种电子设备的一种组成结构示意图。

说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的部分，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示的以外的顺序实施。

具体实施方式

本申请的方案可以适用于确定任意智能穿戴式设备输出显示画面的偏移信息，以为智能穿戴式设备调整显示画面提供依据。

本申请中智能穿戴式设备可以为智能眼镜或者智能头盔等头戴式智能穿戴式设备，还可以为智能手表等智能穿戴式设备。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1为本申请实施例提供的确定显示偏移信息的方法的一种流程示意图，本实施例的方法可以应用于智能穿戴式设备，或者是智能穿戴式设备之外且具备数据处理能力的电子设备。

本实施例的方法可以包括：

S101，获得智能穿戴式设备的屏幕图像。

其中，屏幕图像至少包括智能穿戴式设备的显示界面内输出的标记图案的成像，标记图案为用于标记基准方向的图案。

如，在智能穿戴式设备在显示界面显示该标记图案的情况下，利用智能穿戴式设备中朝向显示界面的摄像装置采集该智能穿戴式设备的显示界面，得到该屏幕图像。

又如，利用智能穿戴式设备之外的摄像装置朝向该智能穿戴式设备的显示界面，以摄取到包含该显示界面显示出的该标记图案的图像，得到该屏幕图像。

可以理解的是，通过该屏幕图像可以反映出人眼观看该智能穿戴式设备的显示界面所观看到的图像效果。

当然，在实际应用中，还可以有其他获得该屏幕图像的方式，只要是能够获得包含该智能穿戴式设备显示出的该标记图案的屏幕图像即可。如，在穿戴该智能穿戴式设备为头戴式智能穿戴式设备的情况下，在智能穿戴式设备的显示界面输出该标记图案的同时，获取用户眼睛内标记图案的成像，得到该屏幕图像。

其中，该基准方向可以为智能穿戴式设备中输出显示画面所需依据(或者设定)的方向。特别的，在智能穿戴式设备基于姿态跟踪算法控制显示画面的呈现时，该基准方向可以为姿态跟踪算法中用于控制显示画面所基于的基准方向。

如，在实际应用中，该基准方向可以有一个或者多种，如该基准方向可以为竖直方向，该基准方向还可以为水平方向。

可以理解的是，为了能够更为直观的呈现出智能式穿戴式设备所设定的基准方向，在一种可选方式，该标记图案可以为至少一个方形，方形为一个规则的图案，如，正方形或者长方形，其中，通过方形的竖边可以表征水平竖直方向这一基准方向，而通过方形的横边可以表征水平方向这一基准方向。

可以理解的是，为了能够便于比较实际的基准方向与智能穿戴式设备所设定的基准方向，根据智能式穿戴设备在使用过程中的穿戴特征，本申请的屏幕图像可以是在智能穿戴式设备的显示界面与至少一个基准方向平行，且摄像装置(智能式穿戴设备上的摄像装置或者智能穿戴式设备之外的摄像设备)的图像采集区与该智能穿戴式设备的显示界面垂直的情况下，获得的图像。

S102，基于屏幕图像中标记图案的成像，确定智能穿戴式设备设定的基准方向在设定坐标系中的实际方向向量。

其中，设定坐标系可以为预先设定的坐标系，本申请在该坐标系中确定出智能穿戴式设备设定的基准方向所存在的偏差。

如，在一种可能的实现方式中，该设定坐标系可以是以该屏幕图像所在图像平面构建的坐标系，例如，仅仅有一个基准方向时，设定坐标系可以为屏幕图像所在图像平面的二维坐标系。

当然，该设定坐标系还可以是采集屏幕图像的摄像装置的坐标系，具体可以根据实际需要设定，对此不加限制。

可以理解的是，由于标记图案中标记有基准方向，因此，在智能穿戴式设备显示出该标记图案之后，智能穿戴式设备显示画面所设定的基准方向是与该标记图案中标记出的基准方向是一致的。因此，在一种实现方式中，可以基于屏幕图像中标记图案的成像，在该屏幕图像中确定出该标记图案标记的基准方向，而在屏幕图像中标记出的该基准方向实际上就是在屏幕图像中标记出的该智能穿戴式设备设定的基准方向。

举例说明：以标记图案为至少一个方形组成的图案为例，如图2所示。在图2以标记图案为多个方形为例。同时，为了便于理解，以基准方向为竖直方向为例说明。由图2可知，标记图案中各方形的竖边实际上表征的就是竖直方向。

在图2基础上，为了使得用户看到的方形是规则的方形，而不存在偏斜，智能穿戴式设备会按照其设定的基准方向，向显示界面输出该方形，使得方形的横边与智能穿戴式设备中设定的基准水平方向一致，相应的方形的竖边与智能穿戴式设备中设定的基准竖直方向一致。如图3所示，为智能式穿戴式设备向显示界面输出的该标记图案的示意图，在图3中示出了标记图案的成像301。同时，在图3中为了便于理解，标记出智能式穿戴式设备输出显示画面所依据的基准方向，如图3中虚线301所示。

对比图2和图3可知，智能穿戴式设备显示出的标记图案所依据的基准方向(即虚线)是与标记图案中标记出的竖直方向一致的。

相应的，确定出标记图案所表征的基准方向在该设定坐标系上的方向向量，也就得到的该智能穿戴式设备设定的基准方向在该设定坐标系上的方向向量。该方向向量也就是智能穿戴式设备设定的基准方向在该设定坐标系中实际的方向向量，为了便于区分，将该方向向量称为实际方向向量。

在一种可能的实现方式中，在该屏幕图像中确定出该标记图案标记的基准方向之后，可以以该屏幕图像所在平面构建设定坐标系，确定该标记图案标记的基准方向在该设定坐标系中的实际方向向量。

S103，基于智能穿戴式设备之外的方向参照物所指示出的基准方向，确定设定坐标系中基准方向对应的参照方向向量。

其中，该方向参照物为该智能穿戴式设备之外能够准确指示出实际的基准方向的参照物品，相应的，该方向参照物所指示出的基准方向为实际的，不存在偏移的基准方向。

可以理解的是，为了能够便于比较出智能穿戴式设备设定的基准方向是否存在偏差，需要在同一坐标系中比较该智能穿戴式设备设定的基准方向与实际的基准方向所存在的偏移。基于此可知，需要将该方向参照物所指示出的基准方向映射到该设定坐标系，从而得到该基准方向在该设定坐标系中的方向向量，为了便于区分，将该实际的基准方向在设定坐标系中的方向向量称为参照方向向量。

可以理解的是，根据不同的应用场景，该基准方向的数量也会有所不同，在基准方向有多个时，可以通过一个方向参照物指示出多个不同的基准方向；还可以是通过多个不同的方向参照物分别指示出不同的基准方向。

相应的，在通过一个或者多个方向参照物指示出多个基准方向的情况下，需要在设定坐标系中分别确定这多个基准方向各自对应的参照方向向量。

S104，基于实际方向向量和参照方向向量，确定智能穿戴式设备设定的基准方向存在的偏移信息。

可以理解的是，针对任意一基准方向，该智能穿戴式设备实际设定的基准方向对应的实际方向向量相对该基准方向的参照方向向量的偏移，就是该智能穿戴式设备在该基准方向上存在的偏移信息。

如，针对某一基准方向，可以按照实际方向向量于参照方向向量的角度，该角度可以为一个矢量包括偏移方向和夹角。

例如，可以利用余弦函数来计算该角度的矢量。具体的，将智能穿戴式设备对应的实际方向向量表示为a，将参照方向向量表示为b，则a与b之间的方向夹角θ可以通过如下公式计算得到：

cosθ＝a点乘b/(a的模*b的模)；

通过如上公式得到的角度矢量便可以表示出智能穿戴式设备设定的基准方向实际所存在的偏移。

当然，以上仅仅是以一种确定偏移信息的方式为例说明，在实际应用中，基于实际方向向量和参照方向向量确定该偏移信息的方式还可以有其他可能，对此不加限制。

可以理解的是，该偏移信息可以作为该智能穿戴式设备调整其设定的基准方向的依据，以使得智能穿戴式设备基于该偏移信息对其设定的基准方向进行调整，从而减少用户看到的智能穿戴式设备显示出的显示画面所存在的偏斜情况。

作为一种可选方式，在本申请的方案应用于智能穿戴式设备之外的电子设备的情况下，该电子设备还可以将确定出的该基准方向上的偏移信息发送给智能穿戴式设备，以使得智能穿戴式设备基于该偏移信息，修正该智能穿戴式设备输出显示画面所依据的基准方向。

在本申请的方案用于智能穿戴式设备的情况下，该智能穿戴式设备基于该偏移信息，修正该智能穿戴式设备输出显示画面所依据的基准方向。

特别的，在智能式穿戴式设备基于姿态估计算法来控制显示画面显示效果的情况下，可以基于偏移信息对姿态估计算法中的基准方向进行调整。

如，可以基于偏移信息对姿态估计算法中基准方向进行补偿。例如，假设基准方向为竖直方向，而偏移信息为相对竖直方向向左侧偏转了15度，那么可以设定需要对姿态估计算法中设定的竖直方向向竖直方向的右侧补偿15度。

当然，本申请对于基于该偏移方向具体调整智能式穿戴设备所依据的基准方向的具体实现方式不加限制。

由以上内容可知，本申请可以在智能穿戴式设备的显示界面内输出标记图案的情况下，获得智能穿戴式设备的屏幕图像，使得该屏幕图像中包括该标记图案的成像。由于标记图案为标记基准方向的图案，因此，基于屏幕图像中该标记图案的成像，便可以确定智能穿戴式设备设定的基础方向在设定坐标系中的实际方向向量。在此基础上，由于穿戴式设备之外的方向参照物可以准确指示出的基准方向，因此，在基于该方向参照物指示出的基准方向确定出该设定坐标系中基础方向的参照方向向量之后，便可以结合该参照方向向量和该实际方向向量，准确得到智能穿戴式设备设定的基准方向所存在的偏移信息。

为了便于理解，下面以智能穿戴式之外的方向参照物的一种可能情况为例说明。如图4，其示出了本申请一种确定显示偏移信息的方法又一个实施例的流程示意图，本实施例的方法可以包括：

S401，获得智能穿戴式设备的屏幕图像。

其中，屏幕图像至少包括智能穿戴式设备的显示界面内输出的标记图案的成像，标记图案为用于标记基准方向的图案。

该步骤可以参见前面实施例的相关介绍，在此不再赘述。

S402，获得方向参照图像。

该方向参照图像至少包括：用于指示基准方向的方向参照线的图像。

如，在利用与获得屏幕图像的同一摄像装置且在维持摄像装置摄取该屏幕图像时的位置姿势不变的情况下，利用该摄像装置摄取该方向参照线的图像，得到该方向参照图像。

当然，如果在摄取该屏幕图像的同时，该方向参照线便存在，则可以同时获取到一幅包含该方向参照线和该标记图案的图像，在该种情况下，可以认为该方向参照线和该屏幕图像为同一幅图像，且该图像同时包括标记图案和该方向参照线的成像。

可以理解的是，用于指示基准方向的方向参照线可以是沿着该基准方向分别的直线。如，该基准方向包括竖直方向，则指示该竖直方向的方向参照线可以为一条铅垂线。

需要说明的是，该步骤S401和S402的顺序并不限于图4所示，在实际应用中，这两个步骤可以互换，也可以同时执行。

S403，基于屏幕图像中标记图案的成像，确定智能穿戴式设备设定的基准方向在设定坐标系中的实际方向向量。

该步骤同样可以参见前面实施例的相关介绍，在此不再赘述。

S404，基于该方向参照图像中方向参照线的位置，确定该方向参照线指示出的基准方向在设定坐标系中的参照方向向量。

如，基于方向参照图像所在摄像平面与设定坐标系的映射关系，将该方向参照线映射到该设定坐标系，在此基础上，便可以确定出该方向参照线在该设定坐标系中的方向向量，即，得到参照方向向量。

在一种可能的实现方式中，本申请以屏幕图像所在平面构建坐标系，将该坐标系确定为设定坐标系。在此基础上，可以确定方向参照线在该设定坐标系上的参照方向向量，从而得到该方向参照线指示出的基准方向在该设定坐标系中的参照方向向量。

可以理解的是，如果屏幕图像与该方向参照图像为同一摄像装置在保持同一姿态下获得到的图像，那么以屏幕图像所在平面与该方向参照图像所在的平面相同，且该平面也为该摄像装置的摄像平面，在此基础上，在基于该摄像平面构建出坐标系之后，可以很容易确定出参照方向向量和该实际方向向量。

S405，基于实际方向向量和参照方向向量，确定智能穿戴式设备设定的基准方向存在的偏移信息。

该步骤S405可以参见前面的介绍在此不再赘述。

可以理解的是，由于方向参照线本身就可以代表基准方向，因此，通过获得包含该方向参照线的图像可以更为便捷和准确的得到实际的基准方向，在此基础上，有利于更为准确的确定出智能穿戴式设备设定的基准方向相对实际的基准方向所存在的偏移信息。

可以理解的是，在本申请以上实施例中，不同智能穿戴式设备中设定的基准方向可能会有所不同。为了避免用户眼睛看到的画面存在偏斜，智能穿戴式设备一般会根据用户姿态并结合设定的基准方向调整显示画面的输出，而根据智能式穿戴式设备的类型不同，其设定的基准方向也可能会有所不同。

如，以智能式穿戴设备为智能眼镜等智能头戴式设备为例，由于该类智能穿戴式设备会随着用户的头部相应变化，而用户的眼睛基本垂直于智能穿戴式设备，因此，智能穿戴式设备输出显示画面时，显示画面相对竖直方向的偏移对用户观看显示画面的显示效果影响较大。

例如，在用户相对竖直方向左偏转头部的情况下，智能穿戴式设备需要基于其设定的竖直方向向左偏转相应度数，以使得用户看到的显示画面不存在偏斜；而如果智能穿戴式设备设定的竖直方向存在偏差，则用户看到的显示画面就会存在偏斜。

基于此可知，对于智能眼镜等头戴式设备而言，其设定的基准方向至少包括竖直方向。

又如，以智能穿戴式设备为智能手表为例，在用户使用智能手表的过程中，智能手表的显示界面可能会相对水平面偏转，因此，为了更好的适应用户的使用姿态，智能手表需要以水平方向为基准调整显示界面的显示画面的显示效果。可见，智能手表中设定的基准方向至少包括水平方向。

为了便于理解，下面以标记图案为至少一个方形为例，并结合一种情况对本申请确定显示偏移信息的方法的一种实现流程示意图，本实施例的方法可以应用于智能穿戴式设备或者智能穿戴式设备之外的电子设备。本实施例的方法可以包括：

S501，获得智能穿戴式设备的屏幕图像。

其中，屏幕图像至少包括智能穿戴式设备的显示界面内输出的标记图案的成像，标记图案为用于基准方向的图案。

在本实施例中，该标记图案为至少一个方形，且标记图案通过方形中两条相互平行的第一边表征基准方向。如，基准方向为竖直方向，则第一边为方形的竖边，通过该竖边标注该竖直方向。

如，标记图案可以为至少一个正方形或者长方形等方形，其中，至少一个方形按照水平方向上排列为m行，竖直方向上成n列，即标记图案包括m*n个正方形，m和n为不小于1的自然数。如可以参见图2所示。当然，为了准确标记出水平和竖直方向，标记图案可以设置多个方形。

该步骤可以参见前面实施例的相关介绍，在此不再赘述。

S502，获得方向参照图像。

该方向参照图像包括：用于指示基准方向的方向参照线。

如，以基准方向为竖直方向为例，该方向参照图像可以为指示竖直方向的铅垂线的成像。

为了便于理解，以智能穿戴式设备为智能眼镜为例说明(对于其他头戴式智能设备情况类似)，并结合获得方向参照图像和屏幕图像的一种实现方式进行举例说明：

智能眼镜的显示画面相对竖直方向的偏斜对用户的观看体验影响较大，因此，在智能眼镜中需要设定基准方向为竖直方向。

如图6所示，其示出了本申请中采集智能眼镜输出的标记图案以及该方向参照图像的一种场景示意图。

在图6的场景中，为了能够更为准确分析出智能眼镜601设定的竖直方向相对实际的竖直方向所存在的偏移，并将智能眼镜601架设到支撑结构体602的水平支撑架上，以保持智能眼镜的眼镜片与竖直方向平行，且智能眼镜水平放置，如图6所示。

同时，在图6中还设置有计算机设备603，该计算机设备连接有一摄像装置604，且该摄像装置被架设到该支撑结构体602的水平支撑架，使得摄像装置的图像采集区朝向该智能眼镜的显示界面。

在以上基础上，假设标记图案如图2所示，那么在智能眼镜上输出该标记图案(如图6中图案605所示)的情况下，同该摄像装置604可以采集到屏幕图像，该屏幕图像可以为如图3所示。

另一方面，为了能够确定出实际的竖直方向，在图6中可以在智能眼镜前端出垂下一条铅垂线606，在保持摄像装置姿态不变的情况下，摄像装置摄取该铅垂钱的图像，得到包含该铅垂线的图像，即方向参照图像。如图7其示出了本申请的方向参照图像的示意图。在图7示出的方向参照图像中的线701为铅垂线的成像。

可以理解的是，图6是以智能穿戴式设备为智能眼镜为例，如果智能设备为智能手表等以水平方向作为基准方向的智能穿戴式设备，则可以在智能穿戴式设备的显示界面平行于水平方向的情况下，摄取其屏幕图像和方向参照图像即可，对此不再赘述。

S503，基于屏幕图像中方形对应的成像图形，将该成像图形中两条第二成像边的中心点的连线确定为标记图案标记出的基准方向。

其中，该成像图像包括第一成像边和第二成像边，第一成像边为方形中用于表征基准方向的第一边的成像，而第二成像边为方形中该第一边之外的第二边的成像。

可以理解的是，在智能穿戴式设备设定的基准方向不存在偏移的情况下，智能穿戴式设备显示出的标记图案中的方形的横边或者竖边是与基准方向平行的。而如果智能穿戴式设备设定的基准方向存在偏移，那么智能穿戴式设备显示出的标记图案中方形的横边或者竖边会相对基准方向存在倾斜。相应的，方形的成像图形也会存在倾斜。

如，仍以基准方向为竖直方向为例，如果智能穿戴式设备设定的竖直方向存在偏移，则智能穿戴式设备输出的标记图案中方形的竖边会相对竖直方向存在倾斜。例如，图6所示的场景中，由于智能眼镜中设定的竖直方向存在偏移，那么虽然智能眼镜输出的该标记图案中方形的竖边会偏离竖直方向，如图3所示，方形的边对应的方向如图3中虚线所示，而该虚线明显与竖直方向不平行。

可以理解的是，在正常情况下，智能穿戴式设备输出的方形不会发生形变，因此，基于屏幕图像中标记图案的成像可知，方形的横边或者竖边实际上是代表了智能穿戴式设备设定的基准方向。如基准方向为竖直方向，则屏幕图像中方形的竖边(或者说，方形的成像图形的竖边)表征了智能穿戴式设备设定的基准方向。

同时，由于方形的成像未发生形变，方形的成像仍为方形，因此，屏幕图像中方形的竖边实际上就是方形的成像图形中两条第二成像边的中心点的连线。

如，基准方向为竖直方向，则方形中表征基准方形的第一边为方形的竖边，而在屏幕图像中方形的成像仍为方形时，屏幕图像中方形的两条横边的中心点的连线所指示的基准方向与方形的竖边所指示的基准方向相同。

可以理解的是，以上是以智能穿戴式设备仅仅基于智能方向输出显示画面为例说明，在实际应用中，智能穿戴式设备除了设置基准方向之外，还会设置辅助基准方向，该辅助基准方向垂直于该基准方向，相应的，智能穿戴式设备还可能会结合辅助基准方向控制显示画面的输出。如，基准方向为竖直方向的情况下，智能穿戴式设备还会结合其设定的水平方向等来控制显示画面的输出。

如果智能穿戴式设备设定的辅助基准方向也存在偏差，则会导致智能穿戴式设备输出的标记图案存在形变，从而使得屏幕图像中标记图案的成像可能不再是方形。但是，屏幕图形中成像图形中两条第二成像边的中心点的连线仍指示的是智能穿戴式设备设定的基准方向。后续会结合确定辅助基准方向上的偏移信息进行说明，在此不再赘述。

需要说明的是，步骤S503为基于屏幕图像中标记图案的成像，在屏幕图像中确定出标记图案标记的基准方向的一种实现方式，对于其他方式也同样适用于本实施例。

S504，以该屏幕图像所在平面构建设定坐标系，确定该标记图案标记的基准方向在该设定坐标系中的实际方向向量。

S505，确定方向参照图像中的方向参照线在设定坐标系中的参照方向向量。

需要说明的是，在本实施例中是以设定坐标系是基于屏幕图像所在平面构建的坐标系，但是可以理解的是，对于设定坐标系为其他情况也同样适用于本实施例。

S506，基于该实际方向向量和参照方向向量，确定该智能穿戴式设备设定的基准方向存在的偏移信息。

如，仍结合图6说明，在图6中屏幕图像和方向参照图像为同一摄像装置，因此，以屏幕图像和方向参照图像实际上同一摄像平面，因此，以屏幕图像所在平面构建坐标系实际上就是以方向参照图像所在平面构建的坐标系。在此基础上，实际上是在摄像平面中，确定图3标记出的智能眼镜对应的虚拟方向如图7中虚线与图7中采集到方向参照图像中铅垂钱701之间的夹角矢量，该夹角的矢量就表征了智能眼镜相对竖直方向的偏移方向和偏移角度。

可以理解的是，本申请中如果是由智能穿戴式设备之外的电子设备来确定该偏移信息，则该电子设备同样可以将该偏移信息发送给智能穿戴式电子设备，以使得智能穿戴式电子设备调整其设定的基准方向。

如图6中，计算机设备获得摄像装置采集到的方向参照图像和屏幕图像并分析出该偏移信息后，可以将该偏移信息发送给智能眼镜。

当然，如果由智能穿戴式设备分析出该偏移信息，则智能穿戴式电子设备可以直接基于该偏移信息调整其设定的基准方向。如，在图6中计算机设备可以将方向参照图像和屏幕图像发送给智能眼镜，由智能眼镜分析出该偏移信息，并基于确定出的偏移信息调整其设定的基准方向。

可以理解的是，在本申请以上实施例是以智能穿戴式设备的一个基准方向为例说明，但是在实际应用中，智能穿戴式设备在结合基准方向控制显示画面输出的同时，还可以结合垂直于基准方向的至少一个辅助基准方向来调控显示画面的输出。如基准方向为竖直方向，辅助基准方向可以为水平方向，还可以包括垂直于竖直方向和水平方向的第三方向。

如果该智能穿戴式设备设定的辅助基准方向存在偏差，那么智能穿戴式设备输出的标记图案中的图形就会发生形变，如，方形在产生形变后，可能出现方形的两条竖边不再平行，以及两条横边不再平行等情况中的一种或者几种。因此，本申请以上实施例中，在标记图案包括至少一个方形的情况下，且在获得屏幕图像之后，还可以基于屏幕图像中方形对应的成像图形，确定方形中两条第一成像边的第一夹角以及方形中两条第二成像边的第二夹角。

如前面所述，方形包括指示基准方向的两条第一边，还包括两条第二边，因此，这两类边的成像分别为第一成像边和第二成像边。

相应的，基于确定出的第一夹角和第二夹角，可以确定出智能穿戴式设备在第一辅助基准方向上的偏移信息以及第二辅助基准方向上的偏移信息，其中，基准方向、第一辅助基准方向以及第二辅助基准方向相互垂直。

其中，该第一夹角和第二夹角可以为矢量角度。

如，基准方向为竖直方向的情况下，针对辅助基准方向为水平方向的情况，两条第一成像边的第一夹角就是该水平方向所存在的偏移信息；类似的，第二夹角为空间坐标系中垂直于水平和垂直这两个方向的辅助基准方向所存在的偏移信息。

如，以智能眼镜为例，并结合图2和图6说明。智能眼镜的基准方向为竖直方向，辅助基准方向可以包括：水平方向。如，在图6中水平方向与铅垂线垂直的方向。示出的智能眼睛所处的姿态下，智能眼镜在基于设定的竖直方向控制显示画面在显示界面所在竖直平面上相对竖直方向调整的基础上，还可以控制相对水平方向调整显示画面，以使得显示画面相对显示界面向内或者向外偏转。

在标记图案为图2的情况下，且以图2中方形为正方形说明，如果该智能眼镜仅仅是设定的竖直方向存在偏差，那么智能眼镜输出的整个标记图案相对竖直方向存在偏离，但是用户的眼睛看到该的标记图案仍然是各个正方形。因此，同一列的正方形的竖边实际上就表征了智能眼镜所依据的竖直方向，相应的，同一列中各正方形中两条横边的中心线的连线也就表征了竖直方向，如图3中虚线所示。

如果该智能眼镜设定的水平方向存在偏差，那么智能眼镜在基于其设定的水平方向和竖直方向在显示界面输出该标记图案后，该标记图案实际上是会相对水平方向存在相对显示界面向内或者向外的偏转，从而使得用户看到的标记图案中各个正方形已经发生形变。具体的，正方形的上边变短或者下边变短等，使得形变后的正方形的两条竖边也不再相互平行，使得正方形变形为一个梯形(对于方形为长方形的情况也相同)。在该种情况下，梯形两条边的夹角就是智能眼镜在水平方向上存在的偏移信息。

具体的，假设智能眼镜设定的水平方向沿着显示界面向朝向用户视线观看的方向倾斜，则会出现正方形的上边边长下边变短，结合梯形的相交方式以及夹角的角度值就可以得到水平方向沿着显示界面朝向用户视线观看一侧倾斜，且倾斜角度为该夹角的角度值。

对于智能眼镜设定的水平方向和竖直方向同时存在偏差的情况与智能眼睛设定的水平方向存在偏差的情况类似，对此不再赘述。

相应的，辅助基准方向为垂直于水平方向和竖直方向的第三方向的情况也类似，在此不再赘述。

可以理解的是，如果由其他电子设备确定出智能穿戴式设备设定的辅助基准方向存在的偏移信息之后，电子设备也会将该部分偏移信息发送给智能穿戴式设备，以使得智能穿戴式设备调整其设定的辅助基准方向。

对应本申请的一种确定显示偏移信息的方法，本申请还提供了一种确定显示偏移信息的装置，如图8所示，其示出了本申请一种确定显示偏移信息的装置的一种组成结构示意图，该装置可以包括：

屏幕图像获得单元801，用于获得智能穿戴式设备的屏幕图像，所述屏幕图像至少包括所述智能穿戴式设备的显示界面内输出的标记图案的成像，所述标记图案为用于标记基准方向的图案；

第一向量确定单元802，用于基于屏幕图像中所述标记图案的成像，确定所述智能穿戴式设备设定的所述基准方向在设定坐标系中的实际方向向量；

第二向量确定单元803，用于基于所述智能穿戴式设备之外的方向参照物所指示出的所述基准方向，确定所述设定坐标系中所述基准方向对应的参照方向向量；

偏移确定单元804，用于基于所述实际方向向量和所述参照方向向量，确定所述智能穿戴式设备设定的所述基准方向存在的偏移信息。

在一种可能的实现方式中，所述第二向量确定单元，包括：

参照图像获得单元，用于获得方向参照图像，所述方向参照图像至少包括：用于指示所述基准方向的方向参照线的图像；

参照向量确定单元，用于基于所述方向参照图像中所述方向参照线的位置，确定所述方向参照线指示出的所述基准方向在所述设定坐标系中的参照方向向量。

在又一种可能的实现方式中，所述第一向量确定单元，包括：

标记方向确定单元，用于基于所述屏幕图像中所述标记图案的成像，在所述屏幕图像中确定出所述标记图案标记的基准方向；

基准方向确定单元，用于以所述屏幕图像所在平面构建设定坐标系，确定所述标记图案标记的基准方向在所述设定坐标系中的实际方向向量。

作为一种可选方式中，

所述标记图案为至少一个方形，且所述标记图案通过所述方形中两条相互平行的第一边表征基准方向；

所述标记方向确定单元，具体为，用于基于所述屏幕图像中所述方形对应的成像图形，将所述成像图形中两条第二成像边的中心点的连线确定为所述标记图案标记出的基准方向；其中，所述方形的成像图形包括：两条第一成像边和两条第二成像边，所述第一成像边为所述方形的第二边在所述屏幕图像中的成像，所述第二成像边为所述方形中所述第一边之外的第二边在所述屏幕图像中的成像。

在一种可选方式中，该装置还包括：

夹角确定单元，用于基于所述屏幕图像中所述方形对应的成像图形，确定所述方形中两条第一成像边的第一夹角以及所述方形中两条第二成像边的第二夹角；

辅助偏移确定单元，用于基于确定出的第一夹角和第二夹角，确定所述智能穿戴式设备在第一辅助基准方向上的偏移信息以及第二辅助基准方向上的偏移信息，所述基准方向、第一辅助基准方向以及第二辅助基准方向相互垂直。

在又一种可能的实现方式中，

在装置应用于智能穿戴式设备之外的情况下，该装置还可以包括：

信息发送单元，用于将确定出的所述基准方向上的偏移信息发送给所述智能穿戴式设备，以使得所述智能穿戴式设备基于所述偏移信息，修正所述智能穿戴式设备输出显示画面所依据的所述基准方向；

或者是，

在该装置应用于智能穿戴式设备的情况下，还包括：

方向修正单元，用于，所述智能穿戴式设备基于所述偏移信息，修正所述智能穿戴式设备输出显示画面所依据的所述基准方向。

又一方面，本申请还提供了一种电子设备，如图9所示，其示出了该电子设备的一种组成结构示意图，该电子设备可以为交互系统的服务器，也可以为交互系统的客户端，该电子设备至少包括存储器901和处理器902；

其中，处理器901用于执行如上任意一个实施例中的确定显示偏移信息的方法。

该存储器用于存储处理器执行操作所需的程序。

可以理解的是，该电子设备还可以包括显示单元903、输入单元904以及通信总线905。当然，该电子设备还可以具有比图9更多或者更少的部件，对此不加限制。

另一方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上任意一个实施例所述的确定显示偏移信息的方法。

本申请还提出了一种计算机程序，该计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机程序在电子设备上运行时，用于执行如上任意一个实施例中的确定显示偏移信息的方法。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。同时，本说明书中各实施例中记载的特征可以相互替换或者组合，使本领域专业技术人员能够实现或使用本申请。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种确定显示偏移信息的方法，包括：

获得智能穿戴式设备的屏幕图像，所述屏幕图像至少包括所述智能穿戴式设备的显示界面内输出的标记图案的成像，所述标记图案为用于标记基准方向的图案；

基于屏幕图像中所述标记图案的成像，确定所述智能穿戴式设备设定的所述基准方向在设定坐标系中的实际方向向量；

基于所述智能穿戴式设备之外的方向参照物所指示出的所述基准方向，确定所述设定坐标系中所述基准方向对应的参照方向向量；

基于所述实际方向向量和所述参照方向向量，确定所述智能穿戴式设备设定的所述基准方向存在的偏移信息。

2.根据权利要求1所述的方法，所述基于所述智能穿戴式设备之外的方向参照物所指示出的所述基准方向，确定所述设定坐标系中所述基准方向对应的参照方向向量，包括：

获得方向参照图像，所述方向参照图像至少包括：用于指示所述基准方向的方向参照线的图像；

基于所述方向参照图像中所述方向参照线的位置，确定所述方向参照线指示出的所述基准方向在所述设定坐标系中的参照方向向量。

3.根据权利要求1所述的方法，所述基于屏幕图像中的所述标记图案，确定所述智能穿戴式设备设定的所述基准方向在设定坐标系中的实际方向向量，包括：

基于所述屏幕图像中所述标记图案的成像，在所述屏幕图像中确定出所述标记图案标记的基准方向；

以所述屏幕图像所在平面构建设定坐标系，确定所述标记图案标记的基准方向在所述设定坐标系中的实际方向向量。

4.根据权利要求3所述的方法，所述标记图案为至少一个方形，且所述标记图案通过所述方形中两条相互平行的第一边表征基准方向；

所述基于所述屏幕图像中所述标记图案的成像，在所述屏幕图像中确定出所述标记图案标记的基准方向，包括：

基于所述屏幕图像中所述方形对应的成像图形，将所述成像图形中两条第二成像边的中心点的连线确定为所述标记图案标记出的基准方向；

所述方形的成像图形包括：两条第一成像边和两条第二成像边，所述第一成像边为所述方形的第二边在所述屏幕图像中的成像，所述第二成像边为所述方形中所述第一边之外的第二边在所述屏幕图像中的成像。

5.根据权利要求4所述的方法，还包括：

基于所述屏幕图像中所述方形对应的成像图形，确定所述方形中两条第一成像边的第一夹角以及所述方形中两条第二成像边的第二夹角；

基于确定出的第一夹角和第二夹角，确定所述智能穿戴式设备在第一辅助基准方向上的偏移信息以及第二辅助基准方向上的偏移信息，所述基准方向、第一辅助基准方向以及第二辅助基准方向相互垂直。

6.根据权利要求1所述的方法，还包括：

在所述方法应用于智能穿戴式设备之外的电子设备的情况下，所述方法还包括：将确定出的所述基准方向上的偏移信息发送给所述智能穿戴式设备，以使得所述智能穿戴式设备基于所述偏移信息，修正所述智能穿戴式设备输出显示画面所依据的所述基准方向；

或者是，

在所述方法应用于智能穿戴式设备的情况下，所述智能穿戴式设备基于所述偏移信息，修正所述智能穿戴式设备输出显示画面所依据的所述基准方向。

7.一种确定显示偏移信息的装置，包括：

屏幕图像获得单元，用于获得智能穿戴式设备的屏幕图像，所述屏幕图像至少包括所述智能穿戴式设备的显示界面内输出的标记图案的成像，所述标记图案为用于标记基准方向的图案；

第一向量确定单元，用于基于屏幕图像中所述标记图案的成像，确定所述智能穿戴式设备设定的所述基准方向在设定坐标系中的实际方向向量；

第二向量确定单元，用于基于所述智能穿戴式设备之外的方向参照物所指示出的所述基准方向，确定所述设定坐标系中所述基准方向对应的参照方向向量；

偏移确定单元，用于基于所述实际方向向量和所述参照方向向量，确定所述智能穿戴式设备设定的所述基准方向存在的偏移信息。

8.根据权利要求7所述的装置，所述第二向量确定单元，包括：

参照图像获得单元，用于获得方向参照图像，所述方向参照图像至少包括：用于指示所述基准方向的方向参照线的图像；

参照向量确定单元，用于基于所述方向参照图像中所述方向参照线的位置，确定所述方向参照线指示出的所述基准方向在所述设定坐标系中的参照方向向量。

9.根据权利要求7所述的装置，所述第一向量确定单元，包括：

标记方向确定单元，用于基于所述屏幕图像中所述标记图案的成像，在所述屏幕图像中确定出所述标记图案标记的基准方向；

基准方向确定单元，用于以所述屏幕图像所在平面构建设定坐标系，确定所述标记图案标记的基准方向在所述设定坐标系中的实际方向向量。

10.一种电子设备，包括：

处理器和存储器；

其中，该处理器用于执行如上权利要求1至6任一项所述的确定显示偏移信息的方法；

所述存储器用于存储所述处理器执行如上操作所需的程序。

Images