CN115373517A - 一种基于注视点的智能眼镜宽视角调节方法 - Google Patents

Abstract

本发明公开了一种基于注视点的智能眼镜宽视角调节方法，包括以下步骤：获取用户指令为宽视角指令；根据智能眼镜的第一位姿参数，将当前场景的第一拍摄图像呈现于第一虚拟画面，以及将当前场景的第二拍摄图像呈现于第二虚拟画面后，生成智能眼镜的第一图像，其中，第二虚拟画面置于第一虚拟画面的上层；获取用户指令为视角调节指令，通过采集用户的注视点，获取智能眼镜的第二位姿参数；根据第二位姿参数，生成智能眼镜的第二图像；将第一图像呈现于第一虚拟画面，将第二图像呈现于第二虚拟画面，生成智能眼镜的宽视角图像；本发明解决了当注视点变化后，当前画面会放大缩小，从而造成显示不稳定的技术问题。

Description

一种基于注视点的智能眼镜宽视角调节方法

技术领域

本发明涉及智能眼镜成像技术领域，具体而言，涉及一种基于注视点的智能眼镜宽视角调节方法。

背景技术

智能眼镜作为近眼显示设备，能够提供更为广阔的视场角，能够向眼睛传达更多的信息，但是受限于眼球的能力，很多信息无法观察的特别仔细；同时为了使得人基于视觉信息的行为更为协调，视觉信息所表现的图像跟裸眼观察到的图像的比例不能区别太大，否则会由于图像失真导致人的行为不协调，造成错误的行为，但是有时人们又希望观察到更为全局的广角图像。现有的智能眼镜在调节图像大小和视角大小时，当注意点发生变化后，图像的大小也会随之发生变化，这样容易导致画面的放大缩小不稳定，用户的佩戴体验感较差，因此，急需一种基于注视点的智能眼镜宽视角调节方法，用于增强用户的体验。

发明内容

为了解决上述问题，本发明的目的是提出一种基于注视点的智能眼镜宽视角调节方法，通过以当前注视点为中心，在改变注视点后，该中心并不做变化，从而解决了注视点变化后画面的放大缩小不稳定的技术问题。

为了实现上述技术目的，本申请提供了一种基于注视点的智能眼镜宽视角调节方法，智能眼镜包括第一虚拟画面和第二虚拟画面，包括以下步骤：

获取用户指令为宽视角指令；

根据智能眼镜的第一位姿参数，将当前场景的第一拍摄图像呈现于第一虚拟画面，以及将当前场景的第二拍摄图像呈现于第二虚拟画面后，生成智能眼镜的第一图像，其中，第二虚拟画面置于第一虚拟画面的上层；

获取用户指令为视角调节指令，通过采集用户的注视点，获取智能眼镜的第二位姿参数；

根据第二位姿参数，生成智能眼镜的第二图像；

将第一图像呈现于第一虚拟画面，将第二图像呈现于第二虚拟画面，生成智能眼镜的宽视角图像。

优选地，在生成智能眼镜的第一图像的过程中，采集用户的注视点，根据注视点，采集第一拍摄图像和第二拍摄图像，其中，第一拍摄图像用于表示基于注视点范围内的图像，第二拍摄图像用于表示基于注视点以外的图像。

优选地，在采集用户的注视点的过程中，构建注视点映射模型，注视点映射模型用于表示用户的视线中心在屏幕上的映射关系；

通过采集用户的眼球状态，根据注视点映射模型，得到用户的视线中心在屏幕上的位置，生成注视点。

优选地，在获取视角调节指令的过程中，视角调节指令包括手势指令、语音指令、按键控制指令中一种或多种组合；

根据注视点，通过采集眼球状态，获取用户的当前注视点；

根据当前注视点，生成第二图像。

优选地，在获取手势指令的过程中，测量当前时刻手势中拇指和食指之间的第一距离；

测量当前时刻之后的拇指和食指之间的第二距离；

根据第一距离和第二距离，以当前注视点为中心，调整第一图像的尺寸，生成第二图像。

优选地，在获取手势指令的过程中，测量当前时刻手势中相同手指之间的第三距离；

测量当前时刻之后的相同手指之间的第四距离；

根据第三距离和第四距离，以当前注视点为中心，调整第一图像的尺寸，生成第二图像。

优选地，在调整第一图像的尺寸的过程中，获取第一距离与第二距离之间的第一比值，以当前注视点为中心，调整第一图像的尺寸至第一比值，生成第二图像。

优选地，在调整第一图像的尺寸的过程中，获取第三距离与第四距离之间的第二比值，以当前注视点为中心，调整第一图像的尺寸至第二比值，生成第二图像。

优选地，在获取第一比值的过程中，当第一距离小于第二距离时，以当前注视点为中心，将第一图像的尺寸放大至第一比值，生成第二图像。

优选地，在获取第二比值的过程中，当第三距离小于第四距离，以当前注视点为中心，将第一图像的尺寸放大至第二比值，生成第二图像。

本发明公开了以下技术效果：

与现有的智能眼镜相比，本发明解决了当注视点变化后，当前画面会放大缩小，从而造成显示不稳定的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明所述的智能眼镜宽视角调节方法流程图；

图2是本发明所述的智能眼镜图像处理方法流程图。

具体实施方式

下为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1-2所示，本发明提供了一种基于注视点的智能眼镜宽视角调节方法，智能眼镜包括第一虚拟画面和第二虚拟画面，包括以下步骤：

获取用户指令为宽视角指令；

根据智能眼镜的第一位姿参数，将当前场景的第一拍摄图像呈现于第一虚拟画面，以及将当前场景的第二拍摄图像呈现于第二虚拟画面后，生成智能眼镜的第一图像，其中，第二虚拟画面置于第一虚拟画面的上层；

获取用户指令为视角调节指令，通过采集用户的注视点，获取智能眼镜的第二位姿参数；

根据第二位姿参数，生成智能眼镜的第二图像；

将第一图像呈现于第一虚拟画面，将第二图像呈现于第二虚拟画面，生成智能眼镜的宽视角图像。

进一步优选地，本发明在生成智能眼镜的第一图像的过程中，采集用户的注视点，根据注视点，采集第一拍摄图像和第二拍摄图像，其中，第一拍摄图像用于表示基于注视点范围内的图像，第二拍摄图像用于表示基于注视点以外的图像。

进一步优选地，本发明在采集用户的注视点的过程中，构建注视点映射模型，注视点映射模型用于表示用户的视线中心在屏幕上的映射关系；

通过采集用户的眼球状态，根据注视点映射模型，得到用户的视线中心在屏幕上的位置，生成注视点。

进一步优选地，本发明在获取视角调节指令的过程中，本发明提到的视角调节指令包括手势指令、语音指令、按键控制指令中一种或多种组合；

根据注视点，通过采集眼球状态，获取用户的当前注视点；

根据当前注视点，生成第二图像。

进一步优选地，本发明在获取手势指令的过程中，本发明测量了当前时刻手势中拇指和食指之间的第一距离；

测量当前时刻之后的拇指和食指之间的第二距离；

根据第一距离和第二距离，以当前注视点为中心，调整第一图像的尺寸，生成第二图像。

进一步优选地，本发明在获取手势指令的过程中，本发明测量了当前时刻手势中相同手指之间的第三距离；

测量当前时刻之后的相同手指之间的第四距离；

根据第三距离和第四距离，以当前注视点为中心，调整第一图像的尺寸，生成第二图像。

进一步优选地，本发明在调整第一图像的尺寸的过程中，本发明获取第一距离与第二距离之间的第一比值，以当前注视点为中心，调整第一图像的尺寸至第一比值，生成第二图像。

进一步优选地，本发明在调整第一图像的尺寸的过程中，本发明获取第三距离与第四距离之间的第二比值，以当前注视点为中心，调整第一图像的尺寸至第二比值，生成第二图像。

进一步优选地，本发明在获取第一比值的过程中，当第一距离小于第二距离时，以当前注视点为中心，将第一图像的尺寸放大至第一比值，生成第二图像。

进一步优选地，本发明在获取第二比值的过程中，当第三距离小于第四距离，以当前注视点为中心，将第一图像的尺寸放大至第二比值，生成第二图像。

在获取用户指令为宽视角指令前，还包括一下步骤：

通过采集用户的眼球状态，根据注视点映射模型，得到用户的视线中心在屏幕上的位置，生成第一注视点；

根据第一注视点，通过采集眼球状态，获取第二注视点；

根据当前场景和第一注视点，生成智能眼镜的第一图像；

获取图像处理指令；

基于第一图像，根据第二注视点，执行图像处理指令，生成智能眼镜的第二图像，其中，基于第一图像，不根据第一注视点，生成第二图像。

在图像处理指令包括手势时，手势为第一手势，在获取第一比值的过程中，当第一距离大于第二距离时，以第二注视点为中心，将第一图像的尺寸缩小至第一比值，生成第二图像。

手势为第二手势，在获取第二比值的过程中，当第三距离大于第四距离，以第二注视点为中心，将第一图像的尺寸缩小至第二比值，生成第二图像。

本发明在获取图像处理指令的过程中，当图像处理指令包括手势指令，并且还包括语音指令和/或按键控制指令时，基于手势指令，根据语音指令和/或按键控制指令，调整第一图像，生成第二图像；

当图像处理指令不包括手势指令，只包括语音指令和按键控制指令时，基于按键控制指令，根据语音指令，调整第一图像，生成第二图像。

本发明还公开了一种基于注视点的智能眼镜图像处理系统，包括：

第一注视点生成模块，用于通过构建注视点映射模型，采集用户的眼球状态，得到用户的视线中心在屏幕上的位置，生成第一注视点；

第二注视点生成模块，用于根据第一注视点，通过采集眼球状态，获取第二注视点；

当前图像生成模块，用于根据当前场景和第一注视点，生成智能眼镜的第一图像；

指令获取模块，用于获取图像处理指令；

图像调整模块，用于基于第一图像，根据第二注视点，执行图像处理指令，生成智能眼镜的第二图像，其中，基于第一图像，不根据第一注视点，生成第二图像。

本发明还包括一种基于注视点的智能眼镜宽视角调节系统，智能眼镜包括第一虚拟画面和第二虚拟画面，包括：

指令获取模块，用于获取用户指令为宽视角指令；

第一图像生成模块，根据智能眼镜的第一位姿参数，将当前场景的第一拍摄图像呈现于第一虚拟画面，以及将当前场景的第二拍摄图像呈现于第二虚拟画面后，生成智能眼镜的第一图像，其中，第二虚拟画面置于第一虚拟画面的上层；

位置调整模块，用于获取用户指令为视角调节指令，通过采集用户的注视点，获取智能眼镜的第二位姿参数；

第二图像生成模块，用于根据第二位姿参数，生成智能眼镜的第二图像；

成像模块，用于将第一图像呈现于第一虚拟画面，将第二图像呈现于第二虚拟画面，生成智能眼镜的宽视角图像。

本发明还根据智能眼镜图像处理方法，设计了一种计算机程序，用于实现智能眼镜宽视角调节方法在智能眼镜中的应用，以及通过将计算机程序设置在其他移动设备中，远程控制智能眼镜生成基于用户的注视点的图像，或通过收集用户兴趣，对注视点进行定位，生成用户感兴趣的图像。

本发明还公开了一种移动存储设备，用于实现智能眼镜图像处理方法在其他智能设备或智能眼镜上的应用。例如，作为一项外设与智能眼镜进行通讯连接，增强现有智能眼镜，图像显示的功能。

本发现公开的基于注视点的图像处理方法，包括以下步骤：

对当前场景进行截取后，形成相应的图像图例，用于满足用户的需求。截图可以是观看的图像，也可以是通过外部摄像头实时传达的实时图像，也可以是视频；

创建眼球状态与显示屏的注视点映射模型，并获取用户的眼球状态；

基于眼球状态和注视点映射模型，得到用户的视线中心在屏幕上的位置，输出为注视点；

接收图像处理指令后，基于所述图像处理指令和所述注视点，执行所述图像处理指令；

本发明提到的方法主要用于在观看视频或者其他由显示屏投射的内容的时候，需要进行的图像处理可以是放大，缩小，剪切，标记等；以当前注视点为中心，之后改变注视点，放大的中心也不改变，因为注视点很容易改变，容易导致画面的放大缩小不稳定。基于手势指令执行放大或者缩小的操作；

首先要判断注视点，判断注视点之后，就判断指令类型，如果是放大指令，就执行放大操作；判断放大的程度，执行放大多少的操作；

举例进行说明，现在智能眼镜接收到语音指令要执行放大操作，找到注视点，识别手势，测量当前时刻手势中拇指和食指之间的距离，输出为第一距离；然后测量当前时刻之后某一时刻拇指和食指之间的距离，输出为第二距离；比较两个时刻中拇指和食指指尖的距离，若第一距离小于第二距离，则计算所述第二距离与第一距离之间的比值，输出为第一比值；以注视点为中心，将当前图像的尺寸放大第一比值；

可选地，可以测量的左眼的注视点，然后将放大的图像局部展示在右眼视野范围内。

默认条件下，形成以注视点为中心的预设局部显示框，放大后的截取局部图像显示于预设局部显示框内，预设局部显示框的位置，预设局部显示框也可以显示在注视点附近，不一定正在注视点处。这种情况下可以避免放大后的图像造成用户的视觉障碍，例如遮挡住了画面，或者画面比例失真，导致用户基于错误的信息行动，导致行为不协调。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于注视点的智能眼镜宽视角调节方法，其特征在于，所述智能眼镜包括第一虚拟画面和第二虚拟画面，包括以下步骤：

获取用户指令为宽视角指令；

根据所述智能眼镜的第一位姿参数，将当前场景的第一拍摄图像呈现于所述第一虚拟画面，以及将所述当前场景的第二拍摄图像呈现于所述第二虚拟画面后，生成所述智能眼镜的第一图像，其中，所述第二虚拟画面置于所述第一虚拟画面的上层；

获取所述用户指令为视角调节指令，通过采集所述用户的注视点，获取所述智能眼镜的第二位姿参数；

根据所述第二位姿参数，生成所述智能眼镜的第二图像；

将所述第一图像呈现于所述第一虚拟画面，将所述第二图像呈现于所述第二虚拟画面，生成所述智能眼镜的宽视角图像。

2.根据权利要求1所述的方法，其特征在于，

在生成所述智能眼镜的第一图像的过程中，采集用户的注视点，根据所述注视点，采集所述第一拍摄图像和所述第二拍摄图像，其中，所述第一拍摄图像用于表示基于所述注视点范围内的图像，所述第二拍摄图像用于表示基于所述注视点以外的图像。

3.根据权利要求2所述的方法，其特征在于，

在采集用户的注视点的过程中，构建注视点映射模型，所述注视点映射模型用于表示用户的视线中心在屏幕上的映射关系；

通过采集所述用户的眼球状态，根据所述注视点映射模型，得到所述用户的所述视线中心在屏幕上的位置，生成所述注视点。

4.根据权利要求3所述的方法，其特征在于，

在获取视角调节指令的过程中，所述视角调节指令包括手势指令、语音指令、按键控制指令中一种或多种组合；

根据所述注视点，通过采集所述眼球状态，获取所述用户的当前注视点；

根据所述当前注视点，生成所述第二图像。

5.根据权利要求4所述的方法，其特征在于：

在获取手势指令的过程中，测量当前时刻手势中拇指和食指之间的第一距离；

测量当前时刻之后的拇指和食指之间的第二距离；

根据所述第一距离和所述第二距离，以所述当前注视点为中心，调整所述第一图像的尺寸，生成所述第二图像。

6.根据权利要求5所述的方法，其特征在于：

在获取手势指令的过程中，测量当前时刻手势中相同手指之间的第三距离；

测量当前时刻之后的所述相同手指之间的第四距离；

根据所述第三距离和所述第四距离，以所述当前注视点为中心，调整所述第一图像的尺寸，生成所述第二图像。

7.根据权利要求6所述的方法，其特征在于：

在调整所述第一图像的尺寸的过程中，获取所述第一距离与第二距离之间的第一比值，以所述当前注视点为中心，调整所述第一图像的尺寸至所述第一比值，生成所述第二图像。

8.根据权利要求6所述的方法，其特征在于：

在调整所述第一图像的尺寸的过程中，获取所述第三距离与第四距离之间的第二比值，以所述当前注视点为中心，调整所述第一图像的尺寸至所述第二比值，生成所述第二图像。

9.根据权利要求8所述的方法，其特征在于：

在获取第一比值的过程中，当所述第一距离小于所述第二距离时，以所述当前注视点为中心，将所述第一图像的尺寸放大至所述第一比值，生成所述第二图像。

10.根据权利要求9所述的方法，其特征在于：

在获取第二比值的过程中，当所述第三距离小于所述第四距离，以所述当前注视点为中心，将所述第一图像的尺寸放大至所述第二比值，生成所述第二图像。

Images