CN110706268A - 一种距离调整方法及电子设备 - Google Patents

Abstract

本发明提供了一种距离调整方法及电子设备，所述方法包括：在用户查看屏幕的过程中，通过TOF传感器获取用户眼睛的深度图像；依据深度图像，确定瞳孔区域和眼球区域；依据瞳孔区域和眼球区域，确定用户的视线方向；依据视线方向，确定瞳孔区域和屏幕的第一距离；确定屏幕中各物体的第二距离；依据第一距离对各第二距离进行调整，能够实现对于呈现的图像3D建模相应的距离做出修改，提升用户对于AR眼镜使用的舒适度与使用时长，避免场景建模与实际感受距离发生偏差，使得人眼看到的真实物体的距离和虚拟成像的距离基本一致，避免用户在使用过程中产生眩晕感，提升用户的使用体验。

Description

一种距离调整方法及电子设备

技术领域

本发明涉及电子设备技术领域，特别是涉及一种距离调整方法及电子设备。

背景技术

增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

用户正在使用传统AR眼镜观看视频时，由于传统的AR眼镜固定了显示屏与人眼眼球位置，对于微小的晃动不会做出距离的调整，因此，用户看到的物体之间的距离，与物体与人眼眼球的实际距离产生偏差，从而造成观看视频时的不真实感，从会感到眩晕会，影响用户的使用体验。

发明内容

本发明实施例提供一种距离调整方法及电子设备，以解决现有技术中人眼眼球和显示屏幕之间的相对位置偏差，导致用户晕眩的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种距离调整方法，所述方法包括：在用户查看屏幕的过程中，通过TOF传感器获取用户眼睛的深度图像；依据所述深度图像，确定瞳孔区域和眼球区域；依据所述瞳孔区域和所述眼球区域，确定所述用户的视线方向；依据所述视线方向，确定所述瞳孔区域和屏幕的第一距离；确定所述屏幕中各物体的第二距离；依据所述第一距离对各所述第二距离进行调整。

第二方面，本发明实施例还提供了一种电子设备，所述电子设备包括：获取模块，用于在用户查看屏幕的过程中，通过TOF传感器获取用户眼睛的深度图像；第一确定模块，用于依据所述深度图像，确定瞳孔区域和眼球区域；第二确定模块，用于依据所述瞳孔区域和所述眼球区域，确定所述用户的视线方向；第三确定模块，用于依据所述视线方向，确定所述瞳孔区域和屏幕的第一距离；第四确定模块，用于确定所述屏幕中各物体的第二距离；调整模块，用于依据所述第一距离对各所述第二距离进行调整。

第三方面，本发明实施例还提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现所述的距离调整方法方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现所述的距离调整方法的步骤。在本发明实施例中，通过在用户查看屏幕的过程中，通过TOF传感器获取用户眼睛的深度图像；依据深度图像，确定瞳孔区域和眼球区域；依据瞳孔区域和眼球区域，确定用户的视线方向；依据视线方向，确定瞳孔区域和屏幕的第一距离；确定屏幕中各物体的第二距离；依据第一距离对各第二距离进行调整，能够实现对于呈现的图像3D建模相应的距离做出修改，提升用户对于AR眼镜使用的舒适度与使用时长，避免场景建模与实际感受距离发生偏差，使得人眼看到的真实物体的距离和虚拟成像的距离基本一致，避免用户在使用过程中产生眩晕感，提升用户的使用体验。

附图说明

图1是本发明实施例一的一种距离调整方法的步骤流程图；

图2是本发明实施例二的一种距离调整方法的步骤流程图；

图3是本发明实施例三的一种电子设备的结构框图；

图4是本发明实施例四的一种电子设备的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

参照图1，示出了本发明一种距离调整方法的步骤流程图。

本发明实施例提供的距离调整方法包括以下步骤：

步骤101：在用户查看屏幕的过程中，通过TOF传感器获取用户眼睛的深度图像。

TOF深度传感器，全称是Time of Flight,飞行时间测距。基本原理是激光源发射一定视野角激光，其中激光时长为dt(从t1到t2)，CCD每个像素利用两个同步触发开关S1(t1到t2)、S2(t2到t2+dt)来控制每个像素的电荷保持元件采集反射光强的时段，得到响应C1、C2。物体距离每个像素的距离L＝0.5*c*dt*c2/(c1+c2)，其中c是光速(该公式可以去除反射物反光特性差异对测距的影响)。依据此原理，光源、CCD同步发光、采光一次可以直接对物体进行3D成像。CCD是指电荷耦合器件，是一种用电荷量表示信号大小，用耦合方式传输信号的探测元件。

步骤102：依据深度图像，确定瞳孔区域和眼球区域。

采用TOF传感器获取用户人脸的深度图像。深度图像(depth image)也被称为距离影像(range image)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。

从深度图像中，获取每个像素点的深度，依据每个像素点的深度，确定深度图像中的瞳孔区域和眼球区域。

TOF会主动发射红外脉冲激光，然后通过探测器接收反射的红外光。在眼球表面由于瞳孔是一个空洞，激光穿透过去，打在眼底上。由于眼底是个不规则球面，很难让光线再通过原路穿透回瞳孔回去。所以从人脸图像对应深度图像可以看到眼球瞳孔位置没有深度信息。因此通过该特性，可以直接确定人脸图像中的瞳孔区域。即确定人脸图像赌赢的深度图形中深度值为0的像素区域，即为瞳孔区域。

步骤103：依据瞳孔区域和眼球区域，确定用户的视线方向。

根据瞳孔区域的中心位置和眼球区域的中心位置，两点之间可以确定一条直线，该直线即为用户的视线方向。

步骤104：依据视线方向，确定瞳孔区域和屏幕的第一距离。

沿着视线方向，确定瞳孔区域的中心位置与屏幕的之间的垂直距离，即为瞳孔区域和屏幕的第一距离。

步骤105：确定屏幕中各物体的第二距离。

第二距离即为屏幕中呈现的，各物体与用户的实际距离。

步骤106：依据第一距离对各第二距离进行调整。

例如：物体和用户之间的第二距离为80cm，计算出瞳孔区域到屏幕的第一距离为1.5cm，则对第二距离进行修正，修正结果为80cm-1.5cm＝78.5cm。

在本发明实施例中，通过在用户查看屏幕的过程中，通过TOF传感器获取用户眼睛的深度图像；依据深度图像，确定瞳孔区域和眼球区域；依据瞳孔区域和眼球区域，确定用户的视线方向；依据视线方向，确定瞳孔区域和屏幕的第一距离；确定屏幕中各物体的第二距离；依据第一距离对各第二距离进行调整，能够实现对于呈现的图像3D建模相应的距离做出修改，提升用户对于AR眼镜使用的舒适度与使用时长，避免场景建模与实际感受距离发生偏差，使得人眼看到的真实物体的距离和虚拟成像的距离基本一致，避免用户在使用过程中产生眩晕感，提升用户的使用体验。

实施例二

参照图2示出了本发明实施例二的一种距离调整方法的步骤流程图。

本发明实施例提供的距离调整方法包括以下步骤：

步骤201：在用户查看屏幕的过程中，通过TOF传感器获取用户人脸的深度图像。

TOF深度传感器，全称是Time of Flight,飞行时间测距。基本原理是激光源发射一定视野角激光，其中激光时长为dt(从t1到t2)，CCD每个像素利用两个同步触发开关S1(t1到t2)、S2(t2到t2+dt)来控制每个像素的电荷保持元件采集反射光强的时段，得到响应C1、C2。物体距离每个像素的距离L＝0.5*c*dt*c2/(c1+c2)，其中c是光速(该公式可以去除反射物反光特性差异对测距的影响)。依据此原理，光源、CCD同步发光、采光一次可以直接对物体进行3D成像。CCD是指电荷耦合器件，是一种用电荷量表示信号大小，用耦合方式传输信号的探测元件。

步骤202：确定深度图像中各像素点的深度值。

深度图像(depth image)也被称为距离影像(range image)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像。

从深度图像中，获取每个像素点的深度，依据每个像素点的深度，确定深度图像中的瞳孔区域和眼球区域。

步骤203：确定深度值为零的各深度图像中的第一像素点。

步骤204：将各第一像素点构成的区域，确定为瞳孔区域。

TOF会主动发射红外脉冲激光，然后通过探测器接收反射的红外光。在眼球表面由于瞳孔是一个空洞，激光穿透过去，打在眼底上。由于眼底是个不规则球面，很难让光线再通过原路穿透回瞳孔回去。所以从人脸图像对应深度图像可以看到眼球瞳孔位置没有深度信息。因此通过该特性，可以直接确定人脸图像中的瞳孔区域。即确定人脸图像赌赢的深度图形中深度值为0的像素区域，即为瞳孔区域。

相比通过人脸图像检测的方式检测瞳孔区域，本申请通过确定深度值为零的各深度图像中的第一像素点，确定瞳孔区域，确定的方式更加方便快捷，且无需进行大量的计算，即可对瞳孔区域进行确定。

步骤205：依据瞳孔区域，确定瞳孔区域周边的各第二像素的梯度值。

瞳孔周边的各第二像素，可以以瞳孔区域作为圆心，以预设半径获取瞳孔周围的第二像素，需要说明的是，本领域技术人员可以根据实际情况对预设半径进行设置，其中，预设半径可以设置为0.3cm、0.4cm以及0.5cm，获取半径范围内的各第二像素的梯度值。

步骤206：依据各梯度值，确定眼球区域。

依据各梯度值，确定人脸图像的眼白区域；依据眼白区域和瞳孔区域，生成眼球的3D模型。

由于TOF深度传感器通过光源、CCD同步发光、采光一次可以直接对物体进行3D成像，因此，可以直接生成眼球的3D模型。

通过瞳孔区域，分割瞳孔区域周围平滑区域，即眼球眼白区域。通过计算深度图像的梯度，通过深度图像的梯度区分出眼皮和央求的分割线，眼球区域比较平滑梯度较小，而眼球接触到眼皮的边界处由于深度发生明显变化，则梯度较大，于是就可以通过梯度较大的边界处把眼白分割出来。由于眼球是一个球形，可以通过瞳孔区域和表面检测出来的眼白拟合出整个眼球球形。

图像梯度可以把图像看成二维离散函数：图像梯度:G(x,y)＝dx(i,j)+dy(i,j)；dx(I，j)＝I(i+1，j)-I(I，j)；dy(I，j)＝I(I，j+1)-I(i，j)；其中，I是图像像素的值(如：RGB值)，(I，j)为像素的坐标。

步骤207：确定瞳孔区域的第一中心坐标和眼球区域的第二中心坐标。

当通过眼白区域和瞳孔区域，生成眼球的3D模型，可以分别确定瞳孔区域的第一中心坐标和球的3D模型的第二中心坐标，进一步再确定用户的实现方向。

由于瞳孔是一个圆形，则瞳孔区域的圆心坐标即为瞳孔区域的第一中心坐标，由于眼球是一个球形，则眼球区域的球心坐标即为眼球区域的第二中心坐标。

步骤208：基于第一中心坐标和第二中心坐标，确定用户的视线方向。

根据瞳孔区域的中心位置和眼球区域的中心位置，两点之间可以确定一条直线，该直线即为用户的视线方向。

通过步骤207至步骤208，确定瞳孔区域的第一中心坐标和眼球的第二中心坐标，确定用户的视线方向，可以更加准确地确定用户眼球的视线方向，避免由于视线方向的误差，导致后续成像时，物体的实际距离与成像后的距离不符，导致用户晕眩。

步骤209：在视线方向，确定第一中心坐标与屏幕的第一距离。

沿着视线方向，确定瞳孔区域的中心位置与屏幕的之间的垂直距离，即为瞳孔区域和屏幕的第一距离。

基于视线方向，确定瞳孔区域和屏幕的第一距离，由于视线方向不同，则可能造成检测到的瞳孔与屏幕的第一距离不同，因此可以更加准确的确定瞳孔与屏幕之间的。相较于现有技术，采用传统的眼球追踪方法基于2D信息，无法精准的获取瞳孔区域和屏幕之间的距离，本申请对于第一距离的获取具有实时性和快捷性。

步骤210：确定屏幕中各物体的第二距离。

步骤211：依据第一距离对各第二距离进行调整。

在本发明实施例中，通过在用户查看屏幕的过程中，通过TOF传感器获取用户眼睛的深度图像；依据深度图像，确定瞳孔区域和眼球区域；依据瞳孔区域和眼球区域，确定用户的视线方向；依据视线方向，确定瞳孔区域和屏幕的第一距离；确定屏幕中各物体的第二距离；依据第一距离对各第二距离进行调整，能够实现对于呈现的图像3D建模相应的距离做出修改，提升用户对于AR眼镜使用的舒适度与使用时长，避免场景建模与实际感受距离发生偏差，使得人眼看到的真实物体的距离和虚拟成像的距离基本一致，避免用户在使用过程中产生眩晕感，提升用户的使用体验。

实施例三

参照图3，示出了本发明实施例三的一种电子设备的结构框图。

本发明实施例提供的电子设备包括：获取模块301，用于在用户查看屏幕的过程中，通过TOF传感器获取用户人脸的深度图像；第一确定模块302，用于依据所述深度图像，确定瞳孔区域和眼球区域；第二确定模块303，用于依据所述瞳孔区域和所述眼球区域，确定所述用户的视线方向；第三确定模块304，用于依据所述视线方向，确定所述瞳孔区域和屏幕的第一距离；第四确定模块305，用于确定所述屏幕中各物体的第二距离；调整模块306，用于依据所述第一距离对各所述第二距离进行调整。

在本发明实施例中，通过在用户查看屏幕的过程中，通过TOF传感器获取用户眼睛的深度图像；依据深度图像，确定瞳孔区域和眼球区域；依据瞳孔区域和眼球区域，确定用户的视线方向；依据视线方向，确定瞳孔区域和屏幕的第一距离；确定屏幕中各物体的第二距离；依据第一距离对各第二距离进行调整，能够实现对于呈现的图像3D建模相应的距离做出修改，提升用户对于AR眼镜使用的舒适度与使用时长，避免场景建模与实际感受距离发生偏差，使得人眼看到的真实物体的距离和虚拟成像的距离基本一致，避免用户在使用过程中产生眩晕感，提升用户的使用体验。

实施例四

参照图4，示出了本发明实施例四的一种电子设备的结构框图。

本发明实施例提供的电子设备包括：获取模块401，用于在用户查看屏幕的过程中，通过TOF传感器获取用户人脸的深度图像；第一确定模块402，用于依据所述深度图像，确定瞳孔区域和眼球区域；第二确定模块403，用于依据所述瞳孔区域和所述眼球区域，确定所述用户的视线方向；第三确定模块404，用于依据所述视线方向，确定所述瞳孔区域和屏幕的第一距离；第四确定模块405，用于确定所述屏幕中各物体的第二距离；调整模块406，用于依据所述第一距离对各所述第二距离进行调整。

优选地，所述第一确定模块402包括：第一确定子模块4021，用于确定所述深度图像中各像素点的深度值；第二确定子模块4022，用于确定深度值为零的各深度图像中的第一像素点；第三确定子模块4023，用于将各所述第一像素点构成的区域，确定为所述瞳孔区域；第四确定子模块4024，用于依据所述瞳孔区域，确定所述瞳孔区域周边的各第二像素的梯度值；第五确定子模块4025，用于依据各所述梯度值，确定所述眼球区域。

优选地，所述第二确定模块403包括：第六确定子模块4031，用于确定所述瞳孔区域的第一中心坐标和所述眼球区域的第二中心坐标；第七确定子模块4032，用于基于所述第一中心坐标和所述第二中心坐标，确定所述用户的视线方向。

优选地，所述第五确定子模块4025包括：确定单元，用于依据各所述梯度值，确定所述人脸图像的眼白区域；生成单元，用于依据所述眼白区域和所述瞳孔区域，生成眼球的3D模型；所述第二确定模块403具体要用于：依据所述瞳孔区域和所述眼球的3D模型，确定用户的视线方向。

优选地，所述第三确定模块404具体用于：在所述视线方向，确定第一中心坐标与屏幕的第一距离。

在本发明实施例中，通过在用户查看屏幕的过程中，通过TOF传感器获取用户眼睛的深度图像；依据深度图像，确定瞳孔区域和眼球区域；依据瞳孔区域和眼球区域，确定用户的视线方向；依据视线方向，确定瞳孔区域和屏幕的第一距离；确定屏幕中各物体的第二距离；依据第一距离对各第二距离进行调整，能够实现对于呈现的图像3D建模相应的距离做出修改，提升用户对于AR眼镜使用的舒适度与使用时长，避免场景建模与实际感受距离发生偏差，使得人眼看到的真实物体的距离和虚拟成像的距离基本一致，避免用户在使用过程中产生眩晕感，提升用户的使用体验。

本发明实施例还提供了一种VR/AR眼镜或者VR/AR头盔，其中VR/AR包括距离调整装置。

本发明实施例具体应用于VR/AR眼镜或者VR/AR头盔，VR/AR眼镜或者VR/AR头盔的侧面连接有TOF深度传感器，深度传感器对用户的眼球进行追踪，通过TOF传感器获取用户人脸的深度图像，依据深度图像，确定瞳孔区域和眼球区域，依据瞳孔区域和眼球区域，确定用户的视线方向，依据视线方向，确定瞳孔区域和屏幕的第一距离，确定屏幕中各物体的第二距离，依据第一距离对各第二距离进行调整且对VR/AR眼镜或者VR/AR头盔的显示器中所呈的图像的实际距离，即第二距离进行调整，实现用户在VR/AR眼镜或者VR/AR头盔的显示器中看到的图像与实际距离更加相符，避免用户使用VR/AR眼镜或者VR/AR头盔时间过长，造成晕眩。

且VR/AR眼镜或者VR/AR头盔还可以与终端设备连接，则终端设备的屏幕即为本发明实施例提到的屏幕，采用本发明的距离调整方法，避免用户晕眩，提升用户的使用体验。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (10)

1.一种距离调整方法，其特征在于，所述方法包括：

在用户查看屏幕的过程中，通过TOF传感器获取用户人脸的深度图像；

依据所述深度图像，确定瞳孔区域和眼球区域；

依据所述瞳孔区域和所述眼球区域，确定所述用户的视线方向；

依据所述视线方向，确定所述瞳孔区域和屏幕的第一距离；

确定所述屏幕中各物体的第二距离；

依据所述第一距离对各所述第二距离进行调整。

2.根据权利要求1所述的方法，其特征在于，所述依据所述深度图像，确定瞳孔区域和眼球区域的步骤，包括：

确定所述深度图像中各像素点的深度值；

确定深度值为零的各深度图像中的第一像素点；

将各所述第一像素点构成的区域，确定为所述瞳孔区域；

依据所述瞳孔区域，确定所述瞳孔区域周边的各第二像素的梯度值；

依据各所述梯度值，确定所述眼球区域。

3.根据权利要求1所述的方法，其特征在于，所述依据所述瞳孔区域和所述眼球区域，确定所述用户的视线方向的步骤，包括：

确定所述瞳孔区域的第一中心坐标和所述眼球区域的第二中心坐标；

基于所述第一中心坐标和所述第二中心坐标，确定所述用户的视线方向。

4.根据权利要求1所述的方法，其特征在于，所述依据各所述梯度值，确定所述眼球区域的步骤，包括：

依据各所述梯度值，确定所述人脸图像的眼白区域；

依据所述眼白区域和所述瞳孔区域，生成眼球的3D模型；

所述依据所述瞳孔区域和所述眼球区域，确定所述用户的视线方向的步骤，包括：

依据所述瞳孔区域和所述眼球的3D模型，确定用户的视线方向。

5.根据权利要求4所述的方法，其特征在于，所述依据所述视线方向，确定所述瞳孔区域和屏幕的第一距离的步骤，包括：

在所述视线方向，确定第一中心坐标与屏幕的第一距离。

6.一种电子设备，其特征在于，所述电子设备包括：

获取模块，用于在用户查看屏幕的过程中，通过TOF传感器获取用户人脸的深度图像；

第一确定模块，用于依据所述深度图像，确定瞳孔区域和眼球区域；

第二确定模块，用于依据所述瞳孔区域和所述眼球区域，确定所述用户的视线方向；

第三确定模块，用于依据所述视线方向，确定所述瞳孔区域和屏幕的第一距离；

第四确定模块，用于确定所述屏幕中各物体的第二距离；

调整模块，用于依据所述第一距离对各所述第二距离进行调整。

7.根据权利要求6所述的电子设备，其特征在于，所述第一确定模块包括：

第一确定子模块，用于确定所述深度图像中各像素点的深度值；

第二确定子模块，用于确定深度值为零的各深度图像中的第一像素点；

第三确定子模块，用于将各所述第一像素点构成的区域，确定为所述瞳孔区域；

第四确定子模块，用于依据所述瞳孔区域，确定所述瞳孔区域周边的各第二像素的梯度值；

第五确定子模块，用于依据各所述梯度值，确定所述眼球区域。

8.根据权利要求6所述的电子设备，其特征在于，所述第二确定模块包括：

第六确定子模块，用于确定所述瞳孔区域的第一中心坐标和所述眼球区域的第二中心坐标；

第七确定子模块，用于基于所述第一中心坐标和所述第二中心坐标，确定所述用户的视线方向。

9.根据权利要求7所述的电子设备，其特征在于，所述第五确定子模块包括：

确定单元，用于依据各所述梯度值，确定所述人脸图像的眼白区域；

生成单元，用于依据所述眼白区域和所述瞳孔区域，生成眼球的3D模型；

所述第二确定模块具体要用于：

依据所述瞳孔区域和所述眼球的3D模型，确定用户的视线方向。

10.根据权利要求9所述的电子设备，其特征在于，所述第三确定模块具体用于：

在所述视线方向，确定第一中心坐标与屏幕的第一距离。

Images