CN106325510A

CN106325510A - 信息处理方法及电子设备

Info

Publication number: CN106325510A
Application number: CN201610698480.2A
Authority: CN
Inventors: 杨大业; 宋建华
Original assignee: Lenovo Beijing Ltd
Current assignee: Lenovo Beijing Ltd
Priority date: 2016-08-19
Filing date: 2016-08-19
Publication date: 2017-01-11
Anticipated expiration: 2036-08-19
Also published as: CN106325510B

Abstract

本发明实施例公开了一种信息处理方法及电子设备，所述信息处理方法，包括：采集包括用户眼睛的采集图像；解析所述采集图像，获取所述采集图像中角膜缘的第一边缘形状；利用所述第一边缘形状与第二边缘形状之间的差异，确定眼球中心相对于图像采集单元的相对位置；所述第二边缘形状为所述图像采集单元正对着所述角膜缘采集形成的边缘形状；根据所述眼球中心与所述采集图像中瞳孔中心，确定所述用户眼睛的光轴；根据所述光轴与显示单元的交叉点，确定用户眼睛注视所述显示单元的注视点。

Description

信息处理方法及电子设备

技术领域

本发明涉及信息技术领域，尤其涉及一种信息处理方法及电子设备。

背景技术

平板电脑、手机等电子设备上，通常都配置有交互屏和摄像头等结构。通常用户主要利用交互屏和操作手势，进行电子设备的控制；而摄像头则主要用户拍照等普通的图像采集功能。显然这样只是很基本的利用了交互屏和摄像头等结构，电子设备的资源有效利用率低。

发明内容

有鉴于此，本发明实施例期望提供一种信息处理方法及电子设备，可以至少部分解决上述问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例第一方面提供了一种信息处理方法，包括：

采集包括用户眼睛的采集图像；

解析所述采集图像，获取所述采集图像中角膜缘的第一边缘形状；

利用所述第一边缘形状与第二边缘形状之间的差异，确定眼球中心相对于图像采集单元的相对位置；所述第二边缘形状为所述图像采集单元正对着所述角膜缘采集形成的边缘形状；

根据所述眼球中心与所述采集图像中瞳孔中心，确定所述用户眼睛的光轴；

根据所述光轴与显示单元的交叉点，确定用户眼睛注视所述显示单元的注视点。

基于上述方案，所述解析所述采集图像，获取所述采集图像中角膜缘的第一边缘形状，包括：

利用所述用户眼睛在所述采集图像中巩膜和角膜之间的色差，提取角膜缘的N个位置；所述N为正整数；

通过椭圆拟合，确定经过所述N个位置的第一椭圆；其中，所述第一椭圆即为第一边缘形状。

基于上述方案，所述第二边缘形状为第一正圆。

基于上述方案，所述根据所述眼球中心与所述采集图像中瞳孔中心，确定所述用户眼睛的光轴，包括：

根据所述眼球中心与所述采集图像中瞳孔中心，确定左眼光轴和右眼光轴；

所述根据所述光轴与显示单元的交叉点，确定用户眼睛注视所述显示单元的注视点，包括：

根据所述左眼光轴与所述显示单元的第一交叉点，确定第一注视点；

根据所述右眼光轴与所述显示单元的第二交叉点，确定第二注视点；

根据所述第一注视点和所述第二注视点，确定用户双眼在所述显示单元上的注视中心点。

基于上述方案，所述方法还包括：

根据所述注视中心点，显示待显示信息和/或执行眼神示意交互操作。

本发明实施例第二方面提供一种电子设备，包括：

图像采集器，用于采集包括用户眼睛的采集图像；

处理器，用于解析所述采集图像，获取所述采集图像中角膜缘的第一边缘形状；利用所述第一边缘形状与第二边缘形状之间的差异，确定眼球中心相对于图像采集器的相对位置；所述第二边缘形状为所述图像采集单元正对着所述角膜缘采集形成的边缘形状；根据所述眼球中心与所述采集图像中瞳孔中心，确定所述用户眼睛的光轴；根据所述光轴与显示屏幕的交叉点，确定用户眼睛注视所述显示屏幕的注视点。

基于上述方案，所述处理器，具体用于利用所述用户眼睛在所述采集图像中巩膜和角膜之间的色差，提取角膜缘的N个位置；所述N为正整数；通过椭圆拟合，确定经过所述N个位置的第一椭圆；其中，所述第一椭圆即为第一边缘形状。

基于上述方案，所述第二边缘形状为第一正圆。

基于上述方案，所述处理器，具体用于根据所述眼球中心与所述采集图像中瞳孔中心，确定左眼光轴和右眼光轴；根据所述左眼光轴与所述显示屏幕的第一交叉点，确定第一注视点；根据所述右眼光轴与所述显示屏幕的第二交叉点，确定第二注视点；根据所述第一注视点和所述第二注视点，确定用户双眼在所述显示屏幕上的注视中心点。

基于上述方案，所述处理器，还用于根据所述注视中心点，显示待显示信息和/或执行眼神示意交互操作。

本发明实施例提供的信息处理方法及电子设备，通过图像采集包括用户眼睛的采集图像，通过解析采集图像可以获知在采集图像中角膜缘的第一边缘形状，与预设的第二边缘形状的比对，可以解析出用户的眼球中心与图像采集单元的相对位置，并依据眼球中心与瞳孔中心的连线确定出光轴，再利用光轴与显示单元的连线，确定出注视点，确定出了注视点就实现了对用户的视觉追踪；从而并没有引入眼动仪等设备，就实现了对用户视觉追踪，具有实现简便、硬件成本低的特点。

附图说明

图1为本发明实施例提供的一种信息处理方法的流程示意图；

图2为本发明实施例提供的一种眼睛的显示示意图；

图3为本发明实施例提供的一种注视中心点和显示屏的显示示意图；

图4为本发明实施例提供的一种电子设备的结构示意图；

图5为本发明实施例提供的另一种信息处理方法的流程示意图。

具体实施方式

以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。

实施例一：

如图1所示，本实施例提供一种信息处理方法，包括：

步骤S110：采集包括用户眼睛的采集图像；

步骤S120：解析所述采集图像，获取所述采集图像中角膜缘的第一边缘形状；

步骤S130：利用所述第一边缘形状与第二边缘形状之间的差异，确定眼球中心相对于图像采集单元的相对位置；所述第二边缘形状为所述图像采集单元正对着所述角膜缘采集形成的边缘形状；

步骤S140：根据所述眼球中心与所述采集图像中瞳孔中心，确定所述用户眼睛的光轴；

步骤S150：根据所述光轴与显示单元的交叉点，确定用户眼睛注视所述显示单元的注视点。

本实施例所述的信息处理方法可为应用于各种包括或连接有图像采集功能的照相机或摄像机的电子设备，例如，手机、平板电脑、笔记本电脑、台式电脑等可穿戴式设备等。

在本实施例中首先利用进行图像采集，采集包括用户眼睛的采集图像。

在步骤S120中将解析所述采集图像，获取采集图像中用户的眼睛内的角膜缘的第一边缘形状。

如图2所示为一张眼睛的图像，从外之内包括巩膜、角膜缘、虹膜及瞳孔。在本实施例中会获取角膜缘为角膜边缘。由于角膜缘与巩膜对应的眼白的颜色差异度较大，在本实施例子中故可以简便的提取出所述角膜缘的第一边缘形状。

在步骤S130中会将第一边缘形状与第二边缘形状进行比较，从而获得两者之间的差异，确定出用户的眼睛的眼球中心相对有图像采集单元的相对位置。例如，通常若用户眼睛正对着图像采集单元，通常图像采集单元采集的图像中，角膜缘会呈现圆形或与无限接近圆形。若用户的眼睛并未正对着，这样用户的眼睛的角膜缘到图像采集单元中的成像就会发生一定的形变，通常会形成椭圆形的投影，这样的话，所述图像采集单元采集形成的角膜缘就会呈现椭圆形状。从圆形到椭圆的变化，显然可以通过三维3D建模等方式，可以知道所述用户眼睛相对于图像采集单元的相对位置关系，例如，用户眼睛偏离图像采集单元的角度等参数。故在本实施例中可以确定出用户的眼球相对于图像采集单元的相对位置关系。

在步骤S140中，将根据眼球中心与图像采集中瞳孔中心，确定用户观看的光轴，瞳孔位于眼球的表面，而眼球中心位于眼球这个球体的中心，通过瞳孔的中心与眼球中心的连线就能够得到所述光轴。所述光轴可用来表示用户视线所朝向的方向。

当用户眼睛的光轴确定，就可以根据光轴与显示单元的交叉点，确定出用户视线落在显示单元上的位置，从而确定出用户眼睛注视或关注的注视点。

显然，在本实施例中在不引入其他部件的情况下，直接利用图像采集单元就可以简便的确定出用户眼睛在显示单元的注视点，从而实现对用户视线或所关注的对象的追踪，具有实现简单及实现成本低的特点。

实施例二：

如图1所示，本实施例提供一种信息处理方法，包括：

步骤S110：采集包括用户眼睛的采集图像；

所述步骤S120可包括：

在本实施例中，会提取所述角膜边缘的多个点的位置，然后利用椭圆拟合的方式，确定出经过这N个位置的第一椭圆，这个拟合出来的第一椭圆就认为是所述第一边缘形状。由于人眼的角膜缘通常情况下是成正圆的，由于相对图像采集单元的偏离可能呈现出来的在采集图像中呈椭圆，故可以简便的通过N个位置的提取，再结合椭圆拟合，简便实现第一边缘形状的提取。

实施例三：

如图1所示，本实施例提供一种信息处理方法，包括：

步骤S110：采集包括用户眼睛的采集图像；

在本实施例中，所述第二边缘形状为第一正圆。这里的正圆即为标准的圆形，通常人的眼睛的角膜缘是呈圆形的。若是人的眼睛正投影到图像采集单元上，则也应该时呈现为正圆，若出现了椭圆等其他形状，可以根据成像之后采集第一边缘形状和第二边缘形状的比对，再通过建模等作用，确定出人的眼睛相对于图像采集单元的偏离的角度，从而确定出人的眼睛的位置以及朝向等信息；最终方便确定出用户双眼的光轴，具有实现简便的特点。

当然，本实施例中所述第一边缘形状可以采用前一个实施例所述椭圆拟合来确定；当然在具体实现时，可以通过逐一提取采集图像中所述角膜缘的每一个边缘点，再连接这些边缘点得到所述第一边缘形状。所述第一边缘形状的获取方式有多种，不局限于上述两种。

实施例四：

如图1所示，本实施例提供一种信息处理方法，包括：

步骤S110：采集包括用户眼睛的采集图像；

所述步骤S140可包括：

在本实施例中所述采集图像为包括用户双眼的图像，故在本实施例中会提取到两个角膜缘的第一边缘形状，也会确定出用户左右眼分别对应的两个光轴。在本实施例中将其中一个光轴命名为左眼光轴，将另一个光轴命名为右眼光轴。在本实施例中分别将左眼光轴和右眼光轴和显示单元进行交叉会得到两个注视点，在本实施例中称之为第一注视点和第二注视点。在本实施例中将根据第一注视点和第二注视点，确定出用户最终关注的位置。具体的如，连接所述第一注视点和第二注视点形成注视点连线，提取注视点连线的中心点，将该中心点作为所述注视中心点。当然也可以直接根据第一注视点和第二注视点的坐标，计算出所述注视中心点的坐标。

在本实施例中所述注视中心点应该是用户左右眼都会关注的重点区域，故在本实施例中注视中心点也可以不止一个，例如可认为所述第一注视点和第二注视点形成的连线上的任意一个点。

在本实施例中可以简便的根据两个注视点，确定所述注视中心点，具有是实现简便的特点。

本实施例所述信息处理方法可为在前述任意实施例基础上的进一步改进，在本实施例中，所述信息处理方法同样可以采用椭圆拟合，确定所述第一边缘形状；所述第二边缘形状为一个与所述第一边缘形状相适配大小的正圆。

实施例五：

如图1所示，本实施例提供一种信息处理方法，包括：

步骤S110：采集包括用户眼睛的采集图像；

所述步骤S140可包括：

所述方法还包括：

在本实施例中所述根据注视中心点，显示待显示信息可包括：

将需要显示的信息显示在注视中心点的位置，或显示在距离注视中心点预设距离之内的显示区域内，这样用户不用转移视线就可以看到显示的信息。例如，将一些非常重要的信息显示在所述注视中心点上或显示距离在所述注视中心点很近的范围，这样可以提升显示效果。

在本实施例中通过所述注视中心点的确定，就实现了对用户视觉的简便追踪，就仅利用电子设备内现有的照相功能或摄像功能完成用户的视觉追踪，没有引入其他的结构，就有实现简便且实现成本低的特点。故在本实施例中还可以根据所述注视中心点，执行眼神示意交互操作。在本实施例中可包括：例如确认执行位于视觉中心点的控件对应的操作，例如，勾选某一个选项。

在与注视中心点相距预定距离的区域内显示了应用图标，电子设备可以执行启动该应用图标对应的应用的操作。

如图3所示，在显示单元上显示有对话框，通过本实施例所述的信息处理方法，确定出注视中心点位于控件“确定”至上，电子设备可在执行所述延伸示意交互操作时，可认为用户选中了控件“确定”，从而会执行删除文件A的操作。

总之，本实施例中通过注视中心点的确定，就实现了视觉追踪，从而可以是实现眼神示意交互操作。

实施例六：

如图4所示，本实施例提供一种电子设备，包括：

图像采集器110，用于采集包括用户眼睛的采集图像；

处理器120，用于解析所述采集图像，获取所述采集图像中角膜缘的第一边缘形状；利用所述第一边缘形状与第二边缘形状之间的差异，确定眼球中心相对于图像采集器的相对位置；所述第二边缘形状为所述图像采集单元正对着所述角膜缘采集形成的边缘形状；根据所述眼球中心与所述采集图像中瞳孔中心，确定所述用户眼睛的光轴；根据所述光轴与显示屏幕的交叉点，确定用户眼睛注视所述显示屏幕的注视点。

本实施例所述图像采集器110可为照相机或摄像机等各种可以采集图像的结构，在本实施例中可以进行图像采集。所述电子设备可为手机、平板电脑或笔记本电脑或可穿戴式设备等，这些设备通常都已经设置了有具有图像采集功能的照相功能和摄像功能，故可以简便的采集包括用户眼睛的采集图像。

在本实施例中所述处理器120可对应于各种具有信息处理功能的处理器或处理电路。所述处理器可包括中央处理器CPU、微处理器MCU、数字信号处理器DSP、可编程阵列PLC或应用处理器AP。所述处理电路可包括专用集成电路ASIC。

在本实施例中所述处理器或处理电路可通过预定代码的执行，通过解析采集图像，确定出用户在显示屏幕行的注视点。

这里的显示屏幕可对应于液晶显示屏、投影显示屏、电子墨水显示屏或有机发光二级管OLED显示屏等。

总之，本实施例提供了一种电子设备，可以简便在不引入外设的基础上，直接利用电子设备的图像采集器和处理器，简便完成用户的实现追踪。

实施例七：

如图4所示，本实施例提供一种电子设备，包括：

图像采集器110，用于采集包括用户眼睛的采集图像；

所述处理器120，具体用于利用所述用户眼睛在所述采集图像中巩膜和角膜之间的色差，提取角膜缘的N个位置；所述N为正整数；通过椭圆拟合，确定经过所述N个位置的第一椭圆；其中，所述第一椭圆即为第一边缘形状。

在本实施例中所述处理器，将从采集图像中提取N个位置，这里的N可为不小于2的整数，优选为N不小于3的整数。且至少3个位置位于所述瞳孔的一条直径的不同侧，可以简便的通过椭圆拟合，实现第一边缘形状的快速提取。

实施例八：

如图4所示，本实施例提供一种电子设备，包括：

图像采集器110，用于采集包括用户眼睛的采集图像；

所述第二边缘形状为第一正圆。

由于人的眼睛的特点，人的角膜缘若正对着图像采集器，则角膜缘绝大多数在采集图像中呈现为正圆。故在本实施例中可以采用与拟合出来的第一边缘形状相适配的第一正圆进行比对，再通过3D建模，简便的确定出所述用户的眼球中心相对于图像采集器的相对位置。故可以简便的解析出光轴，进而确定出用户眼睛的注视点，完成用户的视觉追踪。

本实施例可为前述任意设备实施例的进一步改进，在本实施例中所述第一边缘形状也可以是通过椭圆拟合形成的第一椭圆。

实施例九：

如图4所示，本实施例提供一种电子设备，包括：

图像采集器110，用于采集包括用户眼睛的采集图像；

所述处理器120，具体用于根据所述眼球中心与所述采集图像中瞳孔中心，确定左眼光轴和右眼光轴；根据所述左眼光轴与所述显示屏幕的第一交叉点，确定第一注视点；根据所述右眼光轴与所述显示屏幕的第二交叉点，确定第二注视点；根据所述第一注视点和所述第二注视点，确定用户双眼在所述显示屏幕上的注视中心点。

在本实施例中所述采集图像为采集了有用户双眼的采集图像，故所述处理器120可通过两个注视点的确定，获得用户双眼的注视中心点，从而简便的及精确的完成用户视觉追踪。

值得注意的是：本实施例中可为前述任意设备实施例的进一步改进，故在本实施例中所述处理器120也可以通过椭圆拟合，获得所述第一边缘形状；所述第二边缘形状也可以为第二正圆。

实施例十：

如图4所示，本实施例提供一种电子设备，包括：

图像采集器110，用于采集包括用户眼睛的采集图像；

在本实施例中，所述处理器120，还用于根据所述注视中心点，显示待显示信息和/或执行眼神示意交互操作。

在本实施例中所述处理器120，会根据注视中心点，显示待显示信息，这样就可以将需要用户关注的信息，显示最显眼的地方，可以避免用户满显示屏找信息导致的不方便，同时提升信息的有效传播率。由于实现了对用户的诗句追踪，故可以与用户进行延伸示意交互操作，从而解放用户双手，降低用户与电子设备的交互难度，提升交互效率。

以下结合上述任意实施例提供几个具体的示例：

示例一：

首先，使用哈尔特征级联分类器获取用户眼对的粗略感兴趣区,由于比较粗略，还需要结合应用巩膜区域(例如褐色环形区域)的形状搜索方法来获得眼睛中心的精确定位,从而得到精确的感兴趣区；这里的用户眼对为一个用户的两只眼睛。所述哈尔特征级联分类器

其次，检测角膜缘上的特征点；

再次，拟合特征点获得二维2D的角膜缘椭圆(即角膜缘在图像上的投影)；

然后，通过反向投射将2D角膜缘椭圆的眼球中心映射到三维3D的位置；进而获得眼睛的光轴。在本示例中将2D角膜椭圆可视为立体的球体的投影，故可以通过3D建模等方式，确定出眼球中心相对于图像采集器的相对位置。

接着，光轴与屏幕的交叉点是用户眼睛的注视点。

最后，通过两个注视点平均获得最终的注视点。这里的最终的注视点可为前述的注视中心点。

示例二：

本示例提供一种信息处理方法，包括眼定位、拟合角膜缘以及注视定位等三大步骤，

所述眼定位可包括：

粗略检测眼区域；例如，通过眼部形状的拟合，初步定位出眼睛的位置；

粗略定位感兴趣区；例如，粗略的定位出眼睛中比较感兴趣的区域，例如定位出眼珠的区域。

精确定位眼中心，例如，精确定位瞳孔、巩膜、虹膜等大致区域。

精确定位眼感兴趣区，例如，精确定位眼中瞳孔、巩膜、虹膜的精确位置等。

所述拟合角膜缘可包括：

检测角膜缘；

提取角膜缘特征点，例如，提取角膜缘的多个位置点；

拟合椭圆到角膜缘；

得到2D角膜缘椭圆。

所述注视定位可包括：

反向透射2D椭圆获得3D圆环；

获得3D角膜环；

推知平滑注视点；这里的平滑注视点可对应于前述的光轴。

确定屏幕注视点。这里的注视点可对应于前述注视中心点。最后利用注视中心点进行交互操作。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种信息处理方法，其特征在于，包括：

采集包括用户眼睛的采集图像；

2.根据权利要求1所述的方法，其特征在于，

所述解析所述采集图像，获取所述采集图像中角膜缘的第一边缘形状，包括：

3.根据权利要求1或2所述的方法，其特征在于，

所述第二边缘形状为第一正圆。

4.根据权利要求1或2所述的方法，其特征在于，

所述根据所述眼球中心与所述采集图像中瞳孔中心，确定所述用户眼睛的光轴，包括：

5.根据权利要求4所述的方法，其特征在于，

所述方法还包括：

6.一种电子设备，其特征在于，包括：

图像采集器，用于采集包括用户眼睛的采集图像；

7.根据权利要求6所述的电子设备，其特征在于，

所述处理器，具体用于利用所述用户眼睛在所述采集图像中巩膜和角膜之间的色差，提取角膜缘的N个位置；所述N为正整数；通过椭圆拟合，确定经过所述N个位置的第一椭圆；其中，所述第一椭圆即为第一边缘形状。

8.根据权利要求6或7所述的电子设备，其特征在于，

所述第二边缘形状为第一正圆。

9.根据权利要求6或7所述的电子设备，其特征在于，

所述处理器，具体用于根据所述眼球中心与所述采集图像中瞳孔中心，确定左眼光轴和右眼光轴；根据所述左眼光轴与所述显示屏幕的第一交叉点，确定第一注视点；根据所述右眼光轴与所述显示屏幕的第二交叉点，确定第二注视点；根据所述第一注视点和所述第二注视点，确定用户双眼在所述显示屏幕上的注视中心点。

10.根据权利要求9所述的电子设备，其特征在于，

所述处理器，还用于根据所述注视中心点，显示待显示信息和/或执行眼神示意交互操作。