CN107422844A - 一种信息处理方法及电子设备 - Google Patents

Abstract

本发明实施例提供一种信息处理方法及电子设备，用于解决在使用AR/VR设备时获取的眼球数据精度较低的技术问题。该方法包括：获取用户在视觉场景中的当前视觉信息；其中，当前视觉信息包括当前眼球位置及当前视觉显著性图，当前眼球位置用于指示用户在当前时刻所凝视的方位，当前视觉显著性图包括显著性信息，显著性信息用于指示当前视觉显著性图中被凝视的凝视点位置；根据当前视觉信息及在当前时刻之前获取的历史视觉信息，确定眼球位置与显著性信息之间的对应关系，该历史视觉信息包括历史眼球位置及相应的历史视觉显著性图，历史眼球位置信息与历史视觉显著性图；根据眼球位置与显著性信息的对应关系，确定当前眼球位置的眼球矫正位置。

Description

一种信息处理方法及电子设备

技术领域

本发明涉及电子技术领域，特别涉及一种信息处理方法及电子设备。

背景技术

随着科学技术的发展，增强现实技术(Augmented Reality，AR)和虚拟现实(Virtual Reality，VR)技术的应用已经从过去专业的工业应用快速推进到消费娱乐应用，相应的，其使用场景也由相对固定的场所，如设计室、实验室等扩散到日常生活的场所，如购物、游戏等等，移动的应用场景使得用户的体验也越来越丰富，其中，结合了眼球追踪技术的头戴式设备是一种适合AR/VR的移动应用场景的设备。

目前，头戴式电子设备在显示AR/VR过程中，其通过眼球追踪装置能能够对佩戴者的眼球和眼球周边的特征变化进行实时跟踪，从而预测用户的状态和需求，并进行响应，达到用眼睛控制设备的目的。然而，在实际应用中，在佩戴者佩戴头戴式电子设备的初期，设备会基于佩戴者的眼球对穿戴式电子设备的位置进行校准。但由于头戴式电子设备和佩戴者的佩戴部位(如头部)之间不是刚性连接，而需要通过固定索带或固定支架进行连接，因此，在佩戴者活动过程中，可能会导致眼球跟踪装置和初始校正位置有所变化，如发生物理触碰而改变相对位置，可能会导致对眼球的检测结果有误差。

综上可知，现有技术中在使用电子设备的AR/VR过程中存在获取的眼球追踪数据的误差较大、精度较低的技术问题。

发明内容

本发明实施例提供一种信息处理方法及电子设备，用于解决在使用AR/VR设备过程中出现的获取的眼球数据精度较低的技术问题。

第一方面，本发明实施例提供一种信息处理方法，包括以下步骤：

获取用户在视觉场景中的当前视觉信息；其中，所述当前视觉信息包括当前眼球位置及当前视觉显著性图，所述当前眼球位置用于指示所述用户在当前时刻所凝视的方位，所述当前视觉显著性图包括显著性信息，所述显著性信息用于指示所述当前视觉显著性图中被凝视的凝视点位置；

根据所述当前视觉信息及在当前时刻之前获取的历史视觉信息，确定眼球位置与显著性信息之间的对应关系；其中，所述历史视觉信息包括历史眼球位置及相应的历史视觉显著性图，所述历史眼球位置信息与所述历史视觉显著性图；

根据眼球位置与显著性信息的对应关系，确定所述当前眼球位置的眼球矫正位置，所述眼球矫正位置为与所述当前眼球位置相应的显著性信息所指示的凝视点位置确定的。

可选的，所述获取用户在当前视觉场景中的当前视觉信息，包括：

在当前时刻，获取所述用户的当前眼球位置，及通过图像采集装置获取当前视觉场景图像；其中，所述视觉场景图像用于指示所述用户当前所对应的视野图像；

计算所述当前视觉场景图像的视觉显著性图。

可选的，所述根据所述当前视觉信息及在当前时刻之前获取的历史视觉信息，确定眼球位置与显著性信息之间的对应关系，包括：

按照时间序列，将所述当前眼球位置与所述当前视觉显著性图，以及所述历史眼球位置与所述历史视觉显著性图在视觉坐标系中进行连续的映射，获得与用户相关的视觉显著图模型，所述视觉显著图模型指示了视觉显著性图与眼球位置的对应关系；

根据所述视觉显著图模型，确定所述眼球位置与显著性信息之间的对应关系。

可选的，所述根据所述视觉显著图模型，确定眼球位置与显著性信息之间的对应关系，包括：

将所述当前视觉信息中的当前眼球位置与所述历史视觉信息中的历史眼球位置进行聚类，获得至少一个眼球位置聚类集合，并确定所述至少一个眼球位置聚类集合中每个眼球位置聚类集合的平均眼球位置；

确定所述至少一个眼球位置聚类集合中每个聚类集的眼球位置所对应的视觉显著性图，并对确定的视觉显著性图包括的显著性信息进行聚类，确定平均视觉显著性图；其中，所述平均视觉显著性图指示了的显著性信息实际对应的凝视点的位置；

根据所述平均眼球位置及所述平均视觉显著性图，确定眼球位置与显著性信息的对应关系。

可选的，所述根据眼球位置与显著性信息的对应关系，确定所述当前眼球位置的眼球矫正位置，包括：

根据眼球位置与显著性信息的对应关系，确定所述当前眼球位置相应的第一显著性信息；

确定所述第一显著信息在所述平均视觉显著性图中对应的凝视点位置，确定所述凝视点位置为所述当前眼球位置的眼球矫正位置。

第二方面，本发明实施例提供一种电子设备，包括：

获取模块，用于获取用户在视觉场景中的当前视觉信息；其中，所述当前视觉信息包括当前眼球位置及当前视觉显著性图，所述当前眼球位置用于指示所述用户在当前时刻所凝视的方位，所述当前视觉显著性图包括显著性信息，所述显著性信息用于指示所述当前视觉显著性图中被凝视的凝视点位置；

第一确定模块，用于根据所述当前视觉信息及在当前时刻之前获取的历史视觉信息，确定眼球位置与显著性信息之间的对应关系；其中，所述历史视觉信息包括历史眼球位置及相应的历史视觉显著性图，所述历史眼球位置信息与所述历史视觉显著性图；

第二确定模块，用于根据眼球位置与显著性信息的对应关系，确定所述当前眼球位置的眼球矫正位置，所述眼球矫正位置为与所述当前眼球位置相应的显著性信息所指示的凝视点位置确定的。

可选的，所述获取模块用于：

在当前时刻，获取所述用户的当前眼球位置，及通过图像采集装置获取当前视觉场景图像；其中，所述视觉场景图像用于指示所述用户当前所对应的视野图像；

计算所述当前视觉场景图像的视觉显著性图。

可选的，所述第一确定模块用于：

按照时间序列，将所述当前眼球位置与所述当前视觉显著性图，以及所述历史眼球位置与所述历史视觉显著性图在视觉坐标系中进行连续的映射，获得与用户相关的视觉显著图模型，所述视觉显著图模型指示了视觉显著性图与眼球位置的对应关系；

根据所述视觉显著图模型，确定所述眼球位置与显著性信息之间的对应关系。

可选的，所述第一确定模块用于：

将所述当前视觉信息中的当前眼球位置与所述历史视觉信息中的历史眼球位置进行聚类，获得至少一个眼球位置聚类集合，并确定所述至少一个眼球位置聚类集合中每个眼球位置聚类集合的平均眼球位置；

确定所述至少一个眼球位置聚类集合中每个聚类集的眼球位置所对应的视觉显著性图，并对确定的视觉显著性图包括的显著性信息进行聚类，确定平均视觉显著性图；其中，所述平均视觉显著性图指示了的显著性信息实际对应的凝视点的位置；

根据所述平均眼球位置及所述平均视觉显著性图，确定眼球位置与显著性信息的对应关系。

可选的，所述第二确定模块用于：

根据眼球位置与显著性信息的对应关系，确定所述当前眼球位置相应的第一显著性信息；

确定所述第一显著信息在所述平均视觉显著性图中对应的凝视点位置，确定所述凝视点位置为所述当前眼球位置的眼球矫正位置。

本发明实施例中，通过获取用户在视觉场景中的包括当前眼球位置和当前视觉想显著性图的当前视觉信息，且当前眼球位置用于指示用户在当前时刻所凝视的方位，该当前视觉显著性图包括显著性信息，显著性信息用于指示当前视觉显著性图中被凝视的凝视点位置，进而，根据当前视觉信息及在当前时刻之前获取的历史视觉信息可以确定眼球位置与显著性信息之间的对应关系，由于显著性信息能够指示相应的凝视点位置，故根据对应关系可以确定当前眼球位置相应的眼球矫正位置，该眼球矫正位置可以是由当前眼球位置相应的显著性信息所指示的凝视点位置确定的，故在使用电子设备过程中，可以根据当前视觉信息以及历史视觉信息，能够实时分析眼球位置与显著性信息的对应关系，从而实现基于确定的关系实施对当前眼球位置进行矫正，提高使用电子设备获取眼球追踪数据的精准度。

附图说明

图1为本发明实施例中信息处理方法的流程示意图；

图2为本发明实施例中矫正眼球位置的应用场景示意图；

图3为本发明实施例中显著性信息所指示的凝视点位置的示意图；

图4为本发明实施例中矫正眼球位置的流程图；

图5为本发明实施例中电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中，电子设备可以是支持VR/AR的设备，其通常为头戴式设备，例如VR/AR眼镜、头盔或其它头戴式设备，本发明对此不作具体限制。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图对本发明优选的实施方式进行详细说明。

如图1所示，本发明实施例提供一种信息处理方法，应用电子设备，该方法的过程可以描述如下。

S11：获取用户在视觉场景中的当前视觉信息；其中，当前视觉信息包括当前眼球位置及当前视觉显著性图，当前眼球位置用于指示用户在当前时刻所凝视的方位，当前视觉显著性图包括显著性信息，显著性信息用于指示当前视觉显著性图中被凝视的凝视点位置；

S12：根据当前视觉信息及在当前时刻之前获取的历史视觉信息，确定眼球位置与显著性信息之间的对应关系；其中，历史视觉信息包括历史眼球位置及相应的历史视觉显著性图，历史眼球位置信息与历史视觉显著性图；

S13：根据眼球位置与显著性信息的对应关系，确定当前眼球位置的眼球矫正位置，眼球矫正位置为与当前眼球位置相应的显著性信息所指示的凝视点位置确定的。

本发明实施例中，用户所处的视觉场景可以是在用户使用电子设备过程中，通过电子设备所观察到的显示场景。例如，当电子设备为VR设备时，视觉场景可以是通过VR眼镜呈现的虚拟场景，或者，若电子设备为AR设备，视觉场景可以是通过AR设备观察到的显示场景，该显示场景即由用户所处的真实环境叠加相应的虚拟信息所形成的虚实结合的场景。

可选的，电子设备中可以设置有眼球追踪装置，眼球追踪装置可以是红外设备或图像采集装置(如摄像头)等，其利用眼球追踪技术可以在用户使用电子设备时，检测用户的眼部运动，例如通过图像捕捉或扫描提取眼球运动时的特征，从而实时追踪眼球位置的变化。

在实际应用中，若电子设备中设置有图像采集装置，则其还可以通过图像采集装置对当前的视觉场景进行采集，从而获得相应的当前视觉场景图。

本发明实施例中，当前视觉信息可以是用户在使用电子设备过程中，电子设备通过相应的装置在当前所采集的与用户及其所处视觉场景相关的信息，当前视觉信息包括的当前眼球位置和当前视觉显著图。

其中，当前眼球位置可以是电子设备通过眼球跟踪装置获取的信息，其能够表征用户在当前时刻所凝视的方位。例如，可将电子设备所呈现的场景内容看作为一个视觉坐标系，眼球位置的方位在坐标系中对应有相应的坐标位置，来表示用户在当前时刻所凝视的方位。通过眼球跟踪装置获取的用户眼睛凝视的方位(瞳孔位置)，在坐标系中可以通过水平像素坐标(x)以及垂直像素坐标(y)来表示相应的眼球位置，坐标系的原点可以是是用户直视前方时的眼球位置，或者，电子设备获取的眼球位置也可以是采集的眼电图的数据。

本发明实施例中，获得当前视觉信息的过程可以是：在当前时刻，通过眼球跟踪装置获取用户的当前眼球位置，及通过图像采集装置获取当前视觉场景图像，该视觉场景图像可以用于指示用户当前所对应的视野图像，进而可以计算获得当前视觉场景图像的视觉显著性图。

在实际应用中，在用户使用电子设备的过程中，在同一时刻，电子设备可以通过眼球跟踪装置获取用户的眼球位置信息，同时通过图像采集装置采集当前的视觉场景图像，获得相应的视觉场景图像。因此，可以认为眼球位置和视觉场景图像的采集时刻相同，例如采集时间均记录为11:00:02。那么，在实时采集过程中，多个眼球位置的时间序列，与多个视觉场景图像的时间序列相同。

在通过图像采集装置获得视觉场景图像后，电子设备可以对视觉场景图像进行分析，计算视觉场景图像对应的视觉显著性图，视觉显著性图包括的显著性信息即为与视觉场景图像中最显著的内容，也就是被凝视概率较高的区域。

在实际应用中，眼球跟踪装置和图像采集装置可以是相同的装置，例如摄像头，那么在获取视觉信息时，通过摄像头同时获取眼球位置和视觉场景图像即可，进而通过设备计算相应的视觉显著性图，计算确定的视觉显著性图与眼球位置具有相应的时间信息。

在获得当前视觉信息之后，可根据采集的当前视觉信息结合多个历史视觉信息共同进行分析，从而确定眼球位置与显著性信息之间的对应关系。历史视觉信息可以是电子设备在当前时刻之前采集的视觉信息。例如，当前时刻为14:12:10，则历史视觉信息可以是电子设备在当前时刻之前的时间段内，如14:12:00～14:12:09所采集获取的视觉信息。则在该段时间内获得的多个历史视觉信息之间具有相应的时间序列，该时间序列可以是与各视觉信息的采集时刻相关，视觉信息的采集时刻越早，相应的时间序列也就越靠前。每个历史视觉信息包括一组对应的历史眼球位置和历史视觉显著性图，该历史视觉显示性图为通过计算历史眼球位置相应的视觉场景图所确定的。

在S12中，电子设备可将当前眼球位置与当前视觉显著性图，以及历史眼球位置与历史视觉显著性图在视觉坐标系中进行连续映射，获得视觉显著图模型，该视觉显著图模型指示了视觉显著性图与眼球位置的对应关系，可以用于模拟构建自下而上的人类视觉注意力的感知机制，即指通过每个细节数据(视觉场景图)的统计，来构建不同的视觉显著性图的显著性信息对于获取的眼球位置和实际凝视点的关系，进而根据视觉显著图模型，可以确定眼球位置与显著性信息之间的对应关系。

在自然使用情况下，人眼凝视的模式，即眼球位置服从高斯正态分布，这样可以通过统计来克服凝视参数确定眼凝视点的误差，从而降低在使用电子设备过程中的精度漂移。

在视觉显著图模型中，在当前时刻及之前获取的多个眼球位置和多个视觉显著性图在视觉坐标系中具有相应的映射关系，构建不同的显著性信息对于眼球位置和凝视点的关系，是一种基于多个输入数据，然后获得统计规律后，确定最终正确的凝视点，克服误差的方法。

具体来说，电子设备可根据当前视觉信息中的当前眼球位置与历史视觉信息中的历史眼球位置的相似性进行聚类，获得至少一个眼球位置聚类集合，并确定每个眼球位置聚类集合的平均眼球位置。

进而确定至少一个眼球位置聚类集合中每个聚类集的眼球位置所对应的视觉显著性图，并对确定的视觉显著性图进行聚类，确定平均视觉显著性图。

也就是说，在针对视频帧来计算出来每个帧的视觉显著性图后，电子设备把视觉显著性图通过其对应的眼球位置的相似性进行聚类，得到一个数量较少的平均眼球位置的聚类集合以及其对应的平均视觉显著性图。本发明实施例中，所使用的聚类算法可以是小批量K均值聚类。

本发明实施例中，根据眼球位置的相似性，对视觉显著性图进行聚类来提高视觉显著性图预测视觉凝视点的可靠性。聚类的作用是提取有用的信息，通过聚类把每张视觉显著性图的显著性信息进行集总，通过其统计分布来提取主要的凝视点的信息，该凝视点位置即为平均显著性图中显著性最明显的位置，其最接近与用户实际凝视的位置。

在实际应用中，由于每个视觉显著性图都带有部分正确信息，也带有误差，每一个视觉显著性图都无法确认最终的凝视点，但是通过多个视觉显著性图的统计分布可以确定正确的凝视点位置。

进而，根据平均眼球位置及平均视觉显著性图，可以确定眼球位置与显著性信息的对应关系，该应关系的具体体现可以是2D概率图，该概率图可以指示各显著性信息对应于眼球位置的概率。也就是说，通过聚类操作可以确定聚类的位置信息及聚类的视觉显著性图之间的映射关系，通过主要成分的分析获得2D概率图。

确定当前眼球位置相应的第一显著性信息，进而确定第一显著信息在平均视觉显著性图中对应的凝视点位置，该凝视点位置可以是概率图中概率最大的凝视点，即最接近真实的凝视点，则可确定该凝视点位置为当前眼球位置的眼球矫正位置。

下面，将结合举例来说明本发明实施例的方案。

如图2所示，用户在使用穿戴式电子设备VR眼镜时，通过VR眼镜中的眼球跟踪装置获取人眼运动时的眼球位置，以及通过摄像头获取视觉场景图像，电子设备获取摄像头采集的视觉场景图像，VR眼镜通过计算得到相应的视觉显著性图，该视觉显著性图与眼球位置具有相同的时间序列。

进而将当前获得的眼球位置及视觉显著性图映射到包括多个历史眼球位置和历史视觉显著性图的视觉显著模型中，即将视觉信息中的眼球位置和视觉显著性图按照时间序列连续映射到视觉坐标系中。当然，在实际应用中，可以是将以当前时刻为终止时刻的一段时间内所采集的眼球位置数据进行分析，如图2所示，用于分析的眼球位置可以是在这段时间内所采集到的参数数据。在视觉显著模型中，对眼球位置(包括当前眼球位置以及历史眼球位置)和视觉显著性图(包括当前显著性图及历史视觉显著性图)进行聚类，进而生成2D概率图。该概率图可以用于表征视觉显著性图中显著性明显的凝视点，即映射过程中眼球位置聚集概率较高的位置的平均坐标位置。如图3所示，其为在2D概率图中确定的显著性信息所指示的凝视点的示意图，其中，显著性信息中颜色越深(凝视点越集中)表示概率越大。

进而，根据眼球位置与显著性信息的对应关系可以确定当前眼球位置对应的眼球矫正位置，即可以根据当前眼球位置所处的眼球位置聚类集合，进而根据该聚类集合的平均眼球位置与相应的平均显著性图确定当前眼球位置对应的显著性信息，并将该显著性信息所指示的凝视点确定为眼球矫正位置，如图3中的凝视点。

在实际应用中，在用户使用电子设备初期，还可以对电子设备进行初始矫正，其矫正过程可以与现有技术的矫正方式相同，例如电子设备显示相应的关注点，通过确定用户注视关注点的眼球位置与矫正点的实际位置的偏差，进而根据该偏差来对后续用户的眼球位置进行校正，或者也可以使用预设的矫正参数对用户的眼球位置进行矫正。但由于头戴式设备(设置有)眼跟踪装置)和人的头部之间不是刚性连接的，通常需要通过固定索带或固定支架来连接，这样在人活动过程中，头戴式设备可能会和初始校正位置有所松动和变化，此时可以采用本发明实施例所提供的信息处理方法对后续采集的眼球位置进行实时矫正，相应的过程图4所示，其中初始矫正用虚线表示，从而初始矫正和在使用电子设备过程中的实时矫正，有助于提高电子设备在眼球跟踪过程中的精准度。

本发明实施例中，通过将当前视觉信息和历史视觉信息中包括的眼球位置和视觉显著性图按照时间序列进行映射，并基于眼球位置的相似性对视觉显著性图进行聚类，从而确定眼球位置与显著性信息的对应关系，而显著性信息所指示的凝视点位置为平均视觉限制性图中显著性最明显(概率最高的)的凝视位置，进而确定当前眼球位置所属的范围较小的眼球位置聚类集合，以及眼球位置聚类集合相关联的平均视觉显著性图，根据平均视觉显著性图所表征的显著性信息所指示的凝视点位置，即可确定当前眼球位置的眼球矫正位置。

如图5所示，本发明实施例还提供一种电子设备，用于执行上述信息处理方法，该电子设备包括获取模块201、第一确定模块202和第二确定模块203。

获取模块201可以用于获取用户在视觉场景中的当前视觉信息；其中，所述当前视觉信息包括当前眼球位置及当前视觉显著性图，所述当前眼球位置用于指示所述用户在当前时刻所凝视的方位，所述当前视觉显著性图包括显著性信息，所述显著性信息用于指示所述当前视觉显著性图中被凝视的凝视点位置；

第一确定模块202可以用于根据所述当前视觉信息及在当前时刻之前获取的历史视觉信息，确定眼球位置与显著性信息之间的对应关系；其中，所述历史视觉信息包括历史眼球位置及相应的历史视觉显著性图，所述历史眼球位置信息与所述历史视觉显著性图；

第二确定模块203可以用于根据眼球位置与显著性信息的对应关系，确定所述当前眼球位置的眼球矫正位置，所述眼球矫正位置为与所述当前眼球位置相应的显著性信息所指示的凝视点位置确定的。

可选的，获取模块201用于：

在当前时刻，获取所述用户的当前眼球位置，及通过图像采集装置获取当前视觉场景图像；其中，所述视觉场景图像用于指示所述用户当前所对应的视野图像；

计算所述当前视觉场景图像的视觉显著性图。

可选的，所述第一确定模块202可以用于：

按照时间序列，将所述当前眼球位置与所述当前视觉显著性图，以及所述历史眼球位置与所述历史视觉显著性图在视觉坐标系中进行连续的映射，获得与用户相关的视觉显著图模型，所述视觉显著图模型指示了视觉显著性图与眼球位置的对应关系；

根据所述视觉显著图模型，确定所述眼球位置与显著性信息之间的对应关系。

可选的，所述第一确定模块202可以用于：

将所述当前视觉信息中的当前眼球位置与所述历史视觉信息中的历史眼球位置进行聚类，获得至少一个眼球位置聚类集合，并确定所述至少一个眼球位置聚类集合中每个眼球位置聚类集合的平均眼球位置；

确定所述至少一个眼球位置聚类集合中每个聚类集的眼球位置所对应的视觉显著性图，并对确定的视觉显著性图包括的显著性信息进行聚类，确定平均视觉显著性图；其中，所述平均视觉显著性图指示了的显著性信息实际对应的凝视点的位置；

根据所述平均眼球位置及所述平均视觉显著性图，确定眼球位置与显著性信息的对应关系。

可选的，所述第二确定模块203可以用于：

根据眼球位置与显著性信息的对应关系，确定所述当前眼球位置相应的第一显著性信息；

确定所述第一显著信息在所述平均视觉显著性图中对应的凝视点位置，确定所述凝视点位置为所述当前眼球位置的眼球矫正位置。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

具体来讲，本发明实施例实施例中的信息处理方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与信息处理方法对应的计算机程序指令被一电子设备读取或被执行时，包括如下步骤：

获取用户在视觉场景中的当前视觉信息；其中，所述当前视觉信息包括当前眼球位置及当前视觉显著性图，所述当前眼球位置用于指示所述用户在当前时刻所凝视的方位，所述当前视觉显著性图包括显著性信息，所述显著性信息用于指示所述当前视觉显著性图中被凝视的凝视点位置；

根据所述当前视觉信息及在当前时刻之前获取的历史视觉信息，确定眼球位置与显著性信息之间的对应关系；其中，所述历史视觉信息包括历史眼球位置及相应的历史视觉显著性图，所述历史眼球位置信息与所述历史视觉显著性图；

根据眼球位置与显著性信息的对应关系，确定所述当前眼球位置的眼球矫正位置，所述眼球矫正位置为与所述当前眼球位置相应的显著性信息所指示的凝视点位置确定的。

可选的，这些计算机指令在与步骤：获取用户在当前视觉场景中的当前视觉信息对应的指令在被执行时包括如下步骤：

在当前时刻，获取所述用户的当前眼球位置，及通过图像采集装置获取当前视觉场景图像；其中，所述视觉场景图像用于指示所述用户当前所对应的视野图像；

计算所述当前视觉场景图像的视觉显著性图。

可选的，这些计算机指令在与步骤：根据所述当前视觉信息及在当前时刻之前获取的历史视觉信息，确定眼球位置与显著性信息之间的对应关系，对应的指令在被执行时包括如下步骤：

按照时间序列，将所述当前眼球位置与所述当前视觉显著性图，以及所述历史眼球位置与所述历史视觉显著性图在视觉坐标系中进行连续的映射，获得与用户相关的视觉显著图模型，所述视觉显著图模型指示了视觉显著性图与眼球位置的对应关系；

根据所述视觉显著图模型，确定所述眼球位置与显著性信息之间的对应关系。

可选的，这些计算机指令在与步骤：根据所述视觉显著图模型，确定眼球位置与显著性信息之间的对应关系对应的指令在被执行时包括如下步骤：

将所述当前视觉信息中的当前眼球位置与所述历史视觉信息中的历史眼球位置进行聚类，获得至少一个眼球位置聚类集合，并确定所述至少一个眼球位置聚类集合中每个眼球位置聚类集合的平均眼球位置；

确定所述至少一个眼球位置聚类集合中每个聚类集的眼球位置所对应的视觉显著性图，并对确定的视觉显著性图包括的显著性信息进行聚类，确定平均视觉显著性图；其中，所述平均视觉显著性图指示了的显著性信息实际对应的凝视点的位置；

根据所述平均眼球位置及所述平均视觉显著性图，确定眼球位置与显著性信息的对应关系。

可选的，这些计算机指令在与步骤：根据眼球位置与显著性信息的对应关系，确定所述当前眼球位置的眼球矫正位置对应的指令在被执行时包括如下步骤：

根据眼球位置与显著性信息的对应关系，确定所述当前眼球位置相应的第一显著性信息；

确定所述第一显著信息在所述平均视觉显著性图中对应的凝视点位置，确定所述凝视点位置为所述当前眼球位置的眼球矫正位置。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明实施例也意图包含这些改动和变型在内。

Claims (10)

1.一种信息处理方法，包括：

获取用户在视觉场景中的当前视觉信息；其中，所述当前视觉信息包括当前眼球位置及当前视觉显著性图，所述当前眼球位置用于指示所述用户在当前时刻所凝视的方位，所述当前视觉显著性图包括显著性信息，所述显著性信息用于指示所述当前视觉显著性图中被凝视的凝视点位置；

根据所述当前视觉信息及在当前时刻之前获取的历史视觉信息，确定眼球位置与显著性信息之间的对应关系；其中，所述历史视觉信息包括历史眼球位置及相应的历史视觉显著性图，所述历史眼球位置信息与所述历史视觉显著性图；

根据眼球位置与显著性信息的对应关系，确定所述当前眼球位置的眼球矫正位置，所述眼球矫正位置为与所述当前眼球位置相应的显著性信息所指示的凝视点位置确定的。

2.如权利要求1所述的方法，其特征在于，所述获取用户在当前视觉场景中的当前视觉信息，包括：

在当前时刻，获取所述用户的当前眼球位置，及通过图像采集装置获取当前视觉场景图像；其中，所述视觉场景图像用于指示所述用户当前所对应的视野图像；

计算所述当前视觉场景图像的视觉显著性图。

3.如权利要求1所述的方法，其特征在于，所述根据所述当前视觉信息及在当前时刻之前获取的历史视觉信息，确定眼球位置与显著性信息之间的对应关系，包括：

按照时间序列，将所述当前眼球位置与所述当前视觉显著性图，以及所述历史眼球位置与所述历史视觉显著性图在视觉坐标系中进行连续的映射，获得与用户相关的视觉显著图模型，所述视觉显著图模型指示了视觉显著性图与眼球位置的对应关系；

根据所述视觉显著图模型，确定所述眼球位置与显著性信息之间的对应关系。

4.如权利要求3所述的方法，其特征在于，所述根据所述视觉显著图模型，确定眼球位置与显著性信息之间的对应关系，包括：

将所述当前视觉信息中的当前眼球位置与所述历史视觉信息中的历史眼球位置进行聚类，获得至少一个眼球位置聚类集合，并确定所述至少一个眼球位置聚类集合中每个眼球位置聚类集合的平均眼球位置；

确定所述至少一个眼球位置聚类集合中每个聚类集的眼球位置所对应的视觉显著性图，并对确定的视觉显著性图包括的显著性信息进行聚类，确定平均视觉显著性图；其中，所述平均视觉显著性图指示了的显著性信息实际对应的凝视点的位置；

根据所述平均眼球位置及所述平均视觉显著性图，确定眼球位置与显著性信息的对应关系。

5.如权利要求4所述的方法，其特征在于，所述根据眼球位置与显著性信息的对应关系，确定所述当前眼球位置的眼球矫正位置，包括：

根据眼球位置与显著性信息的对应关系，确定所述当前眼球位置相应的第一显著性信息；

确定所述第一显著信息在所述平均视觉显著性图中对应的凝视点位置，确定所述凝视点位置为所述当前眼球位置的眼球矫正位置。

6.一种电子设备，包括：

获取模块，用于获取用户在视觉场景中的当前视觉信息；其中，所述当前视觉信息包括当前眼球位置及当前视觉显著性图，所述当前眼球位置用于指示所述用户在当前时刻所凝视的方位，所述当前视觉显著性图包括显著性信息，所述显著性信息用于指示所述当前视觉显著性图中被凝视的凝视点位置；

第一确定模块，用于根据所述当前视觉信息及在当前时刻之前获取的历史视觉信息，确定眼球位置与显著性信息之间的对应关系；其中，所述历史视觉信息包括历史眼球位置及相应的历史视觉显著性图，所述历史眼球位置信息与所述历史视觉显著性图；

第二确定模块，用于根据眼球位置与显著性信息的对应关系，确定所述当前眼球位置的眼球矫正位置，所述眼球矫正位置为与所述当前眼球位置相应的显著性信息所指示的凝视点位置确定的。

7.如权利要求6所述的电子设备，其特征在于，所述获取模块用于：

在当前时刻，获取所述用户的当前眼球位置，及通过图像采集装置获取当前视觉场景图像；其中，所述视觉场景图像用于指示所述用户当前所对应的视野图像；

计算所述当前视觉场景图像的视觉显著性图。

8.如权利要求6所述的电子设备，其特征在于，所述第一确定模块用于：

按照时间序列，将所述当前眼球位置与所述当前视觉显著性图，以及所述历史眼球位置与所述历史视觉显著性图在视觉坐标系中进行连续的映射，获得与用户相关的视觉显著图模型，所述视觉显著图模型指示了视觉显著性图与眼球位置的对应关系；

根据所述视觉显著图模型，确定所述眼球位置与显著性信息之间的对应关系。

9.如权利要求8所述的电子设备，其特征在于，所述第一确定模块用于：

将所述当前视觉信息中的当前眼球位置与所述历史视觉信息中的历史眼球位置进行聚类，获得至少一个眼球位置聚类集合，并确定所述至少一个眼球位置聚类集合中每个眼球位置聚类集合的平均眼球位置；

确定所述至少一个眼球位置聚类集合中每个聚类集的眼球位置所对应的视觉显著性图，并对确定的视觉显著性图包括的显著性信息进行聚类，确定平均视觉显著性图；其中，所述平均视觉显著性图指示了的显著性信息实际对应的凝视点的位置；

根据所述平均眼球位置及所述平均视觉显著性图，确定眼球位置与显著性信息的对应关系。

10.如权利要求9所述的电子设备，其特征在于，所述第二确定模块用于：

根据眼球位置与显著性信息的对应关系，确定所述当前眼球位置相应的第一显著性信息；

确定所述第一显著信息在所述平均视觉显著性图中对应的凝视点位置，确定所述凝视点位置为所述当前眼球位置的眼球矫正位置。