CN109871127A

CN109871127A - 基于人机交互的显示设备及显示信息处理方法

Info

Publication number: CN109871127A
Application number: CN201910118328.6A
Authority: CN
Inventors: 唐如稳; 潘洋; 吴佳尉; 梅文娟; 白雪; 张扬
Original assignee: BOE Technology Group Co Ltd; Hefei BOE Optoelectronics Technology Co Ltd
Current assignee: BOE Technology Group Co Ltd; Hefei BOE Optoelectronics Technology Co Ltd
Priority date: 2019-02-15
Filing date: 2019-02-15
Publication date: 2019-06-11

Abstract

本公开提供了一种基于人机交互的显示设备及显示信息处理方法，其中，该显示设备上提供显示内容供用户观看，该显示设备包括：眼动检测装置，其配置为获取所述用户的眼动信息；生物电检测装置，其配置为获取与所述用户的疲劳状态相关联的生物电信息；处理器，其配置为：基于用户的眼动信息结合所述生物电信息确定用户对所述显示内容的观看状态，并且在观看状态不正常的情况下，进行与所述观看状态相应的提醒处理。本公开实施例的显示装置能够对用户的观看状态进行实时监控，在用户出现观看状态不正常的情况下，进行与观看状态相应的提醒处理，以便于用户适时调整观看状态或重现显示内容，从而达到更好的观看效果。

Description

基于人机交互的显示设备及显示信息处理方法

技术领域

本公开涉及人机交互技术领域，具体而言，涉及一种基于人机交互的显示设备及显示信息处理方法。

背景技术

随着科技的进步和发展，利用例如智能手机、平板电脑、笔记本电脑、智能电视、投影仪等电子设备进行影像观看越来越方便，但提供便利的同时，也产生了新的问题。在疲劳状态、走神状态及其他非正常观影状态时，用户很容易错过观看内容，进而造成观看内容的缺失，有时甚至会错过重要观看内容。错过观看内容后，如果用户想重新观看错过的观看内容，只能通过回看或快退的方式实现，由于记忆模糊，很难准确找到错过的观看内容，为保证观看内容的完整性只能扩大回看的观看内容的范围，浪费用户时间，影响用户的观看体验。

发明内容

鉴于现有技术存在的上述问题，本公开的目的在于提供一种基于人机交互的显示设备及显示信息处理方法。

根据本公开的第一方案，提供了一种基于人机交互的显示设备，所述显示设备上提供显示内容供用户观看，所述显示设备包括：

眼动检测装置，其配置为获取所述用户的眼动信息；

生物电检测装置，其配置为获取与所述用户的疲劳状态相关联的生物电信息；

处理器，其配置为：基于用户的眼动信息结合所述生物电信息确定用户对所述显示内容的观看状态，并且在观看状态不正常的情况下，进行与所述观看状态相应的提醒处理。

在一些实施例中，所述生物电检测装置为脑电检测装置，且所述用户的疲劳状态为所述用户的脑疲劳状态。

在一些实施例中，进行与所述观看状态相应的提醒处理包括：

通过听觉和/或视觉信号提醒所述用户；以及

确定不正常观看状态的开始时间，并据此对显示内容进行标记处理。

在一些实施例中，据此对显示内容进行标记处理包括：在作为显示内容的影像文件中标记不正常观看状态的开始时间以及所述影像文件的对应播放位置。

在一些实施例中，所述处理器包括第一微型处理单元、第二微型处理单元和第三微型处理单元；

所述眼动检测装置包括：眼动追踪构件，其配置为追踪用户的眼动状态；所述第一微型处理单元，其配置为对用户的眼动状态进行分析以得到用户的视线和眼疲劳相关信息；第一通信接口，其配置为发射所述用户的视线和眼疲劳相关信息；

所述生物电检测装置包括：脑电检测构件，其配置为检测用户的脑电波；所述第二微型处理单元，其配置为对用户的脑电波进行分析以得到用户的脑疲劳相关信息；第二通信接口，其配置为发射所述用户的脑疲劳相关信息；以及

所述显示设备还包括第三通信接口，其配置为接收所述用户的视线和眼疲劳相关信息以及所述用户的脑疲劳相关信息，所述第三微型处理单元配置为基于所述用户的视线和眼疲劳相关信息结合所述用户的脑疲劳相关信息确定用户对显示内容的观看状态，并且在观看状态不正常的情况下，进行与所述观看状态相应的提醒处理。

在一些实施例中，所述用户的视线和眼疲劳相关信息包括：

视线相对于显示设备的显示器的偏离度及其持续时间；以及

单位时间眨眼次数、闭眼时间和观看时间，所述观看时间为从用户的视线相对于显示器的偏离度低于第一阈值的状态的持续时间。

在一些实施例中，所述第三微型处理单元被配置为执行如下步骤：

在用户的视线相对于显示器的偏离度超过第一阈值的状态持续达到第一预设时间且单位时间眨眼次数小于第二阈值而闭眼时间小于第二预设时间的情况下，确定用户对显示内容的观看状态为视线偏离状态，并通过声音提醒用户纠正视线；

在用户的单位时间眨眼次数超过第二阈值且闭眼时间大于所述第二预设时间低于第三预设时间的情况下，和/或在用户的观看时间超过第四预设时间的情况下，确定用户处于眼疲劳状态，

在用户处于眼疲劳状态而脑疲劳相关信息指示用户未处于脑疲劳状态的情况下，通过声音和/或闪烁提醒用户眼睛需要休息，

而在用户处于眼疲劳状态且脑疲劳相关信息指示用户处于脑疲劳状态的情况下，通过亮度和/或闪烁提醒用户需要休息；

在用户的闭眼时间超过所述第三预设时间且脑疲劳相关信息指示用户处于瞌睡状态的情况下，调低亮度，并在完成对显示内容的标记处理后将显示设备自动关机。

在一些实施例中，所述第一阈值、第二阈值、第一预设时间、第二预设时间、第三预设时间、第四预设时间与所述用户的属性相关联地预先建立，所述属性包括年龄、性别、职业、工作时段以及眼部健康状况中的至少一种。

根据本公开的第二方案，提供了一种基于人机交互的显示信息处理方法，应用于提供显示内容供用户观看的显示设备，其特征在于，包括：

获取用户的眼动信息；

获取与用户的疲劳状态相关联的生物电信息；

基于用户的所述眼动信息结合所述生物电信息确定用户对所述显示内容的观看状态，并且在观看状态不正常的情况下，进行与所述观看状态相应的提醒处理。

在一些实施例中，所述获取与用户的疲劳状态相关联的生物电信息具体为：

获取与所述用户的脑疲劳状态相关联的脑电波信息。

应当理解，前面的一般描述和以下详细描述都仅是示例性和说明性的，而不是用于限制本公开。

本节提供本公开中描述的技术的各种实现或示例的概述，并不是所公开技术的全部范围或所有特征的全面公开。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1为本公开实施例涉及的基于人机交互的显示设备的第一种实施例的结构框图；

图2为本公开实施例涉及的基于人机交互的显示设备的第二种实施例的结构框图；

图3为本公开实施例涉及的基于人机交互的显示设备的第三种实施例的结构示意图；

图4为本公开实施例涉及的基于人机交互的显示设备的第三种实施例中生物电检测装置的结构示意图；

图5为本公开实施例涉及的基于人机交互的显示信息处理方法的流程图；

图6为本公开实施例涉及的基于人机交互的显示信息处理方法的一种具体实施方式的流程图。

附图标记：

10-眼动检测装置；11-眼动追踪构件；12-第一微型处理单元；13-第一通信接口；14-摄像头；20-生物电检测装置；21-脑电检测构件；22-第二微型处理单元；23-第二通信接口；24-佩戴体；25-脑电信号传感器；26-接触面；27-电池；30-处理器；31-第三通信接口；32-第三微型处理单元；40-提醒装置；41-第四微型处理单元；42-提醒构件；50-存储装置；51-第五微型处理单元；52-存储器。

具体实施方式

为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

为了保持本公开实施例的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。

图1为本公开实施例的基于人机交互的显示设备的第一种实施例的结构框图，参见图1所示，本公开实施例的显示设备上提供显示内容供用户观看，该显示内容的形式有多种，此处不做具体限定。该显示设备包括：眼动检测装置10、生物电检测装置20及处理器30，其中，眼动检测装置10配置为获取用户的眼动信息；生物电检测装置20配置为获取与用户的疲劳状态相关联的生物电信息；处理器30配置为基于用户的眼动信息结合生物电信息确定用户对显示内容的观看状态，并且在观看状态不正常的情况下，进行与观看状态相应的提醒处理。

采用上述结构的显示设备，眼动信息和生物电信息是人体系统对显示内容的最直接、最原始、最基本的生物反应信息，通过眼动检测装置10和生物电检测装置20实时获取用户的眼动信息和生物电信息，并通过处理器30基于用户的眼动信息和生物电信息确定用户对显示内容的观看状态，以对用户的观看状态进行实时监控，在用户出现观看状态不正常的情况下，进行与观看状态相应的提醒处理，以便于用户适时调整观看状态或重现显示内容，从而达到更好的观看效果，省去了用户自主反馈动作，能够最大程度上保证人机交互、人工智能的有效状态，防止失效。

在一些实施例中，生物电检测装置20可为脑电检测装置，且用户的疲劳状态可为用户的脑疲劳状态。脑电波是人大脑发出的电波，非常的微弱，只能通过设备来检测。人的脑部处于不同状态时会发出不同的脑电波，脑电波分四个频段，即δ脑电波(1～3Hz)、θ脑电波(4～7Hz)、α脑电波(8～13Hz)及β脑电波(14～30Hz)，人脑的活跃程度直接与脑电波的频率相关，频率越高代表着大脑越活跃。当人处于完全放松的精神状态时，或是在心神专注的时候出现α脑电波；当人在一种通常的，日常的情形状态时，会出现β脑电波；当人处于睡眠的初期阶段时，会出现θ脑电波；当人处于深度睡眠或季度疲劳阶段时，会出现δ脑电波。脑电波的电信号通常并不是单纯出现的，而是错综复杂的，人的每一种状况都会存在不同频段的脑电波，主要根据脑电波处于哪个频段来确定人脑的活跃程度。所以，通过脑电检测装置检测用户的脑电波，并通过特定算法的计算即可获取到脑疲劳状态。需要说明的是，该生物电信息也可为与用户疲劳状态相关的心电信息或其他生物电信息，该生物电检测装置20可为心电检测装置或其他类型的生物电检测装置20。

在一些实施例中，处理器30所进行的与观看状态相应的提醒处理可包括：通过听觉和/或视觉信号提醒用户，例如，可通过警示音、蜂鸣、闪烁的灯光或调整屏幕亮度的方式提醒用户调整观看状态或休息。该提醒处理还可包括：确定不正常观看状态的开始时间，并据此对显示内容进行标记处理。该标记处理可以是在作为显示内容的影像文件中标记不正常观看状态的起止时间，也可以是在影像文件的上标记不正常状态的起止时间对应的播放位置，例如基于起止时间在影像文件上形成标记点，或者也可以是基于起止时间对显示内容进行缓存处理。从而使用户因观看状态不正常而错过显示内容后，可以通过起止时间来回看错过的显示内容，或通过点击标记点来回看错过的显示内容，还或者可通过观看缓存内容来回看错过的显示内容。

图2为本公开实施例的基于人机交互的显示设备的第二种实施例的结构框图，参见图2所示，本公开实施例的显示设备包括：眼动检测装置10、生物电检测装置20及处理器30。其中，处理器30包括第一微型处理单元12、第二微型处理单元22和第三微型处理单元32，微型处理单元可为例如单片机(MCU)、数字信号处理(DSP)芯片、片上系统等。

眼动检测装置10包括：眼动追踪构件11、第一微型处理单元12及第一通信接口13，眼动追踪构件11配置为追踪用户的眼动状态，该眼动追踪构件11可为例如摄像头14，该第一微型处理单元12配置为对用户的眼动状态进行分析以得到用户的视线和眼疲劳相关信息，第一通信接口13配置为发射用户的视线和眼疲劳相关信息。

生物电检测装置20包括：脑电检测构件21、第二微型处理单元22及第二通信接口23，脑电检测构件21配置为检测用户的脑电波；第二微型处理单元22配置为对用户的脑电波进行分析以得到用户的脑疲劳相关信息，例如对脑电波进行去噪、滤波或模数转换处理等，该脑疲劳相关信息可为δ脑电波、θ脑电波、α脑电波及β脑电波的波形信息，也可为基于δ脑电波、θ脑电波、α脑电波及β脑电波的波形信息获得的能够表征用户的脑疲劳程度的相关信息；第二通信接口23配置为发射用户的脑疲劳相关信息。

显示设备还包括第三通信接口31，该第三通信接口31配置为接收用户的视线和眼疲劳相关信息以及用户的脑疲劳相关信息，即第三通信接口31通过与第一通信接口13和第二通信接口23通信，接收第一通信接口13发送的用户的视线和眼疲劳相关信息，接收第二通信接口23发送的用户的脑疲劳相关信息。该第一通信接口13、第二通信接口23、第三通信接口31可为例如ZigBee通信接口、蓝牙通信接口、WIFI通信接口、红外通信接口等无线通信接口，也可为有线通信接口。本公开实施例中采用的是ZigBee无线通信接口。第三微型处理单元32配置为基于用户的视线和眼疲劳相关信息结合用户的脑疲劳相关信息确定用户对显示内容的观看状态，并且在观看状态不正常的情况下，进行与观看状态相应的提醒处理。

继续参见图2，在一些实施例中，该显示装置还可包括：提醒装置和存储装置50，其中，提醒装置40包括第四微型处理单元41和提醒构件42，第四微型处理单元41用于接收第三微型处理单元32发送的提醒处理信号，并基于该提醒处理信号控制提醒构件42利用声音、亮度、闪烁等方式提醒用户。该存储装置50包括第五微型处理单元51和存储器52，第五微型处理单元51接收第三微型处理单元32的发送的提醒处理信号，并基于该提醒处理信号控制存储器52对用户处于不正常观看状态的起止时间相对应的显示内容进行缓存处理。

在一些实施例中，用户的视线和眼疲劳相关信息可包括：视线相对于显示设备的显示器的偏离度及其持续时间；其中，视线相对于显示设备的显示器的偏离度可为视线相对显示设备的显示器的偏离角度，可以表征用户的视线方向，当用户的视线偏离显示器特定角度即表示用户处于未观看显示设备状态，该持续时间用于表征用户视线偏离显示器的持续时间。用户的视线和眼疲劳相关信息还可包括：单位时间眨眼次数、闭眼时间和观看时间，该观看时间为从用户的视线相对于显示器的偏离度低于第一阈值的状态的持续时间。在人体出现眼疲劳时，单位时间眨眼次数和闭眼时间均趋于增加，所以单位时间眨眼次数和闭眼时间均能够表征用户的眼疲劳状态。该第一阈值用于表征用户视线偏离至可认为用户未观看显示器的临界值，该第一阈值可为视线偏离角度阈值，该视线偏离角度阈值可为视线偏离显示设备中心的角度，也可为视线偏离显示设备边缘的角度。用户的视线相对于显示器的偏离度低于第一阈值即表示用户处在观看显示器的显示内容的状态。此外，基于统计学原理，统计不同人群持续观看显示内容至出现眼疲劳的时间，通过将用户的观看时间与统计数据对比也可用于确定用户是否处于眼疲劳状态。

在一些实施例中，该第三微型处理单元32被配置为执行如下步骤：

在用户的视线相对于显示器的偏离度超过第一阈值的状态持续达到第一预设时间且单位时间眨眼次数小于第二阈值而闭眼时间小于第二预设时间的情况下，确定用户对显示内容的观看状态为视线偏离状态，并通过声音提醒用户纠正视线。其中，该第二阈值用于表征用户单位时间眨眼次数增加至可认为用户处于眼疲劳状态的临界值。该第二预设时间用于表征用户闭眼时间增加至可认为处于眼疲劳状态的临界值。偏离度超过第一阈值的状态持续达到第一预设时间且单位时间眨眼次数小于第二阈值而闭眼时间小于第二预设时间，即表示用户视线偏离显示器且用户未处于眼疲劳状态，则确定用户对显示内容的观看状态为视线偏离状态，可通过例如声音提醒用户，以便用户纠正视线，从而避免用户错过观看内容。

在用户的单位时间眨眼次数超过第二阈值且闭眼时间大于第二预设时间低于第三预设时间的情况下，和/或在用户的观看时间超过第四预设时间的情况下，确定用户处于眼疲劳状态。其中，第三预设时间用于表征用户的闭眼时间增加至可认为处于瞌睡状态的临界值，第四预设时间用于表征用户的观看时间增加至可认为处于眼疲劳状态的临界值。即可从两个方便判断用户是否处于眼疲劳状态，一方面可基于单位时间眨眼次数和闭眼时间判断，另一方面可基于用户的持续观看时间判断。

在用户处于眼疲劳状态而脑疲劳相关信息指示用户未处于脑疲劳状态的情况下，通过声音和/或闪烁提醒用户眼睛需要休息；而在用户处于眼疲劳状态且脑疲劳相关信息指示用户处于脑疲劳状态的情况下，通过亮度和/或闪烁提醒用户(眼睛和大脑都)需要休息。在用户的闭眼时间超过第三预设时间且脑疲劳相关信息指示用户处于瞌睡状态的情况下，调低亮度，并在完成对显示内容的标记处理后将显示设备自动关机。也就是将用户的疲劳程度分为三个等级，在第一等级，用户处于眼疲劳状态而未处于脑疲劳状态，提醒用户眼睛需要休息，在第二等级，用户处于眼疲劳状态和脑疲劳状态，但未处于瞌睡状态，提醒用户需要休息，在第三等级，用户处于瞌睡状态，标记显示内容并将显示设备自动关机，这样，随着疲劳程度的提高，采用渐进式的提醒方式，以便于用户在未瞌睡时能够注意提醒，在瞌睡时能够避免被打扰到。当然，在用户的疲劳程度处于第一等级和第二等级时，也可对显示内容进行标记，例如，记录用户处于疲劳状态的起止时间，或基于用户处于疲劳状态的起止时间在显示内容上形成标记，或对用户处于疲劳状态时的显示内容进行缓存处理。

在一些实施例中，可以采集不同年龄、不同职业、不同工作时间段以及不同眼部健康状况的人群的在观看显示内容时的单位时间内眨眼次数、闭眼时间、观看时间及与前述信息相对应的观看状态(视线偏离、眼疲劳、脑疲劳等)，并以数据条目的形式预先存储在数据库中。例如，可以在数据库中检索与当前用户的属性(可包括年龄、性别、职业、工作时段以及眼部健康状况中的至少一种)接近的数据条目，并从中获取相应人群的与当前用户的测得的单位时间内眨眼次数、闭眼时间、观看时间接近的数据条目，并使用所获取的数据条目中与前述信息相对应的观看状态作为当前用户的观看状态。

在一些实施例中，该第一阈值、第二阈值、第一预设时间、第二预设时间、第三预设时间、第四预设时间与用户的属性相关联地预先建立，其中属性可包括年龄、性别、职业、工作时段以及眼部健康状况中的至少一种。例如，可采集不同年龄、不同职业、不同工作时间段以及不同眼部健康状况的人群的在观看显示内容时的单位时间内眨眼次数、闭眼时间、观看时间及与前述信息相对应的观看状态，然后基于例如数学建模、机器学习等方式获得不同年龄、不同职业、不同工作时间段及不同眼部健康状况的人群的第一阈值、第二阈值、第一预设时间、第二预设时间、第三预设时间及第四预设时间。这样，使上述阈值和预设时间更加具有针对性，能够更加准确的表征用户的观看状态。

图3为本公开实施例的基于人机交互的显示设备的第三种实施例的结构示意图，参见图3所示，本公开实施例中显示设备为智能电视，但该显示设备不仅限于智能电视，也可为智能手机、平板电脑、笔记本电脑、会议机或其他具有显示功能的电子设备。该智能电视包括：眼动检测装置10、生物电检测装置20、处理器30、提醒模块及存储装置50。

其中，该眼动检测装置10配置为获取用户的眼动信息。该眼动检测装置10可包括设置在智能电视顶部的摄像头14，该摄像头14能够采集智能电视前方特定视角范围内的图像信息，当用户作为智能电视前方观看电视时，摄像头14通过连续采集用户的眼部图像，并基于采集的眼部图像即可获取到用户的眼动信息。进一步，该眼动检测装置10可包括多个摄像头14，例如，本公开实施例中沿智能电视的顶部长度方向间隔设置了三个摄像头14，这样，三个摄像头14可以从不同角度获取一个或多个用户的眼动信息。

参见图4所示，该生物电检测装置20为脑电检测装置，该脑电检测装置可包括：佩戴体24、脑电信号传感器25、第二微型处理单元22、第二通信接口23及电池27，其中，佩戴体24上具有用于与用户头部接触的接触面26，脑电信号传感器25设置在该接触面26上，以便在佩戴体24佩戴在用户的头部时该脑电信号传感器25能够与用户的头部接触并采集脑电波，第二微型处理单元22分别与脑电信号传感器25和第二通信接口23连接，用于对用户的脑电波进行分析以得到用户的脑疲劳相关信息，并通过第二通信接口23发送用户的脑疲劳相关信息。电池27分别与脑电信号传感器25、第二微型处理单元22及第二通信接口23连接以为其供电。

处理器30配置为基于用户的眼动信息结合用户的脑疲劳相关信息确定用户对显示内容的观看状态，并且在观看状态不正常的情况下，通过提醒模块提醒用户对调整观看状态，该提醒模块可为例如扬声器、蜂鸣器、闪光灯、屏幕的背景光源等装置。处理器30还可通过存储装置50对与不正常观看状态起止时间相对应的例如影像文件等显示内容进行缓存处理，以便用户能够通过观看缓存内容回看错过的显示内容。该处理器30可以是处理装置，包括例如微处理器、中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)等的一个或更多通用处理装置。更具体地，处理器30可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现其它指令集的处理器、或实现指令集的组合的处理器。处理器30还可以是一个或更多专用处理装置，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SOC)等。如本领域技术人员将领会的，在一些实施例中，处理器30可以是专用处理器而不是通用处理器。处理器30可以包括一个或更多已知的处理装置，例如来自由IntelTM制造的PentiumTM、Core^TM、XeonTM、或系列的微处理器，由AMDTM制造的Turion^TM、Athlon^TM、Sempron^TM、Opteron^TM、FX^TM、Phenom^TM系列的微处理器，或由太阳微系统公司制造的任何各种处理器。处理器30还可以包括加速处理单元，例如由AMD^TM制造的台式A-4(6,8)系列^TM，IntelTM制造的Xeon Phi^TM系列。公开的实施例不限于任何类型的(一个或数个)处理器，其以其他方式被配置为满足基于用户的眼动信息结合脑电信息确定用户对显示内容的观看状态，并且在观看状态不正常的情况下，进行与观看状态相应的提醒处理的需求，或以其他方式被配置为处理与所公开的实施例一致的任何其它类型的数据。此外，术语“处理器”可包括多于一个处理器，例如，多核设计或每一个都具有多核设计的多个处理器。

存储装置50可以采用各种形式，包括但不限于例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。存储装置50还可用户存储计算机可执行指令，处理器30可以被配置为执行存储于其上的计算机可执行指令，以实现基于用户的眼动信息结合脑电信息确定用户对显示内容的观看状态，并且在观看状态不正常的情况下，进行与观看状态相应的提醒处理的方法。

图5为本公开实施例的基于人机交互的显示信息处理方法的流程图，参见图5所示，本公开实施例的基于人机交互的显示信息处理方法应用于提供显示内容供用户观看的显示设备，该方法具体包括如下步骤：

S1、获取用户的眼动信息；

S2、获取与用户的疲劳状态相关联的生物电信息；

S3、基于用户的眼动信息结合生物电信息确定用户对显示内容的观看状态，并且在观看状态不正常的情况下，进行与观看状态相应的提醒处理。

采用上述方法，眼动信息和生物电信息是人体系统对显示内容的最直接、最原始、最基本的生物反应信息，通过实时获取用户的眼动信息和生物电信息，并基于用户的眼动信息和生物电信息确定用户对显示内容的观看状态，以对用户的观看状态进行实时监控，在用户出现观看状态不正常的情况下，进行与观看状态相应的提醒处理，以便于用户适时调整观看状态或重现显示内容，从而达到更好的观看效果，省去了用户自主反馈动作，能够最大程度上保证人机交互、人工智能的有效状态，防止失效。

在一些实施例中，获取与用户的疲劳状态相关联的生物电信息具体为：

获取与用户的脑疲劳状态相关联的脑电波信息。

在一些实施例中，所述进行与所述观看状态相应的提醒处理包括：

通过听觉和/或视觉信号提醒所述用户；以及

在一些实施例中，所述据此对显示内容进行标记处理包括：在作为显示内容的影像文件中标记不正常观看状态的开始时间以及所述影像文件的对应播放位置。如此，在用户从不正常的观看状态恢复后，能够向其重现因其疲劳而损失的播放内容的记忆。

在一些实施例中，所述获取所述用户的眼动信息包括：

追踪用户的眼动状态，对用户的眼动状态进行分析以得到用户的视线和眼疲劳相关信息；

所述获取与用户的疲劳状态相关联的生物电信息包括：

检测用户的脑电波，对用户的脑电波进行分析以得到用户的脑疲劳相关信息；

所述基于用户的眼动信息结合所述生物电信息确定用户对所述显示内容的观看状态，并且在观看状态不正常的情况下，进行与所述观看状态相应的提醒处理包括：

接收所述用户的视线和眼疲劳相关信息以及所述用户的脑疲劳相关信息，基于所述用户的视线和眼疲劳相关信息结合所述用户的脑疲劳相关信息确定用户对显示内容的观看状态，并且在观看状态不正常的情况下，进行与所述观看状态相应的提醒处理。

在一些实施例中，所述用户的视线和眼疲劳相关信息包括：

视线相对于显示设备的显示器的偏离度及其持续时间；以及

参见图6所示，在一些实施例中，接收所述用户的视线和眼疲劳相关信息以及所述用户的脑疲劳相关信息，基于所述用户的视线和眼疲劳相关信息结合所述用户的脑疲劳相关信息确定用户对显示内容的观看状态，并且在观看状态不正常的情况下，进行与所述观看状态相应的提醒处理包括：

在一些实施例中，所述第一阈值、第二阈值、第一预设时间、第二预设时间、第三预设时间、第四预设时间与所述用户的属性相关联地预先建立，所述属性包括年龄、性别、职业、工作时段以及眼部健康状况中的至少一种。针对用户属性的特异性的阈值和时间的设置，能够更具针对性且准确地表征用户个体的观看特点，从而能够更加准确地确定用户个体的观看状态。

以上实施例仅为本公开的示例性实施例，不用于限制本公开，本公开的保护范围由权利要求书限定。本领域技术人员可以在本公开的实质和保护范围内，对本公开做出各种修改或等同替换，这种修改或等同替换也应视为落在本公开的保护范围内。

Claims

1.一种基于人机交互的显示设备，所述显示设备上提供显示内容供用户观看，其特征在于，所述显示设备包括：

眼动检测装置，其配置为获取所述用户的眼动信息；

2.根据权利要求1所述的显示设备，其特征在于，所述生物电检测装置为脑电检测装置，且所述用户的疲劳状态为所述用户的脑疲劳状态。

3.根据权利要求1或2所述的显示设备，其特征在于，进行与所述观看状态相应的提醒处理包括：

通过听觉和/或视觉信号提醒所述用户；以及

4.根据权利要求3所述的显示设备，其特征在于，据此对显示内容进行标记处理包括：在作为显示内容的影像文件中标记不正常观看状态的开始时间以及所述影像文件的对应播放位置。

5.根据权利要求1所述的显示设备，其特征在于，

所述处理器包括第一微型处理单元、第二微型处理单元和第三微型处理单元；

6.根据权利要求5所述的显示设备，其特征在于，所述用户的视线和眼疲劳相关信息包括：

视线相对于显示设备的显示器的偏离度及其持续时间；以及

7.根据权利要求6所述的显示设备，其特征在于，所述第三微型处理单元被配置为执行如下步骤：

8.根据权利要求7所述的显示设备，其特征在于，所述第一阈值、第二阈值、第一预设时间、第二预设时间、第三预设时间、第四预设时间与所述用户的属性相关联地预先建立，所述属性包括年龄、性别、职业、工作时段以及眼部健康状况中的至少一种。

9.一种基于人机交互的显示信息处理方法，应用于提供显示内容供用户观看的显示设备，其特征在于，包括：

获取用户的眼动信息；

获取与用户的疲劳状态相关联的生物电信息；

10.根据权利要求9所述的显示信息处理方法，其特征在于，所述获取与用户的疲劳状态相关联的生物电信息具体为：

获取与所述用户的脑疲劳状态相关联的脑电波信息。