CN104766056A - 一种人机交互方法、装置及虚拟头戴设备 - Google Patents

Abstract

本发明公开了一种人机交互方法、装置及虚拟头戴设备，涉及信号处理技术，为提高用户使用虚拟头戴设备时的便利性而发明。所述方法包括：获取用户在使用虚拟头戴设备时的人眼疲劳参数,所述人眼疲劳参数包括使用所述虚拟头戴设备时的人眼状态信息，和/或人眼所处环境的光感值；当根据所述人眼疲劳参数确定所述用户处于待防疲劳状态时，对所述用户进行防疲劳处理。本发明主要用于虚拟头戴设备中。

Description

一种人机交互方法、装置及虚拟头戴设备

技术领域

本发明涉及信号处理技术，尤其涉及一种人机交互方法、装置及虚拟头戴设备。

背景技术

随着科技的发展，虚拟头戴设备普遍出现在市场上，头戴产品也从简单的音视频播放发展为高清电影播放，高清游戏应用，摄像头实时显示和基于摄像头的现实游戏体验等。

但是，在实现本发明的过程中发明人发现，例如，当用户利用虚拟头戴设备观看视频时，现有的虚拟头戴设备无法对用户进行防疲劳处理，从而不方便用户使用虚拟头戴设备。

发明内容

有鉴于此，本发明的主要目的在于提供了一种人机交互方法、装置及虚拟头戴设备，以提高用户使用虚拟头戴设备时的便利性。

为达到上述目的，本发明的技术方案是这样实现的：

一方面，本发明实施例提供了一种人机交互方法，包括：

获取用户在使用虚拟头戴设备时的人眼疲劳参数,所述人眼疲劳参数包括使用所述虚拟头戴设备时的人眼状态信息，和/或人眼所处环境的光感值；

当根据所述人眼疲劳参数确定所述用户处于待防疲劳状态时，对所述用户进行防疲劳处理。

其中，当所述人眼疲劳参数包括使用所述虚拟头戴设备时的人眼状态信息时，所述获取用户在使用虚拟头戴设备时的人眼疲劳参数包括：

利用红外摄像头采集使用所述虚拟头戴设备时的人眼红外图像；

对所述人眼红外图像进行图像二值化处理，并根据图像二值化处理结果提取人眼在所述人眼红外图像中的特征值，所述特征值包括眼睛轮廓参数值，或者所述特征值包括眼睛轮廓参数值和眼球信息参数值；

对所述特征值进行分析，获取在使用所述虚拟头戴设备时的人眼状态信息，其中所述人眼状态信息包括眨眼状态和闭眼状态。

其中，所述特征值还包括眼球信息参数值。

其中，当根据所述人眼疲劳参数确定所述用户处于待防疲劳状态时，对所述用户进行防疲劳处理包括：

当预定时间内的所述人眼状态信息为闭眼状态时，确定所述用户处于待防疲劳状态，对眼部区域进行按摩。

其中，当所述人眼疲劳参数包括人眼所处环境的光感值时，所述获取用户在使用虚拟头戴设备时的人眼疲劳参数包括：

利用光感传感器获取人眼所处环境的光感值。

其中，所述当根据所述人眼疲劳参数确定所述用户处于待防疲劳状态时，对所述用户进行防疲劳处理包括：

当所述光感值与标准光感值的差值大于预设阈值时，确定所述用户处于待防疲劳状态，调节所述虚拟头戴设备的屏幕亮度。

其中，所述方法还包括：在使用所述虚拟头戴设备预设时间后，向所述用户发送防疲劳提醒信息。

另一方面，本发明实施例提供了一种人机交互装置，包括：

参数获取单元，用于获取用户在使用虚拟头戴设备时的人眼疲劳参数,所述人眼疲劳参数包括使用所述虚拟头戴设备时的人眼状态信息，和/或人眼所处环境的光感值；

处理单元，用于当根据所述参数获取单元获取的人眼疲劳参数确定所述用户处于待防疲劳状态时，对所述用户进行防疲劳处理。

其中，当所述人眼疲劳参数包括使用所述虚拟头戴设备时的人眼状态信息时，所述参数获取单元包括：

图像采集模块，用于利用红外摄像头采集使用所述虚拟头戴设备时的人眼红外图像；

图像分析模块，用于对所述图像采集模块采集的人眼红外图像进行分析，获取在使用所述虚拟头戴设备时的人眼状态信息。

其中，所述图像分析模块包括：

第一子模块，用于对所述人眼红外图像进行图像二值化处理，并根据图像二值化处理结果提取人眼在所述人眼红外图像中的特征值，所述特征值包括眼睛轮廓参数值，或者所述特征值包括眼睛轮廓参数值和眼球信息参数值；

第二子模块，用于在所述第一子模块获取的特征值进行分析，获取在使用所述虚拟头戴设备时的人眼状态信息，其中所述人眼状态信息包括眨眼状态和闭眼状态。

其中，所述处理单元具体用于：

当预定时间内的所述人眼状态信息为闭眼状态时，确定所述用户处于待防疲劳状态，对眼部区域进行按摩。

其中，当所述人眼疲劳参数包括人眼所处环境的光感值时，所述参数获取单元具体用于：利用光感传感器获取人眼所处环境的光感值；所述处理单元具体用于：当所述光感值与标准光感值的差值大于预设阈值时，确定所述用户处于待防疲劳状态，调节所述虚拟头戴设备的屏幕亮度。

其中，所述装置还包括：提醒单元，用于在使用所述虚拟头戴设备预设时间后，向所述用户发送防疲劳提醒信息。

第三方面，本发明实施例还提供了一种虚拟头戴设备，包括前述的人机交互装置。

与现有技术相比，本发明的有益效果是：

本发明实施例的技术方案，可通过获取用户在使用虚拟头戴设备时的人眼疲劳参数，并在根据所述人眼疲劳参数确定所述用户处于待防疲劳状态时，对所述用户进行防疲劳处理。与现有技术相比，利用本发明实施例的方案可以对用户进行防疲劳处理，从而提高了用户使用虚拟头戴设备时的便利性。

附图说明

图1为本发明实施例提供的一种人机交互方法的流程图；

图2为本发明实施例中获取用户在使用虚拟头戴设备时的人眼疲劳参数的一个原理图；

图3为本发明实施例中获取在使用所述虚拟头戴设备时的人眼状态信息的一个过程示意图；

图4为本发明实施例中向用户发送疲劳提醒的过程示意图；

图5为本发明实施例提供的一种人机交互装置的示意图；

图6为本发明实施例提供的一种人机交互装置的结构图。

具体实施方式

本发明的主要技术构思在于：首先获取用户在使用虚拟头戴设备时的人眼疲劳参数。当根据人眼疲劳参数确定所述用户处于待防疲劳状态时，对用户进行防疲劳处理，从而提高了用户使用虚拟头戴设备时的便利性。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

如图1所示，本发明实施例的一种人机交互方法包括：

步骤11、获取用户在使用虚拟头戴设备时的人眼疲劳参数。

其中，所述人眼疲劳参数包括使用所述虚拟头戴设备时的人眼状态信息，或者所述人眼疲劳参数包括人眼所处环境的光感值，或者所述人眼疲劳参数还可同时包括使用所述虚拟头戴设备时的人眼状态信息和人眼所处环境的光感值。在具体应用中，使用所述虚拟头戴设备时的人眼状态信息包括又可包括眨眼状态和闭眼状态。

在此步骤中，当所述人眼疲劳参数包括使用所述虚拟头戴设备时的人眼状态信息时，如图2所示，此步骤的原理是：首先进行图像采集，然后将眼睛状态从采集到的图像中分割出来。接着，结合事先处理好的眼睛建模对眼睛动作进行分析、识别，最后根据识别结果进行眼睛动作描述。具体的，该步骤包括：

步骤11a、利用虚拟头戴设备本身的或者外部的红外摄像头采集使用所述虚拟头戴设备时的人眼红外图像。

其中，使用所述虚拟头戴设备时的人眼红外图像指的是人眼在观看头戴虚拟设备的屏幕时的图像。该图像中有可能包括人眼的信息，还有可能不包括人眼的信息。因此，在此步骤中，首先通过红外摄像头采集图像。接着，根据人眼输入的交互模型检测获取采集到的图像中是否有人眼的出现。如果有，则把该人眼图像从该图像中切分出来，获取人眼红外图像。

步骤11b、对所述人眼红外图像进行分析，获取在使用所述虚拟头戴设备时的人眼状态信息。

在此步骤中，主要包括特征检测和模型参数估计两部分。其中，特征检测主要是用于提取人眼动作特征；模型参数估计是指建模后对于采集到的人眼红外图像中的人眼状态进行分析。

其中，使用所述虚拟头戴设备时的人眼状态信息包括可包括眨眼状态和闭眼状态。具体的，在此步骤中，如图3所示，首先对所述人眼红外图像进行图像二值化处理，并根据图像二值化处理结果提取人眼在所述人眼红外图像中的特征值，其中，所述特征值可包括眼睛轮廓参数值。进一步的，为了使得确定的眼睛状态信息更准确，所述特征值还可包括眼球参数信息。其中，眼睛轮廓参数值可包括眼皮信息、眼睛的轮廓等，所述眼球参数信息可包括黑眼球的位置，黑眼球是否发生扩散等信息。

具体的，如果根据获得的眼球参数信息中的眼皮信息显示眼睛预定的时间(该时间可任意设置，如3s)处于闭眼状态，那么即可确定当前为闭眼状态。进一步的，为了使得确认的结果更准确，还可在获取的眼睛轮廓中对眼球进行标定，获得眼球参数信息。然后，结合眼睛轮廓信息获取在使用所述虚拟头戴设备时的人眼状态信息。如果此时根据眼球参数信息确定眼球发生扩散，那么可进一步的确定眼睛当前为闭眼状态。如果当前为眨眼状态，则将此状态作为不疲劳状态。如果当前为闭眼状态，则将此状态作为疲劳状态，而后按照步骤下述的描述驱动按摩。需要说明的是，在此的闭眼状态包括除了通常认为的眨眼状态之外的有闭眼动作的人眼状态，比如闭眼2s后又睁眼的这一状态。

在此步骤中，具体的，当所述人眼疲劳参数包括人眼所处环境的光感值时，此步骤主要是利用光感传感器获取人眼所处环境的光感值。由于头戴虚拟设备的屏幕设备内部，光感值虽然变化，但是背光设置完成后屏幕设备内部的光感值将很少变化，而普通的自动调节背光机制太简单，不能改善用眼的疲劳度。因此，在本发明实施例中不仅可以通过采集人眼所处环境的光感值来改善用眼疲劳度，而且该方式更灵活。

在此步骤中，具体的，当所述人眼疲劳参数同时包括使用所述虚拟头戴设备时的人眼状态信息和人眼所处环境的光感值时，可分别按照上述内容分别获得人眼状态信息和人眼所处环境的光感值。

步骤12、当根据所述人眼疲劳参数确定所述用户处于待防疲劳状态时，对所述用户进行防疲劳处理。

在此步骤中，所述待防疲劳状态指的是需要对用户进行防疲劳处理时用户所处的状态，例如，用户观看视频一段时间后的已疲劳的状态；或者为了使用户免于或减少疲劳时用户所处的疲劳预防状态，例如，在用户刚开始使用虚拟头戴设备时对设备进行调节而旨在于减轻用户疲劳的情况下用户的状态。

具体的，当所述人眼疲劳参数包括使用所述虚拟头戴设备时的人眼状态信息时，该步骤包括：当预定时间内的所述人眼状态信息为闭眼状态时，确定所述用户处于疲劳状态，处于待防疲劳状态，此时可对眼部区域进行按摩。其中，眼部区域包括人眼，太阳穴等区域。

其中，所述预定时间可以由用户任意设定，例如可以为2s，或者30s等。在对眼部区域进行按摩时，可在确定用户处于疲劳状态时，向按摩系统发送驱动信号，控制该按摩系统对眼部区域进行按摩。

具体的，当所述人眼疲劳参数包括人眼所处环境的光感值时，此步骤主要是当所述光感值与标准光感值的差值大于预设阈值时，确定所述用户处于疲劳状态，处于待防疲劳状态，此时可调节所述虚拟头戴设备的屏幕亮度。

在此实施例中，可通过光感传感器每隔一定时间对人眼所处的环境的光感值进行采集，例如每隔5s采集一次。然后，将采集到的光感值与医学中规定的该环境下能够使得人眼较为舒适的标准光感值进行比较。如果二者的差值超过预设阈值，那么将根据该标准光感值调节虚拟头戴设备的屏幕亮度。可选的，当用户开始使用虚拟头戴设备时即可通过光感传感器对人眼所处的环境的光感值进行采集，根据用户所选应用所对应的标准光感值，调节虚拟头戴设备的屏幕亮度。

例如，假设预设阈值为5，某个环境下采集到的光感值为80，而该环境对应的标准光感值为50，二者的差为30，大于该预设阈值，因此，需要按照该标准光感值调节虚拟头戴设备的屏幕亮度。

具体的，当所述人眼疲劳参数同时包括使用所述虚拟头戴设备时的人眼状态信息和人眼所处环境的光感值时，可分别按照上述人眼疲劳参数分别包括使用所述虚拟头戴设备时的人眼状态信息和人眼所处环境的光感值的情形，对所述用户进行防疲劳处理。

此外，为了进一步提高用户的体验，本发明实施例还可包括：

步骤13、在使用所述虚拟头戴设备预设时间后，向所述用户发送防疲劳提醒信息。

如图4所示，当用户使用虚拟头戴设备后，通过距离传感器检测到用户已经戴上该虚拟头戴设备时开始计时。在具体应用中，用户可设置提醒时间。如果用户设置了提醒时间，当用户设置的提醒时间到时后，向用户发送防疲劳提醒消息，提醒用户休息。

如果用户没有设置提醒时间，则将进入默认提醒模式，在默认的提醒时间到达后向用户发送防疲劳提醒消息，提示用户休息。例如，默认的提醒时间为30分钟，当检测到用户已经使用该虚拟头戴设备30分钟时，向用户发送防疲劳提醒消息，提示用户休息。或者，在默认的提醒时间到后，如果用户利用此虚拟头戴设备观看电影、电视剧或者玩游戏时，可默认在检测到一部电影、一集电视剧结束或者游戏结束时向用户发送防疲劳提醒消息，提示用户休息，防止用户长时间用眼疲劳。例如，在使用该虚拟头戴设备1小时后，可检测用户是否正在观看视频。如果是，那么将进入检测视频结束模式。当检测到视频结束后，如果用户没有观看视频，那么检测用户是否正在玩游戏。如果是，则进入检测游戏结束模式。当检测到游戏结束后，向用户发送防疲劳提醒消息，提示用户休息，防止用户长时间用眼疲劳。如果用户没在玩游戏，将直接向用户发送防疲劳提醒消息，提示用户休息，防止用户长时间用眼疲劳。

需要说明的是，步骤13也可以理解为一种防疲劳处理的方式。因此，步骤13和步骤11、12在执行上无先后关系，也就是说，向用户发送疲劳提醒信息和按照步骤11、12对用户进行防疲劳处理可以同时执行，也可以先后执行。

在该实施例中，还可将上述针对不同内容的人眼疲劳参数的防疲劳处理过程结合使用。例如，可将人眼疲劳参数包括使用所述虚拟头戴设备时的人眼状态信息的处理方式和将人眼疲劳参数包括所述人眼疲劳参数包括人眼所处环境的光感值的防疲劳处理过程结合使用。

通过以上技术方案可以看出，利用该实施例可对用户进行防疲劳提醒，并在用户疲劳时对用户进行防疲劳处理，如对人眼进行按摩等，从而提高了用户的使用体验。

如图5所示，本发明实施例的一种人机交互装置包括：

参数获取单元21，用于获取用户在使用虚拟头戴设备时的人眼疲劳参数；处理单元22，用于当根据所述参数获取单元获取的人眼疲劳参数确定所述用户处于待防疲劳状态时，对所述用户进行防疲劳处理。

如前所述，所述人眼疲劳参数包括使用所述虚拟头戴设备时的人眼状态信息，或者所述人眼疲劳参数包括人眼所处环境的光感值，或者所述人眼疲劳参数还可同时包括使用所述虚拟头戴设备时的人眼状态信息和人眼所处环境的光感值。

在具体应用中，使用所述虚拟头戴设备时的人眼状态信息包括又可包括眨眼状态和闭眼状态。

因此，若所述人眼疲劳参数包括使用所述虚拟头戴设备时的人眼状态信息，所述参数获取单元21包括：图像采集模块，用于利用红外摄像头采集使用所述虚拟头戴设备时的人眼红外图像；图像分析模块，用于对所述图像采集模块采集的人眼红外图像进行分析，获取在使用所述虚拟头戴设备时的人眼状态信息。

其中，所述图像分析模块可包括：

第一子模块，用于对所述人眼红外图像进行图像二值化处理，并根据图像二值化处理结果提取人眼在所述人眼红外图像中的特征值，所述特征值包括眼睛轮廓参数值；第二子模块，用于在所述第一子模块获取的特征值进行分析，获取在使用所述虚拟头戴设备时的人眼状态信息，其中所述人眼状态信息包括眨眼状态和闭眼状态。

相应的，所述处理单元具体用于：当预定时间内的所述人眼状态信息为闭眼状态时，确定所述用户处于待防疲劳状态，对眼部区域进行按摩。

若所述人眼疲劳参数包括人眼所处环境的光感值，所述参数获取单元具体用于：利用光感传感器获取人眼所处环境的光感值，所述处理单元具体用于：当所述光感值与标准光感值的差值大于预设阈值时，调节所述虚拟头戴设备的屏幕亮度。

此外，如图6所示，为了进一步提高用户的使用体验，所述装置还可包括：提醒单元23，用于在使用所述虚拟头戴设备预设时间后，向所述用户发送防疲劳提醒信息。

本发明实施例的人机交互装置的工作原理可参照前述方法实施例的描述，在此不再赘述。

通过以上技术方案可以看出，利用该实施例可对用户进行防疲劳提醒，并在用户疲劳时对用户进行防疲劳处理，如对人眼进行按摩等，从而提高了用户的使用体验。

此外，本发明实施例还提供了一种虚拟头戴设备，包括如图5或图6所示的人机交互装置。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种用于虚拟头戴设备的人机交互方法，其特征在于，所述方法包括：

获取用户在使用虚拟头戴设备时的人眼疲劳参数,所述人眼疲劳参数包括使用所述虚拟头戴设备时的人眼状态信息，和/或人眼所处环境的光感值；

当根据所述人眼疲劳参数确定所述用户处于待防疲劳状态时，对所述用户进行防疲劳处理。

2.根据权利要求1所述的方法，其特征在于，当所述人眼疲劳参数包括使用所述虚拟头戴设备时的人眼状态信息时，所述获取用户在使用虚拟头戴设备时的人眼疲劳参数包括：

利用红外摄像头采集使用所述虚拟头戴设备时的人眼红外图像；

对所述人眼红外图像进行图像二值化处理，并根据图像二值化处理结果提取人眼在所述人眼红外图像中的特征值，所述特征值包括眼睛轮廓参数值，或者所述特征值包括眼睛轮廓参数值和眼球信息参数值；

对所述特征值进行分析，获取在使用所述虚拟头戴设备时的人眼状态信息，其中所述人眼状态信息包括眨眼状态和闭眼状态。

3.根据权利要求2所述的方法，其特征在于，当根据所述人眼疲劳参数确定所述用户处于待防疲劳状态时，对所述用户进行防疲劳处理包括：

当预定时间内的所述人眼状态信息为闭眼状态时，确定所述用户处于待防疲劳状态，对眼部区域进行按摩。

4.根据权利要求1所述的方法，其特征在于，当所述人眼疲劳参数包括人眼所处环境的光感值时，

所述获取用户在使用虚拟头戴设备时的人眼疲劳参数包括：

利用光感传感器获取人眼所处环境的光感值；

所述当根据所述人眼疲劳参数确定所述用户处于待防疲劳状态时，对所述用户进行防疲劳处理包括：

当所述光感值与标准光感值的差值大于预设阈值时，确定所述用户处于待防疲劳状态，调节所述虚拟头戴设备的屏幕亮度。

5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：

在使用所述虚拟头戴设备预设时间后，向所述用户发送防疲劳提醒信息。

6.一种用于虚拟头戴设备的人机交互装置，其特征在于，所述装置包括：

参数获取单元，用于获取用户在使用虚拟头戴设备时的人眼疲劳参数,所述人眼疲劳参数包括使用所述虚拟头戴设备时的人眼状态信息，和/或人眼所处环境的光感值；

处理单元，用于当根据所述参数获取单元获取的人眼疲劳参数确定所述用户处于待防疲劳状态时，对所述用户进行防疲劳处理。

7.根据权利要求6所述的装置，其特征在于，当所述人眼疲劳参数包括使用所述虚拟头戴设备时的人眼状态信息时，所述参数获取单元包括：

图像采集模块，用于利用红外摄像头采集使用所述虚拟头戴设备时的人眼红外图像；图像分析模块，用于对所述图像采集模块采集的人眼红外图像进行分析，获取在使用所述虚拟头戴设备时的人眼状态信息；

其中，所述图像分析模块包括：

第一子模块，用于对所述人眼红外图像进行图像二值化处理，并根据图像二值化处理结果提取人眼在所述人眼红外图像中的特征值，所述特征值包括眼睛轮廓参数值，或者所述特征值包括眼睛轮廓参数值和眼球信息参数值；第二子模块，用于在所述第一子模块获取的特征值进行分析，获取在使用所述虚拟头戴设备时的人眼状态信息，其中所述人眼状态信息包括眨眼状态和闭眼状态；

所述处理单元具体用于：当预定时间内的所述人眼状态信息为闭眼状态时，确定所述用户处于待防疲劳状态，对眼部区域进行按摩。

8.根据权利要求6所述的装置，其特征在于，当所述人眼疲劳参数包括人眼所处环境的光感值时，

所述参数获取单元具体用于：利用光感传感器获取人眼所处环境的光感值；

所述处理单元具体用于：当所述光感值与标准光感值的差值大于预设阈值时，确定所述用户处于待防疲劳状态，调节所述虚拟头戴设备的屏幕亮度。

9.根据权利要求6-8任一所述的装置，其特征在于，所述装置还包括：

提醒单元，用于在使用所述虚拟头戴设备预设时间后，向所述用户发送防疲劳提醒信息。

10.一种虚拟头戴设备，其特征在于，所述设备包括权利要求6-9任一所述的用于虚拟头戴设备的人机交互装置。