CN106339082A - 一种基于教学用头戴式设备的提示方法及系统 - Google Patents

Abstract

本发明公开了一种基于教学用头戴式设备的提示方法及系统，所述方法包括：通过佩戴的教学用头戴式设备获取用户眼球焦点所处区域；判断所述区域是否处于预设标识区域，当所述区域未处于标识区域内时，提示用户未集中注意力。本发明通过对用户眼球焦点所处区域的判断来提示用户集中注意力，解决了现有用于教学的头戴设备无法及时有效提醒用户集中注意力，给教学效果带来较大影响的问题。

Description

一种基于教学用头戴式设备的提示方法及系统

技术领域

本发明涉及智能终端技术领域，特别涉及一种基于教学用头戴式设备的提示方法及系统。

背景技术

随着头戴式VR/AR设备的普及，其在许多的领域得到应用。其中，教育领域为头戴式VR/AR设备应用的关键领域之一。在教育领域，通过头戴式设备可以使得远程教学实现身临其境的教学效果。但是，采用头戴式设备进行远程教学与课堂教学不同，当用户使用头戴式设备时，其双眼被遮挡，从外界无法判断用户是否正在观看教学内容及关注关键教学场景，无法及时有效提醒用户集中注意力，对教学效果形成较大的影响。

因而现有技术还有待改进和提高。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种基于教学用头戴式设备的提示方法及系统，以解决现有用于教学的头戴设备无法及时有效提醒用户集中注意力，给教学效果带来较大影响的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种基于教学用头戴式设备的提示方法，其包括：

通过佩戴的教学用头戴式设备获取用户眼球焦点所处区域；

判断所述区域是否处于预设标识区域，其中，所述预设标识区域为用于表示用户集中注意力的区域；

当所述区域未处于标识区域内时，提示用户未集中注意力。

所述基于教学用头戴式设备的提示方法，其中，所述通过佩戴的教学用头戴式设备获取用户眼球焦点所处区域具体为：

通过佩戴的教学用头戴式设备通过所述教学用头戴式设备内置摄像头获取用户眼球焦点所处区域。

所述基于教学用头戴式设备的提示方法，其中，所述通过佩戴的教学用头戴式设备获取用户眼球焦点所处区域具体包括：

通过佩戴的教学用头戴式设备获取用户的眼球行为；

判断所述眼球行为是否为睁眼行为；

当所述眼球行为为睁眼行为时，获取用户眼球焦点所处区域。

所述基于教学用头戴式设备的提示方法，其中，所述判断所述区域是否处于预设标识区域，所述预设标识区域为用于表示用户集中注意力的区域具体包括：

将所述区域与预设标识区域进行匹配，以得到所述区域属于预设标识区域的子区域；

计算所述子区域占所述区域的比重，并将所述比重与预设阈值进行比较，以判断所述区域是否处于预设标识区域；

所述区域未处于标识区域内具体为：所述比重小于预设阈值。

所述基于教学用头戴式设备的提示方法，其中，所述当所述区域未处于标识区域内时，提示用户未集中注意力具体包括：

当所述区域未处于标识区域内时，通过教学用头戴式设备内置的振动器振动提示用于未集中注意力，并向预先终端设备发送提示信息。

一种基于教学用头戴式设备的提示系统，其包括：

获取模块，用于通过佩戴的教学用头戴式设备获取用户眼球焦点所处区域；

判断模块，用于判断所述区域是否处于预设标识区域，其中，所述预设标识区域为用于表示用户集中注意力的区域；

提示模块，用于当所述区域未处于标识区域内时，提示用户未集中注意力。

所述基于教学用头戴式设备的提示系统，其中，所述获取模块具体用于：

通过佩戴的教学用头戴式设备通过所述教学用头戴式设备内置摄像头获取用户眼球焦点所处区域。

所述基于教学用头戴式设备的提示系统，其中，所述获取模块具体包括：

行为获取单元，用于通过佩戴的教学用头戴式设备获取用户的眼球行为；

判断单元，用于判断所述眼球行为是否为睁眼行为；

焦点获取单元，用于当所述眼球行为为睁眼行为时，获取用户眼球焦点所处区域。

所述基于教学用头戴式设备的提示系统，其中，所述判断模块具体包括：

匹配单元，用于将所述区域与预设标识区域进行匹配，以得到所述区域属于预设标识区域的子区域；

计算单元，用于计算所述子区域占所述区域的比重，并将所述比重与预设阈值进行比较，以判断所述区域是否处于预设标识区域。

所述基于教学用头戴式设备的提示系统，其中，所述提示模块具体用于：

当所述区域未处于标识区域内时，通过教学用头戴式设备内置的振动器振动提示用户未集中注意力，并向预先终端设备发送提示信息。

有益效果：与现有技术相比，本发明提供了一种基于教学用头戴式设备的提示方法及系统，所述方法包括：通过佩戴的教学用头戴式设备获取用户眼球焦点所处区域；判断所述区域是否处于预设标识区域，当所述区域未处于标识区域内时，提示用户未集中注意力。本发明通过对用户眼球焦点所处区域的判断来提示用户集中注意力，解决了现有用于教学的头戴设备无法及时有效提醒用户集中注意力，给教学效果带来较大影响的问题。

附图说明

图1为本发明提供的基于教学用头戴式设备的提示方法较佳实施的流程图。

图2为本发明提供的基于教学用头戴式设备的提示方法中区域信息编码后插入视频码流的原理图。

图3为本发明提供的基于教学用头戴式设备的提示方法中区域块划分法的原理图。

图4为本发明提供的基于教学用头戴式设备的提示方法中精确定位法的原理图。

图5为本发明提供的基于教学用头戴式设备的提示系统的结构原理图。

具体实施方式

本发明提供一种基于教学用头戴式设备的提示方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，模块”、“部件”或“单元”可以混合地使用。

终端设备可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

下面结合附图，通过对实施例的描述，对发明内容作进一步说明。

请参照图1，图1为本发明提供的基于教学用头戴式设备的提示方法的较佳实施例的流程图。所述方法包括：

S100、通过佩戴的教学用头戴式设备获取用户眼球焦点所处区域。

具体地来说，在所述步骤S100中，所述教学用头戴式设备处于使用状态指的用户使用所述教学用头戴式设备进行学习，如，使用所述教学用头戴式设备进行远程学习等。

在本实施例中，当用户使用教学用头戴式设备进行学习时，所学习的教学内容为预先设置的，其具有预先设置的标识区域，所述标识区域用于表示用户集中注意力的区域。在实际应用中，所述教学内容可以采用如下方式制成，其具体可以为：首先在所述教学内容场景内预先建立坐标系，并采集教学内容场景中关键对象呈现区域的坐标信息，其中，所述关键对象为根据教学内容预先确定的教学对象；将所述关键对象呈现区域的坐标信息进行编码，并同步插入视频码流特定字段（如扩展字段）形成具有标识区域的教学内容。

所述关键对象的呈现区域可以为一个，也可以为多个。并且，所述呈现区域可以为任何图形。在本实施例中，为了信息采集及后续比较简单，所述呈现区域优选为矩形区域。在关键对象选取的过程中，可以根据统计精确度要求、系统负载情况、制作成本等因素的不同，而选择采集每一帧的各主要对象区域信息，也可以每隔一段时间采集一次（比如5秒）。

为了进一步理解所述教学对象的制作过程，下面给出一个具体例子加以说明。例如，当前教学画面内容采集到三个关键对象的矩形呈现区域额坐标信息分别为：（10，40）至（220，700）；（150，440）至（500，680）；（400，30）至（1250,370）。如图2所示，将所述三个区域信息编码到PES包字段中。

示例性地，当教学用头戴设备显示所述教学内容时，教学用头戴设备内的内容呈现功能可以同步读取出关键对象呈现区域的坐标信息。当然，为了便于用户确定关注焦点，可以在教学内容上显示所述关键对象呈现区域。

示例性地，当教学用头戴设备显示所述教学内容后，教学用头戴设备获取用户眼球的关注焦点。所述教学用头戴设备可以通过其内置的摄像头获取用户眼球的关注焦点，其也可以通过眼球运动传感器等其他可以获取用户眼球关注焦点的设备获取用户眼球的关注焦点。

在发明另一个实施例中，所述通过佩戴的教学用头戴式设备获取用户眼球焦点所处区域具体包括：

通过佩戴的教学用头戴式设备获取用户的眼球行为；

判断所述眼球行为是否为睁眼行为；

当所述眼球行为为睁眼行为时，获取用户眼球焦点所处区域。

具体地，所述用户的眼球行为可以包括：包括眼睛睁合、身份、眼球运动信息等。其中，眼睛睁合检测可用于判断用户是否在观看内容；身份检测可用于识别当前用户并用于后续特定用户行为分析/提醒等；运动检测用于判断眼球位置信息并用于判断是否专注播放内容。在本实施例中，主要获取眼球行为眼睛睁合，以判断是否需要获取眼球焦点所处区域。

当眼球行为为睁眼信息时，获取眼球焦点所处区域。在使用摄像头获取眼球图像并计算焦点区域信息有多种算法。尤其是在头戴设备使用场景下，眼睛离显示区域距离非常近；且当头部运动时，眼球和设备显示区域同步运动从而无相对位移存在，眼部焦点的位置判断更加准确。本实施例中不一一说明，仅给出两种方法加以说明。

第一种方法：区域划分法。所述方法包括：首先将教学用头戴式设备的显示区域划分成多个子区域（如，3x3，4x4），如图3所示。由于眼球在眼眶中移动有固定的范围幅度，从而根据眼球在眼眶中的相对位置得出眼球焦点落在显示区域的某个子区域。本方法只关注眼睛焦点的大概区域位置，计算速度快但精确度较低。

第二种方法：精确定位法。所述方法包括：如图4所示，首先在用户开始使用头戴设备时，提示用户眼睛观看屏幕的特定的定标位置点，如最左上角h点，最左下角i点，最右上角j点，最右下角k点等，并记录特定的定标位置点的坐标h（Xh，Yh）、i（Xi，Yi）、j（Xj，Yj）和k（Xk，Yk），如，并记录下此时用户眼球在眼眶内的详细位置a（Xa，Ya）,b（Xb，Yb）,c（Xc，Yc）和d（Xd，Yd），从而形成眼球位置在眼眶内的参考坐标区间，并确定眼球位置在眼眶内的参考坐标与焦点位于屏幕显示区域之间存在映射关系：

（Xj-Xh）/(Xm-Xh)=（Xc-Xa）/(Xn-Xa)

（Yi-Yh）/(Ym-Yh)=（Yb-Ya）/(Yn-Ya)。

也就是说，当眼球在眼眶内的参考坐标区间内移动至n时即可映射到屏幕特定的精确位置m。因此，通过摄像头可以精确获得眼球在眼眶中位置n的坐标（Xn,Yn），根据n的坐标（Xn,Yn）得到m的坐标（Xm，Ym）为：

Xm=（Xj-Xh）(Xn-Xa)/（Xc-Xa）+Xh

Ym=（Yi-Yh）(Yn-Ya)/（Yb-Ya）+Yh。

S200、判断所述区域是否处于预设标识区域，其中，所述预设标识区域为用于表示用户集中注意力的区域。

具体地，判断所述区域是否处于预设标识区域指的是判断眼球焦点是否处于预设标识区域。其具体可以包括如下步骤：

S201、将所述区域与预设标识区域进行匹配，以得到所述区域属于预设标识区域的子区域。

具体地，所述将所述区域与预设标识区域进行匹配指的将获取所述区域与预设标识区域的重合区域，将其记为所述区域属于预设标识区域的子区域。在实际应用中，可以通过所述区域的坐标信息以及预设标识区域信息来获取所述区域与预设标识区域的重合区域。根据坐标获取两个区域的重合区域为本领域公知常识，这里就不赘述。

S202、计算所述子区域占所述区域的比重，并将所述比重与预设阈值进行比较，以判断所述区域是否处于预设标识区域。

具体地，所述计算所述子区域占所述区域的比重指的是将所述子区域的面积与所述区域的面积进行比较，获取子区域的面积占区域面积的百分比。并将所述百分比与预设阈值进行比较，以判断所述区域是否处于预设标识区域。这里，所述预设阈值为预先默认设定的，其可以根据使用场景以及用户不同而设置不同的值。在本实施例中，所述预先阈值可以为80%。

S300、当所述区域未处于标识区域内时，提示用户未集中注意力。

具体地，所述提示用户为集中注意力指的是通过教学用头戴式设备内置的振动器振动提示用于未集中注意力，并向预先终端设备发送提示信息。也就是说，所述提示用户未集中注意力可以分为两种方式，第一方式：给头戴设备用户本身的反馈提醒；第二种方式：给第三方教学监督者的学员状态信息提醒，所述第三方监督者可以为远程监督，也可以为近距离监督。

对于头戴设备用户本身，包括但不限于设备本身的轻微振动（触发振动单元）、声音、画面显示等；对于远程监督者可将用户状态信息通过设备携带的通信模块，无线或有线的方式发送给监督者用于存储或展示，同时可结合用户眼球的生物唯一性信息精确到个人，此方式适合作为汇总统计改善使用（如用于教学课件吸引力统计，用户注意力排名，某用户注意力时段变化等等），实时性偏低；对于近距离监督者，可使用设备外壳的发光单元进行闪烁或颜色变化，让监督者实时了解学员的注意力情况并加以督促

在本发明另一实施例中，为了提高判断的准确性，当所述区域未处于标识区域内时，可以持续获取眼球焦点所处区域，若一段时间内所述眼球焦点区域都未处于预设标识区域内，则判定用户未集中注意力。所述一段时间可以为1分钟等。进一步，也可以判断预定时间内存储超过预设时间阈值的时间未在预设标识区域内，则判定用户未集中注意力。例如，连续获取1分钟用户眼球焦点所处区域，若40秒钟以上用户眼球焦点所处区域未落在预设标识区域内，则判定用户未集中注意力。当然，所述时间阈值还可以为20秒，30秒等。这里是以一分钟为例对时间阈值进行说明的。

本发明还提供了一种基于教学用头戴式设备的提示系统，如图5所示，其包括：

获取模块100，用于通过佩戴的教学用头戴式设备获取用户眼球焦点所处区域；

判断模块200，用于判断所述区域是否处于预设标识区域，其中，所述预设标识区域为用于表示用户集中注意力的区域；

提示模块300，用于当所述区域未处于标识区域内时，提示用户未集中注意力。

所述基于教学用头戴式设备的提示系统，其中，所述获取模块具体用于：

通过佩戴的教学用头戴式设备通过所述教学用头戴式设备内置摄像头获取用户眼球焦点所处区域。

所述基于教学用头戴式设备的提示系统，其中，所述获取模块具体包括：

行为获取单元，用于通过佩戴的教学用头戴式设备获取用户的眼球行为；

判断单元，用于判断所述眼球行为是否为睁眼行为；

焦点获取单元，用于当所述眼球行为为睁眼行为时，获取用户眼球焦点所处区域。

所述基于教学用头戴式设备的提示系统，其中，所述判断模块具体包括：

匹配单元，用于将所述区域与预设标识区域进行匹配，以得到所述区域属于预设标识区域的子区域；

计算单元，用于计算所述子区域占所述区域的比重，并将所述比重与预设阈值进行比较，以判断所述区域是否处于预设标识区域。

所述基于教学用头戴式设备的提示系统，其中，所述提示模块具体用于：

当所述区域未处于标识区域内时，通过教学用头戴式设备内置的振动器振动提示用于未集中注意力，并向预先终端设备发送提示信息。

本发明提供了一种基于教学用头戴式设备的提示方法及系统，其通过对教学内容重点区域进行标记，当教学的头戴式设备处于使用状态时，检测用户眼睛聚焦状态及是否跟随标记内容区域，检测出用户是否集中注意力于教学内容，对用户进行实时提醒，解决了现有用于教学的头戴设备无法及时有效提醒用户集中注意力，给教学效果带来较大影响的问题。

在本发明所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于教学用头戴式设备的提示方法，其特征在于，其包括：

通过佩戴的教学用头戴式设备获取用户眼球焦点所处区域；

判断所述区域是否处于预设标识区域，其中，所述预设标识区域为用于表示用户集中注意力的区域；

当所述区域未处于标识区域内时，提示用户未集中注意力。

2.根据权利要求1所述基于教学用头戴式设备的提示方法，其特征在于，所述通过佩戴的教学用头戴式设备获取用户眼球焦点所处区域具体为：

通过佩戴的教学用头戴式设备通过所述教学用头戴式设备内置摄像头获取用户眼球焦点所处区域。

3.根据权利要求1或2所述基于教学用头戴式设备的提示方法，其特征在于，所述通过佩戴的教学用头戴式设备获取用户眼球焦点所处区域具体包括：

通过佩戴的教学用头戴式设备获取用户的眼球行为；

判断所述眼球行为是否为睁眼行为；

当所述眼球行为为睁眼行为时，获取用户眼球焦点所处区域。

4.根据权利要求1所述基于教学用头戴式设备的提示方法，其特征在于，所述判断所述区域是否处于预设标识区域，其中，所述预设标识区域为用于表示用户集中注意力的区域具体包括：

将所述区域与预设标识区域进行匹配，以得到所述区域属于预设标识区域的子区域；

计算所述子区域占所述区域的比重，并将所述比重与预设阈值进行比较，以判断所述区域是否处于预设标识区域；

所述区域未处于标识区域内具体为：所述比重小于预设阈值。

5.根据权利要求1或4所述基于教学用头戴式设备的提示方法，其特征在于，所述当所述区域未处于标识区域内时，提示用户未集中注意力具体包括：

当所述区域未处于标识区域内时，通过教学用头戴式设备内置的振动器振动提示用于未集中注意力，并向预先终端设备发送提示信息。

6.一种基于教学用头戴式设备的提示系统，其特征在于，其包括：

获取模块，用于通过佩戴的教学用头戴式设备获取用户眼球焦点所处区域；

判断模块，用于判断所述区域是否处于预设标识区域，其中，所述预设标识区域为用于表示用户集中注意力的区域；

提示模块，用于当所述区域未处于标识区域内时，提示用户未集中注意力。

7.根据权利要求6所述基于教学用头戴式设备的提示系统，其特征在于，所述获取模块具体用于：

通过佩戴的教学用头戴式设备通过所述教学用头戴式设备内置摄像头获取用户眼球焦点所处区域。

8.根据权利要求6或7所述基于教学用头戴式设备的提示系统，其特征在于，所述获取模块具体包括：

行为获取单元，用于通过佩戴的教学用头戴式设备获取用户的眼球行为；

判断单元，用于判断所述眼球行为是否为睁眼行为；

焦点获取单元，用于当所述眼球行为为睁眼行为时，获取用户眼球焦点所处区域。

9.根据权利要求6所述基于教学用头戴式设备的提示系统，其特征在于，所述判断模块具体包括：

匹配单元，用于将所述区域与预设标识区域进行匹配，以得到所述区域属于预设标识区域的子区域；

计算单元，用于计算所述子区域占所述区域的比重，并将所述比重与预设阈值进行比较，以判断所述区域是否处于预设标识区域。

10.根据权利要求6或9所述基于教学用头戴式设备的提示系统，其特征在于，所述提示模块具体用于：

当所述区域未处于标识区域内时，通过教学用头戴式设备内置的振动器振动提示用户未集中注意力，并向预先终端设备发送提示信息。