CN110717349A - 一种桌垫和状态监测方法 - Google Patents

Abstract

本发明提供了一种桌垫和状态监测方法，桌垫本体上固定有外壳，外壳的前盖板上安装有图像采集装置，该图像采集装置与桌面存在预设夹角，以使得该图像采集装置对准使用该桌垫的用户，以采集使用该桌垫的用户图像，外壳内安装有主板，该主板包括处理器，该处理器对所采集的用户图像进行分析，监测用户的行为状态，以提醒用户纠正不正确的工作或者学习的状态，保持眼睛和身体骨骼健康，提高工作或者学习的效率。

Description

一种桌垫和状态监测方法

技术领域

本发明涉及电学技术领域，特别是涉及一种桌垫和状态监测方法。

背景技术

用户在工作或者学习过程中，坐姿的正确与否，会对眼睛和身体骨骼的健康产生不同的影响。对于青少年来说，学习的时候坐姿不正确，有可能导致眼睛近视，脊柱弯曲等问题；而对于成年人来说，工作的时候坐姿不正确，有可能导致视疲劳，还有可能导致颈椎，脊椎，腰椎等疾病。而注意力是否集中，会影响工作或者学习的效率。

因此，如何监测用户的工作或者学习的状态，是目前亟待解决的问题之一。

发明内容

本发明实施例提供了一种桌垫和状态监测方法，能够实时监测用户的工作或者学习的状态，以提醒用户纠正不正确的工作或者学习的状态，保持眼睛和身体骨骼健康，提高工作或者学习的效率。

一种桌垫，所述桌垫包括：

图像采集装置，主板，外壳，以及桌垫本体；所述主板安装在所述外壳内，所述主板包括处理器；所述图像采集装置安装在所述外壳的前盖板上，与所述处理器相连；所述外壳固定在所述桌垫本体上；所述桌垫本体放置在桌面时，所述图像采集装置与所述桌面存在预设夹角；

所述图像采集装置，用于采集用户图像，将所述用户图像发送至所述处理器；

所述处理器，用于对所述用户图像进行分析，监测用户的行为状态。

可选的，

所述图像采集装置包括第一摄像头和第二摄像头；

所述第一摄像头用于采集第一用户图像；

所述第二摄像头用于采集第二用户图像；

所述处理器，还用于对所述第一用户图像和所述第二用户图像进行分析，获得用户的行为状态。

可选的，

所述处理器，还用于确定所述第一用户图像和所述第二用户图像中所述用户的眼睛位置，根据所述用户的眼睛位置确定所述用户的眼睛与所述图像采集装置的第一距离，以及所述用户的关注对象与所述图像采集装置的第二距离，根据所述第一距离和所述第二距离确定所述用户的眼睛与所述用户的关注对象的第三距离，当所述第三距离小于预设视觉距离时，所述用户处于不规范的行为状态。

可选的，

所述处理器对所述第一用户图像进行人脸检测处理，识别所述第一用户图像中的眼睛位置，确定所述第一用户图像中的第一眼睛特征点集合，所述第一眼睛特征点集合包括第一用户图像中眼睛的特征点的特征向量；对所述第二用户图像进行人脸检测处理，识别所述第二用户图像中的眼睛位置，确定所述第二用户图像中第二眼睛特征点集合，所述第二眼睛特征点集合包括第二用户图像中眼睛的特征点的特征向量；将第一眼睛特征点集合和第二眼睛特征点集合进行特征点匹配，获得所述用户的眼睛特征点的特征向量；根据所述眼睛特征点的特征向量确定所述用户的眼睛与所述图像采集装置的第一距离。

可选的，

所述处理器，还用于获取预设时间段内采集的多个所述第一用户图像和多个所述第二用户图像，分别确定同一时刻所采集的所述第一用户图像和所述第二用户图像中所述用户的眼睛位置，识别预设时间段内采集的所述第一用户图像和所述第二用户图像中，所述用户的眼睛的睁眼次数和/或闭眼次数，确定所述用户是否处于视觉疲劳状态，当所述用户处于视觉疲劳状态时，所述用户处于不规范的行为状态。

可选的，

所述处理器，还用于获取预设时间段内采集的多个所述第一用户图像和多个所述第二用户图像，分别确定同一时刻所采集的所述第一用户图像和所述第二用户图像中所述用户的眼睛位置，根据每个时刻所采集的所述第一用户图像和所述第二用户图像中所述用户的眼睛位置，确定该时刻所述用户的视点的坐标，根据所述预设时间段内确定的所述视点的个数和各个所述视点的坐标，确定所述用户的视线熵，根据所述用户的视线熵确定所述用户是否注意力集中，当所述用户注意力不集中时，所述用户处于不规范的行为状态。

可选的，

所述处理器，还用于确定所述第一用户图像和所述第二用户图像中所述用户的头部位置和/或肩部位置，将所述头部位置和/或所述肩部位置与预设坐姿模型进行比对，当所述头部位置和/或所述肩部位置与所述预设坐姿模型的位置偏差大于预设位置偏差时，所述用户处于不规范的行为状态。

可选的，

所述处理器，还用于确定所述第一用户图像和所述第二用户图像中所述用户的头部位置和肩部位置，根据所述头部位置和所述肩部位置确定第四距离，当所述第四距离大于预设头肩距时，所述用户处于不规范的行为状态。

可选的，

所述桌垫还包括红外光源；

所述第一摄像头是红外摄像头；

所述第二摄像头是红外摄像头。

可选的，

所述桌垫还包括扬声器；

所述处理器，还用于当所述用户处于不规范的行为状态时，通过所述扬声器提醒所述用户所述不规范的行为状态。

可选的，

所述主板还包括通信器；

所述处理器，还用于当所述用户处于不规范的行为状态时，通过所述通信器，采用指定方式向指定设备发送所述用户所述不规范的行为状态。

一种状态监测方法，所述方法包括：

获取所采集的用户图像；

对所述用户图像进行分析，监测用户的行为状态。

可选的，所述获取所采集的用户图像包括：

获取第一摄像头所采集的第一用户图像；

获取第二摄像头所采集的第二用户图像。

可选的，所述对所述用户图像进行分析，监测用户的行为状态包括：

确定所述第一用户图像和所述第二用户图像中所述用户的眼睛位置；

根据所述用户的眼睛位置确定所述用户的眼睛与所述图像采集装置的第一距离，以及所述用户的关注对象与所述图像采集装置的第二距离；

根据所述第一距离和所述第二距离确定所述用户的眼睛与所述用户的关注对象的第三距离，当所述第三距离小于预设视觉距离时，所述用户处于不规范的行为状态。

可选的，所述根据所述用户的眼睛位置确定所述用户的眼睛与所述图像采集装置的第一距离包括：

对所述第一用户图像进行人脸检测处理，识别所述第一用户图像中的眼睛位置，确定所述第一用户图像中的第一眼睛特征点集合，所述第一眼睛特征点集合包括第一用户图像中眼睛的特征点的特征向量；

对所述第二用户图像进行人脸检测处理，识别所述第二用户图像中的眼睛位置，确定所述第二用户图像中第二眼睛特征点集合，所述第二眼睛特征点集合包括第二用户图像中眼睛的特征点的特征向量；

将第一眼睛特征点集合和第二眼睛特征点集合进行特征点匹配，获得所述用户的眼睛特征点的特征向量；

根据所述眼睛特征点的特征向量确定所述用户的眼睛与所述图像采集装置的第一距离。

可选的，所述对所述用户图像进行分析，监测用户的行为状态包括：

确定所述第一用户图像和所述第二用户图像中所述用户的眼睛位置；

识别预设时间段内采集的所述第一用户图像和所述第二用户图像中，所述用户的眼睛的睁眼次数和/或闭眼次数，确定所述用户是否处于视觉疲劳状态，当所述用户处于视觉疲劳状态时，所述用户处于不规范的行为状态。

可选的，所述对所述用户图像进行分析，监测用户的行为状态包括：

获取预设时间段内采集的多个所述第一用户图像和多个所述第二用户图像；

分别确定同一时刻所采集的所述第一用户图像和所述第二用户图像中所述用户的眼睛位置；

根据每个时刻所采集的所述第一用户图像和所述第二用户图像中所述用户的眼睛位置，确定该时刻所述用户的视点的坐标；

根据所述预设时间段内确定的所述视点的个数和各个所述视点的坐标，确定所述用户的视线熵，根据所述用户的视线熵确定所述用户是否注意力集中，当所述用户注意力不集中时，所述用户处于不规范的行为状态。

可选的，所述对所述用户图像进行分析，监测用户的行为状态包括：

确定所述第一用户图像和所述第二用户图像中所述用户的头部位置和/或肩部位置；

将所述头部位置和/或所述肩部位置与预设坐姿模型进行比对，当所述头部位置和/或所述肩部位置与所述预设坐姿模型的位置偏差大于预设位置偏差时，所述用户处于不规范的行为状态。

可选的，所述对所述用户图像进行分析，监测用户的行为状态包括：

确定所述第一用户图像和所述第二用户图像中所述用户的头部位置和肩部位置；

根据所述头部位置和所述肩部位置确定第四距离，当所述第四距离大于预设头肩距时，所述用户处于不规范的行为状态。

可选的，所述方法还包括：

当所述用户的行为状态为不规范的行为状态时，向扬声器发送提醒指令，所述提醒指令用于指示所述扬声器提醒所述用户所述不规范的行为状态。

可选的，所述方法还包括：

当所述用户的行为状态为不规范的行为状态时，通过通讯器向指定设备发送所述用户不规范的行为状态。

由上述内容可知，本发明有如下有益效果：

本发明提供了一种桌垫和状态监测方法，桌垫本体上固定有外壳，外壳的前盖板上安装有图像采集装置，该图像采集装置与桌面存在预设夹角，以使得该图像采集装置对准使用该桌垫的用户，以采集使用该桌垫的用户图像，外壳内安装有主板，该主板包括处理器，该处理器对所采集的用户图像进行分析，监测用户的行为状态，以提醒用户纠正不正确的工作或者学习的状态，保持眼睛和身体骨骼健康，提高工作或者学习的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实例提供的桌垫结构爆炸图；

图2为发明实施例提供的桌垫示意图；

图3为本发明实施例提供的状态监测的方法流程图。

具体实施方式

为了给出监测用户工作或学习状态的实现方案，本发明实施例提供了一种桌垫和状态监测方法，以下结合说明书附图对本发明的优选实施例进行说明。

在日常的工作或者学习时，需要用户采用规范的行为状态，一方面，要求用户采用正确的坐姿，例如，眼睛与该用户关注对象的距离符合正确的坐姿要求，避免对眼睛造成伤害；头部与肩部的相对位置关系符合正确的坐姿要求，避免脊椎骨骼变形等；另一方面，还要求用户在工作或学习的过程中保持注意力集中，提高工作或学习的效率。举例说明，对于青少年来说，在学习的时候采用正确的坐姿，可以有效的避免眼睛近视，脊椎骨骼弯曲导致的驼背等问题。

目前，监测用户在工作或者学习中的行为状态，一种情况下，依靠用户的自律能力，关注自身行为状态并及时调整；或者，另一种情况下，靠其他人员监控，在用户行为状态不规范时进行提醒矫正。上述监测行为状态的方式，对于自律能力差的用户来说，时刻需要其他人员的监控，浪费监控人员的时间，在无人监控时，该用户经常会出现不规范的行为状态。

为了解决上述问题，本发明提供了一种桌垫，以及基于该桌垫的监测状态的方法。桌垫本体上固定有外壳，外壳的前盖板上安装有图像采集装置，该图像采集装置与桌面存在预设夹角，以使得该图像采集装置对准使用该桌垫的用户，以采集使用该桌垫的用户图像，外壳内安装有主板，该主板包括处理器，该处理器对所采集的用户图像进行分析，监测用户的行为状态，以智能提醒用户纠正不正确的工作或者学习的状态，保持眼睛和身体骨骼健康，提高工作或者学习的效率。

下面结合具体实例进行详细说明。

示例性装置

图1为本发明实例提供的桌垫结构爆炸图，该桌垫包括图像采集装置101，主板102，外壳103以及桌垫本体104。

主板103安装在外壳103内，主板103包括处理器。图像采集装置101安装在外壳103的前盖板上，与处理器相连。外壳103固定在桌垫本体104上。桌垫本体104放置在桌面时，图像采集装置101与桌面存在预设夹角。

由图1所示，桌垫包括桌垫本体104，用户将该桌垫放置在桌面时，桌垫本体104平铺在桌面上。外壳103安装在该桌垫本体104上，如图1所示，外壳103包括前盖板105，壳体，以及后盖板。前盖板105，壳体和后盖板可以组装成一个整体，形成内部中空的外壳103。

其中，图像采集装置101安装在外壳103的前盖板105上。在一个实例中，该前盖板105与壳体，后盖板组合在一起形成一个整体后，该前盖板105与桌面存在一个预设夹角，图像采集装置101安装在该前盖板105上，则图像采集装置101的视场中轴线也与桌面存在一个预设夹角。这样，该图像采集装置101的视场可以正对用户，更全面的采集用户图像，所采集的用户图像至少包括用户的脸部和肩部。例如，该预设夹角为30度。

在一个实例中，该图像采集设备101可以是结构光摄像头，该结构光摄像头可以采集用户图像。结构光摄像头存在测距的功能，能够确定人眼与用户的关注对象之间的距离。

在另一个实例中，该图像采集设备101还可以是TOF(time of fl ight)摄像头。TOF摄像头存在测距的功能，也能够确定人眼与用户的关注对象之间的距离。

在又一个实例中，该图像采集设备101包括第一摄像头和第二摄像头，在桌垫的外壳103的前盖板105上，第一摄像头和第二摄像头沿着与桌面平行的方向对称的设置。桌垫放置在桌面上时，第一摄像头和第二摄像头距离桌面的高度一致。第一摄像头采集使用该桌垫的用户的第一用户图像。第二摄像头采集使用该桌垫的用户的第二用户图像。将第一用户图像和第二用户图像都作为用户图像。

在一个实例中，桌垫还包括红外光源，此时，第一摄像头和第二摄像头都是红外摄像头，该红外光源为第一摄像头和第二摄像头提供光源。

主板103包括处理器，该处理器与图像采集装置101相连，图像采集装置101将采集的用户图像发送至主板103上的处理器。可以立即的是，主板103除了包括处理器以外，还可以设置给桌垫的用电设备提供电能的电源，以及各个部件之间配合使用的必要的电路等。在一个例子中，为了更适应图像采集设备101的图像采集需求，该主板103上的处理器可以采用ARM(advanced RISC machine)处理器。

主板103上的处理器接收图像采集设备101所采集的用户图像，对该用户图像进行分析，监测用户的行为状态，监测用户是否处于不规范的行为状态。进一步的，当用户处于不规范的行为状态时，可以提醒该用户改正当前的行为状态，或者，通知该用户的监督者，监督用户改正当前的行为状态。可以理解的是，当图像采集设备101包括第一摄像头和第二摄像头时，主板103上的处理器，需要对第一摄像头采集的第一用户图像和第二摄像头所采集的用户图像进行分析，监测用户的行为状态。

下面对处理器监测用户的行为状态的实例进行逐一说明。

第一种场景下，处理器监测用户的眼睛与用户的关注对象之间的第三距离，包括：

所述处理器，还用于确定所述第一用户图像和所述第二用户图像中所述用户的眼睛位置，根据所述用户的眼睛位置确定所述用户的眼睛与所述图像采集装置的第一距离，以及所述用户的关注对象与所述图像采集装置的第二距离，根据所述第一距离和所述第二距离确定所述用户的眼睛与所述用户的关注对象的第三距离，当所述第三距离小于预设视觉距离时，所述用户处于不规范的行为状态。

处理器接收同一时刻下，第一摄像头采集的第一用户图像和第二摄像头所采集的第二用户图像。这里需要说明的是，第一用户图像和第二用户图像中的“第一”和“第二”，并不代表顺序，而是第一摄像头所采集的用户图像统称为第一用户图像，第二摄像头所才觉得用户图像统称为第二用户图像。

处理器对第一用户图像和第二用户图像采用人脸检测算法，检测第一用户图像中人脸的预设关键点，识别第一用户图像中用户的眼睛位置，并且，检测第二用户图像中人脸的预设关键点，识别第二用户图像中用户的眼睛位置。可以理解的是，在识别第一用户图像中用户的眼睛位置和第二用户图像中用户的眼睛位置时，所检测的预设关键点都是预先设置的，并且第一用户图像和第二用户图像所检测的预设关键点都相同。可以理解的是，该预设关键点的个数可以根据实际需要具体设置，这里不进行限定。例如，预设关键点包括83个关键点。处理器检测用户图像中的预设关键点可以识别头部轮廓，还可以根据属于眼睛的预设关键点，识别眼睛位置。

处理器根据第一用户图像中眼睛位置和第二用户图像中眼睛位置，确定用户的眼睛与图像采集装置101之间的距离作为第一距离(后续详细说明)。处理器还可以检测用户关注对象与图像采集装置之间的距离作为第二距离，即在第一用户图像或第二用户图像中，关注对象与图像采集装置之间的距离。然后根据第一距离和第二距离，确定用户的眼睛与用户的关注对象之间的距离作为第三距离。可以理解的是，用户在学习或者工作时，眼睛与关注对象之间需要保持一定的距离，若距离太近会导致眼睛近视。因此，设定一个预设视觉距离，即眼睛与关注对象之间的最短距离，当第三距离小于该预设视觉距离时，则表示用户与关注对象之间的距离太近，会影响眼睛健康，此时，用于处于不规范的行为状态，需要调整用户的眼睛与关注对象之间的距离。

下面详细描述如何确定用户眼睛与图像采集装置的第一距离，包括：

所述处理器对所述第一用户图像进行人脸检测处理，识别所述第一用户图像中的眼睛位置，确定所述第一用户图像中的第一眼睛特征点集合，所述第一眼睛特征点集合包括第一用户图像中眼睛的特征点的特征向量；对所述第二用户图像进行人脸检测处理，识别所述第二用户图像中的眼睛位置，确定所述第二用户图像中第二眼睛特征点集合，所述第二眼睛特征点集合包括第二用户图像中眼睛的特征点的特征向量；将第一眼睛特征点集合和第二眼睛特征点集合进行特征点匹配，获得所述用户的眼睛特征点的特征向量；根据所述眼睛特征点的特征向量确定所述用户的眼睛与所述图像采集装置的第一距离。

采用人脸检测处理，对第一用户图像的预设特征点进行识别，确定第一用户图像的眼睛位置，采用ORB(oriented fast and rotate brief)算法对第一用户图像中的眼睛位置处进行特征提取，获得第一用户图像的眼睛的第一眼睛特征点集合，包括眼睛特征点及对应的特征点描述信息；获得第二用户图像的眼睛的第二眼睛特征点集合，包括眼睛特征点及对应的特征点描述信息。

其中，分别对第一用户图像和第二用户图像所采用的ORB算法如下：

采用公式(1)确定眼睛位置处每个预设特征点的矩：

其中，m_pq是一个预设特征点的矩；x表示p和q确定的预设特征点附近的像素与该预设特征点在x方向上的距离；y表示p和q确定的预设特征点附近的像素与该预设特征点在y方向上的距离；p和q的取值都分别为0,1,2。

采用公式(2)确定预设特征点在p和q所确定的区域的灰度质心C：

其中，m₁₀是p＝1，q＝0时采用公式(1)计算的矩；m₀₁是p＝0，q＝1时采用公式(1)计算的矩；m₀₀是p＝0，q＝0时采用公式(1)计算的矩。

采用公式(3)确定特征点的方向θ：

θ＝atan2(m₀₁,m₁₀) (3)

m₁₀是p＝1，q＝0时采用公式(1)计算的矩；m₀₁是p＝0，q＝1时采用公式(1)计算的矩。

其中，特征点的方向θ是灰度质心C与图像的水平轴的夹角。

则采用公式(4)确定特征点描述信息：

其中，P(x)是x点的灰度值，P(y)是y点的灰度值，x点和y点的取值，分别以该预设特征点为圆心，31个像素为半径，按照高斯分布选取。

采用上述ORB方式分别对第一用户图像的眼睛位置处和第二用户图像中的眼睛位置处进行特征提取后，得到第一用户图像的眼睛的第一眼睛特征点集合和第二用户图像的眼睛的第二眼睛特征点集合。根据第一眼睛特征点集合中特征点描述信息和第二眼睛特征点集合中特征点描述信息，将第一眼睛特征点集合和第二眼睛特征点集合进行匹配。其中，相匹配的眼睛特征点，对应于实际场景中用户眼睛的同一个位置。

第一眼睛特征点集合和第二眼睛特征点集合中存在多对相匹配的特征点，根据每一对相匹配的特征点，确定一个用户的眼睛与图像采集装置的距离。然后，将每一对相匹配的特征点确定的距离求平均，即为用户的眼睛和图像采集装置之间的距离。

采用公式(5)计算用户的眼睛和图像采集装置之间的距离Z：

其中，f是第一摄像机和第二摄像机的焦距，T是第一摄像机和第二摄像机光心之间的距离；x_l是特征点在第一摄像机投影位置的x坐标；x_r是特征点在第二摄像机投影位置的x坐标。

这里需要说明的是，本发明实施例的中的关注对象，是用户视线关注的对象，例如：书籍，电脑等。

第二种场景下，处理器监测用户的视觉疲劳状态，包括：

所述处理器，还用于获取预设时间段内采集的多个所述第一用户图像和多个所述第二用户图像，分别确定同一时刻所采集的所述第一用户图像和所述第二用户图像中所述用户的眼睛位置，识别预设时间段内采集的所述第一用户图像和所述第二用户图像中，所述用户的眼睛的睁眼次数和/或闭眼次数，确定所述用户是否处于视觉疲劳状态，当所述用户处于视觉疲劳状态时，所述用户处于不规范的行为状态。

图像采集设备在预设时间段内采集多幅第一用户图像和第二用户图像，可以理解的是，在预设时间段内，每个图像采集时刻，图像采集设备都可以采集一个第一用户图像和一个第二用户图像。处理器检测预设时间段内每个采集的第一用户图像的眼睛位置，以及第二用户图像的眼睛位置。

对于预设时间段内每个图像采集时刻所采集的一个第一用户图像和第二用户图像执行如下处理：

处理器对第一用户图像和第二用户图像采用人脸检测算法，检测第一用户图像中人脸的预设关键点，识别第一用户图像中用户的眼睛位置，并且，检测第二用户图像中人脸的预设关键点，识别第二用户图像中用户的眼睛位置。可以理解的是，在识别第一用户图像中用户的眼睛位置和第二用户图像中用户的眼睛位置时，所检测的预设关键点都是预先设置的，并且第一用户图像和第二用户图像所检测的预设关键点都相同。可以理解的是，该预设关键点的个数可以根据实际需要具体设置，这里不进行限定。例如，预设关键点包括83个关键点。处理器检测用户图像中的预设关键点可以识别头部轮廓，还可以根据属于眼睛的预设关键点，识别眼睛位置。

在该图像采集时刻，根据按照上述方法所检测到的第一用户图像的眼睛位置，以及第二用户图像的眼睛位置，确定该图像采集时刻对应的用户的眼睛高度，其中，用户的眼睛高度为用户的上眼皮和下眼皮之间的距离。

按照上述方法获得预设时间段内每个图像采集时刻对应的用户的眼睛高度。并且，计算该预设时间段内，用户的眼睛高度的平均值作为眼睛平均高度。根据每个图像采集时刻用户的眼睛高度与该眼睛平均高度，确定每个图像采集时刻用户的眼睛状态，即在该图像采集时刻用户是处于睁眼状态还是闭眼状态。在一个实例中，若一个图像采集时刻对应的用户的眼睛高度与眼睛平均高度的比值的百分数小于第一预设值，则在该图像采集时刻，用户处于闭眼状态。若一个图像采集时刻对应的用户的眼睛高度与眼睛平均高度的比值不小于第一预设值，则在该图像采集时刻，用户处于睁眼状态。其中，第一预设值可以根据实际情况具体设置，这里不进行限定。例如，该预设值可以是15％。

确定每个图像采集时刻，用户的眼睛状态后，统计用户处于睁眼状态的次数作为用户的眼睛的睁眼次数，统计用户处于闭眼状态的次数作为用户的眼睛的闭眼次数，根据睁眼次数和/或闭眼次数，确定用户是否处于视觉疲劳状态。例如：若闭眼次数与预设时间段内图像采集总次数的比值大于第二预设值时，表示用户处于视觉疲劳状态。若闭眼次数与预设时间段内图像采集总次数的比值不大于第二预设值时，表示用户处于非视觉疲劳状态。其中，第二预设值可以根据实际需要具体设置，这里不进行具体限定，例如，第二预设值为0.35。再例如：若睁眼次数与预设时间段内图像采集总次数的比值小于第三预设值时，表示用户处于视觉疲劳状态。若睁眼次数与预设时间段内图像采集总次数的比值不小于第三预设值时，表示用户处于非视觉疲劳状态。其中，第三预设值可以根据实际需要具体设置，这里不进行具体限定，例如，第三预设值为0.65。当然，还可以根据闭眼次数与睁眼次数的比确定用户是否处于视觉疲劳状态，这里不再赘述。

当用户处于视觉疲劳状态时，需要提醒用户适当休息或者提高精神，改善视觉疲劳。

第三种场景下，处理器监测用户的注意力，包括：

所述处理器，还用于获取预设时间段内采集的多个所述第一用户图像和多个所述第二用户图像，分别确定同一时刻所采集的所述第一用户图像和所述第二用户图像中所述用户的眼睛位置，根据每个时刻所采集的所述第一用户图像和所述第二用户图像中所述用户的眼睛位置，确定该时刻所述用户的视点的坐标，根据所述预设时间段内确定的所述视点的个数和各个所述视点的坐标，确定所述用户的视线熵，根据所述用户的视线熵确定所述用户是否注意力集中，当所述用户注意力不集中时，所述用户处于不规范的行为状态。

图像采集设备在预设时间段内采集多幅第一用户图像和第二用户图像，可以理解的是，在预设时间段内，每个图像采集时刻，图像采集设备都可以采集一个第一用户图像和一个第二用户图像。处理器检测预设时间段内每个采集的第一用户图像的眼睛位置，以及第二用户图像的眼睛位置。其中，第二场景和第三场景中的预设时间段可以是相同的时间段，也可以是不同的时间段，并且，预设时间段持续的时长可以相同也可以不同。

对于预设时间段内每个图像采集时刻所采集的一个第一用户图像和第二用户图像执行如下处理：

处理器对第一用户图像和第二用户图像采用人脸检测算法，检测第一用户图像中人脸的预设关键点，识别第一用户图像中用户的眼睛位置，并且，检测第二用户图像中人脸的预设关键点，识别第二用户图像中用户的眼睛位置。可以理解的是，在识别第一用户图像中用户的眼睛位置和第二用户图像中用户的眼睛位置时，所检测的预设关键点都是预先设置的，并且第一用户图像和第二用户图像所检测的预设关键点都相同。可以理解的是，该预设关键点的个数可以根据实际需要具体设置，这里不进行限定。例如，预设关键点包括83个关键点。处理器检测用户图像中的预设关键点可以识别头部轮廓，还可以根据属于眼睛的预设关键点，识别眼睛位置。

根据预设时间段内每个图像采集时刻所采集的第一用户图像的眼睛位置和第二用户图像的眼睛位置，确定用户的视点的坐标。根据预设时间段内图像采集的次数，即确定的视点的个数，以及各个视点的坐标，采用公式(6)确定用户的视线熵：

其中，V是视线熵，m是预设时间段内确定的视点的个数，p_i是视点的坐标，

是预设时间段内视点的坐标的平均值。

当用户的视线熵大于第四预设值时，表示用户的视点位置变化很大，用户经常东张西望，注意力不集中，处于不规范的行为状态。当用户的视线熵不大于第四预设值时，表示用户视点的位置变化不大，注意力集中，处于规范的行为状态。

下面详细描述如何根据同一个图像采集时刻对应的第一用户图像的眼睛位置和第二用户图像的眼睛位置确定该图像采集时刻用户的视点的坐标。

通过检测第一用户图像和第二用户图像中的预设关键点，确定属于眼睛的预设关键点，从而确定第一用户图像的眼睛位置和第二用户图像的眼睛位置，进一步的，根据第一用户图像的眼睛位置和第二用户图像的眼睛位置确定用户的瞳孔中心。例如：可以先确定第一用户图像中眼睛的瞳孔中心，以及第二用户图像中眼睛的瞳孔中心，进一步的，确定用户在实际场景中真实的瞳孔中心。再例如，可以先确定用户在实际场景中真实的眼睛位置，再根据真实的眼睛位置确定真实的瞳孔中心，每个眼睛对应一个瞳孔中心。

确定眼睛的眼球球心，例如，根据第一用户图像中眼睛上各预设关键点的位置，以及第二用户图像中眼睛上各预设关键点的位置，确定实际场景中真实的眼球球心，每个眼睛对应一个眼球球心。

根据一个眼睛的瞳孔中心与眼球球心确定第一连线，根据另一个眼睛的瞳孔中心与眼球球心确定第二连线，第一连线和第二连线的交点的坐标即为该图像采集时刻对应的视点的坐标。按照上述方法，确定预设时间段内，每个图像采集时刻对应的视点的坐标，以监测用户的注意力是否集中。

第四种场景下，处理器监测用户坐姿是否端正，包括：

所述处理器，还用于确定所述第一用户图像和所述第二用户图像中所述用户的头部位置和/或肩部位置，将所述头部位置和/或所述肩部位置与预设坐姿模型进行比对，当所述头部位置和/或所述肩部位置与所述预设坐姿模型的位置偏差大于预设位置偏差时，所述用户处于不规范的行为状态。

对于任意一个图像采集时刻采集的第一用户图像和第二用户图像，分别进行预设关键点检测，此时，该预设关键点可以仅包括头部的预设关键点，确定用户的头部位置；还可以仅包括肩部的预设关键点，确定用户的肩部位置；也可以既包括头部的预设关键点也包括肩部的预设关键点，确定用户的头部位置和肩部位置。

将头部位置和/或肩部位置，与预设坐姿模型进行比对，当头部位置和/或肩部位置与预设的坐姿模型的位置偏差大于预设的位置偏差时，用户处于不规范的行为状态；当头部位置和/或肩部位置与预设的坐姿模型的位置偏差不大于预设的位置偏差时，用户处于规范的行为状态。

其中，预设坐姿模型，是通过对大量的规范坐姿的用户图像训练得到的，获取大量的用户在规范坐姿下的用户图像，对该用户图像进行分析，确定规范坐姿下，头部位置和肩部位置。则可以理解的是，该预设坐姿模型用于表征用户采用规范坐姿时，头部位置和肩部位置。因此，若根据所采集的第一用户图像和第二用户图像确定的头部位置和/或肩部位置再改预设坐姿模型的位置范围内，或者与预设坐姿模型的位置偏差不大，则表示用户采用规范坐姿；相反的，如果偏差较大，则表示用户坐姿不规范，处于不规范的行为状态。用户坐姿不规范，会影响脊椎骨骼以及周边肌肉的健康，需要调整坐姿。

第五场景下，监测用户的坐姿头肩距，包括：

所述处理器，还用于确定所述第一用户图像和所述第二用户图像中所述用户的头部位置和肩部位置，根据所述头部位置和所述肩部位置确定第四距离，当所述第四距离大于预设头肩距时，所述用户处于不规范的行为状态。

检测第一用户图像中头部的预设关键点，以及肩部的预设关键点，并且，检测第二用户图像中头部的预设关键点，以及肩部的预设关键点，确定头部位置和肩部位置。根据头部位置可以确定头部与图像采集设备之间的距离，根据肩部位置可以确定肩部与图像采集设备之间的距离，从而，可以确定头部和肩部的相对距离作为第四距离。当第四距离大于预设头肩距时，表示用户头部靠前，肩部靠后，用户坐姿不规范，容易造成驼背，需要调整；当第四距离不大于预设头肩距时，表示用户头部和肩部之间的距离合适，坐姿规范。

综上所述，处理器可以执行上述第一场景至第五场景中的任意一种或多种监测，这里不进行具体限定，只要能监测上述用户不规范的行为状态即可。

当处理器监测到用户处于不规范的行为状态时，可以提醒用户对行为状态进行调整，以规范行为状态。

一种场景下，桌垫还包括扬声器，处理器监测到用户处于不规范的行为状态时，处理器控制扬声器提醒用户该不规范的行为状态。例如：用户坐姿距离不规范时，提醒用户调整眼睛和关注对象之间的距离；用户视疲劳时，提醒用户稍作休息以缓解视疲劳；用户注意力不集中时，提醒用户集中注意力；用户坐姿不端正时，提醒用户调整坐姿；用户头肩距较大时，提醒用户调整头肩距，避免驼背等。

另一种场景下，桌垫还包括通信器，该通信器可以是GPRS通信器，

WIFI通信器等无线通信器。当用户处于不规范的行为状态时，为了避免打扰用户，处理器通过该通信器，向指定设备发送该用户处于不规范的行为状态。此场景大多数应用于用户是未成年人，为了避免打扰该未成年人的学习状态，将其不规范的行为状态上报给该未成年人的监护人，该指定设备即为该未成年人的终端设备，包括手机，智能手表，平板电脑等。

图2是本发明实施例提供的桌垫各部分安装后的示意图，其中，该桌垫的前盖板还设置有多个通孔，该通孔对应于扬声器，以使得该扬声器的声音更好的传到桌垫外。桌垫的额扬声器，通信器等，可以安装在该桌垫的主板上，与主板上的电源相连。电源给桌垫的各用电器提供电能，该电源可以是电池，也可以外界电源装置，这里不进行具体限定。

这里需要说明的是，上述监测用户的行为状态可以是由桌垫的处理器执行的。另一种应用场景下，桌垫的处理器可以通过通信器将图像采集装置所采集的用户图像发送至服务器，由服务器执行监测用户的行为状态的步骤，执行方法类似，这里不再赘述。

综上所述，本发明提供的桌垫，桌垫本体上固定有外壳，外壳的前盖板上安装有图像采集装置，该图像采集装置与桌面存在预设夹角，以使得该图像采集装置对准使用该桌垫的用户，以采集使用该桌垫的用户图像，外壳内安装有主板，该主板包括处理器，该处理器对所采集的用户图像进行分析，监测用户的行为状态，以提醒用户纠正不正确的工作或者学习的状态，保持眼睛和身体骨骼健康，提高工作或者学习的效率。

示例性方法

图3为本发明基于上述桌垫的结构，提供的一种状态监测方法，可以应用于桌垫，或者桌垫以及与桌垫进行无线通信的服务器所组成的系统，包括：

301：获取所采集的用户图像；

302：对所述用户图像进行分析，监测用户的行为状态。

可选的，所述获取所采集的用户图像包括：

获取第一摄像头所采集的第一用户图像；

获取第二摄像头所采集的第二用户图像。

可选的，所述对所述用户图像进行分析，监测用户的行为状态包括：

确定所述第一用户图像和所述第二用户图像中所述用户的眼睛位置；

根据所述用户的眼睛位置确定所述用户的眼睛与所述图像采集装置的第一距离，以及所述用户的关注对象与所述图像采集装置的第二距离；

根据所述第一距离和所述第二距离确定所述用户的眼睛与所述用户的关注对象的第三距离，当所述第三距离小于预设视觉距离时，所述用户处于不规范的行为状态。

可选的，所述根据所述用户的眼睛位置确定所述用户的眼睛与所述图像采集装置的第一距离包括：

对所述第一用户图像进行人脸检测处理，识别所述第一用户图像中的眼睛位置，确定所述第一用户图像中的第一眼睛特征点集合，所述第一眼睛特征点集合包括第一用户图像中眼睛的特征点的特征向量；

对所述第二用户图像进行人脸检测处理，识别所述第二用户图像中的眼睛位置，确定所述第二用户图像中第二眼睛特征点集合，所述第二眼睛特征点集合包括第二用户图像中眼睛的特征点的特征向量；

将第一眼睛特征点集合和第二眼睛特征点集合进行特征点匹配，获得所述用户的眼睛特征点的特征向量；

根据所述眼睛特征点的特征向量确定所述用户的眼睛与所述图像采集装置的第一距离。

可选的，所述对所述用户图像进行分析，监测用户的行为状态包括：

确定所述第一用户图像和所述第二用户图像中所述用户的眼睛位置；

识别预设时间段内采集的所述第一用户图像和所述第二用户图像中，所述用户的眼睛的睁眼次数和/或闭眼次数，确定所述用户是否处于视觉疲劳状态，当所述用户处于视觉疲劳状态时，所述用户处于不规范的行为状态。

可选的，所述对所述用户图像进行分析，监测用户的行为状态包括：

获取预设时间段内采集的多个所述第一用户图像和多个所述第二用户图像；

分别确定同一时刻所采集的所述第一用户图像和所述第二用户图像中所述用户的眼睛位置；

根据每个时刻所采集的所述第一用户图像和所述第二用户图像中所述用户的眼睛位置，确定该时刻所述用户的视点的坐标；

根据所述预设时间段内确定的所述视点的个数和各个所述视点的坐标，确定所述用户的视线熵，根据所述用户的视线熵确定所述用户是否注意力集中，当所述用户注意力不集中时，所述用户处于不规范的行为状态。

可选的，所述对所述用户图像进行分析，监测用户的行为状态包括：

确定所述第一用户图像和所述第二用户图像中所述用户的头部位置和/或肩部位置；

将所述头部位置和/或所述肩部位置与预设坐姿模型进行比对，当所述头部位置和/或所述肩部位置与所述预设坐姿模型的位置偏差大于预设位置偏差时，所述用户处于不规范的行为状态。

可选的，所述对所述用户图像进行分析，监测用户的行为状态包括：

确定所述第一用户图像和所述第二用户图像中所述用户的头部位置和肩部位置；

根据所述头部位置和所述肩部位置确定第四距离，当所述第四距离大于预设头肩距时，所述用户处于不规范的行为状态。

可选的，所述方法还包括：

当所述用户的行为状态为不规范的行为状态时，向扬声器发送提醒指令，所述提醒指令用于指示所述扬声器提醒所述用户所述不规范的行为状态。

可选的，所述方法还包括：

当所述用户的行为状态为不规范的行为状态时，通过通讯器向指定设备发送所述用户不规范的行为状态。

图3所示的方法，是与图1所示的桌垫对应的方法，具体实现方法类似，参考对图1所示的桌垫的实现的具体描述，这里不再赘述。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (21)

1.一种桌垫，其特征在于，所述桌垫包括：

图像采集装置，主板，外壳，以及桌垫本体；所述主板安装在所述外壳内，所述主板包括处理器；所述图像采集装置安装在所述外壳的前盖板上，与所述处理器相连；所述外壳固定在所述桌垫本体上；所述桌垫本体放置在桌面时，所述图像采集装置与所述桌面存在预设夹角；

所述图像采集装置，用于采集用户图像，将所述用户图像发送至所述处理器；

所述处理器，用于对所述用户图像进行分析，监测用户的行为状态。

2.根据权利要求1所述的桌垫，其特征在于，

所述图像采集装置包括第一摄像头和第二摄像头；

所述第一摄像头用于采集第一用户图像；

所述第二摄像头用于采集第二用户图像；

所述处理器，还用于对所述第一用户图像和所述第二用户图像进行分析，获得用户的行为状态。

3.根据权利要求2所述的桌垫，其特征在于，

所述处理器，还用于确定所述第一用户图像和所述第二用户图像中所述用户的眼睛位置，根据所述用户的眼睛位置确定所述用户的眼睛与所述图像采集装置的第一距离，以及所述用户的关注对象与所述图像采集装置的第二距离，根据所述第一距离和所述第二距离确定所述用户的眼睛与所述用户的关注对象的第三距离，当所述第三距离小于预设视觉距离时，所述用户处于不规范的行为状态。

4.根据权利要求3所述的桌垫，其特征在于，

所述处理器对所述第一用户图像进行人脸检测处理，识别所述第一用户图像中的眼睛位置，确定所述第一用户图像中的第一眼睛特征点集合，所述第一眼睛特征点集合包括第一用户图像中眼睛的特征点的特征向量；对所述第二用户图像进行人脸检测处理，识别所述第二用户图像中的眼睛位置，确定所述第二用户图像中第二眼睛特征点集合，所述第二眼睛特征点集合包括第二用户图像中眼睛的特征点的特征向量；将第一眼睛特征点集合和第二眼睛特征点集合进行特征点匹配，获得所述用户的眼睛特征点的特征向量；根据所述眼睛特征点的特征向量确定所述用户的眼睛与所述图像采集装置的第一距离。

5.根据权利要求2所述的桌垫，其特征在于，

所述处理器，还用于获取预设时间段内采集的多个所述第一用户图像和多个所述第二用户图像，分别确定同一时刻所采集的所述第一用户图像和所述第二用户图像中所述用户的眼睛位置，识别预设时间段内采集的所述第一用户图像和所述第二用户图像中，所述用户的眼睛的睁眼次数和/或闭眼次数，确定所述用户是否处于视觉疲劳状态，当所述用户处于视觉疲劳状态时，所述用户处于不规范的行为状态。

6.根据权利要求2所述的桌垫，其特征在于，

所述处理器，还用于获取预设时间段内采集的多个所述第一用户图像和多个所述第二用户图像，分别确定同一时刻所采集的所述第一用户图像和所述第二用户图像中所述用户的眼睛位置，根据每个时刻所采集的所述第一用户图像和所述第二用户图像中所述用户的眼睛位置，确定该时刻所述用户的视点的坐标，根据所述预设时间段内确定的所述视点的个数和各个所述视点的坐标，确定所述用户的视线熵，根据所述用户的视线熵确定所述用户是否注意力集中，当所述用户注意力不集中时，所述用户处于不规范的行为状态。

7.根据权利要求2所述的桌垫，其特征在于，

所述处理器，还用于确定所述第一用户图像和所述第二用户图像中所述用户的头部位置和/或肩部位置，将所述头部位置和/或所述肩部位置与预设坐姿模型进行比对，当所述头部位置和/或所述肩部位置与所述预设坐姿模型的位置偏差大于预设位置偏差时，所述用户处于不规范的行为状态。

8.根据权利要求2所述的桌垫，其特征在于，

所述处理器，还用于确定所述第一用户图像和所述第二用户图像中所述用户的头部位置和肩部位置，根据所述头部位置和所述肩部位置确定第四距离，当所述第四距离大于预设头肩距时，所述用户处于不规范的行为状态。

9.根据权利要求2-8任意一项所述的桌垫，其特征在于，

所述桌垫还包括红外光源；

所述第一摄像头是红外摄像头；

所述第二摄像头是红外摄像头。

10.根据权利要求1-8任意一项所述的桌垫，其特征在于，

所述桌垫还包括扬声器；

所述处理器，还用于当所述用户处于不规范的行为状态时，通过所述扬声器提醒所述用户所述不规范的行为状态。

11.根据权利要求1-8任意一项所述的桌垫，其特征在于，

所述主板还包括通信器；

所述处理器，还用于当所述用户处于不规范的行为状态时，通过所述通信器，采用指定方式向指定设备发送所述用户所述不规范的行为状态。

12.一种状态监测方法，其特征在于，所述方法包括：

获取所采集的用户图像；

对所述用户图像进行分析，监测用户的行为状态。

13.根据权利要求12所述的方法，其特征在于，所述获取所采集的用户图像包括：

获取第一摄像头所采集的第一用户图像；

获取第二摄像头所采集的第二用户图像。

14.根据权利要求13所述的方法，其特征在于，所述对所述用户图像进行分析，监测用户的行为状态包括：

确定所述第一用户图像和所述第二用户图像中所述用户的眼睛位置；

根据所述用户的眼睛位置确定所述用户的眼睛与所述图像采集装置的第一距离，以及所述用户的关注对象与所述图像采集装置的第二距离；

根据所述第一距离和所述第二距离确定所述用户的眼睛与所述用户的关注对象的第三距离，当所述第三距离小于预设视觉距离时，所述用户处于不规范的行为状态。

15.根据权利要求14所述的方法，其特征在于，所述根据所述用户的眼睛位置确定所述用户的眼睛与所述图像采集装置的第一距离包括：

对所述第一用户图像进行人脸检测处理，识别所述第一用户图像中的眼睛位置，确定所述第一用户图像中的第一眼睛特征点集合，所述第一眼睛特征点集合包括第一用户图像中眼睛的特征点的特征向量；

对所述第二用户图像进行人脸检测处理，识别所述第二用户图像中的眼睛位置，确定所述第二用户图像中第二眼睛特征点集合，所述第二眼睛特征点集合包括第二用户图像中眼睛的特征点的特征向量；

将第一眼睛特征点集合和第二眼睛特征点集合进行特征点匹配，获得所述用户的眼睛特征点的特征向量；

根据所述眼睛特征点的特征向量确定所述用户的眼睛与所述图像采集装置的第一距离。

16.根据权利要求13所述的方法，其特征在于，所述对所述用户图像进行分析，监测用户的行为状态包括：

确定所述第一用户图像和所述第二用户图像中所述用户的眼睛位置；

识别预设时间段内采集的所述第一用户图像和所述第二用户图像中，所述用户的眼睛的睁眼次数和/或闭眼次数，确定所述用户是否处于视觉疲劳状态，当所述用户处于视觉疲劳状态时，所述用户处于不规范的行为状态。

17.根据权利要求13所述的方法，其特征在于，所述对所述用户图像进行分析，监测用户的行为状态包括：

获取预设时间段内采集的多个所述第一用户图像和多个所述第二用户图像；

分别确定同一时刻所采集的所述第一用户图像和所述第二用户图像中所述用户的眼睛位置；

根据每个时刻所采集的所述第一用户图像和所述第二用户图像中所述用户的眼睛位置，确定该时刻所述用户的视点的坐标；

根据所述预设时间段内确定的所述视点的个数和各个所述视点的坐标，确定所述用户的视线熵，根据所述用户的视线熵确定所述用户是否注意力集中，当所述用户注意力不集中时，所述用户处于不规范的行为状态。

18.根据权利要求13所述的方法，其特征在于，所述对所述用户图像进行分析，监测用户的行为状态包括：

确定所述第一用户图像和所述第二用户图像中所述用户的头部位置和/或肩部位置；

将所述头部位置和/或所述肩部位置与预设坐姿模型进行比对，当所述头部位置和/或所述肩部位置与所述预设坐姿模型的位置偏差大于预设位置偏差时，所述用户处于不规范的行为状态。

19.根据权利要求13所述的方法，其特征在于，所述对所述用户图像进行分析，监测用户的行为状态包括：

确定所述第一用户图像和所述第二用户图像中所述用户的头部位置和肩部位置；

根据所述头部位置和所述肩部位置确定第四距离，当所述第四距离大于预设头肩距时，所述用户处于不规范的行为状态。

20.根据权利要求13-19任意一项所述的方法，其特征在于，所述方法还包括：

当所述用户的行为状态为不规范的行为状态时，向扬声器发送提醒指令，所述提醒指令用于指示所述扬声器提醒所述用户所述不规范的行为状态。

21.根据权利要求13-19任意一项所述的方法，其特征在于，所述方法还包括：

当所述用户的行为状态为不规范的行为状态时，通过通讯器向指定设备发送所述用户不规范的行为状态。

Images