CN109654401A - 一种基于机器视觉的坐姿识别台灯系统及识别方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的坐姿识别台灯系统及识别方法。解决现有台灯无校正坐姿功能，或校正坐姿功能无法区别不良坐姿，无法进行针对性提醒的问题。系统包括台灯端和云服务端，台灯端包括台灯，设置在台灯内的摄像头、控制器、上位机、提醒器和通讯模块。系统采集图像，从图像中提取人体标准特征目标点位的坐标信息并进行计算，再根据预设条件对用户坐姿进行识别判断。本发明结构简单合理，提醒用户纠正错误坐姿。能够对自动调节摄像头角度，更好的采集图像以实现坐姿识别。根据提取的人体标准特征点位来判断驼背、低头、仰头、偏头、倾斜行为，使得能够更加细致的区分人体的不良坐姿，对用户做出针对性的提醒。

Description

一种基于机器视觉的坐姿识别台灯系统及识别方法

技术领域

本发明涉及一种台灯技术领域，尤其是涉及一种基于机器视觉的坐姿识别台灯系统及识别方法。

背景技术

台灯是一种居家生活常用的生活用品，主要放置在书桌或卧室，提供照明让人们学习和阅读。然而，人们却忽略了使用台灯时对眼睛的保护，导致越来越多的人患上近视眼。中国青少年的近视率常年居于世界前列，根据国家教育部、卫生部的调查表明：目前我国有4亿多近视患者，其中青少年已成“重灾区”：小学生近视率在30％以上，中学生达70％，大学生达到90％。“写字姿势不正确，用眼时间长”是导致近视的重要原因。同时，写字姿势不正确，也会导致脊柱弯曲等问题。根据2012 年发布的《北京市西城区、石景山区14 所小学学生形体健康检测分析报告》，在调查的近万学生中，写字姿势问题人数比例达77.6％。

中国专利申请号CN201620721404.4，公开日2017年3月15日，发明创造的名称为可矫正坐姿的台灯，该申请案公开了一种可矫正坐姿的台灯，包括底座、灯杆和用于提供照明光线的灯光组件，所述灯杆的一端转动连接在所述底座上，另一端与所述灯光组件转动连接，该台灯还包括用于实时监测使用者坐姿、并能够提供矫正信息的坐姿监测组件和用于处理数据信息的处理组件，所述坐姿监测组件与所述处理组件电连接，所述灯光组件的上连接有用于过滤照射光线中蓝光光线的防蓝光件。其不足之处在于仅通过检测使用者与台灯之间的距离来判断坐姿是否正确，而无法区别不良坐姿，无法对使用者做出有针对性的提醒。

发明内容

本发明主要是解决现有技术中台灯无校正坐姿功能，以及一般台灯校正坐姿功能无法区别不良坐姿，无法对用户进行针对性提醒的问题，提供了一种基于机器视觉的坐姿识别台灯系统及识别方法。

本发明的上述技术问题主要是通过下述技术方案得以解决的：一种基于机器视觉的坐姿识别台灯系统，包括台灯端和云服务端，台灯端包括台灯，设置在台灯内的摄像头、控制器、上位机、提醒器和通讯模块，摄像头与控制器连接，控制器与上位机连接，上位机分别与提醒器、通讯模块连接，通讯模块通过网络与云服务端连接，所述摄像头通过由电机驱动的旋转底座安装在台灯上，电机与上位机连接。

本发明提供了一种基于机器视觉的坐姿识别台灯系统的结构，通过本发明的方案构成的台灯系统可以对用户进行图像采集，根据图像去识别坐姿，能进行报警提醒，使得用户自觉调整坐姿。其中摄像头采用CCD摄像头，控制器采用具有坐姿识别功能的图像处理硬件设备组合，上位机为单片机，通讯模块采用WiFi设备或是网卡设备，可以通过无线方式连接路由器进行上网或是直接通过网线连接至路由器进行上网，提醒器采用声光提醒模式，包括灯，通过闪烁或改变颜色进行提醒，以及声音提醒装置，通过发出声音进行提醒。云服务端存储有用户信息摄像头通过旋转底座安装在台灯上，旋转底座通过上位机控制可以进行旋转，以调整摄像头的角度，以便于更好的采集图像。

作为一种优选方案，所述控制器包括ISP单元、NPU单元、CPU单元和UART接口，所述ISP单元与NPU单元连接，CPU单元分别与ISP单元、NPU单元连接，UART接口与CPU单元连接，所述摄像头与ISP单元连接，UART接口与上位机连接。本方案中ISP单元为图像信号处理芯片，用于对摄像头采集的图像进行处理，可以采用现有技术中各厂商（安霸、海思、TI等等）生产的ISP芯片，具体的例如FH8510ISP。NPU单元为嵌入式神经网络处理器，NPU根据现有的静态神经网络算法快速对图像中人脸、骨骼等特征信息进行提取，基于预设的条件，对坐姿进行判断。CPU单元采用现有的KV系列、CSI系列的CPU等等，CPU单元用于对ISP单元、NPU单元进行调度。UART接口为异步收发传输接口，与上位机实现双向通信。本方案中中采用NPU，在台灯内部实现坐姿识别和判断，不仅极大提升了图像处理的识别准确性和识别速度，并且避免了图片上传云服务端而带来的隐私泄露疑虑。

作为一种优选方案，所述台灯包括发光组件和灯座，所述旋转底座设置在灯座上，旋转底座包括外壳，所述外壳通过第一转动机构转动设置在灯座上，在外壳内通过第二转动机构设置有沿外壳内壁转动的转动头，所述摄像头设置在转动头前端，在外壳壁上开有供摄像头露出的转动窗口。

作为一种优选方案，所述外壳为半球状，所述第一传动机构包括设置在外壳下部外侧的齿圈和第一驱动电机，第一驱动电机转轴上连接有第一蜗杆，蜗杆与齿圈相啮合，所述转动窗口为沿转动头摆动轨迹在外壳壁上设置的长条形孔。齿圈为蜗轮结构，第一驱动电机转动带动同轴的第一蜗杆转动，第一蜗杆带动齿圈进行转动，从而实现整个外壳在水面面内进行转动。

作为一种优选方案，所述转动头前端设置有安装摄像头的凹槽，转动头后端铰接在外壳的底面上，在转动头前端上下侧延伸形成有弧形边翼，所述弧形边翼遮挡在转动窗口上，在弧形边翼的内侧面上设置有齿纹，所述第二传动机构包括第二驱动电机和传动齿轮轮，所述传动齿轮包括蜗轮部和设置在蜗轮部侧面上的齿轮部，第二驱动电机设置在外壳内，在第二驱动电机转轴上设置有第二蜗杆，第二蜗杆与蜗轮部的齿面相啮合，所述齿轮部与弧形边翼上的齿纹相啮合。第二驱动电机转动，带动同轴的第二蜗杆转动，第二蜗杆带动蜗轮部转动，与蜗轮部一体的齿轮部也进行转动，齿轮部带动弧形边翼进行摆动，从而实现对转动头的角度调节。

一种基于机器视觉的坐姿识别台灯系统识别方法，包括以下步骤：

S1.摄像头采集人体图像；

S2.由NPU单元根据图像提取人体标准特征目标点位的坐标信息；

S3.根据人体标准特征目标点位的坐标信息对人体坐姿姿势进行识别，在检测到不同的坐姿异常情况下分别进行对应的提醒。本发明能够对人体不同的不良坐姿进行识别，并进行针对性的提醒，相比普通的智能判断坐姿是否正确的方法，本发明区分更加细致，提醒更加具有针对性，使得用户能更好的校正坐姿。

作为一种优选方案，所述步骤2的具体过程为：

S21.NPU单元根据人体图像识别出人体标准特征目标点位，点位包括鼻子、脖子、右肩、左肩、右眼、左眼和下巴；

S22.获取人体标准特征目标点位在图像上的坐标信息。

作为一种优选方案，所述步骤3的具体过程包括：

（1）驼背行为的识别：

在连续T时间内检测到左眼与右眼之间的第一点位线段到左肩与右肩之间的第二点位线段的间距和第二点位线段长度的比例低于预设的第一阈值，则判断发生驼背行为，提醒器提醒用户注意后背挺直；该识别是对第一点位线段与第二点位线段之间间距，与第二点位线段长度的比例进行计算。

（2）低头行为的识别：

在连续T时间内检测到左眼与右眼之间的第一点位线段的中点到鼻子的距离，与第一点位线段长度的比例低于预设的第二阈值，且左眼与右眼之间的第一点位线段的中点到下巴的距离低于预设的第三阈值，则判断发生低头行为，提醒器提醒用户注意抬头；

（3）仰头行为的识别：

在连续T时间内检测到左眼与右眼之间的第一点位线段的中点到鼻子的距离，与第一点位线段长度的比例低于预设的第二阈值，且左眼与右眼之间的第一点位线段的中点到下巴的距离高于预设的第三阈值，则判断发生仰头行为，提醒器提醒用户注意低头；

（4）偏头行为的识别：

在连续T时间内检测到鼻子与脖子之间的第三点位线段和左肩与右肩之间的第二点位线段的夹角低于预设第四阈值，则判断发生了偏头线性，提醒器提醒用户注意不要头部倾斜；

（5）倾斜行为的识别：

在连续T时间内检测到鼻子与脖子之间的第三点位线段和左肩与右肩之间的第二点位线段的夹角高于预设第四阈值，且第三点位线段与Y轴基准线的夹角高于第五阈值，则判断发生了倾斜行为，提醒器提醒用户注意不要身体倾斜。本方案中根据提取的人体标准特征点位来判断驼背、低头、仰头、偏头、倾斜行为，使得能够更加细致的区分人体的不良坐姿，对用户做出针对性的提醒。

作为一种优选方案，在步骤S1后还包括有身份识别的步骤，过程包括：

S11. NPU单元从图像里提取人脸特征；

S12.读取存储的用户人脸特征；

S13.将提取的人脸特征与存储的用户人脸特征进步比较，若一致则进入步骤S2，若不一致则停止工作，提醒非用户。本方案增加饿了人脸识别来识别用户，使得只有正确的用户才能使用坐姿提醒功能。

因此，本发明的优点是：结构简单合理，构成了能够对用户坐姿进行识别的系统，提醒用户纠正错误坐姿。能够对自动调节摄像头角度，更好的采集图像以实现坐姿识别。根据提取的人体标准特征点位来判断驼背、低头、仰头、偏头、倾斜行为，使得能够更加细致的区分人体的不良坐姿，对用户做出针对性的提醒。

附图说明

图1是本发明的一种结构框示图；

图2是本发明中旋转底座的一种结构剖视图；

图3是本发明中传动齿轮的一种结构示意图。

1-云服务端 2-台灯端 3-摄像头 4-控制器 5-提醒器 6-通讯模块 7-上位机 8-ISP单元 9-NCU单元 10-CPU单元 11-UART接口 12-RAM 13-FLASH 14-灯座 15-外壳 16-转动头 17-转动窗口 18-齿圈 19-第一次驱动电机 20-第二驱动电机 21-第一蜗杆 22-凹槽 23-弧形边翼 24-传动齿轮 25-齿轮部 26-蜗轮部27-第二蜗杆。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

本实施例一种基于机器视觉的坐姿识别台灯系统，如图1所示，包括台灯端2和云服务端1，台灯端包括台灯，设置在台灯内的摄像头3、控制器4、上位机7、提醒器5和通讯模块6，摄像头与控制器连接，控制器与上位机连接，上位机分别与提醒器、通讯模块连接，通讯模块通过网络与云服务端连接，摄像头通过由电机驱动的旋转底座安装在台灯上，电机与上位机连接。

具体的，控制器包括ISP单元8、NPU单元9、CPU单元10和UART接口11，ISP单元与NPU单元连接，CPU单元分别与ISP单元、NPU单元连接，UART接口与CPU单元连接，摄像头与ISP单元连接，UART接口与上位机连接。其中ISP单元为图像信号处理芯片，用于对摄像头采集的图像进行处理，可以采用现有技术中各厂商（安霸、海思、TI等等）生产的ISP芯片，具体的例如FH8510ISP。NPU单元为嵌入式神经网络处理器，NPU根据现有的静态神经网络算法快速对图像中人脸、骨骼等特征信息进行提取。CPU单元采用现有的KV系列、CSI系列的CPU等等，CPU单元用于对ISP单元、NPU单元进行调度。UART接口为异步收发传输接口，与上位机实现双向通信。本方案中中采用NPU，在台灯内部实现坐姿识别和判断，不仅极大提升了图像处理的识别准确性和识别速度，并且避免了图片上传云服务端而带来的隐私泄露疑虑。

如图2所示，台灯包括发光组件和灯座14，旋转底座设置在灯座上，旋转底座包括外壳15，外壳通过第一转动机构转动设置在灯座上，在外壳内通过第二转动机构设置有沿外壳内壁转动的转动头16，摄像头设置在转动头前端，在外壳壁上开有供摄像头露出的转动窗口。

外壳为半球状，第一传动机构包括设置在外壳下部外侧的齿圈18和第一驱动电机19，第一驱动电机与控制器连接，受控制器控制工作。第一驱动电机转轴上连接有第一蜗杆21，第一蜗杆与齿圈相啮合，齿圈为蜗轮结构，第一驱动电机转动带动同轴的第一蜗杆转动，第一蜗杆带动齿圈进行转动，从而实现整个外壳在水面面内进行转动。转动窗口为沿转动头摆动轨迹在外壳壁上设置的长条形孔。

转动头前端设置有安装摄像头的凹槽22，转动头后端铰接在外壳的底面中心上，转动头前端正对转动窗口，转动头在转动窗口的范围内进行摆动，实现对摄像头垂直面内的角度调节。在转动头前端上下侧分别延伸形成有弧形边翼23，弧形边翼紧贴在外壳内壁且遮挡在转动窗口上，在弧形边翼的内侧面上设置有齿纹，第二传动机构包括第二驱动电机20和传动齿轮24，第二驱动电机与控制器连接，收控制器控制工作。如图3所示，传动齿轮包括蜗轮部26和设置在蜗轮部侧面上的齿轮部25，第二驱动电机设置在外壳内，在第二驱动电机转轴上设置有第二蜗杆27，第二蜗杆与蜗轮部的齿面相啮合，齿轮部与弧形边翼上的齿纹相啮合。第二驱动电机转动，带动同轴的第二蜗杆转动，第二蜗杆带动蜗轮部转动，与蜗轮部一体的齿轮部也进行转动，齿轮部带动弧形边翼进行摆动，从而实现对转动头的角度调节。

一种基于机器视觉的坐姿识别台灯系统识别方法，包括以下步骤：

S1.摄像头采集人体图像；在步骤S1后还包括有身份识别的步骤，步骤包括：

S11. NPU单元从图像里提取人脸特征；

S12.读取存储的用户人脸特征；

S13.将提取的人脸特征与存储的用户人脸特征进步比较，若一致则进入步骤S2，若不一致则停止工作，提醒非用户。

S2.由NPU单元根据图像提取人体标准特征目标点位的坐标信息；具体过程为：

S21.NPU单元根据人体图像识别出人体标准特征目标点位，点位包括鼻子、脖子、右肩、左肩、右眼、左眼和下巴；

S22.获取人体标准特征目标点位在图像上的坐标信息。

S3.根据人体标准特征目标点位的坐标信息对人体坐姿姿势进行识别，在检测到不同的坐姿异常情况下分别进行对应的提醒。具体过程包括：

（1）驼背行为的识别：

在连续T时间内检测到左眼与右眼之间的第一点位线段到左肩与右肩之间的第二点位线段的间距和第二点位线段长度的比例低于预设的第一阈值，则判断发生驼背行为，提醒器提醒用户注意后背挺直；

（2）低头行为的识别：

在连续T时间内检测到左眼与右眼之间的第一点位线段的中点到鼻子的距离，与第一点位线段长度的比例低于预设的第二阈值，且左眼与右眼之间的第一点位线段的中点到下巴的距离低于预设的第三阈值，则判断发生低头行为，提醒器提醒用户注意抬头；

（3）仰头行为的识别：

在连续T时间内检测到左眼与右眼之间的第一点位线段的中点到鼻子的距离，与第一点位线段长度的比例低于预设的第二阈值，且左眼与右眼之间的第一点位线段的中点到下巴的距离高于预设的第三阈值，则判断发生仰头行为，提醒器提醒用户注意低头；

（4）偏头行为的识别：

在连续T时间内检测到鼻子与脖子之间的第三点位线段和左肩与右肩之间的第二点位线段的夹角低于预设第四阈值，则判断发生了偏头线性，提醒器提醒用户注意不要头部倾斜；

（5）倾斜行为的识别：

在连续T时间内检测到鼻子与脖子之间的第三点位线段和左肩与右肩之间的第二点位线段的夹角高于预设第四阈值，且第三点位线段与Y轴基准线的夹角高于第五阈值，则判断发生了倾斜行为，提醒器提醒用户注意不要身体倾斜。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了云服务端、台灯端、摄像头、控制器等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (9)

1.一种基于机器视觉的坐姿识别台灯系统，其特征在于：包括台灯端和云服务端，台灯端包括台灯，设置在台灯内的摄像头、控制器、上位机、提醒器和通讯模块，摄像头与控制器连接，控制器与上位机连接，上位机分别与提醒器、通讯模块连接，通讯模块通过网络与云服务端连接，所述摄像头通过由电机驱动的旋转底座安装在台灯上，电机与上位机连接。

2.根据权利要求1所述的一种基于机器视觉的坐姿识别台灯系统，其特征是所述控制器包括ISP单元、NPU单元、CPU单元和UART接口，所述ISP单元与NPU单元连接，CPU单元分别与ISP单元、NPU单元连接，UART接口与CPU单元连接，所述摄像头与ISP单元连接，UART接口与上位机连接。

3.根据权利要求1所述的一种基于机器视觉的坐姿识别台灯系统，其特征是所述台灯包括发光组件和灯座，所述旋转底座设置在灯座上，旋转底座包括外壳，所述外壳通过第一转动机构转动设置在灯座上，在外壳内通过第二转动机构设置有沿外壳内壁转动的转动头，所述摄像头设置在转动头前端，在外壳壁上开有供摄像头露出的转动窗口。

4.根据权利要求3所述的一种基于机器视觉的坐姿识别台灯系统，其特征是所述外壳为半球状，所述第一传动机构包括设置在外壳下部外侧的齿圈和第一驱动电机，第一驱动电机转轴上连接有第一蜗杆，第一蜗杆与齿圈相啮合，所述转动窗口为沿转动头摆动轨迹在外壳壁上设置的长条形孔。

5.根据权利要求3所述的一种基于机器视觉的坐姿识别台灯系统，其特征是所述转动头前端设置有安装摄像头的凹槽，转动头后端铰接在外壳的底面上，在转动头前端上下侧延伸形成有弧形边翼，所述弧形边翼遮挡在转动窗口上，在弧形边翼的内侧面上设置有齿纹，所述第二传动机构包括第二驱动电机和传动齿轮，所述传动齿轮包括蜗轮部和设置在蜗轮部侧面上的齿轮部，第二驱动电机设置在外壳内，在第二驱动电机转轴上设置有第二蜗杆，第二蜗杆与蜗轮部的齿面相啮合，所述齿轮部与弧形边翼上的齿纹相啮合。

6.一种基于机器视觉的坐姿识别台灯系统识别方法，采用权利要求1-5任一项中的系统，其特征是包括以下步骤：

S1.摄像头采集人体图像；

S2.由NPU单元根据图像提取人体标准特征目标点位的坐标信息；

S3.根据人体标准特征目标点位的坐标信息对人体坐姿姿势进行识别，在检测到不同的坐姿异常情况下分别进行对应的提醒。

7.根据权利要求6所述的一种基于机器视觉的坐姿识别台灯系统识别方法，其特征是所述步骤2的具体过程为：

S21.NPU单元根据人体图像识别出人体标准特征目标点位，点位包括鼻子、脖子、右肩、左肩、右眼、左眼和下巴；

S22.获取人体标准特征目标点位在图像上的坐标信息。

8.根据权利要求6所述的一种基于机器视觉的坐姿识别台灯系统识别方法，其特征是所述步骤3的具体过程包括：

（1）驼背行为的识别：

在连续T时间内检测到左眼与右眼之间的第一点位线段到左肩与右肩之间的第二点位线段的间距和第二点位线段长度的比例低于预设的第一阈值，则判断发生驼背行为，提醒器提醒用户注意后背挺直；

（2）低头行为的识别：

在连续T时间内检测到左眼与右眼之间的第一点位线段的中点到鼻子的距离，与第一点位线段长度的比例低于预设的第二阈值，且左眼与右眼之间的第一点位线段的中点到下巴的距离低于预设的第三阈值，则判断发生低头行为，提醒器提醒用户注意抬头；

（3）仰头行为的识别：

在连续T时间内检测到左眼与右眼之间的第一点位线段的中点到鼻子的距离，与第一点位线段长度的比例低于预设的第二阈值，且左眼与右眼之间的第一点位线段的中点到下巴的距离高于预设的第三阈值，则判断发生仰头行为，提醒器提醒用户注意低头；

（4）偏头行为的识别：

在连续T时间内检测到鼻子与脖子之间的第三点位线段和左肩与右肩之间的第二点位线段的夹角低于预设第四阈值，则判断发生了偏头线性，提醒器提醒用户注意不要头部倾斜；

（5）倾斜行为的识别：

在连续T时间内检测到鼻子与脖子之间的第三点位线段和左肩与右肩之间的第二点位线段的夹角高于预设第四阈值，且第三点位线段与Y轴基准线的夹角高于第五阈值，则判断发生了倾斜行为，提醒器提醒用户注意不要身体倾斜。

9.根据权利要求6所述的一种基于机器视觉的坐姿识别台灯系统识别方法，其特征是在步骤S1后还包括有身份识别的步骤，步骤包括：

S11. NPU单元从图像里提取人脸特征；

S12.读取存储的用户人脸特征；

S13.将提取的人脸特征与存储的用户人脸特征进步比较，若一致则进入步骤S2，若不一致则停止工作，提醒非用户。