CN113589296A - 一种人体坐姿检测装置及方法 - Google Patents

Abstract

本发明的一种人体坐姿检测装置和方法，涉及图像识别技术领域，主要包括红外摄像头和红外线发射器和毫米波雷达，通过采集人体坐姿状态下的面部二维关键点的红外图像构建头部3D模型，采集坐姿上半身关键点构建上半身轮廓点图和雷达超声波测距实时测定装置与人体的距离，分别与标准坐姿数据进行对比，并可发出警报信号。本发明结构简单便于安装，适合各种应用场景，不仅可以判断坐姿左右倾，又可判断头部的偏移和身体前后距书桌的距离，使坐姿检测更加全面准确。

Description

一种人体坐姿检测装置及方法

技术领域

本发明涉及图像识别技术领域，尤其是涉及一种人体坐姿检测装置及方法。

背景技术

中小学生近视越来越严重，为了防止中小学生近视而对学生坐姿矫正也得到关注，为了矫正学生坐姿需要先判断坐姿是否规范。这里重点关注基于视觉的坐姿检测算法来提高坐姿检测的准确度。

目前存在的基于视觉的人体坐姿检测主要原理是检测人体骨骼关键点，判断人体姿态，然后配合其他坐压检测传感器来判断人体坐姿是否规范。这种方法主要存在以下几个缺点：

1.装置需要多个设备配合，安装使用复杂，成本高；

2.只关注人体姿态，没有关注头部姿态。头部姿态不规范也是造成近视的重要原因；

3.如果使用普通的摄像头，对环境光线要求较高。

中国发明专利CN103810478B提出了一种坐姿检测方法和装置，通过获取连续多帧红外图像，从所述红外图像中提取检测对象的坐姿轮廓，获取所述检测对象的坐姿轮廓的特征信息，将所述特征信息与预设的特征信息进行匹配，根据匹配结果判定所述检测对象的坐姿是否符合预设标准。虽然该发明通过优化图像的算法来提高与人体轮廓的匹配度，能在一定程度上对人体坐姿左右发生偏移时发出纠正，但对于人体前后方向身位的偏移无法准确检测，且该发明无法通过采集人脸面部的关键点偏移情况来判断人头部是否发生歪斜，纠正坐姿。

发明内容

为解决上述技术背景中存在的问题，本发明提出了一种人体坐姿检测装置及方法，通过红外线图像采集人面部的关键点与身体的关键点与预设标准坐姿进行比对，判断面部与身体是否发生坐姿偏移，由雷达实时检测与人体之间的距离，判断身体是否距离书桌太近或太远，保证坐姿前后距离合适。

本发明提出了一种人体坐姿检测装置，包括外壳，麦克风，供电接口，喇叭，锁盖，支架，其特征在于还包括一个用于拍摄人体坐姿状态下红外结构光形态变化的红外摄像头，用于投射结构光并进行主动式红外成像及三维深度信息测定的红外线发射器，用于发射超声波的毫米波雷达，根据红外图像进行模型关键点计算分析的算法分析模块，根据超声波反馈进行测距的距离测算模块，根据采集的人体红外图像的头部关键点与身体关键点建模与标准坐姿进行对比的行为分析模块，其中所述的外壳形成坐姿检测装置主体，所述外壳表面开孔容纳麦克风，红外摄像头，红外线发射器，毫米波雷达于其内部，所述外壳侧面开孔设置有供电接口，所述外壳下部开孔设置有喇叭，所述锁盖与外壳相扣合，将所述支架容纳于锁盖与外壳之间，所述支架可伸缩支撑于书桌上或其他应用场景。

本发明还提供了一种人体坐姿检测方法，所述方法包括：

S1:通过红外摄像头获取连续多帧的人体坐姿图像；

S2:捕捉识别人体面部的关键点，计算头部三维姿态；

S3:根据红外图像识别人体上半身坐姿的关键点，形成坐姿轮廓图；

S4：由毫米波雷达发出超声波检测装置与人体关键点的实时距离；

S5:根据头部三维姿态对比标准头部特征值，判断头部的端正情况；

S6:根据人体上半身坐姿的轮廓图，对比标准坐姿，判断身体是否发生左右倾斜；

S7：超声波测得的实时距离判断身体的前后倾状况；

S8:对坐姿不符合标准的状态会由喇叭发出蜂鸣警报或语音。

作为本发明的进一步改进，其中步骤S1中采用红外相机对检测

对象的坐姿进行获取不易受外界环境的干扰，避免了普通光学成像的不稳定性因素，当遇到背景光影响明显的情况，可由红外线发射器发射红外结构光，增强红外图像的呈现效果。

作为本发明的进一步改进，步骤S2中捕捉识别的二维面部关键点为68个，构建像素坐标，根据计算从而得到相机坐标，由相机坐标的平移和旋转关系计算得到世界坐标，从而根据红外相机得到的二维面部关键点计算构建人体头部的三维模型，从而判断头部的位置是否发生偏移。

作为本发明的进一步改进，步骤S3中需要对人体上半身的关键点进行捕捉识别，选取头部、颈部、腰部、双肩、双肘、双手的关键点作为检测点，构成人体坐姿轮廓图，与预设的标准人体坐姿轮廓或者特定坐姿轮廓进行对比，从而判断人体上半身的是否发生左右偏移。

作为本发明的进一步改进，步骤S4中通过4D毫米波雷达向人体上半身的关键点发射超声波，通过实时的超声波发射与接收时间来判断人体上半身关键点前后偏移距离，与设定装置到人体距离进行对比，判断人体距离书桌距离是否合适并且可判断身体前后倾的偏移量来发出蜂鸣警报。

作为本发明的进一步改进，步骤S4中的4D毫米波雷达也可选用另一个红外摄像头或者测距传感器，配合前述红外摄像头来测量装置与人体的距离，优选4D毫米波雷达。

相比于市场上现有的人体坐姿检测装置，本发明具有以下优点：

1.本发明应用红外摄像头采集人体坐姿图像，根据面部和人体上半身坐姿的关键点进行建模，根据像素坐标进行计算世界坐标，与标准坐姿或设定坐姿进行数据对比，从而判断坐姿是否符合预期，能够充分考虑头部歪斜、身体前后左右倾导致的坐姿不正问题。

2.在结合4D毫米波雷达应用超声波进行测距，能准确测量反馈人体与装置的间距，结合红外成像能大幅提高对坐姿歪斜程度的计算，从而给出更加准确合理的判断。

3.本发明结构简单，便于安装使用，适用于各个需要坐姿提醒矫正的应用场景，测试数据更加准确。

附图说明

图1是本发明的人体坐姿检测装置的结构示意图。

图2是本发明的人体坐姿检测装置的仰视图。

图3是本发明的人体坐姿检测方法流程图。

图4是本发明的像素坐标、相机坐标、世界坐标的关系图。

图5是本发明的人脸二维采集关键点的示意图。

图6是本发明的由人脸关键点构建的面部3D模型图与对比图。

图7是本发明的人体坐姿上半身关键点采集图。

图8是本发明的使用示意图。

图9是本发明的检测方法逻辑图。

其中，1-外壳，2-麦克风，3-供电接口，4-红外线发射器，5-红外摄像头，6-毫米波雷达，7-喇叭，8-锁盖，9-支架。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1

如图1与图2所示，本发明提出了一种人体坐姿检测装置，包括外壳1，麦克风2，供电接口3，喇叭7，锁盖8，支架9，还包括一个用于拍摄人体坐姿状态下红外结构光形态变化的红外摄像头5，所述红外摄像头5通过连帧拍摄人体坐姿图像，采集人体上半身坐姿图像和头部的图像传输到检测装置的算法分析模块，还包括一个通过用于投射结构光并进行红外成像及三维深度信息测定的红外线发射器4，所述红外线发射器4用于投射的结构光可以是点结构、线结构也可以是面结构，主要为了提高红外线发射的反馈强度，对抗正常工作状态下日光灯或者自然光的曝光影响，并且可以由红外摄像头对结构光的成像和三维深度信息测定形成红外图像，其使用效果明显优于普通相机采集图像时边际模糊、弱光不清晰等情况；还包括一个用于发射超声波的4D毫米波雷达6，所述的雷达6设置在坐姿检测装置上，与红外摄像头5、红外线发射器4在同一侧面上，为了规避人体与检测装置之间的间隔物造成超声波测距不准确，在检测装置的后锁盖8上设置配合有可伸缩的支架9，可通过调节所述支架9的伸缩杆长度来控制检测装置的高度，从而避免检测装置与人体之间存在间隔物，其中，所述的雷达6在使用时向人体上半身的关键点发射超声波并对反射回的超声波进行收集计算，将收集的超声波反馈时间、对人体不同关键点发射位置进行上传至检测装置中内置的距离测算模块，从而可以计算检测装置与人体上半身各个关键点的实时距离，所述距离测算模块的实时计算时间间隔一般设置为2秒，也可由使用者实际自己设置；根据超声波反馈进行测距的距离测算模块，再根据采集的人体红外图像的头部关键点与身体关键点建模与标准坐姿进行对比的行为分析模块，行为分析模块包含图像处理器和数据分析处理器，对数据化的图像关键点和超声波测距的数据进行处理与预设的标准坐姿数据进行对比，从而对坐姿情况进行判断，对不恰当的坐姿由处理器向喇叭7传输信号，经喇叭7向使用者发出蜂鸣信号或者语音提醒。其中所述的外壳1形成坐姿检测装置主体，所述外壳1表面开孔容纳麦克风2，红外摄像头5，红外线发射器4，4D毫米波雷达6于其内部，所述外壳1侧面开孔设置有供电接口3，所述外壳1下部开孔设置有喇叭7，所述锁盖8与外壳1相扣合，将所述支架9容纳于锁盖8与外壳1之间，所述支架可伸缩支撑于书桌上或其他应用场景，其形式可采用三脚固定、平面固定等固定方式。

如图3所示，其中，本发明的提供了一种用于人体坐姿检测的方法，该方法的具体步骤如下：

S1:通过红外摄像头5获取连续多帧的人体坐姿图像；所述红外摄像头5相比于目前普遍使用的光学相机能在成像过程中排除掉一般光源过度曝光、光线阴暗的人体边缘模糊等情况，由红外线发射器4向人体发射结构光红外线补足反馈红外线强度，从而提高三维深度信息的反馈进行记录，使获得的红外图像更加真实清晰；

如图4、5、6所示，S2:捕捉识别人体面部的关键点，计算头部三维姿态；计算机视觉领域的姿态估计用目标相对于摄像机的平移量和旋转矩阵进行表示，计算机视觉领域将姿态估计问题当作N个点的透视变化问题(Perspective-n-Point,PNP)，解决方案是对于一个标定好的摄像机，根据目标在3维世界坐标系中n个点的坐标和对应投影到2维图像坐标系中的点集之间的变换关系矩阵进行求解。而3D刚性目标相对于摄像机只有两种运动关系，即平移和旋转。物体相对于相机的空间位置关系矩阵，用T表示。物体相对于相机的空间姿态关系矩阵，用R表示。

世界坐标系到相机坐标系：

相机坐标系到像素坐标系：

其中fx，fy为x方向和y方向的相机焦距，cx，cz为相机中心点偏差。

因此像素坐标系和世界坐标系的关系如下：

因此通过N组像素坐标与对应的世界坐标系坐标就可以通过求解PNP问题，计算得到旋转矩阵和平移矩阵。这里N组像素坐标我们使用68人脸关键点，而对应的世界坐标系坐标为通过建模得到的标准人脸3D模型。根据采集到的人体头部关键点建模得到的人脸3D模型，与数据处理器中记录的标准人脸3D模型进行数据对比，从而判断人体坐姿状态下头部是否发生左右倾斜。

如图7所示，S3:根据红外图像识别人体上半身坐姿的关键点，形成坐姿轮廓图；其中A为头部关键点，B为颈部关键点，C为腰部关键点，D和E为通过点B的垂直线，即假设B的坐标为(x,y)，那么D的坐标为(x,height)，E的坐标为(x,0)。Height为图像高度。点CBD形成的夹角为Ɵ。值ta是一个经验阈值，可以通过预先设置也可以通过用户配置；人体左倾、右倾还是端正主要是通过B、C两个点形成直线与垂直线形成的角度Ɵ来判断，如果Ɵ大于角度ta则认为人体左倾，如果Ɵ小于角度-ta则认为右倾。

S4：由4D毫米波雷达6发出超声波检测装置与人体关键点的实时距离；一般的坐姿检测方法只能通过身体轮廓的变化判断坐姿的左右倾斜，而对于坐姿轻微的前后倾斜却无法识别，在这里增加一个4D毫米波雷达6进行超声波实时测距，测距的关键点选取为人体坐姿上半身如S3步骤中相同，所述雷达6在使用时向人体上半身的关键点发射超声波并对反射回的超声波进行收集计算，将收集的超声波反馈时间、对人体不同关键点发射位置进行上传至检测装置中内置的距离测算模块，从而可以计算检测装置与人体上半身各个关键点的实时距离，所述距离测算模块的实时计算时间间隔一般设置为2秒，也可由使用者实际自己设置。

如图9所示，S5:根据头部三维姿态对比标准头部特征值，判断头部的端正情况；根据红外摄像头5采集到的红外图像数据传输到数据处理模块进行计算构建头部3D模型图，所述的数据处理模块包括一个图像处理器和一个数据处理器。

S6:根据人体上半身坐姿的轮廓图，对比标准坐姿，判断身体是否发生左右倾斜；通过上半身关键点构成的身体轮廓图与上述S5中构建的3D模型图成为图像处理数据的输出结果，分别与标准坐姿进行对比。

S7：超声波测得的实时距离判断身体的前后倾状况；所述的距离测算模块包括超声波处理器对测得的实时数据进行计算并与设定距离进行对比，与上述S5、S6中得到的图像数据处理数据结合进行用户行为分析，从而判断人体坐姿是否符合标准坐姿或者设定坐姿数据。

S8:对坐姿不符合标准的状态会由喇叭7发出蜂鸣警报或语音。对于不符合标准坐姿或者设定坐姿的情况，处理器会向喇叭7发出警报信号，由喇叭7发出的信号为蜂鸣或者语音提醒。

实施例2

对于坐姿距离测定，除了采用一个精度较高的4D毫米波雷达，亦可换做增加另一个红外摄像头5或者测距传感器，配合前述红外摄像头5来测量装置与人体的距离，也可达到能够测定检测装置与人体之间距离的效果。其他的步骤与实施例1相同。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

还需要说明的是，以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种人体坐姿检测装置，包括外壳（1），麦克风（2），供电接口（3），喇叭（7），锁盖（8），支架（9），其特征在于还包括一个用于拍摄人体坐姿状态下红外结构光形态变化的红外摄像头（5），用于投射结构光并进行主动式红外成像及三维深度信息测定的红外线发射器（4），用于发射测距超声波的毫米波雷达（6），根据红外图像进行模型关键点计算分析的算法分析模块，根据超声波反馈进行测距的距离测算模块，根据采集的人体红外图像的头部关键点与身体关键点建模与标准坐姿进行对比的行为分析模块，其中所述的外壳（1）形成坐姿检测装置主体，所述外壳（1）表面开孔容纳麦克风（2），红外摄像头（5），红外线发射器（4），毫米波雷达（6）于其内部，所述外壳（1）侧面开孔设置有供电接口（3），所述外壳（1）下部开孔设置有喇叭（7），所述锁盖（8）与外壳（1）相扣合，将所述支架（9）容纳于锁盖（8）与外壳（1）之间，所述支架（9）可伸缩支撑于书桌上或其他应用场景。

2.一种人体坐姿检测方法，其特征在于所述方法的步骤包括：

S1:通过红外摄像头获取连续多帧的人体坐姿图像；

S2:捕捉识别人体面部的关键点，计算头部三维姿态；

S3:根据红外图像识别人体上半身坐姿的关键点，形成坐姿轮廓图；

S4：由毫米波雷达发出超声波检测装置与人体关键点的实时距离；

S5:根据头部三维姿态对比标准头部特征值，判断头部的端正情况；

S6:根据人体上半身坐姿的轮廓图，对比标准坐姿，判断身体是否发生左右倾斜；

S7：超声波测得的实时距离判断身体的前后倾状况；

S8:对坐姿不符合标准的状态会由喇叭发出蜂鸣警报或语音。

3.根据权利要求2所述的一种人体坐姿检测方法，其特征在于所述的步骤S1中采用红外相机对检测对象的坐姿进行获取不易受外界环境的干扰，避免了普通光学成像的不稳定性因素，当遇到背景光影响明显的情况，可由红外线发射器发射红外结构光，增强红外图像的呈现效果。

4.根据权利要求2所述的一种人体坐姿检测方法，其特征在于所述的步骤S2中捕捉识别的二维面部关键点为68个，构建像素坐标，根据计算从而得到相机坐标，由相机坐标的平移和旋转关系计算得到世界坐标，从而根据红外相机得到的二维面部关键点计算构建人体头部的三维模型，从而判断头部的位置是否发生偏移。

5.根据权利要求2所述的一种人体坐姿检测方法，其特征在于所述的步骤S3中需要对人体上半身的关键点进行捕捉识别，选取头部、颈部、腰部、双肩、双肘、双手的关键点作为检测点，构成人体坐姿轮廓图，与预设的标准人体坐姿轮廓或者特定坐姿轮廓进行对比，从而判断人体上半身的是否发生左右偏移。

6.根据权利要求2所述的一种人体坐姿检测方法，其特征在于所述的步骤S4中通过4D毫米波雷达向人体上半身的关键点发射超声波，通过实时的超声波发射与接收时间来判断人体上半身关键点前后偏移距离，与设定装置到人体距离进行对比。

7.根据权利要求2所述的一种人体坐姿检测方法，其特征在于所述的步骤S4中的4D毫米波雷达也可选用另一个红外摄像头或者测距传感器，配合前述红外摄像头来测量装置与人体的距离，优选4D毫米波雷达。

Images