CN109978907A - 一种面向家居场景的学生坐姿检测方法 - Google Patents
一种面向家居场景的学生坐姿检测方法 Download PDFInfo
- Publication number
- CN109978907A CN109978907A CN201910220634.0A CN201910220634A CN109978907A CN 109978907 A CN109978907 A CN 109978907A CN 201910220634 A CN201910220634 A CN 201910220634A CN 109978907 A CN109978907 A CN 109978907A
- Authority
- CN
- China
- Prior art keywords
- image
- sitting posture
- student
- obtains
- household scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000011410 subtraction method Methods 0.000 claims abstract description 11
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000003062 neural network model Methods 0.000 abstract description 4
- 238000005286 illumination Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种面向家居场景的学生坐姿检测方法，实时采集视频流中的连续帧图像；首先对图像进行预处理，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；然后通过背景减除法对捕获的当前帧图像进行处理，获得人形所在区域，降低背景对检测准确度的影响；之后对预处理后的当前帧进行人形分割，把大量人形分割后的待检图像和标签输入到改进后的AlexNet神经网络模型进行训练，获取学生坐姿检测模型。该发明可以广泛应用于家居场景下的学生坐姿检测，包括坐姿是否正确和坐姿倾斜程度等，给用户带来健康舒适的身心享受，有非常广阔的应用前景。
Description
技术领域
本发明属于智能家居技术领域，具体涉及一种面向家居场景的学生坐姿检测方法。
背景技术
在过去的几十年里，随着计算机的飞速普及使人们将越来越多的工作放在计算机上去完成。各行各业中，尤其是程序开发人员和文字工作者，在计算机上的工作时间越来越长，这种情况下不良的坐姿对颈肩腰椎都会产生很大影响，容易导致多种疾病的发生。对于学生来说，接触计算机的年龄越来越小，保持良好的坐姿对于学生的成长发育以及保护视力都大有裨益。在过去的几年里，智能家居行业日益繁荣，与此同时，关于管控学生行为的设备也越来越多。但当今市场上，关于学生坐姿检测的仪器大都是冗杂的硬件设备，具有学生坐姿检测功能的软件集成终端设备还较为少见，这些硬件设备不仅价格昂贵，设计复杂，且便捷性、实时性均有所欠缺。
发明内容
本发明所要解决的技术问题是克服现有技术的不足，提供一种面向家居场景的学生坐姿检测方法，将基于背景减除法的人形区域分割法和基于改进后AlexNet网络的学生坐姿检测模型集成至终端设备，不仅大幅降低了设备成本，且具有良好的检测效果。
本发明提供一种面向家居场景的学生坐姿检测方法，包括如下步骤：
步骤S1、选取一张不含人物的家居场景图像作为背景图，对背景图进行预处理，获取图像Image0；
步骤S2、实时采集家居场景的视频流，并对视频流中的每帧图像进行预处理，获取当前帧预处理后的图像为Image1；
步骤S3、采用背景减除法对当前帧处理后的图像Image1和图像Image0进行处理，获取图像Image2，再对图像Image2依次进行二值化处理和形态学中闭运算处理，获取图像Image3，将图像Image3中灰度值为255的点矩形拟合，获取矩形的中心位置和长宽；在当前帧预处理后的图像Image1中截取对应的矩形区域，获取人形区域图像Image4，最后将人形区域图像Image4调整大小为（227,227），获取待输入的图像Image5;
步骤S4、将待输入的图像Image5输入到改进后的AlexNet网络模型进行训练，获取学生坐姿检测模型；
步骤S5、将新采集到图像处理后输入到学生坐姿检测模型中，输出学生坐姿检测结果和学生身体与垂直线的角度θ，当坐姿不当或θ大于15度时，进行坐姿提醒。
作为本发明的进一步技术方案，步骤S3中背景减除法具体方法为：
用现在的图像去对比已知的观察图像，观察图像不含有任何感兴趣的图像，即为背景图像，将当前帧预处理后的图像Image1与图像Image0进行对比，获取人形所在的区域的图像，并对其二值化处理后得到掩码图，再使用矩形拟合掩码图，使矩形对当前帧对应区域进行分割，获取人形区域分割图像。
进一步的，步骤S4中，改进后的AlexNet网络模型具体为：
包括7层深度网络，前5层为卷积层，后2层为全连接层，并在结尾处设有两个头，分类头和回归头，分类器采用SVM核函数中的径向基函数，回归部分为欧式距离损失函数。
更进一步的，分类头输出学生坐姿检测结果，回归头输出学生身体与垂直线的角度。
进一步的，预处理包括灰度处理和高斯模糊平滑处理，首先对图像使用Gamma校正法对图形进行归一化，之后进行高斯滤波处理，其中，Gamma校正法为对图像的Gamma曲线进行编辑，以对图像进行非线性色调编辑的方法，检出图像信号中的深色部分和浅色部分，并增大两者比例。
本发明的方法通过背景减除法对图像中人形所在区域进行检测，然后进行形态学的闭运算处理和矩形拟合，减少周围环境对人形检测的影响，之后在当前帧图像对应的矩形区域进行人形区域分割，得到待输入图像，输入图像输入到改进后的AlexNet网络模型进行训练，得到学生坐姿检测模型，用于输出学生坐姿检测结果和学生身体与垂直线的角度，之后根据结果进行语音提醒。本发明能快速准确的对视频流中的学生坐姿进行检测，适用于家居终端设备，提高了用户体验舒适度，给用户带来了健康舒适的身心享受。
附图说明
图1为本发明的人形区域检测与分割的结构框图；
图2为本发明的改进后的AlexNet神经网络模型；
图3为本发明的面向家居场景的学生坐姿检测总体结构框图。
具体实施方式
本实施例提供一种面向家居场景的学生坐姿检测方法，包括如下步骤：
步骤S1、选取一张不含人物的家居场景图像作为背景图，对背景图进行预处理，获取图像Image0；
步骤S2、实时采集家居场景的视频流，并对视频流中的每帧图像进行预处理，获取当前帧预处理后的图像为Image1；
步骤S3、采用背景减除法对当前帧处理后的图像Image1和图像Image0进行处理，获取图像Image2，再对图像Image2依次进行二值化处理和形态学中闭运算处理，获取图像Image3，将图像Image3中灰度值为255的点矩形拟合，获取矩形的中心位置和长宽；在当前帧预处理后的图像Image1中截取对应的矩形区域，获取人形区域图像Image4，最后将人形区域图像Image4调整大小为（227,227），获取待输入的图像Image5；
步骤S4、将待输入的图像Image5输入到改进后的AlexNet网络模型进行训练，获取学生坐姿检测模型；
步骤S5、将新采集到图像处理后输入到学生坐姿检测模型中，输出学生坐姿检测结果和学生身体与垂直线的角度θ，当坐姿不当或θ大于15度时，进行坐姿提醒。
请参阅图1，步骤S1-S3的人形区域检测与分割具体步骤为：
选取一张不含人物的家居场景图像作为背景图，并对其进行预处理，得到图像Image0；实时捕获视频流中的每帧图像，并进行预处理，记当前帧预处理后的图像为Image1；其中，预处理包括灰度处理和高斯模糊平滑处理；
对图像进行预处理，首先使用Gamma校正法对图像进行归一化，之后进行高斯滤波处理；其中Gamma 校正就是对图像的Gamma 曲线进行编辑，以对图像进行非线性色调编辑的方法，检出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度效果，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；高斯滤波主要消除噪声对检测的影响。
采用背景减除法对当前帧预处理后的图像Image1和预处理后的背景图像Image0进行处理，得到图像Image2。
对图像Image2依次进行二值化处理和形态学中的闭运算处理，得到图像Image3，并用矩形拟合Image3中灰度值为255的点，记录矩形的中心位置（x0,y0）和高宽（h，w）；
二值化处理时，对每个像素的灰度值与阈值进行比较，其中阈值设置为50，得到掩码图；矩形拟合指的是用一个矩形刚好能包括所有连续分布的像素值为255的点。
截取当前帧预处理后的图像Image1对应的矩形区域，获得人形区域图像Image4；其中Image4=Image1[x0-h/2 : x0+h/2,y0-w/2 : y0+w/2];并调整图像大小为(227,227)，得到待输入图像Image5。
请参阅图2，步骤S4中改进后的AlexNet神经网络模型具体为：
开始搭建基于AlexNet神经网络模型的学生坐姿检测网络模型；本发明对于8层AlexNet网络结构模型进行了改进，在保留前5层卷积层和2层全连接层的同时，去掉最后一个全连接层，并在结尾处作出改进：加了两个头，分类头和回归头。分类头输出学生坐姿检测结果（正确记为0，不当记为1），回归头输出学生身体与垂直线的角度（记为θ）。
输出层的分类器采用SVM核函数中的径向基 (RBF)函数；第一次先在改进后的AlexNet网络中的分类部分做，即将待输入图像和标签输入到改进后的AlexNet网络模型进行训练，得到前面7层的训练参数。
输出层的回归部分采用欧式距离损失函数；第二次在改进后的AlexNet网络中的回归部分做，前面7层的模型训练参数保持不变，做一次微调，从而改善回归模型中训练参数收敛时间长的问题。
将大量待输入图像输入到改进后的AlexNet网络模型进行训练，得到学生坐姿检测模型。
请参阅图3，步骤S5的面向家居场景的学生坐姿检测的具体方法为：
实时采集家居场景的视频流，并对视频流中的每一帧图像进行预处理。
采用背景减除法和矩形拟合方法等对预处理后的图像进行再处理，得到人形区域分割图像。
将当前帧处理后得到的人形区域图像输入到学生坐姿检测模型中，输出学生坐姿检测结果和学生身体与垂直线的角度（记为θ）。
检测结果显示坐姿不当或角度θ大于15度时，对其进行语音提醒，调整坐姿。
继续实时采集家居场景的视频流，循环本方法。
综上所述，本发明将基于背景减除法的人形区域分割法和基于改进后AlexNet网络的学生坐姿检测模型集成至终端设备，不仅大幅降低了设备成本，且具有良好的检测效果。
以上显示和描述了本发明的基本原理、主要特征和优点。本领域的技术人员应该了解，本发明不受上述具体实施例的限制，上述具体实施例和说明书中的描述只是为了进一步说明本发明的原理，在不脱离本发明精神范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由权利要求书及其等效物界定。
Claims (5)
1.一种面向家居场景的学生坐姿检测方法，其特征在于，包括如下步骤：
步骤S1、选取一张不含人物的家居场景图像作为背景图，对背景图进行预处理，获取图像Image0；
步骤S2、实时采集家居场景的视频流，并对视频流中的每帧图像进行预处理，获取当前帧预处理后的图像为Image1；
步骤S3、采用背景减除法对当前帧处理后的图像Image1和图像Image0进行处理，获取图像Image2，再对图像Image2依次进行二值化处理和形态学中闭运算处理，获取图像Image3，将图像Image3中灰度值为255的点矩形拟合，获取矩形的中心位置和长宽；在当前帧预处理后的图像Image1中截取对应的矩形区域，获取人形区域图像Image4，最后将人形区域图像Image4调整大小为（227,227），获取待输入的图像Image5;
步骤S4、将待输入的图像Image5输入到改进后的AlexNet网络模型进行训练，获取学生坐姿检测模型；
步骤S5、将新采集到图像处理后输入到学生坐姿检测模型中，输出学生坐姿检测结果和学生身体与垂直线的角度θ，当坐姿不当或θ大于15度时，进行坐姿提醒。
2.根据权利要求1所述的一种面向家居场景的学生坐姿检测方法，其特征在于，所述步骤S3中所述背景减除法具体方法为：
用现在的图像去对比已知的观察图像，所述观察图像不含有任何感兴趣的图像，即为背景图像，将当前帧预处理后的图像Image1与图像Image0进行对比，获取人形所在的区域的图像，并对其二值化处理后得到掩码图，再使用矩形拟合掩码图，使矩形对当前帧对应区域进行分割，获取人形区域分割图像。
3.根据权利要求1所述的一种面向家居场景的学生坐姿检测方法，其特征在于，所述步骤S4中，改进后的AlexNet网络模型具体为：
包括7层深度网络，前5层为卷积层，后2层为全连接层，并在结尾处设有两个头，分类头和回归头，分类器采用SVM核函数中的径向基函数，回归部分为欧式距离损失函数。
4.根据权利要求3所述的一种面向家居场景的学生坐姿检测方法，其特征在于，所述分类头输出学生坐姿检测结果，所述回归头输出学生身体与垂直线的角度。
5.根据权利要求1所述的一种面向家居场景的学生坐姿检测方法，其特征在于，所述预处理包括灰度处理和高斯模糊平滑处理，首先对图像使用Gamma校正法对图形进行归一化，之后进行高斯滤波处理，其中，所述Gamma校正法为对图像的Gamma曲线进行编辑，以对图像进行非线性色调编辑的方法，检出图像信号中的深色部分和浅色部分，并增大两者比例。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910220634.0A CN109978907A (zh) | 2019-03-22 | 2019-03-22 | 一种面向家居场景的学生坐姿检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910220634.0A CN109978907A (zh) | 2019-03-22 | 2019-03-22 | 一种面向家居场景的学生坐姿检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109978907A true CN109978907A (zh) | 2019-07-05 |
Family
ID=67080027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910220634.0A Pending CN109978907A (zh) | 2019-03-22 | 2019-03-22 | 一种面向家居场景的学生坐姿检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109978907A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717392A (zh) * | 2019-09-05 | 2020-01-21 | 云知声智能科技股份有限公司 | 一种坐姿检测与纠正方法和装置 |
| CN111145274A (zh) * | 2019-12-06 | 2020-05-12 | 华南理工大学 | 一种基于视觉的坐姿检测方法 |
| CN112036279A (zh) * | 2020-08-22 | 2020-12-04 | 深圳市信诺兴技术有限公司 | 一种楼宇智能监控方法及系统 |
| CN112613440A (zh) * | 2020-12-29 | 2021-04-06 | 北京市商汤科技开发有限公司 | 一种姿态检测的方法、装置、电子设备及存储介质 |
| CN112714328A (zh) * | 2020-12-23 | 2021-04-27 | 作业帮教育科技（北京）有限公司 | 一种直播课学生姿态提示方法、装置及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491880A (zh) * | 2018-03-23 | 2018-09-04 | 西安电子科技大学 | 基于神经网络的物体分类和位姿估计方法 |
| CN108549855A (zh) * | 2018-04-02 | 2018-09-18 | 南京邮电大学 | 面向智能家居场景的实时人形检测方法 |
| US20180365845A1 (en) * | 2016-08-19 | 2018-12-20 | Soochow University | Moving object detection method and system |
-
2019
- 2019-03-22 CN CN201910220634.0A patent/CN109978907A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180365845A1 (en) * | 2016-08-19 | 2018-12-20 | Soochow University | Moving object detection method and system |
| CN108491880A (zh) * | 2018-03-23 | 2018-09-04 | 西安电子科技大学 | 基于神经网络的物体分类和位姿估计方法 |
| CN108549855A (zh) * | 2018-04-02 | 2018-09-18 | 南京邮电大学 | 面向智能家居场景的实时人形检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张泽宇: "基于神经网络的物体检测和位姿估计", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 洞明: "CNN图像定位与物体探测", 《HTTPS://WWW.CNBLOGS.COM/JIANZHITANQIAO/P/5550344.HTML》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717392A (zh) * | 2019-09-05 | 2020-01-21 | 云知声智能科技股份有限公司 | 一种坐姿检测与纠正方法和装置 |
| CN110717392B (zh) * | 2019-09-05 | 2022-02-18 | 云知声智能科技股份有限公司 | 一种坐姿检测与纠正方法和装置 |
| CN111145274A (zh) * | 2019-12-06 | 2020-05-12 | 华南理工大学 | 一种基于视觉的坐姿检测方法 |
| CN111145274B (zh) * | 2019-12-06 | 2022-04-22 | 华南理工大学 | 一种基于视觉的坐姿检测方法 |
| CN112036279A (zh) * | 2020-08-22 | 2020-12-04 | 深圳市信诺兴技术有限公司 | 一种楼宇智能监控方法及系统 |
| CN112714328A (zh) * | 2020-12-23 | 2021-04-27 | 作业帮教育科技（北京）有限公司 | 一种直播课学生姿态提示方法、装置及电子设备 |
| CN112613440A (zh) * | 2020-12-29 | 2021-04-06 | 北京市商汤科技开发有限公司 | 一种姿态检测的方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109978907A (zh) | 一种面向家居场景的学生坐姿检测方法 | |
| CN104978715B (zh) | 一种基于滤波窗口及参数自适应的非局部均值图像去噪方法 | |
| CN109872285B (zh) | 一种基于变分约束的Retinex低照度彩色图像增强方法 | |
| CN105740945B (zh) | 一种基于视频分析的人群计数方法 | |
| CN104050471B (zh) | 一种自然场景文字检测方法及系统 | |
| CN100367294C (zh) | 在彩色数字图像和视频中分割出人体皮肤区域的方法 | |
| CN107516316B (zh) | 一种在fcn中引入聚焦机制对静态人体图像进行分割的方法 | |
| CN109977781A (zh) | 人脸检测方法及装置、可读存储介质 | |
| CN102855617B (zh) | 自适应图像处理方法及系统 | |
| CN109359681A (zh) | 一种基于改进全卷积神经网络的大田作物病虫害识别方法 | |
| CN103914699A (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
| CN103971112A (zh) | 图像特征提取方法及装置 | |
| CN111652233A (zh) | 一种针对复杂背景的文本验证码自动识别方法 | |
| CN109872326B (zh) | 基于深度强化网络跳跃连接的轮廓检测方法 | |
| CN112017263B (zh) | 基于深度学习的试卷智能生成方法和系统 | |
| Hou et al. | Welding image edge detection and identification research based on canny operator | |
| CN109859222A (zh) | 基于级联神经网络的边缘提取方法及系统 | |
| CN105046202A (zh) | 自适应的人脸识别光照处理方法 | |
| CN111582654B (zh) | 基于深度循环神经网络的服务质量评价方法及其装置 | |
| Rao et al. | Seeing in the Dark by Component-GAN | |
| CN114299573A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN110136098B (zh) | 一种基于深度学习的线缆顺序检测方法 | |
| CN104408736A (zh) | 基于特征相似性的合成人脸画像质量评价方法 | |
| CN104966271B (zh) | 基于生物视觉感受野机制的图像去噪方法 | |
| CN103942792A (zh) | 医药检测机器人中基于序列图像时域特征的杂质检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |