CN110148092A - 基于机器视觉的青少年坐姿及情绪状态的分析方法 - Google Patents
基于机器视觉的青少年坐姿及情绪状态的分析方法 Download PDFInfo
- Publication number
- CN110148092A CN110148092A CN201910305722.0A CN201910305722A CN110148092A CN 110148092 A CN110148092 A CN 110148092A CN 201910305722 A CN201910305722 A CN 201910305722A CN 110148092 A CN110148092 A CN 110148092A
- Authority
- CN
- China
- Prior art keywords
- sitting posture
- machine vision
- teenager
- video
- emotional state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 23
- 230000002996 emotional effect Effects 0.000 title claims abstract description 10
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 239000012141 concentrate Substances 0.000 claims 1
- 206010048232 Yawning Diseases 0.000 abstract description 3
- 230000002159 abnormal effect Effects 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 230000036651 mood Effects 0.000 abstract description 3
- 238000002604 ultrasonography Methods 0.000 abstract 1
- 210000003128 head Anatomy 0.000 description 4
- 238000003891 environmental analysis Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 208000000044 Amnesia Diseases 0.000 description 1
- 208000031091 Amnestic disease Diseases 0.000 description 1
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010057315 Daydreaming Diseases 0.000 description 1
- 206010028347 Muscle twitching Diseases 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000006986 amnesia Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Abstract
本发明公开了基于机器视觉的青少年坐姿及情绪状态的分析方法，包括采用广角摄像头实时采集青少年的坐姿画面视频、对采集的视频数据进行预处理、对视频前景和背景进行分离、人脸检测和定位、三维空间投影、判断分析的步骤，本发明通过机器视觉智能分析，不存在物理接触，舒适性强；通过神经网络算法模型进行训练，可以对各种不合规的坐姿以及异常动作、情绪、精神(疲劳程度、发呆、小动作、打哈欠、闭眼、玩手机)状态有效识别，智能提醒、误报率低、检测精度高；成本低、实现方便、通用的摄像头就可实现功能；相比传统的红外或超声检测，准确率高，安全性好。
Description
技术领域：
本发明涉及青少年坐姿分析技术领域,具体的涉及基于机器视觉的青少年坐姿及情绪状态的分析方法。
背景技术：
儿童健康情况堪忧，据调查，青少年学生不同程度的脊椎侧弯发病率高达20％以上！青少年学生的近视、健忘、头晕、脖筋痛、胸痛、困乏而上课走神等与脊椎的健康问题关系密切，现有市场上的坐姿检测(纠正)装置是通过以下几种方式实现的：物理方式：通过在座椅上增加物理背带，强制保持坐姿；通过压力传感器或者无线测距的方式(红外、超声波)主要的原来是通过检查人体的距离来评估坐姿。以上方式有存在舒适性差、误报率大、检测效果差、可扩展性差、成本高。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容：
本发明的目的在于提供基于机器视觉的青少年坐姿及情绪状态的分析方法，从而克服上述现有技术中的缺陷。
为实现上述目的，本发明提供了基于机器视觉的青少年坐姿及情绪状态的分析方法，其特征在于：包括以下步骤：
1)采用广角摄像头实时采集青少年的坐姿画面视频；
2)对采集的视频数据进行预处理，首先对视频信息进行灰度化处理，再基于直方图的方法将相邻帧的各个像素的灰度、亮度或颜色分成N个等级，针对每个等级统计像素数做成直方图比较，通过像素的高斯变化获取自适应的分割阀值，突出视频数据中的物体特征点，再依据视频数据中的特征点，集合图像的颜色、纹理特征获取关键帧，对不包含特征点的视频帧不做处理；
3)对视频前景和背景进行分离，对背景中静止像素不作处理，只处理前景移动画面，将分离出的前景画面进行降噪，获取图域中的坐标和区域，作为模型识别的输入数据源；
4)人脸检测和定位，基于2)和3)对图像处理后识别人脸的特征点并进行精准定位；
5)三维空间投影，对检测到的人脸视频数据通过数据融合投影到三维空间，并计算头部在三维空间的X,Y,Z轴的位置；
6)判断分析，通过训练的模型库与计算出的头部在三维空间的X,Y,Z轴的位置进行比对，检测坐姿是否正常；根据脸部特征点，识别脸部表情，从而判断是否分神、发呆、注意力是否集中。
所述步骤1)采用的广角摄像头与智能学习桌相连。
判断分析结果通过语音、信息推送给老师或者家长。
与现有技术相比，本发明的一方面具有如下有益效果：
本发明通过机器视觉智能分析，与传统的物理接触分析的方法相比不存在物理接触，舒适性强；通过神经网络算法模型进行训练，可以对各种不合规的坐姿以及异常动作、情绪、精神(疲劳程度、发呆、小动作、打哈欠、闭眼、玩手机)状态有效识别，智能提醒、误报率低、检测精度高；成本低、实现方便、通用的摄像头就可实现功能；相比传统的红外或超声环境分析，识别率高、安全性好。
具体实施方式：
下面对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
基于机器视觉的青少年坐姿及情绪状态的分析方法，其特征在于：包括以下步骤：
1)采用广角摄像头实时采集青少年的坐姿画面视频；
2)对采集的视频数据进行预处理，首先对视频信息进行灰度化处理，再基于直方图的方法将相邻帧的各个像素的灰度、亮度或颜色分成N个等级，针对每个等级统计像素数做成直方图比较，通过像素的高斯变化获取自适应的分割阀值，突出视频数据中的物体特征点，再依据视频数据中的特征点，集合图像的颜色、纹理特征获取关键帧，对不包含特征点的视频帧不做处理；
3)对视频前景和背景进行分离，对背景中静止像素不作处理，只处理前景移动画面，将分离出的前景画面进行降噪，获取图域中的坐标和区域，作为模型识别的输入数据源；
4)人脸检测和定位，基于2)和3)对图像处理后识别人脸的特征点并进行精准定位；
5)三维空间投影，对检测到的人脸视频数据通过数据融合投影到三维空间，并计算头部在三维空间的X,Y,Z轴的位置；
6)判断分析，通过训练的模型库与计算出的头部在三维空间的X,Y,Z轴的位置进行比对；根据脸部特征点，识别脸部表情，从而判断是否分神、发呆、注意力是否集中。
所述步骤1)采用的广角摄像头与智能学习桌相连。
判断分析结果通过语音、信息推送给老师或者家长。
在实施时，将广角摄像头与青少年课桌连接，广角摄像头与视觉检测工具连接，老师或者家长安装手机客户端，视觉检测工作按照步骤1)-6)检测后将信息发送到老师或者家长安装手机客户端。
本发明通过机器视觉智能分析，与传统的物理接触分析的方法相比不存在物理接触，舒适性强；通过神经网络算法模型进行训练，可以对各种不合规的坐姿以及异常动作、情绪、精神(疲劳程度、发呆、小动作、打哈欠、闭眼、玩手机)状态有效识别，智能提醒、误报率低、检测精度高；成本低、实现方便、通用的摄像头就可实现功能；相比传统的红外或超声环境分析，安全性好。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。
Claims (3)
1.基于机器视觉的青少年坐姿及情绪状态的分析方法，其特征在于：包括以下步骤：
1)采用广角摄像头实时采集青少年的坐姿画面视频；
2)对采集的视频数据进行预处理，首先对视频信息进行灰度化处理，再基于直方图的方法将相邻帧的各个像素的灰度、亮度或颜色分成N个等级，针对每个等级统计像素数做成直方图比较，通过像素的高斯变化获取自适应的分割阀值，突出视频数据中的物体特征点，再依据视频数据中的特征点，集合图像的颜色、纹理特征获取关键帧，对不包含特征点的视频帧不做处理；
3)对视频前景和背景进行分离，对背景中静止像素不作处理，只处理前景移动画面，将分离出的前景画面进行降噪，获取图域中的坐标和区域，作为模型识别的输入数据源；
4)人脸检测和定位，基于2)和3)对图像处理后识别人脸的特征点并进行精准定位；
5)三维空间投影，对检测到的人脸视频数据通过数据融合投影到三维空间，并计算头部在三维空间的X,Y,Z轴的位置；
6)判断分析，通过训练的模型库与计算出的头部在三维空间的X,Y,Z轴的位置进行比对，检测坐姿是否正常；根据脸部特征点，识别脸部表情，从而判断是否分神、发呆、注意力是否集中。
2.根据权利要求1所述的基于机器视觉的青少年坐姿及情绪状态的分析方法，其特征在于：所述步骤1)采用的广角摄像头与学习桌智能终端设备相连。
3.根据权利要求1所述的基于机器视觉的青少年坐姿及情绪状态的分析方法，其特征在于：判断分析结果通过语音、信息推送给老师或者家长。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910305722.0A CN110148092B (zh) | 2019-04-16 | 2019-04-16 | 基于机器视觉的青少年坐姿及情绪状态的分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910305722.0A CN110148092B (zh) | 2019-04-16 | 2019-04-16 | 基于机器视觉的青少年坐姿及情绪状态的分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110148092A true CN110148092A (zh) | 2019-08-20 |
| CN110148092B CN110148092B (zh) | 2022-12-13 |
Family
ID=67589806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910305722.0A Active CN110148092B (zh) | 2019-04-16 | 2019-04-16 | 基于机器视觉的青少年坐姿及情绪状态的分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110148092B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062244A (zh) * | 2019-10-31 | 2020-04-24 | 河南科技大学 | 一种基于机器视觉的坐姿提醒方法 |
| CN111858968A (zh) * | 2020-07-08 | 2020-10-30 | 墨子(深圳)人工智能技术有限公司 | 一种具有握笔坐姿纠正功能的人工智能学习装置及系统 |
| CN112015242A (zh) * | 2020-10-29 | 2020-12-01 | 四川写正智能科技有限公司 | 一种主动触发的智能奖励方法及系统 |
| CN112714328A (zh) * | 2020-12-23 | 2021-04-27 | 作业帮教育科技（北京）有限公司 | 一种直播课学生姿态提示方法、装置及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100316281A1 (en) * | 2007-02-23 | 2010-12-16 | Valentin Lefevre | Method and device for determining the pose of a three-dimensional object in an image and method and device for creating at least one key image for object tracking |
| CN102360421A (zh) * | 2011-10-19 | 2012-02-22 | 苏州大学 | 一种基于视频流的人脸识别方法及系统 |
| CN103707781A (zh) * | 2013-12-26 | 2014-04-09 | 苏州清研微视电子科技有限公司 | 基于距离图像的驾驶员座椅位置自动调整系统 |
| CN107169453A (zh) * | 2017-05-16 | 2017-09-15 | 湖南巨汇科技发展有限公司 | 一种基于深度传感器的坐姿检测方法 |
| CN107543062A (zh) * | 2017-08-10 | 2018-01-05 | 浙江凯耀照明股份有限公司 | 一种智能台灯及使用方法 |
| CN109308445A (zh) * | 2018-07-25 | 2019-02-05 | 南京莱斯电子设备有限公司 | 一种基于信息融合的固定岗位人员疲劳检测方法 |
-
2019
- 2019-04-16 CN CN201910305722.0A patent/CN110148092B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100316281A1 (en) * | 2007-02-23 | 2010-12-16 | Valentin Lefevre | Method and device for determining the pose of a three-dimensional object in an image and method and device for creating at least one key image for object tracking |
| CN102360421A (zh) * | 2011-10-19 | 2012-02-22 | 苏州大学 | 一种基于视频流的人脸识别方法及系统 |
| CN103707781A (zh) * | 2013-12-26 | 2014-04-09 | 苏州清研微视电子科技有限公司 | 基于距离图像的驾驶员座椅位置自动调整系统 |
| CN107169453A (zh) * | 2017-05-16 | 2017-09-15 | 湖南巨汇科技发展有限公司 | 一种基于深度传感器的坐姿检测方法 |
| CN107543062A (zh) * | 2017-08-10 | 2018-01-05 | 浙江凯耀照明股份有限公司 | 一种智能台灯及使用方法 |
| CN109308445A (zh) * | 2018-07-25 | 2019-02-05 | 南京莱斯电子设备有限公司 | 一种基于信息融合的固定岗位人员疲劳检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张鸿宇 等: "基于深度图像的多学习者姿态识别", 《计算机科学》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062244A (zh) * | 2019-10-31 | 2020-04-24 | 河南科技大学 | 一种基于机器视觉的坐姿提醒方法 |
| CN111062244B (zh) * | 2019-10-31 | 2023-04-18 | 河南科技大学 | 一种基于机器视觉的坐姿提醒方法 |
| CN111858968A (zh) * | 2020-07-08 | 2020-10-30 | 墨子(深圳)人工智能技术有限公司 | 一种具有握笔坐姿纠正功能的人工智能学习装置及系统 |
| CN112015242A (zh) * | 2020-10-29 | 2020-12-01 | 四川写正智能科技有限公司 | 一种主动触发的智能奖励方法及系统 |
| CN112015242B (zh) * | 2020-10-29 | 2021-02-02 | 四川写正智能科技有限公司 | 一种主动触发的智能奖励方法及系统 |
| CN112714328A (zh) * | 2020-12-23 | 2021-04-27 | 作业帮教育科技（北京）有限公司 | 一种直播课学生姿态提示方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110148092B (zh) | 2022-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110148092A (zh) | 基于机器视觉的青少年坐姿及情绪状态的分析方法 | |
| US7680295B2 (en) | Hand-gesture based interface apparatus | |
| US11844608B2 (en) | Posture analysis systems and methods | |
| CN106874830B (zh) | 一种基于rgb-d相机和人脸识别的视障人士辅助方法 | |
| CN111414780A (zh) | 一种坐姿实时智能判别方法、系统、设备及存储介质 | |
| US10843299B2 (en) | Object recognition and presentation for the visually impaired | |
| CN103412643B (zh) | 终端及其遥控的方法 | |
| CN109948435A (zh) | 坐姿提醒方法及装置 | |
| CN111046825A (zh) | 人体姿态识别方法、装置、系统及计算机可读存储介质 | |
| CN110934591A (zh) | 一种坐姿检测方法及装置 | |
| WO2023040578A1 (zh) | 一种基于童脸识别的儿童坐姿检测方法及系统 | |
| CN112989939A (zh) | 一种基于视觉的斜视检测系统 | |
| WO2010142455A2 (en) | Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze | |
| CN112232128A (zh) | 基于视线追踪的老年残障人士照护需求识别方法 | |
| Phuong et al. | An eye blink detection technique in video surveillance based on eye aspect ratio | |
| CN105095885A (zh) | 一种人眼状态的检测方法和检测装置 | |
| Khilari | Iris tracking and blink detection for human-computer interaction using a low resolution webcam | |
| CN111444789B (zh) | 一种基于视频感应技术的近视预防方法及其系统 | |
| EP2261772A1 (en) | Method for controlling an input device based on the detection of attitude or eye gaze | |
| CN110287795A (zh) | 一种基于图像分析的眼部年龄检测方法 | |
| EP2261857A1 (en) | Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze | |
| CN112527103B (zh) | 显示设备的遥控方法、装置、设备及计算机可读存储介质 | |
| CN114255509A (zh) | 一种基于OpenPose的学生监督辅助工具 | |
| Kim et al. | Gaze tracking based on pupil estimation using multilayer perception | |
| CN111582003A (zh) | 一种视线跟踪学生教室预防近视系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |