CN104951081B - 自动识别读写姿势的方法及其智能预警装置 - Google Patents

Abstract

一种实时获取读写姿势且可对该姿势处于异常时能报警的自动识别读写姿势的方法及其智能预警装置。步骤为：1)通过图像传感器分别获取读写人姿态及所处读写场景的彩色和深度图像并将其存入计算机内的识别模块中；2)将彩色图像中二维坐标像素与深度图像中同一坐标像素的深度坐标进行配对；3)采用haar特征和adaboost分类器的模式识别方法在彩色图像上对读写人身姿实行跟踪定位；4)设置特征识别点；5)设定特征识别点至读物之间的测量数据；6)设定标准读写姿势对应的标准参数；7)将动态的读写人对应的测量数据与标准参数比对；8)对异常状态报警。该装置可有效判断青少年读书时的姿势是否正确，对近视的预防具有积极意义。

Description

自动识别读写姿势的方法及其智能预警装置

技术领域

本发明涉及一种对学生读书写字时的姿势正确与否进行判断的方法及其提醒装置，特别涉及一种通过采集彩色和深度双模图像信息对读写姿势进行智能识别的方法及其预警装置。

背景技术

我国现有近视患者已超过3亿人，占世界近视人数的33％，远远高于世界平均值22％的比例。我国每年会出现低视力135万，即约每分钟就会出现三个低视力患者。如果不采取有力措施，到2020年我国视力残疾人数将为目前的4倍。全世界每年视力损害的花费已高达250亿美元。综上所述，视力损害已成为我国乃至全球的严重公共卫生问题。我国8～12岁的小学生近视发病率约为23％，中学生约为55％，大学生约为76％，全国近视眼约为3亿人，其中青少年约为2亿人。全国近视眼发病人数位居世界首位。

青少年近视眼的形成原因包括先天遗传和后天环境因素。前者占20％，后者占80％。青少年处于生长发育旺盛时期，眼的生理功能和组织结构有与其他时期不同的特点，易受环境不良影响而形成近视眼。不正确的看书、写作业姿势是造成青少年近视的重要原因。

现有技术中，人们想出多种方法，使青少年在看书或写字时，其眼睛距书本保持一定的距离，这些方法包括机械方法、电子方法等。

通常，机械方法是在人的头部或肩部，佩戴复杂的机械部件，其需与身体直接接触，增加佩戴者的体力负担，由此受到了限制(主要是佩戴者不喜欢使用)。

电子方法是以超声波或红外线作为测试媒介，将其对准人的头面部，或者将超声波或红外线测试装置佩戴在头部或耳部，并将测量传感器对准书本。这两种方法，传感器位置在安装时都需要事先校准，其只能测量传感器到头部(或传感器到书本)的单点距离，并进行几何推算，估算出头部到书本的距离。不能精确测量人眼到书本的距离。由于基于单点测量，所以，测量精度会随头部在读写过程中的摇动而降低。

发明内容

本发明要解决的技术问题是提供一种实时获取被测者读写姿势同时就该读写姿势进行准确分析并对异常状态发出报警的自动识别读写姿势的方法及其智能预警装置。

为了解决上述技术问题，本发明采用的技术方案为：

本发明的自动识别读写姿势的方法，包括如下步骤：

1)通过图像传感器分别获取包括同一读写人姿态及其所处读写场景的彩色图像和深度图像信息并将该信息存入设置于计算机内的识别模块中；

2)将所述彩色图像中二维坐标像素与所述深度图像中同一坐标像素的深度坐标进行配对关联；

3)采用haar特征和adaboost分类器的模式识别方法在彩色图像上对读写人身姿实行跟踪定位；

4)针对彩色图像上的读写人影像，在其头部、面部和/或肩部设定若干个可构成表征该读写人头部、面部或肩部三维姿态网的特征识别点；

5)在所述的特征识别点中选择由至少二个识别点起至放置在桌面上正确位置的读物上任意点止之间的连线长度以及该连线与所述读物夹角的水平分量和垂直分量作为测量数据存入所述识别模块中；

6)将所述三维姿态网处于标准读写姿势时对应的所述测量数据设定为标准参数存入所述识别模块中；

7)将动态的读写人对应的所述测量数据与标准参数比对；

8)通过与所述计算机连接的预警装置将偏离所述标准参数的所述测量数据对应的读写人实时姿势分析结果采用音频信号输出。

所述特征识别点为五个点，分别为两只眼睛、鼻尖和两个嘴角。

所述标准参数设定值如下：

由两只眼睛至所述读物的所述连线长度在30cm－35cm；

该连线与所述读物夹角的水平分量在80－100度；

该连线与所述读物夹角的垂直分量在80－100度。

所述图像传感器为红外扫描仪和深度传感器，或者为彩色传感器和深度传感器。

将所述标准读写姿势对应的三维姿态网持续的时间与设置于计算机存储器中的时间设定值进行比对，对三维姿态网持续时间超出时间设定值的状态，通过所述预警装置发出音频报警信号。

本发明的预防近视的智能预警装置，其包括可将读写人的实时读写姿势以彩色和深度双模图像信息方式导入设置于该装置计算机的识别模块中的输入装置、分别或集中保存读写人实时读写姿势对应的测量数据与标准读写姿势对应的标准参数的存储模块、将测量数据偏离标准参数对应的读写人实时姿势分析结果用音频信号导出的报警模块和中央处理器，其中，

所述输入装置为红外扫描仪和深度传感器，或者为彩色传感器和深度传感器；

所述报警模块与语音播放器相连；

所述识别模块按以下方式运行：

1)将所述彩色图像中二维坐标像素与所述深度图像中同一坐标像素的深度坐标进行配对关联；

2)采用haar特征和adaboost分类器的模式识别方法在彩色图像上对读写人身姿实行跟踪定位；

3)针对彩色图像上的读写人影像，在其头部、面部和/或肩部设定若干个可构成表征该读写人头部、面部或肩部三维姿态网的特征识别点；

4)在所述的特征识别点中选择由至少二个识别点起至放置在桌面上正确位置的读物上任意点止之间的连线长度以及该连线与所述读物夹角的水平分量和垂直分量作为测量数据存入所述识别模块中；

5)将所述三维姿态网处于标准读写姿势时对应的所述测量数据设定为标准参数存入所述识别模块中；

6)将动态的读写人对应的所述测量数据与标准参数比对；

7)通过与所述报警模块将偏离所述标准参数的所述测量数据对应的读写人实时姿势分析结果采用音频信号输出。

本发明的智能预警装置中的所述报警模块还包括被测者读写时环境光线亮度报警和读写姿势持续时间报警模块。

本发明的智能预警装置还包括WIFI通信连接模块。

与现有技术相比，本发明方法采用图像传感器分别获取包括同一读写人姿态及其所处读写场景的彩色和深度双模图像信息，并将该信息存入计算机内的识别模块中，之后，对该双模图像进行配对关联并设定能构成表征读写人身体某部分的三维姿态网的特征识别点，再将该特征识别点至放置在桌面正确位置的书本上落点之间连线和角度设定为测量数据，再在若干测量数据中选择读写人处于标准读写姿势(可参见国家卫生部门出台的青少年正确读写姿势的相关标准)时对应的测量数据作为标准参数存入识别模块中。当动态测量数据超过标准参数设定的范围时，该模块通过中央控制器、预警装置发出报警信号。

本发明的装置可有效获取青少年读书写字时的体态和姿势并对不正确的体态或姿势予以提示。该装置还具有如下优点：1)非接触式，无需穿戴在身上，无身体负担。2)能精确测量人眼到书本的距离，测量误差<1cm。3)测量装置可安装在读写人前方1～3米范围，测量范围大，且无需校准。4)算法具有基于人脸三维坐标进行跟踪测量，读写中的头部和肩部无意的摇动，不会影响测量精度。5)能以影像的方式保存图像与对应的测量结果，对近视的预防具有积极意义。

附图说明

图1为本发明装置的方框示意图。

具体实施方式

本发明的自动识别读写姿势的方法通过彩色图像(由红外扫描仪或彩色传感器获取的图像)与深度图像的结合，利用人脸识别与智能图像分析技术，实时识别青少年(以下简称读写人)在读书写字时的读写姿势，并对不正确的读写姿势通过本发明的预警装置予以提醒。

该方法包括如下步骤：

1)通过图像传感器分别获取包括同一读写人姿态及其所处读写场景(该场景包括书桌桌面及放置在该桌面上的读物)的彩色图像和深度图像信息并将该信息存入设置在计算机内的识别模块中。

2)将所述彩色图像中二维坐标像素与所述深度图像中同一坐标像素的深度坐标进行配对关联。

获取双模态图像，包括彩色全波段图像(或者红外)与深度图像，全波段成像能拍摄出场景中读写过程中头肩部的彩色RGB信息，深度成像能提供头肩部的深度坐标，通过彩色图像与深度图像配准，获得读写过程中人头肩部的彩色RGB信息及xyz坐标。

(配准过程：将彩色图像和深度图像坐标，先都根据传感器的内部参数，转换到摄像头三维世界坐标空间，再在该空间内找出彩色图与深度图中各像素的对应关系。)

3)采用haar特征和adaboost分类器的模式识别方法在彩色图像上对读写人身姿实行跟踪定位。大部分现有算法对俯视角度下的人脸跟踪定位正确率有限，本发明通过改变俯视角度，光照亮度，头部姿态等参数，建立有针对性的训练数据集合，提高跟踪定位的可靠性。

4)针对彩色图像上的读写人影像，在其头部、面部和/或肩部设定若干个可构成表征该读写人头部、面部或肩部三维姿态网的特征识别点。本发明优选所述特征识别点为五个点，分别为两只眼睛、鼻尖和两个嘴角。本发明采用3DAAM(英文全称为：ActiveAppearanceModel)模型，同时利用读写人面部的RGB和深度信息，提高特征识别点定位的准确性。

5)在所述的特征识别点中选择至少二个识别点，并由该二个识别点起始直线延伸到放置在桌面上正确位置的读物(即书本)上任意点为止之间的连线长度以及该连线与所述读物夹角的水平分量和垂直分量作为测量数据存入所述识别模块中。

例如，利用彩色图像与深度图像的对应关系，求出双眼的三维坐标，并根据读写状态下人的用眼习惯，利用头部姿态求出两眼至书本的视线角度。

利用深度图像提供三维信息，检测桌面或书本平面，基于双眼坐标和视线角度，求出视线在桌子或书本平面的投影点的三维坐标，计算该点到双眼的距离。

该装置利用高性能GPU运算，基于上述方法，实时获取人眼到书本的距离，以及头肩部姿势(例如，当读写人以倾斜身体的姿势读书时，其肩部的特征识别点对应的测量数据就会发生相应的倾斜变化)。

6)将所述三维姿态网处于标准读写姿势时对应的所述测量数据设定为标准参数存入所述识别模块中。

7)将动态的读写人对应的所述测量数据与标准参数比对。

8)通过与所述计算机连接的预警装置将超出所述标准参数设定范围的所述测量数据对应的读写人实时姿势分析结果采用音频信号输出。

所述标准参数设定值如下：

由两只眼睛至所述书本四角的所述连线长度在30cm－35cm；

该连线与所述书本夹角的水平分量在80－100度；

该连线与所述书本夹角的垂直分量在80－100度。

所述图像传感器为红外扫描仪和深度传感器，或者为彩色传感器和深度传感器。

将所述标准读写姿势对应的三维姿态网持续的时间与设置于计算机存储模块中的时间设定值进行比对，对三维姿态网持续时间超出时间设定值时，可通过所述预警装置发出音频报警信号。

本发明的预防近视的智能预警装置，其包括可将读写人的实时读写姿势以彩色和深度双模图像信息方式导入设置于中央控制器内的识别模块中的输入装置(可为红外扫描仪和深度传感器，或者为彩色传感器和深度传感器)、分别或集中保存读写人实时读写姿势对应的测量数据与标准读写姿势对应的标准参数的存储模块、将测量数据超出标准参数设定范围对应的读写人实时姿势分析结果用音频信号导出的报警模块和中央处理器。

所述识别模块采用前述的本发明的方法进行运行。

本发明的智能预警装置含有灯光感应与定时装置，当灯光光线过强或过弱时，发出灯光报警，继而通过该预警装置中的CPU相应的调节学生读书时所用照明装置的光照强度。当读写人的某一读书姿势持续时间超过时间设定值时，则发出时间报警以提醒学生改变姿势或适度休息。报警时，会同时保存场景中的图像信息及报警情况。

该装置还包括WIFI通信连接模块，通过该模块可实时将青少年读书写字的读写姿势传到家长携带的智能移动终端中。

Claims (8)

1.一种自动识别读写姿势的方法，其特征在于：包括如下步骤：

1)通过图像传感器分别获取包括同一读写人姿态及其所处读写场景的彩色图像和深度图像信息并将该信息存入设置于计算机内的识别模块中；

2)将所述彩色图像中二维坐标像素与所述深度图像中同一坐标像素的深度坐标进行配对关联；

3)采用haar特征和adaboost分类器的模式识别方法在彩色图像上对读写人身姿实行跟踪定位；

4)针对彩色图像上的读写人影像，在其头部、面部和/或肩部设定若干个可构成表征该读写人头部、面部或肩部三维姿态网的特征识别点；

5)在所述的特征识别点中选择由至少二个识别点起至放置在桌面上正确位置的读物上任意点止之间的连线长度以及该连线与所述读物夹角的水平分量和垂直分量作为测量数据存入所述识别模块中；

6)将所述三维姿态网处于标准读写姿势时对应的所述测量数据设定为标准参数存入所述识别模块中；

7)将动态的读写人对应的所述测量数据与标准参数比对；

8)通过与所述计算机连接的预警装置将偏离所述标准参数的所述测量数据对应的读写人实时姿势分析结果采用音频信号输出。

2.根据权利要求1所述的方法，其特征在于：所述特征识别点为五个点，分别为两只眼睛、鼻尖和两个嘴角。

3.根据权利要求2所述的方法，其特征在于：所述标准参数设定值如下：

由两只眼睛至所述读物的所述连线长度在30cm－35cm；

该连线与所述读物夹角的水平分量在80－100度；

该连线与所述读物夹角的垂直分量在80－100度。

4.根据权利要求1所述的方法，其特征在于：所述图像传感器为红外扫描仪和深度传感器，或者为彩色传感器和深度传感器。

5.根据权利要求1所述的方法，其特征在于：将所述标准读写姿势对应的三维姿态网持续的时间与设置于计算机存储器中的时间设定值进行比对，对三维姿态网持续时间超出时间设定值的状态，通过所述预警装置发出音频报警信号。

6.一种预防近视的智能预警装置，其特征在于：其包括可将读写人的实时读写姿势以彩色和深度双模图像信息方式导入设置于该装置计算机的识别模块中的输入装置、分别或集中保存读写人实时读写姿势对应的测量数据与标准读写姿势对应的标准参数的存储模块、将测量数据偏离标准参数对应的读写人实时姿势分析结果用音频信号导出的报警模块和中央处理器，其中，

所述输入装置为红外扫描仪和深度传感器，或者为彩色传感器和深度传感器；

所述报警模块与语音播放器相连；

所述识别模块按以下方式运行：

1)将所述彩色图像中二维坐标像素与所述深度图像中同一坐标像素的深度坐标进行配对关联；

2)采用haar特征和adaboost分类器的模式识别方法在彩色图像上对读写人身姿实行跟踪定位；

3)针对彩色图像上的读写人影像，在其头部、面部和/或肩部设定若干个可构成表征该读写人头部、面部或肩部三维姿态网的特征识别点；

4)在所述的特征识别点中选择由至少二个识别点起至放置在桌面上正确位置的读物上任意点止之间的连线长度以及该连线与所述读物夹角的水平分量和垂直分量作为测量数据存入所述识别模块中；

5)将所述三维姿态网处于标准读写姿势时对应的所述测量数据设定为标准参数存入所述识别模块中；

6)将动态的读写人对应的所述测量数据与标准参数比对；

7)通过与所述报警模块将偏离所述标准参数的所述测量数据对应的读写人实时姿势分析结果采用音频信号输出。

7.根据权利要求6所述的预防近视的智能预警装置，其特征在于：所述报警模块还包括被测者读写时环境光线亮度报警和读写姿势持续时间报警模块。

8.根据权利要求6所述的预防近视的智能预警装置，其特征在于：该装置还包括WIFI通信连接模块。