CN103366505B - 一种睡姿识别方法及装置 - Google Patents

Abstract

本发明实施例提供一种睡姿识别方法及装置。本发明实施例睡姿识别方法包括：获取测量空间内被看护对象各关节的关节点信息；根据获取的关节点信息判断被看护对象的睡姿是否异常，若睡姿异常，则发出警报。本发明实施例睡姿识别方法和装置在睡姿识别过程中利用被看护对象的关节点信息判断被看护对象的睡姿是否出现异常，因此对睡姿异常的判断准确率高，发出错误警报的概率较低，节省了看护者的时间与精力；并且睡姿识别装置无需接触被看护对象，不会对被看护对象产生束缚。

Description

一种睡姿识别方法及装置

技术领域

本发明涉及一种监控系统，尤其涉及一种自动识别人体睡姿的睡姿识别方法及装置。

背景技术

婴幼儿由于睡觉不老实，经常会发生踢被、肚子裸露、被衣物遮脸、趴睡等不正常睡眠现象，如果发生上述异常事件时，看护者未及时发现并处理，就容易造成婴儿着凉甚至窒息的问题。因此，有的看护者会给婴幼儿使用婴儿防踢被，但是这种防踢被会对婴幼儿的身体活动产生束缚，不仅让婴幼儿觉得不舒服，而且不利于婴幼儿的发育。现有技术的一种婴儿踢被提醒器，将震动感应器通过绑带绑在婴儿的腿上，当婴儿的腿翻动的时候，震动感应器感应到震动并将信号通过导线传递给报警器，报警器及时报警通知看护者给婴儿盖被。但是该装置仍然需要将绑带绑在婴幼儿的腿上，有一定的束缚性，并且，只要婴幼儿翻动腿，不论是否出现踢被的情况，报警器都会发出警报，误报率高。

发明内容

本发明的特征和优点在下文的描述中部分地陈述，或者可从该描述显而易见，或者可通过实践本发明而学习。

为了克服现有技术的缺点，本发明提供一种睡姿识别方法及装置，能够在不束缚被看护对象的情况下，对被看护对象的睡姿进行监控，并且对睡姿异常的误报率较低。

本发明解决上述技术问题所采用的技术方案如下：

提供一种睡姿识别方法，包括如下步骤：获取测量空间内被看护对象各关节的关节点信息；根据获取的关节点信息判断被看护对象的睡姿是否异常，若睡姿异常，则发出警报。

提供一种如上所述的睡姿识别方法，该关节点信息包括关节点的坐标及其名称，所述获取测量空间内被看护对象各关节的关节点信息，获取测量空间的图像景深数据；从该景深数据中提取被看护对象的各关节的关节点坐标，并根据提取的各关节点坐标确定各关节点的名称。

提供一种如上所述的睡姿识别方法，所述根据提取的各关节点坐标确定各关节点的名称，具体为：根据提取的关节点坐标，计算出每两个相邻关节点之间的长度及相邻骨骼的夹角，将该长度及该夹角与预存的人体结构参数进行比对，确定各关节点名称。

提供一种如上所述的睡姿识别方法，所述根据获取的关节点信息判断被看护对象的睡姿是否异常，具体为，检测该获取的关节点信息，若出现如下情况，则判断被看护对象的睡姿异常：从获取的关节点信息检测到脊柱、髋关节中心点、右髋关节和左髋关节的相关信息；或者未能从获取的关节点信息中检测到头部关节的相关信息；或者检测到获取的关节点信息中多个人体对称部位的关节点的坐标值互相颠倒。

提供一种如上所述的睡姿识别方法，所述发出警报具体为：控制震动报警器报警；和/或控制声光电报警器报警；和/或向看护者的通信设备发送警报短信提醒。

还提供一种睡姿识别装置，包括：骨骼信息采集单元，用于获取被看护对象各关节的关节点信息；控制单元，用于根据骨骼信息采集单元获取的关节点信息判断被看护对象的睡姿是否正常，并在判断被看护对象睡姿异常时控制报警单元发出警报；报警单元，用于在控制单元的控制下发出警报。

提供一种如上所述的睡姿识别装置，该关节点信息包括关节点坐标及该关节点的名称，该骨骼信息采集单元包括：景深数据获取模块，用于获取测量空间的图像景深数据；关节点信息处理模块，用于从该景深数据中提取被看护对象的各关节的关节点坐标，并根据提取的关节点坐标确定各关节点的名称，并将含有关节点坐标及关节点名称的关节点信息发送给该控制单元。

提供一种如上所述的睡姿识别装置，该控制单元包括：睡姿判断模块，用于根据关节信息处理模块发送的关节点信息判断被看护对象的睡姿是否异常：若从获取的关节点信息中检测到脊柱、髋关节中心点、右髋关节和左髋关节的相关信息，或者未能从获取的关节点信息中检测到头部关节的相关信息，或者检测到获取的关节点信息中多个人体对称部位的关节点的坐标值互相颠倒，则判断被看护对象睡姿为异常；警报信号发送模块，用于在睡姿判断模块判断被看护对象睡姿异常时向报警单元发出警报信号。

提供一种如上所述的睡姿识别装置，该报警单元包括：警报信号接收模块，用于接收该警报信号；警报模块，用于在警报信号接收模块接收到警报信号后，发出警报。

提供一种如上所述的睡姿识别装置，该报警单元还包括：警报短信生成模块，用于在该警报信号接收模块接收到警报信号后生成警报短信；3G模块，用于将该警报短信发送至看护者的通信设备上。

与现有技术相比，本发明实施例睡姿识别方法和装置，通过获取被看护对象的各个关节的关节点信息判断被看护对象的睡姿是否正确，并在判断睡姿异常时及时发出警报，提醒看护者及时处理。由于睡姿识别过程中利用被看护对象的关节点信息识别睡姿是否异常，因此对睡姿异常的判断准确率高，发出错误警报的概率较低；并且由于采用了景深技术，睡姿识别装置无需接触被看护对象，不会对被看护对象产生束缚。

通过阅读说明书，本领域普通技术人员将更好地了解这些技术方案的特征和内容。

附图说明

下面通过参考附图并结合实例具体地描述本发明，本发明的优点和实现方式将会更加明显，其中附图所示内容仅用于对本发明的解释说明，而不构成对本发明的任何意义上的限制，在附图中：

图1为本发明实施例睡姿识别方法的流程示意图。

图2为本发明实施例睡姿识别方法获取婴儿关节点信息的流程示意图。

图3为本发明实施例睡姿识别方法从景深数据中提取的关节点的示意图。

图4为本发明实施例睡姿识别方法获取的骨骼长度及夹角示意图。

图5为本发明实施例睡姿识别装置的示意图。

图6为本发明实施例睡姿识别装置各单元的结构示意图。

具体实施方式

请参阅图1，为本发明睡姿识别方法的一个实施例。

为使描述更加清楚，定义待测空间和测量空间：当需要测量的空间内没有被看护对象时称为待测空间；当需要测量的空间内有看护对象时称为测量空间。

本实施例中以婴儿作为被看护对象，睡姿识别方法包括如下步骤：

S100：骨骼信息采集单元获取婴儿各关节的关节点信息，请参阅2，本步骤具体为：

S101：景深数据获取模块获取测量空间的图像景深数据。

本实施例中，可以利用体感（kinect）设备获取测量空间的图像景深数据。

为了获取测量空间的图像景深数据，需要预先获取待测空间的参考图像，并将其保存下来，然后与实时获取的测量空间的散斑图像进行相关处理，得出测量空间的图像景深数据。

获取待测空间的参考图像的具体方式如下:

首先，利用红外线发射器发出人眼看不见的1级(class1)雷射光，并透过红外线发射器镜头前的扩散片将雷射光均匀投射在待测空间中。投射出的雷射光在该待测空间内的投影会形成形状完全随机的散斑，就像人类的指纹一样，这些散斑的形状不但随着投射的距离变化会有所不同，即使在同一平面也上完全不同。然后，利用红外线摄影器记录下待测空间内的每个散斑，并对待测空间进行编码，编码信息中包括每个散斑的坐标信息，将该编码信息传输至景深数据处理器进行处理。景深数据处理器针对待测空间每隔一段距离抽取一个参考平面，把参考平面上的散斑图案记录下来。本实施例中设置待测空间为距离骨骼信息采集装置0.5米到1.5米的范围，每隔10cm取一个参考平面，将其作为10幅参考图像保存下来。

当婴儿处于需要测量的空间时，利用相同的方法可获取测量空间的散斑图像。

将散斑图像与之前获取的10幅参考图像依次做互相关运算，得到10幅相关度图像。因为测量空间中有婴儿存在，在相关度图像上就会显示出峰值，将这些峰值一层层叠在一起，经过插值计算，就能够得到整个场景的三维形状，并且能定位出婴幼儿在空间中的位置。

经过上述处理，便可获取包含婴幼儿睡眠状态的包含景深数据的三维深度图像。

S102：关节点信息处理模块从景深数据中提取婴儿各关节点的关节点坐标。

本步骤中关节点信息处理模块可以利用骨骼追踪技术从景深数据中提取婴儿的关节点坐标，这些关节点分别代表了婴儿身体的各个部分，比如胳膊、头等。提取的各个关节点的位置如图3所示。

S103：根据关节点坐标确定提取的关节点的名称，即该关节点在人体的具体部位。

请参阅图4，设任意相邻三个关节点坐标分别为A（x1,y1,z1）,B(x2,y2,z2),C(x3,y3,z3),可以计算出每相邻的两个关节点之间的长度分别为a、b、c。

计算公式如下：

a=Sqrt((x2-x1)²+（y2-y1）²)；

b=x3-x2；

c=Sqrt（（x1-x3）²+（y1-y3）²）；

根据上述计算结果，可以进一步计算出相邻骨骼的夹角，例如a和b之间的角度α=cos^-1(a²+b²-c²)/（2ab）。所述的骨骼由两个相邻的关节点相连构成。

通过以上计算，将相邻两关节点的长度，以及相邻两骨骼之间的夹角与关节点信息处理模块内部预存的人体结构参数进行比对，确定提取的关节点的名称，既确定关节点是婴儿身体的哪个部位（该关节点是婴儿的手、脚或头部）。

S104：赋予每一个关节点确定的关节点标识符。

该关节点标识符包括关节的名称及坐标，例如左膝盖关节的标识符为kneeleft（x1,y1,z1），右膝盖关节点的标示符为kneeright（x2,y2,z2）等。

S105：将含有关节点标识符的关节点信息发送至控制单元。

S200：控制单元根据接收到的关节点信息判断婴儿睡姿是否出现异常，若出现异常则向报警单元发出报警信号，否则，重复步骤S100。

控制单元通过识别骨骼信息采集单元发过来的信息中的标识符，判断婴儿睡姿出现异常，包括如下几种情况：

当从收到的关节点信息中检测到婴幼儿肚子周边的脊柱（SPINE）、髋关节中心点（HIPCENTER）、右髋关节（HIPRIGHT）、左髋关节（HIPLEFT）的四个关节点的相关信息时，可以判断为裸露肚子或者踢被；

当未能从收到的关节点信息中检测到婴幼儿头部（HEAD）关节点的相关信息时，可以判断为衣物或者被子遮脸；

当检测到收到的关节点信息中多个身体对称部位的关节点的坐标值互相颠倒时，可以判断婴幼儿为趴睡状态。

S300：报警单元接收到报警信号，发出警报，提醒家长帮助婴幼儿修正睡眠姿态。

S400：报警单元的警报被取消，重复步骤S100。

当家长纠正婴儿睡姿，取消报警单元的警报后，若没有关闭睡姿识别装置，则睡姿识别装置重复步骤S100，继续对婴儿的睡眠进行看护。

本实施例睡姿识别方法中骨骼信息采集单元先利用景深技术获取被看护对象各关节的关节点信息，不会对被看护对象产生任何束缚。然后根据被看护对象的关节点信息中包含的关节点坐标及各关节点的名称判断被看护对象的睡姿是否出现异常，并在判断睡姿异常时及时发出警报，提醒看护者及时处理。由于利用被看护对象的关节点信息判断睡姿是否异常，因此判断的准确性较高，发出错误警报的概率较低，节省了看护者的时间与精力。

请参阅图5和图6，是本发明睡姿识别装置的一个实施例。

本实施例睡姿识别装置，包括骨骼信息采集单元10、控制单元20、报警单元30和固定单元40。

固定单元40，用于固定骨骼信息采集单元10。固定单元40包括支架41和夹子42。该骨骼信息采集单元10固定在支架41的一端，支架41可以根据需要调整骨骼信息采集单元10的位置，使其获取最佳监视角度。夹子42固定在支架41的另一端，可将支架41固定在距离测量空间合适的范围内，比如夹在婴儿床的床头或围栏上。

骨骼信息采集单元10，用于获取被看护对象各关节的关节点信息，并将获取的关节点信息发送至控制单元20。骨骼信息采集单元10包括景深数据获取模块11和关节信息处理模块12。景深数据获取模块11，用于获取测量空间的图像景深数据，包括红外线发射器111、红外线摄影器112和景深数据处理器113。红外线发射器111用于在测量空间投射雷射光形成散斑。红外线摄影器112用于拍摄上述散斑的图像，根据拍摄的散斑图像对测量空间进行编码，并将编码信息发送给景深数据处理器113。景深数据处理器113用于处理红外线摄影器112的编码信息以获取测量空间包含景深数据的三维深度图像。关节信息处理模块12，用于从该景深数据中提取被看护对象各关节的关节点坐标，根据提取的关节点坐标确定各关节点的名称，并将含有关节点坐标及关节点名称的关节点信息发送给控制单元20。实际应用中骨骼信息采集单元10可以采用体感（kinect）设备。

控制单元20，用于根据骨骼信息采集单元10发送的关节点信息判断被看护对象睡姿是否异常，并在判断被看护对象睡姿异常时控制报警单元发出警报。控制单元20包括睡姿判断模块21和警报信号发送模块22。睡姿判断模块21用于根据骨骼信息采集单元10发送的关节点信息判断被看护对象睡姿是否正常。具体判断方法为：若从获取的关节点信息中检测到脊柱、髋关节中心点、右髋关节和左髋关节的相关信息，或者未能从获取的关节点信息中检测到头部关节的相关信息，或者检测到获取的关节点信息中多个人体对称部位的关节点的坐标值互相颠倒，则判断被看护对象睡姿为异常。警报信号发送模块22用于在睡姿判断模块21判断被看护对象睡姿异常时向报警单元30发出警报信号。

报警单元30，用于在控制单元20的控制下发出警报。报警单元30包括警报信号接收模块31，用于接收该控制单元20的警报信号发送模块22发送的警报信号；警报模块32，用于在警报信号接收模块31接收到警报信号后，发出警报。其中，警报模块32可以采用震动报警器。当被看护对象出现异常睡眠的情形，紧急状况下（如趴睡、婴幼儿衣物特别是被子遮脸等易造成窒息的状况），为了能够提醒看护者迅速及时处理这些状况，可以在震动报警的同时，增加声光报警器，以增加安全性。并且当看护者需要短时间出门，或者希望在异地也能了解被看护对象睡眠情况时，还可以增加3G模块33，用于将红外线摄像器拍摄的视频资料实时传送到看护者的通信设备如手机或者电脑上，使看护者能随时看到被看护对象的睡眠状态，也可以在报警单元中增加一个警报短信生成模块34，用于在该警报信号接收模块31接收到警报信号后生成警报短信。此时该3G模块33还可用于将该警报短信发送至看护者携带的通信设备上。

另外，也可以在本实施例的基础上进一步对睡姿识别装置进行优化。例如，增加一个存储模块，将被看护对象特别是婴幼儿的睡眠画面存储下来，作为成长的纪录。该存储模块可以根据需要设置在睡姿识别装置上，如设置在控制单元上或者直接设置在红外线摄影器上。还可增加一个操控模块，用于实现对睡姿识别装置的功能设置及控制，如控制该睡姿识别装置的开启和关闭，设置该报警单元发出警报信号的方式以及开启远程看护功能等。

本实施例睡姿识别装置通过骨骼信息采集单元中的红外线摄影器等装置获取被看护对象所在空间的包含景深数据的三维深度图像，利用该景深数据获取被看护对象的各个关节的关节点信息，再由控制单元根据获取的关节点信息判断被看护对象的睡姿是否正常，并在判断睡姿异常时及时发出警报，提醒看护者及时处理。由于利用了被看护对象的关节点信息判断睡姿是否异常，因此判断的准确率较高，发出错误警报的概率较低，节省了看护者的时间与精力。并且采用景深技术获取关节点信息，不会对被看护对象产生任何束缚。

与现有技术相比，本发明实施例睡姿识别方法和装置，通过获取被看护对象的各个关节的关节点信息判断被看护对象的睡姿是否正确，并在判断睡姿异常时及时发出警报，提醒看护者及时处理。睡姿识别过程中利用被看护对象的关节点信息识别睡姿是否异常，因此对睡姿异常的判断准确率高，发出错误警报的概率较低，并且由于采用了景深技术，睡姿识别装置无需接触被看护对象，不会对被看护对象产生束缚。

以上参照附图说明了本发明的优选实施例，本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明。举例而言，作为一个实施例的部分示出或描述的特征可用于另一实施例以得到又一实施例。以上仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及附图内容所作的等效变化，均包含于本发明的权利范围之内。

Claims (8)

1.一种睡姿识别方法，其特征在于，包括如下步骤：

获取测量空间内被看护对象各关节的关节点信息,该关节点信息包括关节点的坐标及其名称；

根据获取的关节点信息判断被看护对象的睡姿是否异常，若睡姿异常，则发出警报；

所述根据获取的关节点信息判断被看护对象的睡姿是否异常，具体为，检测该获取的关节点信息，若出现如下情况，则判断被看护对象的睡姿异常：

从获取的关节点信息中检测到脊柱、髋关节中心点、右髋关节和左髋关节的相关信息；或者

未能从获取的关节点信息中检测到头部关节的相关信息；或者

检测到获取的关节点信息中多个人体对称部位的关节点的坐标值互相颠倒。

2.如权利要求1所述的睡姿识别方法，其特征在于，所述获取测量空间内被看护对象各关节的关节点信息，包括如下步骤：

获取测量空间三维深度图像的景深数据；

从该景深数据中提取被看护对象的各关节的关节点坐标，并根据提取的关节点坐标确定各关节点的名称。

3.如权利要求2所述的睡姿识别方法，其特征在于，所述根据提取的关节点坐标确定各关节点的名称，具体为：

根据提取的关节点坐标，计算出每两个相邻关节点之间的长度及相邻骨骼的夹角，将该长度及该夹角与预存的人体结构参数进行比对，确定各关节点的名称。

4.如权利要求1所述的睡姿识别方法，其特征在于，所述发出警报具体为：

控制震动报警器报警；和/或

控制声光电报警器报警；和/或

向看护者的通信设备发送警报短信提醒。

5.一种睡姿识别装置，其特征在于，包括：

骨骼信息采集单元，用于获取被看护对象各关节的关节点信息，并将该关节点信息发送给控制单元，该关节点信息包括关节点坐标及该关节点的名称；

控制单元，用于根据该骨骼信息采集单元获取的关节点信息判断被看护对象的睡姿是否正常，并在判断被看护对象睡姿异常时控制报警单元发出警报；

报警单元，用于在该控制单元的控制下发出警报；

该控制单元包括：

睡姿判断模块，用于根据关节信息处理模块发送的关节点信息判断被看护对象的睡姿是否异常：若从获取的关节点信息中检测到脊柱、髋关节中心点、右髋关节和左髋关节的相关信息，或者未能从获取的关节点信息中检测到头部关节的相关信息，或者检测到获取的关节点信息中多个人体对称部位的关节点的坐标值互相颠倒，则判断被看护对象睡姿为异常；

警报信号发送模块，用于在该睡姿判断模块判断被看护对象睡姿异常时向报警单元发出警报信号。

6.如权利要求5所述的睡姿识别装置，其特征在于，该骨骼信息采集单元包括景深数据获取模块和所述关节信息处理模块：

所述景深数据获取模块，用于获取测量空间三维深度图像的景深数据；

所述关节信息处理模块，用于从该景深数据中提取被看护对象的各关节的关节点坐标，根据提取的关节点坐标确定各关节点的名称，并将含有关节点坐标及关节点名称的关节点信息发送给该控制单元。

7.如权利要求6所述的睡姿识别装置，其特征在于，该报警单元包括：

警报信号接收模块，用于接收该警报信号；

警报模块，用于在该警报信号接收模块接收到警报信号后，发出警报。

8.如权利要求7所述的睡姿识别装置，其特征在于，该报警单元还包括：

警报短信生成模块，用于在该警报信号接收模块接收到警报信号后生成警报短信；

3G模块，用于将该警报短信发送至看护者的通信设备上。