CN116030534A - 睡眠姿态模型的训练方法和睡眠姿态识别方法 - Google Patents
睡眠姿态模型的训练方法和睡眠姿态识别方法 Download PDFInfo
- Publication number
- CN116030534A CN116030534A CN202310149791.3A CN202310149791A CN116030534A CN 116030534 A CN116030534 A CN 116030534A CN 202310149791 A CN202310149791 A CN 202310149791A CN 116030534 A CN116030534 A CN 116030534A
- Authority
- CN
- China
- Prior art keywords
- data
- sleep
- target
- data unit
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 70
- 238000013135 deep learning Methods 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 238000005070 sampling Methods 0.000 claims description 29
- 239000012634 fragment Substances 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000000241 respiratory effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 230000007306 turnover Effects 0.000 claims description 5
- 210000000056 organ Anatomy 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 2
- 230000036544 posture Effects 0.000 description 116
- 238000004590 computer program Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 108010001267 Protein Subunits Proteins 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003860 sleep quality Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种睡眠姿态模型的训练方法和睡眠姿态识别方法。该方法包括针对毫米波雷达输出的每个目标睡眠数据,基于预设裁剪规则对目标睡眠数据进行处理,生成多个第一中间数据单元,其中,目标睡眠数据是在距离处于睡眠状态的人体的预设高度的位置上采集的;针对每个第一中间数据单元,基于预设变换规则对第一中间数据单元进行处理,得到目标数据单元;根据多个目标数据单元,生成训练伪彩图;将对应于不同目标睡眠数据的多个训练伪彩图作为睡眠姿态训练样本集中的多个训练样本,根据多个训练样本和与每个训练样本对应的标签数据训练待训练的深度学习网络模型,得到训练后的睡眠姿态模型,标签数据表征训练样本中的人体的睡姿。
Description
技术领域
本发明涉及雷达信号处理技术领域,更具体地,涉及一种睡眠姿态模型的训练方法、睡眠姿态识别方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
背景技术
睡眠质量对人体健康有着非常重要的影响,而睡眠质量的好坏与睡眠姿态有着直接的联系,不当的睡姿更有可能加重疾病。因此睡姿识别的研究在智能家居、医疗应用等领域有着广泛的应用前景。
现有的睡姿检测方法主要分两种。第一种是基于传感器的接触式识别方法,例如将三轴加速度传感器配置在人体胸前进行识别,或者通过铺垫在床体表面的压力传感器进行识别。如将三轴加速度传感器放置在婴儿上臂、胸部及腹部等位置进行睡姿识别。该方法准确度较高,但是对于婴儿、精神敏感的人群来说,穿戴这种设备可能会对入睡产生影响,带来心理负担,且安装过程也较为繁琐,同时无法用于大面积烧伤患者这样的特殊人群上。又如采集人体与床垫之间的压力数据生成睡姿图像,然后进行睡姿识别。此种方式需要在床体表面铺设大量具有高敏感度的传感器,成本较高,不利于在智能家居的推广。如若发生如重压、液体接触等也会损坏传感器或影响其灵敏度。
第二种是非接触式的识别方法,如采用红外摄像仪拍摄、提取人体轮廓等进行图像识别分类,解决了设备需要与人体接触的种种不便。然而此种方式要求受试者不能覆盖被褥,否则无法识别出标记点,这在一定程度上会影响受试者的健康,而且视频采集具有一定的隐私侵犯性。同时光线情况也会对识别准确度造成影响。
发明内容
有鉴于此,本发明实施例提供了一种基于毫米波雷达的睡眠姿态模型的训练方法、睡眠姿态识别方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
本发明实施例的一个方面提供了一种睡眠姿态模型的训练方法,包括:
针对毫米波雷达输出的每个目标睡眠数据,基于预设裁剪规则对上述目标睡眠数据进行处理,生成多个第一中间数据单元,其中,上述目标睡眠数据是在距离处于睡眠状态的人体的预设高度的位置上采集的,上述目标睡眠数据包括多个采样点数据,上述采样点数据是对上述毫米波雷达采集的初始睡姿数据在距离维上做傅里叶变换并进行采样得到的;
针对每个上述第一中间数据单元,基于预设变换规则对上述第一中间数据单元进行处理,得到目标数据单元;
根据多个上述目标数据单元,生成训练伪彩图;
将对应于不同目标睡眠数据的多个上述训练伪彩图作为睡眠姿态训练样本集中的多个训练样本,根据多个上述训练样本和与每个上述训练样本对应的标签数据训练待训练的深度学习网络模型,得到训练后的睡眠姿态模型,上述标签数据表征上述训练样本中的人体的睡姿。
本发明实施例的另一个方面提供了一种睡眠姿态识别方法,包括:
获取睡眠姿态数据,其中,上述睡眠姿态数据是利用距离处于睡眠状态的人体的预设高度的位置处的毫米波雷达采集的;
基于预设裁剪规则对上述睡眠姿态数据进行处理,生成多个初始睡眠数据单元;
针对每个上述初始睡眠数据单元,基于预设变换规则对上述初始睡眠数据单元进行处理,得到目标睡眠数据单元;
根据多个上述目标睡眠数据单元生成睡眠伪彩图;以及
将上述睡眠伪彩图输入睡眠姿态模型,得到识别结果,其中,上述识别结果表征上述人体的睡眠姿势;
其中,上述睡眠姿态模型是利用如上所述的方法训练得到的。
本发明实施例的另一个方面提供了一种睡眠姿态模型的训练装置,包括:
第一处理模块,用于针对毫米波雷达输出的每个目标睡眠数据,基于预设裁剪规则对上述目标睡眠数据进行处理,生成多个第一中间数据单元,其中,上述目标睡眠数据是在距离处于睡眠状态的人体的预设高度的位置上采集的,上述目标睡眠数据包括多个采样点数据,上述采样点数据是对上述毫米波雷达采集的初始睡姿数据在距离维上做傅里叶变换并进行采样得到的;
第二处理模块,用于针对每个上述第一中间数据单元,基于预设变换规则对上述第一中间数据单元进行处理,得到目标数据单元;
第一生成模块,用于根据多个上述目标数据单元,生成训练伪彩图;
训练模块,用于将对应于不同目标睡眠数据的多个上述训练伪彩图作为睡眠姿态训练样本集中的多个训练样本,根据多个上述训练样本和与每个上述训练样本对应的标签数据训练待训练的深度学习网络模型,得到训练后的睡眠姿态模型,上述标签数据表征上述训练样本中的人体的睡姿。
本发明实施例的另一个方面提供了一种睡眠姿态识别装置,包括:
获取模块,用于获取睡眠姿态数据,其中,上述睡眠姿态数据是利用距离处于睡眠状态的人体的预设高度的位置处的毫米波雷达采集的;
第三处理模块,用于基于预设裁剪规则对上述睡眠姿态数据进行处理,生成多个初始睡眠数据单元;
第四处理模块,用于针对每个上述初始睡眠数据单元,基于预设变换规则对上述初始睡眠数据单元进行处理,得到目标睡眠数据单元;
第二生成模块,用于根据多个上述目标睡眠数据单元生成睡眠伪彩图;以及
识别模块,用于将上述睡眠伪彩图输入睡眠姿态模型,得到识别结果,其中,上述识别结果表征上述人体的睡眠姿势;
其中,上述睡眠姿态模型是利用如上所述的方法训练得到的。
本发明实施例的另一个方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上所述的方法。
本发明实施例的另一个方面提供了一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
本发明实施例的另一个方面提供了一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
根据本发明的实施例,基于预设裁剪规则对毫米波雷达采集的人体的目标睡眠数据进行处理,得到第一中间数据单元,再对该第一中间数据单元进行转换,得到目标数据单元,利用目标数据单元生成的训练伪彩图与标签数据训练得到的睡眠姿态模型,能够较为准确地对人体的睡眠姿势进行识别,由于毫米波雷达在采集数据时无需与人体直接接触,且采集的数据并不会显示人体的具体外形图像,从而避免了相关技术中使用多个粘贴在身体上传感器进行识别所造成的不适感,以及图像采集设备进行图像采集造成的侵犯用户隐私的问题。
附图说明
通过以下参照附图对本发明实施例的描述,本发明的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示出了根据本发明实施例的可以应用睡眠姿态模型的训练方法或睡眠姿态识别方法的示例性系统架构;
图2示出了根据本发明实施例的睡眠姿态模型的训练方法的流程图;
图3示出了根据本发明实施例的目标睡眠数据和标签数据的采集示意图;
图4示出了根据本发明实施例的目标数据单元的获取示意图;
图5示出了根据本发明实施例的训练伪彩图的示意图;
图6示出了根据本发明实施例的动态阈值的确认流程图;
图7示出了根据本发明实施例的睡眠姿态识别方法的流程图;
图8示出了根据本发明的实施例的睡眠姿态模型的训练装置的框图;
图9示出了根据本发明的实施例的睡眠姿态识别装置的框图;
图10示出了根据本发明实施例的适于实现上文描述的方法的电子设备的框图。
具体实施方式
以下,将参照附图来描述本发明的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本发明的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本发明实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本发明的实施例提供了一种睡眠姿态模型的训练方法、睡眠姿态识别方法、装置、电子设备、计算机可读存储介质和计算机程序产品。该方法包括:针对毫米波雷达输出的每个目标睡眠数据,基于预设裁剪规则对目标睡眠数据进行处理,生成多个第一中间数据单元,其中,目标睡眠数据是在距离处于睡眠状态的人体的预设高度的位置上采集的,目标睡眠数据包括多个采样点数据,采样点数据是对毫米波雷达采集的初始睡姿数据在距离维上做傅里叶变换并进行采样得到的;针对每个第一中间数据单元,基于预设变换规则对第一中间数据单元进行处理,得到目标数据单元;根据多个目标数据单元,生成训练伪彩图;将对应于不同目标睡眠数据的多个训练伪彩图作为睡眠姿态训练样本集中的多个训练样本,根据多个训练样本和与每个训练样本对应的标签数据训练待训练的深度学习网络模型,得到训练后的睡眠姿态模型,标签数据表征训练样本中的人体的睡姿。
图1所示仅为可以应用本发明实施例的系统架构的示例,以帮助本领域技术人员理解本发明的技术内容,但并不意味着本发明实施例不可以用于其他设备、系统、环境或场景。
如图1所示,该实施例的系统架构100可以包括第一终端设备101、第二终端设备102、第三终端设备103,网络104、服务器105和毫米波雷达106。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103、服务器105和毫米波雷达106之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线和/或无线通信链路等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103通过网络104与服务器105交互,以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。
服务器105可以是提供各种服务的服务器,例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
毫米波雷达106可以是AWR1843型毫米波雷达,其可以采集人体的睡眠数据,该数据可以用于睡眠姿态模型的训练或睡眠姿态的识别。
需要说明的是,本发明实施例所提供的睡眠姿态模型的训练方法或睡眠姿态识别方法可以由服务器105、第一终端设备101、第二终端设备102、第三终端设备103、能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的其他服务器或服务器集群中的一种执行。相应地,本发明实施例所提供的睡眠姿态模型的训练装置或睡眠姿态识别装置一般可以设置于服务器105、第一终端设备101、第二终端设备102、第三终端设备103、能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中的一种中。
应该理解,图1中的终端设备、网络、服务器和毫米波雷达的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络、服务器和毫米波雷达。
如图2所示,睡眠姿态模型的训练方法包括操作S201~S204。
在操作S201,针对毫米波雷达输出的每个目标睡眠数据,基于预设裁剪规则对目标睡眠数据进行处理,生成多个第一中间数据单元,其中,目标睡眠数据是在距离处于睡眠状态的人体的预设高度的位置上采集的,目标睡眠数据包括多个采样点数据,采样点数据是对毫米波雷达采集的初始睡姿数据在距离维上做傅里叶变换并进行采样得到的。
在操作S202,针对每个第一中间数据单元,基于预设变换规则对第一中间数据单元进行处理,得到目标数据单元。
在操作S203,根据多个目标数据单元,生成训练伪彩图。
在操作S204,将对应于不同目标睡眠数据的多个训练伪彩图作为睡眠姿态训练样本集中的多个训练样本,根据多个训练样本和与每个训练样本对应的标签数据训练待训练的深度学习网络模型,得到训练后的睡眠姿态模型,标签数据表征训练样本中的人体的睡姿。
根据本发明的实施例,目标睡眠数据可以指利用毫米波雷达对处于睡眠状态的人体采集的整个夜晚的数据,标签数据可以利用多导睡眠监测仪(PSG)设备进行采集,例如可以为PHILIPS型号的Alice PDx监测仪,采样频率可以为10Hz。
根据本发明的实施例,预设高度可以为50cm,例如可以在安装毫米波雷达时,将毫米波雷达的支撑架安装在床头,雷达天线与人体平躺水平面的垂直高度约为50厘米,天线垂直方向与水平面夹角约为45度,并正对受试者心脏位置附近,毫米波雷达的具体参数可以包括但不限于表1的参数。其中,预设高度可以根据实际情况具体设置,上述示例并非限制本发明的预设高度只能为50厘米。其中,目标睡眠数据和标签数据的采集如图3所示。
根据本发明的实施例,中间数据单元和目标数据单元均为预设时间段的二进制数据,不同之处在于第一中间数据单元是对获取的目标睡眠数据进行处理得到的,而目标数据单元是在第一中间数据单元的基础上进行处理得到的,其中,预设时间段可以根据实际需求具体设置,本发明考虑到人的人的呼吸频率在12~20次/分钟,即3~5秒/次,为了使一份数据包含一次完整的呼吸,特此设定预设时间段的时间长度为10秒,每秒数据包含100帧的数据帧。
根据本发明的实施例,毫米波雷达采集人体的多个夜晚的初始睡姿数据后,雷达开发板根据雷达数据存储格式得到多帧数据,对多帧数据在距离维做傅里叶变换处理,并进行采样处理,可以得到多个采样点数据,例如36个采样点数据,针对每个包含采样点数据的目标睡眠数据,基于预设裁剪规则对目标睡眠数据进行处理,生成多个第一中间数据单元,例如每个第一中间数据单元中包含10秒的数据,对于每个第一中间数据单元,基于预设变换规则对第一中间数据单元进行处理,得到目标数据单元,其中,预设变换规则可以包括傅里叶变换。
根据本发明的实施例,根据多个目标数据单元,生成训练伪彩图,该训练伪彩图可以作为训练样本对深度学习网络模型进行训练,同时结合与该训练样本对应的标签数据,即可得到训练完成的睡眠姿态模型。
根据本发明的实施例,基于预设裁剪规则对毫米波雷达采集的人体的目标睡眠数据进行处理,得到第一中间数据单元,再对该第一中间数据单元进行转换,得到目标数据单元,利用目标数据单元生成的训练伪彩图与标签数据训练得到的睡眠姿态模型,能够较为准确地对人体的睡眠姿势进行识别,由于毫米波雷达在采集数据时无需与人体直接接触,且采集的数据并不会显示人体的具体外形图像,从而避免了相关技术中使用多个粘贴在身体上传感器进行识别所造成的不适感,以及图像采集设备进行图像采集造成的侵犯用户隐私的问题。
根据本发明的实施例,根据多个训练样本和与每个训练样本对应的标签数据训练待训练的深度学习网络模型,得到训练后的睡眠姿态模型,包括如下操作:
将训练样本输入深度学习网络模型中,输出预测结果,其中,预测结果表征预测的人体的睡姿。将预测结果和标签数据输入损失函数,得到损失结果;根据损失结果迭代地调整深度学习网络模型的网络参数,生成经训练的睡眠姿态模型。
根据本发明的实施例,预测结果的分类可以为2种,例如分别为平躺和侧卧,其中,分类还可以包括其他的睡姿,例如趴着睡的姿势等。
根据本发明的实施例,将训练伪彩图的训练样本输入到该深度学习网络模型,其中,该深度学习网络模型可以为MobileNet V2模型,可以输出对应的预测结果,将该预测结果和标签数据输入至损失函数中,损失函数可以是Categorical Crossentropy,根据输出的损失结果迭代地调整深度学习网络模型的网络参数,生成经训练的睡眠姿态模型。
根据本发明的实施例,在训练的过程中,可以选择Adam优化器,并将学习率设置为0.00005,在此条件下利用多个训练样本进行至少30轮训练,即可将调整参数后的深度学习网络模型确定为睡眠姿态模型。
根据本发明的实施例,在训练之前,还可以对训练伪彩图的分辨率进行压缩,例如可以将分辨率为640×480的训练伪彩图压缩至分辨率为224×224的训练伪彩图,利用压缩后的训练伪彩图进行模型的训练。其中,分辨率的压缩能够提高模型的训练速度。
根据本发明的实施例,在训练完成后还可以利用测试样本对该睡眠姿态模型的识别准确率进行检验,通过多个夜晚的睡眠数据进行检验后确定本发明的睡眠姿态模型的识别准确率约为90%。
根据本发明的实施例,基于预设裁剪规则对目标睡眠数据进行处理,生成多个第一中间数据单元,包括如下操作:
基于预设裁剪规则,将目标睡眠数据裁剪为多个初始数据单元,其中,初始数据单元包括多个帧数和多个通道的实部数据和虚部数据;针对每个初始数据单元中每一帧数下的每一通道的实部数据和虚部数据,对实部数据和虚部数据进行合并,得到合并数据;针对每个初始数据单元,根据与不同帧数不同通道对应的多个合并数据,生成第一中间数据单元。
根据本发明的实施例,预设裁剪规则可以指按照预设时间段将目标睡眠数据裁剪成多个初始数据单元并进行压缩,其中,初始数据单元的数量如公式(1)所示。
(1)
其中,floor表示向下取整,len(data)表示标睡眠数据data的一维长度。截取前个数据,m表示预设时间段,例如10s,n表示预设时间段内数据的帧数,例如100帧,s表示截取的数量,p表示采样点的数量,例如p可以为36,q表示毫米波雷达的通道数,例如在毫米波雷达的天线为2发2收的情况下,通道数q=2×2=4。
在一种示例性的实施例中,在采样点的数量为36的情况下,每个初始数据单元中实部数据和虚部数据的排列格式如表2所示。
表2
其中,表征第i帧第j通道中第x个采样点的实部数据,表征第i帧第j通道中第x个采样点的虚部数据。在本发明中上述表格中仅以每个初始数据单元中包括100帧、四个通道的36个样本点作示例性说明,并非限制本发明的初始数据单元中只能包括上述个数的帧数、通道数和样本点数。
根据本发明的实施例,针对每个每一帧数下的每一通道的每个样本点的实部数据和虚部数据,例如和,对其进行合并,得到合并子数据,合并子数据的格式为,其中,J表征虚数单位。根据多个合并子数据生成该帧数下该通道的合并数据,根据该初始数据单元对应的多个合并数据生成一个中间数据单元。
根据本发明的实施例,标签数据包括多个标签子数据。
根据本发明的实施例,在生成第一中间数据单元之前,还包括如下操作:针对任一合并数据,在合并数据的时间戳早于对应的标签子数据的时间戳的情况下,将合并数据进行删除处理,以根据剩下的合并数据生成第一中间数据单元;在合并数据的时间戳晚于对应的标签子数据的时间戳的情况下,将标签子数据进行删除处理,以根据剩下的标签子数据生成标签数据。
根据本发明的实施例,由于目标睡眠数据的采集和标签数据的采集可能存在一定的时间间隔,即二者不同步,此时需要对第一中间数据单元和标签子数据进行筛选,筛选是依照记录时间进行筛选的。
根据本发明的实施例,对于根据目标睡眠数据生成的每个合并数据,首先从多个标签子数据中确定与该合并数据对应的标签子数据,若合并数据的时间戳早于对应的标签子数据的时间戳的情况下,将合并数据进行删除处理;若合并数据的时间戳晚于对应的标签子数据的时间戳的情况下,将标签子数据进行删除处理。在完成每个合并数据的筛选后,根据剩余的合并数据生成第一中间数据单元,以及根据剩下的标签子数据生成最终的用于训练的标签数据。
根据本发明的实施例,需要删除的合并数据的数量bias如公式(2)所示。
(2)
其中,表征采集标签数据时所使用的采样频率,time_diff表示雷达与标签数据的时间戳之差。在一种可替换的实施例中,时间戳之差可具有一定的误差,即如果差值的大小位于一个预设误差范围内,可以认定合并数据的时间戳与标签子数据的时间戳相同。
根据本发明的实施例,基于预设裁剪规则,将目标睡眠数据裁剪为多个初始数据单元,包括如下操作:
按照预设时长,将目标睡眠数据剪裁为多个初始数据片段,其中,初始数据片段包括第一数量帧的数据;从多个初始数据片段中截取第一预设数量的初始数据片段作为多个目标数据片段;针对每个目标数据片段,将第一数量帧中每一预设数量帧的数据进行平均处理,得到多个第一平均数据;根据多个第一平均数据,生成第二数量帧的初始数据单元。
根据本发明的实施例,预设时长即上文记载的预设时间段,本发明的实施例以预设时长为10秒进行示例性说明。
根据本发明的实施例,第一数量帧和第二数量帧均可以根据实际情况具体设定,例如第一数量帧可以为1000帧,第二数量帧为100帧。第一预设数量可以指36个采样点数据。
在一种示例性的实施例中,在裁剪时,按照每一预设时长(例如10秒)裁剪为一个初始数据片段,每秒的数据中包括100帧数据,对于每个目标数据片段中的1000帧数据,可以每10帧数据取一次平均,得到多个第一平均数据,将10秒中每秒数据压缩至预设帧数,例如10帧,最终得到第二数量帧为100帧的初始数据单元。
根据本发明的实施例,基于预设变换规则对第一中间数据单元进行处理,得到目标数据单元,包括如下操作:
在角度维上对第一中间数据单元进行二维傅里叶变换处理,得到预设数据长度的第一数据,其中,第一数据的通道数为第一预设通道数;对第一数据的通道数进行拓宽处理,得到第二预设通道数的第二数据,其中,第二数据包括多个通道的数据;对第二数据中部分通道的数据进行平均处理,得到第二平均数据;对第二平均数据进行静态去除处理,得到过渡数据单元,其中,静态去除处理包括对第二平均数据与数据平均值进行做差处理,数据平均值表征第一中间数据单元中多个数据的平均值;对过渡数据单元进行最值归一化处理,得到目标数据单元。
根据本发明的实施例,预设数据长度可以指100*36*4,其中,100为帧数,36为采样点数量,4为通道数。第一预设通道数可以指4通道。第二预设通道数可以指8通道。
根据本发明的实施例,参照图4,在角度维(range)上对第一中间数据单元进行二维傅里叶变换,并将第一数据的4通道拓宽为8通道的第二数据,对第二数据中部分通道的数据进行平均处理,得到第二平均数据,参见公式(3)。
(3)
其中,表示在第三维度(即角度维)做傅里叶变换,表示第一中间数据单元;表示在第三维度的第2~6个数据的第二平均数据,即角度维八个通道上的第2~6通道的平均值。
根据本发明的实施例,基于公式(4)对第二平均数据进行静态去除处理,得到过渡数据单元。
(4)
其中,表示第一中间数据单元中多个数据(例如100帧数据)的平均值。
根据本发明的实施例,基于公式(5)对过渡数据单元进行最值归一化处理,得到目标数据单元 。
(5)
其中,表征个第一中间数据单元的数据最小值,表征多个第一中间数据单元的数据最大值,等号右侧的表征过渡数据单元的数据值,等号左侧的表征目标数据单元的数据值,该等号表征赋值。
根据本发明的实施例,在生成目标数据单元后,根据与每个第一中间数据单元对应的多个目标数据单元,利用matplotlib库中的pcolormesh转换方法将其转换成如图5所示的分辨率为640×480的训练伪彩图。
根据本发明的实施例,在生成训练伪彩图之后,还包括如下操作:
从多个目标数据单元中确定翻身数据单元集,其中,翻身数据单元集表征在睡眠状态下的人体发生翻转的数据;从多个目标数据单元中确定体动数据单元集,其中,体动数据单元集表征在睡眠状态下的人体的活动器官发生动作的数据;基于训练伪彩图中翻身数据单元集和体动数据单元集的数据索引,将训练伪彩图上与数据索引对应的图像进行删除,得到处理后的训练伪彩图,其中,处理后的伪彩图表征训练样本。
根据本发明的实施例,由于人体在睡眠状态时身体可能会做出动作或者翻身,毫米波雷达会对应采集该类数据,在睡姿识别时需要将此类特殊的数据进行剔除,以保证训练的准确度。其中,活动器官可以指手、脚以及头部等。
根据本发明的实施例,在生成目标数据单元后,针对每个目标数据单元均需要判断其是否属于翻身数据单元或体动数据单元,若确定该目标数据单元为翻身数据单元或体动数据单元,需要将该目标数据单元以及该目标数据单元前y个(例如3个)和后y个(例如3个)的目标数据单元确定为需要删除的翻身数据单元集或体动数据单元集,从而基于训练伪彩图上删除翻身数据单元集和体动数据单元集的数据索引,得到最终作为训练样本的训练伪彩图。
根据本发明的实施例,从多个目标数据单元中确定翻身数据单元集,包括如下操作:
针对每个目标数据单元,基于目标数据单元的时间戳确定与目标数据单元关联的数据单元;在目标数据单元的标签数据和关联的数据单元的数据标签不一致的情况下,将目标数据单元、目标数据单元的时间戳之前的数据单元和之后的数据单元确定为翻身数据单元集。
根据本发明的实施例,不同标签数据的标签值不同,而不同的标签值代表不同的睡姿,例如数字1表示仰卧,数字2表示侧卧。
根据本发明的实施例,针对每个目标数据单元,根据其时间戳确定对应的关联的数据单元,例如下一个时间戳的目标数据单元,判断这两个目标数据单元的标签数据是否相同,若相同则认为当前目标数据单元不是翻身数据单元,若不同则确定当前目标数据单元为翻身数据单元,此时将该当前目标数据单元以及前3个和后3个的目标数据单元确定为需要删除的翻身数据单元集。
根据本发明的实施例,体动数据单元集包括至少一个体动数据单元。
根据本发明的实施例,从多个目标数据单元中确定体动数据单元集,包括如下操作:针对每个第一中间数据单元,在角度维上对第一中间数据单元进行二维傅里叶变换处理,得到预设数据长度的第三数据,其中,第三数据的通道数为第三预设通道数。
对第三数据的通道数进行拓宽处理,得到第四预设通道数的第四数据,其中,第四数据包括多个通道的数据。
对第四数据中部分通道的数据进行平均处理,得到第三平均数据。
对第三平均数据进行静态去除处理,得到第二中间数据单元,其中,第二中间数据单元包括多个能量不同的数据。
分别对上半身数据和下半身数据进行相位提取处理,得到上半身数据的体动值和下半身数据的体动值,其中,上半身数据和下半身数据是根据能量最大的数据对多个数据进行划分得到的。
根据上半身数据和下半身数据中任一半身数据的体动值,确定第一中间数据单元是否为体动数据单元。
根据本发明的实施例,在确定体动数据单元时,同样需要利用公式(3)和公式(4)的方法对第一中间数据单元进行处理,最终得到第二中间数据单元,该第二中间数据单元中包括多个能量不同的数据,将能量值最大的数据确定为人体上半身和下半身的分割点,由此可以用公式(6)对上半身数据和下半身数据进行表示。
(6)
其中, up_p表示上半身数据起点,up_d表示上半身数据终点,down_p表示下半身数据起点,down_d表示下半身数据终点,pos表示能量最大的数据。
需要说明的是,公式(6)中的具体数值均为示例性说明的预设能量值,可以根据具体情况进行设置,并非限制本发明的预设能量值只能为上述数值。
根据本发明的实施例,分别对上半身数据和下半身数据进行相位提取处理,得到上半身数据的体动值和下半身数据的体动值,体动值的计算如公式(7)所示。
(7)
其中, 表示半身数据;angle表示相位提取,表示在第一维度(时间维)上对多个相位提取得到的呼吸幅值信号的幅值计算方差,即求时间维上的方差,mean表示对对多个相位提取得到的呼吸幅值信号的幅值求取平均值。
根据本发明的实施例,在求出该上半身数据或下半身数据的体动值后,即可根据该体动值确定该上半身数据或下半身数据是否为体动数据单元,从而可以确定是否在训练伪彩图中删除与该体动数据单元集的数据索引对应的图像。
根据本发明的实施例,分别对上半身数据和下半身数据进行相位提取处理,得到上半身数据的体动值和下半身数据的体动值,包括如下操作:
针对上半身数据和下半身数据中任一半身数据,对半身数据中多个数据进行相位提取处理,得到多个呼吸幅值信号;在时间维上求取每个呼吸幅值信号的方差;根据多个呼吸幅值信号的方差,确定半身数据的体动值。
根据本发明的实施例,参见公式(7)中的angle即对半身数据进行相位提取处理,从而可以得到多个呼吸幅值信号,基于多个呼吸幅值信号确定上文记载的方差,根据该方差可以确定该半身数据的体动值。
根据本发明的实施例,如图6所示,根据上半身数据和下半身数据中任一半身数据的体动值,确定第一中间数据单元是否为体动数据单元,包括如下操作:
针对上半身数据和下半身数据中任一半身数据,根据与半身数据的第一中间数据单元对应的多个关联的中间数据单元的半身数据,确定与半身数据对应的动态阈值;在半身数据的体动值小于或等于动态阈值的情况下,将半身数据对应的第一中间数据单元确定为体动数据单元。
根据本发明的实施例,关联的中间数据单元的半身数据可以指与当前半身数据对应的前个中间数据单元的半身数据。参照图6,根据公式(8)对多个关联的中间数据单元的半身数据进行处理,即可得到该半身数据对应的动态阈值。该动态阈值即图6中的临时阈值。
(8)
其中,i表示第i个关联的中间数据单元的半身数据,其中,i=0表示第一个关联的中间数据单元的半身数据,xw表示上半身数据或下半身数据,mean表示求多个上半身数据或下半身数据的平均值,std表示求多个上半身数据或下半身数据的标准差。
根据本发明的实施例,在确定每个半身数据对应的动态阈值之后,若干该半身数据的体动值小于或等于与该半身数据对应的动态阈值的情况下,将半身数据对应的第一中间数据单元确定为体动数据单元,若大于则该半身数据不属于体动数据单元。
根据本发明的实施例,由于多个关联的中间数据单元中可能存在体动数据单元,从而导致动态阈值的数值较大,可以利用阈值上限(即图6中的临界值)对动态阈值的最大值进行限制,例如,可以将上半身数据的阈值上限设置为4,下半身数据的阈值上限设置为2,在一种实施例中,如计算得到的上半身数据的动态阈值为5,由于5大于4,则将最终的动态阈值(即图6中的新阈值)确定为4。
需要说明的是,上述阈值上限的具体数值可以根据实际情况进行设置,并非限制本发明的阈值上限只能为上述数值。
如图7所示,睡眠姿态识别方法包括操作S701~S705。
在操作S701,获取睡眠姿态数据,其中,睡眠姿态数据是利用距离处于睡眠状态的人体的预设高度的位置处的毫米波雷达采集的。
在操作S702,基于预设裁剪规则对睡眠姿态数据进行处理,生成多个初始睡眠数据单元。
在操作S703,针对每个初始睡眠数据单元,基于预设变换规则对初始睡眠数据单元进行处理,得到目标睡眠数据单元。
在操作S704,根据多个目标睡眠数据单元生成睡眠伪彩图。
在操作S705,将睡眠伪彩图输入睡眠姿态模型,得到识别结果,其中,识别结果表征人体的睡眠姿势。
根据本发明的实施例,利用毫米波雷达采集处于睡眠状态的人体的睡眠姿态数据,基于预设裁剪规则对睡眠姿态数据进行处理,生成多个初始睡眠数据单元,针对每个初始睡眠数据单元,基于预设变换规则对初始睡眠数据单元进行处理,得到目标睡眠数据单元;根据多个目标睡眠数据单元生成睡眠伪彩图,将睡眠伪彩图输入睡眠姿态模型,即可得到表征该人体睡姿的得到识别结果。
需要说明的是,睡眠姿态识别方法中将睡眠姿态数据转换为睡眠伪彩图的过程与睡眠姿态模型的训练方法中初始睡姿数据转换为训练伪彩图的过程相同,区别仅在与睡眠姿态识别方法中无需根据时间戳对睡眠姿态数据生成的合并数据进行剔除。
根据本发明的实施例,睡眠姿态模型在训练时,基于预设裁剪规则对毫米波雷达采集的人体的目标睡眠数据进行处理,得到第一中间数据单元,再对该第一中间数据单元进行转换,得到目标数据单元,利用目标数据单元生成的训练伪彩图与标签数据训练得到的睡眠姿态模型,能够较为准确地对人体的睡眠姿势进行识别,由于毫米波雷达在采集数据时无需与人体直接接触,且采集的数据并不会显示人体的具体外形图像,使得本发明的睡眠姿态识别方法在对人体的睡姿进行识别时能够避免了相关技术中使用多个粘贴在身体上传感器进行识别所造成的不适感,以及图像采集设备进行图像采集造成的侵犯用户隐私的问题。
图8示出了根据本发明的实施例的睡眠姿态模型的训练装置的框图。
如图8所示,睡眠姿态模型的训练装置800包括第一处理模块810、第二处理模块820、第一生成模块830和训练模块840。
第一处理模块810,用于针对毫米波雷达输出的每个目标睡眠数据,基于预设裁剪规则对目标睡眠数据进行处理,生成多个第一中间数据单元,其中,目标睡眠数据是在距离处于睡眠状态的人体的预设高度的位置上采集的,目标睡眠数据包括多个采样点数据,采样点数据是对毫米波雷达采集的初始睡姿数据在距离维上做傅里叶变换并进行采样得到的。
第二处理模块820,用于针对每个第一中间数据单元,基于预设变换规则对第一中间数据单元进行处理,得到目标数据单元。
第一生成模块830,用于根据多个目标数据单元,生成训练伪彩图。
训练模块840,用于将对应于不同目标睡眠数据的多个训练伪彩图作为睡眠姿态训练样本集中的多个训练样本,根据多个训练样本和与每个训练样本对应的标签数据训练待训练的深度学习网络模型,得到训练后的睡眠姿态模型,标签数据表征训练样本中的人体的睡姿。
根据本发明的实施例,基于预设裁剪规则对毫米波雷达采集的人体的目标睡眠数据进行处理,得到第一中间数据单元,再对该第一中间数据单元进行转换,得到目标数据单元,利用目标数据单元生成的训练伪彩图与标签数据训练得到的睡眠姿态模型,能够较为准确地对人体的睡眠姿势进行识别,由于毫米波雷达在采集数据时无需与人体直接接触,且采集的数据并不会显示人体的具体外形图像,从而避免了相关技术中使用多个粘贴在身体上传感器进行识别所造成的不适感,以及图像采集设备进行图像采集造成的侵犯用户隐私的问题。
根据本发明的实施例,睡眠姿态模型的训练装置800还包括第一确定模块、第二确定模块和删除模块。
第一确定模块,用于从多个目标数据单元中确定翻身数据单元集,其中,翻身数据单元集表征在睡眠状态下的人体发生翻转的数据。
第二确定模块,用于从多个目标数据单元中确定体动数据单元集,其中,体动数据单元集表征在睡眠状态下的人体的活动器官发生动作的数据。
删除模块,用于基于训练伪彩图中翻身数据单元集和体动数据单元集的数据索引,将训练伪彩图上与数据索引对应的图像进行删除,得到处理后的训练伪彩图,其中,处理后的伪彩图表征训练样本。
图9示出了根据本发明的实施例的睡眠姿态识别装置的框图。
如图9所示,睡眠姿态识别装置900包括获取模块910、第三处理模块920、第四处理模块930、第二生成模块940和识别模块950。
获取模块910,用于获取睡眠姿态数据,其中,睡眠姿态数据是利用距离处于睡眠状态的人体的预设高度的位置处的毫米波雷达采集的。
第三处理模块920,用于基于预设裁剪规则对睡眠姿态数据进行处理,生成多个初始睡眠数据单元。
第四处理模块930,用于针对每个初始睡眠数据单元,基于预设变换规则对初始睡眠数据单元进行处理,得到目标睡眠数据单元。
第二生成模块940,用于根据多个目标睡眠数据单元生成睡眠伪彩图。
识别模块950,用于将睡眠伪彩图输入睡眠姿态模型,得到识别结果,其中,识别结果表征人体的睡眠姿势。
根据本发明的实施例,睡眠姿态模型在训练时,基于预设裁剪规则对毫米波雷达采集的人体的目标睡眠数据进行处理,得到第一中间数据单元,再对该第一中间数据单元进行转换,得到目标数据单元,利用目标数据单元生成的训练伪彩图与标签数据训练得到的睡眠姿态模型,能够较为准确地对人体的睡眠姿势进行识别,由于毫米波雷达在采集数据时无需与人体直接接触,且采集的数据并不会显示人体的具体外形图像,使得本发明的睡眠姿态识别方法在对人体的睡姿进行识别时能够避免了相关技术中使用多个粘贴在身体上传感器进行识别所造成的不适感,以及图像采集设备进行图像采集造成的侵犯用户隐私的问题。
根据本发明的实施例的模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本发明实施例的模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本发明实施例的模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(Field ProgrammableGate Array ,FPGA)、可编程逻辑阵列(Programmable Logic Arrays ,PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(Application Specific Integrated Circuit,ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本发明实施例的模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
需要说明的是,本发明的实施例中睡眠姿态模型的训练装置或睡眠姿态识别装置部分与本发明的实施例中睡眠姿态模型的训练方法或睡眠姿态识别方法部分是相对应的,睡眠姿态模型的训练装置或睡眠姿态识别装置部分的描述具体参考睡眠姿态模型的训练方法或睡眠姿态识别方法部分,在此不再赘述。
图10示出了根据本发明实施例的适于实现上文描述的方法的电子设备的框图。图10示出的电子设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示,根据本发明实施例的电子设备1000包括处理器1001,其可以根据存储在只读存储器(Read-Only Memory,ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(Random Access Memory,RAM)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1003中,存储有电子设备1000操作所需的各种程序和数据。处理器 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。处理器1001通过执行ROM 1002和/或RAM1003中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 1002和RAM 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
根据本发明的实施例,电子设备1000还可以包括输入/输出(I/O)接口1005,输入/输出(I/O)接口1005也连接至总线1004。系统1000还可以包括连接至I/O接口1005的以下部件中的一项或多项:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
根据本发明的实施例,根据本发明实施例的方法流程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时,执行本发明实施例的系统中限定的上述功能。根据本发明的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本发明还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本发明实施例的方法。
根据本发明的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM(Erasable Programmable Read Only Memory,EPROM)或闪存)、便携式紧凑磁盘只读存储器(Computer Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如,根据本发明的实施例,计算机可读存储介质可以包括上文描述的ROM 1002和/或RAM 1003和/或ROM 1002和RAM 1003以外的一个或多个存储器。
本发明的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行本发明实施例所提供的方法的程序代码,当计算机程序产品在电子设备上运行时,该程序代码用于使电子设备实现本发明实施例所提供的睡眠姿态模型的训练方法或睡眠姿态识别方法。
在该计算机程序被处理器1001执行时,执行本发明实施例的系统/装置中限定的上述功能。根据本发明的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分1009被下载和安装,和/或从可拆卸介质1011被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
根据本发明的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
以上对本发明的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本发明的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本发明的范围之内。
Claims (10)
1.一种睡眠姿态模型的训练方法,其特征在于,包括:
针对毫米波雷达输出的每个目标睡眠数据,基于预设裁剪规则对所述目标睡眠数据进行处理,生成多个第一中间数据单元,其中,所述目标睡眠数据是在距离处于睡眠状态的人体的预设高度的位置上采集的,所述目标睡眠数据包括多个采样点数据,所述采样点数据是对所述毫米波雷达采集的初始睡姿数据在距离维上做傅里叶变换并进行采样得到的;
针对每个所述第一中间数据单元,基于预设变换规则对所述第一中间数据单元进行处理,得到目标数据单元;
根据多个所述目标数据单元,生成训练伪彩图;
将对应于不同目标睡眠数据的多个所述训练伪彩图作为睡眠姿态训练样本集中的多个训练样本,根据多个所述训练样本和与每个所述训练样本对应的标签数据训练待训练的深度学习网络模型,得到训练后的睡眠姿态模型,所述标签数据表征所述训练样本中的人体的睡姿。
2.根据权利要求1所述的方法,其特征在于,根据多个所述训练样本和与每个所述训练样本对应的标签数据训练待训练的深度学习网络模型,得到训练后的睡眠姿态模型,包括:
将所述训练样本输入所述深度学习网络模型中,输出预测结果,其中,所述预测结果表征预测的所述人体的睡姿;
将所述预测结果和所述标签数据输入损失函数,得到损失结果;
根据所述损失结果迭代地调整所述深度学习网络模型的网络参数,生成经训练的所述睡眠姿态模型。
3.根据权利要求1所述的方法,其特征在于,基于预设裁剪规则对所述目标睡眠数据进行处理,生成多个第一中间数据单元,包括:
基于所述预设裁剪规则,将所述目标睡眠数据裁剪为多个初始数据单元,其中,所述初始数据单元包括多个帧数和多个通道的实部数据和虚部数据;
针对每个所述初始数据单元中每一帧数下的每一通道的所述实部数据和虚部数据,对所述实部数据和所述虚部数据进行合并,得到合并数据;
针对每个所述初始数据单元,根据与不同帧数不同通道对应的多个所述合并数据,生成所述第一中间数据单元。
4.根据权利要求3所述的方法,其特征在于,所述标签数据包括多个标签子数据;
其中,在生成所述第一中间数据单元之前,还包括:
针对任一所述合并数据,在所述合并数据的时间戳早于对应的所述标签子数据的时间戳的情况下,将所述合并数据进行删除处理,以根据剩下的合并数据生成所述第一中间数据单元;
在所述合并数据的时间戳晚于对应的所述标签子数据的时间戳的情况下,将所述标签子数据进行删除处理,以根据剩下的标签子数据生成所述标签数据;
其中,基于所述预设裁剪规则,将所述目标睡眠数据裁剪为多个初始数据单元,包括:
按照预设时长,将所述目标睡眠数据剪裁为多个初始数据片段,其中,所述初始数据片段包括第一数量帧的数据;
从多个所述初始数据片段中截取第一预设数量的初始数据片段作为多个目标数据片段;
针对每个所述目标数据片段,将第一数量帧中每一预设数量帧的数据进行平均处理,得到多个第一平均数据;
根据多个所述第一平均数据,生成第二数量帧的所述初始数据单元。
5.根据权利要求2所述的方法,其特征在于,基于预设变换规则对所述第一中间数据单元进行处理,得到目标数据单元,包括:
在角度维上对所述第一中间数据单元进行二维傅里叶变换处理,得到预设数据长度的第一数据,其中,所述第一数据的通道数为第一预设通道数;
对所述第一数据的通道数进行拓宽处理,得到第二预设通道数的第二数据,其中,所述第二数据包括多个通道的数据;
对所述第二数据中部分通道的数据进行平均处理,得到第二平均数据;
对所述第二平均数据进行静态去除处理,得到过渡数据单元,其中,所述静态去除处理包括对所述第二平均数据与数据平均值进行做差处理,所述数据平均值表征所述第一中间数据单元中多个数据的平均值;
对所述过渡数据单元进行最值归一化处理,得到所述目标数据单元。
6.根据权利要求1所述的方法,其特征在于,在生成所述训练伪彩图之后,所述方法还包括:
从多个所述目标数据单元中确定翻身数据单元集,其中,所述翻身数据单元集表征在睡眠状态下的所述人体发生翻转的数据;
从多个所述目标数据单元中确定体动数据单元集,其中,所述体动数据单元集表征在睡眠状态下的所述人体的活动器官发生动作的数据;
基于所述训练伪彩图中所述翻身数据单元集和所述体动数据单元集的数据索引,将所述训练伪彩图上与所述数据索引对应的图像进行删除,得到处理后的训练伪彩图,其中,所述处理后的伪彩图表征所述训练样本。
7.根据权利要求6所述的方法,其特征在于,从多个所述目标数据单元中确定翻身数据单元集,包括:
针对每个所述目标数据单元,基于所述目标数据单元的时间戳确定与所述目标数据单元关联的数据单元;
在所述目标数据单元的标签数据和所述关联的数据单元的数据标签不一致的情况下,将所述目标数据单元、所述目标数据单元的时间戳之前的数据单元和之后的数据单元确定为所述翻身数据单元集。
8.根据权利要求6所述的方法,其特征在于,所述体动数据单元集包括至少一个体动数据单元;
其中,从多个所述目标数据单元中确定体动数据单元集,包括:
针对每个所述第一中间数据单元,在角度维上对所述第一中间数据单元进行二维傅里叶变换处理,得到预设数据长度的第三数据,其中,所述第三数据的通道数为第三预设通道数;
对所述第三数据的通道数进行拓宽处理,得到第四预设通道数的第四数据,其中,所述第四数据包括多个通道的数据;
对所述第四数据中部分通道的数据进行平均处理,得到第三平均数据;
对所述第三平均数据进行静态去除处理,得到第二中间数据单元,其中,所述第二中间数据单元包括多个能量不同的数据;
分别对上半身数据和下半身数据进行相位提取处理,得到所述上半身数据的体动值和所述下半身数据的体动值,其中,所述上半身数据和所述下半身数据是根据能量最大的数据对多个数据进行划分得到的;
根据上半身数据和下半身数据中任一半身数据的体动值,确定所述第一中间数据单元是否为所述体动数据单元。
9.根据权利要求8所述的方法,其特征在于,分别对上半身数据和下半身数据进行相位提取处理,得到所述上半身数据的体动值和所述下半身数据的体动值,包括:
针对上半身数据和下半身数据中任一半身数据,对所述半身数据中多个数据进行相位提取处理,得到多个呼吸幅值信号;
在时间维上求取每个所述呼吸幅值信号的方差;
根据多个所述呼吸幅值信号的方差,确定所述半身数据的体动值;
其中,根据上半身数据和下半身数据中任一半身数据的体动值,确定所述第一中间数据单元是否为所述体动数据单元,包括:
针对上半身数据和下半身数据中任一半身数据,根据与所述半身数据的第一中间数据单元对应的多个关联的中间数据单元的半身数据,确定与所述半身数据对应的动态阈值;
在所述半身数据的所述体动值小于或等于所述动态阈值的情况下,将所述半身数据对应的第一中间数据单元确定为所述体动数据单元。
10.一种睡眠姿态识别方法,其特征在于,包括:
获取睡眠姿态数据,其中,所述睡眠姿态数据是利用距离处于睡眠状态的人体的预设高度的位置处的毫米波雷达采集的;
基于预设裁剪规则对所述睡眠姿态数据进行处理,生成多个初始睡眠数据单元;
针对每个所述初始睡眠数据单元,基于预设变换规则对所述初始睡眠数据单元进行处理,得到目标睡眠数据单元;
根据多个所述目标睡眠数据单元生成睡眠伪彩图;以及
将所述睡眠伪彩图输入睡眠姿态模型,得到识别结果,其中,所述识别结果表征所述人体的睡眠姿势;
其中,所述睡眠姿态模型是利用如权利要求1至9中任一项所述的方法训练得到的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310149791.3A CN116030534B (zh) | 2023-02-22 | 2023-02-22 | 睡眠姿态模型的训练方法和睡眠姿态识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310149791.3A CN116030534B (zh) | 2023-02-22 | 2023-02-22 | 睡眠姿态模型的训练方法和睡眠姿态识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116030534A true CN116030534A (zh) | 2023-04-28 |
CN116030534B CN116030534B (zh) | 2023-07-18 |
Family
ID=86078064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310149791.3A Active CN116030534B (zh) | 2023-02-22 | 2023-02-22 | 睡眠姿态模型的训练方法和睡眠姿态识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116030534B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112184642A (zh) * | 2020-09-16 | 2021-01-05 | 珠海格力电器股份有限公司 | 睡眠姿势异常的警示方法和装置、存储介质、电子装置 |
US20210177343A1 (en) * | 2019-10-03 | 2021-06-17 | DawnLight Technologies Inc. | Systems and methods for contactless sleep monitoring |
WO2021248882A1 (zh) * | 2020-06-08 | 2021-12-16 | 珠海格力电器股份有限公司 | 睡眠状态检测模型构建、睡眠状态检测方法及装置 |
US20220027672A1 (en) * | 2020-07-27 | 2022-01-27 | Nvidia Corporation | Label Generation Using Neural Networks |
CN114004255A (zh) * | 2021-10-25 | 2022-02-01 | 中国科学技术大学 | 姿势检测方法、姿势检测装置、电子设备及可读存储介质 |
US20220047209A1 (en) * | 2020-08-11 | 2022-02-17 | Google Llc | Contactless sleep detection and disturbance attribution for multiple users |
CN114492676A (zh) * | 2022-04-06 | 2022-05-13 | 南京慧尔视智能科技有限公司 | 一种目标检测模型的构建方法、装置和电子设备 |
CN114580535A (zh) * | 2022-03-04 | 2022-06-03 | 中国人民解放军空军军医大学 | 基于注意力多视角学习网络的多基雷达人体行为融合识别方法、装置及介质 |
CN115153463A (zh) * | 2022-06-16 | 2022-10-11 | 易念科技(深圳)有限公司 | 睡眠状态识别模型的训练方法、睡眠状态识别方法和装置 |
CN115374882A (zh) * | 2022-10-24 | 2022-11-22 | 中国医学科学院药用植物研究所 | 睡眠分期方法、装置、电子设备及存储介质 |
CN115392285A (zh) * | 2022-07-15 | 2022-11-25 | 浙江工业大学 | 一种基于多模态的深度学习信号个体识别模型防御方法 |
CN115660042A (zh) * | 2022-08-24 | 2023-01-31 | 西北大学 | 一种基于rfid设备的三维睡姿检测方法 |
-
2023
- 2023-02-22 CN CN202310149791.3A patent/CN116030534B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210177343A1 (en) * | 2019-10-03 | 2021-06-17 | DawnLight Technologies Inc. | Systems and methods for contactless sleep monitoring |
WO2021248882A1 (zh) * | 2020-06-08 | 2021-12-16 | 珠海格力电器股份有限公司 | 睡眠状态检测模型构建、睡眠状态检测方法及装置 |
US20220027672A1 (en) * | 2020-07-27 | 2022-01-27 | Nvidia Corporation | Label Generation Using Neural Networks |
US20220047209A1 (en) * | 2020-08-11 | 2022-02-17 | Google Llc | Contactless sleep detection and disturbance attribution for multiple users |
CN112184642A (zh) * | 2020-09-16 | 2021-01-05 | 珠海格力电器股份有限公司 | 睡眠姿势异常的警示方法和装置、存储介质、电子装置 |
CN114004255A (zh) * | 2021-10-25 | 2022-02-01 | 中国科学技术大学 | 姿势检测方法、姿势检测装置、电子设备及可读存储介质 |
CN114580535A (zh) * | 2022-03-04 | 2022-06-03 | 中国人民解放军空军军医大学 | 基于注意力多视角学习网络的多基雷达人体行为融合识别方法、装置及介质 |
CN114492676A (zh) * | 2022-04-06 | 2022-05-13 | 南京慧尔视智能科技有限公司 | 一种目标检测模型的构建方法、装置和电子设备 |
CN115153463A (zh) * | 2022-06-16 | 2022-10-11 | 易念科技(深圳)有限公司 | 睡眠状态识别模型的训练方法、睡眠状态识别方法和装置 |
CN115392285A (zh) * | 2022-07-15 | 2022-11-25 | 浙江工业大学 | 一种基于多模态的深度学习信号个体识别模型防御方法 |
CN115660042A (zh) * | 2022-08-24 | 2023-01-31 | 西北大学 | 一种基于rfid设备的三维睡姿检测方法 |
CN115374882A (zh) * | 2022-10-24 | 2022-11-22 | 中国医学科学院药用植物研究所 | 睡眠分期方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
JINBO CHEN.ET AL: ""Contactless Electrocardiogram Monitoring with Millimeter Wave Radar"", 《IEEE》 * |
夏燕超等: ""用于人体姿态检测的微波雷达研制"", 《南华大学学报(自然科学版)》, vol. 36, no. 4 * |
Also Published As
Publication number | Publication date |
---|---|
CN116030534B (zh) | 2023-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12072440B2 (en) | Identification system for subject or activity identification using range and velocity data | |
Chou et al. | Privacy-preserving action recognition for smart hospitals using low-resolution depth images | |
Ghose et al. | UbiHeld: ubiquitous healthcare monitoring system for elderly and chronic patients | |
Min et al. | Support vector machine approach to fall recognition based on simplified expression of human skeleton action and fast detection of start key frame using torso angle | |
Esmaeili Kelishomi et al. | Mobile user indoor-outdoor detection through physical daily activities | |
CN105190691A (zh) | 用于获得对象的生命体征的设备 | |
Wu et al. | KD-PAR: A knowledge distillation-based pedestrian attribute recognition model with multi-label mixed feature learning network | |
US10004411B2 (en) | Living body determination devices and methods | |
Zhang et al. | Danger-pose detection system using commodity Wi-Fi for bathroom monitoring | |
Xing et al. | View-invariant gait recognition method by three-dimensional convolutional neural network | |
Luo et al. | Wireless sensor networks for noise measurement and acoustic event recognitions in urban environments | |
KR20180013005A (ko) | 전자 장치 및 전자 장치 제어 방법 | |
Rasouli D et al. | A novel depth image analysis for sleep posture estimation | |
Lenac et al. | Extending appearance based gait recognition with depth data | |
Signorini et al. | Antepartum fetal monitoring through a wearable system and a mobile application | |
Kong et al. | Robust self-adaptation fall-detection system based on camera height | |
Dang et al. | Wireless sensing technology combined with facial expression to realize multimodal emotion recognition | |
CN116030534B (zh) | 睡眠姿态模型的训练方法和睡眠姿态识别方法 | |
Liang et al. | mmStress: Distilling human stress from daily activities via contact-less millimeter-wave sensing | |
Li et al. | Multimodal Gait Abnormality Recognition Using a Convolutional Neural Network–Bidirectional Long Short-Term Memory (CNN-BiLSTM) Network Based on Multi-Sensor Data Fusion | |
US11688264B2 (en) | System and method for patient movement detection and fall monitoring | |
Su et al. | Radar placement for fall detection: Signature and performance | |
Ma et al. | A robust multi-feature based method for distinguishing between humans and pets to ensure signal source in vital signs monitoring using UWB radar | |
Klus et al. | Crowdsourcing solutions for data gathering from wearables | |
Cai et al. | FallDeWideo: Vision-Aided Wireless Sensing Dataset for Fall Detection with Commodity Wi-Fi Devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |