CN115474901A - 基于无线射频信号的非接触式起居状态监测方法及系统 - Google Patents

基于无线射频信号的非接触式起居状态监测方法及系统 Download PDF

Info

Publication number
CN115474901A
CN115474901A CN202211199401.5A CN202211199401A CN115474901A CN 115474901 A CN115474901 A CN 115474901A CN 202211199401 A CN202211199401 A CN 202211199401A CN 115474901 A CN115474901 A CN 115474901A
Authority
CN
China
Prior art keywords
signal
signals
sleep
state
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211199401.5A
Other languages
English (en)
Inventor
张扶桑
刘晓燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jian'an Perception Technology Co ltd
Original Assignee
Beijing Jian'an Perception Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jian'an Perception Technology Co ltd filed Critical Beijing Jian'an Perception Technology Co ltd
Priority to CN202211199401.5A priority Critical patent/CN115474901A/zh
Publication of CN115474901A publication Critical patent/CN115474901A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/002—Monitoring the patient using a local or closed circuit, e.g. in a room or building
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1115—Monitoring leaving of a patient support, e.g. a bed or a wheelchair
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4812—Detecting sleep stages or cycles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4818—Sleep apnoea
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Cardiology (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公布了一种基于无线射频信号的非接触式起居监测方法及系统，属于物联网智能监测技术领域，涉及物联网智能非接触感知技术。采用本发明提供的技术方案，无需监测目标佩戴任何传感器设备，可通过复用无线射频通信信号，分析监测目标的活动对射频信号的扰动，提取细粒度的生命体征和动作信息，实现对监测目标起居状态进行非接触式、非侵扰、全天候的起居监测。本发明容易实现、维护，可大幅度减低部署和使用成本。同时，无需人体佩戴任何传感器设备，提升了被监测用户的舒适度，且可实现全天候的不间断监测。

Description

基于无线射频信号的非接触式起居状态监测方法及系统
技术领域
本发明属于物联网智能监测技术领域，涉及物联网智能非接触感知技术，特别涉及一种利用无线射频信号进行非接触式起居状态监测的方法及系统。
背景技术
人体起居信息详细刻画了人体在室内的长期身体活动和生命体征信息，是人体健康状况的重要指标，对多种疾病的诊断和治疗有着重要的作用。起居信息的主要内容包括作息起止时间、呼吸/心率情况和睡眠体动情况等。根据文献[1]-[2]，人体的作息时间是否规律、合理，不仅反映了多项人体生理健康情况，同时也是判断心理健康状况的重要依据。根据文献[3]-[4]，呼吸/心率和睡眠体动次数反映了人体睡眠质量情况，低质量的睡眠会导致包括糖尿病，心脏病和高血压在内的诸多疾病。根据上述原因，为了更全面地获取人体健康信息，有必要进行长期的起居信息检测。
近年来，许多研究人员投入起居监测的研究，多种监测系统相继出现。其中，相对传统的方案依赖于联合使用多种专业设备。例如，使用心电仪设备(ECG)(文献[5])，通过在人体某些部位安装传感器监测用户的呼吸和心跳，使用带有压力传感器的定制病床监测用户作息时间和睡眠体动等等。这些专用设备虽然精度高，但大多价格昂贵且需专业人员操作，同时佩戴传感器也严重影响了用户舒适度，因此难以推广到居家健康，居家养老等大规模应用场景。近几年开始流行基于智能手环和手表等可穿戴式设备的起居监测(文献[6]-[7])。可穿戴式方法成本较低，无需专业人员操作，但由于需要用户佩戴和定时充电，很容易因用户忘记佩戴而导致检测中断。
参考文献：
[1]N.Tsuno,A.Besset,and K.Ritchie,“Sleep and depression,”J.Clin.Psychiat.,vol.66,no.10,pp.1254–1269,Oct.2005
[2]D.J.Taylor,K.L.Lichstein,H.H.Durrence,B.W.Reidel,and A.J.Bush,“Epidemiology of insomnia,depression,and anxiety,”Sleep,vol.28,no.11,pp.1457–1464,2005.
[3]E.Shahar et al.,“Sleep-disordered breathing and cardiovasculardisease:Cross-sectional results of the sleep heart health study,”Amer.J.Res.Crit.Care Med.,vol.163,no.1,pp.19–25,2001.
[4]E.Tasali,R.Leproult,D.A.Ehrmann,and E.Van Cauter,“Slow-wave sleepand the risk of type 2diabetes in humans,”Proc.Nat.Acad.Sci.USA,vol.105,no.3,pp.1044–1049,2008.
[5]Leonard S Lilly.2012.Pathophysiology of heart disease:acollaborative project of medical students and faculty.Lippincott Williams&Wilkins.
[6]2020.Fitbit wrist band.https://www.fitbit.com/.
[7]2020.Apple watch.https://www.apple.com/watch/.
发明内容
为了克服上述已有接触式起居监测技术中存在的感知设备成本高，不便于操作以及监测容易中断等技术问题，本发明提供一种基于无线射频信号的非接触式起居监测方法及系统，使用无线射频信号对监测目标(人体)的起居状态进行非接触式监测。本方法无需任何专用设备，可通过复用空间中广泛存在的WiFi，UWB(Ultra Wide Band，超宽带)等通信信号实现监测，无需专业人员操作且成本低廉。同时，本方法无需人体佩戴任何传感器设备，因此不易中断。可实现非侵扰、全天候的起居监测。
本发明采用无线感知的非接触式方法，通过分析用户活动对射频信号的扰动，准确提取细粒度的生命体征和动作信息，用于实现准确的起居监测，适用于起居检测等医疗监护或居家康复场景。与传统的现有方法相比，无线感知方式具有非侵扰，测量准确和部署简单等优点。
本发明提供的技术方案是：
一种基于无线射频信号的非接触式起居监测方法，包括如下步骤：
1)针对不同种类的感知信号采取特定的采集方法，获得信道状态信息(CSI)或基带信号信息。感知信号包括WiFi信号、UWB信号或FMCW(Frequency Modulated ContinuousWave，调频连续波)信号；
对于WiFi信号，将信号接收和发送设备分别布置在房间内的固定位置，从接收设备上采集CSI信号。对于UWB或FMCW信号，将信号收发器放置在房间内固定位置，采集接收信号。
2)对采集到的感知信号进行预处理。对于WiFi信号，采用两根天线信号的信号比消除接收信号中的随机相位偏移。对于UWB或FMCW信号，设计基于静态消减的方法检测人体所在位置，并提取人体位置处的一系列信号。
3)对预处理后的信号进行复平面信号处理、时域波形投影，获得准确的目标运动波形(信号)。使用信号频率分解，从目标运动波形中分离出生命体征信号(包括呼吸信号和心跳信号)和体动信号，分别送入生命体征提取模块和体动提取模块。
4)使用EMD算法从生命体征信号中分离出呼吸和心跳波形。使用自相关方法计算呼吸率。使用基于加速度的方法放大心跳信号，并使用期望最大化方法计算心率。
5)利用体动信号计算人体运动多普勒速度谱和信号动态能量大小。
使用基于阈值的方式将体动划分为：静止、原地运动和行走三种状态。
6)基于检测目标的体动状态，判断入睡和起床时间。
7)基于生命体征和体动信息，设计卷积神经网络和双向长短期记忆网络结合的机器学习方法，将人体睡眠状态分为清醒、浅睡眠、深睡眠和快速眼动睡眠四类。
8)利用人体睡眠状态划分结果，计算各睡眠状态的时间占比。
9)基于生命体征信息，设计基于变换器(Transformer)的机器学习方法，识别用户夜间睡眠的异常生命体征，包括三种呼吸异常(中枢型、阻塞型、混合型呼吸暂停)和两种心跳异常(心率不齐、心跳暂停)。
10)综合提取的起居健康状态信息，设计打分标准对用户整夜睡眠进行打分评估。
11)将上述步骤获得的全部起居健康状态信息，汇总为可视化的起居健康报告输出。
本发明还提供上述基于无线射频信号的非接触式起居监测方法实现了一种基于无线射频信号的非接触式起居监测系统，包括：感知信号获取和处理模块，生命体征提取模块，起居行为特征提取模块和起居健康分析模块。信号获取和处理模块用于感知信号的种类识别、预处理、噪声消除、复平面处理、时域投影和动作幅度检测。生命体征提取模块用于呼吸、心跳波形提取和频率幅度计算。体动提取模块用于多普勒速度提取、动态能量提取和体动种类判断。起居健康分析模块基于提取出的生命体征和体动信息计算起居健康指标，并输出可视化分析报告。
与现有技术相比，本发明的有益效果是：
本发明提供一种基于无线射频信号的非接触式起居监测方法及系统，采用无线感知的非接触式方法，通过分析用户活动对射频信号的扰动，准确提取细粒度的生命体征和动作信息，可用于适用于起居检测等医疗监护或居家康复场景。本发明技术方案具有非侵扰的优点，且测量准确、部署简单。
本方法无需使用任何专用设备，通过复用空间中广泛存在的WiFi，UWB等通信信号进行非接触式非起居监测。与传统方法相比更容易实现、维护，并且大幅度减低了部署和使用成本。同时，本方法无需人体佩戴任何传感器设备，提升了被监测用户的舒适度，并且可实现全天候的不间断监测。
附图说明
图1为本发明提供的起居监测系统的结构框图。
图2为本发明具体实施例中的信号二维表示图。
图3为本发明具体实施例中预处理后的感知信号的复平面表示示意图。
图4为本发明具体实施例中的睡眠状态分类模型。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供一种基于无线射频信号的非接触式起居监测方法及系统，具体实施如图1所示，本发明提供的系统由感知信号获取和处理，生命体征提取，起居行为特征提取和起居健康分析四个模块组成。在信号获取和处理模块，包括感知信号的种类识别、预处理、噪声消除、复平面处理、时域投影和动作幅度检测。生命体征提取模块，包括呼吸、心跳波形提取和频率幅度计算。体动提取模块，包括多普勒速度提取、动态能量提取和体动种类判断。起居健康分析模块，基于提取出的生命体征和体动信息计算起居健康指标，并输出可视化分析报告。下面详细描述系统各步骤。
本发明基于无线射频信号的非接触式起居监测方法的实现步骤如下：
第一步：感知信号采集。对于不同种类的感知信号采取特定的采集方法，获取感知信号。
若使用WiFi信号，则将信号发送设备Tx和信号接收设备Rx分别布置在室内固定位置。其中，信号发送设备Tx(如：路由器)发送WiFi信号，信号接收设备Rx(如：子路由器、手机、音箱、个人电脑等)采集信道状态信息(CSI)。对于采用正交频分复用技术的通讯系统，CSI用复数信号描述了每个子载波的传输特性信息。
若使用UWB或FMCW信号，由于其采用收发一体的设计，故仅需将设备天线朝向床体，布置在固定位置即可。设备的Tx天线发送UWB或FMCW信号，Rx天线在收到回波信号后，会依次对其进行采样和解调等操作(FMCW信号需先做混频操作)，将其转换为基带信号输出。该基带信号具有距离分辨率，可提取设备前方不同距离处物体的运动信息。
第二步：以第一步中采集的感知信号(WiFi、UWB或FMCW)作为输入，对其进行信号预处理，以获得统一的信号复平面表示形式。
为了统一不同感知信号的表达方式，对信号按其种类进行预处理。
(1)对于WiFi信号，单根接收天线的CSI信道状态H(f,t)可表示为如下形式：
Figure BDA0003871868960000051
其中，j是复数标识，
Figure BDA0003871868960000052
为随机相位偏移，Hs为信号静态成分，A是信号能量，d(t)为人体动态反射路径长度，λ为无线信号的波长。
为了解决单天线感知的随机相位偏移问题，本发明使用CSI信号比来消除相移。商用WiFi网卡大多配有多天线，如Intel 5300网卡同时可使用3根天线收发信号。一个CSI采样会包含所有收发天线之间的CSI。由于网卡上所有天线共用一个振荡器，具有相同的随机相位偏移。因此，可使用网卡上两根天线信号相除来消除这种随机相位偏移。定义CSI信号比为：
Figure BDA0003871868960000053
其中，H1(f,t)和H2(f,t)分别为两根天线的CSI。根据莫比乌斯变换的保圆性和保角性，CSI信号比与原CSI具有相同的相位变化，不会造成感知信息的损失。
针对使用单一子载波感知导致信噪比受限的问题，利用OFDM多载波特性，设计了CSI信号比子载波融合的信噪比提升方法。具体融合过程为：首先计算CSI信号比H信号比(f,t)中各子载波的信噪比，根据信噪比越高则权值越大的原则，计算CSI信号比子载波的权值。接着，使用主成分分析，计算权值的符号修正项，确保CSI信号比加权后波动相位相同。最后按权值对各CSI信号比的子载波加权相加，即可获得预处理后的WiFi感知信号y(t)。
(2)对于UWB或FMCW，其采集到的信号为图2所示的二维矩阵形式。其中，横轴方向为距离域，纵轴方向为时间域，取横轴方向的信号峰值所在位置即可得到监测目标与感知设备之间的距离。当提取人体体动时，首先需要确定人的位置。对第一步采集到的信号，设计基于静态消减的人体动静检测方法进行处理。该方法包括两个步骤，首先在时间域上对信号进行差分操作，消除信号中静态物体反射的能量，仅保留人体反射的能量。接着在距离域上取最高峰，该峰所在位置即为人体与感知设备间的距离。在确定人体与感知设备间的距离后，提取采集信号二维矩阵上该距离所对应的一列时间域信号，即为预处理后的UWB或FMCW信号y(t)。
预处理后的感知信号y(t)具有如下统一的表达形式：
Figure BDA0003871868960000054
其中，A为动态反射能量，j为复数标识，c为真空光速，fc为信号载波频率，Δd为人体运动造成的反射路径长度改变，Hs表示信号静态向量，
Figure BDA0003871868960000061
表示信号动态向量。y(t)在复平面的表示如图3所示，横坐标表示复信号的实部，纵坐标表示复信号的虚部；动态向量绕静态向量转圈，角度大小取决于人体运动幅度。
第三步：以第二步获得的预处理后的感知信号y(t)作为输入。进行复平面信号处理，时域波形投影和信号频率分解，获得呼吸频段感知信号和体动频段感知信号。
为了更加准确地还原运动深度信息，首先对信号进行复平面信号处理具体方法包括两步，首先对于预处理后的感知信号y(t)，利用最小二乘法估计该段信号圆心位置(xc,yc)。其中，xc和yc分别表示信号圆心的横坐标和纵坐标。接着对y(t)的每一个采样点，将表示复信号实部的横坐标减xc，表示信号虚部的纵坐标减yc，将信号圆心搬移至复平面原点，以消除静态向量干扰。接着对信号进行时域波形投影，对复平面信号处理后的信号取振幅和相位还原目标运动的时域波形。
对于目标运动的时域波形进行信号频率分解，分别做生命体征频段和体动频段带通滤波，获得生命体征信号ybio(t)(包括呼吸、心跳)和体动信号ybody(t)，并分别将两路信号送入生命体征提取和体动提取模块。
第四步：生命体征提取。以第三步获得的生命体征信号ybio(t)作为输入。首先使用EMD(Empirical Mode Decomposition，经验模态分解)算法从生命体征信号中分离出呼吸信号和心跳信号。使用滑动窗口(如30秒)，将生命体征信号ybio(t)分为若干段。在每段信号中，从振幅和相位里选取波形质量最好的一个信号，并将选择出的各段信号在时间上前后相接。由于呼吸幅度(约1cm)远大于心跳幅度(约0.5mm)，故此时得到的信号可认为是呼吸波形。对该信号采用自相关方法计算呼吸率：首先对信号进行自相关运算，取运算输出波形的第一个正峰对应的横坐标记为呼吸间隔时间。接着，对呼吸间隔时间取倒数获得呼吸率。
为提取使用基于加速度的方法放大心跳信号。注意到，呼吸信号多为平稳变化，而心跳信号则以短时突变为主。也就是说，心跳信号的加速度远大于呼吸信号。因此，对原信号取二阶导数，即可放大心跳成分。对放大后的心跳，可认为其是相同波形模式的重复，因此，采用期望最大化算法进行动态心跳分割，获得心跳间隔时间。对心跳间隔时间取倒数获得心率。
第五步：体动提取。以第三步获得的体动信号ybody(t)作为输入，提取得到人体体动信息。体动信息由运动多普勒速度和动态能量大小两部分构成。使用MUSIC(MultipleSignal Classification，多重信号分类)算法提取各身体部位(头，躯干，四肢)的多普勒速度。对于输入的序列长度为M的体动信号ybody(t)首先计算其自相关矩阵Ry：
Ry＝E[ybody(t)ybody(t)H]
其中，(·)H表示取共轭转置，ybody(t)ybody(t)H表示矩阵相乘，E[·]表示取平均运算。根据矩阵运算性质，Ry是大小为M*M的矩阵。然后，对Ry进行特征值分解，可以得到感知信号的信号子空间Es和噪声子空间En。Es包括了自相关矩阵的前L个特征值，对应空间中的L条反射路径。En包括余下的M-L个特征值，对应信号噪声。最后，由于信号子空间和噪声子空间相互正交，使用下式计算信号多普勒速度谱：
Figure BDA0003871868960000071
其中，v是多普勒速度，a(v)是多普勒速度向量
Figure BDA0003871868960000072
采用基于动态反射能量变化的检测方法刻画人体运动引起的信号能量改变。对输入的序列长度为M的体动信号ybody(t)，采用极大似然法估计信号动态能量σ(t)：
Figure BDA0003871868960000073
其中，t+Δtk表示采样的第k个元素，|·|2表示取信号的绝对值的平方。
多普勒速度谱的峰值速度和动态能量大小是重要的人体运动特征。根据经验分别设置体动阈值Tdoppler1，Tdoppler2，Tenergy1和Tenergy2，典型取值分别为0.05米/秒，0.5米/秒，10归一化能量和25归一化能量。使用上述阈值，将人体运动划分为以下三种情况：
(1)静止。多普勒速度小于Tdoppler1，动态能量小于Tenergy1，此时人体躯干无明显运动
(2)原地运动：多普勒速度大于Tdoppler1，小于Tdoppler2，动态能量大于Tenergy1，小于Tenergy2，此时人体躯干出现小幅运动。
(3)行走：多普勒速度大于Tdoppler2，动态大于Tenergy2，此时人体在屋内正常走动。
根据第四步和第五步的特征提取结果，获得用于起居检测的信息(包括生命体征、体动信息)，进一步可用于监测和评估待测目标的起居状态，包括：入睡时间、起床时间、睡眠状态、睡眠各阶段占比、异常生命体征和睡眠质量。
第六步：入睡、起床时间判断。以第五步提取的体动信息作为输入，判断监测目标的入睡和起床时间。计算方法为：当目标体动由原地运动或行走状态转变为静止，且保持一段时间(如5分钟)不变，则系统判断睡眠开始。当目标体动由静止状态转变为行走，且之后一段时间(如10分钟)内不存在持续一段时间(如5分钟)的静止状态，则系统判断用户已经起床，睡眠结束。系统记录入睡和起床时刻的时间戳，通过取时间差计算整夜睡眠时长Ttotal。
第七步：睡眠状态判断。以第四步和第五步提取得到的生命体征信息及体动信息作为输入，使用深度学习模型将用户整夜睡眠划分为4种状态(清醒、浅睡眠、深睡眠和快速眼动(REM)睡眠)。具体做法为：将监测目标的整夜生命体征(呼吸率、心跳率)和体动信息(多普勒速度、动态能量)按时间对齐、合并、切分，获得时序输入序列。使用结合卷积神经网络(CNN)和双向长短期记忆网络(BiLSTM)的神经网络模型进行分类。在模型的CNN部分，为解决卷积核感受野大小和特征提取粒度间的矛盾，使用如图4所示的多尺度CNN。通过在网络的中间层使用较大的窗口，使神经元输出层具有比滑动窗口更小的感受野。该设计保证了网络能同时提取较大和较小窗口内的特征。
使用BiLSTM处理CNN的输出。BiLSTM网络能记忆分类结果，同时从网络的前、后向节点中提取序列的时序信息，能够有效捕获与睡眠状态切换相关的特征。
在模型训练阶段，通过预训练CNN网络降低整体网络的训练开销。具体做法为：首先将CNN网络输出网络与额外的全连接层相连，使用带标签的睡眠数据片段训练网络分类性能，获得CNN的预训练网络参数。之后将CNN预训练模型参数取出并与BiLSTM连接，使用整夜睡眠数据继续训练，获得最终模型参数。
第八步：睡眠各状态占比计算。以第七步提取的整夜睡眠状态分类结果作为输入，分别计算清醒、浅睡眠、深睡眠和快速眼动睡眠各阶段总计时长，获得Tawake、Tlight、Tdeep和TREM。使用整夜睡眠时长除各阶段总计时长，获得各阶段睡眠时间占比。计算方式为：
Figure BDA0003871868960000081
其中，Pawake，Plight，Pdeep和PREM分别代表清醒、浅睡眠、深睡眠和快速眼动睡眠阶段的时间占比。
第九步：异常生命体征检测。以第四步提取的生命体征信息作为输入，使用深度学习模型识别用户夜间睡眠的异常生命体征。异常体征共有五个种类，包括三种呼吸异常(中枢型、阻塞型、混合型呼吸暂停)和两种心跳异常(心率不齐、心跳暂停)。使用基于多头注意力机制的seq2seq模型实现细粒度的异常体征识别。该模型由一个编码器和一个预测器构成。在编码器部分，首先对于输入的呼吸、心跳序列使用类UNET结构的网络进行嵌入(Embedding)。使用位置编码(Position Encoding)对波形序列赋予位置信息，计算方式如下：
Figure BDA0003871868960000082
Figure BDA0003871868960000091
其中，Pos指某一采样点在序列中的位置，dmodel是模型内子层的维度数，2i和2i+1表示奇数和偶数子层。嵌入层和位置编码层的结果相加后输入多头自注意力层来捕获序列的时序信息。在预测器部分，包括一个平均池化和一个全连接层。模型在输出层对生命体征信息进行五分类(中枢型、阻塞型、混合型呼吸暂停、心率不齐、心跳暂停)预测。将分类结果按时间排列，获得异常生命体征事件的时间序列。
第十步：睡眠质量评估。以第六步、第八步和第九步提取的具体起居健康状态信息，包括睡眠总时长，各阶段睡眠时间占比和异常生命体征作为输入，建立睡眠质量打分模型对用户睡眠质量进行评估。打分方式计算如下：
Stotal＝w1·S1+w2·S2+w3·S3+w4·S4
其中，Stotal为总分数，S1为睡眠总时长分数，S2为睡眠清醒状态占比分数，S3为深睡眠状态占比分数，S4为生命体征分数。w1，w2，w3，w4为各类分数加权权重。各类分数计算方式如下：
(1)睡眠总时长分数：
Figure BDA0003871868960000092
其中，Ttotal表示整夜睡眠总时长，Tref表示参考睡眠时长。Tref的值与目标的年龄、性别相关。当睡眠时长等于参考睡眠时长时，分数最高。大于或小于参考时长均会导致得分降低。这是因为过短或过长的睡眠时间均对健康不利。
(2)睡眠清醒状态占比分数：
S2＝(1-Pawake)·100％
其中，Pawake为睡眠清醒时长占比。清醒的时间越短，该项得分越高。
(1)深睡眠状态占比分数：
S3＝Pdeep·100％
其中，Pdeep为深度睡眠时长占比。在深睡眠状态下，大脑皮层细胞处于充分休息状态。对于消除疲劳、恢复精力、免疫抗病等都有关键的作用。深睡眠的时长占比越高，该项得分越高。
(2)生命体征分数：
Figure BDA0003871868960000101
其中，xi代表各体征异常(中枢型、阻塞型、混合型呼吸暂停、心率不齐、心跳暂停)出现的次数。均值μi和标准差
Figure BDA0003871868960000102
为经验参数，由医学研究统计数据获得。睡眠过程中出现的生命体征异常次数越少，该项得分越高。
根据睡眠质量分数，将睡眠质量划分为4个层次：优秀(90分以上)、良好(75-90分)、一般(60-70分)和差(低于60分)。
第十一步：起居健康报告输出。将第四步至第十步提取的全部起居健康信息，汇总为可视化的起居健康报告。起居健康信息包括：
(1)整夜呼吸率、心率变化波形；
(2)整夜体动的类型、时间分布和发生次数；
(3)入睡、起床时间；
(4)整夜总睡眠时长；
(5)整夜的睡眠状态变化；
(6)各睡眠状态的时间占比；
(7)生命体征异常的类型、发生时间和发生次数；
(8)整夜睡眠质量得分。
可视化健康报告的展现形式包括文字分析、图表呈现等。例如，对于整夜睡眠状态信息的报告，可使用折线图绘制睡眠状态的变化顺序，并结合文字详细分析状态的变化过程和可能存在的健康风险等。该报告适用于睡眠类疾病患者的居家初步筛查，以及健康人群的预防性自我监测。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种基于无线射频信号的非接触式起居监测方法，其特征是，无需监测目标佩戴任何传感器设备，可通过复用无线射频通信信号，分析监测目标的活动对射频信号的扰动，提取细粒度的生命体征和动作信息，实现对监测目标起居状态进行非接触式、非侵扰、全天候的起居监测；包括如下步骤：
1)对不同种类的感知信号进行采集；感知信号包括WiFi信号、UWB信号或FMCW信号；
2)对采集到的感知信号进行预处理，获得统一的信号复平面表示形式；
A.对于WiFi信号：
A1.单根接收天线的CSI信道状态H(f，t)表示为如下形式：
Figure FDA0003871868950000011
其中，j是复数标识，
Figure FDA0003871868950000012
为随机相位偏移，Hs为信号静态成分，A是信号能量，d(t)为人体动态反射路径长度，λ为无线信号的波长；
A2.采用两根天线的CSI信号比H信号比(f，t)消除信号中的随机相位偏移；
A3.采用CSI信号比子载波融合，提升信噪比；融合过程为：
首先计算CSI信号比中各子载波的信噪比，再计算CSI信号比子载波的权值；信噪比越高则权值越大；
接着计算权值的符号修正项，使得CSI信号比加权后波动相位相同；
最后按权值对各CSI信号比的子载波加权相加，即可获得预处理后的WiFi感知信号y(t)；
B.对于UWB信号或FMCW信号：
采集到的UWB信号或FMCW信号为距离域和时间域二维矩阵形式；对采集到的UWB信号或FMCW信号，设计基于静态消减的方法进行处理，包括：
B1.首先在时间域上对信号进行差分操作，消除信号中静态物体反射的能量，仅保留人体反射的能量；
B2.接着确定人体与感知设备间的距离：在距离域上取最高峰，该峰所在位置即为人体与感知设备间的距离；
B3.提取信号二维矩阵上人体与感知设备间的距离所对应的一列时间域信号，即为预处理后的UWB或FMCW信号y(t)；
预处理后的感知信号y(t)具有如下统一的表达形式：
Figure FDA0003871868950000021
其中，A为动态反射能量，j为复数标识，c为真空光速，fc为信号载波频率，Δd为人体运动造成的反射路径长度改变，Hs表示信号静态向量，
Figure FDA0003871868950000022
表示信号动态向量；y(t)的复平面表示中，动态向量绕静态向量转圈，角度大小取决于人体运动幅度；
3)对预处理后的感知信号进行复平面信号处理、时域波形投影和信号频率分解，获得呼吸频段感知信号和体动频段感知信号；包括：
对感知信号进行复平面信号处理：首先估计得到感知信号y(t)的圆心位置(xc，yc)；接着对y(t)的每一个采样点，将信号圆心搬移至复平面原点，以消除静态向量干扰；
对感知信号进行时域波形投影：对复平面信号处理后的信号取振幅和相位还原目标运动的时域波形；
对目标运动的时域波形进行信号频率分解：分别进行生命体征频段和体动频段带通滤波，获得生命体征信号ybio(t)和体动信号ybody(t)；
4)从生命体征信号中分离出呼吸波形信号和心跳波形信号，并计算得到呼吸率和心率；
从生命体征信号ybio(t)中分离出呼吸信号和心跳信号，具体是：
使用滑动窗口将生命体征信号ybio(t)分为多段；从每段信号的振幅和相位中选取波形质量最好的一个信号，并将选择出的各段信号在时间上前后相接，得到的信号为呼吸波形；对呼吸波形信号采用自相关方法计算得到呼吸率；
对生命体征信号ybio(t)取二阶导数，由此放大心跳成分；对放大后的心跳进行动态心跳分割，获得心跳间隔时间；再对心跳间隔时间取倒数得到心率；
5)利用体动信号计算人体运动多普勒速度谱和信号动态能量大小，并定义体动状态；包括：
A.对输入的序列长度为M的体动信号ybody(t)进行计算，提取各身体部位的多普勒速度，包括：
首先计算得到自相关矩阵Ry：
Ry＝E[ybody(t)ybody(t)H]
其中，(·)H表示取共轭转置，ybody(t)ybody(t)H表示矩阵相乘，E[·]表示取平均运算；Ry是大小为M*M的矩阵；
然后，对Ry进行特征值分解，得到感知信号的信号子空间Es和噪声子空间En；Es包括自相关矩阵的前L个特征值，对应空间中的L条反射路径；En包括余下的M-L个特征值，对应信号噪声；
最后，使用下式计算得到信号多普勒速度谱：
Figure FDA0003871868950000031
其中，v是多普勒速度；a(v)是多普勒速度向量
Figure FDA0003871868950000032
B.人体运动引起的信号能量改变：对输入的序列长度为M的体动信号ybody(t)，估计信号动态能量σ(t)：
Figure FDA0003871868950000033
其中，t+Δtk表示采样的第k个元素，|·|2表示取信号的绝对值的平方；
C.通过设置多普勒速度谱速度阈值和动态能量阈值，定义体动状态，包括：静止状态、原地运动状态、行走状态；
6)将步骤4)、5)特征提取获得的起居监测信息，包括生命体征信息和体动信息，用于监测和评估监测目标的起居状态，包括：入睡时间、起床时间、睡眠状态、睡眠各阶段占比、异常生命体征和睡眠质量；
通过上述步骤，对监测目标实现基于无线射频信号的非接触式起居状态监测。
2.如权利要求1所述基于无线射频信号的非接触式起居监测方法，其特征是，步骤1)针对不同种类的感知信号采取的采集方法，包括：
对于WiFi信号，将信号发送设备和信号接收设备分别布置在室内固定位置；其中，信号发送设备发送WiFi信号，信号接收设备采集信道状态信息CSI；
对于UWB或FMCW信号，将设备天线朝向床体，布置在固定位置；信号发送设备天线发送UWB或FMCW信号，信号接收设备天线在收到回波信号后，FMCW信号需做混频操作，再进行采样和解调操作，转换为基带信号输出。
3.如权利要求1所述基于无线射频信号的非接触式起居监测方法，其特征是，步骤2)中，对于WiFi信号，定义CSI信号比H信号比(f，t)为：
Figure FDA0003871868950000034
其中，H1(f，t)和H2(f，t)分别为两根天线的CSI。
4.如权利要求1所述基于无线射频信号的非接触式起居监测方法，其特征是，步骤4)中，具体是使用经验模态分解算法从生命体征信号中分离出呼吸信号和心跳信号；采用自相关方法计算呼吸率具体是：首先对信号进行自相关运算，取运算输出波形的第一个正峰对应的横坐标记为呼吸间隔时间；再对呼吸间隔时间取倒数获得呼吸率。
5.如权利要求1所述基于无线射频信号的非接触式起居监测方法，其特征是，步骤4)中，具体是采用期望最大化算法进行动态心跳分割，获得心跳间隔时间。
6.如权利要求1所述基于无线射频信号的非接触式起居监测方法，其特征是，步骤5)中，具体是采用多重信号分类算法提取各身体部位的多普勒速度。
7.如权利要求1所述基于无线射频信号的非接触式起居监测方法，其特征是，步骤6)中，
A.根据体动状态得到入睡时间和起床时间，具体包括：
当监测目标的体动状态由原地运动状态或行走状态转变为静止状态，且保持5分钟不变，则识别为睡眠开始；
当目标体动由静止状态转变为行走状态，且之后10分钟内不存在持续5分钟的静止状态，则识别为用户已经起床，睡眠结束；
记录入睡和起床时刻的时间戳，通过取时间差计算得到整夜睡眠时长；
B.根据监测目标的生命体征信号及体动信号识别睡眠状态，包括清醒、浅睡眠、深睡眠和快速眼动睡眠状态；具体包括：
将监测目标的整夜生命体征和体动信息按时间对齐、合并、切分，获得时序输入序列；
使用结合卷积神经网络CNN和双向长短期记忆网络BiLSTM的神经网络模型进行睡眠状态的分类；其中，模型的CNN部分采用多尺度CNN；使用BiLSTM处理CNN的输出，有效捕获与睡眠状态切换相关的特征；且进行预训练CNN网络，包括：首先将CNN网络输出网络与额外的全连接层相连，使用带标签的睡眠数据片段训练网络分类性能，获得CNN的预训练网络参数；之后将CNN预训练模型参数取出并与BiLSTM连接，使用整夜睡眠数据继续训练，获得最终模型参数；
C.进一步计算睡眠各状态占比具体是：
根据提取到的整夜睡眠状态分类结果，分别计算清醒、浅睡眠、深睡眠和快速眼动睡眠状态各阶段的总计时长，分别记为：Tawake、Tlight、Tdeep和TREM；
使用整夜睡眠时长除各阶段总计时长，获得各阶段睡眠时间占比。
8.如权利要求7所述基于无线射频信号的非接触式起居监测方法，其特征是，步骤6)中，异常生命体征检测具体是以提取的生命体征信息作为输入，使用深度学习模型识别用户夜间睡眠的异常生命体征；包括：
使用基于多头注意力机制的seq2seq模型实现细粒度的异常体征识别；模型包括一个编码器和一个预测器；
在编码器部分，首先对输入的呼吸信号和心跳信号使用类UNET结构的网络进行嵌入；使用位置编码对波形序列赋予位置信息，计算方式如下：
Figure FDA0003871868950000051
Figure FDA0003871868950000052
其中，Pos指某一采样点在序列中的位置，dmodel是模型内子层的维度数，2i和2i+1表示奇数和偶数子层；
进行嵌入和位置编码的结果相加后输入多头自注意力层，捕获序列的时序信息；
预测器部分包括一个平均池化和一个全连接层；模型在输出层对生命体征信息进行分类预测；将分类结果按时间排列，获得异常生命体征事件的时间序列；异常生命体征的分类包括中枢型、阻塞型、混合型呼吸暂停、心率不齐、心跳暂停。
9.如权利要求8所述基于无线射频信号的非接触式起居监测方法，其特征是，步骤6)中，睡眠质量评估具体包括：
根据提取计算得到的起居健康状态信息，包括睡眠总时长、各阶段睡眠时间占比和异常生命体征，建立睡眠质量打分模型对用户睡眠质量进行评估；打分方式如下：
Stotal＝w1·S1+w2·S2+w3·S3+w4·S4
其中，Stotal为总分数，S1为睡眠总时长分数，S2为睡眠清醒状态占比分数，S3为深睡眠状态占比分数，S4为生命体征分数；w1，w2，w3，w4为各类分数加权权重；各类分数计算方式如下：
睡眠总时长分数为：
Figure FDA0003871868950000061
其中，Ttotal表示整夜睡眠总时长，Tref表示参考睡眠时长；
睡眠清醒状态占比分数为：
S2＝(1-Pawake)·100％
其中，Pawake为睡眠清醒时长占比；
深睡眠状态占比分数为：
S3＝Pdeep·100％
其中，Pdeep为深度睡眠时长占比；
生命体征分数为：
Figure FDA0003871868950000062
其中，xi代表各体征异常出现的次数；μi和
Figure FDA0003871868950000063
分别为均值和标准差；
根据睡眠质量分数，将睡眠质量进行层次划分。
10.一种利用权利要求1～9所述基于无线射频信号的非接触式起居监测方法实现的基于无线射频信号的非接触式起居监测系统，包括：感知信号获取和处理模块，生命体征提取模块，起居行为特征提取模块和起居健康分析模块；
信号获取和处理模块用于感知信号的种类识别、预处理、噪声消除、复平面处理、时域投影和动作幅度检测；
生命体征提取模块用于呼吸、心跳波形提取和频率幅度计算；
体动提取模块用于多普勒速度提取、动态能量提取和体动种类判断；
起居健康分析模块基于提取出的生命体征和体动信息计算起居健康指标，并输出可视化分析报告。
CN202211199401.5A 2022-09-29 2022-09-29 基于无线射频信号的非接触式起居状态监测方法及系统 Withdrawn CN115474901A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211199401.5A CN115474901A (zh) 2022-09-29 2022-09-29 基于无线射频信号的非接触式起居状态监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211199401.5A CN115474901A (zh) 2022-09-29 2022-09-29 基于无线射频信号的非接触式起居状态监测方法及系统

Publications (1)

Publication Number Publication Date
CN115474901A true CN115474901A (zh) 2022-12-16

Family

ID=84394475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211199401.5A Withdrawn CN115474901A (zh) 2022-09-29 2022-09-29 基于无线射频信号的非接触式起居状态监测方法及系统

Country Status (1)

Country Link
CN (1) CN115474901A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117061658A (zh) * 2023-07-11 2023-11-14 荣耀终端有限公司 睡眠时间识别方法、电子设备及存储介质
CN117860208A (zh) * 2024-03-13 2024-04-12 四川骏逸富顿科技有限公司 睡眠数据处理方法、装置、电子设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117061658A (zh) * 2023-07-11 2023-11-14 荣耀终端有限公司 睡眠时间识别方法、电子设备及存储介质
CN117860208A (zh) * 2024-03-13 2024-04-12 四川骏逸富顿科技有限公司 睡眠数据处理方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
Yu et al. WiFi-sleep: Sleep stage monitoring using commodity Wi-Fi devices
WO2020119245A1 (zh) 一种基于可穿戴手环的情绪识别系统及方法
CN108416367B (zh) 基于多传感器数据决策级融合的睡眠分期方法
CN115474901A (zh) 基于无线射频信号的非接触式起居状态监测方法及系统
CN108388912A (zh) 基于多传感器特征优化算法的睡眠分期方法
CN112998701A (zh) 基于毫米波雷达的生命体征检测与身份识别系统和方法
CN109363647B (zh) 睡眠质量监测方法、装置及终端设备
CN109480787A (zh) 一种基于超宽带雷达的非接触式睡眠监测设备及睡眠分期方法
Fang et al. Headscan: A wearable system for radio-based sensing of head and mouth-related activities
Kim et al. 1D CNN based human respiration pattern recognition using ultra wideband radar
CN107822617B (zh) 一种基于WiFi信号的心率异常检测方法
CN114376564A (zh) 一种基于心冲击信号的睡眠分期方法、系统、装置及介质
CN107822645B (zh) 一种基于WiFi信号的情绪识别方法
JP2022523631A (ja) 心拍数測定システム
Liu et al. Human biometric signals monitoring based on wifi channel state information using deep learning
CN107847146B (zh) 在ecg数据上自动标记活动的方法和系统
CN111568425A (zh) 一种非接触式的多人呼吸检测方法
CN110960211A (zh) 一种基于嵌入式的心电实时监测系统
CN115299899A (zh) 基于多传感器的活动识别与逐搏血压监测分析预警系统
Kumar et al. STSR: spectro-temporal super-resolution analysis of a reference signal less photoplethysmogram for heart rate estimation during physical activity
CN115281651A (zh) 一种无感式一体化睡眠呼吸疾病诊断系统
Phinyomark et al. Applications of variance fractal dimension: A survey
CN110916672A (zh) 一种基于一维卷积神经网络的老年人日常活动监测方法
CN113456061A (zh) 一种基于无线信号睡眠姿势监测方法及系统
US11850053B2 (en) System for measuring heart rate

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20221216