CN110772700B - 自动推送助眠乐曲方法、装置、计算机设备及存储介质 - Google Patents

自动推送助眠乐曲方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110772700B
CN110772700B CN201910882719.5A CN201910882719A CN110772700B CN 110772700 B CN110772700 B CN 110772700B CN 201910882719 A CN201910882719 A CN 201910882719A CN 110772700 B CN110772700 B CN 110772700B
Authority
CN
China
Prior art keywords
sleep
preset
model
music
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910882719.5A
Other languages
English (en)
Other versions
CN110772700A (zh
Inventor
王健宗
亢祖衡
彭俊清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910882719.5A priority Critical patent/CN110772700B/zh
Publication of CN110772700A publication Critical patent/CN110772700A/zh
Priority to PCT/CN2020/099515 priority patent/WO2021051944A1/zh
Application granted granted Critical
Publication of CN110772700B publication Critical patent/CN110772700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/08Other bio-electrical signals
    • A61M2230/10Electroencephalographic signals

Landscapes

  • Health & Medical Sciences (AREA)
  • Anesthesiology (AREA)
  • Pain & Pain Management (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Psychology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hematology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及人工智能技术领域,提供了一种自动推送助眠乐曲方法、装置、计算机设备及存储介质,所述自动推送助眠乐曲方法包括:以预设时间间隔获取目标用户在睡眠时采集到的电压信号和脑电信号;对所述电压信号进行向量转换,得到特征向量;对所述脑电信号进行图转换处理,得到频谱图;将所述特征向量和所述频谱图导入预先训练好的睡眠检测模型中进行识别,得到睡眠状态;基于预设条件,获取所述睡眠状态对应的助眠音乐推荐类型;根据所述助眠音乐推荐类型,为所述目标用户推送助眠乐曲。从而实现准确为目标用户推送助眠音乐,进一步提高目标用户的睡眠质量。

Description

自动推送助眠乐曲方法、装置、计算机设备及存储介质
技术领域
本发明涉及人工智能技术领域,尤其涉及一种自动推送助眠乐曲方法、装置、计算机设备及存储介质。
背景技术
在医疗助眠领域,通过检测人的睡眠状态,并检测到的睡眠状态向其推送相应的助眠音乐,能够有效促进人的睡眠质量。传统的检测人的睡眠状态的方法大多通过检测脑电信号来实现,但监测脑电信号的设备太庞大不便于家庭使用,而且需要贴在人脑从而影响睡眠,导致提取到的脑电信号的不准确,进一步影响对人的睡眠状态的检测准确性,从而无法准确为人推荐助眠音乐,降低人的睡眠质量。
发明内容
本发明实施例提供一种自动推送助眠乐曲方法、装置、计算机设备及存储介质,以解决无法准确为人推荐助眠音乐,降低人的睡眠质量的问题。
一种自动推送助眠乐曲方法,包括:
以预设时间间隔获取目标用户在睡眠时采集到的电压信号和脑电信号;
对所述电压信号进行向量转换,得到特征向量;
对所述脑电信号进行图转换处理,得到频谱图;
将所述特征向量和所述频谱图导入预先训练好的睡眠检测模型中进行识别,得到睡眠状态;
基于预设条件,获取所述睡眠状态对应的助眠音乐推荐类型;
根据所述助眠音乐推荐类型,为所述目标用户推送助眠乐曲。
一种自动推送助眠乐曲装置,包括:
第一获取模块,用于以预设时间间隔获取目标用户在睡眠时采集到的电压信号和脑电信号;
向量转换模块,用于对所述电压信号进行向量转换,得到特征向量;
图转换模块,用于对所述脑电信号进行图转换处理,得到频谱图;
识别模块,用于将所述特征向量和所述频谱图导入预先训练好的睡眠检测模型中进行识别,得到睡眠状态;
第二获取模块,用于基于预设条件,获取所述睡眠状态对应的助眠音乐推荐类型;
推送模块,用于根据所述助眠音乐推荐类型,为所述目标用户推送助眠乐曲。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述自动推送助眠乐曲方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述自动推送助眠乐曲方法的步骤。
上述自动推送助眠乐曲方法、装置、计算机设备及存储介质,以预设时间间隔获取目标用户在睡眠时采集到的电压信号和脑电信号,将电压信号和脑电信号分别转换为特征向量和频谱图,并将特征向量和频谱图导入到预先训练好的睡眠检测模型中进行识别,得到睡眠状态,根据睡眠状态确定对应的助眠音乐推荐类型,并为目标用户推送助眠音乐推荐类型对应的助眠乐曲。通过利用睡眠检测模型能够准确识别目标用户对应的睡眠状态,根据睡眠状态能够准确为目标用户推送合适的助眠音乐,进一步提高目标用户的睡眠质量。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的自动推送助眠乐曲方法的流程图;
图2是本发明实施例提供的自动推送助眠乐曲方法中步骤S2的流程图;
图3是本发明实施例提供的自动推送助眠乐曲方法中步骤S3的流程图;
图4是本发明实施例提供的自动推送助眠乐曲方法中利用训练样本训练得到睡眠检测模型的流程图;
图5是本发明实施例提供的自动推送助眠乐曲方法中步骤S72的流程图;
图6是本发明实施例提供的自动推送助眠乐曲方法中步骤S5的流程图;
图7是本发明实施例提供的自动推送助眠乐曲方法中根据助眠乐曲的播放时间调节播放音量或暂停播放的流程图;
图8是本发明实施例提供的自动推送助眠乐曲装置的示意图;
图9是本发明实施例提供的计算机设备的基本机构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请提供的自动推送助眠乐曲方法应用于服务端,服务端具体可以用独立的服务器或者多个服务器组成的服务器集群实现。在一实施例中,如图1所示,提供一种自动推送助眠乐曲方法,包括如下步骤:
S1:以预设时间间隔获取目标用户在睡眠时采集到的电压信号和脑电信号。
在本发明实施例中,电压信号是通过专门用于采集电压信号的传感器进行采集,当目标用户在带有该传感器的地方睡觉时,电压信号将会实时保存到预设数据库中;脑电信号是通过用户佩戴的专门用于采集脑电信号的手环进行采集,当目标用户佩戴该手环时,脑电信号将会实时保存到预设数据库中。
具体地,根据预设时间间隔,从预设数据库中直接获取目标用户在睡眠时采集到的电压信号和脑电信号。若预设时间间隔为1分钟,则每隔1分钟从预设数据库中获取电压信号和脑电信号。
其中,预设数据库是指专门用于存储目标用户在睡眠时采集到的电压信号和脑电信号的数据库。
预设时间间隔的取值具体可以是1分钟,也可以是5分钟,此处不做限制。
需要说明的是,传感器是一个嵌入了压敏电阻的床垫,其床垫内部舍弃了一系列电路,并将压敏电阻分布在床垫的不同位置,在测量数据的过程中,床垫将会实时返回每个压敏电阻上的电压值,其电压值会根据患者在床上的产生的压力发生变化。
S2:对电压信号进行向量转换,得到特征向量。
在本发明实施例中,通过将步骤S1获取的电压信号导入到预设向量转换端口中进行向量转换处理,得到向量转换处理后的特征向量。其中,预设向量转换端口是指专门用于将电压信号转换成特征向量的处理端口。
S3:对脑电信号进行图转换处理,得到频谱图。
在本发明实施例中,通过将步骤S1获取的脑电信号导入到预设图转换端口中进行图转换处理,得到图转换处理后的频谱图。其中,预设图转换端口是指专门用于将脑电信号转换成频谱图的处理端口。
S4:将特征向量和频谱图导入预先训练好的睡眠检测模型中进行识别,得到睡眠状态。
具体地,将获取到的特征向量和频谱图输入到预先训练好的睡眠监测模型中进行识别,睡眠监测模型将根据输入的特征向量和频谱图直接判断出对应的睡眠状态,并将睡眠状态进行输出。
S5:基于预设条件,获取睡眠状态对应的助眠音乐推荐类型。
在本发明实施例中,根据步骤S4得到的睡眠状态与预设条件,从预设推荐库获取睡眠状态对应的助眠音乐推荐类型。其中,预设条件是指根据用户实际需求进行设定的规则,其具体可以是根据连续识别到的相同的睡眠状态确定助眠音乐推荐类型。
预设推荐库是指专门用于存储不同的描述信息及描述信息对应的助眠音乐推荐类型的数据库。
S6:根据助眠音乐推荐类型,为目标用户推送助眠乐曲。
具体地,根据助眠音乐推荐类型,从预设乐曲库中随机选取该助眠音乐推荐类型下的任何一首助眠乐曲,并将该助眠乐曲输出到预设播放端口为目标用户进行播放。其中,预设播放端口是指专门用于为目标用户播放助眠乐曲的处理端口。
本实施例中,以预设时间间隔获取目标用户在睡眠时采集到的电压信号和脑电信号,将电压信号和脑电信号分别转换为特征向量和频谱图,并将特征向量和频谱图导入到预先训练好的睡眠检测模型中进行识别,得到睡眠状态,根据睡眠状态确定对应的助眠音乐推荐类型,并为目标用户推送助眠音乐推荐类型对应的助眠乐曲。通过利用睡眠检测模型能够准确识别目标用户对应的睡眠状态,根据睡眠状态能够准确为目标用户推送合适的助眠音乐,进一步提高目标用户的睡眠质量。
在一实施例中,如图2所示,步骤S2中,即对电压信号进行向量转换,得到特征向量包括如下步骤:
S21:基于预设过滤条件,对电压信号进行过滤,得到目标信号。
在本发明实施例中,针对步骤S1获取到的电压信号,按照预设过滤条件对电压信号进行过滤处理,并将过滤处理后保留的电压信号确定为目标信号。其中,预设过滤条件是指根据用户实际需求进行设定用于过滤目标信号的条件。
需要说明的是,电压信号主要是以电压值的形式进行表示。
例如,若预设过滤条件为将大于预先设定的上限电压值的电压信号,以及小于预先设定的下限电压值的电压信号进行过滤;则将S1获取到的每个电压信号分别与预先设定的上限电压值和下限电压值进行比较,将大于上限电压值和小于下限电压值的电压信号进行过滤处理,并将过滤处理后保留的电压信号确定为目标信号。
S22:将目标信号进行向量转换处理,得到特征向量。
具体地,将目标信号导入到预设处理库中进行向量转换处理,输出转换处理后的特征向量。其中,预设处理库是指专门用于将目标信号转换处理成特征向量的数据库。
本实施例中,根据预设过滤条件对电压信号进行过滤,得到目标信号,并对目标信号进行向量转换处理,得到特征向量。通过先对电压信号进行过滤的方式,可以有效排除异常的电压信号,提高特征向量获取的准确性,保证后续利用特征向量导入到睡眠监测模型进行识别的准确性,进一步提高后续助眠乐曲推送的准确性。
在一实施例中,如图3所示,步骤S3中,即对脑电信号进行图转换处理,得到频谱图包括如下步骤:
S31:对脑电信号进行分帧加窗处理,得到特征信号。
在本发明实施例中,将经过优化处理后的脑电信号划分为很多短时的脑电信号段,每个短时的脑电信号段称为一个分析帧。这样,通过对脑电信号进行分帧处理能够得到具有固定长度的帧,也就是将脑电信号的总帧长度除以预设帧长度,若脑电信号的最后一帧无法达到预设帧长度,则该帧数为0。其中,预设帧长度具体可以是200,也可以根据用户的实际需求进行设置,此处不做限制。
需要说明的是,由于音色特征在一个很短的时间段内可以认为具有相对稳定的特征即短时特征,具有短时平稳性特点,因此要对脑电信号进行分帧,使得每一帧脑电信号都具有短时平稳性,即分帧处理后的分帧信号都具有短时平稳性,从而进行短时相关分析。
但对脑电信号进行分帧处理后,存在分帧信号泄露问题,例如,当频谱出现拖尾的情况时,说明分帧信号泄漏严重。为了减少分帧信号泄漏问题,给分帧后的分帧信号施加一个窗函数。也就是说加窗的实质是使用一个窗函数与分帧后的分帧信号作乘积的过程,通过分帧加窗得到特征信号,使特征信号更好地满足傅里叶变换的周期性要求,从而减轻分帧后对分帧信号边缘的影响。
具体地,将脑电信号导入到预设处理端口中进行分帧加窗处理,得到分帧加窗处理后的特征信号。其中,预设处理端口是指用于对脑电信号进行分帧加窗处理的端口。
进一步地,预设处理端口中分帧具体可以是调用voicebox工具中的enframe函数进行处理,加窗具体可以运用公式(1)进行处理。
其中,加窗函数如下所示:
Figure BDA0002206369430000081
其中,Qn为特征信号,T[s(k)]为分帧信号,ω(n-k)为窗函数,n、k都为常数。
S32:利用短时傅里叶变换对特征信号进行变换处理,得到频谱图。
具体地,通过使用海明窗函数(Hamming)h=hamming(N)对特征信号进行截取长度为N的分析帧,并将分析帧通过短时傅里叶变换得到每帧特征信号的频谱特性,即可对该频谱特征进行提取特征向量,即提取频谱图。
其中,提取的特征向量包括偏度和峰度、谱中心、谱通量、谱滚降、谱传播、谱平坦度、过零率、Mel频率倒谱系数(MFCC)及其一阶和二阶差分量等等。
本实施例中,通过对脑电信号进行分帧加窗处理得到特征信号,最后利用短时傅里叶变换对特征信号进行变换处理,得到频谱图。从而实现准确将脑电信号转换成频谱图,保证后续利用频谱图导入到睡眠监测模型进行识别的准确性,进一步提高后续助眠乐曲推送的准确性。
在一实施例中,如图4所示,步骤S3之后,步骤S4之前,该自动推送助眠乐曲方法还包括如下步骤:
S71:从预设样本库中获取训练样本。
在本发明实施例中,训练样本是指专门用于训练卷积神经网络模型以得到睡眠检测模型的样本数据。通过直接从预设样本库中获取训练样本,其中,预设样本库是指专门用于存储训练样本的数据库。
S72:将训练样本导入到卷积神经网络中进行训练,得到睡眠检测模型。
具体地,将步骤S71得到的训练样本导入到卷积神经网络模型中进行训练,将训练后达到用户设定要求的模型确定为睡眠检测模型。
本实施例中,通过获取训练样本,并利用训练样本对卷积神经网络中进行训练,得到睡眠检测模型。从而实现对睡眠检测模型的准确训练,保证后续利用睡眠检测模型进行识别的准确性。
在一实施例中,如图5所示,步骤S72中,即将训练样本导入到卷积神经网络中进行训练,得到睡眠检测模型包括如下步骤:
S721:初始化卷积神经网络模型,得到初始模型。
在本发明实施例中,通过服务端对卷积神经网络模型的模型参数进行初始化处理,为卷积神经网络模型中的各个网络层的权值和偏置均赋予一个初始参数,使得卷积神经网络模型能够根据初始参数对训练样本进行特征的提取和计算,其中,权值和偏置是用于对输入的数据在网络中进行的折射变换计算的模型参数,使得网络经过计算输出的结果能够与实际情况相符。
可以理解地,以人接收信息为例,当人在接收信息后,经过人脑神经元的判断、传递后,人会得到某个结果或者认知,即从信息中获取认知的过程,而对卷积神经网络模型的训练过程就是优化网络中的神经元连接的权值和偏置,使得训练后的卷积神经网络模型对待识别的数据的睡眠状态,能够达到与真实情况相符的识别效果。
可选地,服务端可以在[-0.30,+0.30]的区间内,任意获取一个权值作为初始参数,将初始参数设置在一个均值为0并且较小的区间内,能够提高模型的收敛速度,以提高模型的构建效率。
S722:将训练样本导入到初始模型中,计算初始模型的前向输出。
具体地,将训练样本作为输入数据依次导入到初始模型中的输入层、卷积层、池化层、全连接层和输出层中进行卷积操作,最后将输出层的输出结果作为前向输出。其中,输入层、卷积层、池化层、全连接层和输出层都有预先设置好的卷积核,通过将训练样本作为输入数据导入到每一层中能够根据预先设置好卷积核进行卷积操作,得到对应的输出结果。
S723:根据前向输出,计算前向输出与预设目标值之间的预测误差。
在本发明实施例中,根据步骤S722得到的前向输出与预设目标值,按照公式(2)计算前向输出与预设目标值之间的预测误差:
Loss=K—Ki 公式(2)
其中,Loss为预测误差,K为预设目标值,Ki为前向输出。
S724:根据预测误差,使用误差反向传播算法对初始模型中各个网络层的初始参数进行调整,得到睡眠检测模型。
在本发明实施例中,误差反向传播算法是用于将预测误差分摊给各个网络层的所有单元,从而获得各个网络层的所有单元的误差信号,进而调整各个网络层的初始参数。初始参数只是为了方便初始模型的运算预设的一个参数,使得根据训练样本获得的前向输出与预设目标值之间必然存在误差,需要将这个误差信息逐层回传给初始模型中的各层网络结构,让每一层网络结构对预设的初始参数进行调整,才能获得识别效果更好的睡眠检测模型。
具体地,根据预测误差,使用误差反向传播算法对初始模型各个网络层的初始参数进行调整,根据各层的输出对初始模型各个网络层进行误差反传更新,获取更新后的各个网络层的权值和偏置,使用更新后的各个网络层的权值和偏置,对训练样本进行预测,并将训练样本的前向输出与预设目标值进行对比,获取预测误差小于预设阈值的训练样本作为预测准确样本数,对训练样本的总数进行统计,得到训练样本总数,并按照公式(3)计算初始模型的总误差:
Figure BDA0002206369430000111
其中,W为总误差,M为预测准确样本数,N为训练样本总数;
若当前模型的总误差大于预设精度阈值,则将当前调整后的模型作为睡眠检测模型,其中,预设精度阈值是用于表示初始模型对训练样本的预测准确率,具体的精度阈值可以根据实际需要进行设置,此处不做限制。
需要说明的是,若当前模型的总误差小于预设精度阈值,则返回步骤S723继续执行,直到模型的总误差大于预设精度阈值,并将当前模型作为睡眠检测模型。
本实施例中,通过对卷积神经网络模型进行初始化得到初始模型,根据训练样本计算初始模型的前向输出,再计算前向输出与预设目标值之间的预测误差,最后根据预设误差,使用误差反向传播算法对初始模型进行调整得到睡眠检测模型,从而实现对初始模型的训练调优,提高睡眠检测模型对训练样本的识别准确率。
在一实施例中,如图6所示,步骤S5中,即基于预设条件,获取睡眠状态对应的助眠音乐推荐类型包括如下步骤:
S51:从预设识别库中获取预设时间段内的所有睡眠状态。
在本发明实施例中,由于睡眠检测模型识别到的睡眠状态是针对预设时间间隔采集到的电压信号和脑电信号,故在预设时间段内利用睡眠检测模型识别得到的睡眠状态可能存在不同。
具体地,根据预设时间段,从预设识别库中获取每个睡眠状态对应的识别时间,将获取到的识别时间分别与预设时间段进行比较,若识别时间在预设时间段内,则提取该识别时间对应的睡眠状态。
其中,预设识别库是指专门用于存储睡眠状态及睡眠状态对应的识别时间的数据库。
预设时间段是指根据用户实际需求进行设置的时间范围,例如具体可以是22:00~24:00。
例如,预设识别库中存在3个睡眠状态分别为:状态Q1、状态Q2和状态Q3,其对应的识别时间分别为:22:00、22:50和23:10,若预设时间段为:22:00~23:00,通过将识别时间22:00、22:50和23:10分别与预设时间段进行比较,得到识别时间22:00和22:50在预设时间段内,则对状态Q1和状态Q2进行提取。
S52:基于所有睡眠状态,计算相同的睡眠状态对应的累加计数结果。
在本发明实施例中,根据步骤S51得到预设时间段内的所有睡眠状态,从所有睡眠状态中对相同的睡眠状态进行累加计数,即计算相同的睡眠状态对应的累加计数结果。
需要说明的是,当存在所有睡眠状态都不相同时,每种睡眠状态对应的累加计数结果均为1。
S53:将不同的睡眠状态的累加计数结果进行比较,选取最大的累加计数结果对应的睡眠状态作为目标睡眠状态。
在本发明实施例中,根据步骤S51得到的所有睡眠状态,从中对不同的睡眠状态对应的累加计数结果进行比较,并选取累加计数结果最大的睡眠状态作为目标睡眠状态。
需要说明的是,当只有一种睡眠状态时,直接将该睡眠状态作为目标睡眠状态。当出现两种或两种以上的睡眠状态对应的累加计数结果相同时,则按照预设优先级,从累加计数结果相同的睡眠状态种选取优先级最高的睡眠状态作为目标睡眠状态。
其中,预设优先级是指根据用户实际需求对睡眠状态进行设定用于作为目标睡眠状态的优先等级。
例如,当所有睡眠状态都为状态A时,将状态A确定为目标睡眠状态。若所有睡眠状态中存在3种睡眠状态分别为:状态B、状态C和状态D,其对应的累加计数结果分别为:10、10和5,状态B、状态C和状态D对应的预设优先级分别为:最低、次高和最高,将状态B、状态C和状态D分别对应的累加技术结果进行比较,得到状态B的累加计数结果和状态C的累加计数结果相同且均大于状态D,由于状态C的预设优先级高于状态B,故将状态C确定为目标睡眠状态。
S54:将目标睡眠状态与预设推荐库中的描述信息进行匹配,选取匹配成功的描述信息对应的助眠音乐推荐类型进行输出,其中,预设推荐库包含描述信息及描述信息对应的助眠音乐推荐类型。
具体地,将步骤S53获取到的目标睡眠状态与预设推荐库中的描述信息进行匹配,若匹配到目标睡眠状态与描述信息相同,则表示匹配成功,并输出该描述信息对应的助眠音乐推荐类型。其中,每种目标睡眠状态在预设推荐库中都有与其相匹配的唯一的描述信息。
需要说明的是,描述信息是指专门用于与目标睡眠状态进行匹配的标签信息,且不同的描述信息对应不同的助眠音乐推荐类型。
本实施例中,根据获取预设时间段内的所有睡眠状态,计算相同的睡眠状态对应的累加计数结果,将不同的睡眠状态的累加计数结果进行比较,选取最大的累加计数结果对应的睡眠状态作为目标睡眠状态,并根据目标睡眠状态确定助眠音乐推荐类型。通过确定目标睡眠状态的方式能够准确判断目标用户的睡眠情况,保证根据目标睡眠状态确定助眠音乐推荐类型的准确性,进一步提供后续根据助眠音乐推荐类型推送推送助眠乐曲的准确性。
在一实施例中,如图7所示,步骤S6之后,该自动推送助眠乐曲方法还包括如下步骤:
S81:从预设播放库中实时获取助眠乐曲的播放时间,其中,助眠乐曲包含播放音量。
在本发明实施例中,通过直接从预设播放库中实时获取步骤S6推荐的助眠乐曲的播放时间。其中,预设播放库是指专门用于存储助眠乐曲的播放时间的数据库,且助眠乐曲包含播放音量。
需要说明的是,当助眠乐曲停止播放时,将该助眠乐曲的播放时间从预设播放库中进行删除处理。
S82:将播放时间与预设调节时间进行比较,若播放时间达到预设调节时间,则将播放音量调至预设音量。
在本发明实施例中,将步骤S81得到的播放时间与预设调节时间进行比较,若该播放时间达到预设调节时间,则将播放音量调至预设音量。其中,预设调节时间是指设定用于调节助眠乐曲的播放音量的时间。预设音量是指根据用户实际需求设定的播放音量。
S83:将播放时间与预设停止时间进行比较,若播放时间达到预设停止时间,则暂停播放助眠乐曲。
具体地,将步骤S81得到的播放时间与预设停止时间进行比较,若该播放时间达到预设停止时间,则暂停播放助眠乐曲。其中,预设停止时间是指设定用于暂停播放助眠乐曲的时间。
本实施例中,通过获取助眠乐曲的播放时间,将播放时间与预设调节时间进行比较,若播放时间达到预设调节时间,则将助眠乐曲对应的播放音量调至预设音量,若播放时间达到预设停止时间,则暂停播放助眠乐曲。通过对助眠乐曲音量的调节以及播放暂停的方式,能够避免目标用户在深睡的情况下继续听助眠乐曲造成噪声干扰,进而有效提高目标用户的睡眠质量。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种自动推送助眠乐曲装置,该自动推送助眠乐曲装置与上述实施例中自动推送助眠乐曲方法一一对应。如图8所示,该自动推送助眠乐曲装置包括第一获取模块81,向量转换模块82,图转换模块83,识别模块84,第二获取模块85和推送模块86。各功能模块详细说明如下:
第一获取模块81,用于以预设时间间隔获取目标用户在睡眠时采集到的电压信号和脑电信号;
向量转换模块82,用于对电压信号进行向量转换,得到特征向量;
图转换模块83,用于对脑电信号进行图转换处理,得到频谱图;
识别模块84,用于将特征向量和频谱图导入预先训练好的睡眠检测模型中进行识别,得到睡眠状态;
第二获取模块85,用于基于预设条件,获取睡眠状态对应的助眠音乐推荐类型;
推送模块86,用于根据助眠音乐推荐类型,为目标用户推送助眠乐曲。
进一步地,向量转换模块82包括:
过滤子模块,用于基于预设过滤条件,对电压信号进行过滤,得到目标信号;
特征向量获取子模块,用于将目标信号进行向量转换处理,得到特征向量。
进一步地,图转换模块83包括:
分帧加窗子模块,用于对脑电信号进行分帧加窗处理,得到特征信号;
频谱图获取子模块,用于利用短时傅里叶变换对特征信号进行变换处理,得到频谱图。
进一步地,该自动推送助眠乐曲装置还包括:
第三获取模块,用于从预设样本库中获取训练样本;
训练模块,用于将训练样本导入到卷积神经网络中进行训练,得到睡眠检测模型。
进一步地,训练模块包括:
初始化子模块,用于初始化卷积神经网络模型,得到初始模型;
导入子模块,用于将训练样本导入到初始模型中,计算初始模型的前向输出;
预测误差计算子模块,用于根据前向输出,计算前向输出与预设目标值之间的预测误差;
睡眠检测模型确定子模块,用于根据预测误差,使用误差反向传播算法对初始模型中各个网络层的初始参数进行调整,得到睡眠检测模型。
进一步地,第二获取模块85包括:
第四获取子模块,用于从预设识别库中获取预设时间段内的所有睡眠状态;
计算子模块,用于基于所有睡眠状态,计算相同的睡眠状态对应的累加计数结果;
目标睡眠状态确定子模块,用于将不同的睡眠状态的累加计数结果进行比较,选取最大的累加计数结果对应的睡眠状态作为目标睡眠状态;
匹配子模块,用于将目标睡眠状态与预设推荐库中的描述信息进行匹配,选取匹配成功的描述信息对应的助眠音乐推荐类型进行输出,其中,预设推荐库包含描述信息及描述信息对应的助眠音乐推荐类型。
进一步地,该自动推送助眠乐曲装置还包括:
第五获取模块,用于从预设播放库中实时获取助眠乐曲的播放时间,其中,助眠乐曲包含播放音量;
音量调节模块,用于将播放时间与预设调节时间进行比较,若播放时间达到预设调节时间,则将播放音量调至预设音量;
播放暂停模块,用于将播放时间与预设停止时间进行比较,若播放时间达到预设停止时间,则暂停播放助眠乐曲。
本申请的一些实施例公开了计算机设备。具体请参阅图9,为本申请的一实施例中计算机设备90基本结构框图。
如图9中所示意的,所述计算机设备90包括通过系统总线相互通信连接存储器91、处理器92、网络接口93。需要指出的是,图9中仅示出了具有组件91-93的计算机设备90,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器91至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器91可以是所述计算机设备90的内部存储单元,例如该计算机设备90的硬盘或内存。在另一些实施例中,所述存储器91也可以是所述计算机设备90的外部存储设备,例如该计算机设备90上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,所述存储器91还可以既包括所述计算机设备90的内部存储单元也包括其外部存储设备。本实施例中,所述存储器91通常用于存储安装于所述计算机设备90的操作系统和各类应用软件,例如所述自动推送助眠乐曲方法的程序代码等。此外,所述存储器91还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器92在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器92通常用于控制所述计算机设备90的总体操作。本实施例中,所述处理器92用于运行所述存储器91中存储的程序代码或者处理数据,例如运行所述自动推送助眠乐曲方法的程序代码。
所述网络接口93可包括无线网络接口或有线网络接口,该网络接口93通常用于在所述计算机设备90与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有睡眠状态信息录入程序,所述睡眠状态信息录入程序可被至少一个处理器执行,以使所述至少一个处理器执行上述任意一种自动推送助眠乐曲方法的步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台计算机设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
最后应说明的是,显然以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。

Claims (8)

1.一种自动推送助眠乐曲方法,其特征在于,所述自动推送助眠乐曲方法包括:
以预设时间间隔获取目标用户在睡眠时采集到的电压信号和脑电信号;对所述电压信号进行向量转换,得到特征向量;
对所述脑电信号进行图转换处理,得到频谱图;
从预设样本库中获取训练样本;
将所述训练样本导入到卷积神经网络中进行训练,得到睡眠检测模型;
将所述特征向量和所述频谱图导入预先训练好的睡眠检测模型中进行识别,得到睡眠状态;
基于预设条件,获取所述睡眠状态对应的助眠音乐推荐类型;
根据所述助眠音乐推荐类型,为所述目标用户推送助眠乐曲;
其中,所述将所述训练样本导入到卷积神经网络中进行训练,得到睡眠检测模型的步骤包括:
S721:初始化卷积神经网络模型,得到初始模型;
S722:将训练样本作为输入数据依次导入到初始模型中的输入层、卷积层、池化层、全连接层和输出层中进行卷积操作,将输出层的输出结果作为前向输出;
S723:根据所述前向输出,计算所述前向输出与预设目标值之间的预测误差;
S724:根据所述预测误差,使用误差反向传播算法对所述初始模型中各个网络层的初始参数进行调整,根据各层的输出对初始模型各个网络层进行误差反传更新,获取更新后的各个网络层的权值和偏置,使用更新后的各个网络层的权值和偏置,对训练样本进行预测,并将训练样本的前向输出与预设目标值进行对比,得到当前模型的总误差;若当前模型的总误差大于预设精度阈值,则将当前调整后的模型作为睡眠检测模型;若当前模型的总误差小于预设精度阈值,则返回步骤S723继续执行,直到模型的总误差大于预设精度阈值。
2.如权利要求1所述的自动推送助眠乐曲方法,其特征在于,所述对所述电压信号进行向量转换,得到特征向量的步骤包括:
基于预设过滤条件,对所述电压信号进行过滤,得到目标信号;
将所述目标信号进行向量转换处理,得到特征向量。
3.如权利要求1所述的自动推送助眠乐曲方法,其特征在于,所述对所述脑电信号进行图转换处理,得到频谱图的步骤包括:
对所述脑电信号进行分帧加窗处理,得到特征信号;
利用短时傅里叶变换对所述特征信号进行变换处理,得到所述频谱图。
4.如权利要求1所述的自动推送助眠乐曲方法,其特征在于,所述基于预设条件,获取所述睡眠状态对应的助眠音乐推荐类型的步骤包括:
从预设识别库中获取预设时间段内的所有睡眠状态;
基于所述所有睡眠状态,计算相同的睡眠状态对应的累加计数结果;
将不同的所述睡眠状态的累加计数结果进行比较,选取最大的所述累加计数结果对应的睡眠状态作为目标睡眠状态;
将所述目标睡眠状态与预设推荐库中的描述信息进行匹配,选取匹配成功的描述信息对应的助眠音乐推荐类型进行输出,其中,所述预设推荐库包含描述信息及描述信息对应的助眠音乐推荐类型。
5.如权利要求1至4任一项所述的自动推送助眠乐曲方法,其特征在于,所述根据所述助眠音乐推荐类型,为所述目标用户推送助眠乐曲的步骤之后,所述自动推送助眠乐曲方法还包括:
从预设播放库中实时获取所述助眠乐曲的播放时间,其中,所述助眠乐曲包含播放音量;
将所述播放时间与预设调节时间进行比较,若所述播放时间达到预设调节时间,则将所述播放音量调至预设音量;
将所述播放时间与预设停止时间进行比较,若所述播放时间达到预设停止时间,则暂停播放所述助眠乐曲。
6.一种自动推送助眠乐曲装置,其特征在于,所述自动推送助眠乐曲装置包括:
第一获取模块,用于以预设时间间隔获取目标用户在睡眠时采集到的电压信号和脑电信号;
向量转换模块,用于对所述电压信号进行向量转换,得到特征向量;
图转换模块,用于对所述脑电信号进行图转换处理,得到频谱图;
第三获取模块,用于从预设样本库中获取训练样本;
训练模块,用于将训练样本导入到卷积神经网络中进行训练,得到睡眠检测模型;
识别模块,用于将所述特征向量和所述频谱图导入预先训练好的睡眠检测模型中进行识别,得到睡眠状态;
第二获取模块,用于基于预设条件,获取所述睡眠状态对应的助眠音乐推荐类型;
推送模块,用于根据所述助眠音乐推荐类型,为所述目标用户推送助眠乐曲;
其中,所述训练模块包括:
初始化子模块,用于初始化卷积神经网络模型,得到初始模型;
导入子模块,用于将训练样本作为输入数据依次导入到初始模型中的输入层、卷积层、池化层、全连接层和输出层中进行卷积操作,将输出层的输出结果作为前向输出;
预测误差计算子模块,用于根据前向输出,计算前向输出与预设目标值之间的预测误差;
睡眠检测模型确定子模块,用于根据预测误差,使用误差反向传播算法对初始模型中各个网络层的初始参数进行调整,根据各层的输出对初始模型各个网络层进行误差反传更新,获取更新后的各个网络层的权值和偏置,使用更新后的各个网络层的权值和偏置,对训练样本进行预测,并将训练样本的前向输出与预设目标值进行对比,得到当前模型的总误差;若当前模型的总误差大于预设精度阈值,则将当前调整后的模型作为睡眠检测模型;若当前模型的总误差小于预设精度阈值,则返回预测误差计算子模块继续执行,直到模型的总误差大于预设精度阈值。
7.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述自动推送助眠乐曲方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述自动推送助眠乐曲方法的步骤。
CN201910882719.5A 2019-09-18 2019-09-18 自动推送助眠乐曲方法、装置、计算机设备及存储介质 Active CN110772700B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910882719.5A CN110772700B (zh) 2019-09-18 2019-09-18 自动推送助眠乐曲方法、装置、计算机设备及存储介质
PCT/CN2020/099515 WO2021051944A1 (zh) 2019-09-18 2020-06-30 自动推送助眠乐曲方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910882719.5A CN110772700B (zh) 2019-09-18 2019-09-18 自动推送助眠乐曲方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110772700A CN110772700A (zh) 2020-02-11
CN110772700B true CN110772700B (zh) 2022-06-03

Family

ID=69383595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910882719.5A Active CN110772700B (zh) 2019-09-18 2019-09-18 自动推送助眠乐曲方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN110772700B (zh)
WO (1) WO2021051944A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110772700B (zh) * 2019-09-18 2022-06-03 平安科技(深圳)有限公司 自动推送助眠乐曲方法、装置、计算机设备及存储介质
EP4151263A4 (en) * 2020-06-22 2023-07-12 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR UPDATING A SLEEP AID AUDIO SIGNAL
CN114431837B (zh) * 2022-04-12 2022-08-16 深圳市心流科技有限公司 一种睡眠状态控制方法、装置、助眠设备及存储介质
CN115120837A (zh) * 2022-06-27 2022-09-30 慕思健康睡眠股份有限公司 基于深度学习的睡眠环境调节方法、系统、装置及介质
CN115904089B (zh) * 2023-01-06 2023-06-06 深圳市心流科技有限公司 App主题场景推荐方法、装置、终端设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203564213U (zh) * 2013-10-18 2014-04-30 深圳海斯凯医学技术有限公司 睡眠监护仪及其睡眠监护系统
CN205568920U (zh) * 2016-01-12 2016-09-14 杜越新 一种压敏传感式人体监测系统控制的播放设备
CN106419893A (zh) * 2016-09-18 2017-02-22 广州视源电子科技股份有限公司 睡眠状态检测方法和装置
CN109274757A (zh) * 2018-10-15 2019-01-25 珠海格力电器股份有限公司 一种音乐推送方法、家电设备及计算机存储介质
US20190201269A1 (en) * 2017-12-28 2019-07-04 Sleep Number Corporation Bed having sleep stage detecting feature
CN110193127A (zh) * 2019-04-23 2019-09-03 平安科技(深圳)有限公司 音乐辅助睡眠的方法、装置、计算机设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7689274B2 (en) * 2007-11-30 2010-03-30 Palo Alto Research Center Incorporated Brain-wave aware sleep management
CN103372258B (zh) * 2012-04-12 2016-04-27 孙雪青 失眠治疗仪
CN110075409B (zh) * 2019-04-17 2021-07-23 重庆大学 基于脑电波的个性化音乐辅助睡眠方法
CN110772700B (zh) * 2019-09-18 2022-06-03 平安科技(深圳)有限公司 自动推送助眠乐曲方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203564213U (zh) * 2013-10-18 2014-04-30 深圳海斯凯医学技术有限公司 睡眠监护仪及其睡眠监护系统
CN205568920U (zh) * 2016-01-12 2016-09-14 杜越新 一种压敏传感式人体监测系统控制的播放设备
CN106419893A (zh) * 2016-09-18 2017-02-22 广州视源电子科技股份有限公司 睡眠状态检测方法和装置
US20190201269A1 (en) * 2017-12-28 2019-07-04 Sleep Number Corporation Bed having sleep stage detecting feature
CN109274757A (zh) * 2018-10-15 2019-01-25 珠海格力电器股份有限公司 一种音乐推送方法、家电设备及计算机存储介质
CN110193127A (zh) * 2019-04-23 2019-09-03 平安科技(深圳)有限公司 音乐辅助睡眠的方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2021051944A1 (zh) 2021-03-25
CN110772700A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN110772700B (zh) 自动推送助眠乐曲方法、装置、计算机设备及存储介质
JP7177167B2 (ja) 混合音声の特定方法、装置及びコンピュータプログラム
CN107928673B (zh) 音频信号处理方法、装置、存储介质和计算机设备
US10083397B2 (en) Personalized intelligent wake-up system and method based on multimodal deep neural network
CN103943104B (zh) 一种语音信息识别的方法及终端设备
Vafeiadis et al. Audio content analysis for unobtrusive event detection in smart homes
CN110123367B (zh) 计算机设备、心音识别装置、方法、模型训练装置及存储介质
CN110767223B (zh) 一种单声道鲁棒性的语音关键词实时检测方法
CN111785288B (zh) 语音增强方法、装置、设备及存储介质
CN103117067A (zh) 一种低信噪比下语音端点检测方法
JP7389421B2 (ja) 精神・神経系疾患を推定する装置
CN113035241B (zh) 多特征融合识别婴儿哭声类别的方法、装置及设备
US11133022B2 (en) Method and device for audio recognition using sample audio and a voting matrix
CN114127849A (zh) 语音情感识别方法和装置
CN112967733B (zh) 智能识别婴儿哭声类别的方法及装置
CN113793615B (zh) 说话人识别方法、模型训练方法、装置、设备及存储介质
CN113012716B (zh) 婴儿哭声类别识别方法、装置及设备
CN113643709B (zh) 一种基于mean-SAP池化模型的说话人识别方法及系统
CN108962389A (zh) 用于风险提示的方法及系统
TWI585756B (zh) 口吃偵測方法與裝置、電腦程式產品
CN107437414A (zh) 基于嵌入式gpu系统的并行化游客识别方法
Chakrabartty et al. Robust speech feature extraction by growth transformation in reproducing kernel Hilbert space
CN110334244B (zh) 一种数据处理的方法、装置及电子设备
WO2021062705A1 (zh) 一种单声道鲁棒性的语音关键词实时检测方法
CN115590535B (zh) 脑电信号识别的时间窗调节方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant