CN117077812B - 网络训练方法、睡眠状态评估方法及相关设备 - Google Patents
网络训练方法、睡眠状态评估方法及相关设备 Download PDFInfo
- Publication number
- CN117077812B CN117077812B CN202311178358.9A CN202311178358A CN117077812B CN 117077812 B CN117077812 B CN 117077812B CN 202311178358 A CN202311178358 A CN 202311178358A CN 117077812 B CN117077812 B CN 117077812B
- Authority
- CN
- China
- Prior art keywords
- screen
- period
- sleep
- data
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007958 sleep Effects 0.000 title claims abstract description 574
- 238000011156 evaluation Methods 0.000 title claims abstract description 292
- 238000012549 training Methods 0.000 title claims abstract description 245
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000010801 machine learning Methods 0.000 claims abstract description 15
- 230000007613 environmental effect Effects 0.000 claims abstract description 13
- 230000000694 effects Effects 0.000 claims abstract description 8
- 230000001133 acceleration Effects 0.000 claims description 89
- 239000013598 vector Substances 0.000 claims description 83
- 238000013528 artificial neural network Methods 0.000 claims description 59
- 238000005286 illumination Methods 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 14
- 238000013473 artificial intelligence Methods 0.000 abstract description 15
- 230000008569 process Effects 0.000 description 31
- 238000012795 verification Methods 0.000 description 28
- 230000004622 sleep time Effects 0.000 description 24
- 238000005457 optimization Methods 0.000 description 22
- 238000012360 testing method Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 19
- 210000002569 neuron Anatomy 0.000 description 18
- 238000007726 management method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 13
- 238000007781 pre-processing Methods 0.000 description 13
- 206010041235 Snoring Diseases 0.000 description 12
- 230000001537 neural effect Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 7
- 238000012216 screening Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000013480 data collection Methods 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000011022 operating instruction Methods 0.000 description 3
- 238000004080 punching Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000002345 respiratory system Anatomy 0.000 description 2
- 210000001584 soft palate Anatomy 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4812—Detecting sleep stages or cycles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Fuzzy Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Anesthesiology (AREA)
Abstract
本申请涉及人工智能领域,提供一种网络训练方法、睡眠状态评估方法及相关设备,网络训练方法包括:获取终端设备采集的多个灭屏时段的训练数据,训练数据包括终端设备通过传感器采集的环境数据及与用户活动状态关联的数据;基于训练数据及预设的机器学习算法,训练得到基于终端设备的灭屏时段进行睡眠状态评分的睡眠评估网络。利用上述方法,基于灭屏时段采集的环境数据及表征用户活动状态的数据训练得到用于对灭屏时段进行睡眠状态评分的睡眠评估网络,从而可以基于网络得到的评分分数准确地识别出用户睡眠时段对应的灭屏时段,便于后续可基于用户睡眠时段与用户停留点簇进行家的标记与应用服务的推荐。
Description
技术领域
本申请涉及人工智能(artificial intelligence, AI)领域,特别涉及一种网络训练方法、睡眠状态评估方法及相关设备。
背景技术
相关技术中,智能终端可基于用户的行为数据学习出用户的偏好、位置等信息,例如,可以基于用户的行为数据学习出用户的当前位置是在家或是在公司,进而可基于用户在家或者在公司推荐相应的应用服务。
为了实现分析用户在家和在公司,相关技术对用户的停留点进行聚类,得到多个停留点簇,遍历智能终端的灭屏时段,将时间最长的灭屏时段作为睡眠时段,计算各个停留点簇与睡眠时段的重叠时长,重叠时长最长的停留点簇,标记为家,再在剩余停留点簇中,取停留持续时长最长且持续时长达到一定阈值的簇,标记为公司。
然而,对于某些在工作时间不使用或无法使用智能终端的用户而言,可能会出现在公司工作期间的灭屏时段具有最长的时长,因此会将该灭屏时段错误地认为是睡眠时段,从而出现将在公司误学习为在家的情形,导致推荐的应用服务出错,例如将本该在家推荐的应用服务,在公司进行推荐。
发明内容
鉴于以上内容,有必要提供一种网络训练方法、睡眠状态评估方法及相关设备,可以解决依靠灭屏时段的时长进行睡眠时段的识别,而频繁出现用户真实的睡眠时段识别错误的问题。
第一方面,本申请提供一种网络训练方法,应用于网络训练设备,方法包括:获取终端设备采集的多个灭屏时段的训练数据,训练数据包括终端设备通过传感器采集的环境数据及与用户活动状态关联的数据;基于训练数据及预设的机器学习算法,训练得到基于终端设备的灭屏时段进行睡眠状态评分的睡眠评估网络。采用上述技术方案,基于灭屏时段采集的环境数据(例如,环境声音、环境光线等)及表征用户活动状态的数据(例如,三轴加速度、红外能量数据等)训练得到用于基于灭屏时段进行睡眠状态评分的睡眠评估网络,从而可以基于睡眠评估网络对灭屏时段进行睡眠状态评分,实现基于评分分数准确地识别出用户睡眠时段对应的灭屏时段,便于后续可基于用户睡眠时段与用户停留点簇进行家与公司的标记,进而可以基于家与公司进行相应的应用服务的推荐,例如,打卡、取快递、锻炼等推荐。
在一种可能的实现方式中,传感器包括加速度传感器、声音传感器、光敏传感器以及红外人体传感器,睡眠评估网络包括第一睡眠评估网络、第二睡眠评估网络、第三睡眠评估网络及第四睡眠评估网络,其中:第一睡眠评估网络基于所述加速度传感器采集的加速度数据训练得到;第二睡眠评估网络基于声音传感器采集的声音数据训练得到;第三睡眠评估网络基于光敏传感器采集的光线数据训练得到;第四睡眠评估网络基于红外人体传感器采集的红外能量数据训练得到。采用上述技术方案,用户在睡觉时,环境一般较安静且光线较暗,身体一般不会发生较大幅度的运动,通过加速度传感器、声音传感器、光敏传感器以及红外人体传感器可以实现上述睡眠特征的检测,将睡眠评估网络设计为包括四个网络:第一睡眠评估网络、第二睡眠评估网络、第三睡眠评估网络及第四睡眠评估网络,并分别采用加速度传感器、声音传感器、光敏传感器以及红外人体传感器采集的数据进行训练,后续的睡眠状态评分分数综合四个网络的评分分数得到,可以实现准确地识别出用户睡眠时段对应的灭屏时段。
在一种可能的实现方式中,基于训练数据及预设的机器学习算法,训练得到基于终端设备的灭屏时段进行睡眠状态评分的睡眠评估网络,包括:基于每个灭屏时段的加速度数据,计算每个灭屏时段的加速度数据的标准差;基于每个灭屏时段的加速度数据的标准差及每个灭屏时段对应的标签,设定第一睡眠评估网络中的第一预设阈值,标签用于表征灭屏时段是否是睡眠时段;对每个灭屏时段的加速度数据进行特征向量提取;基于每个灭屏时段的加速度数据的特征向量及每个灭屏时段对应的标签,对第一睡眠评估网络进行灭屏时段的睡眠状态评分的训练,在待评分的灭屏时段的加速度数据的标准差大于或等于第一预设阈值的情形下,第一睡眠评估网络进行睡眠状态评分的分数表征待评分的灭屏时段不是睡眠时段;在待评分的灭屏时段的加速度数据的标准差小于第一预设阈值的情形下,第一睡眠评估网络基于待评分的灭屏时段的加速度数据的特征向量为待评分的灭屏时段进行睡眠状态评分。采用上述技术方案,训练得到的第一睡眠评估网络包含两种睡眠状态评分的评估方式,一种为基于灭屏时段的加速度数据的标准差与阈值比对的结果进行评分,另一种为将灭屏时段的加速度数据的特征向量输入至网络进行评分,阈值比对的评估方式可以实现初步筛选出不是用户的睡眠时段的灭屏时段(标准差大于或等于阈值的灭屏时段),基于特征向量的评估方式可以对各个标准差小于阈值的灭屏时段进行评分,以实现准确地识别出用户睡眠时段对应的灭屏时段。
在一种可能的实现方式中,基于训练数据及预设的机器学习算法,训练得到基于终端设备的灭屏时段进行睡眠状态评分的睡眠评估网络,包括:基于每个灭屏时段的声音数据,计算每个灭屏时段的声音强度的标准差;基于每个灭屏时段的声音强度的标准差及每个灭屏时段对应的标签,设定第二睡眠评估网络中的第二预设阈值,标签用于表征灭屏时段是否是睡眠时段;对每个灭屏时段的声音数据进行特征向量提取;基于每个灭屏时段的声音数据的特征向量及每个灭屏时段对应的标签,对第二睡眠评估网络进行灭屏时段的睡眠状态评分的训练,在待评分的灭屏时段的声音强度的标准差大于或等于第二预设阈值的情形下,第二睡眠评估网络为待评分的灭屏时段进行睡眠状态评分的分数表征待评分的灭屏时段不是睡眠时段;在待评分的灭屏时段的声音强度的标准差小于第二预设阈值的情形下,第二睡眠评估网络基于待评分的灭屏时段的声音数据的特征向量为待评分的灭屏时段进行睡眠状态评分。采用上述技术方案,训练得到的第二睡眠评估网络包含两种睡眠状态评分的评估方式,一种为基于灭屏时段的声音数据的声音强度的标准差与阈值比对的结果进行评分,另一种为将灭屏时段的声音数据的特征向量输入至网络进行评分,阈值比对的评估方式可以实现初步筛选出不是用户的睡眠时段的灭屏时段(标准差大于或等于阈值的灭屏时段),基于特征向量的评估方式可以对各个标准差小于阈值的灭屏时段进行评分,以实现准确地识别出用户睡眠时段对应的灭屏时段。
在一种可能的实现方式中,在待评分的灭屏时段的声音数据的特征向量中包含打呼声的音频特征向量的情形下,第二睡眠评估网络为待评分的灭屏时段进行睡眠状态评分的分数表征待评分的灭屏时段是睡眠时段。采用上述技术方案,对于睡觉会打呼噜的终端设备用户而言,打呼噜是下呼吸道和软腭振动产生的,呼噜声一般为低频的震动声,与其他的环境声音的频率存在差异,呼噜声的频谱图会包含较多的低频分量,并且频率大多集中在特定频段内,在第二睡眠评估网络的训练过程中,通过呼噜声在频域的音频特征来进行睡眠状态评分训练,若声音数据在频域的音频特征包含呼噜声的音频特征,可以给予该灭屏时段一个较高的睡眠状态评分,例如,分数表征待评分的灭屏时段是睡眠时段,实现准确地识别出用户睡眠时段对应的灭屏时段。
在一种可能的实现方式中,基于训练数据及预设的机器学习算法,训练得到基于终端设备的灭屏时段进行睡眠状态评分的睡眠评估网络,包括:基于每个灭屏时段的光线数据,计算每个灭屏时段的光照强度的均值;基于每个灭屏时段的光照强度的均值及每个灭屏时段对应的标签,设定第三睡眠评估网络中的第三预设阈值,标签用于表征灭屏时段是否是睡眠时段;对每个灭屏时段的光线数据进行特征向量提取;基于每个灭屏时段的光线数据的特征向量及每个灭屏时段对应的标签,对第三睡眠评估网络进行灭屏时段的睡眠状态评分的训练,在待评分的灭屏时段的光照强度的均值大于或等于第三预设阈值的情形下,第三睡眠评估网络为待评分的灭屏时段进行睡眠状态评分的分数表征待评分的灭屏时段不是睡眠时段的分数;在待评分的灭屏时段的光照强度的均值小于第三预设阈值的情形下,第三睡眠评估网络基于待评分的灭屏时段的光线数据的特征向量为待评分的灭屏时段进行睡眠状态评分。采用上述技术方案,训练得到的第三睡眠评估网络包含两种睡眠状态评分的评估方式,一种为基于灭屏时段的光线数据的光照强度的均值与阈值比对的结果进行评分,另一种为将灭屏时段的光线数据的特征向量输入至网络进行评分,阈值比对的评估方式可以实现初步筛选出不是用户的睡眠时段的灭屏时段(均值大于或等于阈值的灭屏时段),基于特征向量的评估方式可以对各个均值小于阈值的灭屏时段进行评分,以实现准确地识别出用户睡眠时段对应的灭屏时段。
在一种可能的实现方式中,基于训练数据及预设的机器学习算法,训练得到基于终端设备的灭屏时段进行睡眠状态评分的睡眠评估网络,包括:基于每个灭屏时段的红外能量数据,计算每个灭屏时段的红外能量强度的标准差;基于每个灭屏时段的红外能量强度的标准差及每个灭屏时段对应的标签,设定第四睡眠评估网络中的第四预设阈值,标签用于表征灭屏时段是否是睡眠时段;对每个灭屏时段的红外能量数据进行特征向量提取;基于每个灭屏时段的红外能量数据的特征向量及每个灭屏时段对应的标签,对第四睡眠评估网络进行灭屏时段的睡眠状态评分的训练,在待评分的灭屏时段的红外能量强度的标准差大于或等于第四预设阈值的情形下,第四睡眠评估网络为待评分的灭屏时段进行睡眠状态评分的分数表征待评分的灭屏时段不是睡眠时段的分数;在待评分的灭屏时段的红外能量强度的标准差小于第四预设阈值的情形下,第四睡眠评估网络基于待评分的灭屏时段的红外能量数据的特征向量为待评分的灭屏时段进行睡眠状态评分。采用上述技术方案,训练得到的第四睡眠评估网络包含两种睡眠状态评分的评估方式,一种为基于灭屏时段的红外能量数据的红外能量强度的标准差与阈值比对的结果进行评分,另一种为将灭屏时段的红外能量数据的特征向量输入至网络进行评分,阈值比对的评估方式可以实现初步筛选出不是用户的睡眠时段的灭屏时段(标准差大于或等于阈值的灭屏时段),基于特征向量的评估方式可以对各个标准差小于阈值的灭屏时段进行评分,以实现准确地识别出用户睡眠时段对应的灭屏时段。
第二方面,本申请提供一种睡眠状态评估方法,应用于终端设备,终端设备包括传感器并部署有经上述网络训练方法训练得到的睡眠评估网络,睡眠状态评估方法包括:获取终端设备在预设时间内的多个待评分的灭屏时段;从多个待评分的灭屏时段中选取时长最长的第一灭屏时段;基于传感器在第一灭屏时段采集的数据,利用睡眠评估网络得到第一灭屏时段对应的睡眠状态评分分数;若第一灭屏时段对应的睡眠状态评分分数大于第一阈值,将第一灭屏时段确定为用户在预设时间内的睡眠时段。采用上述技术方案,用户的睡眠时段较大概率为最长的灭屏时段,且睡眠时间一般不会太短,多个待评分的灭屏时段可以是时长超过一定时长的灭屏时段,通过从预设时间内的多个待评分的灭屏时段中选择时长最长的第一灭屏时段,并基于睡眠评估网络对第一灭屏时段进行睡眠状态评分,若第一灭屏时段的睡眠状态评分分数大于阈值,表明第一灭屏时段具备睡眠特征,可将第一灭屏时段认定为是用户的睡眠时段,实现快速且准确地确定用户的睡眠时段,进而后续可基于用户的睡眠时段与用户停留点簇进行家与公司的标记,便于基于家与公司进行相应的应用服务的推荐,例如,打卡、取快递、锻炼等推荐。
在一种可能的实现方式中,利用睡眠评估网络得到第一灭屏时段对应的睡眠状态评分分数之后,还包括:若第一灭屏时段对应的睡眠状态评分分数小于或等于第一阈值,基于传感器在多个待评分的灭屏时段中的其余灭屏时段采集的数据,利用睡眠评估网络对其余灭屏时段分别进行睡眠状态评分,得到多个睡眠状态评分分数;基于多个睡眠状态评分分数,确定目标灭屏时段,及将目标灭屏时段确定为用户在所述预设时间内的睡眠时段。采用上述技术方案,若第一灭屏时段的睡眠状态评分分数小于阈值,表明第一灭屏时段不具备睡眠特征,可将第一灭屏时段认定为不是用户的睡眠时段,需要基于睡眠评估网络再对剩余的各个待评分灭屏时段分别进行睡眠状态评分,得到其余各个灭屏时段对应的睡眠状态评分分数,再基于各个灭屏时段对应的睡眠状态评分分数,从中选出目标灭屏时段,作为用户的睡眠时段。
在一种可能的实现方式中,基于多个睡眠状态评分分数,确定目标灭屏时段,包括:若多个睡眠状态评分分数中仅存在一个睡眠状态评分分数大于第一阈值,将大于第一阈值的睡眠状态评分分数对应的灭屏时段作为目标灭屏时段;若多个睡眠状态评分分数中存在两个或两个以上的睡眠状态评分分数大于第一阈值,从大于第一阈值的睡眠状态评分分数对应的灭屏时段中选择时长最长的灭屏时段作为目标灭屏时段;若多个睡眠状态评分分数均小于第一阈值,将第一灭屏时段作为目标灭屏时段。采用上述技术方案,若多个睡眠状态评分分数中仅存在一个评分分数大于第一阈值,可直接将评分分数大于第一阈值对应的灭屏时段作为用户的睡眠时段,若多个睡眠状态评分分数中存在多个评分分数大于第一阈值,基于用户睡眠时间一般相对较长的特性,可从多个评分分数大于第一阈值的灭屏时段中选择时长最长的灭屏时段作为用户的睡眠时段,若多个睡眠状态评分分数均小于第一阈值,表明基于睡眠评估网络无法识别出用户的睡眠时段,可在终端设备的显示界面输出预设的提示信息,或者直接将时长最长的灭屏时段(第一灭屏时段)作为用户的睡眠时段。
在一种可能的实现方式中,传感器包括加速度传感器、声音传感器、光敏传感器以及红外人体传感器。采用上述技术方案,用户在睡觉时,环境一般较安静且光线较暗,身体一般不会发生较大幅度的运动,通过加速度传感器、声音传感器、光敏传感器以及红外人体传感器可以实现上述睡眠特征的检测,便于后续可以基于传感器检测到的数据进行睡眠状态评分。
在一种可能的实现方式中,睡眠评估网络包括第一睡眠评估网络、第二睡眠状态评估网络、第三睡眠状态评估网络及第四睡眠状态评估网络,基于睡眠评估网络及传感器在第一灭屏时段采集的数据,得到第一灭屏时段的睡眠状态评分分数,包括:基于加速度传感器在第一灭屏时段采集的数据,利用第一睡眠评估网络得到第一灭屏时段的第一评分;基于声音传感器在第一灭屏时段采集的数据,利用第二睡眠评估网络得到第一灭屏时段的第二评分;基于光敏传感器在第一灭屏时段采集的数据,利用第三睡眠评估网络得到第一灭屏时段的第三评分;基于红外人体传感器在第一灭屏时段采集的数据,利用第四睡眠评估网络得到第一灭屏时段的第四评分;基于第一评分、第二评分、第三评分及第四评分,得到第一灭屏时段的睡眠状态评分分数。采用上述技术方案,将睡眠评估网络设计为包括四个网络:第一睡眠评估网络、第二睡眠评估网络、第三睡眠评估网络及第四睡眠评估网络,并分别采用加速度传感器、声音传感器、光敏传感器以及红外人体传感器采集的数据进行训练,后续的睡眠状态评分分数综合四个网络的评分分数得到,可以实现准确地识别出用户睡眠时段对应的灭屏时段。
在一种可能的实现方式中,睡眠状态评估方法还包括:获取传感器在目标预设时间内采集的数据,目标预设时间包括用户的睡眠时段,睡眠评估网络对目标预设时间的所有灭屏时段进行睡眠状态评分分数表征目标预设时间的所有灭屏时段均不是睡眠时段;基于传感器在目标预设时间内采集的数据对睡眠评估网络进行训练,对睡眠评估网络进行更新。采用上述技术方案,由于不同终端用户具有不同的睡眠习惯与睡眠环境,部署在终端设备的睡眠状态评估可能会由于不同的终端用户而具有不同的睡眠状态评估的准确性,通过获取睡眠评估网络在阈值比对阶段出现误识别的数据,例如目标预设时间实际上包括终端设备用户的睡眠时段,但是经过睡眠评估网络的阈值比对的评估方式,得到目标预设时间内的各个灭屏时段的数据的标准差或均值均是大于对应的比对阈值,导致睡眠状态评分的结果为表征目标预设时间的所有灭屏时段均不是睡眠时段的分数,而基于特征向量的评估方式是可以得到灭屏时段中存在一个或多个灭屏时段的评分是大于第一阈值的,基于传感器在目标预设时间内采集的数据对睡眠评估网络进行训练,可以实现更新睡眠评估网络中用于比对的阈值,提升睡眠评估网络的识别准确性,再例如,目标预设时间实际上包括终端设备用户的睡眠时段,但是经过睡眠评估网络的阈值比对的评估方式,得到目标预设时间内的各个灭屏时段的数据的标准差或均值均是大于对应的比对阈值,且基于特征向量的评估方式也无法得到灭屏时段中存在一个或多个灭屏时段的评分是大于第一阈值的,基于传感器在目标预设时间内采集的数据对睡眠评估网络进行训练,可以实现更新睡眠评估网络中的比对阈值以及网络参数(隐藏层的层数、神经元数量等),提升睡眠评估网络的识别准确性。
在一种可能的实现方式中,基于传感器在目标预设时间内采集的数据对睡眠评估网络进行训练,包括:在终端设备处于灭屏的情形下,获取终端设备上一次对睡眠评估网络进行训练的结束时间;若终端设备的当前系统时间与结束时间的时间间隔大于预设时间间隔,基于传感器在目标预设时间内采集的数据对睡眠评估网络进行训练。采用上述技术方案,通过在监听到灭屏事件的情形下,确定网络优化的时间点是否合适,可以使得网络优化尽可能在终端设备灭屏期间进行,可最大程度降低由于网络优化占用设备系统资源,而影响用户使用终端设备的体验,且设定网络训练的间隔时间,可以避免频繁进行网络的训练而加重终端设备的功耗。
第三方面,本申请实施例提供一种网络训练设备,包括存储器和处理器,其中,存储器用于存储计算机可读指令;处理器用于读取计算机可读指令并实现第一方面及其可选的实现方式提供的方法。
第四方面,本申请实施例提供一种终端设备,包括存储器和处理器,其中,存储器用于存储计算机可读指令;处理器用于读取计算机可读指令并实现第二方面及其可选的实现方式提供的方法。
第五方面,本申请实施例提供一种计算机存储介质,存储有计算机可读指令,且计算机可读指令在被处理器执行时实现第一方面及其可选的实现方式提供的方法,或者实现第二方面及其可选的实现方式提供的方法。
第六方面,本申请实施例提供一种计算机程序产品,计算机程序产品中包含计算机可读指令,当该计算机可读指令被处理器执行时实现第一方面及其可选的实现方式提供的方法,或者实现第二方面及其可选的实现方式提供的方法。
第七方面,本申请实施例提供一种神经网络部署系统,包括终端设备和网络训练设备,网络训练设备用于执行第一方面及其可选的实现方式提供的方法,终端设备用于执行第二方面及其可选的实现方式提供的方法。
上述第三方面、第四方面、第五方面、第六方面及第七方面所获得的技术效果与第一方面或第二方面中对应的技术手段获得的技术效果近似,在这里不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种人工智能主体框架的示意图;
图2为本申请实施例提供的一种人工智能系统的示意图;
图3为本申请实施例提供的神经网络的结构示意图;
图4为本申请实施例提供的网络训练方法的流程示意图;
图5为本申请实施例提供的加速度传感器在终端设备用户在家睡觉期间检测到的加速度数据的示意图;
图6为本申请实施例提供的加速度传感器在终端设备用户在公司期间检测到的加速度数据及绘制的加速度曲线的示意图;
图7为本申请实施例提供的声音传感器在终端设备用户在家睡觉期间检测到的声音数据及绘制的声音强度曲线的示意图;
图8为本申请实施例提供的声音传感器在终端设备用户在公司期间检测到的声音数据及绘制的声音强度曲线的示意图;
图9为本申请实施例提供的光敏传感器在终端设备用户在家睡觉期间检测到的光线数据的示意图;
图10为本申请实施例提供的光敏传感器在终端设备用户在公司期间检测到的光线数据及绘制的光线强度曲线的示意图;
图11为本申请实施例提供的任务管理SDK、第一任务SDK、第二任务SDK以及数据中台SDK之间的交互流程的示意图;
图12为本申请实施例提供的终端设备的软件框架示意图;
图13为本申请实施例提供的数据感知SDK进行数据采集控制的架构示意图;
图14为本申请实施例提供的数据感知SDK在灭屏时段进行数据采集的流程示意图;
图15为本申请实施例提供的睡眠状态评估方法的流程示意图;
图16为本申请实施例提供的睡眠评估网络的优化方法的流程示意图;
图17为本申请实施例提供的终端设备的一种结构示意图;
图18为本申请实施例提供的网络训练设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述,显然,所描述的实施例仅仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中,“示例性”、“或者”、“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性”、“或者”、“例如”等词旨在以具体方式呈现相关概念。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请中的技术领域的技术人员通常理解的含义相同。本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。应理解,本申请中除非另有说明,“/”表示或的意思。例如,A/B可以表示A或B。本申请中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B三种情况。“至少一个”是指一个或者多个。“多个”是指两个或多于两个。例如,a、b或c中的至少一个,可以表示:a,b,c,a和b,a和c,b和c,a、b和c七种情况。应当理解的是,本文的流程图中所示步骤的顺序可以改变,某些也可以省略。
为便于理解本申请各实施例,首先结合图1对人工智能系统的总体工作流程进行描述。如图1所示,为一种人工智能主体框架示意图,该主体框架描述了人工智能系统的总体工作流程,适用于通用的人工智能领域的需求。
下文将从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。
“智能信息链”反映从数据的获取到处理的一列过程。举例来说,可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中,数据经历了“数据—信息—知识—智慧”的凝练过程。
“IT 价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程,反映人工智能为信息技术产业带来的价值。
(1)基础设施
基础设施为人工智能系统提供计算能力支持,实现与外部世界的沟通,并通过基础平台实现支撑。通过传感器与外部沟通;计算能力由智能芯片(CPU、NPU、GPU、ASIC、FPGA等硬件加速芯片)提供;基础平台包括分布式计算框架及网络等相关的平台保障和支持,可以包括云存储和计算、互联互通网络等。举例来说,传感器和外部沟通获取数据,这些数据提供给基础平台上的分布式计算系统中的智能芯片进行计算。
(2)数据
基础设施的上一层的数据用于表示人工智能领域的数据来源。数据包括图形、图像、语音、文本,还包括传统设备的物联网数据,包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。
(3)数据处理
数据处理通常包括数据训练,机器学习,深度学习,搜索,推理,决策等方式。
其中,机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
推理是指在计算机或智能系统中,模拟人类的智能推理方式,依据推理控制策略,利用形式化的信息进行机器思维和求解问题的过程,典型的功能是搜索与匹配。
决策是指智能信息经过推理后进行决策的过程,通常提供分类、排序、预测等功能。
(4)通用能力
对数据经过上面提到的数据处理后,进一步基于数据处理的结果可以形成一些通用的能力,比如可以是算法或者一个通用系统,例如,翻译,文本的分析,计算机视觉的处理,语音识别,图像的识别等等。
(5)智能产品及行业应用
智能产品及行业应用指人工智能系统在各领域的产品和应用,是对人工智能整体解决方案的封装,将智能信息决策产品化、实现落地应用,其应用领域主要包括:智能制造、智能交通、智能家居、智能医疗、智能安防、自动驾驶,平安城市,智能终端等。
由于不同用户的工作类型不同,现有基于终端设备的灭屏时长识别用户的睡眠时段的方案,可能会出现在公司工作期间的灭屏时段具有最长的时长,错误地将该灭屏时段认为是用户的睡眠时段,从而出现将在公司误学习为在家的情形,导致终端设备提供的推荐服务和/或预测服务出错,影响用户的终端设备使用体验。
鉴于此,本申请实施例提供一种睡眠状态评估方法,可通过对终端设备每天收集的各个灭屏时段进行时长与睡眠状态的识别,从而准确地将某个灭屏时段确定为用户的睡眠时段,可最大程度避免出现将用户在公司误学习为在家的情形,提升用户的终端设备使用体验。
灭屏时段的睡眠状态可以基于灭屏时段的睡眠特征进行识别,睡眠特征可以根据用户在睡眠时所表现出的特征和/或周围环境的特征进行设定。例如,用户在睡眠时,一般具有以下特征:身体处于较为平稳的状态,一般不会出现或频繁出现较大幅度的运动/移动;睡眠环境一般会为一个较为安静的环境;睡觉环境下的光线一般较弱;由于睡眠期间身体处于较为平稳的状态,人体辐射的红外能量较为稳定。因而,睡眠特征可以设定为包括在灭屏时段检测到的用户的运动信息、环境声音、环境光线以及人体(用户的身体)辐射的红外能量信息。
在一些实施例中,可以基于终端设备收集的灭屏时段的睡眠特征训练得到一个睡眠评估网络,再将各个待评分的灭屏时段的睡眠特征输入至睡眠评估网络,得到各个待评分的灭屏时段的睡眠状态评分分数,便于后续可以基于灭屏时段的时长与睡眠状态评分,正确地识别出与用户的睡眠时段对应的灭屏时长。例如,可以使用机器学习算法或深度学习算法训练得到睡眠评估网络,以下以利用训练数据对神经网络进行训练,得到睡眠评估网络为例进行说明。
本申请实施可以应用于图2所示的人工智能系统。如图2所示,该人工智能系统包括终端设备和服务器,终端设备和服务器通过通信链路连接。
其中,终端设备可以是任何计算设备,例如个人计算机、计算机工作站、智能手机、平板电脑、智能摄像头、虚拟现实(virtual reality,VR)设备、智能汽车或其他类型蜂窝电话、媒体消费设备、可穿戴设备、机顶盒、游戏机等。在图2中,以终端设备为手机为例,基于神经网络的优势,可以在图2所示的服务器上进行神经网络的训练,在终端设备上部署训练后的神经网络,部署有神经网络的终端设备可以基于该神经网络进行灭屏时段的睡眠状态评分,基于睡眠状态评分选择一灭屏时段作为用户的睡眠时段。
相比现有的将具有最长时长的灭屏时段作为用户的睡眠时段,本申请实施例通过神经网络对灭屏时段进行睡眠状态评分,同时为了降低睡眠状态评分的数据量,可以仅对灭屏时段的时长大于预设时长的灭屏时段进行睡眠状态评分,预设时长可以根据实际需求进行设定,本申请实施例对此不作限定,例如,预设时长为4小时。
若对灭屏时长最长的灭屏时段进行睡眠状态评分的评分分数大于第一阈值(例如,睡眠状态评分>=s分,s可以根据实际的评分分数范围进行设定),可将该灭屏时长最长的灭屏时段作为用户的睡眠时段;若灭屏时长最长的灭屏时段的评分分数小于第一阈值(例如,睡眠状态评分<s分),对其他灭屏时段进行睡眠状态评分;若其他灭屏时段中有且仅有一段灭屏时段的评分分数大于第一阈值,可以可将该灭屏时段作为用户的睡眠时段;若存在不止一段灭屏时段的评分分数大于第一阈值,可以从这些评分分数大于第一阈值的灭屏时段中,选取灭屏时长最长的灭屏时段作为用户的睡眠时段。
在一些实施例中,神经网络(睡眠评估网络)的训练可以在服务器侧或者终端设备侧进行,训练完成的神经网络可以在终端设备出厂前完成部署。在终端设备出厂后,由于不同终端用户具有不同的睡眠习惯,部署在终端设备的神经网络还可基于终端设备收集的个人睡眠状态数据进行网络优化,实现针对不同的终端用户,进行神经网络的定制化。
此外,不同类型的终端设备对神经网络的需求不同,例如,不同的终端设备,由于底层硬件差异,相同的神经网络的计算时延不同。其中,该类型不同既可以指终端设备的种类不同,例如终端设备为智能手机和平板电脑;也可以指同一种类终端设备的机型不同,因此,服务器可以基于终端设备的类型、应用场景以及其他可能的限制条件为终端设备训练合适的神经网络。
由于本申请实施例涉及大量神经网络的应用,为了便于理解,下面先对本申请实施例可能涉及的神经网络的相关术语和概念进行介绍。
(1)神经网络
神经网络可以是由神经单元组成的,神经单元可以是指以xs和截距1为输入的运算单元,该运算单元的输出可以为:
;
其中,s=1、2、……n,n为大于1的自然数,Ws为xs的权重,b为神经单元的偏置。f为神经单元的激活函数(activation functions),用于将非线性特性引入神经网络中,来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入。激活函数可以是sigmoid函数。神经网络是将许多个上述单一的神经单元联结在一起形成的网络,即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连,来提取局部接受域的特征,局部接受域可以是由若干个神经单元组成的区域。
(2)深度神经网络
深度神经网络(deep neural network,DNN),也称多层神经网络,可以理解为具有多层隐含层的神经网络。按照不同层的位置对DNN进行划分,DNN内部的神经网络可以分为三类:输入层,隐含层,输出层。一般来说第一层是输入层,最后一层是输出层,中间的层数都是隐含层。层与层之间是全连接的,也就是说,第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。
虽然DNN看起来很复杂,但是就每一层的工作来说,可以通过如下线性关系表达式进行表征:,其中,/>是输入向量,/>是输出向量,/>是偏移向量,/>是权重矩阵(也称系数),/>是激活函数。每一层仅仅是对输入向量/>经过处理得到输出向量/>。由于DNN层数多,则系数/>和偏移向量/>的数量也比较多。这些参数在DNN中的定义如下所述:以系数W为例:假设在一个三层的DNN中,第二层的第4个神经元到第三层的第2个神经元的线性系数定义为/>。上标3代表系数W所在的层数,而下标对应的是输出的第三层索引2和输入的第二层索引4。综上,第L−1 层的第k个神经元到第L层的第j个神经元的系数定义为/>。
需要注意的是,输入层是没有W参数的。在深度神经网络中,更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言,参数越多的模型复杂度越高,“容量”也就越大,也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程,其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。
(3)卷积神经网络
卷积神经网络(convolutional neuron network,CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器,该特征抽取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中,一个神经元可以只与部分邻层神经元连接。一个卷积层中,通常包含若干个特征平面,每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重,这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。卷积核可以以随机大小的矩阵的形式初始化,在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外,共享权重带来的直接好处是减少卷积神经网络各层之间的连接,同时又降低了过拟合的风险。
(4)损失函数
在训练深度神经网络的过程中,因为希望深度神经网络的输出尽可能的接近真正想要预测的值,所以可以通过比较当前网络的预测值和真正想要的目标值,再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然,在第一次更新之前通常会有初始化的过程,即为深度神经网络中的各层预先配置参数),比如,如果网络的预测值高了,就调整权重向量让它预测低一些,不断地调整,直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此,就需要预先定义“如何比较预测值和目标值之间的差异”,这便是损失函数(loss function)或目标函数(objective function),它们是用于衡量预测值和目标值的差异的重要方程。其中,以损失函数举例,损失函数的输出值(loss)越高表示差异越大,那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
本申请实施例涉及的睡眠评估网络可以是指基于神经网络与训练数据训练得到的网络。如图3所示,神经网络可以包含一个输入层(左侧),一个输出层(右侧),及多个隐藏层(中间),每层包含数个节点,称为神经元,其中相邻两层的神经元间两两相连。输入层输入的是终端设备在灭屏时段采集到的睡眠状态数据,输出层输出的是灭屏时段的睡眠状态评分分数。
例如,睡眠特征包括基于加速度传感器在灭屏时段检测到的用户的运动信息,基于声音传感器在灭屏时段检测到的环境声音信息,基于光敏传感器在灭屏时段检测到的环境光线信息,以及基于红外人体传感器在灭屏时段检测到的人体辐射的红外能量信息。睡眠评估网络可以包括第一睡眠评估网络、第二睡眠评估网络、第三睡眠评估网络及第四睡眠评估网络。第一睡眠评估网络可以基于第一神经网络与第一训练数据训练得到,第二睡眠评估网络可以基于第二神经网络与第二训练数据训练得到,第三睡眠评估网络可以基于第三神经网络与第三训练数据训练得到,第四睡眠评估网络可以基于第四神经网络与第四训练数据训练得到。
在需要获取某个灭屏时段的睡眠状态评分分数时,可以将在该灭屏时段检测到的用户的运动信息输入至第一睡眠评估网络,得到该灭屏时段的第一评分,将在该灭屏时段检测到的环境声音信息输入至第二睡眠评估网络,得到该灭屏时段的第二评分,将在该灭屏时段检测到的环境光线信息输入至第三睡眠评估网络,得到该灭屏时段的第三评分,将在该灭屏时段检测到的人体辐射的红外能量信息输入至第四睡眠评估网络,得到该灭屏时段的第四评分,再基于第一评分、第二评分、第三评分与第四评分计算得到该灭屏时段的睡眠状态评分分数。例如,睡眠状态评分为第一评分、第二评分、第三评分与第四评分的均值,或者可以根据实际需求或先验经验为第一评分、第二评分、第三评分与第四评分设定对应的权重系数,基于权重系数对第一评分、第二评分、第三评分与第四评分进行加权计算,得到该灭屏时段的睡眠状态评分分数。
本申请实施例涉及的睡眠评估网络包括训练阶段和推理阶段,以下分别对训练阶段和推理阶段进行详细描述。
一、训练阶段
在本申请实施例中,训练阶段可以是指网络训练设备利用训练数据对神经网络进行训练,得到睡眠评估网络的过程。网络训练设备可以是图2所示的服务器或终端设备,也可以是计算机,或者服务器集群,本申请实施例对此不作限定。
如图4所示,为本申请实施例提供的一种网络训练方法,该方法可应用于网络训练设备中,该方法包括如下步骤:
步骤S41:获取终端设备采集的多个灭屏时段的训练数据。
在一些实施例中,训练数据可以按照预设比例划分为训练集、验证集与测试集,训练集用于对网络进行训练,验证集用于对训练集训练得到的网络进行验证,进而可以基于验证结果调整网络的超参数,测试集用于对训练完成的网络进行测试。终端设备可包括传感器,训练数据可包括终端设备通过传感器采集的环境数据及与用户活动状态关联的数据。
例如,终端设备可以包括加速度传感器、红外人体传感器、声音传感器及光敏传感器。加速度传感器可采集终端设备在x、y和z轴三个方向上的加速度值,可根据在x、y和z轴三个方向上的加速度变化来推断用户是否处于睡眠状态。例如,在用户处于睡眠状态的情形下,对于用户随身携带的终端设备,或者终端设备未随身携带而放置在用户身边的某个地方而言,加速度传感器采集到的三个方向上的加速度值应该是接近于0,若偶尔采集到某个或某几个方向上的加速度有显著变化但持续时间不长,可以推断用户较大概率在睡眠过程中发生了一些运动,如睡眠翻身、起夜等;若采集到加速度在三个方向持续较长时间非零或持续较长时间维持较大的值,可以推断用户较大概率处于运动状态而非睡眠状态。
红外人体传感器可以采集周围人体辐射的红外能量信息,可根据红外能量的强度及变化来推断用户是否处于睡眠状态。例如:用户在睡觉时,身体一般会处于较平稳而非较大幅度的移动状态,对于用户随身携带的终端设备,或者终端设备未随身携带而放置在用户身边的某个地方而言,若采集到人体辐射的红外能量较稳定且人体处于相对静止的状态(红外能量识别到过程中,感应区域中的人体处于相对静止的状态),可以推断用户较大概率处于睡眠状态,若采集到人体辐射的红外能量变化较大且在红外能量识别到过程中,多次出现有物体进入感应区域,可以推断用户较大概率处于运动状态而非睡眠状态。
声音传感器可以采集终端设备周围的声音信息,可根据当前环境的声音信息来推断用户是否处于睡眠状态。例如:用户在睡觉时,一般会处于较为安静的环境,对于用户随身携带的终端设备,或者终端设备未随身携带而放置在用户身边的某个地方而言,若采集到的环境声音较低、频率较单一,可以推断用户较大概率处于睡眠状态,若采集到的环境声音较高、频率较多(环境嘈杂),可以推断用户较大概率处于运动状态而非睡眠状态。
光敏传感器可以采集终端设备周围的光线信息,可根据当前环境的光线信息来推断用户是否处于睡眠状态。例如:用户在睡觉时,一般不会保持在光线较强的环境中,对于用户随身携带的终端设备,或者终端设备未随身携带而放置在用户身边的某个地方而言,若采集到的环境光线较弱,可以推断用户较大概率处于睡眠状态,若采集到的环境光线较强,可以推断用户较大概率处于运动状态而非睡眠状态。同时,还可以结合环境光线的强度变化特征进行睡眠状态的评估,例如:用户在睡觉前,光线一般会有从强到弱的变化过程,在起床时光线一般会有从弱到强的变化过程。即还可结合光线强度与强度变化特征来推断用户是否处于睡眠状态。
在一些实施例中,终端设备采集的训练数据以一段段的灭屏时段为分割粒度进行汇总,每个训练数据对应一个灭屏时段。例如,以训练第一睡眠评估网络为例,终端设备采集的训练数据可以是指在灭屏时段使用加速度传感器采集到的第一训练数据。由于网络训练的数据量较大,第一训练数据可以是多个终端在多个灭屏时段使用加速度传感器采集到的训练数据,可包括用户在睡眠状态与非睡眠状态的训练数据。例如,各个终端设备可以将采集到的训练数据发送给网络训练设备,使得网络训练设备可以获取到终端设备采集的训练数据,或者通过人工收集各个终端设备在多个灭屏时段使用加速度传感器采集到的训练数据,并存储至指定存储区,网络训练设备可以通过访问指定存储区来实现获取到终端设备采集的训练数据,或者由各个终端设备将在多个灭屏时段使用加速度传感器采集到的训练数据上传至数据存储服务器,网络训练设备可以通过访问数据存储服务器来实现获取到终端设备采集的训练数据。
步骤S42,基于训练数据对神经网络进行训练,得到基于终端设备的灭屏时段进行睡眠状态评分的睡眠评估网络。
训练数据可以包括第一训练数据、第二训练数据、第三训练数据及第四训练数据。第一训练数据可以是指由加速度传感器在灭屏时段采集到的数据,第二训练数据可以是指由声音传感器在灭屏时段采集到的数据,第三训练数据可以是指由光敏传感器在灭屏时段采集到的数据,第四训练数据可以是指由红外人体传感器在灭屏时段采集到的数据。睡眠评估网络可以包括第一睡眠评估网络、第二睡眠评估网络、第三睡眠评估网络及第四睡眠评估网络。第一睡眠评估网络可以基于第一神经网络与第一训练数据训练得到,第二睡眠评估网络可以基于第二神经网络与第二训练数据训练得到,第三睡眠评估网络可以基于第三神经网络与第三训练数据训练得到,第四睡眠评估网络可以基于第四神经网络与第四训练数据训练得到。
对于由加速度传感器采集到的第一训练数据而言,可通过对第一训练数据进行预处理,将预处理后的第一训练数据随机划分为训练集、验证集与测试集(例如训练集、验证集与测试集的比例可以是6:2:2),训练集、验证集与测试集中的数据可进行特征向量提取,便于后续可以基于训练集中的数据的特征向量进行网络训练,基于验证集中的数据的特征向量对训练得到的网络进行验证,以及基于测试集中的数据的特征向量对训练完成的网络(第一睡眠评估网络)进行测试。预处理可以根据实际的网络训练需求进行设定,本申请实施例对此不作限定,例如预处理可包括数据清洗、数据增强、数据标注等。数据清洗可用于去除重复数据、处理缺失值以及异常值。数据增强可用于对训练集进行数据增强,以增加模型的泛化能力。数据标注可用于为训练数据添加标签,帮助神经网络了解训练数据的含义。
第一睡眠评估网络在训练过程中,可以学习结合两种评估方式进行睡眠状态评分。第一种评估方式为:对于灭屏时段采集到的加速度数据,对加速度数据进行预处理(例如,进行数据清洗以去除异常数据),然后以预处理后的加速度数据的采集时间点为横轴,加速度值为纵轴,绘制加速度曲线,通过计算预处理后的加速度数据的标准差,来反映加速度曲线波动的大小,例如,可先计算加速度曲线中各点与均值之间的差值,再基于这些差值求平方和的平均数得到方差,方差开平方后取正平方根得到标准差。若标准差大于或等于第一预设阈值(X1),表征加速度曲线的曲线波动较大,即可以认为在该灭屏时段内,终端设备用户不在睡觉,可以给予该灭屏时段一个较低的睡眠状态评分,X1的值可以根据先验经验设定一个初始值,X1的值可在第一睡眠评估网络的训练过程中进行更新,即可根据训练数据来设定X1的最终值。若标准差小于X1,表征加速度曲线的曲线波动不大,即可以认为在该灭屏时段内,基于标准差无法准确评估终端设备用户是否在睡觉,需要结合第二种评估方式进行睡眠状态评分的训练。第二种评估方式为:对于无法通过第一种评估方式进行评分的灭屏时段,可以基于与这些灭屏时段对应的加速度数据中提取的特征向量,以及这些灭屏时段对应的标签(表征终端设备用户是否在睡觉)进行睡眠状态评分的训练,再利用验证集中的数据对训练得到的网络进行验证,基于验证结果进行网络修正(例如,调整神经网络的隐藏层的层数、隐藏层的神经元的数量、学习率等),重复网络训练与网络修正直至验证结果符合要求,停止训练。对于训练结束得到的网络(第一睡眠评估网络)还可使用测试集中的数据对网络测试,以评估网络的性能。
从灭屏时段对应的加速度数据中提取的特征向量可以是采用时域式提取加速度数据的特征向量。加速度数据的特征向量可包括最大值、最小值、中位数、平均值、标准差、方差、均方根、偏度、峰度等中的多个。
以终端设备为手机为例,某些手机用户可能存在上班期间有将手机放在口袋,且有走动行为,但上班期间一直不使用手机的习惯。这种情况下,用户的手机会处于长期灭屏状态,导致可能会认为在上班期间的灭屏时段是用户的睡眠时段。正常情形下,用户在睡觉时,手机应该是处于相对静止的状态,即便中途醒来,一般也只会出现短暂的运动。而如果用户此时是将手机放在口袋且处于长时间的工作中,期间多半会呈现有相对较为频繁的运动状态变化的现象,通过第一种评估方式计算加速度数据的标准差,并与第一预设阈值比较,可以快速识别出在上班期间的灭屏时段不是用户的睡眠时段,即可以为该灭屏时段赋予一个较低的睡眠状态评分。
图5示意了当日22:00-次日6:00,用户在家睡觉期间,手机的加速度传感器在灭屏时段采集到的部分加速度数据。从图5中可以看出,三个方向的加速度数据基本都为0,加速度数据波动较小。图6示意了次日10:00~20:00,用户在公司上班期间,手机的加速度传感器在灭屏时段采集的部分加速度数据,及基于次日10:00~20:00在灭屏时段采集到的加速度数据绘制的加速度曲线。从图6中可以看出,加速度曲线的曲线波动较大。
对于由声音传感器采集到的第二训练数据而言,可通过对第二训练数据进行预处理,将预处理后的第二训练数据随机划分为训练集、验证集与测试集,训练集、验证集与测试集中的数据可进行特征向量提取,便于后续可以基于训练集中的数据的特征向量进行网络训练,基于验证集中的数据的特征向量对训练得到的网络进行验证,以及基于测试集中的数据的特征向量对训练完成的网络(第二睡眠评估网络)进行测试。
第二睡眠评估网络在训练过程中,同样可以学习结合两种评估方式进行睡眠状态评分。第一种评估方式为:对于灭屏时段采集到的声音数据,对声音数据进行预处理(例如,数据清洗、降噪处理以及语音增强处理),然后以预处理后得到的声音数据的采集时间点为横轴,声音强度值为纵轴,绘制声音强度曲线,通过计算预处理后的声音数据的声音强度的标准差,来反映声音强度曲线波动的大小,例如,可先计算声音强度曲线中各点与均值之间的差值,再基于这些差值求平方和的平均数得到方差,方差开平方后取正平方根得到标准差。若标准差大于或等于第二预设阈值(X2),表征声音强度曲线的曲线波动较大,灭屏时段所对应的环境较嘈杂,即可以认为在该灭屏时段内,终端设备用户不在睡觉,可以给予该灭屏时段一个较低的睡眠状态评分,X2的值可以根据先验经验设定一个初始值,X2的值可在第二睡眠评估网络的训练过程中进行更新。若标准差小于X2,表征声音强度曲线的曲线波动不大,即可以认为在该灭屏时段内,基于标准差无法准确评估终端设备用户是否在睡觉,需要结合第二种评估方式进行睡眠状态评分的训练。第二种评估方式为:对于无法通过第一种评估方式进行评分的灭屏时段,可以基于与这些灭屏时段对应的声音数据中提取的特征向量,以及这些灭屏时段对应的标签(表征终端设备用户是否在睡觉)进行睡眠状态评分的训练,再利用验证集中的数据对训练得到的网络进行验证,基于验证结果进行网络修正(例如,调整神经网络的隐藏层的层数、隐藏层的神经元的数量、学习率等),重复网络训练与网络修正直至验证结果符合要求,停止训练。对于训练结束得到的网络(第二睡眠评估网络)还可使用测试集中的数据对网络测试,以评估网络的性能。
从灭屏时段对应的声音数据中提取的特征向量可以是采用时域、频域、傅里叶变换、小波变换等方式提取声音数据的特征向量。例如,可使用傅里叶变换或小波变换提取声音数据中的频率分量,通过时域或频域提取声音数据中的音频特征,时域的音频特征可包括时长、能量、极值点等,频域的音频特征可包括频谱、功率谱等。
以终端设备为手机为例,某些手机用户可能存在上班期间有将手机放在口袋、包包或者办公桌柜子中,工作期间不会使用手机。用户的手机会处于长期灭屏状态,导致可能会认为在上班期间的灭屏时段是用户的睡眠时段。正常情形下,用户在睡觉时,一般会处于比较安静的环境,周围环境的声音强度一般会在10-20db左右,且声音强度整体较平稳,不会出现较大的波动。而如果此时用户是在公司且把手机放在口袋、包包或者办公桌柜子里,周围环境的声音强度一般会在30db以上,且可能环境中会伴随着噪音烦扰,声音强度会出现大幅的波动,通过第一种评估方式计算声音数据的声音强度的标准差,并与第二预设阈值比较,可以快速识别出在上班期间的灭屏时段不是用户的睡眠时段,即可以为该灭屏时段赋予一个较低的睡眠状态评分。
图7示意了当日22:00-次日6:00,用户在家睡觉期间,手机的声音传感器在灭屏时段采集的部分声音数据,及基于当日22:00-次日6:00在灭屏时段采集到的声音数据绘制的声音强度曲线。从图7中可以看出,声音强度曲线的曲线波动较小,且声音强度在10db以内。图8示意了次日10:00~20:00,用户在公司上班期间,手机的声音传感器在灭屏时段采集的部分声音数据,及基于次日10:00~20:00在灭屏时段采集的声音数据绘制的声音强度曲线。从图8中可以看出,声音强度曲线的曲线波动较大,且声音强度大部分在30db以上。
对于睡觉会打呼噜的终端设备用户而言,打呼噜是下呼吸道和软腭振动产生的,呼噜声一般为低频的震动声,与其他的环境声音的频率存在差异。呼噜声的频谱图会包含较多的低频分量,并且频率大多集中在20 Hz~250 Hz的频段内。在第二睡眠评估网络的训练过程中,还可以通过呼噜声在频域的音频特征来进行睡眠状态评分训练,对于声音数据在频域的音频特征包含呼噜声的音频特征,可以给予该灭屏时段一个较高的睡眠状态评分。
对于由光敏传感器采集到的第三训练数据而言,可通过对第三训练数据进行预处理,将预处理后的第三训练数据随机划分为训练集、验证集与测试集,训练集、验证集与测试集中的数据可进行特征向量提取,便于后续可以基于训练集中的数据的特征向量进行网络训练,基于验证集中的数据的特征向量对训练得到的网络进行验证,以及基于测试集中的数据的特征向量对训练完成的网络(第三睡眠评估网络)进行测试。
第三睡眠评估网络在训练过程中,同样可以学习结合两种评估方式进行睡眠状态评分。第一种评估方式为:对于灭屏时段采集到的光线数据,对光线数据进行预处理(例如,数据清洗),然后计算预处理后得到的光线数据的光照强度的平均值。若光照强度的平均值大于或等于第三预设阈值(X3),表征灭屏时段所对应的环境光较强,即可以认为在该灭屏时段内,终端设备用户不在睡觉,可以给予该灭屏时段一个较低的睡眠状态评分,X3的值可以根据先验经验设定一个初始值,X3的值可在第三睡眠评估网络的训练过程中进行更新。若光照强度的平均值小于X3,表征灭屏时段所对应的环境光适中或较弱,即可以认为在该灭屏时段内,基于光照强度的平均值无法准确评估终端设备用户是否在睡觉,需要结合第二种评估方式进行睡眠状态评分的训练。第二种评估方式为:对于无法通过第一种评估方式进行评分的灭屏时段,可以基于与这些灭屏时段对应的光线数据中提取的特征向量,以及这些灭屏时段对应的标签(表征终端设备用户是否在睡觉)进行睡眠状态评分的训练,再利用验证集中的数据对训练得到的网络进行验证,基于验证结果进行网络修正(例如,调整神经网络的隐藏层的层数、隐藏层的神经元的数量、学习率等),重复网络训练与网络修正直至验证结果符合要求,停止训练。对于训练结束得到的网络(第三睡眠评估网络)还可使用测试集中的数据对网络测试,以评估网络的性能。
从灭屏时段对应的光线数据中提取的特征向量可以采用时域方式提取光线数据的特征向量。光线数据的特征向量可包括光线数据中的光照强度的最大值、最小值、中位数、平均值、标准差、方差、均方根、偏度、峰度等中的多个。
以终端设备为手机为例,某些手机用户可能存在上班期间有将手机放在办公桌上,工作期间不会使用手机。用户的手机会处于长期灭屏状态,导致可能会认为在上班期间的灭屏时段是用户的睡眠时段。正常情形下,用户在睡觉时,一般会在关灯的环境下,此时的环境光线的光照强度通常会很低,一般会在0.1勒克斯(lux)以下,即便是在晚上开台灯或者白天室内不开灯的情况下睡觉,环境光线的光照强度一般也会在10lux以下。而如果此时用户是在公司且把手机放在办公桌上,普通办公室的光照强度一般为300~500lux,高档办公室的光照强度一般在500~750lux,两者差异较大,通过第一种评估方式计算光线数据的光照强度的平均差,并与第三预设阈值比较,可以快速识别出在上班期间的灭屏时段不是用户的睡眠时段,即可以为该灭屏时段赋予一个较低的睡眠状态评分。
图9示意了当日22:00-次日6:00,用户在家睡觉期间,手机的光敏传感器在灭屏时段采集的部分光线数据。从图9中可以看出,光照强度在1lux以内,光照强度波动较小。图10示意了次日10:00~20:00,用户在公司上班期间,手机的光敏传感器在灭屏时段采集的部分光线数据,及基于次日10:00~20:00在灭屏时段采集的光线数据绘制的光照强度曲线。从图10中可以看出,光照强度曲线的曲线波动较大,且光照强度在300lux以上。
对于由红外人体传感器采集到的第四训练数据而言,可通过对第四训练数据进行预处理,将预处理后的第四训练数据随机划分为训练集、验证集与测试集,训练集、验证集与测试集中的数据可进行特征向量提取,便于后续可以基于训练集中的数据的特征向量进行网络训练,基于验证集中的数据的特征向量对训练得到的网络进行验证,以及基于测试集中的数据的特征向量对训练完成的网络(第四睡眠评估网络)进行测试。
人在睡觉时,人体辐射的红外能量一般较为稳定,且此时的终端设备一般处于相对静止的状态,红外人体传感器的感应区域一般不会有其他人或物侵入,使得检测到的红外辐射的幅度、频率、波形会具有特定的特征(例如,红外辐射的幅度、频率、波形比较固定,且数值不会发生较大的波动),偶尔出现的翻身行为,红外能量的变化也较小,且变化频次有限,即通过红外能量的变化特征还可识别出用户是否有睡觉翻身行为,辅助识别用户是否在睡觉。
第四睡眠评估网络在训练过程中,同样可以学习结合两种评估方式进行睡眠状态评分。第一种评估方式为:对于灭屏时段采集到的红外能量数据,对红外能量数据进行预处理(例如,数据清洗),然后计算预处理后得到的红外能量数据的红外能量强度的标准差。若红外能量强度的标准差大于或等于第四预设阈值(X4),表征灭屏时段所对应的红外能量波动较大,即可以认为在该灭屏时段内,终端设备用户不在睡觉,可以给予该灭屏时段一个较低的睡眠状态评分,X4的值可以根据先验经验设定一个初始值,X4的值可在第四睡眠评估网络的训练过程中进行更新。若红外能量强度的标准差小于X4,表征灭屏时段所对应的红外能量波动较小,即可以认为在该灭屏时段内,基于红外能量强度的标准差无法准确评估终端设备用户是否在睡觉,需要结合第二种评估方式进行睡眠状态评分的训练。第二种评估方式为:对于无法通过第一种评估方式进行评分的灭屏时段,可以基于与这些灭屏时段对应的红外能量数据中提取的特征向量,以及这些灭屏时段对应的标签(表征终端设备用户是否在睡觉)进行睡眠状态评分的训练,再利用验证集中的数据对训练得到的网络进行验证,基于验证结果进行网络修正(例如,调整神经网络的隐藏层的层数、隐藏层的神经元的数量、学习率等),重复网络训练与网络修正直至验证结果符合要求,停止训练。对于训练结束得到的网络(第三睡眠评估网络)还可使用测试集中的数据对网络测试,以评估网络的性能。
从灭屏时段对应的红外能量数据中提取的特征向量可以是采用时域、频域等方式提取红外能量数据的特征向量。例如,红外能量数据的特征向量可包括红外能量波形的幅度、频率、极值点、频谱、功率谱等。
网络训练设备在上述训练阶段,得到部署在终端设备的第一至第四睡眠评估网络。下面描述模型应用的过程,也即终端设备基于第一至第四睡眠评估网络进行推理的过程。
二、推理阶段
如图11所示,终端设备可运行有多个用于执行对应功能的软件开发工具包(software development kit,SDK),例如用于进行任务管理SDK,用于执行基于终端设备的灭屏时段确定用户睡眠时段的第一任务SDK,用执行基于睡眠时段与用户停留点簇进行家与公司标注的第二任务SDK,用于执行收集指定传感器(加速度传感器、红外人体传感器、声音传感器、光敏传感器)与定位模块采集的数据的数据中台SDK,这些SDK可以在终端设备开机启动之后进行自启动,且可设计为对用户不可见。
任务管理SDK、第一任务SDK、第二任务SDK以及数据中台SDK之间进行交互的流程可包括:
61:数据中台SDK向任务管理SDK注册数据收集任务。
62:第一任务SDK向任务管理SDK注册确定用户睡眠时段的任务。
63:第二任务SDK向任务管理SDK注册进行家与公司标注的任务。
第一任务SDK、第二任务SDK以及数据中台SDK可以在终端设备开机启动之后,向数据中台SDK进行对应的任务注册。流程61、流程62与流程63可以同步执行,或者可以依照数据中台SDK、第一任务SDK及第二任务SDK的先后启动顺序依序执行。
64:任务管理SDK在检测到终端设备处于充电状态或者灭屏状态的情形下,发送第一任务调度指令至第一任务SDK。
在一些实施例中,若终端设备处于充电状态或者灭屏状态,表明终端设备当前大概率处于未使用状态,任务管理SDK可发送第一任务调度指令至第一任务SDK,以执行确定用户睡眠时段的任务。通过在充电状态或者灭屏状态启动第一任务SDK,可以最大程度降低第一任务SDK的运行占用系统资源,而响应用户使用终端设备的体验。
65:第一任务SDK基于第一任务调度指令,从数据中台SDK获取指定传感器在预设时间内的灭屏时段采集的数据。
指定传感器可包括加速度传感器、红外人体传感器、声音传感器以及光敏传感器。预设时间可以根据实际需求进行设定,本申请实施例对此不作限定,预设时间可选设置为24h、48小时等。
例如,预设时间为前天0点~昨天24点,即从数据中台SDK获取加速度传感器、红外人体传感器、声音传感器以及光敏传感器在前天0点~昨天24点之间,且终端设备处于灭屏期间采集的数据。
66:第一任务SDK遍历各个灭屏时段并合并时间间隔在第一时长内的灭屏时段。
在一些实施例中,第一任务SDK可通过遍历各个灭屏时段,实现获取相邻的两个灭屏时段之间的时间间隔,若时间间隔小于第一时长,可以认为相邻的两个灭屏时段是属于同一个灭屏时段,通过将相邻的该两个灭屏时段进行合并,得到一个新的灭屏时段。第一时长可以根据实际需求进行设定,本申请实施例对此不作限定,第一时长可选为10分钟、20分钟等。
例如,第一时长为20分钟,灭屏时段包括前天0点~前天5点、前天5点十分~前天7点,该两个灭屏时段的时间间隔为10分钟,小于第一时长,可将该两个灭屏时段合并为一个灭屏时段:前天0点~前天7点。
67:第一任务SDK从合并之后得到的灭屏时段中,筛选时长大于预设时长的灭屏时段作为候选时段。
在一些实施例中,由于用户正常一天睡眠的时间不会特别短,对于明显时长较短的灭屏时段可以直接认为不是睡眠时段。通过筛选出时长大于预设时长的灭屏时段作为候选时段,仅对候选时段进行睡眠状态评分,可以降低后续数据处理的数据量。预设时长可以根据实际需求进行设定,本申请实施例对此不作限定,例如,预设时长可选为3小时、4小时。
68:第一任务SDK基于睡眠评估网络,从候选时段中选择目标灭屏时段,作为终端设备用户的睡眠时段。
睡眠评估网络可以包括第一至第四睡眠评估网络,通过第一至第四睡眠评估网络对各个候选时段进行睡眠状态评分,实现从候选时段中选择目标灭屏时段,作为终端设备用户的睡眠时段。
例如,以24小时内的灭屏时段为例,可基于第一至第四睡眠评估网络对时长最长的候选时段进行睡眠状态评分,若评分分数大于第一阈值,可将该时长最长的候选时段作为终端设备用户的睡眠时段。若时长最长的候选时段的评分分数小于第一阈值,对其他候选时段进行睡眠状态评分;若其他候选时段中有且仅有一段候选时段的评分分数大于第一阈值,可以可将该候选时段作为终端设备用户的睡眠时段;若存在不止一段候选时段的评分分数大于第一阈值,可以从这些评分分数大于第一阈值的候选时段中,选取时长最长的候选时段作为终端设备用户的睡眠时段。
69:第一任务SDK将睡眠时段发送给任务管理SDK。
在确定睡眠时段之后,第一任务SDK可将睡眠时段发送给任务管理SDK,便于后续进行家与公司的标注。
70:任务管理SDK响应于接收到的睡眠时段,发送第二任务调度指令及睡眠时段至第二任务SDK。
任务管理SDK可以在接收到第一任务SDK发送的睡眠时段时,发送第二任务调度指令至第二任务SDK,以触发第二任务SDK执行基于睡眠时段与用户停留点簇进行家与公司标注的任务。
71:第二任务SDK基于第二任务调度指令,从数据中台SDK获取定位模块在预设时间内采集的定位数据。
定位模块可以是全球定位系统(Global Position System)模块、北斗定位模块等。
72:第二任务SDK基于定位数据进行停留点识别与停留点聚类,得到至少一个停留点簇。
第二任务SDK在获取到定位数据之后,可以基于时间阈值和距离阈值识别终端设备用户的停留点。时间阈值用于定义一个停留点需要满足的停留时间阈值,距离阈值用于定义停留点与停留点之间需要满足的距离。在得到终端设备用户的停留点之后,第二任务SDK还可基于现有的聚类算法对停留点进行聚类,得到至少一个停留点簇。
73:第二任务SDK计算睡眠时段与各个停留点簇的重叠时长,及基于各个重叠时长对停留点簇进行家与公司的标注。
在得到停留点簇之后,第二任务SDK可通过计算睡眠时段与各个停留点簇的重叠时长,进而可以基于睡眠时段与各个停留点簇的重叠时长对停留点簇进行家与公司的标注。
例如,可以选取重叠时长最长的停留点簇标记为家,然后再剩余的停留点簇中,选取停留时长最长且大于第二时长的停留点簇,标记为公司,第二时长可以根据实际需求进行设定,本申请实施例对此不作限定,例如,第二时长可以设定为4h。
举例而言,睡眠时段为前天23点~昨天6点,停留点簇包括:第一停留点簇,停留时间为前天9点~前天12点;第二停留点簇,停留时间为前天13点~前天17点;第三停留点簇,停留时间为前天19点~昨天9点;第四停留点簇,停留时间为昨天10点~昨天22点。即可以计算得到睡眠时段与第一停留点簇的重叠时长为0h、与第二停留点簇的重叠时长为0h、与第三停留点簇的重叠时长为7h及与第四停留点簇的重叠时长为0h。因此,第二任务SDK可将第三停留点簇对应的位置标记为家,而由于在第一停留点簇、第二停留点簇与第四停留点簇中,第四停留点簇的停留时长最长,且第四停留点簇的停留时长大于4h,第二任务SDK可将第四停留点簇对应的位置标记为公司。
74:第二任务SDK将家与公司的标注结果发送给任务管理SDK。
在对停留点簇进行家与公司的标注,第二任务SDK可将家与公司的标注结果发送给任务管理SDK,便于终端设备后续可基于任务管理SDK存储的家与公司的标注结果,确定终端设备用户的当前位置是否是在家或公司,以及在检测到终端设备用户的当前位置在家或公司时,可提供相应的推荐服务和/或预测服务。
例如,用户在家对应的推荐服务包括:推荐取快递、推荐锻炼,用户在家对应的预测服务包括:常玩的游戏应用的预加载;用户在公司对应的推荐服务包括:推荐打卡、推荐会议日程,用户在公司对应的预测服务包括:午餐支付应用的预测。
在一些实施例中,任务管理SDK在检测到终端设备处于结束充电状态且亮屏,或者亮屏状态的情形下,可以发送任务暂停指令至第一任务SDK与第二任务SDK,第一任务SDK与第二任务SDK可以响应于任务暂停指令,暂停执行任务。即通过设定第一任务SDK与第二任务SDK仅在充电状态或者灭屏状态执行任务,可以最大程度降低第一任务SDK、第二任务SDK的运行占用系统资源,而响应用户使用终端设备的体验。
如图12所示,示意了终端设备实现家与公司的标注以及提供相应的推荐服务和/或预测服务的软件框架。软件框架可以划分为三层:第一层为业务层,第二层为计算引擎层,第三层为数据感知层。业务层可运行有与推荐服务和/或预测服务关联的应用程序,例如实现打卡、取快递的应用程序。数据感知层可包括数据采集与数据汇总,例如采集定位信息、在灭屏时段的运动信息、环境声音信息、环境光线信息、人体辐射的红外能量信息等,数据采集可以由数据感知SDK与传感器实现,数据汇总可以由数据中台SDK实现。计算引擎层可包括学习引擎与决策引擎,学习引擎可基于数据感知层的数据进行用户个人习惯、用户画像等内容的学习,图11所示的任务管理SDK、第一任务SDK以及第二任务SDK可部署在学习引擎中,通过学习引擎可学习到终端设备用户的家与公司的位置。决策引擎可基于学习引擎的学习结果以及终端设备当前所处的环境状态决策提供何种推荐服务和/或预测服务。
如图13所示,数据感知SDK可通过监听灭屏事件与亮屏事件,来实现控制加速度传感器、红外人体传感器、声音传感器及光敏传感器进行数据的采集。例如,当数据感知SDK监听到灭屏事件时,可以控制传感器驱动驱动加速度传感器、红外人体传感器、声音传感器及光敏传感器进行数据的采集,当数据感知SDK监听到亮屏事件时,控制传感器驱动暂停驱动加速度传感器、红外人体传感器、声音传感器及光敏传感器,进而实现控制加速度传感器、红外人体传感器、声音传感器及光敏传感器暂停进行数据的采集。
在一些实施例中,为了避免频繁的数据采集消耗终端设备过多的电量,还可以设定每次进行数据采集的第一预设时间间隔,以及预设时间内的最大采集次数。第一预设时间间隔与最大采集次数可以根据实际需求进行设定,本申请实施例对此不作限定。例如,第一预设时间间隔可选设定为30分钟、1小时等,最大采集次数可设定一天之内最多进行10次的数据采集。
如图14所示,为本申请实施例提供的数据感知SDK在灭屏时段进行数据采集的流程示意图。
步骤S81,在监听到灭屏事件的情形下,确定数据采集的时间点是否合适。
数据感知SDK可在监听到灭屏事件的情形下,确定本次进行数据采集的时间点是否合适。确定数据采集的时间点是否合适可以是:判断本次数据采集与上一次数据采集之间的时间间隔是否大于第一预设时间间隔。若本次数据采集与上一次数据采集之间的时间间隔大于第一预设时间间隔,执行步骤S82,若本次数据采集与上一次数据采集之间的时间间隔小于第一预设时间间隔,表明数据采集过于频繁,流程结束,等待下一个灭屏事件再进行判断。
步骤S82,若数据采集的时间点合适,确定在预设时间内的已采集次数是否大于最大采集次数。
数据感知SDK可统计在预设时间内的已进行数据采集的次数。若本次进行数据采集的时间点合适,数据感知SDK还可继续确定在预设时间内的已采集次数是否大于最大采集次数。若在预设时间内的已采集次数大于最大采集次数,表明预设时间内的数据采集次数已用完,流程结束,等待下一个灭屏事件再进行判断。若在预设时间内的已采集次数小于最大采集次数,表明预设时间内的数据采集次数未用完,可执行步骤S83。
步骤S83,若确定在预设时间内的已采集次数小于最大采集次数,控制加速度传感器、红外人体传感器、声音传感器及光敏传感器进行数据的采集。
若确定在预设时间内的已采集次数小于最大采集次数,数据感知SDK可控制加速度传感器、红外人体传感器、声音传感器及光敏传感器进行数据的采集。
步骤S84,确定是否监听到亮屏事件,及在监听到亮屏事件的情形下,停止数据的采集。
本申请是基于在灭屏时段传感器采集的数据实现对灭屏时段进行睡眠状态评分,因此不需要采集亮屏时段的数据。为了降低终端设备的功耗,数据感知SDK还可在监听到亮屏事件的情形下,控制加速度传感器、红外人体传感器、声音传感器及光敏传感器停止进行数据的采集。
请参阅图15,图15为本申请实施例提供的睡眠状态评估方法的一种流程示意图。本申请实施例提供的睡眠状态评估方法可以应用在终端设备中,终端设备部署有第一至第四睡眠评估网络,睡眠状态评估方法可以包括如下步骤:
步骤S91,获取位于预设时间内的灭屏时段,及从获取到的灭屏时段中筛选出时长大于预设时长的灭屏时段作为候选时段。
预设时间可以根据实际需求进行设定,本申请实施例对此不作限定,预设时间可选设置为24h或48小时。由于用户正常在24h或48小时内的睡眠时间不会特别短,对于明显时长较短的灭屏时段可以直接认为不是睡眠时段,无需进行睡眠状态评分,可降低睡眠评估网络的数据处理量。
步骤S92,从筛选得到的候选时段中选取时长最长的第一灭屏时段,及基于第一至第四睡眠评估网络分别对第一灭屏时段进行睡眠状态评分。
在一些实施例中,在筛选得到候选时段之后,可以先从候选时段中选取时长最长的灭屏时段(即第一灭屏时段),再基于第一至第四睡眠评估网络分别对第一灭屏时段进行睡眠状态评分,可得到四个评分分数。
具体地,可从在第一灭屏时段采集的加速度数据中提取特征向量(该加速度数据可经过预处理后再进行特征提取),并输入至第一眠评估网络,第一眠评估网络可输出第一灭屏时段的第一评分;从在第一灭屏时段采集的声音数据中提取特征向量(该声音数据可经过预处理后再进行特征提取),并输入至第二眠评估网络,第二眠评估网络可输出第一灭屏时段的第二评分;从在第一灭屏时段采集的光线数据中提取特征向量(该光线数据可经过预处理后再进行特征提取),并输入至第三眠评估网络,第三眠评估网络可输出第一灭屏时段的第三评分;从在第一灭屏时段采集的红外能量数据中提取特征向量(该红外能量数据可经过预处理后再进行特征提取),并输入至第四眠评估网络,第四眠评估网络可输出第一灭屏时段的第四评分。
S93,基于第一至第四睡眠评估网络得到的评分分数,确定第一灭屏时段的睡眠状态评分分数。
第一灭屏时段的睡眠状态评分分数可以是第一评分、第二评分、第三评分与第四评分的均值,或者可以根据实际需求或先验经验为第一评分、第二评分、第三评分与第四评分设定对应的权重系数,基于权重系数对第一评分、第二评分、第三评分与第四评分进行加权计算得到,或者采用其他的数学计算方法基于第一评分、第二评分、第三评分与第四评分计算得到。
S94,若第一灭屏时段的睡眠状态评分分数大于第一阈值,将第一灭屏时段作为终端设备用户的睡眠时段。
若第一灭屏时段的睡眠状态评分分数大于第一阈值,表明时长最长的第一灭屏时段具有用户睡眠状态下的特征,可直接将第一灭屏时段作为终端设备用户的睡眠时段,无需再对其他的候选时段进行评分。
S95,若第一灭屏时段的睡眠状态评分分数小于或等于第一阈值,基于第一至第四睡眠评估网络对候选时段中的其他所有灭屏时段分别进行睡眠状态评分,得到多个睡眠状态评分分数。
若第一灭屏时段的睡眠状态评分分数小于或等于第一阈值,表明时长最长的第一灭屏时段不具有用户睡眠状态下的特征,可认为第一灭屏时段不是终端设备用户的睡眠时段。因此,需要再对候选时段中的其他所有灭屏时段分别进行评分,得到每个灭屏时段对应的睡眠状态评分分数。
S96,若多个睡眠状态评分分数中仅存在一个睡眠状态评分分数大于第一阈值,将大于第一阈值的睡眠状态评分分数对应的灭屏时段作为终端设备用户的睡眠时段。
若多个睡眠状态评分分数中仅存在一个评分分数大于第一阈值,可直接将评分分数大于第一阈值对应的灭屏时段作为终端设备用户的睡眠时段。
S97,若多个睡眠状态评分分数中存在两个或两个以上的睡眠状态评分分数大于第一阈值,从大于第一阈值的睡眠状态评分分数对应的灭屏时段中选择时长最长的灭屏时段作为终端设备用户的睡眠时段。
若多个睡眠状态评分分数中存在多个评分分数大于第一阈值,基于用户睡眠时间一般相对较长的特性,可从多个评分分数大于第一阈值的灭屏时段中选择时长最长的灭屏时段作为终端设备用户的睡眠时段。
S98,若多个睡眠状态评分分数均小于第一阈值,输出预设的提示信息,或将时长最长的第一灭屏时段作为终端设备用户的睡眠时段。
在一些实施例中,若多个睡眠状态评分分数均小于第一阈值,表明基于本申请实施例提供的睡眠状态评估方法无法识别出终端设备用户的睡眠时段,在终端设备的UI界面输出预设的提示信息,或者直接将时长最长的灭屏时段(第一灭屏时段)作为终端设备用户的睡眠时段。
终端设备在出厂前部署的是具有相同网络参数的睡眠评估网络(第一至第四睡眠评估网络)。在终端设备出厂后,由于不同终端用户具有不同的睡眠习惯,部署在终端设备的睡眠状态评估可能会由于不同的终端用户而具有不同的睡眠状态评估的准确性。为了提升睡眠评估网络的性能,实现针对不同的终端用户,进行睡眠评估网络的定制化。睡眠评估网络还可在终端设备使用过程中,基于在灭屏时段收集的数据进行训练。
请参阅图16,图16为本申请实施例提供的睡眠评估网络的优化方法的一种流程示意图。本申请实施例提供的优化方法可以应用在终端设备中,优化方法可以包括如下步骤:
步骤S101,在监听到灭屏事件的情形下,确定网络优化的时间点是否合适。
在监听到灭屏事件的情形下,确定本次进行网络优化的时间点是否合适。确定网络优化的时间点是否合适可以是:判断本次网络优化与上一次网络优化之间的时间间隔是否大于第二预设时间间隔。若本次网络优化与上一次网络优化之间的时间间隔大于第二预设时间间隔,执行步骤S102,若本次网络优化与上一次网络优化之间的时间间隔小于第二预设时间间隔,表明网络优化过于频繁,流程结束,等待下一个灭屏事件再进行判断。第二预设时间间隔可根据实际需求进行设定,本申请实施例对此不作限定,例如,第二预设时间间隔可以设定为一天、一周等。
通过在监听到灭屏事件的情形下,确定网络优化的时间点是否合适,可以使得网络优化尽可能在终端设备灭屏期间进行,可最大程度降低由于网络优化占用设备系统资源,而影响用户使用终端设备的体验。
步骤S102,若网络优化的时间点合适,获取指定传感器在目标预设时间内采集的数据,目标预设时间包括终端设备用户的睡眠时段,睡眠评估网络对目标预设时间的所有灭屏时段进行睡眠状态评分分数表征目标预设时间的所有灭屏时段均不是睡眠时段。
目标预设时间实际上包括终端设备用户的睡眠时段,但是经过睡眠评估网络评分,得到的分数表征目标预设时间的所有灭屏时段均不是睡眠时段,表明睡眠评估网络评分有误,需要进行优化。例如,通过第一种评估方式(即阈值比对),得到目标预设时间内的各个灭屏时段的数据的标准差或均值均是大于对应的阈值,导致睡眠状态评分的结果为表征目标预设时间的所有灭屏时段均不是睡眠时段的分数,即第一种评估方式出现误判。
例如,目标预设时间包含有三段灭屏时段d1、d2、d3,如果通过第一种评估方式对灭屏时段d1、d2、d3进行睡眠状态评分,给出的评分分数为表征灭屏时段d1、d2、d3均不是睡眠时段的分数,但是若跳过第一种评估方式,而直接采用第二种评估方式,实际上可以得出灭屏时段d1、d2、d3中存在一个或多个灭屏时段的评分大于第一阈值时,表明第一种评估方式出现误判,第一种评估方式中的阈值(X1、X2、X3、X4)设置不合理,需要进行修正。
例如,目标预设时间包含有三段灭屏时段d1、d2、d3,如果通过第一种评估方式对灭屏时段d1、d2、d3进行睡眠状态评分,给出的评分分数为表征灭屏时段d1、d2、d3均不是睡眠时段的分数,跳过第一种评估方式,采用第二种评估方式,得出的灭屏时段d1、d2、d3中仍然不存在灭屏时段的评分大于第一阈值时,表明第一种评估方式与第二种评估方式均出现误判,第一种评估方式中的阈值(X1、X2、X3、X4)设置不合理,需要进行修正,第二种评估方式所使用的网络参数(隐藏层的层数、隐藏层的神经元数量等)也需要进行调整。
步骤S103,基于目标预设时间内采集的数据对睡眠评估网络进行训练,对睡眠评估网络进行更新。
基于目标预设时间内采集的数据对睡眠评估网络进行训练,更新睡眠评估网络中的第一种评估方式的阈值和/或第二种评估方式所使用的网络参数。例如,可基于目标预设时间内采集的数据计算得到的标准差或均值,更新对应的阈值(X1、X2、X3、X4)。
本申请实施例还提供了一种终端设备,请参阅图17,图17为本申请实施例提供的终端设备的一种结构示意图,其中,终端设备100上可以部署有上述实施例中所描述的睡眠评估网络。具体的,终端设备100包括:接收器111、发射器112、处理器113和存储器114(其中终端设备100中的处理器113的数量可以一个或多个,图17中以一个处理器为例),其中,处理器113可以包括应用处理器1131和通信处理器1132。在本申请的一些实施例中,接收器111、发射器112、处理器113和存储器114可通过总线或其它方式连接。
存储器114可以包括只读存储器和随机存取存储器,并向处理器113提供指令和数据。存储器114的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory,NVRAM)。存储器114存储有处理器和操作指令、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,操作指令可包括各种操作指令,用于实现各种操作。
处理器113控制终端设备的操作。具体的应用中,终端设备的各个组件通过总线系统耦合在一起,其中总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都称为总线系统。
上述本申请实施例图15或图16揭示的方法可以应用于处理器113中,或者由处理器113实现。处理器113可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器113中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器113可以是通用处理器、数字信号处理器(digital signal processing,DSP)、微处理器或微控制器,还可进一步包括专用集成电路(application specificintegrated circuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器113可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器114,处理器113读取存储器114中的信息,结合其硬件完成上述方法的步骤。
接收器111可用于接收输入的数字或字符信息,以及产生与终端设备的相关设置以及功能控制有关的信号输入,接收器111还可以包括摄像头等拍照模组。发射器112可用于通过第一接口输出数字或字符信息;发射器112还可用于通过第一接口向磁盘组发送指令,以修改磁盘组中的数据;发射器12还可以包括显示屏等显示设备。
本申请实施例中,在一种情况下,应用处理器1131,用于执行图15或图16对应实施例中终端设备的功能。需要说明的是,对于应用处理器1131执行图15或图16对应实施例中终端设备的功能的具体实现方式以及带来的有益效果,均可以参考图15或图16对应的方法实施例中的叙述,此处不再一一赘述。
请一并参阅图18,图18为本申请实施例提供的网络训练设备的一种结构示意图。
网络训练设备200可用于实现图4对应的方法实施例。具体的,网络训练设备200由一个或多个服务器或者计算机实现,网络训练设备200可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)210(例如,一个或一个以上处理器)和存储器211,一个或一个以上存储应用程序212或数据213的存储介质214(例如一个或一个以上海量存储设备)。其中,存储器211和存储介质214可以是短暂存储或持久存储。存储在存储介质214的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对网络训练设备中的一系列指令操作。更进一步地,中央处理器210可以设置为与存储介质214通信,在网络训练设备200上执行存储介质214中的一系列指令操作。
网络训练设备200还可以包括一个或一个以上电源215,一个或一个以上有线或无线网络接口216,一个或一个以上输入输出接口217,和/或,一个或一个以上操作系统218,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
本申请实施例中,在一种情况下,中央处理器210,可用于实现图4对应的方法实施例。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有程序,当其在计算机上运行时,使得计算机执行如上述实施例中网络训练设备所执行的步骤,或者,执行如上述终端设备所执行的步骤。
本申请实施例中还提供一种包括计算机程序产品,当其在计算机上运行时,使得计算机执行如上述网络训练设备所执行的步骤,或者,执行如上述终端设备所执行的步骤。
本申请实施例中还提供一种神经网络部署系统,包括终端设备和服务器,服务器用于执行如上述实施例中网络训练设备所执行的步骤,终端设备用于执行如上述实施例中终端设备所执行的步骤。
Claims (18)
1.一种网络训练方法,应用于网络训练设备,其特征在于,所述方法包括:
获取终端设备采集的多个灭屏时段的训练数据,所述训练数据包括所述终端设备通过传感器采集的环境数据及与用户活动状态关联的数据;
基于所述训练数据及预设的机器学习算法,训练得到基于所述终端设备的灭屏时段进行睡眠状态评分的睡眠评估网络;
所述基于所述训练数据及预设的机器学习算法,训练得到基于所述终端设备的灭屏时段进行睡眠状态评分的睡眠评估网络,包括:
基于所述多个灭屏时段中的每个灭屏时段的训练数据,计算所述每个灭屏时段的训练数据的统计值,所述统计值为标准差或均值;
基于所述每个灭屏时段的训练数据的统计值及所述每个灭屏时段对应的标签,设定与所述睡眠评估网络对应的预设阈值,所述标签用于表征灭屏时段是否是睡眠时段;
对所述每个灭屏时段的训练数据进行特征向量提取;
基于所述每个灭屏时段的训练数据的特征向量及所述每个灭屏时段对应的标签,对所述睡眠评估网络进行灭屏时段的睡眠状态评分的训练,在待评分的灭屏时段的训练数据的统计值大于或等于所述预设阈值的情形下,所述睡眠评估网络进行睡眠状态评分的分数表征所述待评分的灭屏时段不是睡眠时段;在所述待评分的灭屏时段的训练数据的统计值小于所述预设阈值的情形下,所述睡眠评估网络基于所述待评分的灭屏时段的训练数据的特征向量为所述待评分的灭屏时段进行睡眠状态评分。
2.如权利要求1所述的方法,其特征在于,所述传感器包括加速度传感器、声音传感器、光敏传感器以及红外人体传感器,所述睡眠评估网络包括第一睡眠评估网络、第二睡眠评估网络、第三睡眠评估网络及第四睡眠评估网络,其中:
所述第一睡眠评估网络基于所述加速度传感器采集的加速度数据训练得到;
所述第二睡眠评估网络基于所述声音传感器采集的声音数据训练得到;
所述第三睡眠评估网络基于所述光敏传感器采集的光线数据训练得到;
所述第四睡眠评估网络基于所述红外人体传感器采集的红外能量数据训练得到。
3.如权利要求2所述的方法,其特征在于,所述基于所述训练数据及预设的机器学习算法,训练得到基于所述终端设备的灭屏时段进行睡眠状态评分的睡眠评估网络,包括:
基于所述多个灭屏时段中的每个灭屏时段的加速度数据,计算所述每个灭屏时段的加速度数据的标准差;
基于所述每个灭屏时段的加速度数据的标准差及所述每个灭屏时段对应的标签,设定所述第一睡眠评估网络中的第一预设阈值,所述标签用于表征灭屏时段是否是睡眠时段;
对所述每个灭屏时段的加速度数据进行特征向量提取;
基于所述每个灭屏时段的加速度数据的特征向量及所述每个灭屏时段对应的标签,对所述第一睡眠评估网络进行灭屏时段的睡眠状态评分的训练,在待评分的灭屏时段的加速度数据的标准差大于或等于所述第一预设阈值的情形下,所述第一睡眠评估网络进行睡眠状态评分的分数表征所述待评分的灭屏时段不是睡眠时段;在所述待评分的灭屏时段的加速度数据的标准差小于所述第一预设阈值的情形下,所述第一睡眠评估网络基于所述待评分的灭屏时段的加速度数据的特征向量为所述待评分的灭屏时段进行睡眠状态评分。
4.如权利要求2所述的方法,其特征在于,所述基于所述训练数据及预设的机器学习算法,训练得到基于所述终端设备的灭屏时段进行睡眠状态评分的睡眠评估网络,包括:
基于所述多个灭屏时段中的每个灭屏时段的声音数据,计算所述每个灭屏时段的声音强度的标准差;
基于所述每个灭屏时段的声音强度的标准差及所述每个灭屏时段对应的标签,设定所述第二睡眠评估网络中的第二预设阈值,所述标签用于表征灭屏时段是否是睡眠时段;
对所述每个灭屏时段的声音数据进行特征向量提取;
基于所述每个灭屏时段的声音数据的特征向量及所述每个灭屏时段对应的标签,对所述第二睡眠评估网络进行灭屏时段的睡眠状态评分的训练,在待评分的灭屏时段的声音强度的标准差大于或等于所述第二预设阈值的情形下,所述第二睡眠评估网络为所述待评分的灭屏时段进行睡眠状态评分的分数表征所述待评分的灭屏时段不是睡眠时段;在所述待评分的灭屏时段的声音强度的标准差小于所述第二预设阈值的情形下,所述第二睡眠评估网络基于所述待评分的灭屏时段的声音数据的特征向量为所述待评分的灭屏时段进行睡眠状态评分。
5.如权利要求4所述的方法,其特征在于,在所述待评分的灭屏时段的声音数据的特征向量中包含打呼声的音频特征向量的情形下,所述第二睡眠评估网络为所述待评分的灭屏时段进行睡眠状态评分的分数表征所述待评分的灭屏时段是睡眠时段。
6.如权利要求2所述的方法,其特征在于,所述基于所述训练数据及预设的机器学习算法,训练得到基于所述终端设备的灭屏时段进行睡眠状态评分的睡眠评估网络,包括:
基于所述多个灭屏时段中的每个灭屏时段的光线数据,计算所述每个灭屏时段的光照强度的均值;
基于所述每个灭屏时段的光照强度的均值及所述每个灭屏时段对应的标签设定所述第三睡眠评估网络中的第三预设阈值,所述标签用于表征灭屏时段是否是睡眠时段;
对所述每个灭屏时段的光线数据进行特征向量提取;
基于所述每个灭屏时段的光线数据的特征向量及所述每个灭屏时段对应的标签,对所述第三睡眠评估网络进行灭屏时段的睡眠状态评分的训练,在待评分的灭屏时段的光照强度的均值大于或等于所述第三预设阈值的情形下,所述第三睡眠评估网络为所述待评分的灭屏时段进行睡眠状态评分的分数表征所述待评分的灭屏时段不是睡眠时段的分数;在所述待评分的灭屏时段的光照强度的均值小于所述第三预设阈值的情形下,所述第三睡眠评估网络基于所述待评分的灭屏时段的光线数据的特征向量为所述待评分的灭屏时段进行睡眠状态评分。
7.如权利要求2所述的方法,其特征在于,所述基于所述训练数据及预设的机器学习算法,训练得到基于所述终端设备的灭屏时段进行睡眠状态评分的睡眠评估网络,包括:
基于所述多个灭屏时段中的每个灭屏时段的红外能量数据,计算所述每个灭屏时段的红外能量强度的标准差;
基于所述每个灭屏时段的红外能量强度的标准差及所述每个灭屏时段对应的标签设定所述第四睡眠评估网络中的第四预设阈值,所述标签用于表征灭屏时段是否是睡眠时段;
对所述每个灭屏时段的红外能量数据进行特征向量提取;
基于所述每个灭屏时段的红外能量数据的特征向量及所述每个灭屏时段对应的标签,对所述第四睡眠评估网络进行灭屏时段的睡眠状态评分的训练,在待评分的灭屏时段的红外能量强度的标准差大于或等于所述第四预设阈值的情形下,所述第四睡眠评估网络为所述待评分的灭屏时段进行睡眠状态评分的分数表征所述待评分的灭屏时段不是睡眠时段的分数;在所述待评分的灭屏时段的红外能量强度的标准差小于所述第四预设阈值的情形下,所述第四睡眠评估网络基于所述待评分的灭屏时段的红外能量数据的特征向量为所述待评分的灭屏时段进行睡眠状态评分。
8.一种睡眠状态评估方法,应用于终端设备,其特征在于,所述终端设备包括传感器并部署有基于权利要求1至7中任一项所述的网络训练方法训练得到的睡眠评估网络,所述睡眠状态评估方法包括:
获取所述终端设备在预设时间内的多个待评分的灭屏时段;
从所述多个待评分的灭屏时段中选取时长最长的第一灭屏时段;
基于所述传感器在所述第一灭屏时段采集的数据,利用所述睡眠评估网络得到所述第一灭屏时段对应的睡眠状态评分分数;
若所述第一灭屏时段对应的睡眠状态评分分数大于第一阈值,将所述第一灭屏时段确定为用户在所述预设时间内的睡眠时段。
9.如权利要求8所述的方法,其特征在于,所述利用所述睡眠评估网络得到所述第一灭屏时段对应的睡眠状态评分分数之后,还包括:
若所述第一灭屏时段对应的睡眠状态评分分数小于或等于所述第一阈值,基于所述传感器在所述多个待评分的灭屏时段中的其余灭屏时段采集的数据,利用所述睡眠评估网络对所述其余灭屏时段分别进行睡眠状态评分,得到多个睡眠状态评分分数;
基于所述多个睡眠状态评分分数,确定目标灭屏时段,及将所述目标灭屏时段确定为所述用户在所述预设时间内的睡眠时段。
10.如权利要求9所述的方法,其特征在于,所述基于所述多个睡眠状态评分分数,确定目标灭屏时段,包括:
若所述多个睡眠状态评分分数中仅存在一个睡眠状态评分分数大于所述第一阈值,将大于所述第一阈值的睡眠状态评分分数对应的灭屏时段作为所述目标灭屏时段;
若所述多个睡眠状态评分分数中存在两个或两个以上的睡眠状态评分分数大于所述第一阈值,从大于所述第一阈值的睡眠状态评分分数对应的灭屏时段中选择时长最长的灭屏时段作为所述目标灭屏时段;
若所述多个睡眠状态评分分数均小于所述第一阈值,将所述第一灭屏时段作为所述目标灭屏时段。
11.如权利要求8所述的方法,其特征在于,所述传感器包括加速度传感器、声音传感器、光敏传感器以及红外人体传感器。
12.如权利要求11所述的方法,其特征在于,所述睡眠评估网络包括第一睡眠评估网络、第二睡眠状态评估网络、第三睡眠状态评估网络及第四睡眠状态评估网络,所述基于所述传感器在所述第一灭屏时段采集的数据,利用所述睡眠评估网络得到所述第一灭屏时段对应的睡眠状态评分分数,包括:
基于所述加速度传感器在所述第一灭屏时段采集的数据,利用所述第一睡眠评估网络得到所述第一灭屏时段的第一评分;
基于所述声音传感器在所述第一灭屏时段采集的数据,利用所述第二睡眠评估网络得到所述第一灭屏时段的第二评分;
基于所述光敏传感器在所述第一灭屏时段采集的数据,利用所述第三睡眠评估网络得到所述第一灭屏时段的第三评分;
基于所述红外人体传感器在所述第一灭屏时段采集的数据,利用所述第四睡眠评估网络得到所述第一灭屏时段的第四评分;
基于所述第一评分、所述第二评分、所述第三评分及所述第四评分,得到所述第一灭屏时段的睡眠状态评分分数。
13.如权利要求8所述的方法,其特征在于,所述方法还包括:
获取所述传感器在目标预设时间内采集的数据,所述目标预设时间包括所述用户的睡眠时段,所述睡眠评估网络对所述目标预设时间的所有灭屏时段进行睡眠状态评分分数表征所述目标预设时间的所有灭屏时段均不是睡眠时段;
基于所述传感器在所述目标预设时间内采集的数据对所述睡眠评估网络进行训练,对所述睡眠评估网络进行更新。
14.如权利要求13所述的方法,其特征在于,所述基于所述传感器在所述目标预设时间内采集的数据对所述睡眠评估网络进行训练,包括:
在所述终端设备处于灭屏的情形下,获取所述终端设备上一次对所述睡眠评估网络进行训练的结束时间;
若所述终端设备的当前系统时间与所述结束时间的时间间隔大于预设时间间隔,基于所述传感器在所述目标预设时间内采集的数据对所述睡眠评估网络进行训练。
15.一种网络训练设备,其特征在于,包括存储器和处理器,其中,所述存储器用于存储计算机可读指令;所述处理器用于读取所述计算机可读指令并实现如权利要求1至7中任一项所述的网络训练方法。
16.一种终端设备,其特征在于,包括存储器和处理器,其中,所述存储器用于存储计算机可读指令;所述处理器用于读取所述计算机可读指令并实现如权利要求8至14中任一项所述的睡眠状态评估方法。
17.一种计算机存储介质,其特征在于,存储有计算机可读指令,且所述计算机可读指令在被处理器执行时实现如权利要求1至7中任一项所述的网络训练方法,或者实现如权利要求8至14中任一项所述的睡眠状态评估方法。
18.一种神经网络部署系统,其特征在于,所述神经网络部署系统包括终端设备和网络训练设备,所述网络训练设备用于执行如权利要求1至7中任一项所述的网络训练方法,所述终端设备用于执行如权利要求8至14中任一项所述的睡眠状态评估方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311178358.9A CN117077812B (zh) | 2023-09-13 | 2023-09-13 | 网络训练方法、睡眠状态评估方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311178358.9A CN117077812B (zh) | 2023-09-13 | 2023-09-13 | 网络训练方法、睡眠状态评估方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117077812A CN117077812A (zh) | 2023-11-17 |
CN117077812B true CN117077812B (zh) | 2024-03-08 |
Family
ID=88702384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311178358.9A Active CN117077812B (zh) | 2023-09-13 | 2023-09-13 | 网络训练方法、睡眠状态评估方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117077812B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107493388A (zh) * | 2017-08-24 | 2017-12-19 | 深圳天珑无线科技有限公司 | 终端及其睡眠智能提醒方法、存储装置 |
CN107943266A (zh) * | 2017-11-20 | 2018-04-20 | 北京小米移动软件有限公司 | 功耗控制方法、装置和设备 |
CN110742580A (zh) * | 2019-09-18 | 2020-02-04 | 华为技术有限公司 | 一种睡眠状态识别方法及装置 |
CN114343574A (zh) * | 2021-12-24 | 2022-04-15 | 北京京东拓先科技有限公司 | 一种睡眠质量评估方法及客户端、服务器、存储介质 |
WO2022247649A1 (zh) * | 2021-05-24 | 2022-12-01 | 华为技术有限公司 | 评估睡眠呼吸功能的方法和装置 |
CN116546132A (zh) * | 2023-07-06 | 2023-08-04 | 荣耀终端有限公司 | 网络识别方法、装置、移动终端及计算机可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210169412A1 (en) * | 2019-12-05 | 2021-06-10 | National Health Research Institutes | Method for automatically recording circadian rhythm of user via portable device and portable device thereof |
-
2023
- 2023-09-13 CN CN202311178358.9A patent/CN117077812B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107493388A (zh) * | 2017-08-24 | 2017-12-19 | 深圳天珑无线科技有限公司 | 终端及其睡眠智能提醒方法、存储装置 |
CN107943266A (zh) * | 2017-11-20 | 2018-04-20 | 北京小米移动软件有限公司 | 功耗控制方法、装置和设备 |
CN110742580A (zh) * | 2019-09-18 | 2020-02-04 | 华为技术有限公司 | 一种睡眠状态识别方法及装置 |
WO2022247649A1 (zh) * | 2021-05-24 | 2022-12-01 | 华为技术有限公司 | 评估睡眠呼吸功能的方法和装置 |
CN114343574A (zh) * | 2021-12-24 | 2022-04-15 | 北京京东拓先科技有限公司 | 一种睡眠质量评估方法及客户端、服务器、存储介质 |
CN116546132A (zh) * | 2023-07-06 | 2023-08-04 | 荣耀终端有限公司 | 网络识别方法、装置、移动终端及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117077812A (zh) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11887225B2 (en) | Image classification through label progression | |
US11544524B2 (en) | Electronic device and method of obtaining emotion information | |
CN111860588B (zh) | 一种用于图神经网络的训练方法以及相关设备 | |
US20180268292A1 (en) | Learning efficient object detection models with knowledge distillation | |
US11551103B2 (en) | Data-driven activity prediction | |
US20210256264A1 (en) | Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof | |
WO2021155687A1 (zh) | 目标账号检测方法、装置、电子设备及存储介质 | |
US11270565B2 (en) | Electronic device and control method therefor | |
EP3820369B1 (en) | Electronic device and method of obtaining emotion information | |
WO2021139471A1 (zh) | 一种健康状态检测方法、设备和计算机存储介质 | |
CN105654952A (zh) | 用于输出语音的电子设备、服务器和方法 | |
CN111897964A (zh) | 文本分类模型训练方法、装置、设备及存储介质 | |
CN108604432A (zh) | 电子设备及用于控制其的方法 | |
Bu | Human motion gesture recognition algorithm in video based on convolutional neural features of training images | |
CN109034052B (zh) | 人脸检测方法及装置 | |
KR102377971B1 (ko) | 디스플레이 장치를 갖는 인공지능 냉장고 | |
CN108875509A (zh) | 活体检测方法、装置和系统及存储介质 | |
US11727686B2 (en) | Framework for few-shot temporal action localization | |
CN110532838A (zh) | 对象检测装置和方法及存储介质 | |
KR102476619B1 (ko) | 전자 장치 및 이의 제어 방법 | |
CN111695419B (zh) | 一种图像数据处理方法及相关装置 | |
CN117077812B (zh) | 网络训练方法、睡眠状态评估方法及相关设备 | |
CN112990429A (zh) | 机器学习方法、电子设备及相关产品 | |
CN108875501A (zh) | 人体属性识别方法、装置、系统及存储介质 | |
Wilson et al. | Domain Adaptation Under Behavioral and Temporal Shifts for Natural Time Series Mobile Activity Recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |