CN111867429A - 利用强化学习的睡眠环境调节装置 - Google Patents

利用强化学习的睡眠环境调节装置 Download PDF

Info

Publication number
CN111867429A
CN111867429A CN201980017642.3A CN201980017642A CN111867429A CN 111867429 A CN111867429 A CN 111867429A CN 201980017642 A CN201980017642 A CN 201980017642A CN 111867429 A CN111867429 A CN 111867429A
Authority
CN
China
Prior art keywords
sleep
information
appropriateness
work
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980017642.3A
Other languages
English (en)
Inventor
李正雨
李相准
李相垠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Icbs Ltd
Original Assignee
Icbs Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Icbs Ltd filed Critical Icbs Ltd
Publication of CN111867429A publication Critical patent/CN111867429A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47C—CHAIRS; SOFAS; BEDS
    • A47C31/00—Details or accessories for chairs, beds, or the like, not provided for in other groups of this subclass, e.g. upholstery fasteners, mattress protectors, stretching devices for mattress nets
    • A47C31/12—Means, e.g. measuring means for adapting chairs, beds or mattresses to the shape or weight of persons
    • A47C31/123—Means, e.g. measuring means for adapting chairs, beds or mattresses to the shape or weight of persons for beds or mattresses
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47C—CHAIRS; SOFAS; BEDS
    • A47C21/00—Attachments for beds, e.g. sheet holders, bed-cover holders; Ventilating, cooling or heating means in connection with bedsteads or mattresses
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47C—CHAIRS; SOFAS; BEDS
    • A47C31/00—Details or accessories for chairs, beds, or the like, not provided for in other groups of this subclass, e.g. upholstery fasteners, mattress protectors, stretching devices for mattress nets
    • A47C31/008—Use of remote controls
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4812—Detecting sleep stages or cycles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4815—Sleep quality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6892—Mats
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F7/00—Heating or cooling appliances for medical or therapeutic treatment of the human body
    • A61F7/08—Warming pads, pans or mats; Hot-water bottles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/02—Instruments for indicating weather conditions by measuring two or more variables, e.g. humidity, pressure, temperature, cloud cover or wind speed
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F7/00—Heating or cooling appliances for medical or therapeutic treatment of the human body
    • A61F2007/0059—Heating or cooling appliances for medical or therapeutic treatment of the human body with an open fluid circuit
    • A61F2007/006—Heating or cooling appliances for medical or therapeutic treatment of the human body with an open fluid circuit of gas
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F7/00—Heating or cooling appliances for medical or therapeutic treatment of the human body
    • A61F2007/0059—Heating or cooling appliances for medical or therapeutic treatment of the human body with an open fluid circuit
    • A61F2007/0063—Heating or cooling appliances for medical or therapeutic treatment of the human body with an open fluid circuit for cooling
    • A61F2007/0064—Heating or cooling appliances for medical or therapeutic treatment of the human body with an open fluid circuit for cooling of gas
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0066—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus with heating or cooling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3368—Temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/04—Heartbeat characteristics, e.g. ECG, blood pressure modulation
    • A61M2230/06—Heartbeat rate only
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A61M2230/10—Electroencephalographic signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/18—Rapid eye-movements [REM]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/40—Respiratory characteristics
    • A61M2230/42—Rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/50—Temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/63—Motion, e.g. physical activity

Abstract

在本发明的一实施例中，揭示利用强化学习的睡眠环境调节装置。上述利用强化学习的睡眠环境调节装置可包括：主体，能够使用户位于其上；传感器部，测定上述用户的生物信号来生成当前状态信息及工作后的状态信息；工作部，为了以处理器的控制信号为基础来改变上述用户的睡眠状态而调节上述主体的睡眠环境；处理器，包括一个以上的芯片；以及存储器，用于存储能够在上述处理器中执行的程序代码，上述处理器包括：睡眠适当性信息生成模块，以上述当前状态信息为基础生成上述用户的当前睡眠适当性信息，以上述工作后的状态信息为基础来生成上述用户的工作后的睡眠适当性信息；工作信息确定模块，以上述当前睡眠适当性信息为基础，利用工作确定算法来确定对上述工作部的工作进行控制的工作信息；以及工作适当性判断模块，对上述工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断上述工作的适当性并更新上述工作确定算法。

Description

利用强化学习的睡眠环境调节装置
技术领域
本发明涉及睡眠环境调节装置，更详细地，涉及以可提高用户的睡眠效率的方式调节睡眠环境的装置。
背景技术
最近，随着生活质量的提高，对健康的关注度逐渐增加，对睡眠的关心也随之增加。维持并改善健康的方法包括运动、饮食疗法等多种方法，但是，好好管理占据一天中的30％的时间的睡眠更为重要。但是，现代人由于压力而无法睡个好觉，且受到失眠、过度睡眠、嗜睡症及睡眠呼吸暂停等的睡眠异常和噩梦、睡眠恐惧症及梦游等的睡眠障碍的困扰。
韩国授权专利KR10-0791371揭示了如下的方法，即，为了克服睡眠异常和睡眠障碍，当用户睡觉时测定用户的生物信号，通过测定信息监控用户的睡眠状态，分析所监控的信息来提高睡眠效率。但是，现有技术存在如下的问题，即，每个用户的睡眠模式不同，受到睡眠环境的影响程度也不同，因此，用于提供高的睡眠环境的方法受限。因此，本发明所属技术领域中需要可按每个用户的实时睡眠模式增加睡眠效率的睡眠管理解决方法。
发明内容
技术问题
本发明与上述背景技术对应地提出，本发明的目的在于，提供用于提高用户的睡眠效率的利用强化学习的睡眠环境调节装置。
技术方案
在用于解决上述问题的本发明的一实施例中，利用强化学习的睡眠环境调节装置包括：主体，能够使用户位于其上；传感器部，测定上述用户的生物信号来生成当前状态信息及工作后的状态信息；工作部，为了以处理器的控制信号为基础来改变上述用户的睡眠状态而调节上述主体的睡眠环境；处理器，包括一个以上的芯片；以及存储器，用于存储能够在上述处理器中执行的程序代码，上述处理器包括：睡眠适当性信息生成模块，以上述当前状态信息为基础生成上述用户的当前睡眠适当性信息，以上述工作后的状态信息为基础来生成上述用户的工作后的睡眠适当性信息；工作信息确定模块，以上述当前睡眠适当性信息为基础，利用工作确定算法来确定对上述工作部的工作进行控制的工作信息；以及工作适当性判断模块，对上述工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断上述工作的适当性并更新上述工作确定算法。
代替性地，上述传感器部可包括如下传感器中的至少一种：用户状态测定传感器，通过接触或非解除方式测定用户的心率、呼吸次数、移动及脑电波中的至少一种；温度传感器，测定用户采取睡眠的室内温度及上述用户的体温中的至少一种；以及湿度传感器，测定用户采取睡眠的室内湿度，通过上述传感器中的至少一个传感器获取上述当前状态信息、室内温度信息及室内湿度信息中的至少一种。
代替性地，上述工作部可设置于上述主体，为了控制上述用户的体温而向上述主体供给热风及冷风中的至少一种。
代替性地，上述当前状态信息可包含由上述传感器部测定的上述用户的呼吸状态信息、心率状态信息、脑电波信息及移动状态信息中的至少一种，包含上述用户的睡眠周期节律的一个周期的测定结果。
代替性地，上述当前睡眠适当性信息能够以睡眠周期节律的一个周期内测定的上述当前状态信息为基础生成。
代替性地，上述工作后的状态信息能够以上述工作部根据上述处理器的控制信号执行工作的睡眠周期节律的一个周期的生物信息为基础生成。
代替性地，上述工作后的睡眠适当性信息能够以睡眠周期节律的一个周期内测定的上述工作后的状态信息为基础生成。
代替性地，上述基准睡眠适当性信息能够以在睡眠周期节律的一个周期内将用户的睡眠效率最大化的生物信息为基础生成，成为上述工作后的睡眠适当性信息的目标。
代替性地，上述工作确定算法可由人工神经网构成，通过输入上述当前睡眠适当性信息来输出与一个以上的候补工作信息有关的分数，以与上述候补工作信息有关的分数为基础来确定上述工作信息。
代替性地，上述工作适当性判断模块可对睡眠周期节律的一个周期内的工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断类似度并判断上述工作的适当性，在上述类似度高的情况下，以增加上述工作确定算法以上述当前睡眠适当性信息为基础确定上述工作信息的概率的方式更新上述工作确定算法，或者在上述类似度低的情况下，以减少上述工作确定算法以上述当前睡眠适当性信息为基础确定上述工作信息的概率的方式更新上述工作确定算法。
在本发明的再一实施例中，利用强化学习来调节睡眠环境的方法可包括：测定用户的生物信号来生成当前状态信息的步骤；以上述当前状态信息为基础生成当前睡眠适当性信息的步骤；以上述当前睡眠适当性信息为基础并利用工作确定算法来确定工作信息的步骤；以上述工作信息为基础来执行床垫主体的环境调节工作的步骤；在执行上述环境调节工作之后测定上述用户的生物信号来生成工作后的状态信息的步骤；以上述工作后的状态信息为基础来生成工作后的睡眠适当性信息的步骤；对上述工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断上述环境调节工作的适当性的步骤；以及以对于上述环境调节工作的适当性判断为基础来更新工作确定算法的步骤。
在本发明的另一实施例中，揭示存储于能够通过一个以上处理器执行的计算机可读介质的计算机程序。上述计算机程序可使上述一个以上处理器执行以下的工作：测定生物信号来生成当前状态信息的工作；以上述当前状态信息为基础生成当前睡眠适当性信息的工作；以上述当前睡眠适当性信息为基础并利用工作确定算法来确定工作信息的工作；以上述工作信息为基础来执行床垫主体的环境调节工作的工作；在执行上述环境调节工作之后测定上述用户的生物信号来生成工作后的状态信息的工作；以上述工作后的状态信息为基础来生成工作后的睡眠适当性信息的工作；对上述工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断上述环境调节工作的适当性的工作；以及以对于上述环境调节工作的适当性判断为基础来更新工作确定算法的工作。
发明的效果
本发明可提供用于提高用户的睡眠效率的利用强化学习的睡眠环境调节装置。
附图说明
图中作为参照记载多种实施方式，其中，类似的附图标记总体上是指类似的结构要素。在以下的实施例中，为了说明目的，为了理解整个一个以上的实施方式而提出多个特定细部事项。但是，应该明确这些事项也可以在没有特定细部事项的情况下实施。
图1为示出本发明一实施例的利用强化学习的睡眠环境调节装置的系统的示意图。
图2为示出本发明一实施例的利用强化学习的睡眠环境调节装置的框结构图。
图3示出本发明一实施例的利用强化学习的睡眠环境调节装置的例示图。
图4示出本发明一实施例的利用强化学习的睡眠环境调节方法的流程图。
图5为示出本发明一实施例的基于采取睡眠的一般成人的睡眠时间的睡眠步骤的例示图。
图6为示出本发明一实施例的基于利用强化学习的睡眠环境调节装置的温度调节变化的用户的睡眠步骤变化的例示图。
图7为示出在本发明一实施例的工作后的基于睡眠适当性信息的睡眠步骤和基于基准睡眠适当性信息的睡眠步骤的例示图。
图8示出本发明一实施例的构成工作确定算法的人工神经网的结构图。
图9为示出本发明一实施例的导出通过工作确定算法的分数(score)的例示图。
图10为示出用于体现本发明一实施例的利用强化学习的睡眠环境调节方法的单元的框结构图。
图11为示出用于体现本发明一实施例的利用强化学习的睡眠环境调节方法的模块的框结构图。
图12为示出用于体现本发明一实施例的利用强化学习的睡眠环境调节方法的逻辑的框结构图。
图13为示出用于体现本发明一实施例的利用强化学习的睡眠环境调节方法的电路的框结构图。
图14为示出可体现本发明实施例的例示性计算环境的简要且一般的简图。
具体实施方式
参照附图，说明多个实施例，在整个附图中，对类似的结构要素赋予类似的附图标记。在本说明书中，多个实施例为了提供本发明的理解而揭示。但是，这些实施例在没有这种具体说明的情况下也可以执行。在另一例中，公知的结构及装置为了使实施例的说明更加轻松而以框图形态提供。
在本说明书中所使用的术语“组件”、“模块”、“系统”等是指与计算机有关的实体、硬件、固件、软件、软件及硬件的组合或软件的执行。例如，组件可以为在处理器上执行的处理过程、流程、客体、执行线程、程序和/或计算机，但并不局限于此。例如，在计算机装置上执行的应用及计算机装置均可以为组件。一个以上组件可常驻在处理器和/或执行线程内，一组件可以本地化在一个计算机内，或者可分配在2个以上的计算机之间。并且，这种组件可以从具有存储于其内部的多种数据结构的多种计算机可读介质执行。例如，组件可根据具有一个以上的数据包的信号(例如，在逻辑系统、分散系统中，从与其他组件相互作用的一个组件，通过数据和/或信号，与其他系统通过如互联网的网络的数据)，通过逻辑和/或远程处理进行通信。
对于所揭示的实施例的说明为使本发明所属技术领域的普通技术人员可以轻松利用或实施本发明而提供。对于这种实施例的多种变形对本发明所属技术领域的普通技术人员来说是显而易见的，在此定义的一般原理在不超出本发明的范围的情况下可适用于其他实施例。因此，本发明并不局限于在此揭示的实施例，而是需要在与在此揭示的原理及新特征一贯的最广范围中解释。
图1为示出本发明一实施例的利用强化学习的睡眠环境调节装置100的系统的示意图。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100、服务器10及用户终端20通过基于无线和/或有线的相互连接收发信息。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100测定及判断用户的睡眠状态并控制与此对应的用户的睡眠环境。更具体地，利用强化学习的睡眠环境调节装置100可测定用户的睡眠状态。并且，利用强化学习的睡眠环境调节装置100可通过用户的测定信息来生成与睡眠状态有关的信息来判断睡眠质量。通过判断上述用户的睡眠质量，利用强化学习的睡眠环境调节装置100可以向用户提供增加睡眠效率的睡眠环境。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100可以对睡眠环境调节工作进行强化学习。具体地，利用强化学习的睡眠环境调节装置100可在用户的睡眠环境中识别用户的当前睡眠状态。并且，利用强化学习的睡眠环境调节装置100可根据所识别的用户的睡眠状态可以在能够选择的工作中选择将补偿最大化的工作或工作顺序来进行学习。因此，利用强化学习的睡眠环境调节装置100可通过上述学习确定工作部120的工作方式，而且，可通过基于上述工作部120的睡眠环境调节来改变用户的睡眠环境并增加用户的睡眠效率。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100可以在没有对于用户的睡眠状态的分析及对于判断的专业知识或教育的情况下测定及判断模式及睡眠质量。利用强化学习的睡眠环境调节装置100可测定用户的生物信号，通过反馈回路监控用户的睡眠状态来判断睡眠质量。并且，可通过判断上述用户的睡眠质量来改善睡眠环境并增加用户的睡眠效率。因此，利用强化学习的睡眠环境调节装置100可提供对于每位用户的睡眠状态的最优的睡眠环境。
根据本发明的另一实施例，服务器10可执行强化学习来控制利用强化学习的睡眠环境调节装置100的睡眠环境调节工作。具体地，服务器10可从利用强化学习的睡眠环境调节装置100接收与用户的睡眠有关的数据来执行强化学习。详细地，服务器10可测定用户的睡眠状态并以上述测定信息为基础来判断用户的睡眠状态。并且，服务器10可通过判断用户的睡眠状态来向利用强化学习的睡眠环境调节装置100及用户终端20中的至少一个传送用于调节睡眠环境的控制信号，由此，改善用户的睡眠环境来增加用户的睡眠效率。即，服务器10为了提供对于每个用户的睡眠状态的最优的睡眠环境而可以执行强化学习。
根据本发明的一实施例，用户终端20可以向利用强化学习的睡眠环境调节装置100及服务器10中的至少一个传送用户信息。
根据本发明的一实施例，用户终端20可以控制利用强化学习的睡眠环境调节装置100的环境调节工作。具体地，用户终端20可向利用强化学习的睡眠环境调节装置100传送控制信息。在此情况下，上述控制信息能够以用户输入为基础生成或者以服务器10执行的强化学习为基础生成。并且，上述控制信息可包含为了调节睡眠环境而运行的温度及湿度的运行范围。即，用户终端20能够以用户的输入及服务器10执行的强化学习中的至少一个为基础来向利用强化学习的睡眠环境调节装置100传送控制信息。
图2为示出本发明一实施例的利用强化学习的睡眠环境调节装置的框结构图。
图2例示的利用强化学习的睡眠环境调节装置100的多个组件。在上述组件中的一部分可以构成利用强化学习的睡眠环境调节装置100。并且，除上述组件之外，上述利用强化学习的睡眠环境调节装置100可包括多个追加组件。
说明在本发明一实施例的利用强化学习的睡眠环境调节装置100中增加用户的睡眠效率的调节睡眠环境的方法。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100可以将用户的睡眠效率极大化。具体地，利用强化学习的睡眠环境调节装置100可判断用户的睡眠状态来调节睡眠环境，由此可增加用户的睡眠效率。详细地，利用强化学习的睡眠环境调节装置100可通过强化学习方式学习处理器150和睡眠环境调节工作。利用强化学习的睡眠环境调节装置100可通过上述学习确定工作部120的工作方式。通过学习进行工作的工作部120为了改变用户的睡眠状态而可以调节主体110的温度及湿度。因此，利用强化学习的睡眠环境调节装置100可通过工作部120的睡眠环境调节工作向用户提供最优的睡眠环境。
如图2所示，利用强化学习的睡眠环境调节装置100可包括主体110、工作部120、存储器130、传感器部140、处理器150、输入部160及网络连接部170。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100可以为用户能够采取睡眠的任意装置，例如，可以为由床、土床、石床、电热垫、热水垫及冷水垫等的形态，可以调节用户的睡眠环境。上述睡眠环境调节装置100的具体记载仅为例示，本发明并不局限于此。
根据本发明的一实施例，主体110为放置用户的身体，与用户的身体实质上相接触，支撑用户的身体来提供睡眠场所的部件，可以包括使用户感受到舒适感并可以躺下或倚靠的任意结构。上述主体110可以为床垫、床单、垫子及被子等床上用品类中的一种，但并不局限于此。
根据本发明的一实施例，在主体110的内侧可设置内侧通路111。上述内侧通路111可以为从工作部120供给的热风及冷风进行移动的空间。从上述工作部120供给的热风及冷风可通过上述内侧通路111的上端来调节主体110的温度。通过并且，上述内侧通路111的上端的热风及冷风可通过床上用品类112(例如，被子等)维持温度。即，利用强化学习的睡眠环境调节装置100可通过最少的工作带来高效率的睡眠环境变化。
根据本发明的一实施例，工作部120可以调节主体110的温度及湿度中的至少一种。例如，工作部120为了控制用户的体温而向支撑用户的主体110供给热风及冷风中的至少一个。并且，工作部120以控制支撑用户的主体110的湿度的方式执行除湿工作及加湿工作中的至少一个工作。因此，工作部120可通过调节用户的体温及湿度来增加睡眠效率。
根据本发明的一实施例，工作部120可包括冷却器、加热器、加湿器和除湿器中的至少一个。并且，工作部120可以为利用电或热水等的装置。例如，可包括电热垫、热水垫及冷水垫。在上述电热垫的情况下，以在规定床垫上部的至少一面通电来生成热量的方式具有发热线的发热布。在上述热水垫及冷水垫的情况下，以使热水或冷水循环的方式具有规定热水和冷水循环装置，由此可以提供规定温度。即，只要是工作部120可控制温度及湿度来提供适合用户的睡眠环境的装置，则可以适用任何装置。设置于上述工作部120的结构仅为例示，本发明并不局限于此。
根据本发明的一实施例，工作部120的环境调节工作能够以从处理器150接收的控制信息为基础。具体地，工作部120可从处理器150接收控制信号。其中，控制信号可以为通过工作信息确定模块152确定的信号。而且，上述控制信号可包含工作部120运行的温度及湿度调节工作中的至少一个工作和各个工作的工作时间。
根据另一实施例，工作部120的环境调节工作能够以从服务器10及用户终端20中的至少一个接收的控制信息为基础。更具体地，工作部120可从服务器10及用户终端20中的至少一个接收控制信息。其中，控制信息能够以用户输入为基础生成或者以服务器10执行的强化学习为基础生成。并且，上述控制信息可包含工作部120运行的温度及湿度调节工作中的至少一个工作和各个工作的工作时间。即，利用强化学习的睡眠环境调节装置100能够以用户的输入为基础来控制工作部120的睡眠环境调节工作。
即，除处理器150的控制信号之外，工作部120可通过从服务器及用户终端生成的控制信息来执行睡眠环境调节工作。
根据本发明的一实施例，传感器部140可包括通过接触或非接触方式测定用户的心率、呼吸次数、移动及脑电波中的至少一个的用户状态测定传感器。上述传感器部140可利用用户状态测定传感器来测定用户的生物信号。传感器部140可通过测定向用户施加的压力的大小及频率的用户状态测定传感器来测定与上述用户的呼吸有关的信号、与上述用户的心率有关的心率信号及与上述用户的移动有关的移动信号中的至少一种信号。
并且，传感器部140可包括温度传感器及湿度传感器中的至少一种，上述湿度传感器测定用户采取睡眠的室内温度及上述用户的体温中的至少一种，上述湿度传感器测定用户采取睡眠的室内的温度。
根据本发明的一实施例，传感器部140还可包括睡眠分析有用的多种传感器。例如，音响传感器、脑电波测定传感器、血压计、空气质量传感器等，但本发明并不局限于此。
根据本发明的一实施例，设置有传感器部140的位置可以为能够测定用户的生物信号的任何位置，也可以与利用强化学习的睡眠环境调节装置100分离设置。
根据本发明的一实施例，处理器150为了改变用户的睡眠状态而可以控制调节睡眠环境的工作部120。具体地，处理器150可向工作部120发送控制信号。详细地，上述控制信号可以为执行热风、冷风、除湿及加湿工作中的至少一个工作的信号。例如，在降低用户的体温并提高用户所在空间的深度的情况下，上述控制信号可以为工作部120执行冷风供给及加湿工作的信号，上述工作部120可执行冷风及加湿工作来降低用户的提问并提高用户所在空间的湿度。即，上述控制信号以改变睡眠环境的多种条件的方式控制工作部来对用户的睡眠质量产生影响并使用户在改善的环境下采取睡眠。生成控制上述工作部120的工作的控制信号的处理器150可包括睡眠适当性信息生成模块151、工作信息确定模块152及工作适当性判断模块153。上述模块可通过如下的方法生成控制工作部120的工作的控制信号。
根据本发明的一实施例，上述睡眠适当性信息生成模块151能够以当前状态信息为基础来生成用户的当前睡眠适当性信息。详细地，睡眠适当性信息生成模块151能够基于以通过传感器部140测定的测定信息为基础来生成的当前状态信息来生成当前睡眠适当性信息。在此情况下，当前睡眠适当性信息可以与在睡眠周期节律的一个周期内测定的当前状态信息对应地生成。因此，当前睡眠适当性信息可以由与在睡眠周期节律的一个周期内的用户睡眠状态有关的信息构成。例如，当前睡眠适当性信息可包含示出一个周期内的各个睡眠步骤比例的比例信息。在此情况下，上述各个睡眠步骤可以由浅睡步骤、普通睡眠步骤、深睡步骤及快动眼睡眠步骤构成。例如，图5为示出本发明一实施例的基于采取睡眠的一般成人的睡眠时间的睡眠步骤的例示图。利用强化学习的睡眠环境调节装置100可根据上述睡眠步骤来判断用户的睡眠周期节律的一个周期，以上述睡眠周期节律的一个周期内的信息为基础来生成信息。以上述睡眠周期节律的一个周期内的信息为基础来生成的信息可以包含当前睡眠适当性信息、工作后的睡眠适当性信息及基准睡眠适当性信息。
如图5所示，通常，一个夜晚，成人的睡眠周期可以反复4～5次左右。并且，如图的的表1所示，在睡眠初期，深睡的比例高，越接近睡眠后期，快动眼睡眠的比例高。
根据本发明的一实施例，附图标记410、420、430、440可以为睡眠周期节律的一个周期。具体地，附图标记410可以为用户的睡眠周期节律的第一个周期，附图标记420为第二个周期，附图标记430为第三个周期，附图标记440为第四个周期。
如图5所示，在一个周期内的睡眠步骤中，各个周期的比例可以不相同。详细地，第一周期410可以为包括附图标记411、412、413、414、415的5个区间。上述附图标记411、412、413、414、415可以为基于一个周期内的睡眠步骤的变化。并且，第二周期420可以为包括附图标记421、422、423、424的4个区间。上述附图标记421、422、423、424可以为基于一个周期时间的睡眠步骤的变化。并且，第三周期430可以为包括附图标记431、432、433、434的4个区间。上述附图标记431、432、433、434可以为基于一个周期时间的睡眠步骤的变化。并且，第四周期440可以为包括附图标记441、442的2个区间。上述附图标记441、442可以为基于一个周期时间的睡眠步骤的变化。即，对于各个周期的睡眠步骤的变化程度可以不相同，比例也可以不相同。例如，参照图5的表1，第一周期410与附图标记第二周期420的浅睡、普通睡眠、深睡、快动眼睡眠的比例可以分别不相同。
根据本发明的一实施例，上述工作信息确定模块152可利用以当前睡眠适当性信息为基础的工作确定算法来确定生成控制上述工作部120的工作的控制信号的工作信息。上述工作确定算法可以由人工神经网构成，可输入当前睡眠适当性信息来向一个以上的候补工作信息输出分数。并且，工作信息确定模块152能够以与上述候补工作信息有关的分数为基础来确定工作信息。具体地，工作确定算法能够以与睡眠状态有关的当前睡眠适当性信息为基础来向睡眠周期节律的一个周期的用户输出与此对应的候补工作信息，并在候补工作信息中确定分数最大的工作信息。其中，上述候补工作信息为可以成为控制信号工作信息，可以为使工作信息确定模块152执行特定的工作的一个以上的选项。例如，如图9所示，与候补工作信息有关的分数可通过人工神经网800计算(附图标记910)。在此情况下，通过人工神经网800计算的3个候补工作信息可分别为第一候补工作信息、第二候补工作信息及第三候补工作信息。上述候补工作信息可包含：第一候补工作信息(附图标记920)，在1～2小时，将温度减少至34.6度，在2～3小时，将温度减少至34.3，在3～4小时，将温度减少至34；第二候补工作信息(附图标记930)，在1～2小时，将温度减少至35度，在2～3小时，将温度减少至34.8，在3～4小时，将温度减少至34.7；以及第三候补工作信息(附图标记940)，在1～2小时，将温度减少至34.8度，在2～3小时，将温度减少至34.6，在3～4小时，将温度减少至34.3。在此情况下，工作确定算法通过人工神经网800处理睡眠适当性信息来导出第一候补工作信息的分数为1分(附图标记921)，第二候补工作信息的分数为13分(附图标记931)及第三候补工作信息的分数为8分(附图标记941)。即，工作确定算法能够以分数为基础来将第二候补工作信息确定为工作信息。并且，在上述候补工作中，当通过第二候补工作信息执行环境调节工作时，用户的睡眠效率最好。图9所示的候补工作信息、候补工作信息的数量、节点的数量、图表及分数(score)为例示，候补工作信息的数量及分数可根据用户的睡眠环境改变。
根据本发明的一实施例，工作确定算法可以由人工神经网构成。通常，上述人工神经网800可以为被称为“节点”的相互连接的计算单位的集合。上述“节点”也可被称为“神经元(neuroun)”。神经网包括一个以上的节点。构成神经网800的节点(或神经元)可通过一个以上的“链接”相互连接。
在神经网800内，通过链接连接的一个以上节点可相对形成输入节点及输出节点的关系。输入节点及输出节点的概念为相对性概念，对一个节点具有输出节点关系的任意节点在与其他节点的关系中存在输入节点关系，反之亦然。如上所述，输入节点与输出节点关系能够以链接为中心生成。一个输入节点可通过链接与一个以上的输出节点相连接，反之亦然。
在通过一个链接连接的输入节点及输出节点关系中，输出节点的值能够以向输入节点输入的数据为基础确定。其中，相互连接输入节点与输出节点的节点可具有加权值(weight)。加权值可以改变，神经网800为了执行所需要的功能而通过用户或算法更新。例如，在一个输出节点与一个以上的输入节点通过各个链接相互连接的情况下，输出节点能够以向与上述输出节点相连接的输入节点输入的值及在与各个输入节点相对应的链接设定的加权值为基础来确定输出节点值。
如上所述，在神经网800中，一个以上节点通过一个以上的链接相互连接，以此在神经网内形成输入节点及输出节点。在神经网800内，可根据多个节点与多个链接的数量及多个节点与多个链接之间的连接关系、向多个链接赋予的加权值的值确定神经网800的特性。例如，在具有存在相同数量的节点及多个链接，在多个链接之间的加权值不同的神经网800的两个神经网800的情况下，两个神经网800可以被识别成不同的神经网800。
根据本发明的一实施例，上述睡眠适当性信息生成模块151能够以工作后的状态信息为基础来生成用户的工作后的睡眠适当性信息。详细地，睡眠适当性信息生成模块151能够基于以工作部120进行工作的期间通过传感器部140测定的测定信息为基础生成的工作后的状态信息来生成工作后的睡眠适当性信息。在此情况下，工作后的睡眠适当性信息可以与睡眠周期节律的一个周期内测定的上述工作后的状态信息相对应地生成。因此，工作后的睡眠适当性信息可以为与睡眠周期节律的一个周期内的用户睡眠状态有关的信息。例如，如图5所示，工作后的睡眠适当性信息可包含与睡眠周期节律的各个周期有关的信息。并且，如图5的表1所示，工作后的睡眠适当性信息可包含表示各个周期的用户的睡眠步骤的比例的信息。
根据本发明的一实施例，睡眠适当性信息生成模块151可生成基准睡眠适当性信息。具体地，睡眠适当性信息生成模块151可生成作为工作后的睡眠适当性信息的目标的基准睡眠适当性信息。即，基准睡眠适当性信息可以为与浅睡最小化的睡眠周期节律有关的信息。例如，基准睡眠适当性信息可以为深睡为70％，快动眼睡眠为30％的状态。并且，例如，基准睡眠适当性信息可以为浅睡为0％的状态。上述基准睡眠适当性信息仅是例示，本发明并不局限于此。并且，睡眠适当性信息生成模块151能够以预设信息为基础来生成基准睡眠适当性信息，而且，可按基于用户的睡眠模式的的用户定制生成基准睡眠适当性信息。例如，在睡眠适当性信息生成模块151能够以预设信息为基础来生成基准睡眠适当性信息的情况下，用户可选择预设基准睡眠适当性信息。详细地，上述用户可选择年龄、性别、区域等多种领域的基准睡眠适当性信息。作为另一例，在睡眠适当性信息生成模块151生成用户定制基准睡眠适当性信息的情况下，能够以将用户的睡眠效率最大化的生物信息为基础来生成基准睡眠适当性信息。即，基准睡眠适当性信息可以为如下的信息，深睡增加、在睡眠过程中醒来的比例显著减少，快动眼睡眠增加等用户的整体睡眠效率最大化。根据本发明的一实施例，上述工作适当性判断模块153对工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断工作的适当性。具体地，上述工作适当性判断模块153可对睡眠周期节律的一个周期内的工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断类似度。详细地，对工作后的睡眠适当性信息的睡眠步骤与基准睡眠适当性信息的睡眠步骤的比例进行比较来判断类似度。其中，上述睡眠步骤可包括浅睡步骤、普通睡眠步骤、深睡步骤及快动眼睡眠步骤。例如，在环境调节工作后，分别对包含用户的睡眠周期节律的一个周期内的信息的工作后的睡眠适当性信息的浅睡、普通睡眠、深睡、快动眼睡眠与基准睡眠适当性信息的浅睡、普通睡眠、深睡及快动眼睡眠的比例进行比较来判断类似度。具体地，判断上述类似度的方法可以为如下方法中的至少一种方法，即，测定基于一个周期内的时间的流逝的类似度的时序类似度判断方法、通过对于一个周期内的各个睡眠步骤的比例的比较来判断类似度的方法以及在上述工作后的睡眠适当性信息的睡眠周期节律图表和上述基准适当性信息的睡眠周期节律图表中计算分别对应的位置的距离来判断类似度的图表类似度测定方法。即，工作适当性判断模块153可通过判断基于工作部的工作的用户的睡眠适当性信息是否接近基准睡眠适当性信息(即，理想睡眠状态)来判断工作信息确定模块所确定的工作是否提高用户的睡眠质量(即，补偿)。判断上述类似度的方法的记载仅为例示，本发明并不局限于此。
根据本发明的一实施例，上述工作适当性判断模块153可通过判断对于上述工作的适当性来更新工作确定算法。工作适当性判断模块153可更新工作确定算法。具体地，以判断上述类似度为基础，在上述类似度高的情况下，工作适当性判断模块153以使工作确定算法以当前睡眠适当性信息为基础确定对应工作信息的概率增加的方式更新上述工作确定算法。并且，在上述类似度低的情况下，工作适当性判断模块153以使上述工作确定算法以当前睡眠适当性信息为基础确定工作信息的概率减少的方式更新工作确定算法。工作适当性判断模块153可更新工作确定算法的人工神经网的加权值来更新工作确定算法。例如，在比较睡眠周期节律的一个周期内的工作后的睡眠适当性信息与基准睡眠适当性信息的类似度为98％的情况下，通过执行对应工作信息来提高用户的睡眠质量，因此，工作适当性判断模块153以选择对应工作信息的概率增加的方式更新工作确定算法。并且，在比较睡眠周期节律的一个周期内的工作后的睡眠适当性信息与基准睡眠适当性信息的类似度为14％的情况下，工作适当性判断模块153以选择对应工作信息的概率减少的方式更新工作确定算法。类似度越高，工作适当性判断模块153可增加选择对应工作信息的概率，类似度越低，减少选择对应工作信息的概率。例如，在之前睡眠周期节律期间，在用户翻动的时间较多，深睡时间相对少的情况下，之前睡眠周期内的工作信息为降低用户的睡眠质量的工作信息，因此，工作适当性判断模块153以不选择之前睡眠周期内的工作信息的方式更新工作确定算法。在此情况下，工作信息确定模块可根据更新的工作确定算法，以使用户翻动的时间减少的方式指定相对从睡眠周期节律的一个周期开始的初始规定时间内提高温度的工作。在执行从开始进行一周期的时间点的初始规定时间内提高温度的工作之后，根据传感器部的检测结果，在用户翻动的时间减少的情况下，工作适当性判断模块判断为对应工作适当，在用户翻动较多的情况下(即，在类似的环境下)，以提高执行在初始规定时间内提高温度的工作的概率(即，执行与在类似环境下导出优选结果的之前的工作类似的工作)的方式更新工作确定算法。
根据本发明的一实施例，存储器130可存在能够在处理器150中执行的程序代码及用户数据。例如，存储器130从与用户有关的环境可存储对应的环境数据，从用户的睡眠可存储与履历信息有关的用户数据。
根据本发明的一实施例，输入部160可设置于利用强化学习的睡眠环境调节装置100，可由输入按钮、触摸屏或它们的组合构成。输入部160可接收用户的信息。例如，输入部160可从用户接收用户的年龄、性别、区域及问卷调差结果中的至少一个的用户信息。其中，上述问卷调查结果可以为与用于把握用户的睡眠周期节律的问卷调查有关的结果信息。并且，可接收与睡眠模式有关的信息、睡觉时间及起床时间中的至少一个。通过上述输入部160接收的信息仅为例示，本发明并不局限于此。
并且，输入部160能够以输入按钮形态及触摸屏形态设置于利用强化学习的睡眠环境调节装置100。设置有上述输入部160的位置可以为用户能够轻松输入用户信息的利用强化学习的睡眠环境调节装置100的侧面，本发明并不局限于此。
根据本发明的一实施例，网络连接部170可接收外部设备或应用输入的用户信息，而并非从利用强化学习的睡眠环境调节装置100接收。作为外部设备的例示，可以为个人电脑、便携式终端、可穿戴装置等。并且，网络连接部170可形成用于传感器部140、工作部120、处理器150、输入部160之间的数据通信的通道。
根据本发明的一实施例，网络连接部170可从服务器10及用户终端20中的至少一个接收控制信息。更具体地，网络连接部170可包括用于网络连接的有线、无线模块。无线网路技术可以利用无线局域网(WLAN，Wireless LAN)(无线保真)、无线宽带(Wibro，Wirelessbroadband)、全球微波接入互操作性(Wimax，World Interoperability for MicrowaveAccess)、高速下行链路分组接入(HSDPA，High Speed Downlink Packet Access)等，有线网络技术可利用数字用户线(XDSL，Digital SubscriberLine)、光纤到户(FTTH，Fibers tothe home)、电力线通信(PLC，Power Line Communication)等。
并且，网络连接部170可包括近距离通信模块，位于与用户终端20较劲的近距离，可以与包括近距离通信模块的电子装置收发数据。近距离通信技术(short rangecommunication)可利用蓝牙(Bluetooth)、射频识别(RFID，Radio FrequencyIdentification)、红外线通信(IrDA，infrared Data Association)、超宽带(UWB，UltraWideband)、蜂窝等。
图3示出本发明一实施例的利用强化学习的睡眠环境调节装置100的例示图。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100为了改变用户的睡眠状态而可以控制主体110的温度及湿度。
如图3所示，在主体110的内侧可设置内侧通路111。上述内侧通路111可以为从工作部120供给的热风及冷风移动的空间。从上述工作部120供给的热风及冷风可贯通上述内侧通路111的上端来调节主体110的温度。并且，通过上述内侧通路111的上端的热风及冷风可通过床上用品类112维持温度。即，利用强化学习的睡眠环境调节装置100可通过最少的工作带来高效率的睡眠环境变化。
根据本发明的一实施例，工作部120可设置于主体110。上述工作部120所在的位置可以为主体分离或者可以为主体110的下端部分。例如，如图3所示，在用户躺在主体110的情况下，可以为用户的脚所在的主体110的下端部分。上述工作部120所在的位置仅为例示，本发明并不局限于此。
并且，工作部120可调节主体110的温度及湿度中的至少一种。例如，工作部120为了控制支撑用户的主体110的用户的体温而可以供给热风及冷风中的至少一种。并且，工作部120以控制支撑用户的主体110的湿度的方式执行除湿工作及加湿工作中的至少一种工作。因此，工作部120可控制用户的体温及湿度来增加睡眠效率。
图4示出本发明一实施例的利用强化学习的睡眠环境调节方法的流程图。
利用强化学习的睡眠环境调节装置100可测定及判断用户的睡眠状态来控制与此对应的用户的睡眠环境。利用强化学习的睡眠环境调节装置100可测定用户的睡眠状态。并且，利用强化学习的睡眠环境调节装置100可通过用户的测定信息生成与睡眠状态有关的信息来判断睡眠质量。通过对于上述用户的睡眠质量的判断，利用强化学习的睡眠环境调节装置100可以向用户提供增加睡眠效率的睡眠环境。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100可测定用户的生物信息(步骤210)。具体地，在用户采取睡眠的情况下，利用强化学习的睡眠环境调节装置100可测定用户的心率信号、脑电波信号、呼吸信号及移动信号中的至少一种。并且，利用强化学习的睡眠环境调节装置100可测定用户的体温及用户采取睡眠的室内温度及湿度。利用强化学习的睡眠环境调节装置100能够以上述测定信息为基础来生成当前状态信息。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100可生成当前睡眠适当性信息(步骤220)。详细地，利用强化学习的睡眠环境调节装置100能够基于以通过传感器部140测定的测定信息为基础来生成的当前状态信息来生成当前睡眠适当性信息。在此情况下，当前睡眠适当性信息与在睡眠周期节律的一个周期内测定的上述当前状态信息对应地生成。因此，当前睡眠适当性信息可以包含与睡眠周期节律的一个周期内的用户睡眠状态有关的信息。例如，当前睡眠适当性信息可以为包含一个周期内的用户睡眠步骤的比例的信息。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100可利用工作确定算法来确定工作信息(步骤230)。上述工作确定算法由人工神经网构成，可通过输入当前睡眠适当性信息来向一个以上的候补工作信息输出分数。并且，工作确定算法能够以上述候补工作信息有关的分数为基础来确定工作信息。具体地，工作确定算法能够以与睡眠周期节律的一个周期的用户的睡眠状态有关的当前睡眠适当性信息为基础来向与此对应的多个工作信息输出分数，可在工作信息中确定将分数最大化的工作信息。例如，在工作确定算法以当前睡眠适当性信息为基础输出的工作信息的分数为10、8、18、2、3、6的情况下，上述工作确定算法选择工作信息中分数最高的18来确定工作信息。对于上述工作信息的分数数值仅为例示，本发明并不局限于此。即，工作确定算法可具有基于用户的当前状态的多个工作选项，可利用人工神经网的演算来将多个工作选项中的最适当的工作选择为工作信息。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100可执行环境调节工作(步骤240)。利用强化学习的睡眠环境调节装置100可通过工作部120执行环境调节工作。上述工作部120设置于主体110，为了控制用户的体温及湿度而可以执行热风、冷风、除湿及加湿工作中的至少一个工作。工作部120能够以通过工作确定算法确定的工作信息为基础来执行上述工作。例如，若在工作确定算法中确定的工作信息为上升用户的体温的信息，则上述工作部120供给热分来上升用户的提问。作为另一例，在工作确定算法中确定的工作信息为降低用户的提问并提高用户所在空间的湿度的信息，则上述工作部120可执行冷风及除湿工作来降低用户的体温并提高用户所在空间的湿度。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100可生成工作后的睡眠适当性信息(步骤250)。详细地，利用强化学习的睡眠环境调节装置100能够基于以在工作部120执行工作的期间通过传感器部140测定的测定信息为基础来生成的工作后的状态信息为基础来生成工作后的睡眠适当性信息。在此情况下，工作后的睡眠适当性信息可以与睡眠周期节律的一个周期内测定的上述工作后的状态信息相对应地生成，能够以一天为基准。因此，工作后的睡眠适当性信息可以包含与睡眠周期节律的一个周期内的用户睡眠状态有关的信息。例如，工作后的睡眠适当性信息可以为包含一个周期内的用户的各个睡眠步骤的比例的信息。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100可生成。具体地，利用强化学习的睡眠环境调节装置100可生成作为工作后的睡眠适当性信息的目标的基准睡眠适当性信息。详细地，利用强化学习的睡眠环境调节装置100能够以将睡眠周期节律的一个周期内的用户的睡眠效率最大化的生物信号及用户输入信息为基础来生成基准睡眠适当性信息。例如，上述基准睡眠适当性信息可以为如下的信息，即，深睡增加，睡眠过程中醒来的比例显著减少，将快动眼睡眠增加等整体睡眠效率最大化。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100对工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断对于上述环境调节工作的适当性(步骤260)。利用强化学习的睡眠环境调节装置100可通过工作适当性判断模块153判断环境调节工作的适当性。具体地，上述工作适当性判断模块153对睡眠周期节律的一个周期内的工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断类似度。详细地，可对工作后的睡眠适当性信息的睡眠步骤和基准睡眠适当性信息的睡眠步骤的比例进行比较来判断类似度。其中，上述睡眠步骤可包括浅睡步骤、普通睡眠步骤、深睡步骤及快动眼睡眠步骤。例如，如图7所示，测定用户的睡眠状态来生成的工作后的睡眠适当性信息的睡眠周期节律可通过附图标记610、附图标记620、附图标记630、附图标记640表示。并且，将用户的睡眠效率最大化，作为工作后的睡眠适当性信息的目标的基准睡眠适当性信息的睡眠周期节律可通过附图标记710、附图标记720、附图标记730、附图标记740表示。
根据本发明的一实施例，如图7所示，可比较基于工作后的睡眠适当性信息的浅睡、普通睡眠、深睡、快动眼睡眠和基于基准睡眠适当性信息的浅睡、普通睡眠、深睡、快动眼睡眠的图表形态。例如，若比较附图标记610与附图标记710，则浅睡及普通睡眠的比例相对少，深睡及快动眼睡眠的比例较大。并且，在附图标记610及附图标记710的比较和附图标记620及附图标记720、附图标记630及附图标记730、附图标记640及附图标记740的比较中，比例形态类似地呈现。即，基准睡眠适当性信息可以为工作后的睡眠适当性信息的目标，且是与将用户的睡眠效率最大化的睡眠步骤有关的信息。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100可对工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断工作的适当性。具体地，利用强化学习的睡眠环境调节装置100可对睡眠周期节律的一个周期内的工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断类似度。详细地，利用强化学习的睡眠环境调节装置100可分别比较工作后的睡眠适当性信息的第一周期610与基准睡眠适当性信息的第一周期710的各个睡眠步骤的比例。例如，可分别比较在附图标记610中的浅睡、普通睡眠、深睡、快动眼睡眠的比例与在附图标记710中的浅睡、普通睡眠、深睡、快动眼睡眠的比例来判断类似度。具体地，判断上述类似度的方法可以为如下方法中的至少一种方法，即，测定基于一个周期内的时间的流逝的类似度的时序类似度判断方法、通过对于一个周期内的各个睡眠步骤的比例的比较来判断类似度的方法以及在上述工作后的睡眠适当性信息的睡眠周期节律图表和上述基准适当性信息的睡眠周期节律图表中计算分别对应的位置的距离来判断类似度的图表类似度测定方法。判断上述类似度的方法的记载仅为例示，本发明并不局限于此。
因此，利用强化学习的睡眠环境调节装置100可通过上述方法比较工作后的睡眠适当性信息与基准睡眠适当性信息来判断对于用户的睡眠的适当性。例如，工作后的睡眠适当性信息与基准睡眠适当性信息的类似度越高，越接近理想的睡眠状态，因此，可判断为利用强化学习的睡眠环境调节装置100的环境调节工作适当。上述工作后的睡眠适当性信息及基准睡眠适当性信息仅为例示，本发明并不局限于此。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100能够以对于环境调节工作的适当性判断为基础来更新工作确定算法(步骤270)。利用强化学习的睡眠环境调节装置100可通过工作适当性判断模块153更新工作确定算法。具体地，以基于上述类似度的判断为基础，在上述类似度高的情况下，能够以使上述工作确定算法以上述当前睡眠适当性信息为基础确定上述工作信息的概率增加的方式更新上述工作确定算法。并且，在上述类似度低的情况下，能够以使上述工作确定算法以上述当前睡眠适当性信息为基础确定上述工作信息的概率减少的方式更新上述工作确定算法。例如，在对睡眠周期节律的一个周期内的工作后的睡眠适当性信息用户基准睡眠适当性信息进行比较的类似度为98％的情况下，能够以增加选择对应工作信息的概率的方式更新工作确定算法。并且，在对睡眠周期节律的一个周期内的工作后的睡眠适当性信息与基准睡眠适当性信息进行比较的类似度为14％的情况下，能够以减少选择对应工作信息的概率的方式更新工作确定算法。上述类似度数值的记载仅为例示，本发明并不局限于此。
图6为示出本发明一实施例的基于利用强化学习的睡眠环境调节装置100的温度调节变化的用户的睡眠步骤变化的例示图。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100可以改变用户的皮肤温度。具体地，利用强化学习的睡眠环境调节装置100可通过执行睡眠环境变化工作来微细地改变用户的皮肤温度。例如，利用强化学习的睡眠环境调节装置100可通过向用户供给热风及冷风中的至少一个来改变用户的皮肤温度。在上述用户皮肤温度微细地上升0.4度左右的情况下，可帮助减少用户的体温。通常，因昼夜节律，夜间睡眠时提问将下降，通过增加皮肤温度来加速用户的体温减少，因此，增加睡眠效率。因此，利用强化学习的睡眠环境调节装置100可上升用户的皮肤温度，由此，可通过促进体温的减少来增加用户的睡眠效率。
根据本发明的一实施例，如图6的(a)部分所示，利用强化学习的睡眠环境调节装置100可以在规定周期内上升用户的皮肤温度。并且，如图6所示，用户的睡眠比例可以与上述上升的温度变化对应地改变。
图6为示出本发明一实施例的基于利用强化学习的睡眠环境调节装置100的温度调节变化的用户的睡眠步骤变化的例示图。
图6的(a)部分为如下的图表，即，利用强化学习的睡眠环境调节装置100执行温度调节工作来调节温度。并且，图6的(b)部分为如下信息有关的图表，即，如(a)部分所示，当利用强化学习的睡眠环境调节装置100调节温度时，可通过检测获取的睡眠适当性信息。图6所示的表2可以为以在上述表b中在各个周期呈现的睡眠比例为基础导出的比例。
根据本发明的一实施例，如图6的附图标记550所示，利用强化学习的睡眠环境调节装置100有可能不执行温度调节工作。具体地，利用强化学习的睡眠环境调节装置100可通过检测来在睡眠周期节律的第一个周期内获取用户的睡眠适当性信息。与上述利用强化学习的睡眠环境调节装置100获取的用户的第一周期有关的睡眠适当性信息可以为附图标记510区域，在对应区域中的睡眠比例可以为图6的表2的第一周期。在睡眠周期节律的1周期内获取用户的睡眠适当性信息之后，利用强化学习的睡眠环境调节装置100以上述1周期的睡眠适当性信息510为基础来确定通过工作确定算法执行的环境调节工作。通过上述确定的工作，利用强化学习的睡眠环境调节装置100可在2周期内执行睡眠环境调节工作。如图6的(a)部分所示，如附图标记560所示，利用强化学习的睡眠环境调节装置100可在2周期内执行睡眠环境调节工作。由此，用户的2周期睡眠适当性信息520如图6的(b)部分所示，如图6的表2所示，与1周期相比，用户的深睡的比例可以增加。因此，利用强化学习的睡眠环境调节装置100可以判断为对应睡眠环境调节工作适当。利用强化学习的睡眠环境调节装置100以对于上述睡眠2周期的环境调节工作适当的判断结果为基础来以在类似情况选择类似工作的方式调节人工神经网800的加权值。因此，如图6的(a)部分所示，如附图标记570所示，利用强化学习的睡眠环境调节装置100可以在3周期执行与2周期类似的睡眠环境调节工作。由此，3周期的睡眠适当性信息可以与如图6的(b)部分的附图标记530。并且，在用户的睡眠步骤比例中，如图6的表2所示，在第三周期中，用户的深睡减少，但是，快动眼睡眠的比例进一步增加。利用强化学习的睡眠环境调节装置100可判断在第三周期中，快动眼睡眠的比例大幅度增加，深睡的比例减少，因此，在对应睡眠环境调节工作中，减少深睡的比例的部分不适当，增加快动眼睡眠的比例的部分适当。利用强化学习的睡眠环境调节装置100判断为在3周期的温度调节工作570中，温度的最大值大于2周期温度调节工作560的温度最大值与时间上深睡减少有关，可以将4周期的温度调节工作570的温度最大值确定为与2周期的温度调节工作560的温度最大值类似。即，本发明的利用强化学习的睡眠环境调节装置100的最终目标均增加深睡和快动眼睡眠的比例，因此，利用强化学习的睡眠环境调节装置100以军增加深睡和快动眼睡眠的比例的方式更新环境调节工作的工作确定算法
Figure BDA0002669142350000161
由此，4周期的睡眠适当性信息可以与附图标记540相同。如图6的表2所示，与第三周期相比，第四周期的深睡及快动眼睡眠可以减少。因此，利用强化学习的睡眠环境调节装置100可判断为不适合对应工作。以上述不适当判断结果为基础，以防止在类似情况选择类似工作的方式调节人工神经网800的加权值。
即，利用强化学习的睡眠环境调节装置100能够以上述强化学习的反复为基础来调节用户的睡眠环境。在此情况下，在睡眠周期节律中，深睡及快动眼睡眠的量的增加可以为强化学习的目标(goal)。并且，通过利用强化学习的睡眠环境调节装置100的睡眠环境调节工作，可以补偿(reward)深睡及快动眼睡眠中的至少一个量的增加。因此，利用强化学习的睡眠环境调节装置100可通过反复的强化学习向用户提供最优的睡眠环境。上述用户的睡眠比例仅为例示，本发明并不局限于此。
图8示出构成本发明实施例的工作确定算法的人工神经网800的结构图。
神经网800包括一个以上的节点。构成神经网的节点(或神经元)可通过一个以上“链接”相互连接。
在神经网800内，通过链接连接的一个以上节点可相对形成输入节点及输出节点关系。输入节点及输出节点的概念为相对性的概念，对一个节点具有输出节点关系的任意节点在与其他节点的关系中有可能与输入节点有关系。反之亦然。如上所述，输入节点与输出节点的关系能够以链接为中心生成。一个输入节点可通过链接与一个以上输出节点相连接，反之亦然。
在通过一个链接连接的输入节点及输出节点关系中，输出节点的值能够以向输入节点输入的数据为基础确定。其中，相互连接输入节点与输出节点的节点可具有加权值(weight)。加权值可以改变，神经网800为了执行所需要的功能而通过用户或算法更新。例如，在一个输出节点与一个以上的输入节点通过各个链接相互连接的情况下，输出节点能够以向与上述输出节点相连接的输入节点输入的值及在与各个输入节点相对应的链接设定的加权值为基础来确定输出节点值。
如上所述，在神经网800中，一个以上节点通过一个以上的链接相互连接，以此在神经网内形成输入节点及输出节点。在神经网800内，可根据多个节点与多个链接的数量及多个节点与多个链接之间的连接关系、向多个链接赋予的加权值的值确定神经网800的特性。例如，在具有存在相同数量的节点及多个链接，在多个链接之间的加权值不同的神经网800的两个神经网800的情况下，两个神经网800可以被识别成不同的神经网800。
如图8所示，神经网800可包括一个以上节点。构成神经网800的多个节点中的一部分能够以从最初输入节点的距离为基础来构成一个层(layer)。例如，从最初输入节点的距离为n的多个节点的集合可以构成n层。从最初输入节点的距离可通过为了从最初输入节点到达对应节点而需要经过的多个链接的最少数量定义。但是，这些层的定义为用于说明的暂时性层，在神经网800内，层的层数可通过与上述不同的方法定义。例如，多个节点的层可通过从最终输出节点的距离定义。
最初输入节点可以为在神经网800内的多个节点中，与其他节点的关系中，不经过链接，而是直接输入数据的一个以上的节点。或者，可以为在神经网800网络中，以链接为基准的节点之间的关系中，不具有通过链接连接的其他输入节点的节点。与此类似地，最终输出节点可以为在神经网800内的节点中，在与其他节点的关系中，不具有输出节点的一个以上节点。并且，隐藏节点可以为除最初输入节点及最后输出节点之外构成神经网的节点。
本发明一实施例的神经网800可以为如下的神经网，即，输入层的节点数量有可能比靠近输出层的隐藏层的节点数量多，从输入层向隐藏层，节点的数量减少。
在本发明的一实施例中，为了可以处理数据，神经网800可包括多层感知器(MLP，multilayer Perceptron)、循环神经网络(RNN，recurrent neural network)、卷积神经网络(CNN，Convolutional Neural Network)等。并且，在本发明的一实施例中，为了可以防止因随着事件的长度变长而有可能发生的长期记忆问题(long range dependencyvanishing gradient)而所发生的性能下降，本发明的神经网800可包括(LSTM，longshort-term memory)。并且，在本发明的一实施例中，作为人工神经网方法的最优化工法，可以使用随机梯度下降法(SGD)、动量(Momentum)、Adam、AdaGrad、RMSprop等。并且，若仅可一次对学习数据D进行学习，则通过多次反复时期(epoch)来求出将误差函数最小化的多个参数。在检查是否实现充分的最优化之后，可以确定是否结束学习步骤。
与一般的前馈神经网络不同，在循环神经网络中，隐藏层的输出可以为隐藏层的输入。循环神经网络同时考虑当前输入的输入数据与过去接收的数据来进行演算，具有补偿结构，由此具有记忆功能的神经网。因此，循环神经网络可以在数据中根据之前数据的含义解析当前数据。作为循环神经网络中的一种的长短期记忆网络也可被称为长期记忆网络(long short term memory network)，并可以学习长期依赖性。在本发明的一实施例中，神经网可包括作为循环神经网络中的一种的长短期记忆网络和如深度选通循环神经网络(depth gated RNN)、时间装置循环神经网络(clockwork RNN)等的可以处理数据的任意神经网。
图8的神经网800可包括一个以上的隐藏层。隐藏层的隐藏节点可以将之前曾的输出和周边隐藏节点的输出作为输入。各个隐藏层的隐藏节点的数量可以相同，也可以不相同。输入层的节点的数量能够以输入数据的数据字段的数量为基础确定，可以与隐藏节点的数量相同，或者不相同。向输入层输入的输入数据可通过隐藏层的隐藏节点演算，可通过作为输出层的完全连接层(FCL，fullyconnected layer)输出。
根据本发明的一实施例，工作确定算法可以将当前睡眠适当性信息作为输入来向一个以上的候补工作信息输出分数。并且，工作确定算法能够以与上述候补工作信息有关的分数为基础来确定工作信息。具体地，工作确定算法可根据与睡眠周期节律的一个周期内的用户的睡眠状态有关的当前睡眠适当性信息为基础来向与此对应的多个工作信息输出分数，在工作信息中，可以确定将分数最大化的工作信息。例如，如图8所示，在工作确定算法以当前睡眠适当性信息为基础输出的工作信息为4个，与输出工作有关的分数分别为7、18、9、12的情况下，上述工作确定算法可在工作信息中选择分数最高的18来确定工作信息。与上述工作信息有关的分数数值的记载仅为例示，本发明并不局限于此。即，工作确定算法可具有基于用户的当前状态的多个工作选项，可利用人工神经网的演算，在多个工作选项中，将最适当的工作选择为工作信息。
图10为示出用于体现本发明一实施例的利用强化学习的睡眠环境调节方法的单元的框结构图。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100可通过如下的单元体现：单元51，测定生物信号来生成当前状态信息及工作后的状态信息；单元52，以上述当前状态信息为基础来生成当前睡眠适当性信息；单元53，利用工作确定算法来确定工作信息；单元54，以上述工作信息为基础来执行环境调节工作；单元55，在执行上述环境调节工作之后，测定生物信号来生成工作后的状态信息；单元56，以上述工作后的状态信息为基础来生成工作后的睡眠适当性信息；单元57，对上述工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断上述环境调节工作的适当性；以及单元58，以上述环境调节工作的适当性判断为基础来更新工作确定算法。
代替性地，用于生成上述当前状态信息及工作后的状态信息的单元可包括如下传感器中的至少一种传感器：用户状态测定传感器，通过接触或非接触方式测定用户的心率、呼吸次数、移动及脑电波中的至少一种；温度传感器，用于测定用户采取睡眠的室内外恩度及上述用户的体温中的至少一种；以及湿度传感器，用于测定用户采取睡眠的室内湿度，可通过上述传感器中的至少一个传感器测定上述当前状态信息、室内温度信息及室内湿度信息中的至少一种。
代替性地，以上述工作信息为基础来执行环境调节工作的单元可设置于上述主体，为了控制上述用户的体温而可以向上述主体供给热风及冷风中的至少一个。
代替性地，以上述当前状态信息为基础来生成当前睡眠适当性信息的单元可包含在用于生成上述当前状态信息及工作后的状态信息的单元中测定的上述用户的呼吸状态信息、心率状态信息、脑电波信息及移动状态信息中的至少一种，可包含上述用户的睡眠周期节律的一个周期内的测定结果。
代替性地，以上述当前状态信息为基础生成当前睡眠适当性信息的单元能够以睡眠周期节律的一个周期内测定的上述当前状态信息为基础生成。
代替性地，在执行上述环境调节工作之后，测定生物信号来生成上述工作后的状态信息的单元能够以通过处理器150的控制信号执行环境调节工作的单元执行工作的睡眠周期节律的一个周期的生物信号为基础生成。
代替性地，在执行上述环境调节工作之后，测定生物信号来生成工作后的状态信息的单元能够以睡眠周期节律的一个周期内测定的上述工作后的状态信息为基础生成。
代替性地，上述基准睡眠适当性信息的特征在于，以将睡眠周期节律的一个周期内的用户的睡眠效率最大化的生物信息为基础生成，并成为上述工作后的睡眠适当性信息的目标。
代替性地，上述工作确定算法可由人工神经网构成，将上述当前睡眠适当性信息作为输入来输出与一个以上的候补工作信息有关的分数，而且，能够以与上述候补工作信息有关的分数为基础来确定上述工作信息。
代替性地，用于判断上述环境调节工作的适当性的单元可对睡眠周期节律的一个周期内的工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断类似度并判断上述工作的适当性。
代替性地，在以对于上述环境调节工作的适当性判断为基础来更新工作确定算法的单元中，在上述类似度高的情况下，以使上述工作确定算法以上述当前睡眠适当性信息为基础确定上述高作信息的概率增加的方式更新上述工作确定算法，或者在上述类似度低的情况下，以使上述工作确定算法以上述当前睡眠适当性信息为基础确定上述工作信息的概率减少的方式更新上述工作确定算法。
图11为示出用于体现本发明一实施例的利用强化学习的睡眠环境调节方法的模块的框结构图。
根据本发明的一实施例，利用强化学习的睡眠环境调节方法可通过如下模块体现。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100可通过如下的电路体现：模块61，测定生物信号来生成当前状态信息及工作后的状态信息；模块62，以上述当前状态信息为基础来生成当前睡眠适当性信息；模块63，利用工作确定算法来确定工作信息；模块64，以上述工作信息为基础来执行环境调节工作；模块65，在执行上述环境调节工作之后，测定生物信号来生成工作后的状态信息；模块66，以上述工作后的状态信息为基础来生成工作后的睡眠适当性信息；模块67，对上述工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断上述环境调节工作的适当性；以及模块68，以上述环境调节工作的适当性判断为基础来更新工作确定算法。
图12为示出用于体现本发明一实施例的利用强化学习的睡眠环境调节方法的逻辑的框结构图。
根据本发明的一实施例，利用强化学习的睡眠环境调节方法可通过如下逻辑体现。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100可通过如下的电路体现：逻辑71，测定生物信号来生成当前状态信息及工作后的状态信息；逻辑72，以上述当前状态信息为基础来生成当前睡眠适当性信息；逻辑73，利用工作确定算法来确定工作信息；逻辑74，以上述工作信息为基础来执行环境调节工作；逻辑75，在执行上述环境调节工作之后，测定生物信号来生成工作后的状态信息；逻辑76，以上述工作后的状态信息为基础来生成工作后的睡眠适当性信息；逻辑77，对上述工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断上述环境调节工作的适当性；以及逻辑78，以上述环境调节工作的适当性判断为基础来更新工作确定算法。
图13为示出用于体现本发明一实施例的利用强化学习的睡眠环境调节方法的电路的框结构图。
根据本发明的一实施例，利用强化学习的睡眠环境调节方法可通过如下电路体现。
根据本发明的一实施例，利用强化学习的睡眠环境调节装置100可通过如下的电路体现：电路81，测定生物信号来生成当前状态信息及工作后的状态信息；电路82，以上述当前状态信息为基础来生成当前睡眠适当性信息；电路83，利用工作确定算法来确定工作信息；电路84，以上述工作信息为基础来执行环境调节工作；电路85，在执行上述环境调节工作之后，测定生物信号来生成工作后的状态信息；电路86，以上述工作后的状态信息为基础来生成工作后的睡眠适当性信息；电路87，对上述工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断上述环境调节工作的适当性；以及电路88，以上述环境调节工作的适当性判断为基础来更新工作确定算法。
本发明所属技术领域的普通技术人员知道与追加性地在此揭示的实施例有关地说明的多种例示性论理块、结构、模块、电路、单元、逻辑及算法步骤可通过电子硬件、计算机软件或它们的组合体现。为了明确例示硬件及软件的相互交换性，多种例示性组件、块、结构、单元、逻辑、模块、电路及步骤的功能性方面已上述。是否通过这种功能性硬件或软件体现可基于向整体系统附加的特定应用(application)及设计限制。本发明所属技术领域的普通技术人员为了各个特定应用而可以体现通过多种方法说明的功能性，这些体现的确定不能超出本发明内容的范围。
图14示出可体现本发明内容的实施例的例示性计算环境的简要且一般的简图。
通常，本发明记述了与可以在一个以上的计算机上执行的计算机可读性指令有关的内容，只要是本发明所属技术领域的普通技术人员就可以知道本发明可以与其他程序模块相结合和/或通过软件和硬件的组合体现。
通常，在本说明书中的模块包括执行特定人物或者体现特定抽象数据类型的例程、过程、程序、组件、数据结构、其他等。并且，只要是本发明所属技术领域的普通技术人员就可以知道本发明的方法可通过包括单一处理器或多处理器计算机系统、微型计算机、大型计算机、个人计算机、手持式计算装置、基于微处理器或可编程家电、其他等(它们与一个以上的相关装置相连接来进行工作)在内的其他计算机系统结构实施。
在本发明中说明的实施例中，任何任务可以在以通过通信网络连接的远程处理装置执行的分散计算环境中实施。在分散计算环境中，程序模块均可位于本地及远程存储装置。
通常，计算机包括多种计算机可读介质。可通过计算机接入的介质均可以为计算机可读介质，这种计算机可读介质包括易失性及非易失性介质、暂时性(transitory)及永久性(non-transitory)介质、移动式及非移动式介质。作为非限定性例，计算机可读介质可包括结算及可读存储介质及计算机可读传送介质。
计算机可读存储介质包括计算机可读指令、数据结构、程序模块或通过存储如其他数据的信息的任意方法或技术体现的易失性及非易失性介质、暂时性及永久性介质、移动式及非移动式介质。计算机可读存储介质包括随机存储存储器、只读存储器、EEP只读存储器、闪存或其他存储技术、只读光盘、数字视盘(DVD，digital video disk)或其他光盘存储装置、磁带、磁盘、磁盘存储装置或其他磁存储装置、可通过计算机接入并存储所需要信息的任意的其他介质，但并不局限于此。
通常，计算机可读传送介质在如载波(carrier wave)或其他传送机制(transportmechanism)的调制数据信号(modulated data signal)体现计算机可读指令、数据结构、程序模块或其他数据等，包括所有信息传递介质。调制数据信号是指以在信号内编码信息的方式设定或改变上述信号的特性中的一个以上的信号。作为非限定性例，计算机可读传送介质包括如有线网络或直接配线连接(direct-wired connection)的有线介质及如音响、射频、红外线、其他无线介质的无线介质。上述介质中的任意组合也属于计算机可读传送介质的范围内。
本发明示出体现包括计算机1102的本发明的多个实施方式的例示性环境1100，计算机1102包括处理装置1104、系统存储器1106及系统总线1108。系统总线1108使包括系统存储器1106(并不局限于此)在内的系统组件与处理装置1104相连接。处理装置1104可以为多种常用处理器中的任意处理器。双处理器及其他多处理器结构也可以作为处理装置1104利用。
系统总线1108可以为与使用存储器总线、周边装置总线及多种常用总线结构中的任意总线的本地总线相互连接的几种类型的总线结构中的任意结构。系统存储器1106包括只读存储器1110及随机存储存储器1112。基本输入、输出系统(BIOS)存储于只读存储器、EPROM、EEPROM等的非易失性存储器1110，上述输入、输出系统在如启动过程的时期帮助传送计算机1102内的结构要素之间的信息的基本例程。随机存储存储器1112还可包括用于缓存数据的随机存储存储器等的高速随机存储存储器。
计算机1102包括：内置型硬盘驱动器1114(HDD)(例如，EIDE，SATA)，可以在适当的机箱(未图示)内作为外置型用途构成；磁性软盘驱动器1116(FDD)(例如，用于从可移动软盘1118读取或者在其进行记录)；以及光磁驱动器1120(例如，用于读取只读光盘1122或者从数字视盘等其他高容量光介质读取或者在其进行记录)。硬盘驱动器1114、磁性软盘驱动器1116及光磁驱动器1120可分别通过硬盘驱动器接口1124、磁性软盘驱动器接口1126及光磁驱动器界面1128与系统总线1108相连接。例如，用于体现外置型驱动器的界面1124包括通用串行总线(USB，Universal Serial Bus)及IEEE 1394接口技术中的至少一种或两种。
这些驱动器及与其相关的计算机可读介质提供数据、数据结构、计算机可执行指令、其他等非易失性存储。在计算机1102的情况下，驱动器及介质将任意数据以适当数字格式存储。对于上述计算机可读存储介质的说明提及了硬盘驱动器、可移动磁盘及CD或数字视盘等移动式光介质，只要是本发明所属技术领域的普通技术人员就可以知道极碟(zipdrive)、磁带、闪存卡、卡盒、其他等通过计算机可读的其他类型的存储介质也可以在例示性运营环境下适用，并且，上述任意介质可包括用于执行本发明的方法的计算机可读指令。
包括操作系统1130、一个以上的应用程序1132、其他程序模块1134及程序数据1136在内的多个程序模块可存储于驱动器及随机存储存储器1112。操作系统、应用、模块和/或数据的全部或其一部分也可缓存在随机存储存储器1112。本发明可以在多种商业可利用的操作系统或运行系统的组合中体现。
用户可通过一个以上的有线、无线输入装置，例如，键盘1138及鼠标1140等的指示装置向计算机1102输入指令及信息。其他输入装置(未图示)可以为麦克风、IR遥控器、操作杆、游戏板、触控笔、触摸屏及其他等。它们及其他输入装置通过与系统总线1108相连接的输入装置接口1142与处理装置1104相连接，也可通过并列端口、IEEE 1394串联端口、游戏端口、通用串行总线端口、IR接口、其他等其他接口连接。
显示器1144或其他类型的显示装置也通过视频适配器1146等的接口与系统总线1108相连接。除显示器1144之外，计算机包括扬声器、打印机、其他等其他周边输出装置(未图示)。
计算机1102可以使用通过有线和/或无线通信的远程计算机1148等的一个以上的远程计算机的论理连接来在网络化的环境下进行工作。远程计算机1148可以为工作站、服务器计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐设备、对等设备或其他一般的网络节点，通常，包括对计算机1102记述的结构要素中的多个或全部，但是为了简化，仅示出存储装置1150。随时的论理连接包括近距离通信网1152(LAN)和/或更大的网络，例如，远程通信网1154(WAN)的有线、无线连接。这种近距离通信网及远程通信网等网络环境在事务所及公司中较为普遍，促进内联网等的全公司计算机网络(enterprise-widecomputer network)，这些全部可以与全球计算机网络，例如，互联网连接。
当在近距离通信网络环境中使用时，计算机1102通过有线和/或无线通信网络接口或适配器1156与本地网络1152相连接。适配器1156可以促进近距离通信网1152的有线或无线通信，上述近距离通信网1152为了与无线适配器1156进行通信而包括设置其其的无线接入点。当在远程通信网络环境下使用时，计算机1102可包括调制解调器1158，或者与远程通信网1154上的通信服务器相连接，或者具有通过互联网等通过远程通信网络1154设定通信的其他单元。可以为内置型或外置型及有线或无线装置的调制解调器1158通过串联端口接口1142与系统总线1108相连接。在网络环境下，对计算机1102说明的程序模块或其的一部分可存储于远程存储器、存储装置1150。所示的网络连接仅为例示，可以使用在计算机之间设定通信链接的其他单元。
计算机1102进行如下的工作，即，与以无线通信配置并进行工作的任意无线装置或个体，例如，打印机、扫描仪、台式计算机和/或便携式计算机、个人数据助理(PDA，portable data assistant)、通信卫星、与可无线检测的标签有关的任意装置或场所及电话机进行通信。这至少包括无线保真及蓝牙无线技术。因此，如现有的网络，通信可以为预设结构或者可以为至少2个装置之间的临时通信(ad hoc communication)。
在没有有线的情况下，无线保真(Wireless Fidelity)可以与互联网等相连接。无线保真可以为在这种装置，例如，计算机在室内及室外，即，可以在基站的通话圈内的任何位置传送及接收数据的如手机的无线技术。无线保真网络安全且可靠，为了提供高速无线连接而使用称为IEEE 802.11(a，b，g，其他)的无线技术。为使计算机相互连接，使计算机与网络及有线网络(IEEE 802.3或乙太网路)连接而可以使用无线保真。无线保真网络在未经授权2.4GHz及5GHz无线频带中，例如，以11Mbps(802.11a)或54Mbps(802.11b)数据率进行工作，或者在包括两个频带(双频)的产品中进行工作。
本发明所属技术领域的普通技术人员可以知道与在此揭示的实施例有关地说明的多种例示性论理块、模块、处理器、单元、电路及算法步骤可通过电子硬件(为了便利，在此称为“软件”)、多种形态的程序或设计代码或它们的结合体现。为了明确说明硬件及软件的这种相互互换性，多种例示性组件、块、模块、电路、步骤与它们的功能相关地进行了说明。这种功能是否作为硬件或软件体现取决于对特定应用及整体系统附加的设计制约。本发明所属技术领域的普通技术人员可体现对各个特定引用以多种方式说明的功能，但是，这种体现确定并不超出本发明的范围。
在此揭示的多种实施例可通过方法、装置或使用标准编程和/或工程技术的制造产品(article)体现。术语“制造产品”包括可从任意计算机可读装置接入的计算机程序、载体或介质(media)。例如，计算机可读存储介质包括磁存储介质(例如，硬盘、软盘、磁条等)、光盘(例如，CD、数字视盘等)、智能卡及闪存装置(例如，EEPROM、卡、条、键驱动器等)，但并不局限于此。术语“机械可读介质”包括可存储、保留和/或传递指令和/或数据的无线通道及多种其他介质，但并不局限于此。
在所揭示的流程中的步骤的特定顺序或阶层结构为例示性接近的一例。基于设计有限顺序，在本发明的范围内，多个流程中的多个步骤的特定顺序或阶层结构可以再排列。附加的发明要求保护范围按样品顺序提供多个步骤的元素，而并不局限于所揭示的特定顺序或阶层结构。
对于所揭示实施例的说明为使任意本发明所属技术领域的普通技术人员利用或实施本发明而提供。对于这种实施例的多种变形对本发明所属技术领域的普通技术人员来说是显而易见的，在此定义的一般原理在不超出本发明的范围的情况下可适用于其他实施例。因此，本发明并不局限于在此揭示的实施例，而是需要在与在此揭示的原理及新特定一贯的最广的范围中解释。
本发明记述了与用于实施上述发明的最优的形态有关的内容。
产业上的可利用性
本发明涉及以可提高用户的睡眠效率的方式调节睡眠环境的装置。

Claims (12)

1.一种利用强化学习的睡眠环境调节装置，其特征在于，
包括：
主体，能够使用户位于其上；
传感器部，测定上述用户的生物信号来生成当前状态信息及工作后的状态信息；
工作部，为了以处理器的控制信号为基础来改变上述用户的睡眠状态而调节上述主体的睡眠环境；
处理器，包括一个以上的芯片；以及
存储器，用于存储能够在上述处理器中执行的程序代码，
上述处理器包括：
睡眠适当性信息生成模块，以上述当前状态信息为基础生成上述用户的当前睡眠适当性信息，以上述工作后的状态信息为基础来生成上述用户的工作后的睡眠适当性信息；
工作信息确定模块，以上述当前睡眠适当性信息为基础，利用工作确定算法来确定对上述工作部的工作进行控制的工作信息；以及
工作适当性判断模块，对上述工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断上述工作的适当性并更新上述工作确定算法。
2.根据权利要求1所述的利用强化学习的睡眠环境调节装置，其特征在于，
上述传感器部包括如下传感器中的至少一种：
用户状态测定传感器，通过接触或非解除方式测定用户的心率、呼吸次数、移动及脑电波中的至少一种；
温度传感器，测定用户采取睡眠的室内温度及上述用户的体温中的至少一种；以及
湿度传感器，测定用户采取睡眠的室内湿度，
通过上述传感器中的至少一个传感器获取上述当前状态信息、室内温度信息及室内湿度信息中的至少一种。
3.根据权利要求1所述的利用强化学习的睡眠环境调节装置，其特征在于，上述工作部设置于上述主体，为了控制上述用户的体温而向上述主体供给热风及冷风中的至少一种。
4.根据权利要求1所述的利用强化学习的睡眠环境调节装置，其特征在于，上述当前状态信息包含由上述传感器部测定的上述用户的呼吸状态信息、心率状态信息、脑电波信息及移动状态信息中的至少一种，包含上述用户的睡眠周期节律的一个周期的测定结果。
5.根据权利要求1所述的利用强化学习的睡眠环境调节装置，其特征在于，上述当前睡眠适当性信息以睡眠周期节律的一个周期内测定的上述当前状态信息为基础生成。
6.根据权利要求1所述的利用强化学习的睡眠环境调节装置，其特征在于，上述工作后的状态信息以上述工作部根据上述处理器的控制信号执行工作的睡眠周期节律的一个周期的生物信息为基础生成。
7.根据权利要求1所述的利用强化学习的睡眠环境调节装置，其特征在于，上述工作后的睡眠适当性信息以睡眠周期节律的一个周期内测定的上述工作后的状态信息为基础生成。
8.根据权利要求1所述的利用强化学习的睡眠环境调节装置，其特征在于，上述基准睡眠适当性信息以在睡眠周期节律的一个周期内将用户的睡眠效率最大化的生物信息为基础生成，成为上述工作后的睡眠适当性信息的目标。
9.根据权利要求1所述的利用强化学习的睡眠环境调节装置，其特征在于，上述工作确定算法由人工神经网构成，通过输入上述当前睡眠适当性信息来输出与一个以上的候补工作信息有关的分数，以与上述候补工作信息有关的分数为基础来确定上述工作信息。
10.根据权利要求1所述的利用强化学习的睡眠环境调节装置，其特征在于，
上述工作适当性判断模块对睡眠周期节律的一个周期内的工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断类似度并判断上述工作的适当性，
在上述类似度高的情况下，以增加上述工作确定算法以上述当前睡眠适当性信息为基础确定上述工作信息的概率的方式更新上述工作确定算法，或者在上述类似度低的情况下，以减少上述工作确定算法以上述当前睡眠适当性信息为基础确定上述工作信息的概率的方式更新上述工作确定算法。
11.一种利用强化学习来调节睡眠环境的方法，其特征在于，包括：
测定用户的生物信号来生成当前状态信息的步骤；
以上述当前状态信息为基础生成当前睡眠适当性信息的步骤；
以上述当前睡眠适当性信息为基础并利用工作确定算法来确定工作信息的步骤；
以上述工作信息为基础来执行床垫主体的环境调节工作的步骤；
在执行上述环境调节工作之后测定上述用户的生物信号来生成工作后的状态信息的步骤；
以上述工作后的状态信息为基础来生成工作后的睡眠适当性信息的步骤；
对上述工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断上述环境调节工作的适当性的步骤；以及
以对于上述环境调节工作的适当性判断为基础来更新工作确定算法的步骤。
12.一种存储于能够通过一个以上处理器执行的计算机可读介质的计算机程序，其特征在于，上述计算机程序使上述一个以上处理器执行以下的工作：
测定生物信号来生成当前状态信息的工作；
以上述当前状态信息为基础生成当前睡眠适当性信息的工作；
以上述当前睡眠适当性信息为基础并利用工作确定算法来确定工作信息的工作；
以上述工作信息为基础来执行床垫主体的环境调节工作的工作；
在执行上述环境调节工作之后测定上述用户的生物信号来生成工作后的状态信息的工作；
以上述工作后的状态信息为基础来生成工作后的睡眠适当性信息的工作；
对上述工作后的睡眠适当性信息与基准睡眠适当性信息进行比较来判断上述环境调节工作的适当性的工作；以及
以对于上述环境调节工作的适当性判断为基础来更新工作确定算法的工作。
CN201980017642.3A 2018-03-07 2019-03-07 利用强化学习的睡眠环境调节装置 Pending CN111867429A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180026666A KR102057463B1 (ko) 2018-03-07 2018-03-07 강화학습을 이용한 수면 환경 조절 장치
KR10-2018-0026666 2018-03-07
PCT/KR2019/002635 WO2019172667A1 (ko) 2018-03-07 2019-03-07 강화학습을 이용한 수면 환경 조절 장치

Publications (1)

Publication Number Publication Date
CN111867429A true CN111867429A (zh) 2020-10-30

Family

ID=67847284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980017642.3A Pending CN111867429A (zh) 2018-03-07 2019-03-07 利用强化学习的睡眠环境调节装置

Country Status (6)

Country Link
US (1) US20210031000A1 (zh)
EP (1) EP3763250A4 (zh)
JP (1) JP2021516599A (zh)
KR (1) KR102057463B1 (zh)
CN (1) CN111867429A (zh)
WO (1) WO2019172667A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11602611B2 (en) 2013-03-15 2023-03-14 Sleepme Inc. System for enhancing sleep recovery and promoting weight loss
US11896774B2 (en) 2013-03-15 2024-02-13 Sleep Solutions Inc. System for enhancing sleep recovery and promoting weight loss
KR20190114925A (ko) * 2019-09-19 2019-10-10 엘지전자 주식회사 소리 신호 분류를 이용한 인공지능장치 및 그 방법
CN111126605B (zh) * 2020-02-13 2023-06-20 创新奇智(重庆)科技有限公司 一种基于强化学习算法的数据中心机房控制方法及装置
KR102345681B1 (ko) * 2020-03-31 2021-12-30 (주)나연테크 수면 상태 케어 방법 및 시스템
KR20210137817A (ko) * 2020-05-11 2021-11-18 (주)아이씨비에스 수면 환경 조절 장치
JP7073556B1 (ja) 2021-03-31 2022-05-23 西日本電信電話株式会社 学習装置、推定装置、学習方法、推定方法及びコンピュータープログラム
TWI828978B (zh) * 2021-04-09 2024-01-11 青創夢田有限公司 舒眠輔助系統
WO2022234773A1 (ja) * 2021-05-06 2022-11-10 重一 中津川 シェルター
WO2023056568A1 (en) * 2021-10-08 2023-04-13 Interaxon Inc. Systems and methods to induce sleep and other changes in user states
KR20230117336A (ko) * 2022-01-25 2023-08-08 주식회사 에이슬립 Ai 기반의 비접촉식 수면분석 방법 및 실시간 수면환경 조성 방법
KR102496685B1 (ko) * 2022-06-07 2023-02-08 주식회사 판옵티콘 뉴럴 네트워크를 이용하여 아기의 주변 환경을 조절하는 방법 및 장치
WO2024080646A1 (ko) * 2022-10-13 2024-04-18 주식회사 에이슬립 Ai 기반의 비접촉식 수면 분석을 통한 환경 조성 방법, 장치 및 시스템
CN116491938B (zh) * 2023-06-27 2023-10-03 亿慧云智能科技（深圳）股份有限公司 一种ecg无创血糖测量方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953713A (en) * 1995-10-26 1999-09-14 Board Of Regents, The University Of Texas System Method and apparatus for treatment of sleep disorder breathing employing artificial neural network
CN104983228A (zh) * 2015-07-29 2015-10-21 成都乐享智家科技有限责任公司 利用睡眠周期控制床垫温度的方法及实现该方法的装置
CN105877701A (zh) * 2016-03-24 2016-08-24 安徽华米信息科技有限公司 实时睡眠周期分析方法及装置、智能可穿戴设备
CN105920716A (zh) * 2016-04-26 2016-09-07 深圳市思立普科技有限公司 一种睡眠系统
CN106073714A (zh) * 2016-06-24 2016-11-09 航天神舟生物科技集团有限公司 一种睡眠质量的识别方法和系统
CN106236013A (zh) * 2016-06-22 2016-12-21 京东方科技集团股份有限公司 一种睡眠监测方法及装置
CN106920147A (zh) * 2017-02-28 2017-07-04 华中科技大学 一种基于词向量数据驱动的商品智能推荐方法
CN107126615A (zh) * 2017-04-20 2017-09-05 重庆邮电大学 基于脑电信号的音乐诱导睡眠方法及系统
CN107184003A (zh) * 2017-06-19 2017-09-22 佛山市南海区金龙恒家具有限公司 智能数字睡眠检测床垫及其使用方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05245148A (ja) * 1992-03-09 1993-09-24 Matsushita Electric Ind Co Ltd 睡眠感推定装置及び目覚し装置
US7524279B2 (en) * 2003-12-31 2009-04-28 Raphael Auphan Sleep and environment control method and system
KR100791371B1 (ko) * 2005-10-07 2008-01-07 삼성전자주식회사 숙면 및 기상 유도 장치 및 방법
KR100867103B1 (ko) * 2007-03-30 2008-11-06 전자부품연구원 수면상태 감지 매트 시스템 및 감지 방법
KR20120051125A (ko) * 2010-11-12 2012-05-22 디노플러스 (주) 유비쿼터스를 이용한 수면 환경 제공 시스템 및 그 방법
US10179064B2 (en) * 2014-05-09 2019-01-15 Sleepnea Llc WhipFlash [TM]: wearable environmental control system for predicting and cooling hot flashes
US20190099009A1 (en) * 2014-05-09 2019-04-04 Sleepnea Llc Wearable Technology for Sleep Environment Modification
US10278638B2 (en) * 2014-07-21 2019-05-07 Withings System and method to monitor and assist individual's sleep
WO2016136450A1 (ja) * 2015-02-26 2016-09-01 ヤマハ株式会社 音源制御装置、音源制御方法、およびコンピュータ読み取り可能な記録媒体
US10945659B1 (en) * 2015-03-16 2021-03-16 Dp Technologies, Inc. Dual sleep monitor
JP2017000211A (ja) * 2015-06-04 2017-01-05 パナソニックＩｐマネジメント株式会社 睡眠環境制御システム
KR20170114753A (ko) * 2016-04-06 2017-10-16 주식회사 이앤이 수면관리장치를 이용한 온수매트
KR101763302B1 (ko) * 2016-11-28 2017-07-31 주교성 스마트 기능성 베게 및 이를 이용한 수면장애 진단관리시스템 및 수면장애 진단관리방법
KR101813591B1 (ko) * 2017-07-14 2017-12-29 코웨이 주식회사 사용자의 심박 패턴을 학습하여 숙면에 유리하도록 동기화하는 방법 및 이를 이용한 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953713A (en) * 1995-10-26 1999-09-14 Board Of Regents, The University Of Texas System Method and apparatus for treatment of sleep disorder breathing employing artificial neural network
CN104983228A (zh) * 2015-07-29 2015-10-21 成都乐享智家科技有限责任公司 利用睡眠周期控制床垫温度的方法及实现该方法的装置
CN105877701A (zh) * 2016-03-24 2016-08-24 安徽华米信息科技有限公司 实时睡眠周期分析方法及装置、智能可穿戴设备
CN105920716A (zh) * 2016-04-26 2016-09-07 深圳市思立普科技有限公司 一种睡眠系统
CN106236013A (zh) * 2016-06-22 2016-12-21 京东方科技集团股份有限公司 一种睡眠监测方法及装置
CN106073714A (zh) * 2016-06-24 2016-11-09 航天神舟生物科技集团有限公司 一种睡眠质量的识别方法和系统
CN106920147A (zh) * 2017-02-28 2017-07-04 华中科技大学 一种基于词向量数据驱动的商品智能推荐方法
CN107126615A (zh) * 2017-04-20 2017-09-05 重庆邮电大学 基于脑电信号的音乐诱导睡眠方法及系统
CN107184003A (zh) * 2017-06-19 2017-09-22 佛山市南海区金龙恒家具有限公司 智能数字睡眠检测床垫及其使用方法

Also Published As

Publication number Publication date
US20210031000A1 (en) 2021-02-04
KR102057463B1 (ko) 2019-12-19
JP2021516599A (ja) 2021-07-08
EP3763250A1 (en) 2021-01-13
KR20190105918A (ko) 2019-09-18
WO2019172667A1 (ko) 2019-09-12
EP3763250A4 (en) 2021-12-15

Similar Documents

Publication Publication Date Title
CN111867429A (zh) 利用强化学习的睡眠环境调节装置
US11547297B1 (en) Correlation of bio-impedance measurements and a physiological parameter for a wearable device
JP7465808B2 (ja) 睡眠段階検知特徴部を備えたベッド
JP7465807B2 (ja) 存在検知特徴部を備えたベッド
US20180359112A1 (en) Home device control device and operation method thereof
CN110072432A (zh) 使用数据分析和学习技术以改善个人睡眠条件的自适应性睡眠系统
US20190209405A1 (en) Bed having physiological event detecting feature
CN106196415B (zh) 智能空调控制系统及其智能控制方法
EP4275664A2 (en) Bed having snore detection feature
US9504386B2 (en) Controlling devices based on physiological measurements
CN106642513A (zh) 智能节能环境调控系统及方法
US10969129B2 (en) Apparatus and method for controlling air conditioner in air conditioning system
KR20160145987A (ko) 온도 조절 장치 제어 방법 및 장치
CN112862145A (zh) 使用体形信息的居用者热舒适度推断
CN110062707A (zh) 觉醒诱导装置以及觉醒诱导系统
CN109682043A (zh) 一种基于人体热舒适机理的适温适湿环境控制系统
KR102321197B1 (ko) 딥러닝을 이용한 치매 위험인자 결정 방법 및 장치
CN117460450A (zh) 使用机器学习技术确定实时睡眠状态
KR102304877B1 (ko) 딥러닝 기반의 수면 평가 및 예측을 위한 수면 평가 시스템
KR20190134584A (ko) 강화학습을 이용한 수면 환경 조절 장치
JP2020178789A (ja) 睡眠環境調整システムおよびプログラム
KR20210137817A (ko) 수면 환경 조절 장치
WO2023074283A1 (ja) 健康状態判定方法、及び、健康状態判定システム
CN113266952A (zh) 用于壁挂炉的温度控制方法、系统及服务器
CN116954093A (zh) 一种智能化的酒店设备控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030