JP2021516599A - 強化学習を利用した睡眠環境調節装置 - Google Patents

Abstract

本開示の一実施例において、強化学習を利用した睡眠環境調節装置が開示される。強化学習を利用した睡眠環境調節装置は、利用者の体が置かれることができるメインボディ；前述の利用者の生体信号を測定して現在状態情報及び動作後状態情報を生成するセンサー部；プロセッサーの制御信号に基づき前述の利用者の睡眠状態を変えるために前述のメインボディの温度及び湿度のうち少なくとも１つを調節する動作部；１つ以上のコアを含むプロセッサー；及び前述のプロセッサーで実行可能なプログラムコードを保存するメモリー；を含み、前述のプロセッサーは、前述の現在状態情報に基づき前述の利用者の現在睡眠適正性情報を生成し、前述の動作後状態情報に基づき前述の利用者の動作後睡眠適正性情報を生成する睡眠適正性情報生成モジュール、前述の現在睡眠適正性情報に基づき動作決定アルゴリズムに基づき前述の動作部の動作を制御する動作情報を決める動作情報決定モジュール、そして前述の動作後睡眠適正性情報と基準睡眠適正性情報とを比較して前述の動作に対する適正性を判断して前述の動作決定アルゴリズムをアップデートする動作適正性判断モジュールを含む。

Description

本開示は、睡眠環境調節装置に関し、より具体的には、利用者の睡眠効率を高められるように睡眠環境を調節する装置に関するものである。

最近暮らしが豊かになり健康に対する関心が急速に高まるにつれ、睡眠に対する関心が高まっている。健康を維持し改善する方法には運動や食事療法等の多様な方法があるが、１日の約３０%の時間を占める睡眠をうまく管理することが何よりも重要である。しかし、現代人はストレスにより熟眠できず、不眠症、過睡眠、居眠り病及び睡眠時無呼吸症候群等の睡眠異常や悪夢、夜驚症及び夢遊病等の睡眠障害により苦しんでいる。

大韓民国登録特許ＫＲ１０−０７９１３７１は、睡眠異常と睡眠障害を克服するために利用者の睡眠中に利用者の生体信号を測定し、測定された情報に基づき利用者の睡眠状態をモニターし、モニターされた情報を分析して睡眠効率を高めるための方法を開示している。しかし、従来の技術は、利用者一人一人の睡眠パターンが異なり睡眠環境から影響受ける度合いが異なるため、良好な睡眠環境を提供するための方法には限界があった。従って、当業界においては利用者一人一人のリアルタイムの睡眠パターンに対応して睡眠効率を増進できる睡眠管理ソリューションに対する需要が存在する。

韓国登録特許第１０−０７９１３７１号公報

本開示は、前述の背景技術に対応して案出されたもので、利用者の睡眠効率を高めるための強化学習を利用した睡眠環境調節装置を提供するためのものである。

前述の課題を解決するための本開示の一実施例において、強化学習を利用した睡眠環境調節装置は、利用者の体が置かれることができるメインボディ；前述の利用者の生体信号を測定して現在状態情報及び動作後状態情報を生成するセンサー部；プロセッサーの制御信号に基づき前述の利用者の睡眠状態を変えるために前述のメインボディの温度及び湿度のうち少なくとも１つを調節する動作部；１つ以上のコアを含むプロセッサー；及び前述のプロセッサーで実行可能なプログラムコードを保存するメモリー；を含み、前述のプロセッサーは、前述の現在状態情報に基づき前述の利用者の現在睡眠適正性情報を生成し、前述の動作後状態情報に基づき前述の利用者の動作後睡眠適正性情報を生成する睡眠適正性情報生成モジュール、前述の現在睡眠適正性情報に基づき動作決定アルゴリズムに基づき前述の動作部の動作を制御する動作情報を決める動作情報決定モジュール、そして前述の動作後睡眠適正性情報と基準睡眠適正性情報とを比較して前述の動作に対する適正性を判断して前述の動作決定アルゴリズムをアップデートする動作適正性判断モジュールを含む。

或いは、前述のセンサー部は、利用者の心拍数、呼吸数、動き及び脳波のうち少なくとも１つを接触または非接触方式で測定する利用者状態測定センサー、利用者が睡眠を取る室内の温度及び前述の利用者の体温のうち少なくとも１つを測定する温度センサー並びに利用者が睡眠を取る室内の湿度を測定する湿度センサーのうち少なくとも１つのセンサーを含み、前述のセンサーのうち少なくとも１つのセンサーを通じて、前述の現在状態情報、室内温度情報及び室内湿度情報のうち少なくとも１つを獲得できる。

或いは、前述の動作部は、前述のメインボディに備えられ、前述の利用者の体温を制御するために前述のメインボディに烈風及び冷風のうち少なくとも１つを供給することができる。

或いは、前述の現在状態情報は前述のセンサー部で測定された前述の利用者の呼吸状態情報、心拍状態情報、脳波情報及び動き状態情報のうち少なくとも１つを含み、前述の利用者の睡眠周期リズムの１周期の間の測定結果を含むことができる。

或いは、前述の現在睡眠適正性情報は、睡眠周期リズムの１周期の間に測定された前述の現在状態情報に基づいて生成されることができる。

或いは、前述の動作後状態情報は、前述のプロセッサーの制御信号によって前述の動作部が動作を行う睡眠周期リズムの１周期の間の生体信号に基づいて生成されることができる。

或いは、前述の動作後睡眠適正性情報は、睡眠周期リズムの１周期の間に測定された前述の動作後状態情報に基づいて生成されることができる。

或いは、前述の基準睡眠適正性情報は、睡眠周期リズムの１周期の間に利用者の睡眠効率を最大化する生体信号に基づいて生成され、前述の動作後睡眠適正性情報の目標になることを特徴とすることができる。

或いは、前述の動作決定アルゴリズムは、人工神経網で構成され、前述の現在睡眠適正性情報を入力として少なくとも１つ以上の候補動作情報それぞれに係るスコアを出力し、そして前述の候補動作情報それぞれに係るスコアに基づき前述の動作情報を決めることができる。

或いは、前述の動作適正性判断モジュールは、睡眠周期リズムの１周期間の動作後の睡眠適正性情報と基準睡眠適正性情報とを比較して類似度を判断して前述の動作に対する適正性を判断し、前述の類似度が高い場合は前述の動作決定アルゴリズムが前述の現在睡眠適正性情報に基づき前述の動作情報を決める確率が上がるように前述の動作決定アルゴリズムをアップデートしたり、または前述の類似度が低い場合は前述の動作決定アルゴリズムが前述の現在睡眠適正性情報に基づき前述の動作情報を決める確率が下がるように前述の動作決定アルゴリズムをアップデートすることができる。

本開示の他の一実施例において、強化学習を利用して睡眠環境を調節する方法が開示される。前述の方法は、生体信号を測定して現在状態情報を生成する段階；前述の現在状態情報に基づき現在睡眠適正性情報を生成する段階；前述の現在睡眠適正性情報に基づき動作決定アルゴリズムを利用して動作情報を決める段階；前述の環境調節動作を行ってから生体信号を測定して動作後状態情報を生成する段階；前述の動作後状態情報に基づき動作後睡眠適正性情報を生成する段階；前述の動作後睡眠適正性情報と基準睡眠適正性情報とを比較して前述の環境調節動作に対する適正性を判断する段階；及び前述の環境調節動作に対する適正性判断に基づき動作決定アルゴリズムをアップデートする段階；を含むことができる。

本開示の他の一実施例において、１つ以上のプロセッサーによって実行可能な、コンピューターで読み取り可能な媒体に保存されたコンピュータープログラムが開示される。前述のコンピュータープログラムは、前述の１つ以上のプロセッサーが以下の動作を行うようにし、前述の動作は：生体信号を測定して現在状態情報を生成する動作；前述の現在状態情報に基づき現在睡眠適正性情報を生成する動作；前述の現在睡眠適正性情報に基づき動作決定アルゴリズムを利用して動作情報を決める動作；前述の動作情報に基づきマットレスメインボディの環境調節動作を行う動作；前述の環境調節動作を行ってから生体信号を測定して動作後状態情報を生成する動作；前述の動作後状態情報に基づき動作後睡眠適正性情報を生成する動作；前述の動作後睡眠適正性情報と基準睡眠適正性情報とを比較して前述の環境調節動作に対する適正性を判断する動作；及び前述の環境調節動作に対する適正性判断に基づき動作決定アルゴリズムをアップデートする動作；を含むことができる。

本開示は利用者の睡眠効率を高めるための強化学習を利用した睡眠環境調節装置を提供することができる。

これから多様な様相について、図面を参照しながら記載するが、ここで類似の参照番号は、総括的に類似の構成要素を指すために使われる。以下の実施例において、説明目的で、多数の特定の細部事項が１つ以上の様相を総体的に理解できるようにするために提示される。しかし、これらの（複数の）様相がこれらの具体的な細部事項がなくても実施されることができることは明らかである。
図１は、本開示の一実施例に係る強化学習を利用した睡眠環境調節装置のシステムを示す概念図を図示する。 図２は、本開示の一実施例に係る強化学習を利用した睡眠環境調節装置のブロック構成図を図示する。 図３は、本開示の一実施例に係る強化学習を利用した睡眠環境調節装置の例示図を図示する。 図４は、本開示の一実施例に係る強化学習を利用した睡眠環境調節方法に係るフローチャートを図示する。 図５は、本開示の一実施例に係る睡眠を取る一般成人の睡眠時間に基づく睡眠段階を図示した例示図である。 図６は、本開示の一実施例に係る強化学習を利用した睡眠環境調節装置の温度調節の変化による利用者の睡眠段階の変化を示す例示図を図示する。 図７は、本開示の一実施例に係る動作後睡眠適正性情報に基づく睡眠段階と基準睡眠適正性情報に基づく睡眠段階を示す例示図を図示する。 図８は、本開示の一実施例に係る動作決定アルゴリズムを構成する人工神経網の構成図を図示する。 図９は、本開示の一実施例に係る動作決定アルゴリズムを通じてスコア（ｓｃｏｒｅ）を導き出す例示図を図示する。 図１０は、本開示の一実施例に係る強化学習を利用した睡眠環境調節方法を具現化するための手段を図示したブロック構成図である。 図１１は、本開示の一実施例に係る強化学習を利用した睡眠環境調節方法を具現化するためのモジュールを図示したブロック構成図である。 図１２は、本開示の一実施例に係る強化学習を利用した睡眠環境調節方法を具現化するためのロジックを図示したブロック構成図である。 図１３は、本開示の一実施例に係る強化学習を利用した睡眠環境調節方法を具現化するための回路を図示したブロック構成図である。 図１４は、本開示の実施例が具現化されることのできる例示的なコンピューティング環境に係る簡略で一般的な概略図を図示する。

これから多様な様相について、図面を参照しながら記載するが、図面全体を通して類似の参照番号は、類似の構成要素を示すために使われる。本明細書において、多様な説明が本開示に対する理解を容易にするために示される。しかし、これらの実施例がこれらの具体的な説明がなくても実施されることができることは明らかである。他の例において、公知の構造及び装置は実施例の説明を容易にするためにブロックダイアグラムの形で提供される。

本明細書において、「コンポーネント」、「モジュール」、「システム」等の用語は、コンピューター関連エンティティ、ハードウェア、ファームウェア、ソフトウェア、ソフトウェアとハードウェアとの組み合わせ、またはソフトウェアの実行を指す。例えば、コンポーネントは、プロセッサー上で実行される処理手順（procedure）、プロセッサー、オブジェクト、実行スレッド、プログラム、及び／またはコンピューターになり得るが、これらに限定されるものではない。例えば、コンピューティング装置で実行されるアプリケーションとコンピューティング装置は、両方ともコンポーネントになり得る。１つ以上のコンポーネントは、プロセッサー及び／または実行スレッドの中に常駐することができる。１つのコンポーネントは、１つのコンピューターの中でローカル化されることができる。１つのコンポーネントは、２つ以上のコンピューターに配分されることができる。また、このようなコンポーネントは、その内部に保存された多様なデータ構造を持つ、コンピューターで読み取り可能な多様な媒体で実行することができる。コンポーネントは、例えば１つ以上のデータパケットを持つ信号（例えば、ローカルシステム、分散システムにおいて、他のコンポーネントと相互作用する１つのコンポーネントからのデータ及び／または信号を通じて、他のシステムと、インターネットのようなネットワークを通じて伝送されるデータ）によってローカル及び／または遠隔処理等を通じて通信することができる。

ここに示す実施例に係る説明は、本開示の技術分野において通常の知識を持つ者が本発明を利用したりまたは実施できるように提供される。このような実施例に対する多様な変形は、本開示の技術分野において通常の知識を持つ者には明確である。ここに定義された一般的な原理は、本開示の範囲を逸脱することなく他の実施例に適用されることができる。従って、本発明はここに示す実施例だけに限定されるものではない。本発明はここに示す原理及び新規な特徴と一貫する最広義の範囲で解釈されるべきである。

図１は、本開示の一実施例に係る強化学習を利用した睡眠環境調節装置（１００）のシステムを示す概念図を図示する。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）、サーバー（１０）及び利用者端末（２０）は無線及び/または有線を通じた相互連結を通じて情報を送信することができ、そして受信することができる。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は利用者の睡眠状態を測定及び判断し、それに対応して利用者の睡眠環境を制御することができる。より具体的に、強化学習を利用した睡眠環境調節装置（１００）は利用者の睡眠状態を測定することができる。また強化学習を利用した睡眠環境調節装置（１００）は利用者の測定された情報を通じて睡眠状態に係る情報を生成して睡眠の質を判断することができる。前述の利用者の睡眠の質に対する判断を通じて強化学習を利用した睡眠環境調節装置（１００）は利用者に対し睡眠効率を増進する睡眠環境を提供することができる。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は睡眠環境調節動作について強化学習をすることができる。具体的に、強化学習を利用した睡眠環境調節装置（１００）は利用者がおかれた睡眠環境における利用者の現在の睡眠状態を認識することができる。また、強化学習を利用した睡眠環境調節装置（１００）は認識された利用者の睡眠状態によって、選択可能な複数の動作の中から報酬を最大化する動作または動作の順番を選択して学習することができる。従って、強化学習を利用した睡眠環境調節装置（１００）は前述の学習を通じて動作部（１２０）の動作方式を決定することができ、そして前述の動作部（１２０）を通じた睡眠環境調節を通じて利用者の睡眠環境を変えて利用者の睡眠効率を増進することができる。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は利用者の睡眠状態に対する分析及び判断に関する専門的な知識や教育がなくても睡眠パターン及び睡眠の質を測定及び判断することができる。強化学習を利用した睡眠環境調節装置（１００）は利用者の生体信号を測定し、フィードバックループを通じて利用者の睡眠状態をモニターして睡眠の質を判断することができる。また、前述の利用者の睡眠の質に対する判断を通じて睡眠環境を改善して利用者の睡眠効率を増進することができる。従って、強化学習を利用した睡眠環境調節装置（１００）は利用者一人一人の睡眠状態に対応する最適の睡眠環境を提供することができる。

本開示の他の一実施例によると、サーバー（１０）は強化学習を行い強化学習を利用した睡眠環境調節装置（１００）の睡眠環境調節動作を制御することができる。具体的に、サーバー（１０）は強化学習を利用した睡眠環境調節装置（１００）から利用者の睡眠に係るデータを受信して強化学習を行うことができる。詳しく説明すると、サーバー（１０）は利用者の睡眠状態を測定し、前述の測定情報に基づき利用者の睡眠状態を判断することができる。また、サーバー（１０）は利用者の睡眠状態判断を通じて強化学習を利用した睡眠環境調節装置（１００）及び利用者端末（２０）のうち少なくとも１つに対し睡眠環境を調節するための制御信号を送ることで利用者の睡眠環境を改善して利用者の睡眠効率を増進することができる。つまり、サーバー（１０）は利用者一人一人の睡眠状態に対応する最適の睡眠環境を提供するために強化学習を行うことができる。

本開示の一実施例によると、利用者端末（２０）は強化学習を利用した睡眠環境調節装置（１００）及びサーバー（１０）のうち少なくとも１つに利用者情報を送ることができる。

本開示の一実施例によると、利用者端末（２０）は強化学習を利用した睡眠環境調節装置（１００）の環境調節動作を制御することができる。具体的に、利用者端末（２０）は強化学習を利用した睡眠環境調節装置（１００）に制御情報を送ることができる。このとき、前述の制御情報は、利用者入力に基づいて生成されたり、または、サーバー（１０）が実行した強化学習に基づいて生成されたりすることができる。また前述の制御情報は強化学習を利用した睡眠環境調節装置（１００）が睡眠環境調節を行うために稼働する温度及び湿度の稼働範囲を含むことができる。つまり、利用者端末（２０）は利用者の入力及びサーバー（１０）が実行した強化学習のうち少なくとも１つに基づき強化学習を利用した睡眠環境調節装置（１００）に制御情報を送ることができる。

図２は、本開示の一実施例に係る強化学習を利用した睡眠環境調節装置（１００）のブロック構成図を図示する。

図２に示す強化学習を利用した睡眠環境調節装置（１００）のコンポーネントは例示的なものである。前述のコンポーネントのうち一部だけが強化学習を利用した睡眠環境調節装置（１００）を構成することができる。また、前述のコンポーネントの他にもさらに（複数の）コンポーネントが追加され前述の強化学習を利用した睡眠環境調節装置（１００）に含まれることができる。

本開示の一実施例による強化学習を利用した睡眠環境調節装置（１００）で利用者の睡眠効率を向上する睡眠環境を調節する方法について説明する。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は利用者の睡眠効率を最大化できる。具体的に、強化学習を利用した睡眠環境調節装置（１００）は利用者の睡眠状態を判断して睡眠環境を調節することで利用者の睡眠効率を増進することができる。詳しく説明すると、強化学習を利用した睡眠環境調節装置（１００）はプロセッサー（１５０）と睡眠環境調節動作について強化学習方式で学習することができる。強化学習を利用した睡眠環境調節装置（１００）は前述の学習を通じて動作部（１２０）の動作方式を決定することができる。学習を通じて動作する動作部（１２０）は利用者の睡眠状態を変えるためにメインボディ（１１０）の温度及び湿度を調節するように動作することができる。従って、強化学習を利用した睡眠環境調節装置（１００）は動作部（１２０）の睡眠環境調節動作を通じて利用者に対し最適の睡眠環境を提供することができる。

図２に示すように強化学習を利用した睡眠環境調節装置（１００）はメインボディ（１１０）、動作部（１２０）、メモリー（１３０）、センサー部（１４０）プロセッサー（１５０）、入力部（１６０）及びネットワーク接続部（１７０）を含むことができる。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は利用者が睡眠が取れる任意の装置で構成されることができ、例えば、ベッド、土ベッド、石ベッド、電気マット、温水マット及び冷水マット等の形で構成され利用者の睡眠環境を調節できる。前述の睡眠環境調節装置（１００）の具体的な記載は例示に過ぎず、本開示はこれに制限されない。

本開示の一実施例によると、メインボディ（１１０）は利用者の身体が安置され、利用者の身体と実質的に接触し利用者の身体を支え睡眠する場所を提供する部材であって、利用者が安らぎを感じ寝たり、寄りかかることのできる任意の構成を含むことができる。前述のメインボディ（１１０）はベッドマットレス、トッパー、パッド、マット及び布団等の寝具類の１つになり得るが、これに限定されない。

本開示の一実施例によると、メインボディ（１１０）の内側には内側通路（１１１）が備えられることができる。前述の内側通路（１１１）は動作部（１２０）から供給する烈風及び冷風が移動する空間になり得る。前述の動作部（１２０）から供給された烈風及び冷風は前述の内側通路（１１１）の上段を通りメインボディ（１１０）の温度を調節できる。また、前述の内側通路（１１１）の上段を通った烈風及び冷風は寝具類（１１２）（例えば、布団等）によって温度が保たれる。つまり、強化学習を利用した睡眠環境調節装置（１００）は最小限の動作で高効率の睡眠環境変化をもたらすことができる。

本開示の一実施例によると、動作部（１２０）はメインボディ（１１０）に温度及び湿度のうち少なくとも１つを調節できる。例えば、動作部（１２０）は利用者を支えるメインボディ（１１０）に利用者の体温を制御するために烈風及び冷風のうち少なくとも１つを供給することができる。また動作部（１２０）は利用者を支えるメインボディ（１１０）に湿度を制御するように除湿動作及び加湿動作のうち少なくとも１つの動作を行うことができる。従って、動作部（１２０）は利用者の体温及び湿度を調節して睡眠効率を増進することができる。

本開示の一実施例によると、動作部（１２０）は冷風器、温風器、加湿器及び除湿器のうち少なくとも１つを含めて構成されることができる。また、動作部（１２０）は電気または温水等を利用した装置になり得る。例えば、電気マット、温水マット及び冷水マット等を含むことができる。前述の電気マットの場合所定のマットレス上部の少なくとも一面に電気が通電することで熱を発生するように発熱線を持つ発熱素材が入った布を含むことができる。前述の温水マットまたは冷水マットの場合温水または冷水が循環するように所定の温水または冷水循環装置を持つことで所定の温度を提供することができる。つまり、動作部（１２０）は温度及び湿度を制御して利用者の睡眠に適合した環境を提供する装置ならどのようなものでも適用されることができる。前述の動作部（１２０）に備えられる構成は例示に過ぎず、本開示はこれに制限されない。

本開示の一実施例によると、動作部（１２０）の環境調節動作はプロセッサー（１５０）から受信する制御情報に基づいて行われることができる。具体的に、動作部（１２０）はプロセッサー（１５０）から制御信号を受信することができる。ここで制御信号は動作情報決定モジュール（１５２）によって決定された信号になり得る。そして、前述の制御信号は動作部（１２０）が稼働する温度及び湿度調節動作のうち少なくとも１つの動作と各動作の動作時間を含むことができる。

他の実施例によると、動作部（１２０）の環境調節動作はサーバー（１０）及び利用者端末（２０）のうち少なくとも１つから受信する制御情報に基づいて行われることができる。より具体的に、動作部（１２０）はサーバー（１０）及び利用者端末（２０）のうち少なくとも１つから制御情報を受信することができる。ここで制御情報は利用者入力に基づいて生成されたり、または、サーバー（１０）が実行した強化学習に基づいて生成されたりすることができる。また、前述の制御情報は動作部（１２０）が稼働する温度及び湿度調節動作のうち少なくとも１つの動作と各動作の動作時間を含むことができる。つまり、強化学習を利用した睡眠環境調節装置（１００）は利用者の入力に基づき動作部（１２０）の睡眠環境調節動作を制御することができる。

つまり、動作部（１２０）はプロセッサー（１５０）の制御信号以外にも、サーバー及び利用者端末から生成された制御情報を通じて睡眠環境調節動作を行うことができる。

本開示の一実施例によると、センサー部（１４０）は利用者の心拍数、呼吸数、動き及び脳波のうち少なくとも１つを接触または非接触方式で測定する利用者状態測定センサーを含むことができる。前述のセンサー部（１４０）は利用者状態測定センサーを利用して利用者の生体信号を測定することができる。センサー部（１４０）は利用者によって加えられる圧力の大きさ及び頻度を測定する利用者状態測定センサーを通じて前述の利用者の呼吸に係る呼吸信号、前述の利用者の心拍に係る心拍信号及び前述の利用者の動きに係る動き信号のうち少なくとも１つの信号を測定することができる。

また、センサー部（１４０）は利用者が睡眠を取る室内の温度及び前述の利用者の体温のうち少なくとも１つを測定する温度センサー並びに利用者が睡眠を取る室内の湿度を測定する湿度センサーのうち少なくとも１つを含むことができる。

本開示の一実施例によるとセンサー部（１４０）はさらに睡眠分析に有効な多様なセンサーを追加して含むことができる。例えば、音響センサー、脳波測定センサー、血圧計、空気品質センサー等のセンサーが使われることができ、本開示はこれに制限されない。

本開示の一実施例によると、センサー部（１４０）が備えられる位置は利用者の生体信号を測定できるところならどこでも位置することができ、強化学習を利用した睡眠環境調節装置（１００）と分離されて位置することもできる。

本開示の一実施例によると、プロセッサー（１５０）は利用者の睡眠状態を変えるために睡眠環境を調節する動作部（１２０）を制御することができる。具体的に、プロセッサー（１５０）は動作部（１２０）に制御信号を送信することができる。詳しく説明すると、前述の制御信号は動作部（１２０）が烈風、冷風、除湿及び加湿動作のうち少なくとも１つの動作をさせる信号になり得る。例えば、利用者の体温をさげて利用者の体が置かれた空間の湿度を上げようとする場合、前述の制御信号は動作部（１２０）が冷風供給及び加湿動作を行うようにする信号になり得るが、前述の動作部（１２０）は冷風及び加湿動作を行い利用者の体温をさげて利用者の体が置かれた空間の湿度を上げることができる。つまり、前述の制御信号は睡眠環境の多様な条件を変化されるように動作部を制御して利用者の睡眠の質に影響を与え改善された環境で睡眠を撮るようにすることができる。前述の動作部（１２０）の動作を制御する制御信号を生成するプロセッサー（１５０）は睡眠適正性情報生成モジュール（１５１）、動作情報決定モジュール（１５２）及び動作適正性判断モジュール（１５３）を含むことができる。前述のモジュールは以下の方法で動作部（１２０）の動作を制御する制御信号を生成することができる。

本開示の一実施例によると、前述の睡眠適正性情報生成モジュール（１５１）は現在状態情報に基づき利用者の現在睡眠適正性情報を生成することができる。詳しく説明すると、睡眠適正性情報生成モジュール（１５１）はセンサー部（１４０）を通じて測定した測定情報に基づいて生成された現在状態情報に基づいて現在睡眠適正性情報を生成することができる。このとき、現在睡眠適正性情報は睡眠周期リズムの１周期の間に測定された現在状態情報に対応して生成されることができる。従って、現在睡眠適正性情報は睡眠周期リズムの１周期の間に利用者睡眠状態に係る情報で構成されることができる。例えば、現在睡眠適正性情報は１周期の間に各睡眠段階の比率を示す比率情報を含むことができる。このとき、前述の各睡眠段階は浅い睡眠段階、普通の睡眠段階、深い睡眠段階及びＲＥＭ睡眠段階で構成されることができる。例えば、図５は、本開示の一実施例に係る睡眠を取る一般成人の睡眠時間に基づく睡眠段階を図示した例示図である。強化学習を利用した睡眠環境調節装置（１００）は前述の睡眠段階によって利用者の睡眠周期リズムの１周期を判断することができ、前述の睡眠周期リズムの１周期の間の情報に基づき情報を生成することができる。前述の睡眠周期リズムの１周期の間の情報に基づいて生成された情報は現在睡眠適正性情報、動作後睡眠適正性情報及び基準睡眠適正性情報を含むことができる。

図５に示すように、一般的に一晩中に成人の睡眠周期は４〜５回程度繰り返されることができる。また図５に示す＜表１＞のように、睡眠初期には深い睡眠の比率が高く、睡眠後期へ行くほどＲＥＭ睡眠の比率が高いことが分かる。

本開示の一実施例によると、参照番号４１０、４２０、４３０、４４０は睡眠周期リズムの１周期を示す。具体的に、参照番号４１０は利用者の睡眠周期リズムの第１周期、参照番号４２０は第２周期、参照番号４３０は第３周期、参照番号４４０は第４周期になり得る。

図５に示すように、１周期の間に睡眠段階は各周期別に比率が異なる場合がある。詳しく説明すると、第１周期（４１０）は参照番号４１１、４１２、４１３、４１４、４１５を含む５つの区間になり得る。前述の参照番号４１１、４１２、４１３、４１４、４１５は１周期の間に時間に基づく睡眠段階の変化を示す。また第２周期（４２０）は参照番号４２１、４２２、４２３、４２４を含む４つの区間になり得る。前述の参照番号４２１、４２２、４２３、４２４は１周期の間に時間に基づく睡眠段階の変化を示す。また第3の１周期（４３０）は参照番号４３１、４３２、４３３、４３４を含む４つの区間になり得る。前述の参照番号４３１、４３２、４３３、４３４は１周期の間に時間に基づく睡眠段階の変化を示す。また第４の１周期（４４０）は４４１、４４２を含む２つの区間になり得る。前述の参照番号４４１、４４２は１周期の間に時間に基づく睡眠段階の変化を示す。つまり、各周期における睡眠段階の変化程度が異なり、比率また異なる場合がある。例えば、図５に示す＜表１＞を参照すると、第１周期（４１０）と参照番号第２周期（４２０）の浅い睡眠、普通の睡眠、深い睡眠、ＲＥＭ睡眠の比率がそれぞれ異なる場合がある。

本開示の一実施例によると、前述の動作情報決定モジュール（１５２）は現在睡眠適正性情報に基づく動作決定アルゴリズムを利用して前述の動作部（１２０）の動作を制御する制御信号を生成する動作情報を決めることができる。前述の動作決定アルゴリズムは人工神経網で構成され、現在睡眠適正性情報を入力として少なくとも１つ以上の候補動作情報それぞれのスコアを出力することができる。また、動作情報決定モジュール（１５２）は前述の候補動作情報それぞれに係るスコアに基づき動作情報を決めることができる。具体的に、動作決定アルゴリズムは睡眠周期リズムの１周期の間の利用者の睡眠状態に係る現在睡眠適正性情報に基づきそれに対応する候補動作情報のスコアを出力し、候補動作情報のうちスコアが最大値となる動作情報を決めることができる。ここで前述の候補動作情報は制御信号になり得る動作情報であり、動作情報決定モジュール（１５２）が特定の動作を行うようにする１つ以上のオプション（選択肢）になり得る。例えば、図９に示すように、複数の候補動作情報それぞれに係るスコアは人工神経網（８００）を通じて算出されることができる（参照番号９１０）。このとき人工神経網（８００）を通じて算出された３つの候補動作情報はそれぞれ第１候補動作情報、第２候補動作情報、第３候補動作情報になり得る。前述の候補動作情報には１〜２時間まで温度を３４．６度に、２〜３時間まで温度を３４．３度に、３〜４時間まで温度を３４度に下がるように動作させる第１候補動作情報（参照番号９２０）、１〜２時間まで温度を３５度に、２〜３時間まで温度を３４．８度に、３〜４時間まで温度を３４．７度に下がるように動作させる第２候補動作情報（参照番号９３０）及び１〜２時間まで温度を３４．８度に、２〜３時間まで温度を３４．６度に、３〜４時間まで温度を３４．３度に下がるように動作させる第３候補動作情報（参照番号９４０）等が含まれることができる。このとき動作決定アルゴリズムは睡眠適正性情報を人工神経網（８００）で処理して第１候補動作情報のスコアが１点（参照番号９２１）、第２候補動作情報のスコアが１３点（参照番号９３１）、第３候補動作情報のスコアが８点（参照番号９４１）であることを導出することができる。つまり、動作決定アルゴリズムはスコアに基づき第２候補動作情報を動作情報として決定することができる。また、前述の候補動作のうち第２候補動作情報を通じて環境調節動作を行ったとき、利用者の睡眠効率が最もいい場合がある。図９に示す候補動作情報、候補動作情報の数、ノードの数、グラフ及びスコア（ｓｃｏｒｅ）は例示に過ぎず、利用者の睡眠環境によって候補動作情報の数及びスコアの点数は変わることがある。

本開示の一実施例によると、動作決定アルゴリズムは人工神経網で構成されることができる。前述の人工神経網（８００）は一般的にノードと呼ばれることがある相互連結された計算単位の集合で構成されることができる。これらのノードはニューロン（ｎｅｕｒｏｕｎ）と呼ばれることがある。神経網は少なくとも１つ以上のノードを含めて構成される。神経網（８００）を構成するノード（またはニューロン）は１つ以上のリンクによって相互連結されることができる。

神経網（８００）の中で、リンクを通じて繋がっている１つ以上のノードは相対的に入力ノード及び出力ノードの関係を形成することができる。入力ノード及び出力ノードの概念は相対的なものであり、あるノードに対して出力ノードとなる任意のノードは他のノードとの関係においては入力ノードになり得るが、その逆も成立する。前述のように、入力ノードと出力ノードとの関係はリンクを中心にして成立することができる。１つの入力ノードに１つ以上の出力ノードがリンクを通じて連結されることができ、その逆も成立する。

１つのリンクを通じて繋がっている入力ノード及び出力ノード関係において、出力ノードは入力ノードに入力されたデータに基づきその値が決定されることができる。ここで入力ノードと出力ノードとを相互連結するノードは重み（ｗｅｉｇｈｔ）を持つことができる。重みは可変的なものになり得るが、神経網（８００）が所望の機能を行うために、利用者またはアルゴリズムによってアップデートされることができる。例えば、１つの出力ノードに１つ以上の入力ノードが各リンクによって相互連結された場合、出力ノードは前述の出力ノードに繋がっている入力ノードに入力された値及び各入力ノードに対応するリンクに設定された重みに基づき出力ノードの値を決定することができる。

前述のように、神経網（８００）は１つ以上のノードが１つ以上のリンクを通じて相互連結し、神経網の中で入力ノード及び出力ノード関係を形成する。神経網（８００）の中でノードとリンクの数及びノードとリンクとの間の相関関係、各リンクに付与された重みの値によって、神経網（８００）の特性が決まることができる。例えば、同数のノード及びリンクが存在し、複数のリンク間の重みの値が相異する２つの神経網（８００）が存在する場合、２つの神経網（８００）は相異するものと認識されることができる。

本開示の一実施例によると、前述の睡眠適正性情報生成モジュール（１５１）は動作後状態情報に基づき利用者の動作後睡眠適正性情報を生成することができる。詳しく説明すると、睡眠適正性情報生成モジュール（１５１）は動作部（１２０）が動作を行っている間センサー部（１４０）を通じて測定した測定情報に基づいて生成された動作後状態情報に基づいて動作後睡眠適正性情報を生成することができる。このとき、動作後睡眠適正性情報は睡眠周期リズムの１周期の間に測定された前述の動作後状態情報に対応して生成されることができる。従って、動作後睡眠適正性情報は睡眠周期リズムの１周期の間の利用者睡眠状態に係る情報で構成されることができる。例えば、図５に示すように、動作後睡眠適正性情報は睡眠周期リズムの各周期に係る情報を含むことができる。また動作後睡眠適正性情報は図５の＜表１＞に示すように、各周期別に利用者の睡眠段階別に比率を示す情報を含むことができる。

本開示の一実施例によると、睡眠適正性情報生成モジュール（１５１）は基準睡眠適正性情報を生成することができる。具体的に、睡眠適正性情報生成モジュール（１５１）は動作後睡眠適正性情報の目標となる基準睡眠適正性情報を生成することができる。つまり、基準睡眠適正性情報は浅い睡眠が最小化される睡眠周期リズムに係る情報になり得る。例えば、基準睡眠適正性情報は深い睡眠が７０%、ＲＥＭ睡眠が３０%である状態を意味することができる。また例えば、基準睡眠適正性情報は浅い睡眠が０%である状態を意味することもできる。前述の基準睡眠適正性情報は例示に過ぎず本開示はこれに制限されない。また、睡眠適正性情報生成モジュール（１５１）は予め決められた情報に基づき基準睡眠適正性情報を生成することができ、そして利用者の睡眠パターンに対応して利用者一人一人に合わせて基準睡眠適正性情報を生成することもできる。例えば、睡眠適正性情報生成モジュール（１５１）が予め決められた情報に基づき基準睡眠適正性情報を生成する場合、予め決められた基準睡眠適正性情報を利用者が選択することができる。詳しく説明すると、前述の利用者は年齢、性別、地域等多様な基準で分類された基準睡眠適正性情報を選択することができる。他の例では、睡眠適正性情報生成モジュール（１５１）が利用者一人一人に合わせて基準睡眠適正性情報を生成する場合、利用者の睡眠効率を最大化する生体信号に基づき基準睡眠適正性情報を生成することができる。つまり、基準睡眠適正性情報は、深い睡眠が増加し、睡眠の途中で目が覚める比率が著しく減少し、ＲＥＭ睡眠が増加する等利用者の全体的な睡眠効率が最大化される情報になり得る。本開示の一実施例によると、前述の動作適正性判断モジュール（１５３）は動作後睡眠適正性情報と基準睡眠適正性情報とを比較して動作に対する適正性を判断することができる。具体的に、前述の動作適正性判断モジュール（１５３）は睡眠周期リズムの１周期間の動作後の睡眠適正性情報と基準睡眠適正性情報とを比較して類似度を判断することができる。詳しく説明すると、動作後睡眠適正性情報の睡眠段階と基準睡眠適正性情報の睡眠段階を各段階による比率を比較して類似度を判断することができる。ここで前述の睡眠段階は浅い睡眠段階、普通の睡眠段階、深い睡眠段階及びＲＥＭ睡眠段階を含むことができる。例えば、環境調節動作後利用者の睡眠周期リズムの１周期の間の情報を含む動作後睡眠適正性情報の浅い睡眠、普通の睡眠、深い睡眠、ＲＥＭ睡眠を基準睡眠適正性情報の浅い睡眠、普通の睡眠、深い睡眠及びＲＥＭ睡眠の比率とそれぞれ比較して類似度を判断することができる。前述の類似度を判断する方法は具体的に、１周期の間の時間の経過による類似度を測定する時系列類似度判断方法、１周期の間の各睡眠段階の比率の比較を通じて類似度を判断する方法及び前述の動作後睡眠適正性情報の睡眠周期リズムグラフと前述の基準適正性情報の睡眠周期リズムグラフとにおいてそれぞれ対応する地点の距離を計算して類似度を判断するグラフ類似度測定方法のうち少なくとも１つの方法になり得る。つまり、動作適正性判断モジュール（１５３）は動作部の動作による利用者の睡眠適正性情報が基準睡眠適正性情報（つまり、理想的な睡眠状態）に近づくのか否かを判断して動作情報決定モジュールが決めた動作が利用者の睡眠の質を向上したかどうか（つまり、リワード）を判断することができる。前述の類似度を判断する方法に係る記載は例示に過ぎず、本開示はこれに限定されない。

本開示の一実施例によると、前述の動作適正性判断モジュール（１５３）は前述の動作に対する適正性判断を通じて動作決定アルゴリズムをアップデートすることができる。動作適正性判断モジュール（１５３）は動作決定アルゴリズムをアップデートすることができる。具体的に、前述の類似度による判断に基づき前述の類似度が高い場合、動作適正性判断モジュール（１５３）は動作決定アルゴリズムが現在睡眠適正性情報に基づき当該動作情報を決める確率が上がるように前述の動作決定アルゴリズムをアップデートすることができる。また、前述の類似度が低い場合、動作適正性判断モジュール（１５３）は前述の動作決定アルゴリズムが現在睡眠適正性情報に基づき動作情報を決める確率が下がるように動作決定アルゴリズムをアップデートすることができる。動作適正性判断モジュール（１５３）は動作決定アルゴリズムの人工神経網の重みをアップデートして動作決定アルゴリズムをアップデートすることができる。例えば、睡眠周期リズムの１周期間の動作後に睡眠適正性情報と基準睡眠適正性情報とを比較した類似度が９８%である場合、当該動作情報を行うことによって利用者の睡眠の質が向上したため、動作適正性判断モジュール（１５３）は当該動作情報が選択される確率が上がるように動作決定アルゴリズムをアップデートすることができる。また、睡眠周期リズムの１周期間の動作後に睡眠適正性情報と基準睡眠適正性情報とを比較した類似度が１４%である場合、動作適正性判断モジュール（１５３）は当該動作情報が選択される確率が下がるように動作決定アルゴリズムをアップデートすることができる。動作適正性判断モジュール（１５３）は類似度が高いほど当該動作情報が選択される確率を増加させ、類似度が低いほど当該動作情報が選択される確率を減少させることができる。例えば、以前の睡眠周期リズムの間に利用者が寝返りを打っていた時間が長く深い睡眠時間が相対的に短かった場合、以前の睡眠周期の間の動作情報は利用者の睡眠の質を落とす動作情報であるため動作適正性判断モジュール（１５３）は以前の睡眠周期の間の動作情報が選択されないように動作決定アルゴリズムをアップデートすることができる。この場合、動作情報決定モジュールはアップデートされた動作決定アルゴリズムによって利用者が寝返りを打っている時間が減るほど相対的に睡眠周期リズムの１周期が始まる時点から前半の一定の間温度を上げる動作を行うと決めることができる。１周期が始まる時点から前半の一定の間温度を上げる動作を行ってからセンサー部でのセンシング結果によって利用者が寝返りを打っている時間が減った場合、動作適正性判断モジュールは当該動作が適切であると判断し利用者がたくさん寝返りを打つ場合に（つまり、類似の環境において）前半の一定の間温度を上げる動作を行う確率が高くなるように（つまり、類似の環境において望ましい結果を導き出せた以前の動作に類似した動作を行うように）動作決定アルゴリズムをアップデートすることができる。

本開示の一実施例によると、メモリー（１３０）はプロセッサー（１５０）で実行可能なプログラムコード及び利用者データを保存することができる。例えば、メモリー（１３０）は利用者に係る環境から対応する環境データと利用者の睡眠から履歴情報に係る利用者データを保存することができる。

本開示の一実施例によると、入力部（１６０）は強化学習を利用した睡眠環境調節装置（１００）に備えられ、入力ボタン、タッチスクリーン、またはこれらの組み合わせで構成することができる。入力部（１６０）は利用者の情報の入力を受けることができる。例えば、入力部（１６０）は利用者から利用者の年齢、性別、地域及びアンケート調査結果のうち少なくとも１つの利用者情報の入力を受けることができる。ここで前述のアンケート調査結果は利用者の睡眠周期リズムを把握するためのアンケート調査の結果情報になり得る。また、睡眠パターンに係る情報、就寝時間及び起床時間のうち少なくとも１つの入力を受けることができる。前述の入力部（１６０）を通じて入力される情報は例示に過ぎず、本開示はこれに限定されない。

また、入力部（１６０）は強化学習を利用した睡眠環境調節装置（１００）に入力ボタンの形及びタッチスクリーンの形で備えられることができる。前述の入力部（１６０）が備えられる位置は利用者が容易に利用者情報を入力できる強化学習を利用した睡眠環境調節装置（１００）の一側面になり得るが、本開示はこれに制限されない。

本開示の一実施例によると、ネットワーク接続部（１７０）は強化学習を利用した睡眠環境調節装置（１００）ではない外部機器またはアプリケーションから入力された利用者情報を受信することができる。外部機器の例としては、ＰＣ、携帯用端末、ウェアラブル装置等があり得る。またネットワーク接続部（１７０）はセンサー部（１４０）、動作部（１２０）、プロセッサー（１５０）、入力部（１６０）間にデータ通信のためのチャンネルを形成することができる。

本開示の一実施例によると、ネットワーク接続部（１７０）はサーバー（１０）及び利用者端末（２０）のうち少なくとも１つから制御情報を受信することができる。より具体的に、ネットワーク接続部（１７０）はネットワーク接続のための有／無線インターネットモジュールを含むことができる。無線インターネット技術としてはＷＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）（Ｗｉ−Ｆｉ（登録商標））、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ ｂｒｏａｄｂａｎｄ）、Ｗｉｍａｘ（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）等が利用されることができる。有線インターネット技術としてはＸＤＳＬ（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）、ＦＴＴＨ（Ｆｉｂｅｒｓ ｔｏ ｔｈｅ ｈｏｍｅ）、ＰＬＣ（Ｐｏｗｅｒ Ｌｉｎｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等が利用されることができる。

また、ネットワーク接続部（１７０）は近距離通信モジュールを含めて、利用者端末（２０）と比較的近距離に位置して近距離通信モジュールを含む電子装置とデータを送受信することができる。近距離通信（ｓｈｏｒｔｒａｎｇｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）技術としてブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（ＩｒＤＡ、 ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）、ＺｉｇＢｅｅ（登録商標）等が利用されることができる。

図３は、本開示の一実施例に係る強化学習を利用した睡眠環境調節装置（１００）の例示図を図示する。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は利用者の睡眠状態を変えるためにメインボディ（１１０）の温度及び湿度を制御することができる。

図３に示すように、メインボディ（１１０）の内側には内側通路（１１１）が備えられることができる。前述の内側通路（１１１）は動作部（１２０）から供給する烈風及び冷風が移動する空間になり得る。前述の動作部（１２０）から供給された烈風及び冷風は前述の内側通路（１１１）の上段を通りメインボディ（１１０）の温度を調節できる。また、前述の内側通路（１１１）の上段を通った烈風及び冷風は寝具類（１１２）によって温度が保存されることができる。つまり、強化学習を利用した睡眠環境調節装置（１００）は最小限の動作で高効率の睡眠環境変化をもたらすことができる。

本開示の一実施例によると、動作部（１２０）はメインボディ（１１０）に備えられることができる。前述の動作部（１２０）が備えられる位置はメインボディから分離されたりメインボディ（１１０）の下段部分になり得る。例えば、図３に示すように、メインボディ（１１０）に利用者が体を横たえた場合、利用者の足がようになるメインボディ（１１０）の下段部分になり得る。前述の動作部（１２０）が備えられる位置は例示に過ぎず、本開示はこれに限定されない。

また、動作部（１２０）はメインボディ（１１０）に温度及び湿度のうち少なくとも１つを調節できる。例えば、動作部（１２０）は利用者を支えるメインボディ（１１０）に利用者の体温を制御するために烈風及び冷風のうち少なくとも１つを供給することができる。また動作部（１２０）は利用者を支えるメインボディ（１１０）に湿度を制御するように除湿動作及び加湿動作のうち少なくとも１つの動作を行うことができる。従って、動作部（１２０）は利用者の体温及び湿度を制御して睡眠効率を増進することができる。

図４は、本開示の一実施例に係る強化学習を利用した睡眠環境調節方法に係るフローチャートを図示する。

強化学習を利用した睡眠環境調節装置（１００）は利用者の睡眠状態を測定及び判断し、それに対応して利用者の睡眠環境を制御することができる。強化学習を利用した睡眠環境調節装置（１００）は利用者の睡眠状態を測定することができる。また強化学習を利用した睡眠環境調節装置（１００）は利用者の測定された情報を通じて睡眠状態に係る情報を生成して睡眠の質を判断することができる。前述の利用者の睡眠の質に対する判断を通じて強化学習を利用した睡眠環境調節装置（１００）は利用者に対し睡眠効率を増進する睡眠環境を提供することができる。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は利用者の生体信号を測定することができる（２１０）。具体的に、強化学習を利用した睡眠環境調節装置（１００）は利用者が睡眠をとる場合、利用者の心拍信号、脳波信号、呼吸信号及び動き信号のうち少なくとも１つを測定することができる。また強化学習を利用した睡眠環境調節装置（１００）は利用者の体温及び利用者が睡眠を取る室内の温度及び湿度を測定することができる。強化学習を利用した睡眠環境調節装置（１００）は前述の測定情報に基づき現在状態情報を生成することができる。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は現在睡眠適正性情報を生成することができる（２２０）。詳しく説明すると、強化学習を利用した睡眠環境調節装置（１００）はセンサー部（１４０）を通じて測定した測定情報に基づいて生成された現在状態情報に基づいて現在睡眠適正性情報を生成することができる。このとき、現在睡眠適正性情報は睡眠周期リズムの１周期の間に測定された前述の現在状態情報に対応して生成されることができる。従って、現在睡眠適正性情報は睡眠周期リズムの１周期の間の利用者睡眠状態に係る情報を含むことができる。例えば、現在睡眠適正性情報は１周期の間の利用者睡眠段階の比率を含む情報になり得る。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は動作決定アルゴリズムを利用して動作情報を決めることができる（２３０）。前述の動作決定アルゴリズムは人工神経網で構成され、現在睡眠適正性情報を入力として少なくとも１つ以上の候補動作情報それぞれにスコアを出力することができる。また、動作決定アルゴリズムは前述の候補動作情報それぞれに係るスコアに基づき動作情報を決めることができる。具体的に、動作決定アルゴリズムは睡眠周期リズムの１周期の間の利用者の睡眠状態に係る現在睡眠適正性情報に基づいてそれに対応する複数の動作情報のスコアを出力し、動作情報のうちスコアが最大値となる動作情報を決めることができる。例えば、動作決定アルゴリズムが現在睡眠適正性情報に基づき出力した動作情報に係るスコアが１０、８、１８、２、３、６である場合、前述の動作決定アルゴリズムは動作情報のうちスコアが最も高い１８を選択して動作情報を決めることができる。前述の動作情報に係るスコア数値の記載は例示に過ぎず、本開示はこれに制限されない。つまり、動作決定アルゴリズムは利用者の現在状態による複数の動作オプションを持つことができ、人工神経網の演算を利用して複数の動作オプションのうち最も適切な動作を動作情報として選択することができる。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は環境調節動作を行うことができる（２４０）。強化学習を利用した睡眠環境調節装置（１００）は動作部（１２０）を通じて環境調節動作を行うことができる。前述の動作部（１２０）はメインボディ（１１０）に備えられ利用者の体温及び湿度を制御するために烈風、冷風、除湿及び加湿動作のうち少なくとも１つの動作を行うことができる。動作部（１２０）は動作決定アルゴリズムによって決定された動作情報に基づいて前述のような動作を行うことができる。例えば、動作決定アルゴリズムで決めた動作情報が利用者の体温を上昇させる情報なら、前述の動作部（１２０）は烈風を供給して利用者の体温を上昇させることができる。他の例では、動作決定アルゴリズムで決めた動作情報が利用者の体温をさげて利用者の体が置かれた空間の湿度を上げる情報なら、前述の動作部（１２０）は冷風及び除湿動作を行い利用者の体温をさげて利用者の体が置かれた空間の湿度を上げることができる。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は動作後睡眠適正性情報を生成することができる（２５０）。詳しく説明すると、強化学習を利用した睡眠環境調節装置（１００）は動作部（１２０）が動作を行っている間センサー部（１４０）を通じて測定した測定情報に基づいて生成された動作後状態情報に基づいて動作後睡眠適正性情報を生成することができる。このとき、動作後睡眠適正性情報は睡眠周期リズムの１周期の間に測定された前述の動作後状態情報に対応して生成されることができ一日を基準とすることもできる。従って、動作後睡眠適正性情報は睡眠周期リズムの１周期の間の利用者睡眠状態に係る情報を含むことができる。例えば、動作後睡眠適正性情報は１周期の間の利用者の一人一人の睡眠段階の比率を含む情報になり得る。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は基準睡眠適正性情報を生成することができる。具体的に、強化学習を利用した睡眠環境調節装置（１００）は動作後睡眠適正性情報の目標となる基準睡眠適正性情報を生成することができる。詳しく説明すると、強化学習を利用した睡眠環境調節装置（１００）は睡眠周期リズムの１周期の間に利用者の睡眠効率を最大化する生体信号及び利用者入力情報に基づき基準睡眠適正性情報を生成することができる。例えば、前述の基準睡眠適正性情報は深い睡眠が増加し、睡眠の途中で目が覚める比率が著しく減少し、ＲＥＭ睡眠増加する等全体的な睡眠効率が最大化される情報になり得る。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は動作後睡眠適正性情報と基準睡眠適正性情報とを比較して前述の環境調節動作に対する適正性を判断することができる（２６０）。強化学習を利用した睡眠環境調節装置（１００）は動作適正性判断モジュール（１５３）を通じて環境調節動作に対する適正性を判断することができる。具体的に、前述の動作適正性判断モジュール（１５３）は睡眠周期リズムの１周期間の動作後の睡眠適正性情報と基準睡眠適正性情報とを比較して類似度を判断することができる。詳しく説明すると、動作後睡眠適正性情報の睡眠段階と基準睡眠適正性情報の睡眠段階を各段階による比率を比較して類似度を判断することができる。ここで前述の睡眠段階は浅い睡眠段階、普通の睡眠段階、深い睡眠段階及びＲＥＭ睡眠段階を含むことができる。例えば、図７に示すように、利用者の睡眠状態を測定して生成された動作後睡眠適正性情報の睡眠周期リズムは参照番号６１０、参照番号６２０、参照番号６３０、参照番号６４０で示すことができる。また、利用者の睡眠効率を最大化し、動作後睡眠適正性情報の目標となる基準睡眠適正性情報の睡眠周期リズムは参照番号７１０、参照番号７２０、参照番号７３０、参照番号７４０で示すことができる。

本開示の一実施例によると、図７に図示したように、動作後睡眠適正性情報による浅い睡眠、普通の睡眠、深い睡眠、ＲＥＭ睡眠と基準睡眠適正性情報による浅い睡眠、普通の睡眠、深い睡眠、ＲＥＭ睡眠のグラフの形を比較することができる。例えば、参照番号６１０と参照番号７１０を比較すると、浅い睡眠及び普通の睡眠の比率が相対的に少なくとも、深い睡眠及びＲＥＭ睡眠の比率が大きいことが分かる。また、前述の比率は参照番号６１０及び参照番号７１０の比較だけでなく、参照番号６２０及び参照番号７２０、参照番号６３０及び参照番号７３０、参照番号６４０及び参照番号７４０の比較でもまた比率様相が類似していることを確認できる。つまり、基準睡眠適正性情報は動作後睡眠適正性情報の目標となり、利用者の睡眠効率を最大化する睡眠段階に係る情報になり得る。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は動作後睡眠適正性情報と基準睡眠適正性情報とを比較して動作に対する適正性を判断することができる。具体的に、強化学習を利用した睡眠環境調節装置（１００）は睡眠周期リズムの１周期間の動作後の睡眠適正性情報と基準睡眠適正性情報とを比較して類似度を判断することができる。詳しく説明すると、強化学習を利用した睡眠環境調節装置（１００）は動作後睡眠適正性情報の第１周期（６１０）と基準睡眠適正性情報の第１周期（７１０）の各睡眠段階の比率をそれぞれ比較することができる。例えば、参照番号６１０における浅い睡眠、普通の睡眠、深い睡眠、ＲＥＭ睡眠の比率と参照番号７１０における浅い睡眠、普通の睡眠、深い睡眠、ＲＥＭ睡眠の比率をそれぞれ比較して類似度を判断することができる。前述の類似度を判断する方法は具体的に、１周期の間の時間の経過による類似度を測定する時系列類似度判断方法、１周期の間の各睡眠段階の比率に対する比較を通じて類似度を判断する方法及び前述の動作後睡眠適正性情報の睡眠周期リズムグラフと前述の基準適正性情報の睡眠周期リズムグラフとにおいてそれぞれ対応する地点の距離を計算して類似度を判断するグラフ類似度測定方法のうち少なくとも１つの方法になり得る。前述の類似度を判断する方法に係る記載は例示に過ぎず、本開示はこれに限定されない。

従って、強化学習を利用した睡眠環境調節装置（１００）は前述の方法を通じて動作後睡眠適正性情報と基準睡眠適正性情報とを比較して利用者の睡眠の適正性を判断することができる。例えば、動作後睡眠適正性情報と基準睡眠適正性情報の類似度が高いほど理想的な睡眠状態に近いため強化学習を利用した睡眠環境調節装置（１００）の環境調節動作が適切であったと判断することができる。前述の動作後睡眠適正性情報及び基準睡眠適正性情報は例示に過ぎず、本開示はこれに制限されない。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は環境調節動作に対する適正性判断に基づき動作決定アルゴリズムをアップデートすることができる（２７０）。強化学習を利用した睡眠環境調節装置（１００）は動作適正性判断モジュール（１５３）を通じて動作決定アルゴリズムをアップデートすることができる。具体的に、前述の類似度による判断に基づき前述の類似度が高い場合、前述の動作決定アルゴリズムが前述の現在睡眠適正性情報に基づき前述の動作情報を決める確率が上がるように前述の動作決定アルゴリズムをアップデートすることができる。また、前述の類似度が低い場合は前述の動作決定アルゴリズムが前述の現在睡眠適正性情報に基づき前述の動作情報を決める確率が下がるように前述の動作決定アルゴリズムをアップデートすることができる。例えば、睡眠周期リズムの１周期間の動作後に睡眠適正性情報と基準睡眠適正性情報とを比較した類似度が９８%である場合、当該動作情報が選択される確率が上がるように動作決定アルゴリズムをアップデートすることができる。また、睡眠周期リズムの１周期間の動作後に睡眠適正性情報と基準睡眠適正性情報とを比較した類似度が１４%である場合、当該動作情報が選択される確率が下がるように動作決定アルゴリズムをアップデートすることができる。前述の類似度数値の記載は例示に過ぎず、本開示はこれに制限されない。

図６は、本開示の一実施例に係る強化学習を利用した睡眠環境調節装置（１００）の温度調節の変化による利用者の睡眠段階の変化を示す例示図を図示する。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は利用者の肌の温度を変えることができる。具体的に、強化学習を利用した睡眠環境調節装置（１００）は睡眠環境変化動作を行い利用者の肌の温度をわずかに変えることができる。例えば、強化学習を利用した睡眠環境調節装置（１００）は利用者に対し烈風及び冷風少なくとも１つを供給して利用者の肌の温度を変えることができる。前述の利用者肌の温度が０．４図程度わずかに上がる場合、利用者の体温が下がるようする働きをすることがある。通常１周期リズムによって夜間睡眠時に体温が下がるが肌の温度が上がることで利用者の体温低下を加速するため睡眠の効率が増加される。従って、強化学習を利用した睡眠環境調節装置（１００）は利用者の肌の温度を上げることで体温の低下を促進して利用者の睡眠効率を増進することができる。

本開示の一実施例によると、図６の（ａ）に示すように、強化学習を利用した睡眠環境調節装置（１００）は一定の周期の間に利用者の肌の温度を上昇させることができる。また、図６に示すように、前述の温度が上がるという変化に対応して利用者の睡眠比率が変化することができる。

図６は、本開示の一実施例に係る強化学習を利用した睡眠環境調節装置（１００）の温度調節の変化による利用者の睡眠段階の変化を示す例示図を図示する。

図６の（ａ）は時間によって強化学習を利用した睡眠環境調節装置（１００）が温度調節動作を行い温度を調節するグラフである。また、図６の（b）は強化学習を利用した睡眠環境調節装置（１００）が（ａ）のように温度調節を行ったとき、センシングを通じて獲得できる睡眠適正性情報に係るグラフになり得る。図６に示す＜表２＞は、前述の（b）に各周期別に現れた睡眠比率に基づき導出された比率になり得る。

本開示の一実施例によると、図６の参照番号５５０に示すように強化学習を利用した睡眠環境調節装置（１００）は温度調節動作を行わない場合がある。具体的に、強化学習を利用した睡眠環境調節装置（１００）はセンシングを通じて睡眠周期リズムの第１の１周期の間利用者の睡眠適正性情報を獲得できる。前述の強化学習を利用した睡眠環境調節装置（１００）が獲得した利用者の１周期に係る睡眠適正性情報は参照番号５１０の領域と同じものになり得るが、当該領域における睡眠比率は図６の＜表２＞の第１周期と同じものになり得る。睡眠周期リズムの１周期の間利用者の睡眠適正性情報を獲得した後、強化学習を利用した睡眠環境調節装置（１００）は前述の１周期の睡眠適正性情報（５１０）に基づき動作決定アルゴリズムを通じて行う環境調節動作を決定することができる。前述の決定された動作を通じて強化学習を利用した睡眠環境調節装置（１００）は２周期の間睡眠環境調節動作を行うことができる。図６の（ａ）に示すように、強化学習を利用した睡眠環境調節装置（１００）は２周期に参照番号５６０のように睡眠環境調節動作を行うことができる。これによる利用者の２周期睡眠適正性情報（５２０）は図６の（b）に示すもののようであり、図６の＜表２＞に示すように利用者の深い睡眠の比率が１周期に比べ増加することができる。従って、強化学習を利用した睡眠環境調節装置（１００）は当該睡眠環境調節動作が適切であったと判断することができる。強化学習を利用した睡眠環境調節装置（１００）は前述の睡眠２周期に係る環境調節動作が適切であったという判断結果に基づき類似した状況で類似した動作を選択するように人工神経網（８００）の重みを調節することができる。従って、図６の（ａ）に示すように、強化学習を利用した睡眠環境調節装置（１００）は３周期に参照番号５７０のように２周期に類似した睡眠環境調節動作を行うことができる。これによって、３周期睡眠適正性情報は図６の（b）の参照番号５３０と同じものになり得る。また、利用者の睡眠段階の比率は図６の＜表２＞に示すように第３周期で利用者の深い睡眠は減少しているがＲＥＭ睡眠の比率はより増加していると示すことができる。強化学習を利用した睡眠環境調節装置（１００）は第３周期でＲＥＭ睡眠の比率が大幅に増加しており、深い睡眠の比率は減少しているため当該睡眠環境調節動作で深い睡眠の比率を下げたのは不適切だったと、ＲＥＭ睡眠の比率を上げたのは適切であったと判断することができる。強化学習を利用した睡眠環境調節装置（１００）は３周期の温度調節動作（５７０）で温度の最大値が２周期の温度調節動作（５６０）の温度の最大値より高いことが時間上深い睡眠の減少と関係がある可能性があると判断して、４周期の温度調節動作（５７０）の温度の最大値を２周期の温度調節動作（５６０）の温度最大値に近くなるように決めることができる。つまり、本開示の強化学習を利用した睡眠環境調節装置（１００）の最終目標は深い睡眠とＲＥＭ睡眠の比率の両方を増加させるものであるため強化学習を利用した睡眠環境調節装置（１００）は深い睡眠とＲＥＭ睡眠の比率の両方を増加させるように環境調節動作の動作決定アルゴリズムをアップデートすることができる。これによる４周期の睡眠適正性情報は参照番号５４０と同じものになり得る。図６の＜表２＞に示すように第３周期に比べ第４周期の深い睡眠及びＲＥＭ睡眠が減ることがある。従って、強化学習を利用した睡眠環境調節装置（１００）は当該動作が不適切であったと判断することができる。前述の不適切であったという判断結果に基づき類似した状況で類似した動作を選択しないように人工神経網（８００）の重み調節することができる。

つまり、強化学習を利用した睡眠環境調節装置（１００）は前述のような強化学習の繰り返しによって利用者の睡眠環境を調節できる。この場合、睡眠周期リズムにおいて深い睡眠及びＲＥＭ睡眠の量が増えることが強化学習の目標（ｇｏａｌ）になり得る。また、強化学習を利用した睡眠環境調節装置（１００）の睡眠環境調節動作によって深い睡眠及びＲＥＭ睡眠のうち少なくとも１つの量が増えることが報酬（ｒｅｗａｒｄ）になり得る。従って、強化学習を利用した睡眠環境調節装置（１００）は繰り返された強化学習を通じて利用者に最適の睡眠環境を提供することができる。前述の利用者の睡眠比率は例示に過ぎず、本開示はこれに限定されない。

図８は、本開示の一実施例に係る動作決定アルゴリズムを構成する人工神経網（８００）の構成図を図示する。

神経網（８００）は少なくとも１つ以上のノードを含めて構成される。神経網を構成するノード（またはニューロン）は１つ以上のリンクによって相互連結されることができる。

神経網（８００）の中で、リンクを通じて繋がっている１つ以上のノードは相対的に入力ノード及び出力ノードの関係を形成することができる。入力ノード及び出力ノードの概念は相対的なものであり、あるノードに対して出力ノードとなる任意のノードは他のノードとの関係においては入力ノードになり得るが、その逆も成立する。前述のように、入力ノードと出力ノードとの関係はリンクを中心にして成立することができる。１つの入力ノードに１つ以上の出力ノードがリンクを通じて連結されることができ、その逆も成立する。

１つのリンクを通じて繋がっている入力ノード及び出力ノード関係において、出力ノードは入力ノードに入力されたデータに基づきその値が決定されることができる。ここで入力ノードと出力ノードとを相互連結するノードは重み（ｗｅｉｇｈｔ）を持つことができる。重みは可変的なものになり得るが、神経網（８００）が所望の機能を行うために、利用者またはアルゴリズムによって変わることができる。例えば、１つの出力ノードに１つ以上の入力ノードが各リンクによって相互連結された場合、出力ノードは前述の出力ノードに繋がっている入力ノードに入力された値及び各入力ノードに対応するリンクに設定された重みに基づき出力ノードの値を決定することができる。

前述のように、神経網（８００）は１つ以上のノードが１つ以上のリンクを通じて相互連結され神経網（８００）の中で入力ノード及び出力ノード関係を形成する。神経網（８００）の中でノードとリンクの数及びノードとリンクとの間の相関関係、各リンクに付与された重みの値によって、神経網（８００）の特性が決まることができる。例えば、同数のノード及びリンクが存在し、複数のリンク間の重みの値が相異する２つの神経網（８００）が存在する場合、２つの神経網（８００）は相異するものと認識されることができる。

図８に示すように、神経網（８００）は１つ以上のノードを含めて、構成されることができる。神経網（８００）を構成する複数のノードのうち一部は、第１入力ノードからの距離に基づき、１つのレイヤー（ｌａｙｅｒ）を構成することができる、例えば、第１入力ノードからの距離がｎであるノードの集合は、ｎレイヤーを構成することができる。第１入力ノードからの距離は、第１入力ノードから当該ノードに到達するために経由しなければならないリンクの最小限の数によって定義されることができる。しかし、このようなレイヤーの定義は説明のために任意に取り上げてものであり、神経網（８００）の中でレイヤーの階層は前述の説明と異なる方法で定義されることができる。例えば、ノードのレイヤーは最終出力ノードからの距離によって定義されることもできる。

第１入力ノードは神経網（８００）の中のノードのうち他のノードとの関係においてリンクを経由せずにデータが直接入力される１つ以上のノードを意味することができる。または、神経網（８００）ネットワークの中で、リンクを基準にしたノード間の関係において、リンクに繋がっている他の入力ノードを持たないノードを意味することができる。これと同様に、最終出力ノードは神経網（８００）の中のノードのうち他のノードとの関係において、出力ノードを持たない１つ以上のノードを意味することができる。また、ヒドンノードは第１入力ノード及び最終出力ノードではない神経網（８００）を構成するノードを意味することができる。

本開示の一実施例による神経網（８００）は入力レイヤーのノードが出力レイヤーに近いヒドンレイヤーのノードより多いことが可能であり、入力レイヤーからヒドンレイヤーへと進むにつれノードの数が減っていく形の神経網になり得る。

本開示の一実施例においてデータの処理ができるように神経網（８００）はＭＬＰ（ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）、ＲＮＮ（ｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋ）、ＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）等を含むことができる。また本開示の一実施例においてイベントの長さが長くなるにつれ発生し得る長期記憶（ｌｏｎｇｒａｎｇｅｄｅｐｅｎｄｅｎｃｙｖａｎｉｓｈｉｎｇｇｒａｄｉｅｎｔ）による性能低下を防げるように本開示の神経網（８００）はＬＳＴＭ（ｌｏｎｇｓｈｏｒｔ−ｔｅｒｍｍｅｍｏｒｙ）を含むことができる。また、本開示の一実施例において人工神経網方法の最適化手法で確率的勾配降下法（ＳＧＤ）、モメンタム（Ｍｏｍｅｎｔｕｍ）、Ａｄａｍ、ＡｄａＧｒａｄ、ＲＭＳｐｒｏｐ等を使うことができる。また、学習データＤを１度だけ学習できれば複数回繰り返すエポック（ｅｐｏｃｈ）を通じて誤差関数を最小化させたパラメータを求めることもでき、十分な最適化が行われたか検査してから学習段階を終えるかどうかを決めることができる。

ＲＮＮは一般的なフィードフォワード神経網とは違ってヒドンレイヤーの出力が再び同じヒドンレイヤーの入力が行われることができる。ＲＮＮは現在入力された入力データと過去に入力されたデータとを同時に考慮して演算して、フィードバック構造を持つことで記憶能力を持つ神経網である。従って、ＲＮＮはデータから以前のデータの意味に基づいて現在データを解析できるようにトレーニングされることができる。ＲＮＮの一つであるＬＳＴＭは長期記憶ネットワーク（ｌｏｎｇｓｈｏｒｔｔｅｒｍｍｅｍｏｒｙｎｅｔｗｏｒｋ）とも呼ばれ長期依存性を学習することができる。本開示の一実施例において神経網はＲＮＮの一つであるＬＳＴＭだけでなく、シムゲート循環神経網（ｄｅｐｔｈｇａｔｅｄＲＮＮ）、クロックワーク循環神経網（ｃｌｏｃｋｗｏｒｋＲＮＮ）等のようにデータを処理できる任意の神経網を含むことができる。

図８の神経網（８００）は１つ以上のヒドンレイヤーを含むことができる。ヒドンレイヤーのヒドンノードは以前のレイヤーの出力と周辺のヒドンノードの出力を入力とすることができる。各ヒドンレイヤー別のヒドンノードの数は同数になり得るが相異することもできる。入力レイヤーのノードの数は入力データのデータフィールドの数に基づき決まることができヒドンノードの数と同数になり得るが相異することもできる。入力レイヤーに入力された入力データはヒドンレイヤーのヒドンノードによって演算されることができ出力レイヤーである完全連結レイヤー（ＦＣＬ：ｆｕｌｌｙｃｏｎｎｅｃｔｅｄｌａｙｅｒ）によって出力されることができる。

本開示の一実施例によると、動作決定アルゴリズムは現在睡眠適正性情報を入力として少なくとも１つ以上の候補動作情報それぞれにスコアを出力することができる。また、動作決定アルゴリズムは前述の候補動作情報それぞれに係るスコアに基づき動作情報を決めることができる。具体的に、動作決定アルゴリズムは睡眠周期リズムの１周期の間の利用者の睡眠状態に係る現在睡眠適正性情報に基づいてそれに対応する複数の動作情報のスコアを出力し、動作情報のうちスコアが最大値となる動作情報を決めることができる。例えば、図８に示すように、動作決定アルゴリズムが現在睡眠適正性情報に基づき出力した動作情報が４つであり、そして出力動作に係るスコアがそれぞれ７、１８、９、１２である場合、前述の動作決定アルゴリズムは動作情報のうちスコアが最も高い１８を選択して動作情報を決めることができる。前述の動作情報に係るスコア数値の記載は例示に過ぎず、本開示はこれに制限されない。つまり、動作決定アルゴリズムは利用者の現在状態による複数の動作オプションを持つことができ、人工神経網の演算を利用して複数の動作オプションのうち最も適切な動作を動作情報として選択することができる。

図１０は、本開示の一実施例に係る強化学習を利用した睡眠環境調節方法を具現化するための手段を図示したブロック構成図である。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は生体信号を測定して現在状態情報及び動作後状態情報を生成するための手段（５１）；前述の現在状態情報に基づき現在睡眠適正性情報を生成するための手段（５２）；動作決定アルゴリズムを利用して動作情報を決めるための手段（５３）；前述の動作情報に基づき環境調節動作を行うための手段（５４）；前述の環境調節動作を行ってから生体信号を測定して動作後状態情報を生成するための手段（５５）；前述の動作後状態情報に基づき動作後睡眠適正性情報を生成するための手段（５６）；前述の動作後睡眠適正性情報と基準睡眠適正性情報とを比較して前述の環境調節動作に対する適正性を判断するための手段（５７）；及び前述の環境調節動作に対する適正性判断に基づき動作決定アルゴリズムをアップデートするための手段（５８）；によって具現化されることができる。

或いは、前述の現在状態情報及び動作後状態情報を生成するための手段は、利用者の心拍数、呼吸数、動き及び脳波のうち少なくとも１つを接触または非接触方式で測定する利用者状態測定センサー、利用者が睡眠を取る室内の温度及び前述の利用者の体温のうち少なくとも１つを測定する温度センサー並びに利用者が睡眠を取る室内の湿度を測定する湿度センサーのうち少なくとも１つのセンサーを含み、前述のセンサーのうち少なくとも１つのセンサーを通じて、前述の現在状態情報、室内温度情報及び室内湿度情報のうち少なくとも１つを獲得できる。

或いは、前述の動作情報に基づき環境調節動作を行うための手段は、前述のメインボディに備えられ、前述の利用者の体温を制御するために前述のメインボディに烈風及び冷風のうち少なくとも１つを供給することができる。

或いは、前述の現在状態情報に基づき現在睡眠適正性情報を生成するための手段は、前述の現在状態情報及び動作後状態情報を生成するための手段で測定された前述の利用者の呼吸状態情報、心拍状態情報、脳波情報及び動き状態情報のうち少なくとも１つを含み、前述の利用者の睡眠周期リズムの１周期の間の測定結果を含むことができる。

或いは、前述の現在状態情報に基づき現在睡眠適正性情報を生成するための手段は、睡眠周期リズムの１周期の間に測定された前述の現在状態情報に基づいて生成されることができる。

或いは、前述の環境調節動作を行ってから生体信号を測定して前述の動作後状態情報を生成するための手段は、プロセッサー（１５０）の制御信号によって環境調節動作を行うための手段が動作を行う睡眠周期リズムの１周期の間の生体信号に基づいて生成されることができる。

或いは、前述の環境調節動作を行ってから生体信号を測定して動作後状態情報を生成するための手段は、睡眠周期リズムの１周期の間に測定された前述の動作後状態情報に基づいて生成されることができる。

或いは、前述の基準睡眠適正性情報は、睡眠周期リズムの１周期の間に利用者の睡眠効率を最大化する生体信号に基づいて生成され、前述の動作後睡眠適正性情報の目標になることを特徴とすることができる。

或いは、前述の動作決定アルゴリズムは、人工神経網で構成され、前述の現在睡眠適正性情報を入力として少なくとも１つ以上の候補動作情報それぞれに係るスコアを出力し、そして前述の候補動作情報それぞれに係るスコアに基づき前述の動作情報を決めることができる。

或いは、前述の環境調節動作に対する適正性を判断するための手段は、睡眠周期リズムの１周期間の動作後の睡眠適正性情報と基準睡眠適正性情報とを比較して類似度を判断して前述の動作に対する適正性を判断することができる。

或いは、前述の環境調節動作に対する適正性判断に基づき動作決定アルゴリズムをアップデートするための手段は、前述の類似度が高いは場合前述の動作決定アルゴリズムが前述の現在睡眠適正性情報に基づき前述の動作情報を決める確率が上がるように前述の動作決定アルゴリズムをアップデートしたり、または前述の類似度が低い場合は前述の動作決定アルゴリズムが前述の現在睡眠適正性情報に基づき前述の動作情報を決める確率が下がるように前述の動作決定アルゴリズムをアップデートすることができる。

図１１は、本開示の一実施例に係る強化学習を利用した睡眠環境調節方法を具現化するためのモジュールを図示したブロック構成図である。

本開示の一実施例によって強化学習を利用した睡眠環境調節方法は次のようなモジュールによって具現化されることができる。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は生体信号を測定して現在状態情報及び動作後状態情報を生成するためのモジュール（６１）；前述の現在状態情報に基づき現在睡眠適正性情報を生成するためのモジュール（６２）；動作決定アルゴリズムを利用して動作情報を決めるためのモジュール（６３）；前述の動作情報に基づき環境調節動作を行うためのモジュール（６４）；前述の環境調節動作を行ってから生体信号を測定して動作後状態情報を生成するためのモジュール（６５）；前述の動作後状態情報に基づき動作後睡眠適正性情報を生成するためのモジュール（６６）；前述の動作後睡眠適正性情報と基準睡眠適正性情報とを比較して前述の環境調節動作に対する適正性を判断するためのモジュール（６７）；及び前述の環境調節動作に対する適正性判断に基づき動作決定アルゴリズムをアップデートするためのモジュール（６８）；によって具現化されることができる。

図１２は、本開示の一実施例に係る強化学習を利用した睡眠環境調節方法を具現化するためのロジックを図示したブロック構成図である。

本開示の一実施例によって強化学習を利用した睡眠環境調節方法は次のようなロジックによって具現化されることができる。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は生体信号を測定して現在状態情報を及び動作後状態情報を生成するためのロジック（７１）；前述の現在状態情報に基づき現在睡眠適正性情報を生成するためのロジック（７２）；動作決定アルゴリズムを利用して動作情報を決めるためのロジック（７３）；前述の動作情報に基づき環境調節動作を行うためのロジック（７４）；前述の環境調節動作を行ってから生体信号を測定して動作後状態情報を生成するためのロジック（７５）；前述の動作後状態情報に基づき動作後睡眠適正性情報を生成するためのロジック（７６）；前述の動作後睡眠適正性情報と基準睡眠適正性情報とを比較して前述の環境調節動作に対する適正性を判断するためのロジック（７７）；及び前述の環境調節動作に対する適正性判断に基づき動作決定アルゴリズムをアップデートするためのロジック（７８）；によって具現化されることができる。

図１３は、本開示の一実施例に係る強化学習を利用した睡眠環境調節方法を具現化するための回路を図示したブロック構成図である。

本開示の一実施例によって強化学習を利用した睡眠環境調節方法は次のような回路によって具現化されることができる。

本開示の一実施例によると、強化学習を利用した睡眠環境調節装置（１００）は生体信号を測定して現在状態情報及び動作後状態情報を生成するための回路（８１）；前述の現在状態情報に基づき現在睡眠適正性情報を生成するための回路（８２）；動作決定アルゴリズムを利用して動作情報を決めるための回路（８３）；前述の動作情報に基づき環境調節動作を行うための回路（８４）；前述の環境調節動作を行ってから生体信号を測定して動作後状態情報を生成するための回路（８５）；前述の動作後状態情報に基づき動作後睡眠適正性情報を生成するための回路（８６）；前述の動作後睡眠適正性情報と基準睡眠適正性情報とを比較して前述の環境調節動作に対する適正性を判断するための回路（８７）；及び前述の環境調節動作に対する適正性判断に基づき動作決定アルゴリズムをアップデートするための回路（８８）；によって具現化されることができる。

当業者は、さらに、ここに開示される実施例に係るものとして説明された多様な例示的論理的ブロック、構成、モジュール、回路、手段、ロジック及びアルゴリズム段階が、電子ハードウェア、コンピューターソフトウェア、またはその両方の組み合わせによって実現されることができることを認識すべきである。ハードウェアとソフトウェアとの相互交換性を明確に例示するために、多様な例示的コンポーネント、ブロック、構成、手段、ロジック、モジュール、回路及び段階が、それらの機能性の側面で一般的に上述された。そのような機能性がハードウェアとしてまたはソフトウェアとして実装されるか否かは、全般的なシステムに係る特定のアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）及び設計制限によって決まる。熟練した技術者は、個々の特定アプリケーションのために多様な方法で説明された機能性を実現できる。ただし、そのような実現に係る決定が本開示内容の領域を逸脱するものと解釈されてはならない。

図１４は、本開示内容の実施例が具現化されることのできる例示的なコンピューティング環境に係る簡略で一般的な概略図を図示する。

本開示の内容が一般的に１つ以上のコンピューター上で実行されることのできるコンピューターで実行可能な命令に着目して前述されているが、当業者なら本開示の内容が、他のプログラムモジュールと結合して及び／またはハードウェアとソフトウェアとの組み合わせによって実現されることができることをよく理解するだろう。

一般的に、本明細書におけるモジュールは、特定のタスクを実行したり特定の抽象的なデータ類型を実装するルーティン、プロシージャ、プログラム、コンポーネント、データ構造、その他等々を含む。また、当業者なら本開示の方法がシングルプロセッサー（１１０）またはマルチプロセッサー（１１０）コンピューターシステム、ミニコンピューター、メインフレームコンピューターはもちろん、パーソナルコンピューター、ハンドヘルドコンピューティング装置（１００）、マイクロプロセッサー（１１０）−基盤、またはプログラム可能な家電製品、その他等々（これらは、それぞれ１つ以上の関連する装置と繋がって動作することができる）をはじめとする、他のコンピューターシステムの構成によって実施されることができることをよく理解できるだろう。

本開示の説明された実施例は、さらに、あるタスクが通信ネットワークを通じて繋がっている遠隔処理装置によって行われる分散コンピューティング環境で実施されることができる。分散コンピューティング環境において、プログラムモジュールは、ローカルや遠隔メモリー保存装置の両方に位置することができる。

コンピューターは、通常コンピューターで読み取り可能な多様な媒体を含む。コンピューターによってアクセス可能な媒体として、揮発性及び非揮発性媒体、一時的（ｔｒａｎｓｉｔｏｒｙ）及び非一時的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）媒体、移動式及び非移動式媒体を含む。制限ではなく例として、コンピューターで読み取り可能な媒体は、コンピューターで読み取り可能な保存媒体及びコンピューターで読み取り可能な伝送媒体を含むことができる。

コンピューターで読み取り可能な保存媒体は、コンピューターで読み取り可能な命令、データ構造、プログラムモジュール、またはその他のデータのような情報を保存する任意の方法または技術によって実装される揮発性及び非揮発性の媒体、一時的及び非一時的媒体、移動式及び非移動式媒体を含む。コンピューターで読み取り可能な保存媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、フラッシュメモリーまたはその他のメモリー技術、ＣＤ−ＲＯＭ、ＤＶＤ（ｄｉｇｉｔａｌｖｉｄｅｏｄｉｓｋ）またはその他の光ディスク保存装置、磁気カセット、磁気テープ、磁気ディスク保存装置またはその他の磁気保存装置、またはコンピューターによってアクセスされることができ、必要な情報を保存するのに使われることのできる任意のその他の媒体を含むが、これに限定されない。

コンピューターで読み取り可能な伝送媒体は、通常、搬送波（ｃａｒｒｉｅｒ ｗａｖｅ）またはその他の伝送メカニズム（ｔｒａｎｓｐｏｒｔｍｅｃｈａｎｉｓｍ）のような被変調データ信号（ｍｏｄｕｌａｔｅｄｄａｔａｓｉｇｎａｌ）にコンピューターで読み取り可能な命令、データ構造、プログラムモジュールまたはその他のデータ等を実装し、すべての情報伝達媒体を含む。被変調データ信号という用語は、信号の中で情報をエンコードするように、その信号の特性のうち一つ以上を設定または変更した信号を意味する。制限ではなく例として、コンピューターで読み取り可能な伝送媒体は、有線ネットワークまたは直接配線接続（ｄｉｒｅｃｔ−ｗｉｒｅｄｃｏｎｎｅｃｔｉｏｎ）のような有線媒体、そして音響、ＲＦ、赤外線、その他の無線媒体のような無線媒体を含む。前述の媒体のうち、いずれかによる任意の組み合わせもまたコンピューターで読み取り可能な伝送媒体の範囲に含まれるものとする。

コンピューター（１１０２）を含む本開示の多様な側面を実現する例示的な環境（１１００）が示されており、コンピューター（１１０２）は、処理装置（１１０４）、システムメモリー（１１０６）、システムバス（１１０８）を含む。システムバス（１１０８）は、システムメモリー（１１０６）（これに限定されない）をはじめとするシステムコンポーネントを処理装置（１１０４）につなげる。処理装置（１１０４）は、多様な商用プロセッサー（１１０）のうち任意のプロセッサー（１１０）になり得る。デュエルプロセッサー（１１０）とその他のマルチプロセッサー（１１０）アーキテクチャもまた処理装置（１１０４）として利用されることができる。

システムバス（１１０８）は、メモリーバス、周辺装置バス、そして多様な商用バスアーキテクチャの中から、任意のものを使用するローカルバスにさらに相互連結されることのできる複数の類型のバス構造のうちいずれかになり得る。システムメモリー（１１０６）は、読み取り専用メモリー（ROＭ）（１１１０）やランダムアクセスメモリー（ＲＡＭ）（１１１２）を含む。基本的な入出力システム（ＢＩＯＳ）は、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の非揮発性メモリー（１１１０）に保存され、このＢＩＯＳは、起動中の時等にコンピューター（１１０２）の中の複数の構成要素間の情報のやりとりをサポートする基本的なルーティンを含む。ＲＡＭ（１１１２）は、またデータをキャッシュするための静的ＲＡＭ等の高速ＲＡＭを含むことができる。

コンピューター（１１０２）においては、また、内蔵型ハードディスクドライブ（ＨＤＤ）（１１１４）（例えば、ＥＩＤＥ、ＳＡＴＡ）―この内蔵型ハードディスクドライブ（１１１４）はまた適切なシャシー（図示は省略）の中で外付け型の用途で構成されることができる―、磁気フロッピーディスク（登録商標）ドライブ（ＦＤＤ）（１１１６）（例えば、移動式ディスケット（１１１８）から読み取ったりそれに書き込むためのものである）及び光ディスクドライブ（１１２０）（例えば、ＣＤ−ＲＯＭディスク（１１２２）を読み取ったり、ＤＶＤ等のその他の高容量光媒体から読み取ったり、それに書き込むためのものである）を含む。ハードディスクドライブ（１１１４）、磁気ディスクドライブ（１１１６）及び光ディスクドライブ（１１２０）は、それぞれハードディスクドライブインターフェース（１１２４）、磁気ディスクドライブインターフェース（１１２６）及び光ドライブインターフェース（１１２８）によってシステムバス（１１０８）に繋がることができる。外付け型ドライブの実装のためのインターフェース（１１２４）は、例えば、UＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）やＩＥＥＥ１３９４インターフェース技術のうち、少なくとも１つまたはその両方を含む。

これらのドライブ及びこれらに係るコンピューターで読み取り可能な媒体は、データ、データ構造、コンピューターで実行可能な命令、その他等々の非揮発性保存を提供する。コンピューター（１１０２）の場合、ドライブ及び媒体は、任意のデータを適切なデジタル形式に保存することに対応する。前述におけるコンピューターで読み取り可能な保存媒体に係る説明が、ＨＤＤ、移動式磁気ディスク及びＣＤまたはＤＶＤ等の移動式光媒体について触れているが、当業者ならジップドライブ（ｚｉｐｄｒｉｖｅ）、磁気カセット、フラッシュメモリーカード、カートリッジ、その他等々のコンピューターにより読み取り可能な他の類型の保存媒体もまた例示的な運営環境で使われることができ、さらに、このような媒体のうち任意のある媒体が、本開示の方法を実行するためのコンピューターで実行可能な命令を含むことができることをよく理解できるだろう。

運営システム（１１３０）、１つ以上のアプリケーションプログラム（１１３２）、その他のプログラムモジュール（１１３４）及びプログラムデータ（１１３６）をはじめとする多数のプログラムモジュールが、ドライブ及びＲＡＭ（１１１２）に保存されることができる。運営システム、アプリケーション、モジュール及び／またはデータの全部またはその一部分がまたＲＡＭ（１１１２）にキャッシュされることができる。本開示が商業的に利用可能な様々な運営システムまたは複数の運営システムの組み合わせにより実装されることができることをよく理解できるだろう。

利用者は、１つ以上の有線・無線の入力装置、例えば、キーボード（１１３８）及びマウス（１１４０）等のポインティング装置を通じてコンピューター（１１０２）に命令及び情報を入力することができる。その他の入力装置（図示は省略）としてはマイク、ＩＲリモコン、ジョイスティック、ゲームパッド、スタイラスペン、タッチスクリーン、その他等々があり得る。これら及びその他の入力装置が、よくシステムバス（１１０８）に繋がっている入力装置インターフェース（１１４２）を通じて処理装置（１１０４）に繋がることがあるが、並列ポート、ＩＥＥＥ１３９４直列ポート、ゲームポート、ＵＳＢポート、ＩＲインターフェース、その他等々のその他のインターフェースによって繋がることができる。

モニター（１１４４）または他の類型のディスプレイ装置も、ビデオアダプター（１１４６）等のインターフェースを通じてシステムバス（１１０８）に繋がる。モニター（１１４４）に加えて、コンピューターは一般的にスピーカー、プリンター、その他等々のその他の周辺出力装置（図示は省略）を含む。

コンピューター（１１０２）は、有線及び／または無線通信による（複数の）遠隔コンピューター（１１４８）等の１つ以上の遠隔コンピューターへの論理的接続を利用し、ネットワーク化された環境で動作することができる。（複数の）遠隔コンピューター（１１４８）は、ワークステーション、サーバーコンピューター、ルーター、パーソナルコンピューター、携帯用コンピューター、マイクロプロセッサー基盤の娯楽機器、ピア装置またはその他の通常のネットワークノードになることができ、一般的にコンピューター（１１０２）について述べられた構成要素のうち、多数またはその全部を含むが、簡略化するために、メモリー保存装置（１１５０）のみ図示されている。図示されている論理的接続は、近距離通信網（ＬＡＮ）（１１５２）及び／または、より大きいネットワーク、例えば、遠距離通信網（ＷＡＮ）（１１５４）における有線・無線の接続を含む。このようなＬＡＮ及びＷＡＮのネットワーキング環境は、オフィスや会社では一般的なもので、イントラネット等の全社的コンピューターネットワーク（ｅｎｔｅｒｐｒｉｓｅ−ｗｉｄｅｃｏｍｐｕｔｅｒｎｅｔｗｏｒｋ）を容易にし、これらはすべて全世界のコンピューターネットワーク、例えば、インターネットに繋がることができる。

ＬＡＮネットワーキング環境で使われるとき、コンピューター（１１０２）は、有線及び／または無線通信ネットワークインターフェース、または、アダプター（１１５６）を通じてローカルネットワーク（１１５２）に繋がる。アダプター（１１５６）は、ＬＡＮ（１１５２）への有線または無線通信を容易にすることができ、このＬＡＮ（１１５２）は、また無線アダプター（１１５６）と通信するためにそれに設置されている無線アクセスポイントを含む。ＷＡＮネットワーキング環境で使われるとき、コンピューター（１１０２）は、モデム（１１５８）を含むことができたり、ＷＡＮ（１１５４）上の通信サーバーに繋がったり、またはインターネットを通じる等、ＷＡＮ（１１５４）を通じて通信を設定するその他の手段を持つ。内蔵型又は外付け型、そして、有線または無線装置になり得るモデム（１１５８）は、直列ポートインターフェース（１１４２）を通じてシステムバス（１１０８）に繋がる。ネットワーク化された環境において、コンピューター（１１０２）について説明されたプログラムモジュールまたはその一部分が、遠隔メモリー／保存装置（１１５０）に保存されることができる。図示されたネットワーク接続が例示的なものであり、複数のコンピューター間で通信リンクを設定する他の手段が使われることができるということはよく理解できるだろう。

コンピューター（１１０２）は、無線通信で配置されて動作する任意の無線装置またはユニット、例えば、プリンター、スキャナー、デスクトップ及び／または携帯用コンピューター、ＰＤＡ（ｐｏｒｔａｂｌｅｄａｔａａｓｓｉｓｔａｎｔ）、通信衛星、無線で検出可能なタグに係る任意の装備または場所及、及び電話と通信する動作をする。これは、少なくともＷｉ−Ｆｉ及びブルートゥース無線技術を含む。従って、通信は、従来のネットワークのように予め定義された構造であったり、単純に少なくとも２つの装置の間でのアドホック通信（ａｄｈｏｃｃｏｍｍｕｎｉｃａｔｉｏｎ）になり得る。

Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）は、有線で繋がっていなくても、インターネット等への接続を可能にする。Ｗｉ−Ｆｉは、このような装置、例えば、コンピューターが室内及び室外で、つまり基地局の通話圏内のどこからでもデータを送受信できるようにするセル電話のような無線技術である。Ｗｉ−Ｆｉネットワークは、安全で信頼性があり、高速である無線接続を提供するためにＩＥＥＥ８０２．１１（ａ、ｂ、ｇ、その他）という無線技術を使う。コンピューターを互いに、インターネットに及び有線ネットワーク（ＩＥＥＥ８０２．３またはイーサネットを使う）に接続するためにＷｉ−Ｆｉが使われることができる。Ｗｉ−Ｆｉネットワークは、非認可２．４や５GHzの無線帯域において、例えば、１１Ｍｂpｓ（８０２．１１ａ）または５４Ｍｂpｓ（８０２．１１ｂ）のデータレートで動作したり、両帯域（デュエル帯域）を含む製品で動作することができる。

本開示の技術分野において通常の知識を持つ者は、ここに開示された実施例に係る説明で取り挙げられた多様な例示的な論理ブロック、モジュール、プロセッサー（１１０）、手段、回路、アルゴリズム段階が電子ハードウェア、（利便性のために、ここでは「ソフトウェア」と称される）多様な形のプログラムまたは設計コード、またはこれらすべての結合により実装されることができることを理解できるだろう。ハードウェア及びソフトウェアのこのような相互互換性を明確に説明するために、多様な例示的なコンポーネント、ブロック、モジュール、回路、段階がこれらの機能に着目して上記で一般的に説明された。このような機能がハードウェアやソフトウェアで実装されるかどうかは、特定のアプリケーションおよび全体システムに対して付与される設計上の制限によって決まる。本開示の技術分野において通常の知識を持つ者は、個々の特定のアプリケーションについて多様な手法で説明された機能を実現することができるが、このような実現の決定は、本開示の範囲を逸脱するものと解釈されてはならない。

ここに示された多様な実施例は、方法、装置、または標準プログラミング及び／またはエンジニアリング技術を使った製造物品（ａｒｔｉｃｌｅ）によって実現できる。用語「製造物品」は、任意のコンピューターで読み取り可能な装置からアクセス可能なコンピュータープログラム、キャリアー、または媒体（ｍｅｄｉａ）を含む。例えば、コンピューターで読み取り可能な保存媒体は、磁気保存装置（例えば、ハードディスク、フロッピーディスク、磁気ストリップ等）、光学ディスク（例えば、ＣＤ、ＤＶＤ等）、スマートカード及びフラッシュメモリー装置（例えば、ＥＥＰＲＯＭ、カード、スティック、キードライブ等）を含むが、これらに限定されるものではない。用語「機械で読み取り可能な媒体」は、（複数の）命令及び／またはデータを保存、保持、及び／または伝達できる無線チャンネル及び多様な他の媒体を含むが、これらに限定されるものではない。

示されたプロセスにおける複数の段階の特定の順番または階層構造は、例示的なアプローチの一例であることを理解すべきである。設計上の優先順位に基づき、本開示の範囲内で、プロセスにおける段階の特定の順番または階層構造が見直されるとができることを理解すべきである。添付の方法請求項は、サンプルとしての順番で、多様な段階のエレメントを提供するが、示された特定の順番または階層構造に限定されることを意味するわけではない。

示された実施例に対する説明は、任意の本開示の技術分野において通常の知識を持つ者が、本開示を利用したりまたは実施できるように提供される。このような実施例に対する多様な変形は、本開示の技術分野において通常の知識を持つ者にとっては明確であり、ここに定義された一般的な原理は、本開示の範囲を逸脱することなく他の実施例に適用されることができる。従って、本開示はここに示す実施例によって限定されるものではなく、ここに示す原理及び新規な特徴と一貫する最広義の範囲で解釈されるべきである。

前述のような発明の実施のための最善の形に係る内容を記述した。

本開示は利用者の睡眠効率を高められるように睡眠環境を調節する装置に関するものである。

Claims (12)

1. 強化学習を利用した睡眠環境調節装置において、
   利用者の体が置かれることができるメインボディ；
   前記利用者の生体信号を測定して現在状態情報及び動作後状態情報を生成するセンサー部；
   プロセッサーの制御信号に基づき前記利用者の睡眠状態を変えるために前記メインボディの睡眠環境を調節する動作部；
   １つ以上のコアを含むプロセッサー；及び
   前記プロセッサーで実行可能なプログラムコードを保存するメモリー；
   を含み、
   前記プロセッサーは、
   前記現在状態情報に基づき前記利用者の現在睡眠適正性情報を生成し、前記動作後状態情報に基づき前記利用者の動作後睡眠適正性情報を生成する睡眠適正性情報生成モジュール、
   前記現在睡眠適正性情報に基づき動作決定アルゴリズムを利用して前記動作部の動作を制御する動作情報を決める動作情報決定モジュール、そして
   前記動作後睡眠適正性情報と基準睡眠適正性情報とを比較して前記動作に対する適正性を判断して前記動作決定アルゴリズムをアップデートする動作適正性判断モジュール、
   を含む、
   強化学習を利用した睡眠環境調節装置。
2. 請求項１において、
   前記センサー部は、
   利用者の心拍数、呼吸数、動き及び脳波のうち少なくとも１つを接触または非接触方式で測定する利用者状態測定センサー、利用者が睡眠を取る室内の温度及び前記利用者の体温のうち少なくとも１つを測定する温度センサー並びに利用者が睡眠を取る室内の湿度を測定する湿度センサーのうち少なくとも１つのセンサーを含み、
   前記センサーのうち少なくとも１つのセンサーを通じて、前記現在状態情報、室内温度情報及び室内湿度情報のうち少なくとも１つを獲得する、
   強化学習を利用した睡眠環境調節装置。
3. 請求項１において、
   前記動作部は、
   前記メインボディに備えられ、前記利用者の体温を制御するために前記メインボディに烈風及び冷風のうち少なくとも１つを供給する、
   強化学習を利用した睡眠環境調節装置。
4. 請求項１において、
   前記現在状態情報は、
   前記センサー部で測定された前記利用者の呼吸状態情報、心拍状態情報、脳波情報及び動き状態情報のうち少なくとも１つを含み、前記利用者の睡眠周期リズムの１周期の間の測定結果を含む、
   強化学習を利用した睡眠環境調節装置。
5. 請求項１において、
   前記現在睡眠適正性情報は、
   睡眠周期リズムの１周期の間に測定された前記現在状態情報に基づいて生成される、
   強化学習を利用した睡眠環境調節装置。
6. 請求項１において、
   前記動作後状態情報は、
   前記プロセッサーの制御信号によって前記動作部が動作を行う睡眠周期リズムの１周期の間の生体信号に基づいて生成される、
   強化学習を利用した睡眠環境調節装置。
7. 請求項１において、
   前記動作後睡眠適正性情報は、
   睡眠周期リズムの１周期の間に測定された前記動作後状態情報に基づいて生成される、
   強化学習を利用した睡眠環境調節装置。
8. 請求項１において、
   前記基準睡眠適正性情報は、
   睡眠周期リズムの１周期の間に利用者の睡眠効率を最大化する生体信号に基づいて生成され、前記動作後睡眠適正性情報の目標になることを特徴とする、
   強化学習を利用した睡眠環境調節装置。
9. 請求項１において、
   前記動作決定アルゴリズムは、
   人工神経網で構成され、前記現在睡眠適正性情報を入力として少なくとも１つ以上の候補動作情報それぞれに係るスコアを出力し、そして
   前記候補動作情報それぞれに係るスコアに基づき前記動作情報を決める、
   強化学習を利用した睡眠環境調節装置。
10. 請求項１において、
    前記動作適正性判断モジュールは、
    睡眠周期リズムの１周期間の動作後の睡眠適正性情報と基準睡眠適正性情報とを比較して類似度を判断して前記動作に対する適正性を判断し、
    前記類似度が高い場合、前記動作決定アルゴリズムが前記現在睡眠適正性情報に基づき前記動作情報を決める確率が上がるように前記動作決定アルゴリズムをアップデートしたり、または
    前記類似度が低い場合、前記動作決定アルゴリズムが前記現在睡眠適正性情報に基づき前記動作情報を決める確率が下がるように前記動作決定アルゴリズムをアップデートする、
    強化学習を利用した睡眠環境調節装置。
11. 強化学習を利用して睡眠環境を調節する方法において、
    利用者の生体信号を測定して現在状態情報を生成する段階；
    前記現在状態情報に基づき現在睡眠適正性情報を生成する段階；
    前記現在睡眠適正性情報に基づき動作決定アルゴリズムを利用して動作情報を決める段階；
    前記動作情報に基づきマットレスメインボディの環境調節動作を行う段階；
    前記環境調節動作を行ってから前記利用者の生体信号を測定して動作後状態情報を生成する段階；
    前記動作後状態情報に基づき動作後睡眠適正性情報を生成する段階；
    前記動作後睡眠適正性情報と基準睡眠適正性情報とを比較して前記環境調節動作に対する適正性を判断する段階；及び
    前記環境調節動作に対する適正性判断に基づき動作決定アルゴリズムをアップデートする段階；
    を含む、
    強化学習を利用して睡眠環境を調節する方法。
12. １つ以上のプロセッサーによって実行可能なコンピューターで読み取り可能な媒体に保存されたコンピュータープログラムであって、前記コンピュータープログラムは前記１つ以上のプロセッサーが以下の動作を行うようにし、前記動作は：
    生体信号を測定して現在状態情報を生成する動作；
    前記現在状態情報に基づき現在睡眠適正性情報を生成する動作；
    前記現在睡眠適正性情報に基づき動作決定アルゴリズムを利用して動作情報を決める動作；
    前記動作情報に基づきマットレスメインボディの環境調節動作を行う動作；
    前記環境調節動作を行ってから生体信号を測定して動作後状態情報を生成する動作；
    前記動作後状態情報に基づき動作後睡眠適正性情報を生成する動作；
    前記動作後睡眠適正性情報と基準睡眠適正性情報とを比較して前記環境調節動作に対する適正性を判断する動作；及び
    前記環境調節動作に対する適正性判断に基づき動作決定アルゴリズムをアップデートする動作；
    を含む、
    １つ以上のプロセッサーによって実行可能な、コンピューターで読み取り可能な媒体に保存されたコンピュータープログラム。

Images