JP2005128976A - 機器制御装置、機器制御システム及び機器制御方法 - Google Patents

Abstract

【課題】 ユーザの動作を認識することによりユーザが意図的に目的の機器を制御できるようにすると共に、ユーザの状況を認識することによりユーザにとって非意図的にその状況に適した環境を提供するために複数の機器を協調制御するようにできることを目的とする。
【解決手段】 ユーザの身体に装着した生体情報を計測する生体情報計測部１１と、前記生体情報計測部が計測した生体情報からユーザの動作を認識する動作認識部１２と、前記生体情報計測部が計測した生体情報からユーザの状況を認識する状況認識部１３と、前記動作認識部により認識された動作情報または前記状況認識部により認識された状況情報に基づいて機器を制御する機器制御部２１から構成される。
【選択図】 図１

Description

本発明は、家庭内に設置されている少なくとも一つ以上の家電機器を、ユーザの動作・状況により制御する身体装着型機器制御装置および機器制御システムに関するものである。

従来、家庭内の各家電機器はそれぞれその機器専用のリモコンで制御している。制御対象である機器が増えればその制御用のリモコンもその分だけ増え、一つの部屋に複数のリモコンが存在するため、目的の機器を制御するためには、まずその機器用のリモコンを複数のリモコンから取り出し、その上で所望の操作を行う。

一方、一つのリモコンで複数の機器を制御できるリモコンも考えられている。しかし、目的の機器を選び、その後に所望の制御のための操作を行うという手順が必要である。また、同一の操作面では、ある機器の制御には便利であるが、別のある機器の制御には不向きであるといった場合も考えられる。

さらに、冷暖房機器、空調機器など、部屋内の環境を制御する機器の場合、ユーザが自分でその環境内の状態を判断し、それに適した制御操作を行っているが、その判断は必ずしも正しいとは限らず、例えば冷暖房機器では、過度の冷房・暖房となってしまっている場合もある。それを防ぐためには、ユーザの温熱感をシステム側が理解するとともに、そのユーザの状況を的確に判断し、その状況に最も適した環境を提供することが、作業効率化、省エネなどの観点から重要である。このような制御方法として、ユーザが手動入力した行動情報に応じて複数の環境機器を制御（空調制御と照明制御）することによって快適性と省エネを図ることがなされている（例えば、特許文献１を参照。）。

また睡眠障害を持つ人が近年増加しているが、入眠を促す上でも生体情報に応じた適切な睡眠環境を制御することは重要で、より効果的に入眠を促進するためにリラクゼーションを促すと共に睡眠儀式を組み合わせることにより効果を増幅させる。ここで言う睡眠儀式とは、就寝前にとる、眠りを誘発するある決まった行動のことである。

特開２００３−４２７８（［００２４］〜［００２８］、図１）

しかしながら、従来の制御機器は、複数の機器を１つのリモコンで制御するには利便性に機種毎の偏りが出てしまう可能性があり、ユーザによる操作判断が正しいとは限らず過度の制御をしてしまう場合もある。更に、ユーザが手動入力した行動情報に基づいて複数機器を制御する方法もあるが、行動情報をユーザで入力しなければならず、場合によっては不適切な環境になりかねない。

本発明は上述の問題を考慮されてなされたものであり、ユーザの身体に装着した一つの身体装着型機器制御装置により、ユーザの動作を認識することによりユーザが意図的に目的の機器を制御できるようにすると共に、ユーザの状況を認識することによりユーザにとって非意図的にその状況に適した環境を提供するために複数の機器を協調制御するようにできることを目的とする。

上記目的を達成するために、本発明に係る機器制御装置は、ユーザの身体に装着した生体情報を計測する生体情報計測部と、前記生体情報計測部が計測した生体情報からユーザの動作を認識する動作認識部と、前記生体情報計測部が計測した生体情報からユーザの状況を認識する状況認識部と、前記動作認識部により認識された動作情報または前記状況認識部により認識された状況情報に基づいて機器を制御する機器制御部を具備したことを特徴とする。

更に、状態遷移モデル毎の認識処理を格納した状態遷移モデルデータベースと、認識処理を切り替える認識処理切替部とを具備し、前記認識処理切替部は前記状況認識部の状況情報に応じて前記状態遷移モデルデータベースから適切な状態遷移モデルを抽出して認識処理を切り替えることを特徴とする。

更に、ユーザの特定動作とそれに対応した制御対象および制御方法の対応関係を格納した制御動作データベースを具備し、前記動作認識部が前記特定動作を認識した際に、前記機器制御部が前記制御動作データベースから対応した制御対象および制御方法を抽出して機器を制御することを特徴とする。

また、ユーザが特定の動作による制御が正常に完了したかを確認する制御確認部と、前記制御確認部により制御完了が確認された場合には、制御完了をユーザに呈示する制御確認通知部とを具備することを特徴とする。

また、前記状況認識部は、ユーザが睡眠しているかどうかを判定し、前記認識処理切替部は、前記状況認識部により判定された結果に応じて認識処理を通常モードと睡眠モードのどちらかに切り替えることを特徴とする。

また、前記睡眠モードで制御している際には、前記生体情報計測部が計測する生体情報のうち動作情報については睡眠状態判定だけに使用し、機器の制御には使用しないことを特徴とする。

更に、日常生活中において前記生体情報計測部が計測した生体情報からユーザの日中の活動量を換算する活動量換算部を具備し、前記機器制御部は前記日中の活動量に応じて機器の制御を切り替えることを特徴とする。

更に、前記生体情報計測部が計測した生体情報からユーザの運動強度を換算する運動強度換算部を具備し、前記機器制御部は前記運動強度に応じて機器の制御を切り替えることを特徴とする。

また、本発明に係る機器制御システムは、ユーザの身体に装着した生体情報を計測する生体情報計測部と、前記生体情報計測部が計測した生体情報からユーザの動作を認識する動作認識部と、前記生体情報計測部が計測した生体情報からユーザの状況を認識する状況認識部と、前記動作認識部により認識された動作情報または前記状況認識部により認識された状況情報を送信する第１の通信部と、前記動作情報または状況情報を受信する第２の通信部と、前記第２の通信部で受信した前記動作情報または前記状況情報に基づいて機器を制御する機器制御部とを具備したことを特徴とする。

更に、本発明に係る機器制御方法は、ユーザの身体に装着した生体情報を計測するステップと、前記生体情報計測部が計測した生体情報からユーザの動作を認識するステップと、前記生体情報計測部が計測した生体情報からユーザの状況を認識するステップと、前記ステップより認識された動作情報または状況情報に基づいて機器を制御するステップとを具備したことを特徴とする。

また、本発明に係る機器制御方法は、ユーザの身体に装着した生体情報を計測するステップと、前記生体情報計測部が計測した生体情報からユーザの動作を認識するステップと、前記生体情報計測部が計測した生体情報からユーザの状況を認識するステップと、前記ステップにより認識された動作情報または状況情報を送信するステップと、前記動作情報または状況情報を受信するステップと、受信した前記動作情報または前記状況情報に基づいて機器を制御するステップとを具備したことを特徴とする。

また、本発明に係る機器制御システムは、ユーザの身体に装着した生体情報を計測する生体情報計測部と、前記生体情報からユーザの自律神経指標を計測する自律神経指標収集部と、前記生体情報からユーザの活動量を計測する活動量収集部と、ユーザが希望する制御モードを入力する制御目的入力部と、前記制御モードに応じて機器を制御する機器制御部とを具備し、前記機器制御部は前記自律神経指標と前記活動量に基づいて制御パラメータを変更することを特徴とする。

上記のように、本発明は、ユーザが予め定められた動作を行うことにより、簡単に複数の機器を希望通りに制御することができる。また、その動作には直感的な動作を利用することで、誰でも簡単に使用することができる。さらに、ユーザの生体情報からそのユーザの状況を認識することで、ユーザの状況に応じて自動的に適切な環境を提供できる。すなわち、意図的な制御と非意図的な制御の両方が可能である。また、ユーザの状況に応じて認識処理を切り替えることにより、誤動作を減らすことができる。特に、入眠を促進させるための環境制御を実現できる。

以下、本発明の実施の形態について図面を参照して説明する。

図１は本発明による身体装着型機器制御装置および機器制御システムのブロック図である。身体装着型機器制御装置１０は、生体情報計測部１１、動作認識部１２、状況認識部１３、認識処理切替部１４、状態遷移モデルデータベース１５、制御確認通知部１６、制御対象判別部１７、制御動作データベース１８、機器制御部２１、制御確認部２２、制御コマンドデータベース２３から構成される。機器制御システムは、前記身体装着型機器制御装置１０と複数の制御対象機器（３１、３２、３３）から構成される。

図２は、本発明の処理動作を説明するフローチャートである。以下、本発明の処理動作の詳細について、このフローチャートを参照しながら説明する。身体装着型機器制御装置１０は、ユーザの身体に装着して生体情報の計測を行うもので、腕時計型、ペンダント型、指輪型など、その形態は問わない。まず、生体情報計測部１１により、ユーザの生体情報を計測する（ステップＳ１１）。計測する生体情報は、脈波、温度、発汗、装着部位の加速度、角速度などユーザの生理状態、動作状態、位置情報などで、これらのうち少なくとも一つを計測する。

動作認識部１２及び状況認識部１３は、生体情報計測部１１により計測されたユーザの生体情報から、ユーザの動作及び状況を認識する（ステップＳ１２）。ここで、動作とは、ユーザが目的の機器を制御するために予め決められたアクションを意味し、状況とは、ユーザの生体情報からわかるユーザの状態（例えば、温熱感、ストレス度、疲労度、食事中、勉強中など）のことを意味する。

ユーザは、機器を意図的に制御したいときには、予め定められた動作を行う。例えば、天井の照明を点灯（消灯）したいときは、その照明を指差しすることで電源ＯＮ・ＯＦＦを制御できる。また、冷房中のエアコンの設定温度を下げたい場合は、手を下方向に移動させたり、顔を手のひらで仰いだりすることで制御する。制御対象判別部１７は、加速度／角度（加速度センサ）、角速度（ジャイロセンサ）、方向（方位センサ）などのセンサ情報と、座椅子・ソファ等の部屋内で予め決められた位置にいる前提としたユーザの位置情報から、指差しした機器を判別する。例えば、加速度センサのみを使用して動作認識および機器判別を行う場合の処理動作について図１６に示す。各加速度の方向を図１７に示す。まず身体装着型機器制御装置８０に搭載した加速度センサによりユーザの手首部の加速度を計測する（ステップＳ４０）。Ｘ軸方向の加速度が−１．５Ｇを超えていたら（ステップＳ４１）、予め定められた時間内に＋１．５Ｇを超える加速度が発生するかどうかにより、指差し動作かどうかを判別する（ステップＳ４２）。Ｘ軸方向加速度が−１．５Ｇを超えなかったり、―１．５Ｇを超えても、規定時間内に＋１．５Ｇを超えなかったりした場合は、指差し動作でないと判断し制御は行わない。この際の加速度変化の一例を図１８に示す。こうすることにより、指差し動作以外の動作による誤動作を減らすことができる。さらに、指差し動作と識別された後は、Ｘ軸、Ｙ軸、Ｚ軸の直流成分から手首の傾きを求め、指差ししている機器の高さ方向の情報から対象機機を判別し（ステップＳ４３）、対象機機へ制御信号を送信する（ステップＳ４４）。この制御対象判別部１７の判別結果、動作認識部１２の認識結果、及び図に示したような動作に応じた対象機器及び制御方法関係を予め格納した制御動作データベース１８により、制御方法が決定する。このように、ユーザがある程度直感的に制御できる動作コマンドを予め決めておき、その動作を加速度センサ、角速度センサなどで計測し、動作認識部１２により認識された動作が制御動作である場合、制御コマンドを生成し、対象機器を制御する（ステップＳ１３）。

ところで、誤動作防止、制御処理の効率化のため、ユーザの状態に応じて認識処理切替部１４は、状態遷移モデルデータベース１５から適切な状態遷移モデルを抽出し、認識処理を切り替える。図４は状態遷移モデルデータベースの内容の一例である。通常モードにおいては、指差し動作で対象機器のＯＮ・ＯＦＦを行い、手仰ぎでエアコンの設定温度を下げる。ここに記述されている動作コマンド以外の動作はコマンドとして認識しない。また、通常モードから遷移可能な状態遷移モデルとしては、睡眠、読書、ＴＶ、音楽鑑賞があり、これ以外の状態遷移モデルには移行しない。一方、状況認識部１３がユーザが睡眠状態であることを認識したときは、認識処理切替部１４は状態遷移モデルデータベース１５から睡眠モードのモデルを抽出し、通常モードから睡眠モードへ切り替える。こうすることにより、睡眠中の無意識の動作（寝返りなど）により、望まれない制御を実行してしまうことを防ぐ。なお、ユーザが睡眠状態に入ったかどうか（入眠したかどうか）を検出する方法としては、例えば、加速度センサにより、加速度が０．０１Ｇ以上の体動のない状態を無体動状態として検出し、無体動時間がある閾値以上であれば睡眠状態として判定する方法などがある。ただし、これ以外の方法でも良いのは言うまでもない。

また、意図的な動作による制御が発生していない場合、ユーザの生体情報に基づく非意図的な機器制御も状況認識部１３に応じて行う（ステップＳ１４）。発汗状態に応じてエアコンの制御を切り替え（例えば、温熱性発汗がある閾値以上であれば、エアコンの設定温度を下げるといった制御）、マッサージ機器では現在マッサージしている部位を気持ち良いと感じているかどうかを脈波のゆらぎ成分（高周波成分（ＨＦ）：呼吸性洞性不整脈成分：副交感神経活動、低周波成分（ＬＦ）：血圧のマイヤー波に由来する成分：交感神経活動）の比（ＬＦ／ＨＦ）などから判定し、気持ち良いと感じる場所を重点的にマッサージする。また、勉強中（判定は加速度センサによる動作認識とＬＦ／ＨＦとの組み合わせなどで行う）など、集中力が必要な場合には、頭寒足熱となるような制御（例えば、頭部の高さの室内温度が涼しくなるようにエアコンの風向・風量・設定温度を制御し、ホットカーペットなどで足元を暖めるといった制御）を行う。更に、勉強中という状況が状況認識部１３で認識されているにも関わらず、ユーザが眠くなっているようであれば、座椅子、ソファ等の予め決められた位置にいるユーザに直接冷たい風を当てるエアコンの制御をしたり、コンポで大きな音を鳴らしたりするなどして、ユーザの覚醒を促す。

上述した意図的制御、非意図的制御のいずれにおいても、動作認識部１２または状況認識部１３が制御コマンドを生成し（ステップＳ１５）、機器制御部２１は、この制御コマンドをキーにして、制御コマンドデータベース２３から各機器の制御方法を取得し（ステップＳ１６）、各機器を制御する（ステップ１７）。図５は制御コマンドデータベースの内容の一例である。例えば、入眠促進コマンドを受信すると、エアコンをおやすみモードにし、照明をレベル３に変更、ＢＧＭとして入眠作用の高い音楽Ｎｏ．１を流す。これらの制御内容は、後述するが、毎回学習を行い、日々更新されていく。尚、機器制御部２１と各機器との間は有線であっても無線であっても構わない。

制御確認部２２は、機器制御部２１により制御されるべき各機器が実際に目的の制御が実行されたかどうかを確認し（ステップＳ１８）、確認ができれば身体装着型機器制御装置１０の制御確認通知部１６からユーザへその旨を通知する（ステップ１９）。その手段は、音、振動、ＬＥＤの点滅などである。

また、図６は本発明による身体装着型機器制御装置および機器制御システムのブロック図である。この身体装着型機器制御装置１０は、生体情報計測部１１、動作認識部１２、状況認識部１３、認識処理切替部１４、状態遷移モデルデータベース１５、制御確認通知部１６、制御対象判別部１７、制御動作データベース１８、及び第１の通信部から構成される。サーバ２０は機器制御部２１、制御確認部２２、制御コマンドデータベース２３及び第２の通信部から構成される。ここで、機器制御システムは、前記身体装着型機器制御装置１０、サーバ２０及び複数の制御対象機器（３１、３２、３３）から構成される。

図１の本発明の構成と異なる点は、意図的制御、非意図的制御のいずれにおいても、動作認識部１２または状況認識部１３が制御コマンドを生成し、身体装着型機器制御装置１０の第１の通信部１９からサーバ２０の第２の通信部２４へ送信する点である。尚、図７は、ユーザの動作認識、または状況認識を身体装着型機器制御装置１０では行わず、サーバ２０側で行う場合のブロック図である。生体情報計測部１１で計測した生体情報を第１の通信部１９から第２の通信部２４へ送信し、この生体情報に基づいて動作認識または状況認識される。また、制御確認部２２が確認した各機器制御完了通知を第２の通信部２４から第１の通信部１９へ送信し、制御確認通知部１６でユーザに通知される。第１の通信部１９と第２の通信部との通信は、Ｂｌｕｅｔｏｏｔｈ（ＴＭ）などの無線通信を利用する。

従って、上記構成により、直感的な動作を利用することで、誰でも簡単に使用することができ、かつユーザの生体情報からそのユーザの状況を認識することで、ユーザの状況に応じて自動的に適切な環境を提供できる。すなわち、意図的な制御と非意図的な制御の両方が可能となる。

図８は本発明の他の実施形態に係る身体装着型機器制御装置５０および機器制御システムのブロック図である。身体装着型機器制御装置５０は、光電脈波センサ５１ａ、体動センサ５１ｂ、皮膚温度センサ５１ｃ、環境温度センサ５１ｄ、環境湿度センサ５１ｅ、照度センサ５１ｆ、自律神経指標収集手段５２、活動量収集手段５３、環境情報収集手段５４、日中・睡眠中データ保存手段５５から構成される。また、ホームサーバ６０は、入眠潜時検出手段６１、睡眠状態検出手段６２、睡眠評価指数判定手段６３、睡眠儀式学習手段６４、制御手順決定手段６５、環境機器制御手段６６、操作履歴記録手段６７さら構成され、環境機器７０は照明７１、エアコン７２、マッサージチェア７３、テレビ７４、コンポ７５などから構成される。つまり、身体装着型機器制御装置５０、ホームサーバ６０、及び環境機器から機器制御システムが構成される。尚、図９はホームサーバ６０の処理内容も身体装着型機器制御装置５０に含んだ場合の例である。この場合も各手段間の処理動作内容は同様である。

図１０は、図８及び図９の実施の形態における処理動作を説明するフローチャートである。以下、本実施形態の処理動作の詳細について、フローチャートを参照しながら説明する。

まず、身体装着型機器制御装置５０に搭載している光電脈波センサ５１ａ、体動センサ５１ｂ、皮膚温度センサ５１ｃ、環境温度センサ５１ｄ、環境湿度センサ５１ｅ、照度センサ５１ｆから計測したデータにより、自律神経指標収集手段５２は脈波、体動、皮膚温度からユーザの自律神経指標を計測し、活動量収集手段５３は脈波（脈拍）、体動からユーザの活動量を計測し、環境情報収集手段５４は環境温度、環境湿度、照度などの環境情報を計測することで、ユーザの日中データを総合的に取得し（ステップＳ２１）、日中・睡眠中データ保存手段に保存する。

一方、身体装着型機器制御装置５０に搭載している各センサで入眠前の生体情報を計測し（ステップＳ２５）、入眠検出（ステップＳ２６：検出方法は実施例１と同様）、睡眠状態検出（ステップＳ２７）を行い、快適に入眠および睡眠が実施できた場合、睡眠儀式学習手段６４は、生体情報から入眠に効果的とされる睡眠儀式を学習し、また操作履歴記録手段６７は、自発的に操作した家電機器とその制御内容を学習する（ステップＳ２８）。尚、睡眠状態検出は、睡眠中において加速度センサによる加速度が０．０１Ｇ以上の体動が単位時間当たり閾値以下である状態を深睡眠状態、それ以上である状態を浅睡眠状態とする方法などにより検出できる。学習の際の学習データ、教師データの例を図１１に示す。

制御手順決定手段６５は、日中・睡眠中データ保存手段５５が記録した日中データをもとに、入眠前に環境機器を制御しユーザが入眠しやすい環境を提供する（ステップＳ２２）。制御例としては、日中暑い中外出が多く活動量が多い場合、帰宅後は冷房を強めにして爽快感を与えリラックスさせる。その後は睡眠儀式学習手段６４あるいは操作履歴記録手段６７が学習した内容をもとに制御を実行する。例えば、マッサージをやや強めで実行したり、徐々に照明を落とすと共に以前入眠に効果的であったジャズピアノを流したり、同時にエアコンとマッサージチェア内蔵ヒータで頭寒足熱の促進を図ったり、最後はＴＶをつけっぱなしにして入眠後に切ったりするなど、ユーザの過去のデータをもとに制御を行う。

このような制御を実行することで、ユーザが快適に入眠、睡眠できる環境を日々学習しながら提供することができる。

図１２は本発明の他の実施形態に係る身体装着型機器制御装置および機器制御システムのブロック図である。身体装着型機器制御装置５０は、光電脈波センサ５１ａ、加速度センサ５１ｇ、皮膚温度センサ５１ｃ、環境温度センサ５１ｄ、環境湿度センサ５１ｅ、照度センサ５１ｆ、マイクロフォン５１ｈ、自律神経指標収集手段５２、活動量収集手段５３、環境情報収集手段５４、データ保存手段５６、通信手段５７から構成される。

また、ホームサーバ６０は、入眠潜時検出手段６１、睡眠状態検出手段６２、睡眠評価指数判定手段６３、睡眠儀式学習手段６４、最適感覚受容パターン選択手段６８１、環境機器制御手順決定手段６８２、感覚受容パターン計測手段６８３から構成され、各家電機器７０を制御する。尚、図１３はホームサーバ６０の処理内容も身体装着型機器制御装置５０に含んだ場合の例である。この場合も各手段間の処理動作内容は同様である。

図１４は、この実施形態における処理動作を説明するフローチャートである。以下、本実施形態の処理動作の詳細について、フローチャートを参照しながら説明する。

まず、身体装着型機器制御装置５０に搭載している光電脈波センサ５１ａ、加速度センサ５１ｇ、皮膚温度センサ５１ｃ、環境温度センサ５１ｄ、環境湿度センサ５１ｅ、照度センサ５１ｆ、マイクロフォン５１ｈから計測したデータから、自律神経指標収集手段５２は脈波、体動、皮膚温度からユーザの自律神経指標を計測し、活動量収集手段５３は脈波（脈拍）、体動からユーザの活動量を計測し、環境情報収集手段５４は環境温度、環境湿度、照度などの環境情報を計測することで、ユーザの日中データを総合的に取得し、データ保存手段５７に保存し、所望のタイミングで通信手段５７からホームサーバ６０へデータを送信する（ステップＳ３１）。

一方、身体装着型機器制御装置５０に搭載している各センサで入眠前の生体情報を計測し（ステップＳ３４）、入眠検出（ステップＳ３５）、睡眠状態検出（ステップＳ３６）を行うことと平行して、活動量収集手段５３が計測した日中の状況と、感覚受容パターン計測手段６８３が計測した入眠促進中に受けたユーザの感覚と、結果として得られる睡眠評価指数判定手段６３が判定した睡眠の状態をもとに、睡眠儀式学習手段６４は良い睡眠を得られる感覚受容パターンを学習する（ステップＳ３７）。学習の際の学習データ、教師データの例を図１５に示す。入眠促進中はその感覚受容パターンを実現する環境機器制御を行う。

このような制御を実行することで、ユーザが快適に入眠、睡眠できる環境を日々学習しながら提供することができる。

ここまでは、ユーザが意図的にコマンド動作を行うことで所望の制御を実現する意図的制御、システムがユーザの状況を認識してその状況に適した制御を実現する非意図的制御について説明してきたが、次に、ユーザが自らの希望を大まかにシステムに入力し、それに応じて制御方法を切替え、目的の制御を実現する例について説明する。

図１９は本発明の他の実施形態に係る身体装着型機器制御装置および機器制御システムのブロック図である。身体装着型機器制御装置８０は、光電脈波センサ８１、体動センサ８２、皮膚温度センサ８３などの生体センサ、自律神経指標収集手段８４、活動量収集手段８５、データ保存手段８６、通信手段８７、制御目的入力手段８８から構成される。これ以外に、実施例２、実施例３と同様に環境センサを使用してもよい。また、サーバ９０は、機器制御手段９１、制御コマンドデータベース９２、睡眠状態検出手段９３から構成され、各環境機器１００を制御する。

図２０は制御目的入力手段９４がサーバ９０にある場合のブロック図の例を示したもので、図２１は制御目的入力手段１１１が通信手段１１２とあわせて制御目的入力装置１１０として独立している場合のブロック図の例を示す。本実施形態におけるシステム構成はこれらのいずれであっても構わない。また、制御目的入力装置１１０の外観の例を図２２に示す。

図２３は、この実施形態における処理動作を説明するフローチャートである。以下、本実施形態の処理動作の詳細について、フローチャートを参照しながら説明する。

まず、ユーザは自分が希望する制御モードを制御目的入力手段１１１を介して入力する（ステップＳ５０）。図２２の例によれば、それらには「ＡＣＴＩＶＥ」（１１１１）、「ＲＥＬＡＸ」（１１１２）、「ＣＯＯＬ」（１１１３）、「ＷＡＲＭ」（１１１４）、「ＳＬＥＥＰ」（１１１５）の５種類があり、選択された制御目的に応じて制御モードを切り替える（ステップＳ５１）。これらの具体的制御内容は例えば図２４の通りである。「ＡＣＴＩＶＥ」の場合は、照明の色温度を５０００Ｋ程度（昼光色と電球色の照明で実現）にし、エアコンの風量を強くし、マッサージチェアに座ってマッサージをしている際には活性化を促すモード（強い刺激）でマッサージを行うなど、ユーザの交感神経活性化および覚醒を目的とした場合に選択するモードである。「ＲＥＬＡＸ」の場合は、照明の色温度を３０００Ｋ程度（電球色の照明で実現）にし、エアコンの風量を弱くし、マッサージチェアに座ってマッサージをしている際にはリラックスを促すモード（弱い刺激）でマッサージを行うなど、ユーザの副交感神経活性化および入眠促進を目的とした場合に選択するモードである。「ＣＯＯＬ」の場合はより冷房効果を高めたい場合に選択すべきモードで、設定温度を下げるだけでなく、青系の照明（青色ＬＥＤ照明と昼光色の照明など）を強くして視覚的に冷感のある環境にすることにより、実際の温度よりも涼しい感覚を得られる。一方、「ＷＡＲＭ」の場合はより暖房効果を高めたい場合に選択するモードで、設定温度を上げるだけでなく、赤系の照明（赤色ＬＥＤ照明と電球色の照明など）を強くして視覚的に暖かみのある環境にすることにより、実際の温度よりも暖かい感覚を得られる。このように、照明により実際の温度よりも涼しい／暖かい感覚をユーザに与えることにより冷暖房コストの削減も期待できる。「ＳＬＥＥＰ」の場合は、「ＲＥＬＡＸ」で眠気が増し、マッサージチェアからベッドへ移動した場合に選択するモードで、快適な睡眠環境を得ることを目的としたモードである。

身体装着型機器制御装置８０に搭載している光電脈波センサ８１、体動センサ８２、皮膚温度センサ８３などの生体センサで計測したデータから、自律神経指標収集手段８４は脈波、体動、皮膚温度の中の複数あるいはいずれか一つのデータからユーザの自律神経指標を計測し、活動量収集手段８５は脈波（脈拍）、体動の両方あるいはいずれか一つのデータからユーザの活動量を計測する（ステップＳ５２）。尚、実施例２、実施例３と同様に必要に応じて環境温度センサ、環境湿度センサ、照度センサ、マイクロフォンなどの環境センサで計測したデータをあわせて用いても良い。これらのデータはデータ保存手段８６に保存し、所望のタイミングで通信手段からサーバ９０へデータを送信する（ステップＳ５３）。

機器制御手段９１では、受信したデータをもとにユーザの自律神経系状態および活動量を認識し、各環境機器の制御パラメータの変更の必要があるか判断する（ステップＳ５４）。

例えば、「ＡＣＴＩＶＥ」、「ＲＥＬＡＸ」においては所望の状態へユーザの状態がなかなか移行しない場合、照明の色温度、エアコン風量、マッサージ強度などのパラメータ変化を更に大きくして、ユーザの状態の変化を促す。一方、これらのモードにおいて、例えば交感神経と青系照明、副交感神経と赤系照明など、ユーザの自律神経系指標を視覚的にわかりやすい色などと対応させることにより、ユーザのバイオフィードバック訓練に利用することも可能である。

「ＳＬＥＥＰ」においては、例えば図２５のように時間経過と共に徐々に設定温度を上昇させていく一般的な快眠モードの制御方式に切り替わるが、睡眠状態検出手段９３は自律神経系指標の変化から図２６のように、交感神経優位の場合はＲＥＭ（レム）睡眠、副交感神経優位の場合はＮＲＥＭ（ノンレム）睡眠と推定し、図２７のようにＲＥＭ睡眠の時には温度設定を高めに、ＮＲＥＭ睡眠の時は温度設定を低めに設定するなどして、快適な睡眠を促す。（ステップＳ５５）

ユーザの意思をセンシングすることは難しいが、このようにしてユーザが自ら所望の制御モードを入力することで、正しい制御モードに切り替えるとともに、それぞれの制御モードにおいてユーザの自律神経指標などに応じて適切なパラメータ変更を施すことによって、より快適な環境を提供することができる。

尚、ここではボタンなどの手入力による制御目的入力を行うとしたが、実施例１のような、あらかじめそれぞれに対応する動作コマンドを決めておき、その動作を行うことで制御モードを切り替えても良い。

更に、「ＳＬＥＥＰ」には目覚まし機能も追加できる。一般的にＲＥＭ睡眠の後半で目覚めると心地よく起きられ、ＮＲＥＭ睡眠中に目覚めると非常に不快であるとされている。図２８は目覚まし機能の処理動作を説明するフローチャートである。以下、本実施形態における目覚まし機能の処理動作の詳細について、フローチャートを参照しながら説明する。

まず、ユーザが制御目的入力手段にて「ＳＬＥＥＰ」を指定した後に、翌朝起床したい時刻を入力する（ステップＳ６０）。入力は身体装着型機器制御装置８０、サーバ９０、制御目的入力装置１１０のいずれかに起床時刻入力手段を設け、それを用いて入力を行う。

次に、優先度の入力を行う。これは、ＲＥＭ睡眠の後半で起こすわけであるが、適切なタイミングが設定時刻よりも大幅に前で、次のタイミングが少し後である場合に、大幅に前でも設定時刻よりも前で快適に起きられるタイミングで起こしてほしいのか、少し後でも良いから睡眠時間をしっかり確保したいのか、ぎりぎりに起こしてもらえば良いのかなど、優先度（ユーザの希望）を入力する（ステップＳ６１）。

その後、身体装着型機器制御装置８０に搭載している光電脈波センサ８１、体動センサ８２、皮膚温度センサ８３などの生体センサで計測したデータから、自律神経指標収集手段８４は脈波、体動、皮膚温度の中の複数あるいはいずれか一つのデータからユーザの自律神経指標を計測し、活動量収集手段８５は脈波（脈拍）、体動の両方あるいはいずれか一つのデータからユーザの活動量を計測する（ステップＳ６２）。計測したデータはデータ保存手段８６に保存し、所望のタイミングで通信手段からサーバ９０へデータを送信する（ステップＳ６３）。

睡眠状態検出手段９３は、受信したデータの自律神経系バランスから図２６のようにＲＥＭ睡眠／ＮＲＥＭ睡眠を識別し（ステップＳ６４）、その状態と設定時刻との関係から、目覚ましのタイミングを調整する。基本的には設定時刻前最後のＲＥＭ睡眠後半で目覚まし機能を動作させるが、優先度により動作させるタイミングの変更を行う（ステップＳ６５）。

目覚ましは、身体装着型機器制御装置８０、サーバ９０、制御目的入力装置１１０のいずれかに目覚まし機能を設け、その目覚まし機能を動作させユーザを起床させる。アラームが一般的であるが、身体装着型機器制御装置８０の場合は装着型であるため、バイブレータでの目覚ましでも可能で、この場合、他のユーザに迷惑をかけることなく、自分だけ目覚まし機能を利用することができる（ステップＳ６６）。

目覚まし後は、「ＡＣＴＩＶＥ」に切り替えて覚醒を促す（ステップＳ６７）。
ここで、起床時刻設定後、一般的に９０分サイクルと言われる睡眠リズムおよびユーザの過去の睡眠データなどから、希望時刻に快適に目覚めるためにタイミングの良い入眠時刻を逆算し、その時刻に入眠できるように「ＲＥＬＡＸ」に切り替えることで、より良いタイミングの起床を実現することもできる。

このような制御を実行することで、ユーザ側で煩わしい設定をすることなく、簡単に環境機器を制御して快適な環境を提供できる。また、ユーザにとって心地よく目覚めさせる目覚まし機能を提供することができる。

本発明に係る機器制御システムの構成例を示すブロック図。 本発明の機器制御システムの処理動作を示すためのフローチャート。 制御動作データベースの一例を示す図。 状態遷移モデルデータベースの一例を示す図。 制御コマンドデータベースの一例を示す図。 本発明に係る機器制御システムの構成例を示すブロック図。 本発明に係る機器制御システムの構成例を示すブロック図。 本発明の他の実施例に係る機器制御システムの構成例を示すブロック図。 本発明の他の実施例に係る機器制御システムの構成例を示すブロック図。 本発明の他の実施例に係る機器制御システムの処理動作を示すためのフローチャート。 本発明の他の実施例に係る機器制御システムにおける学習データと教師データ。 本発明の他の実施例に係る機器制御システムの構成例を示すブロック図。 本発明の他の実施例に係る機器制御システムの構成例を示すブロック図。 本発明の他の実施例に係る機器制御システムの処理動作を示すためのフローチャート。 本発明の他の実施例に係る機器制御システムにおける学習データと教師データ。 機器制御システムの指差し制御機能に関する処理動作を示すためのフローチャート。 身体装着型機器制御装置に搭載した加速度センサの軸方向の一例を示す図。 身体装着型機器制御装置に搭載した加速度センサによる指差し動作の計測結果の一例を示す図。 本発明の他の実施例に係る機器制御システムの構成例を示すブロック図。 本発明の他の実施例に係る機器制御システムの構成例を示すブロック図。 本発明の他の実施例に係る機器制御システムの構成例を示すブロック図。 本発明の他の実施例に係る制御目的入力装置の一例を示す図。 本発明の他の実施例に係る機器制御システムの処理動作を示すためのフローチャート。 制御モードと各機器の制御内容の一例を示す図。 エアコンの一般的な快眠運転の制御内容の一例を示す図。 自律神経系指標から睡眠状態を識別する方法の一例を示す図。 エアコンの一般的な快眠運転に睡眠状態による温度設定変更を行った制御内容の一例を示す図。 機器制御システムの目覚まし機能に関する処理動作を示すためのフローチャート。

符号の説明

１０ 身体装着型機器制御装置
１１ 生体情報計測部
１２ 動作認識部
１３ 状況認識部
１４ 認識処理切替部
１５ 状態遷移モデルデータベース
１６ 制御確認通知部
１７ 制御対象判別部
１８ 制御動作データベース
１９ 第１の通信部
２０ サーバ
２１ 機器制御部
２２ 制御確認部
２３ 制御コマンドデータベース
２４ 第２の通信部
３１ 制御対象機器１
３２ 制御対象機器２
３３ 制御対象機器３
５０ 身体装着型機器制御装置
５１ａ 光電脈波センサ
５１ｂ 体動センサ
５１ｃ 皮膚温度センサ
５１ｄ 環境温度センサ
５１ｅ 環境湿度センサ
５１ｆ 照度センサ
５１ｇ 加速度センサ
５１ｈ マイクロフォン
５２ 自律神経指標収集手段
５３ 活動量収集手段
５４ 環境情報収集手段
５５ 日中・睡眠中データ保存手段
５６ データ保存手段
５７ 通信手段
６０ ホームサーバ
６１ 入眠潜時検出手段
６２ 睡眠状態検出手段
６３ 睡眠評価指数判定手段
６４ 睡眠儀式学習手段
６５ 制御手段決定手段
６６ 環境機器制御手段
６７ 操作履歴記録手段
６８１ 最適感覚受容パターン選択手段
６８２ 環境機器制御手順決定手段
６８３ 感覚受容パターン計測手段
７０ 環境機器
７１ 照明
７２ エアコン
７３ マッサージチェア
７４ テレビ
７５ コンポ
８０ 身体装着型機器制御装置
８１ 光電脈波センサ
８２ 体動センサ
８３ 皮膚温度センサ
８４ 自律神経指標収集手段
８５ 活動量収集手段
８６ データ保存手段
８７ 通信手段
８８ 制御目的入力手段
９０ サーバ
９１ 機器制御手段
９２ 制御コマンドデータベース
９３ 睡眠状態検出手段
９４ 制御目的入力手段
１００ 環境危機
１０１ 照明
１０２ エアコン
１０３ マッサージチェア
１０４ テレビ
１０５ コンポ
１１０ 制御目的入力装置
１１１ 制御目的入力手段
１１２ 通信手段
１２０ 制御目的入力装置

Claims (14)

1. ユーザの身体に装着した生体情報を計測する生体情報計測部と、前記生体情報計測部が計測した生体情報からユーザの動作を認識する動作認識部と、前記生体情報計測部が計測した生体情報からユーザの状況を認識する状況認識部と、前記動作認識部により認識された動作情報または前記状況認識部により認識された状況情報に基づいて機器を制御する機器制御部を具備したことを特徴とする機器制御装置。
2. 更に、状態遷移モデル毎の認識処理を格納した状態遷移モデルデータベースと、認識処理を切り替える認識処理切替部とを具備し、前記認識処理切替部は前記状況認識部の状況情報に応じて前記状態遷移モデルデータベースから適切な状態遷移モデルを抽出して認識処理を切り替えることを特徴とする請求項１記載の機器制御装置。
3. 更に、ユーザの特定動作とそれに対応した制御対象および制御方法の対応関係を格納した制御動作データベースを具備し、前記動作認識部が前記特定動作を認識した際に、前記機器制御部が前記制御動作データベースから対応した制御対象および制御方法を抽出して機器を制御することを特徴とする請求項１または請求項２記載の機器制御装置。
4. ユーザが特定の動作による制御が正常に完了したかを確認する制御確認部と、前記制御確認部により制御完了が確認された場合には、制御完了をユーザに呈示する制御確認通知部とを具備することを特徴とする請求項１乃至請求項４に記載の機器制御装置。
5. 前記状況認識部は、ユーザが睡眠しているかどうかを判定し、前記認識処理切替部は、前記状況認識部により判定された結果に応じて認識処理を通常モードと睡眠モードのどちらかに切り替えることを特徴とした請求項２記載の機器制御装置。
6. 前記睡眠モードで制御している際には、前記生体情報計測部が計測する生体情報のうち動作情報については睡眠状態判定だけに使用し、機器の制御には使用しないことを特徴とする請求項５記載の機器制御装置。
7. 更に、日常生活中において前記生体情報計測部が計測した生体情報からユーザの日中の活動量を換算する活動量換算部を具備し、前記機器制御部は前記日中の活動量に応じて機器の制御を切り替えることを特徴とする請求項１に記載の機器制御装置。
8. 更に、前記生体情報計測部が計測した生体情報からユーザの運動強度を換算する運動強度換算部を具備し、前記機器制御部は前記運動強度に応じて機器の制御を切り替えることを特徴とする請求項１から請求項９に記載の機器制御装置。
9. ユーザの身体に装着した生体情報を計測する生体情報計測部と、前記生体情報計測部が計測した生体情報からユーザの動作を認識する動作認識部と、前記生体情報計測部が計測した生体情報からユーザの状況を認識する状況認識部と、前記動作認識部により認識された動作情報または前記状況認識部により認識された状況情報を送信する第１の通信部と、前記動作情報または状況情報を受信する第２の通信部と、前記第２の通信部で受信した前記動作情報または前記状況情報に基づいて機器を制御する機器制御部とを具備したことを特徴とする機器制御システム。
10. ユーザの身体に装着した生体情報を計測するステップと、前記生体情報計測部が計測した生体情報からユーザの動作を認識するステップと、前記生体情報計測部が計測した生体情報からユーザの状況を認識するステップと、前記ステップより認識された動作情報または状況情報に基づいて機器を制御するステップとを具備したことを特徴とする機器制御方法。
11. ユーザの身体に装着した生体情報を計測するステップと、前記生体情報計測部が計測した生体情報からユーザの動作を認識するステップと、前記生体情報計測部が計測した生体情報からユーザの状況を認識するステップと、前記ステップにより認識された動作情報または状況情報を送信するステップと、前記動作情報または状況情報を受信するステップと、受信した前記動作情報または前記状況情報に基づいて機器を制御するステップとを具備したことを特徴とする機器制御方法。
12. ユーザの身体に装着した生体情報を計測する生体情報計測部と、前記生体情報からユーザの自律神経指標を計測する自律神経指標収集部と、前記生体情報からユーザの活動量を計測する活動量収集部と、ユーザが希望する制御モードを入力する制御目的入力部と、前記制御モードに応じて機器を制御する機器制御部とを具備し、前記機器制御部は前記自律神経指標と前記活動量に基づいて制御パラメータを変更することを特徴とする機器制御システム。
13. 前記自律神経指標から睡眠状態を検出する睡眠状態検出部と、前記睡眠状態に基づいて機器を制御する制御パラメータを変更することを特徴とする請求項１２記載の機器制御システム。
14. ユーザの起床時間を入力する起床時間入力部と、前記起床時間と前記睡眠状態とに基づいて目覚ましタイミングを調整し、前記機器制御部は該目覚ましタイミングに応じた制御パラメータに変更することを特徴とする機器制御システム。

Images