JP2019082282A - 眠気推定装置 - Google Patents

眠気推定装置 Download PDF

Info

Publication number
JP2019082282A
JP2019082282A JP2017209733A JP2017209733A JP2019082282A JP 2019082282 A JP2019082282 A JP 2019082282A JP 2017209733 A JP2017209733 A JP 2017209733A JP 2017209733 A JP2017209733 A JP 2017209733A JP 2019082282 A JP2019082282 A JP 2019082282A
Authority
JP
Japan
Prior art keywords
user
sleepiness
state
estimation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017209733A
Other languages
English (en)
Other versions
JP6387173B1 (ja
Inventor
慧太 北川
Keita KITAGAWA
慧太 北川
拓也 上総
Takuya Kamifusa
拓也 上総
陽一 半田
Yoichi Handa
陽一 半田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Original Assignee
Daikin Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd filed Critical Daikin Industries Ltd
Priority to JP2017209733A priority Critical patent/JP6387173B1/ja
Priority to PCT/JP2018/031081 priority patent/WO2019087536A1/ja
Priority to EP18873058.4A priority patent/EP3683513B1/en
Priority to CN201880068347.6A priority patent/CN111448429A/zh
Priority to US16/755,242 priority patent/US11598548B2/en
Application granted granted Critical
Publication of JP6387173B1 publication Critical patent/JP6387173B1/ja
Publication of JP2019082282A publication Critical patent/JP2019082282A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/74—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity
    • F24F11/76—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity by means responsive to temperature, e.g. bimetal springs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/30—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4812—Detecting sleep stages or cycles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4821—Determining level or depth of anaesthesia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F1/00—Room units for air-conditioning, e.g. separate or self-contained units or units receiving primary air from a central station
    • F24F1/0007—Indoor units, e.g. fan coil units
    • F24F1/0043—Indoor units, e.g. fan coil units characterised by mounting arrangements
    • F24F1/0047—Indoor units, e.g. fan coil units characterised by mounting arrangements mounted in the ceiling or at the ceiling
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F24F11/64—Electronic processing using pre-stored data
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/74—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity
    • F24F11/77—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity by controlling the speed of ventilators
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/79—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling the direction of the supplied air
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/80—Control systems characterised by their outputs; Constructional details thereof for controlling the temperature of the supplied air
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00—Control inputs relating to users or occupants
    • F24F2120/10—Occupancy
    • F24F2120/14—Activity of occupants
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00—Control inputs relating to users or occupants
    • F24F2120/20—Feedback from users
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B30/00—Energy efficient heating, ventilation or air conditioning [HVAC]
    • Y02B30/70—Efficient control or regulation technologies, e.g. for control of refrigerant flow, motor or heating

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Anesthesiology (AREA)
  • Fluid Mechanics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Thermal Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Air Conditioning Control Device (AREA)
  • Air-Conditioning For Vehicles (AREA)
  • Selective Calling Equipment (AREA)

Abstract

【課題】ユーザの眠気状態を精度良く把握する。【解決手段】カメラ（26）は、ユーザ（U1,U2,U3）を撮像する。室内環境情報センサ（13）は、ユーザ（U1,U2,U3）が居る室内（r1）の環境に関する室内環境情報を検知する。推定部（66）は、カメラ（26）が撮像したユーザ（U1,U2,U3）の画像と室内環境情報センサ（13）が検知した室内環境情報とに基づいて、ユーザ（U1,U2,U3）の眠気状態を推定する。【選択図】図４

Description

本発明は、眠気推定装置に関するものである。
特許文献１に示すように、運転者の疲れ状態をカメラ及びハンドルの動きから検出する技術が知られている。
特開２００５−１０４２３７号公報
運転者等のユーザの眠気の要因には、ユーザの疲れのみならず他の要因も作用することがある。特許文献１の技術では、ユーザがどの程度の眠気を感じているかを把握することは困難である。
本発明の目的は、ユーザの眠気状態を精度良く把握することである。
本開示の第１の態様は、ユーザ（U1,U2,U3）を撮像する撮像部（26）と、上記ユーザ（U1,U2,U3）が居る室内（r1）の環境に関する室内環境情報を検知する検知部（13）と、上記撮像部（26）が撮像した上記ユーザ（U1,U2,U3）の画像と上記検知部（13）が検知した上記室内環境情報とに基づいて、上記ユーザ（U1,U2,U3）の眠気状態を推定する推定部（66）と、を備えることを特徴とする眠気推定装置である。
室内環境情報としては、室内のCO2濃度、温度等が挙げられる。このような室内環境情報は、ユーザの眠気状態に影響を及ぼす要因となり得る。ここでは、ユーザが撮像されると、その画像と上記室内環境情報とに基づいてユーザの眠気情報が推定される。これにより、ユーザの眠気を、精度良く把握することができる。
第２の態様は、第１の態様において、上記画像には、上記ユーザ（U1,U2,U3）の眠気状態を表す上記ユーザ（U1,U2,U3）の動作、及び／または、上記ユーザ（U1,U2,U3）の眠気状態を表す上記ユーザ（U1,U2,U3）の状態が写し出されており、上記推定部（66）は、上記画像から上記ユーザ（U1,U2,U3）の動作及び／または上記ユーザ（U1,U2,U3）の状態を抽出して上記ユーザ（U1,U2,U3）の眠気状態を推定することを特徴とする眠気推定装置である。
これにより、ユーザがどの程度眠いのかの眠気状態が、より精度良く推定される。
第３の態様は、第１の態様または第２の態様において、上記推定部（66）は、上記画像から上記ユーザ（U1,U2,U3）の性別及び／または年齢を算出し、算出した上記ユーザ（U1,U2,U3）の性別及び／または年齢に更に基づいて上記ユーザ（U1,U2,U3）の上記眠気状態を推定することを特徴とする眠気推定装置である。
これにより、ユーザの眠気状態の推定精度はより向上する。
第４の態様は、第１の態様から第３の態様のいずれか１つにおいて、上記室内（r1）に居る上記ユーザ（U1,U2,U3）の表面温度を測定する表面温度測定部（128）、を更に備え、上記推定部（66）は、更に上記表面温度測定部（128）の測定結果に基づいて、上記ユーザ（U1,U2,U3）の上記眠気状態を推定することを特徴とする眠気推定装置である。
これにより、ユーザの眠気状態の推定精度はより向上する。
第５の態様は、第１の態様から第４の態様のいずれか１つにおいて、空気調和装置（10）が、上記室内（r1）の天井に設置されており、上記撮像部（26）は、上記空気調和装置（10）に設けられていることを特徴とする眠気推定装置である。
これにより、撮像部（26）は、障害物により遮られる可能性が低い状態で、室内に居るユーザを撮像することができる。
第６の態様は、第１の態様から第５の態様のいずれか１つにおいて、上記室内（r1）に複数の上記ユーザ（U1,U2,U3）が存在する場合、上記推定部（66）は、複数の上記ユーザ（U1,U2,U3）それぞれの上記眠気状態を推定することを特徴とする眠気推定装置である。
第７の態様は、第６の態様において、複数の上記ユーザ（U1,U2,U3）それぞれについての、上記ユーザ（U1,U2,U3）の動作及び／または上記ユーザ（U1,U2,U3）の状態と、該動作及び／または該状態時の上記ユーザ（U1,U2,U3）の上記眠気状態とが対応づけられたユーザ情報（63）、を記憶する記憶部（62）、を更に備え、上記推定部（66）は、各上記ユーザ（U1,U2,U3）の動作及び／または各上記ユーザ（U1,U2,U3）の状態を上記画像から抽出し、抽出結果と上記ユーザ情報（63）とを用いて、複数の上記ユーザ（U1,U2,U3）それぞれの上記眠気状態を推定することを特徴とする眠気推定装置である。
これにより、個々のユーザの眠気状態の推定精度はより向上する。
第８の態様は、第１の態様から第７の態様のいずれか１つにおいて、上記推定部（66）の推定結果に基づいて、上記ユーザ（U1,U2,U3）の上記眠気状態のレベルが低下するように、上記室内（r1）を空調対象とする空気調和装置（10）の空調動作を制御する制御部（14）、を更に備えることを特徴とする眠気推定装置である。
これにより、室内に居るユーザの眠気状態は改善されるため、ユーザは覚醒し易くなる。
第９の態様は、第８の態様において、上記ユーザ（U1,U2,U3）の上記眠気状態を表す眠気情報の該ユーザ（U1,U2,U3）による入力を受け付けることが可能な受け付け部（30）と、上記撮像部（26）が撮像した上記画像及び／または上記受け付け部（30）が受け付けた上記眠気情報に基づいて、上記眠気状態の推定に用いる推定モデル（67）を学習させるモデル更新部（68）と、を更に備えることを特徴とする眠気推定装置である。
これにより、学習後の推定モデルを用いてユーザの眠気状態の推定動作が行われることにより、ユーザの眠気状態の推定精度はより向上する。
本発明によれば、ユーザの眠気を、精度良く把握することができる。
図１は、眠気推定装置を備えた空調システムの外観図である。 図２は、眠気推定装置を備えた空調システムの構成を模式的に示すブロック図である。 図３は、ユーザ情報の概念図である。 図４は、第１実施形態に係る眠気状態推定時の推定モデルの入力及び出力を表す概念図である。 図５は、年齢と眠気との関係、性別と眠気との関係の一例を示す図である。 図６は、第１実施形態に係る推定モデル更新時の推定モデルの入力及び出力を表す概念図である。 図７は、ユーザの眠気状態の推定動作及び推定したユーザの眠気状態に伴う空調動作の流れを示す図である。 図８は、第２実施形態に係る眠気状態推定時の推定モデルの入力及び出力を表す概念図である。 図９は、第２実施形態に係る推定モデル更新時の推定モデルの入力及び出力を表す概念図である。
以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態は、本質的に好ましい例示であって、本発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。
≪第１実施形態≫
＜概要＞
図１は、本実施形態に係る空調制御装置（50）（眠気推定装置に相当）を備えた空調システム（100）の外観図である。図１及び図２に示すように、空調制御装置（50）は、空気調和装置（10）の構成要素の一部と、リモートコントローラ（30）（受け付け部に相当）と、演算装置（60）とを有する。
図１に示すように、空気調和装置（10）は、空調対象である室内（r1）に設けられ、室内（r1）に対し空調を行う。リモートコントローラ（30）は、空気調和装置（10）の目標温度及び目標湿度の設定の他、空気調和装置（10）の運転モード、運転のオン及びオフを、ユーザ（U1,U2,U3）がリモートコントローラ（30）を操作して直接的に空気調和装置（10）に指示を与える際に、用いられる。
空調制御装置（50）は、空気調和装置（10）の空調動作を制御する。特に、本実施形態に係る空調制御装置（50）は、室内（r1）に居るユーザ（U1,U2,U3）が写し出された画像を用いて、当該ユーザ（U1,U2,U3）の眠気状態を推定し、推定した眠気状態に基づいて空気調和装置（10）の空調動作を制御することにより、ユーザ（U1,U2,U3）の眠気状態が改善するような環境を提供する。
＜空気調和装置の構成＞
空気調和装置（10）は、天井設置タイプの空調機であって、本体部（11）が室内（r1）の天井に埋め込まれて設置されている。本体部（11）の下面（21）は室内（r1）に露出しており、下面（21）には本体部（11）内への空気の吸い込み口（23）と、本体部（11）から室内（r1）への空気の吹き出し口（24）とが形成されている。
本体部（11）の下面（21）には、カメラ（26）（撮像部に相当）が設けられている。
カメラ（26）は、レンズ（図示せず）が空気調和装置（10）の下方を向いており、室内（r1）に居るユーザ（U1,U2,U3）を撮像する。画像は、ユーザ（U1,U2,U3）を撮像した動画像であってもよいし、ユーザ（U1,U2,U3）の静止画像を連続して撮像したものであってもよいが、ここでは動画である場合を例示する。カメラ（26）が撮像した画像には、各ユーザ（U1,U2,U3）の眠気状態を表すユーザ（U1,U2,U3）の動作及び状態（表情を含む）が写し出されている。ユーザ（U1,U2,U3）は、眠いと感じる場合、体が左右のどちらかに傾斜する、体の動きが鈍い、片方の手で頬杖を付く、背伸びをする、目を閉じている等といった動作及び状態をとる。逆に、ユーザ（U1,U2,U3）は、眠気を感じていない場合、体の動きが活発である、目を開けている、手は何らかの作業をしている等といった動作及び状態をとる。カメラ（26）は、ユーザ（U1,U2,U3）のこれらの動作等を、各ユーザ（U1,U2,U3）の眠気状態を示唆する画像として撮像する。
空気調和装置（10）の本体部（11）の内部には、吸い込み口（23）から本体部（11）内部に吸い込まれた空気を冷媒と熱交換させる熱交換器（図示せず）、及び、冷媒と熱交換した後の空気を吹き出し口（24）を介して室内（r1）に供給する室内ファン（12）等が含まれている（図２参照）。
更に、本体部（11）の内部には、室内環境情報センサ（13）（検知部に相当）、及び制御部（14）が含まれている。
室内環境情報センサ（13）は、室内（r1）の環境に関する室内環境情報を検知するセンサであって、吸い込み口（23）付近に設けられた吸い込みセンサである。室内環境情報としては、吸い込み口（23）から吸い込まれた室内（r1）の空気の温度、湿度、CO2の濃度等が挙げられる。
制御部（14）は、ＣＰＵ及びメモリからなるマイクロコンピュータで構成されている。制御部（14）は、室内ファン（12）、室内環境情報センサ（13）、カメラ（26）等と電気的に接続されている。また、制御部（14）は、リモートコントローラ（30）及び演算装置（60）とも、通信可能に接続されている。
制御部（14）は、室内環境情報センサ（13）の検知結果に基づく室内ファン（12）等の駆動制御により、空気調和装置（10）の空調動作を制御する。
特に、本実施形態に係る制御部（14）は、演算装置（60）によって推定されたユーザ（U1,U2,U3）の眠気状態に基づいて、ユーザ（U1,U2,U3）の眠気状態のレベルが低下するように、室内（r1）の空気調和装置（10）の空調動作を制御する。眠気状態の推定結果に基づく空調動作の詳細については後述する。
なお、制御部（14）は、以下に述べる演算装置（60）の推定部（66）と同様、予めニューラルネットワークが構築されたものであることが好ましい。空調動作をよりきめ細かく調整するためである。
＜リモートコントローラ＞
リモートコントローラ（30）は、室内（r1）の壁面に取り付けられている。リモートコントローラ（30）は、図示してはいないが、各種画面を表示するディスプレイと、ユーザ（U1,U2,U3）の操作を受け付ける複数の操作ボタンとを有する。ユーザ（U1,U2,U3）が操作ボタンを操作することにより、ディスプレイには、ユーザ（U1,U2,U3）の操作に応じた各種画面が表示される。ディスプレイには、室内（r1）の設定温度、設定湿度等が通常画面として表示される。
本実施形態に係るリモートコントローラ（30）は、ユーザ（U1,U2,U3）の実際の眠気状態、即ちユーザ（U1,U2,U3）が実際に眠いと感じているか否か及び眠気のレベルがどの程度かを表す眠気情報の、ユーザ（U1,U2,U3）による入力を受け付けることが可能となっている。入力された眠気情報から、ユーザ（U1,U2,U3）の眠気状態の推定結果がユーザ（U1,U2,U3）の実際の眠気状態に合致したものであるか否かを、演算装置（60）は判定することができる。ユーザ（U1,U2,U3）の眠気状態の推定結果に基づいて空気調和装置（10）の空調動作が行われることに鑑みると、上記入力は、ユーザ（U1,U2,U3）の眠気状態の推定結果に伴って空気調和装置（10）が空調動作を行っている間になされることが好ましいが、必ずしもこれに限定されることはない。また、上記入力は、ユーザ（U1,U2,U3）の眠気状態の推定結果に応じて実行される空気調和装置（10）の空調制御の内容を補正するために（例えば、室内ファン（12）の回転速度を実際の眠気状態に応じて調整するために）、用いられても良い。
＜空調制御装置の構成＞
空調制御装置（50）は、図２に示すように、空気調和装置（10）の構成要素の一部である室内環境情報センサ（13）、制御部（14）及びカメラ（26）に加えて、受け付け部に相当するリモートコントローラ（30）と、演算装置（60）とを有する。
室内環境情報センサ（13）、制御部（14）、カメラ（26）、及びリモートコントローラ（30）は、上記にて説明したため、以下では演算装置（60）について説明する。
＜演算装置＞
演算装置（60）は、ユーザ（U1,U2,U3）の眠気状態の推定動作を主に行うものであって、記憶部（62）及びＣＰＵ（65）を備えたコンピュータである。演算装置（60）は、クラウドサーバ、ローカルサーバ等であることができる。
演算装置（60）は、空気調和装置（10）及びリモートコントローラ（30）と有線または無線で通信可能に接続されている。これにより、演算装置（60）は、室内（r1）の温度等である室内環境情報センサ（13）の検知結果及びカメラ（26）の撮像した画像を空気調和装置（10）から取得することができ、リモートコントローラ（30）がユーザ（U1,U2,U3）から実際の眠気状態を表す眠気情報の入力を受け付けた場合、これを取得することができる。また、演算装置（60）は、自身が推定した推定結果である眠気状態を、空気調和装置（10）の制御部（14）に出力することができる。
なお、本実施形態では、演算装置（60）が空気調和装置（10）とは別の装置である場合を例示しているが、演算装置（60）は、制御部（14）と同様、ＣＰＵ及びメモリからなるマイクロコンピュータで構成され、空気調和装置（10）内に組み込まれていてもよい。
記憶部（62）は、フラッシュメモリ及びハードディスク等の不揮発性記憶装置で構成される。記憶部（62）には、主に、ユーザ情報（63）が格納されている。
図３に示すように、ユーザ情報（63）は、個々のユーザ（U1,U2,U3）についての、ユーザ（U1,U2,U3）の動作及び状態（表情を含む）と、その動作及び状態を採っている時のユーザ（U1,U2,U3）の眠気状態とが対応づけられた情報である。眠い時または眠くない時に自ずと行う行動や表情等は、ユーザ（U1,U2,U3）毎に異なる場合がある。即ち、眠気の感覚に対する行動や表情等には、ユーザ（U1,U2,U3）毎に癖があると考えられる。それ故、その癖を、いわばユーザ（U1,U2,U3）の眠気状態を指し示す基準として定義したものが、ユーザ情報（63）である。
ＣＰＵ（65）は、記憶部（62）や当該記憶部（62）以外の他のメモリに記憶された各種プログラムを読み出して実行することにより、推定部（66）及びモデル更新部（68）として機能する。
−ユーザの眠気状態の推定−
推定部（66）は、カメラ（26）が撮像したユーザ（U1,U2,U3）の画像と室内環境情報センサ（13）の検知結果である室内環境情報とを必須パラメータとして用いて、ユーザ（U1,U2,U3）の眠気状態を推定する。このような推定部（66）は、推定モデル（67）を有する。
推定モデル（67）は、撮像された画像等からユーザ（U1,U2,U3）の眠気状態（眠気レベル）を、ディープラーニング等の手法を用いた演算にて求める専用モデルであって、ニューラルネットワークとして予め構築されている。本実施形態の推定モデル（67）は、図４の破線に示すように、主として、カメラ（26）が撮像した画像のデータに画像処理を施す画像処理ニューラルネットワーク（67a）、及び、画像処理の結果と室内環境情報センサ（13）の検知結果に関する情報とからユーザ（U1,U2,U3）の眠気状態を推定する眠気推定ニューラルネットワーク（67b）の、言わば２層構造のニューラルネットワークとなっている。
推定部（66）は、先ず、カメラ（26）が撮像した画像のデータを画像処理ニューラルネットワーク（67a）に入力する。画像処理ニューラルネットワーク（67a）では、画像データ（ここでは動画データ）の同時化処理等の他、エッジ検出やコントラスト処理等を駆使して、背伸びをしている等のユーザ（U1,U2,U3）の動作の抽出、目を閉じている等のユーザ（U1,U2,U3）の状態の抽出、ユーザ（U1,U2,U3）の性別の算出、ユーザ（U1,U2,U3）の年齢の算出が行われる。即ち、画像処理ニューラルネットワーク（67a）では、眠気状態を表すユーザ（U1,U2,U3）の特定の動作及び、状態が抽出され、眠気レベルを左右する一要因となる性別及び年齢が演算される。
図５（ａ）では、年齢の高低と眠気レベルとの関係の一例を概念的に表し、図５（ｂ）では、性別と眠気レベルとの関係の一例を概念的に表している。室内（r1）がとある温度で均一とした場合、図５（ａ）では、年齢が低い程、さほど眠気を感じないユーザ（U1,U2,U3）が多い傾向にあり、年齢が高い程、眠いと感じるユーザ（U1,U2,U3）は多い傾向にあることを表している。室内（r1）がとある温度で均一とした場合、図５（ｂ）では、同年齢にて比較すると、女性は、男性に比べて眠気を感じることが多い場合があることを表している。このように、求めた性別及び年齢は、眠気レベルを左右する指標の１つとなる。
図４に示すように、画像処理ニューラルネットワーク（67a）から出力された上記抽出結果及び上記演算結果と、例えば室内（r1）の温度、湿度、CO2の濃度である室内環境情報センサ（13）の検知結果（室内環境情報）に関する情報とが、眠気推定ニューラルネットワーク（67b）に入力される。本実施形態では、室内環境情報センサ（13）の検知結果は、推定モデル（67）における演算ニューラルネットワーク（67c）にて、眠気推定ニューラルネットワーク（67b）が扱えるタイプのデータとするための所定の演算を施された後に、室内環境情報センサ（13）の検知結果に関する情報として眠気推定ニューラルネットワーク（67b）に入力される場合を例示しているが、演算ニューラルネットワーク（67c）を介さずに、直接眠気推定ニューラルネットワーク（67b）に入力されてもよい。
眠気推定ニューラルネットワーク（67b）では、入力された各種情報のうち、眠気状態を表すユーザ（U1,U2,U3）の特定の動作及び状態である抽出結果と室内環境情報センサ（13）の検知結果に関する情報とから、図３に係るユーザ情報（63）を基準として、個々のユーザ（U1,U2,U3）の眠気状態が求められる。この際、入力された演算結果、即ちユーザ（U1,U2,U3）の性別及び年齢が、個々のユーザ（U1,U2,U3）の眠気状態の算出において加味される。
例えば室内（r1）の温度が高かったりCO2の濃度が高かったりする程、ユーザ（U1,U2,U3）の眠気は誘発される。そこで、ユーザ（U1,U2,U3）の特定の動作及び状態と共に、室内環境情報センサ（13）の検知結果に関する情報が、個々のユーザ（U1,U2,U3）の眠気レベルの推定に利用される。また、図５（ａ）（ｂ）で示した性別や年齢と眠気レベルとの関係性を考慮することで、ユーザ（U1,U2,U3）各個人の眠気情報がよりきめ細かく推定される。
推定部（66）は、このようにして求めたユーザ（U1,U2,U3）の眠気状態（眠気レベル）を、眠気状態の推定結果として、空気調和装置（10）の制御部（14）に送信する。
−推定モデルの更新−
図６に示すように、モデル更新部（68）は、カメラ（26）が撮像した画像のデータ及びリモートコントローラ（30）が受け付けたユーザ（U1,U2,U3）の実際の眠気状態を表す眠気情報に基づいて上記推定モデル（67）を学習させる。
眠気状態の推定後にカメラ（26）が新たに撮像した画像に、例えばそれまで頬杖を付いていたユーザ（U1,U2,U3）が頬杖をしなくなった等の、ユーザ（U1,U2,U3）の動作及び状態に所望の変化が現れる可能性がある。この場合は、眠気状態の推定動作が比較的良好であって、その推定結果に基づく空調動作がユーザ（U1,U2,U3）の眠気状態を解消させる方向へと向かわせていると判断することができる。しかし、このような所望の変化が見られない場合は、眠気状態の推定動作が実際の眠気状態と乖離している可能性がある。そこで、モデル更新部（68）は、カメラ（26）が新たに撮像した画像を用いて推定モデル（67）を更新する。
また、リモートコントローラ（30）を介してユーザ（U1,U2,U3）が入力した眠気情報には、ユーザ（U1,U2,U3）の実際の眠気レベルが表れている。それ故、モデル更新部（68）は、リモートコントローラ（30）が受け付けた眠気情報も用いて推定モデル（67）を更新する。
このような更新動作により、推定モデル（67）（具体的には、眠気推定ニューラルネットワーク（67b））は、より実際の眠気状態に近い推定結果を算出できるようなモデルに更新されていく。
なお、モデル更新部（68）は、前回撮影した画像におけるユーザ（U1,U2,U3）の動作及び状態と、新たに撮像した画像におけるユーザ（U1,U2,U3）の動作及び状態とを比較した結果、所望の変化がある場合、及び／または、リモートコントローラ（30）が受け付けた眠気情報が、眠気レベルが前回よりも所定レベル以上低下したことを表す内容である場合は、推定モデル（67）の更新動作は不要と判定し、推定モデル（67）の更新動作を行わずともよい。つまり、推定モデル（67）の更新動作は、前回撮像した画像と新たに撮像した画像との間でユーザ（U1,U2,U3）の動作及び状態に所望の変化がなかった場合、及び／または、リモートコントローラ（30）が受け付けた眠気情報が所望する眠気レベルよりも高い場合に行われると良い。ＣＰＵ（65）が不必要な処理を行うことで高負荷となることを和らげるためである。
なお、本実施形態では、推定モデル（67）のうち更新対象となるものは、眠気推定ニューラルネットワーク（67b）であるが、画像処理ニューラルネットワーク（67a）や演算ニューラルネットワーク（67c）が更に更新対象であってもよい。
なお、図６に示すように、推定モデル（67）を更新する際には、更に室内環境情報センサ（13）の検知結果も利用されてもよいが、利用されずともよい。
＜推定したユーザの眠気状態に伴う空調動作＞
図７は、ユーザ（U1,U2,U3）の眠気状態の推定動作、及び、推定した眠気状態（眠気レベル）に伴う空調動作の流れを示す図である。
カメラ（26）は、ユーザ（U1,U2,U3）の画像を撮像する（St11）。カメラ（26）が撮像した画像は、演算装置（60）に送信される。
演算装置（60）では、推定部（66）は、推定モデル（67）における画像処理ニューラルネットワーク（67a）を用いて、ユーザ（U1,U2,U3）の動作及び状態の抽出、性別及び年齢の演算を行う（St12）。推定部（66）は、推定モデル（67）における眠気推定ニューラルネットワーク（67b）に、ステップSt12における抽出結果及び演算結果と、室内環境情報センサ（13）の検知結果である室内環境情報（ここでは、検知結果に関する情報）とを入力して、各ユーザ（U1,U2,U3）の眠気レベルを含む眠気状態を推定する（St13）。眠気状態の推定結果は、空気調和装置（10）の制御部（14）に送信される。
上記推定結果は、図示していないが、演算装置（60）が有するデータベースに格納される（St14）。この際、推定結果と共に、室内（r1）の温度を含む室内環境情報、現在の空気調和装置（10）の風向及び風量が、データベースに対応づけて格納される。データベースは、眠気状態の推定動作の精度向上のため、推定モデル（67）の更新時に用いられても良い。また、データベースは、以下の“閾値”を最適な値に補正するために用いられると更に好ましい。
空気調和装置（10）の制御部（14）は、推定された眠気レベルが閾値以下となるように、個々のユーザ（U1,U2,U3）に適した空調制御内容を算出し（St15）、算出した空調制御を実行させる（St16）。例えば、制御部（14）は、眠気レベルと閾値との差が大きい程、当該眠気レベルであるユーザ（U1,U2,U3）に対して冷却または加熱された空気を風量を上げた状態で供給する空調制御内容を実行する。制御部（14）は、眠気レベルと閾値との差が小さい程、当該眠気レベルであるユーザ（U1,U2,U3）に対しては現在の空気の供給量を維持する空調制御内容を実行する。このように、個々のユーザ（U1,U2,U3）の眠気レベルと閾値との差の大きさに応じて、そのユーザ（U1,U2,U3）への風向及び風量を変化させる空調制御内容が算出されて実行される。このような空調制御内容は、眠気レベルが高いユーザ（U1,U2,U3）に対しては眠気を解消させて覚醒を促し、眠気レベルが低いユーザ（U1,U2,U3）に対しては引き続き現在の状態を維持するように作用させるための内容と言える。これにより、各個人の眠気レベルは、空調制御によって改善または維持される。そのため、室内（r1）内のユーザ（U1,U2,U3）全体の眠気レベルの平均は改善され、ユーザ（U1,U2,U3）の作業性は向上する。
＜効果＞
室内の環境は、ユーザ（U1,U2,U3）の眠気状態に影響を及ぼす。そこで、演算装置（60）の推定部（66）は、カメラ（26）が撮像したユーザ（U1,U2,U3）の画像と共に、室内環境情報センサ（13）の検知結果である室内環境情報（室内（r1）の温度やCO2濃度等）に基づいて、ユーザ（U1,U2,U3）の眠気状態を推定する。これにより、ユーザ（U1,U2,U3）の眠気を精度良く把握することができる。
上記画像には、ユーザ（U1,U2,U3）の眠気状態を表すユーザ（U1,U2,U3）の動作及び状態が写し出されている。そこで、推定部（66）は、ユーザ（U1,U2,U3）の動作及び状態を画像から抽出してユーザ（U1,U2,U3）の眠気状態を推定する。これにより、ユーザ（U1,U2,U3）の眠気状態の推定精度は向上する。
また、年齢及び性別の違いは、人が「眠い」と感じる感覚に影響を及ぼすことがある。そこで、推定部（66）は、画像からユーザ（U1,U2,U3）の年齢及び性別を演算し、その演算結果を更に用いてユーザ（U1,U2,U3）の眠気状態を推定する。これにより、ユーザ（U1,U2,U3）の眠気状態の推定精度はより向上する。
また、カメラ（26）は、天井に設置されている空気調和装置（10）に設けられている。そのため、カメラ（26）は、室内（r1）に居るユーザ（U1,U2,U3）を、障害物により遮られる可能性が軽減された状態で、撮像することができる。
また、推定部（66）は、室内（r1）に居る複数のユーザ（U1,U2,U3）それぞれの眠気状態を推定する。即ち、本実施形態では、個々のユーザ（U1,U2,U3）の眠気状態を推定することができる。
ところで、ユーザ（U1,U2,U3）が「眠い」または「眠くない」と感じている際にユーザ（U1,U2,U3）が採る動作及び状態は、ユーザ（U1,U2,U3）毎に異なることがある。そこで、推定部（66）は、個々のユーザ（U1,U2,U3）が「眠い」または「眠くない」と感じた際に採る動作及び状態を表すユーザ情報（63）を、実際に撮像した画像におけるユーザ（U1,U2,U3）の動作及び状態との照合に用いる。これにより、個々のユーザ（U1,U2,U3）の眠気状態の推定精度はより向上する。
空気調和装置（10）の制御部（14）は、ユーザ（U1,U2,U3）の眠気状態のレベルが低下するように、演算装置（60）の推定部（66）が推定した眠気状態に基づいて空調動作を制御する。これにより、ユーザ（U1,U2,U3）がリモートコントローラ（30）等を操作して眠気が解消するような空調動作の実行指示を空気調和装置（10）に与えずとも、空気調和装置（10）は、ユーザ（U1,U2,U3）の眠気が改善し覚醒を促すのに適した空調動作を自動的に行う。従って、ユーザ(U1,U2,U3）の利便性は向上し、ユーザ（U1,U2,U3）は、眠気状態が解消して覚醒し易くなる。
特に、ユーザ（U1,U2,U3）の眠気状態の推定精度が向上しているため、推定された眠気状態に応じた空調動作がなされることにより、ユーザ（U1,U2,U3）の眠気状態はより解消し易くなる。
特に、個々のユーザ（U1,U2,U3）の眠気状態を推定し、個々のユーザ（U1,U2,U3）の眠気状態に適した空調動作がなされることにより、室内（r1）に居るユーザ（U1,U2,U3）全体の眠気レベルを改善することができる。
また、ユーザ（U1,U2,U3）の画像及びリモートコントローラ（30）が受け付けたユーザ（U1,U2,U3）の眠気情報に基づいて、推定モデル（67）が学習される。従って、推定部（66）が学習後の推定モデル（67）を用いて眠気状態の推定動作を行うことにより、ユーザ（U1,U2,U3）の眠気状態の推定精度はより向上する。
≪第２実施形態≫
本実施形態では、上記第１実施形態において、空調制御装置（50）が更にサーモグラフィセンサ（128）（表面温度測定部に相当）を備え、推定部（66）は、ユーザ（U1,U2,U3）の眠気状態の推定動作に更にサーモグラフィセンサ（128）の検知結果を用いる場合について説明する。
図８は、第１実施形態の図４に対応する図であって、本実施形態に係る眠気状態の推定時の推定モデル（67）の入力及び出力を表す概念図である。図８の破線に示すように、推定部（66）における推定モデル（67）は、上記第１実施形態と同様、撮像された画像のデータと室内環境情報とからユーザ（U1,U2,U3）の眠気レベルを含む眠気状態を演算によって求める専用のニューラルネットワークとして予め構築されている。具体的には、推定モデル（67）は、主として、画像処理ニューラルネットワーク（67a）と眠気推定ニューラルネットワーク（67b）の、言わば２層構造のニューラルネットワークとなっている。
上記第１実施形態と同様、室内環境情報センサ（13）の検出結果である室内環境情報は、推定モデル（67）における演算ニューラルネットワーク（67c）にて、眠気推定ニューラルネットワーク（67b）が扱えるタイプのデータとするための所定の演算を施された後に、眠気推定ニューラルネットワーク（67b）に入力される場合を例示している。
画像処理ニューラルネットワーク（67a）の入力と出力は、上記第１実施形態と同様である。
眠気推定ニューラルネットワーク（67b）には、画像処理ニューラルネットワーク（67a）の抽出結果及び演算結果、室内環境情報センサ（13）の検知結果に関する情報に加え、サーモグラフィセンサ（128）の検知結果が入力される。
サーモグラフィセンサ（128）は、室内（r1）に居る各ユーザ（U1,U2,U3）の表面温度を測定する。サーモグラフィセンサ（128）の室内（r1）での取り付け位置は、特に限定されることはなく、例えばリモートコントローラ（30）に組み込まれても良いし、空気調和装置（10）の下面（21）に取り付けられてもよい。
なお、図８に示すように、サーモグラフィセンサ（128）の検知結果は、室内環境情報センサ（13）の検知結果が演算ニューラルネットワーク（67c）にて演算処理されるのと同様、別途演算ニューラルネットワーク（67d）にて所定の演算が施された後に、眠気推定ニューラルネットワーク（67b）に入力されても良い。
眠気推定ニューラルネットワーク（67b）では、上記第１実施形態と同様、画像処理ニューラルネットワーク（67a）の抽出結果及び室内環境情報に基づいて個々のユーザ（U1,U2,U3）の眠気状態が求められる。この際、上記第１実施形態と同様、ユーザ情報（63）は基準として用いられる。画像処理ニューラルネットワーク（67a）の演算結果（年齢及び性別）に加えて、サーモグラフィセンサ（128）の検知結果（表面温度）が、ユーザ（U1,U2,U3）の眠気状態の算出において加味される。
サーモグラフィセンサ（128）の検知結果は、図９に示すように、推定モデル（67）の更新動作においても、画像処理ニューラルネットワーク（67a）の抽出結果及び演算結果、室内環境情報センサ（13）の検知結果に関する情報に加えて用いられてもよい。
図８及び図９を用いて説明した以外、具体的には、空調制御装置（50）を用いた空調システム（100）の構成、ユーザ情報（63）、推定結果を用いた空調動作の詳細は、上記第１実施形態と同様であるため、説明を省略する。
このように、本実施形態では、ユーザ（U1,U2,U3）の眠気状態の推定に、ユーザ（U1,U2,U3）の実際の表面温度が更に用いられる。従って、ユーザ（U1,U2,U3）の眠気状態の推定精度はより向上する。また、空気調和装置（10）は、ユーザ（U1,U2,U3）の眠気がより改善し覚醒を促すのに適した空調動作を行うことができる。
なお、サーモグラフィセンサ（128）の検知結果は、更に、空気調和装置（10）からユーザ（U1,U2,U3）に供給される空気がユーザ（U1,U2,U3）にとって適切な温度及び風量であるのかを制御部（14）が判断するために利用されてもよい。例えば、ユーザ（U1,U2,U3）の眠気状態の改善のためと云えども、冷却された空気がユーザ（U1,U2,U3）に多量に供給されると、ユーザ（U1,U2,U3）の表面温度が過度に低下してしまい、かえってユーザ（U1,U2,U3）に対し刺激の与えすぎとなってしまう。そのため、サーモグラフィセンサ（128）の検知結果から、空気調和装置（10）がユーザ（U1,U2,U3）に供給する空気がユーザ（U1,U2,U3）にとって適切な温度及び風量ではないと判断した時は、制御部（14）は、サーモグラフィセンサ（128）の検知結果に基づいて供給する空気の温度及び風量を和らげるように空調制御内容を調整することが好ましい。
≪その他の実施形態≫
上記第１実施形態及び第２実施形態において、画像と室内環境情報におけるCO2濃度とを用いて、時間帯に即して眠気を解消するような空調制御が更に行われても良い。例えば、昼食後、人は眠くなる傾向にある。CO2濃度が高い程眠気は強くなる。そこで、空気調和装置（10）の制御部（14）は、午後は室内（r1）の目標温度を午前中よりも一時的に下げると共に、CO2の濃度に応じて目標温度の下げ幅を調整すると好ましい。その際、推定部（66）が、眠気レベルが高い人の数が所定数以上であると画像を用いて推定した場合、制御部（14）は、CO2濃度を下げるために、換気動作を空調動作として決定することが好ましい。
上記第１実施形態及び第２実施形態において、推定部（66）は、更に各ユーザ（U1,U2,U3）の心拍数の検知結果を各ユーザ（U1,U2,U3）の眠気状態の推定に用いても良い。これにより、各ユーザ（U1,U2,U3）の眠気レベルはより細かく把握されるようになる。各ユーザ（U1,U2,U3）の心拍数は、カメラ（26）が撮像した画像から、各ユーザ（U1,U2,U3）の状態を表す情報として算出されてもよいし、カメラ（26）とは別の心拍数を検知するセンサによって検知されても良い。各ユーザ（U1,U2,U3）の心拍数は、推定モデル（67）の学習の際に用いられても良い。
制御部（14）は、画像から演算されたユーザ（U1,U2,U3）の年齢及び性別を用いて、より個人が覚醒し易くなるような効果的な個別の空調動作が行われるように、空調動作を制御してもよい。
上記第１実施形態及び第２実施形態において、吸い込みセンサとは別のセンサが室内環境情報センサ（13）として設けられても良い。室内環境情報センサ（13）が検知する室内に関する情報は、室内（r1）の温度、湿度、CO2の濃度に限定されることはなく、室内（r1）の環境に関する様々な情報が含まれる。また、室内環境情報センサ（13）の検知結果は、室内（r1）の温度のみ、CO2の濃度のみであってもよい。
カメラ（26）が新たに撮像した画像は、リモートコントローラ（30）を介して入力されたユーザ（U1,U2,U3）の眠気情報と同様、推定モデル（67）の更新のみならず、空調動作の制御の微調整に利用されてもよい。
上記第１実施形態及び第２実施形態において、画像には、ユーザ（U1,U2,U3）の眠気状態を表すユーザ（U1,U2,U3）の動作及び状態が写し出されていると説明したが、画像に写し出されているものは、ユーザ（U1,U2,U3）の動作及び状態のうち少なくとも１つであってもよい。この場合、画像処理ニューラルネットワーク（67a）の抽出結果は、ユーザ（U1,U2,U3）の動作及び状態のうち、少なくとも１つとなる。
ユーザ（U1,U2,U3）の性別及び年齢の演算結果は、眠気状態の推定に利用されずとも良い。
ユーザ（U1,U2,U3）の性別及び年齢を眠気状態の推定に用いる場合、ユーザ（U1,U2,U3）の性別及び年齢のいずれか一方が眠気状態の推定に用いられもよい。
空気調和装置（10）は、室内（r1）の天井に設置されるタイプに限定されず、壁面設置タイプ、床置きタイプ等であることができる。
カメラ（26）は、室内（r1）のユーザ（U1,U2,U3）を撮像できる位置にあればよく、空気調和装置（10）に設けられずともよい。例えば、カメラ（26）は、ユーザ（U1,U2,U3）のパーソナルコンピュータが有するウェブカメラであってもよい。
上記第１実施形態及び第２実施形態に係る空調制御装置（50）は、室内（r1）に居るユーザの人数が一人である場合にも適用することができる。
また、空調制御装置（50）は、室内（r1）に居るユーザの人数が複数の場合、眠気状態の推定対象者は、全員ではなく、任意であってもよい。
推定部（66）は、眠気状態の推定時に、ユーザ情報（63）を利用せずともよい。
眠気状態の推定結果に基づいて空気調和装置（10）の空調動作を制御することは、必ずしも必須ではない。従って、眠気状態の推定動作のみを行う眠気推定装置であってもよい。
推定モデル（67）の更新動作は行われなくても良い。
推定モデル（67）の更新動作を行う場合、眠気状態の推定時と推定モデル（67）の更新動作時とで、使用するパラメータが同じであってもよいし、異なっていても良い。例えば、眠気状態の推定時のパラメータは、画像、室内の温度及び湿度、吹き出し口（24）から吹き出される空気の吹き出し温度及び湿度、風量、風向、空調能力のうち少なくとも１つであることができる。推定モデル（67）の更新動作時のパラメータは、画像、室内の温度及び湿度、風速、輻射温度、CO2の濃度のうち少なくとも１つであることができる。
上記第１実施形態及び第２実施形態では、ニューラルネットワークで構築された推定モデル（67）を利用して眠気状態の推定が行われる場合を説明したが、眠気状態の推定動作は、上記推定モデル（67）を利用することなく、例えばプログラムを実行することによってなされてもよい。
空調動作の制御は、制御部（14）に代えて演算装置（60）が行っても良い。
以上説明したように、本発明は、ユーザの眠気状態を推定する眠気推定装置について有用である。
10 空気調和装置
13 室内環境情報センサ（検知部）
14 制御部
26 カメラ（撮像部）
30 リモートコントローラ（受け付け部）
50 空調制御装置（睡眠推定装置）
62 記憶部
63 ユーザ情報
66 推定部
67 推定モデル
68 モデル更新部
U1,U2,U3 ユーザ
128 サーモグラフィセンサ（表面温度測定部）
本発明は、眠気推定装置に関するものである。
特許文献１に示すように、運転者の疲れ状態をカメラ及びハンドルの動きから検出する技術が知られている。
特開２００５−１０４２３７号公報
運転者等のユーザの眠気の要因には、ユーザの疲れのみならず他の要因も作用することがある。特許文献１の技術では、ユーザがどの程度の眠気を感じているかを把握することは困難である。
本発明の目的は、ユーザの眠気状態を精度良く把握することである。
本開示の第１の態様は、ユーザ（U1,U2,U3）を撮像する撮像部（26）と、上記ユーザ（U1,U2,U3）が居る室内（r1）の環境に関する室内環境情報を検知する検知部（13）と、上記撮像部（26）が撮像した上記ユーザ（U1,U2,U3）の画像と上記検知部（13）が検知した上記室内環境情報とに基づいて、上記ユーザ（U1,U2,U3）の眠気状態を推定する推定部（66）と、上記推定部（66）の推定結果に基づいて、上記ユーザ（U1,U2,U3）の上記眠気状態のレベルが低下するように、上記室内（r1）を空調対象とする空気調和装置（10）の空調動作を制御する制御部（14）と、上記推定部（66）の推定結果に基づく上記空調動作が行われた後の上記撮像部（26）が撮像した上記画像から上記ユーザ（U1,U2,U3）の実際の上記眠気状態を把握し、その把握結果に基づいて、上記眠気状態の推定に用いる推定モデル（67）を学習させるモデル更新部（68）と、を備えることを特徴とする眠気推定装置である。
室内環境情報としては、室内のCO2濃度、温度等が挙げられる。このような室内環境情報は、ユーザの眠気状態に影響を及ぼす要因となり得る。ここでは、ユーザが撮像されると、その画像と上記室内環境情報とに基づいてユーザの眠気情報が推定される。これにより、ユーザの眠気を、精度良く把握することができる。また、室内に居るユーザの眠気状態は改善されるため、ユーザは覚醒し易くなる。また、学習後の推定モデルを用いてユーザの眠気状態の推定動作が行われることにより、ユーザの眠気状態の推定精度はより向上する。
第２の態様は、第１の態様において、上記ユーザ（U1,U2,U3）の上記眠気状態を表す眠気情報の該ユーザ（U1,U2,U3）による入力を受け付けることが可能な受け付け部（30）、を更に備え、上記モデル更新部（68）は、更に上記受け付け部（30）が受け付けた上記眠気情報に基づいて、上記推定モデル（67）を学習させることを特徴とする眠気推定装置である。
第３の態様は、第１の態様または第２の態様において、上記モデル更新部（68）は、上記推定部（66）の推定結果に基づく上記空調動作が行われた後の上記撮像部（26）が撮像した上記画像に基づいて、上記ユーザの上記眠気状態のレベルが低下するように上記空気調和装置の空調動作の制御の内容を学習することを特徴とする眠気推定装置である。
第４の態様は、第３の態様において、上記空調動作の制御の内容には、上記空気調和装置に含まれる室内ファンの回転速度を調整することが含まれることを特徴とする眠気推定装置である。
第５の態様は、第１の態様から第４の態様のいずれか１つにおいて、上記ユーザ（U1,U2,U3）の上記眠気状態を表す眠気情報の該ユーザ（U1,U2,U3）による入力を受け付けることが可能な受け付け部（30）を更に備え、上記モデル更新部（68）は、上記推定部（66）の推定結果に基づく上記空調動作が行われた後に上記受け付け部（30）が受け付けた上記眠気情報に基づいて、上記ユーザの上記眠気状態のレベルが低下するように上記空気調和装置の空調動作の制御の内容を学習することを特徴とする眠気推定装置である。
第６の態様は、ユーザ（U1,U2,U3）を撮像する撮像部（26）と、上記ユーザ（U1,U2,U3）が居る室内（r1）の環境に関する室内環境情報を検知する検知部（13）と、上記撮像部（26）が撮像した上記ユーザ（U1,U2,U3）の画像と上記検知部（13）が検知した上記室内環境情報とに基づいて、上記ユーザ（U1,U2,U3）の眠気状態を推定する推定部（66）と、上記ユーザ（U1,U2,U3）の上記眠気状態を表す眠気情報の該ユーザ（U1,U2,U3）による入力を受け付けることが可能な受け付け部（30）と、上記撮像部（26）が撮像した上記画像及び上記受け付け部（30）が受け付けた上記眠気情報に基づいて、上記眠気状態の推定に用いる推定モデル（67）を学習させるモデル更新部（68）と、を備えることを特徴とする眠気推定装置である。
第６の態様によれば、ユーザが撮像されると、その画像と上記室内環境情報とに基づいてユーザの眠気情報が推定される。これにより、ユーザの眠気を、精度良く把握することができる。また、学習後の推定モデルを用いてユーザの眠気状態の推定動作が行われることにより、ユーザの眠気状態の推定精度はより向上する。
第７の態様は、第１の態様から第６の態様のいずれか１つにおいて、上記画像には、上記ユーザ（U1,U2,U3）の眠気状態を表す上記ユーザ（U1,U2,U3）の動作、及び／または、上記ユーザ（U1,U2,U3）の眠気状態を表す上記ユーザ（U1,U2,U3）の状態が写し出されており、上記推定部（66）は、上記画像から上記ユーザ（U1,U2,U3）の動作及び／または上記ユーザ（U1,U2,U3）の状態を抽出して上記ユーザ（U1,U2,U3）の眠気状態を推定することを特徴とする眠気推定装置である。
これにより、ユーザがどの程度眠いのかの眠気状態が、より精度良く推定される。
第８の態様は、第１の態様から第７の態様のいずれか１つにおいて、上記推定部（66）は、上記画像から上記ユーザ（U1,U2,U3）の性別及び／または年齢を算出し、算出した上記ユーザ（U1,U2,U3）の性別及び／または年齢に更に基づいて上記ユーザ（U1,U2,U3）の上記眠気状態を推定することを特徴とする眠気推定装置である。
これにより、ユーザの眠気状態の推定精度はより向上する。
第９の態様は、第１の態様から第８の態様のいずれか１つにおいて、上記室内（r1）に居る上記ユーザ（U1,U2,U3）の表面温度を測定する表面温度測定部（128）、を更に備え、上記推定部（66）は、更に上記表面温度測定部（128）の測定結果に基づいて、上記ユーザ（U1,U2,U3）の上記眠気状態を推定することを特徴とする眠気推定装置である。
これにより、ユーザの眠気状態の推定精度はより向上する。
第１０の態様は、第１の態様から第９の態様のいずれか１つにおいて、空気調和装置（10）が、上記室内（r1）の天井に設置されており、上記撮像部（26）は、上記空気調和装置（10）に設けられていることを特徴とする眠気推定装置である。
これにより、撮像部（26）は、障害物により遮られる可能性が低い状態で、室内に居るユーザを撮像することができる。
第１１の態様は、第１の態様から第１０の態様のいずれか１つにおいて、上記室内（r1）に複数の上記ユーザ（U1,U2,U3）が存在する場合、上記推定部（66）は、複数の上記ユーザ（U1,U2,U3）それぞれの上記眠気状態を推定することを特徴とする眠気推定装置である。
第１２の態様は、第１１の態様において、複数の上記ユーザ（U1,U2,U3）それぞれについての、上記ユーザ（U1,U2,U3）の動作及び／または上記ユーザ（U1,U2,U3）の状態と、該動作及び／または該状態時の上記ユーザ（U1,U2,U3）の上記眠気状態とが対応づけられたユーザ情報（63）、を記憶する記憶部（62）、を更に備え、上記推定部（66）は、各上記ユーザ（U1,U2,U3）の動作及び／または各上記ユーザ（U1,U2,U3）の状態を上記画像から抽出し、抽出結果と上記ユーザ情報（63）とを用いて、複数の上記ユーザ（U1,U2,U3）それぞれの上記眠気状態を推定することを特徴とする眠気推定装置である。
これにより、個々のユーザの眠気状態の推定精度はより向上する。
本発明によれば、ユーザの眠気を、精度良く把握することができる。
図１は、眠気推定装置を備えた空調システムの外観図である。 図２は、眠気推定装置を備えた空調システムの構成を模式的に示すブロック図である。 図３は、ユーザ情報の概念図である。 図４は、第１実施形態に係る眠気状態推定時の推定モデルの入力及び出力を表す概念図である。 図５は、年齢と眠気との関係、性別と眠気との関係の一例を示す図である。 図６は、第１実施形態に係る推定モデル更新時の推定モデルの入力及び出力を表す概念図である。 図７は、ユーザの眠気状態の推定動作及び推定したユーザの眠気状態に伴う空調動作の流れを示す図である。 図８は、第２実施形態に係る眠気状態推定時の推定モデルの入力及び出力を表す概念図である。 図９は、第２実施形態に係る推定モデル更新時の推定モデルの入力及び出力を表す概念図である。
以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態は、本質的に好ましい例示であって、本発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。
≪第１実施形態≫
＜概要＞
図１は、本実施形態に係る空調制御装置（50）（眠気推定装置に相当）を備えた空調システム（100）の外観図である。図１及び図２に示すように、空調制御装置（50）は、空気調和装置（10）の構成要素の一部と、リモートコントローラ（30）（受け付け部に相当）と、演算装置（60）とを有する。
図１に示すように、空気調和装置（10）は、空調対象である室内（r1）に設けられ、室内（r1）に対し空調を行う。リモートコントローラ（30）は、空気調和装置（10）の目標温度及び目標湿度の設定の他、空気調和装置（10）の運転モード、運転のオン及びオフを、ユーザ（U1,U2,U3）がリモートコントローラ（30）を操作して直接的に空気調和装置（10）に指示を与える際に、用いられる。
空調制御装置（50）は、空気調和装置（10）の空調動作を制御する。特に、本実施形態に係る空調制御装置（50）は、室内（r1）に居るユーザ（U1,U2,U3）が写し出された画像を用いて、当該ユーザ（U1,U2,U3）の眠気状態を推定し、推定した眠気状態に基づいて空気調和装置（10）の空調動作を制御することにより、ユーザ（U1,U2,U3）の眠気状態が改善するような環境を提供する。
＜空気調和装置の構成＞
空気調和装置（10）は、天井設置タイプの空調機であって、本体部（11）が室内（r1）の天井に埋め込まれて設置されている。本体部（11）の下面（21）は室内（r1）に露出しており、下面（21）には本体部（11）内への空気の吸い込み口（23）と、本体部（11）から室内（r1）への空気の吹き出し口（24）とが形成されている。
本体部（11）の下面（21）には、カメラ（26）（撮像部に相当）が設けられている。
カメラ（26）は、レンズ（図示せず）が空気調和装置（10）の下方を向いており、室内（r1）に居るユーザ（U1,U2,U3）を撮像する。画像は、ユーザ（U1,U2,U3）を撮像した動画像であってもよいし、ユーザ（U1,U2,U3）の静止画像を連続して撮像したものであってもよいが、ここでは動画である場合を例示する。カメラ（26）が撮像した画像には、各ユーザ（U1,U2,U3）の眠気状態を表すユーザ（U1,U2,U3）の動作及び状態（表情を含む）が写し出されている。ユーザ（U1,U2,U3）は、眠いと感じる場合、体が左右のどちらかに傾斜する、体の動きが鈍い、片方の手で頬杖を付く、背伸びをする、目を閉じている等といった動作及び状態をとる。逆に、ユーザ（U1,U2,U3）は、眠気を感じていない場合、体の動きが活発である、目を開けている、手は何らかの作業をしている等といった動作及び状態をとる。カメラ（26）は、ユーザ（U1,U2,U3）のこれらの動作等を、各ユーザ（U1,U2,U3）の眠気状態を示唆する画像として撮像する。
空気調和装置（10）の本体部（11）の内部には、吸い込み口（23）から本体部（11）内部に吸い込まれた空気を冷媒と熱交換させる熱交換器（図示せず）、及び、冷媒と熱交換した後の空気を吹き出し口（24）を介して室内（r1）に供給する室内ファン（12）等が含まれている（図２参照）。
更に、本体部（11）の内部には、室内環境情報センサ（13）（検知部に相当）、及び制御部（14）が含まれている。
室内環境情報センサ（13）は、室内（r1）の環境に関する室内環境情報を検知するセンサであって、吸い込み口（23）付近に設けられた吸い込みセンサである。室内環境情報としては、吸い込み口（23）から吸い込まれた室内（r1）の空気の温度、湿度、CO2の濃度等が挙げられる。
制御部（14）は、ＣＰＵ及びメモリからなるマイクロコンピュータで構成されている。制御部（14）は、室内ファン（12）、室内環境情報センサ（13）、カメラ（26）等と電気的に接続されている。また、制御部（14）は、リモートコントローラ（30）及び演算装置（60）とも、通信可能に接続されている。
制御部（14）は、室内環境情報センサ（13）の検知結果に基づく室内ファン（12）等の駆動制御により、空気調和装置（10）の空調動作を制御する。
特に、本実施形態に係る制御部（14）は、演算装置（60）によって推定されたユーザ（U1,U2,U3）の眠気状態に基づいて、ユーザ（U1,U2,U3）の眠気状態のレベルが低下するように、室内（r1）の空気調和装置（10）の空調動作を制御する。眠気状態の推定結果に基づく空調動作の詳細については後述する。
なお、制御部（14）は、以下に述べる演算装置（60）の推定部（66）と同様、予めニューラルネットワークが構築されたものであることが好ましい。空調動作をよりきめ細かく調整するためである。
＜リモートコントローラ＞
リモートコントローラ（30）は、室内（r1）の壁面に取り付けられている。リモートコントローラ（30）は、図示してはいないが、各種画面を表示するディスプレイと、ユーザ（U1,U2,U3）の操作を受け付ける複数の操作ボタンとを有する。ユーザ（U1,U2,U3）が操作ボタンを操作することにより、ディスプレイには、ユーザ（U1,U2,U3）の操作に応じた各種画面が表示される。ディスプレイには、室内（r1）の設定温度、設定湿度等が通常画面として表示される。
本実施形態に係るリモートコントローラ（30）は、ユーザ（U1,U2,U3）の実際の眠気状態、即ちユーザ（U1,U2,U3）が実際に眠いと感じているか否か及び眠気のレベルがどの程度かを表す眠気情報の、ユーザ（U1,U2,U3）による入力を受け付けることが可能となっている。入力された眠気情報から、ユーザ（U1,U2,U3）の眠気状態の推定結果がユーザ（U1,U2,U3）の実際の眠気状態に合致したものであるか否かを、演算装置（60）は判定することができる。ユーザ（U1,U2,U3）の眠気状態の推定結果に基づいて空気調和装置（10）の空調動作が行われることに鑑みると、上記入力は、ユーザ（U1,U2,U3）の眠気状態の推定結果に伴って空気調和装置（10）が空調動作を行っている間になされることが好ましいが、必ずしもこれに限定されることはない。また、上記入力は、ユーザ（U1,U2,U3）の眠気状態の推定結果に応じて実行される空気調和装置（10）の空調制御の内容を補正するために（例えば、室内ファン（12）の回転速度を実際の眠気状態に応じて調整するために）、用いられても良い。
＜空調制御装置の構成＞
空調制御装置（50）は、図２に示すように、空気調和装置（10）の構成要素の一部である室内環境情報センサ（13）、制御部（14）及びカメラ（26）に加えて、受け付け部に相当するリモートコントローラ（30）と、演算装置（60）とを有する。
室内環境情報センサ（13）、制御部（14）、カメラ（26）、及びリモートコントローラ（30）は、上記にて説明したため、以下では演算装置（60）について説明する。
＜演算装置＞
演算装置（60）は、ユーザ（U1,U2,U3）の眠気状態の推定動作を主に行うものであって、記憶部（62）及びＣＰＵ（65）を備えたコンピュータである。演算装置（60）は、クラウドサーバ、ローカルサーバ等であることができる。
演算装置（60）は、空気調和装置（10）及びリモートコントローラ（30）と有線または無線で通信可能に接続されている。これにより、演算装置（60）は、室内（r1）の温度等である室内環境情報センサ（13）の検知結果及びカメラ（26）の撮像した画像を空気調和装置（10）から取得することができ、リモートコントローラ（30）がユーザ（U1,U2,U3）から実際の眠気状態を表す眠気情報の入力を受け付けた場合、これを取得することができる。また、演算装置（60）は、自身が推定した推定結果である眠気状態を、空気調和装置（10）の制御部（14）に出力することができる。
なお、本実施形態では、演算装置（60）が空気調和装置（10）とは別の装置である場合を例示しているが、演算装置（60）は、制御部（14）と同様、ＣＰＵ及びメモリからなるマイクロコンピュータで構成され、空気調和装置（10）内に組み込まれていてもよい。
記憶部（62）は、フラッシュメモリ及びハードディスク等の不揮発性記憶装置で構成される。記憶部（62）には、主に、ユーザ情報（63）が格納されている。
図３に示すように、ユーザ情報（63）は、個々のユーザ（U1,U2,U3）についての、ユーザ（U1,U2,U3）の動作及び状態（表情を含む）と、その動作及び状態を採っている時のユーザ（U1,U2,U3）の眠気状態とが対応づけられた情報である。眠い時または眠くない時に自ずと行う行動や表情等は、ユーザ（U1,U2,U3）毎に異なる場合がある。即ち、眠気の感覚に対する行動や表情等には、ユーザ（U1,U2,U3）毎に癖があると考えられる。それ故、その癖を、いわばユーザ（U1,U2,U3）の眠気状態を指し示す基準として定義したものが、ユーザ情報（63）である。
ＣＰＵ（65）は、記憶部（62）や当該記憶部（62）以外の他のメモリに記憶された各種プログラムを読み出して実行することにより、推定部（66）及びモデル更新部（68）として機能する。
−ユーザの眠気状態の推定−
推定部（66）は、カメラ（26）が撮像したユーザ（U1,U2,U3）の画像と室内環境情報センサ（13）の検知結果である室内環境情報とを必須パラメータとして用いて、ユーザ（U1,U2,U3）の眠気状態を推定する。このような推定部（66）は、推定モデル（67）を有する。
推定モデル（67）は、撮像された画像等からユーザ（U1,U2,U3）の眠気状態（眠気レベル）を、ディープラーニング等の手法を用いた演算にて求める専用モデルであって、ニューラルネットワークとして予め構築されている。本実施形態の推定モデル（67）は、図４の破線に示すように、主として、カメラ（26）が撮像した画像のデータに画像処理を施す画像処理ニューラルネットワーク（67a）、及び、画像処理の結果と室内環境情報センサ（13）の検知結果に関する情報とからユーザ（U1,U2,U3）の眠気状態を推定する眠気推定ニューラルネットワーク（67b）の、言わば２層構造のニューラルネットワークとなっている。
推定部（66）は、先ず、カメラ（26）が撮像した画像のデータを画像処理ニューラルネットワーク（67a）に入力する。画像処理ニューラルネットワーク（67a）では、画像データ（ここでは動画データ）の同時化処理等の他、エッジ検出やコントラスト処理等を駆使して、背伸びをしている等のユーザ（U1,U2,U3）の動作の抽出、目を閉じている等のユーザ（U1,U2,U3）の状態の抽出、ユーザ（U1,U2,U3）の性別の算出、ユーザ（U1,U2,U3）の年齢の算出が行われる。即ち、画像処理ニューラルネットワーク（67a）では、眠気状態を表すユーザ（U1,U2,U3）の特定の動作及び、状態が抽出され、眠気レベルを左右する一要因となる性別及び年齢が演算される。
図５（ａ）では、年齢の高低と眠気レベルとの関係の一例を概念的に表し、図５（ｂ）では、性別と眠気レベルとの関係の一例を概念的に表している。室内（r1）がとある温度で均一とした場合、図５（ａ）では、年齢が低い程、さほど眠気を感じないユーザ（U1,U2,U3）が多い傾向にあり、年齢が高い程、眠いと感じるユーザ（U1,U2,U3）は多い傾向にあることを表している。室内（r1）がとある温度で均一とした場合、図５（ｂ）では、同年齢にて比較すると、女性は、男性に比べて眠気を感じることが多い場合があることを表している。このように、求めた性別及び年齢は、眠気レベルを左右する指標の１つとなる。
図４に示すように、画像処理ニューラルネットワーク（67a）から出力された上記抽出結果及び上記演算結果と、例えば室内（r1）の温度、湿度、CO2の濃度である室内環境情報センサ（13）の検知結果（室内環境情報）に関する情報とが、眠気推定ニューラルネットワーク（67b）に入力される。本実施形態では、室内環境情報センサ（13）の検知結果は、推定モデル（67）における演算ニューラルネットワーク（67c）にて、眠気推定ニューラルネットワーク（67b）が扱えるタイプのデータとするための所定の演算を施された後に、室内環境情報センサ（13）の検知結果に関する情報として眠気推定ニューラルネットワーク（67b）に入力される場合を例示しているが、演算ニューラルネットワーク（67c）を介さずに、直接眠気推定ニューラルネットワーク（67b）に入力されてもよい。
眠気推定ニューラルネットワーク（67b）では、入力された各種情報のうち、眠気状態を表すユーザ（U1,U2,U3）の特定の動作及び状態である抽出結果と室内環境情報センサ（13）の検知結果に関する情報とから、図３に係るユーザ情報（63）を基準として、個々のユーザ（U1,U2,U3）の眠気状態が求められる。この際、入力された演算結果、即ちユーザ（U1,U2,U3）の性別及び年齢が、個々のユーザ（U1,U2,U3）の眠気状態の算出において加味される。
例えば室内（r1）の温度が高かったりCO2の濃度が高かったりする程、ユーザ（U1,U2,U3）の眠気は誘発される。そこで、ユーザ（U1,U2,U3）の特定の動作及び状態と共に、室内環境情報センサ（13）の検知結果に関する情報が、個々のユーザ（U1,U2,U3）の眠気レベルの推定に利用される。また、図５（ａ）（ｂ）で示した性別や年齢と眠気レベルとの関係性を考慮することで、ユーザ（U1,U2,U3）各個人の眠気情報がよりきめ細かく推定される。
推定部（66）は、このようにして求めたユーザ（U1,U2,U3）の眠気状態（眠気レベル）を、眠気状態の推定結果として、空気調和装置（10）の制御部（14）に送信する。
−推定モデルの更新−
図６に示すように、モデル更新部（68）は、カメラ（26）が撮像した画像のデータ及びリモートコントローラ（30）が受け付けたユーザ（U1,U2,U3）の実際の眠気状態を表す眠気情報に基づいて上記推定モデル（67）を学習させる。
眠気状態の推定後にカメラ（26）が新たに撮像した画像に、例えばそれまで頬杖を付いていたユーザ（U1,U2,U3）が頬杖をしなくなった等の、ユーザ（U1,U2,U3）の動作及び状態に所望の変化が現れる可能性がある。この場合は、眠気状態の推定動作が比較的良好であって、その推定結果に基づく空調動作がユーザ（U1,U2,U3）の眠気状態を解消させる方向へと向かわせていると判断することができる。しかし、このような所望の変化が見られない場合は、眠気状態の推定動作が実際の眠気状態と乖離している可能性がある。そこで、モデル更新部（68）は、カメラ（26）が新たに撮像した画像を用いて推定モデル（67）を更新する。
また、リモートコントローラ（30）を介してユーザ（U1,U2,U3）が入力した眠気情報には、ユーザ（U1,U2,U3）の実際の眠気レベルが表れている。それ故、モデル更新部（68）は、リモートコントローラ（30）が受け付けた眠気情報も用いて推定モデル（67）を更新する。
このような更新動作により、推定モデル（67）（具体的には、眠気推定ニューラルネットワーク（67b））は、より実際の眠気状態に近い推定結果を算出できるようなモデルに更新されていく。
なお、モデル更新部（68）は、前回撮影した画像におけるユーザ（U1,U2,U3）の動作及び状態と、新たに撮像した画像におけるユーザ（U1,U2,U3）の動作及び状態とを比較した結果、所望の変化がある場合、及び／または、リモートコントローラ（30）が受け付けた眠気情報が、眠気レベルが前回よりも所定レベル以上低下したことを表す内容である場合は、推定モデル（67）の更新動作は不要と判定し、推定モデル（67）の更新動作を行わずともよい。つまり、推定モデル（67）の更新動作は、前回撮像した画像と新たに撮像した画像との間でユーザ（U1,U2,U3）の動作及び状態に所望の変化がなかった場合、及び／または、リモートコントローラ（30）が受け付けた眠気情報が所望する眠気レベルよりも高い場合に行われると良い。ＣＰＵ（65）が不必要な処理を行うことで高負荷となることを和らげるためである。
なお、本実施形態では、推定モデル（67）のうち更新対象となるものは、眠気推定ニューラルネットワーク（67b）であるが、画像処理ニューラルネットワーク（67a）や演算ニューラルネットワーク（67c）が更に更新対象であってもよい。
なお、図６に示すように、推定モデル（67）を更新する際には、更に室内環境情報センサ（13）の検知結果も利用されてもよいが、利用されずともよい。
＜推定したユーザの眠気状態に伴う空調動作＞
図７は、ユーザ（U1,U2,U3）の眠気状態の推定動作、及び、推定した眠気状態（眠気レベル）に伴う空調動作の流れを示す図である。
カメラ（26）は、ユーザ（U1,U2,U3）の画像を撮像する（St11）。カメラ（26）が撮像した画像は、演算装置（60）に送信される。
演算装置（60）では、推定部（66）は、推定モデル（67）における画像処理ニューラルネットワーク（67a）を用いて、ユーザ（U1,U2,U3）の動作及び状態の抽出、性別及び年齢の演算を行う（St12）。推定部（66）は、推定モデル（67）における眠気推定ニューラルネットワーク（67b）に、ステップSt12における抽出結果及び演算結果と、室内環境情報センサ（13）の検知結果である室内環境情報（ここでは、検知結果に関する情報）とを入力して、各ユーザ（U1,U2,U3）の眠気レベルを含む眠気状態を推定する（St13）。眠気状態の推定結果は、空気調和装置（10）の制御部（14）に送信される。
上記推定結果は、図示していないが、演算装置（60）が有するデータベースに格納される（St14）。この際、推定結果と共に、室内（r1）の温度を含む室内環境情報、現在の空気調和装置（10）の風向及び風量が、データベースに対応づけて格納される。データベースは、眠気状態の推定動作の精度向上のため、推定モデル（67）の更新時に用いられても良い。また、データベースは、以下の“閾値”を最適な値に補正するために用いられると更に好ましい。
空気調和装置（10）の制御部（14）は、推定された眠気レベルが閾値以下となるように、個々のユーザ（U1,U2,U3）に適した空調制御内容を算出し（St15）、算出した空調制御を実行させる（St16）。例えば、制御部（14）は、眠気レベルと閾値との差が大きい程、当該眠気レベルであるユーザ（U1,U2,U3）に対して冷却または加熱された空気を風量を上げた状態で供給する空調制御内容を実行する。制御部（14）は、眠気レベルと閾値との差が小さい程、当該眠気レベルであるユーザ（U1,U2,U3）に対しては現在の空気の供給量を維持する空調制御内容を実行する。このように、個々のユーザ（U1,U2,U3）の眠気レベルと閾値との差の大きさに応じて、そのユーザ（U1,U2,U3）への風向及び風量を変化させる空調制御内容が算出されて実行される。このような空調制御内容は、眠気レベルが高いユーザ（U1,U2,U3）に対しては眠気を解消させて覚醒を促し、眠気レベルが低いユーザ（U1,U2,U3）に対しては引き続き現在の状態を維持するように作用させるための内容と言える。これにより、各個人の眠気レベルは、空調制御によって改善または維持される。そのため、室内（r1）内のユーザ（U1,U2,U3）全体の眠気レベルの平均は改善され、ユーザ（U1,U2,U3）の作業性は向上する。
＜効果＞
室内の環境は、ユーザ（U1,U2,U3）の眠気状態に影響を及ぼす。そこで、演算装置（60）の推定部（66）は、カメラ（26）が撮像したユーザ（U1,U2,U3）の画像と共に、室内環境情報センサ（13）の検知結果である室内環境情報（室内（r1）の温度やCO2濃度等）に基づいて、ユーザ（U1,U2,U3）の眠気状態を推定する。これにより、ユーザ（U1,U2,U3）の眠気を精度良く把握することができる。
上記画像には、ユーザ（U1,U2,U3）の眠気状態を表すユーザ（U1,U2,U3）の動作及び状態が写し出されている。そこで、推定部（66）は、ユーザ（U1,U2,U3）の動作及び状態を画像から抽出してユーザ（U1,U2,U3）の眠気状態を推定する。これにより、ユーザ（U1,U2,U3）の眠気状態の推定精度は向上する。
また、年齢及び性別の違いは、人が「眠い」と感じる感覚に影響を及ぼすことがある。そこで、推定部（66）は、画像からユーザ（U1,U2,U3）の年齢及び性別を演算し、その演算結果を更に用いてユーザ（U1,U2,U3）の眠気状態を推定する。これにより、ユーザ（U1,U2,U3）の眠気状態の推定精度はより向上する。
また、カメラ（26）は、天井に設置されている空気調和装置（10）に設けられている。そのため、カメラ（26）は、室内（r1）に居るユーザ（U1,U2,U3）を、障害物により遮られる可能性が軽減された状態で、撮像することができる。
また、推定部（66）は、室内（r1）に居る複数のユーザ（U1,U2,U3）それぞれの眠気状態を推定する。即ち、本実施形態では、個々のユーザ（U1,U2,U3）の眠気状態を推定することができる。
ところで、ユーザ（U1,U2,U3）が「眠い」または「眠くない」と感じている際にユーザ（U1,U2,U3）が採る動作及び状態は、ユーザ（U1,U2,U3）毎に異なることがある。そこで、推定部（66）は、個々のユーザ（U1,U2,U3）が「眠い」または「眠くない」と感じた際に採る動作及び状態を表すユーザ情報（63）を、実際に撮像した画像におけるユーザ（U1,U2,U3）の動作及び状態との照合に用いる。これにより、個々のユーザ（U1,U2,U3）の眠気状態の推定精度はより向上する。
空気調和装置（10）の制御部（14）は、ユーザ（U1,U2,U3）の眠気状態のレベルが低下するように、演算装置（60）の推定部（66）が推定した眠気状態に基づいて空調動作を制御する。これにより、ユーザ（U1,U2,U3）がリモートコントローラ（30）等を操作して眠気が解消するような空調動作の実行指示を空気調和装置（10）に与えずとも、空気調和装置（10）は、ユーザ（U1,U2,U3）の眠気が改善し覚醒を促すのに適した空調動作を自動的に行う。従って、ユーザ(U1,U2,U3）の利便性は向上し、ユーザ（U1,U2,U3）は、眠気状態が解消して覚醒し易くなる。
特に、ユーザ（U1,U2,U3）の眠気状態の推定精度が向上しているため、推定された眠気状態に応じた空調動作がなされることにより、ユーザ（U1,U2,U3）の眠気状態はより解消し易くなる。
特に、個々のユーザ（U1,U2,U3）の眠気状態を推定し、個々のユーザ（U1,U2,U3）の眠気状態に適した空調動作がなされることにより、室内（r1）に居るユーザ（U1,U2,U3）全体の眠気レベルを改善することができる。
また、ユーザ（U1,U2,U3）の画像及びリモートコントローラ（30）が受け付けたユーザ（U1,U2,U3）の眠気情報に基づいて、推定モデル（67）が学習される。従って、推定部（66）が学習後の推定モデル（67）を用いて眠気状態の推定動作を行うことにより、ユーザ（U1,U2,U3）の眠気状態の推定精度はより向上する。
≪第２実施形態≫
本実施形態では、上記第１実施形態において、空調制御装置（50）が更にサーモグラフィセンサ（128）（表面温度測定部に相当）を備え、推定部（66）は、ユーザ（U1,U2,U3）の眠気状態の推定動作に更にサーモグラフィセンサ（128）の検知結果を用いる場合について説明する。
図８は、第１実施形態の図４に対応する図であって、本実施形態に係る眠気状態の推定時の推定モデル（67）の入力及び出力を表す概念図である。図８の破線に示すように、推定部（66）における推定モデル（67）は、上記第１実施形態と同様、撮像された画像のデータと室内環境情報とからユーザ（U1,U2,U3）の眠気レベルを含む眠気状態を演算によって求める専用のニューラルネットワークとして予め構築されている。具体的には、推定モデル（67）は、主として、画像処理ニューラルネットワーク（67a）と眠気推定ニューラルネットワーク（67b）の、言わば２層構造のニューラルネットワークとなっている。
上記第１実施形態と同様、室内環境情報センサ（13）の検出結果である室内環境情報は、推定モデル（67）における演算ニューラルネットワーク（67c）にて、眠気推定ニューラルネットワーク（67b）が扱えるタイプのデータとするための所定の演算を施された後に、眠気推定ニューラルネットワーク（67b）に入力される場合を例示している。
画像処理ニューラルネットワーク（67a）の入力と出力は、上記第１実施形態と同様である。
眠気推定ニューラルネットワーク（67b）には、画像処理ニューラルネットワーク（67a）の抽出結果及び演算結果、室内環境情報センサ（13）の検知結果に関する情報に加え、サーモグラフィセンサ（128）の検知結果が入力される。
サーモグラフィセンサ（128）は、室内（r1）に居る各ユーザ（U1,U2,U3）の表面温度を測定する。サーモグラフィセンサ（128）の室内（r1）での取り付け位置は、特に限定されることはなく、例えばリモートコントローラ（30）に組み込まれても良いし、空気調和装置（10）の下面（21）に取り付けられてもよい。
なお、図８に示すように、サーモグラフィセンサ（128）の検知結果は、室内環境情報センサ（13）の検知結果が演算ニューラルネットワーク（67c）にて演算処理されるのと同様、別途演算ニューラルネットワーク（67d）にて所定の演算が施された後に、眠気推定ニューラルネットワーク（67b）に入力されても良い。
眠気推定ニューラルネットワーク（67b）では、上記第１実施形態と同様、画像処理ニューラルネットワーク（67a）の抽出結果及び室内環境情報に基づいて個々のユーザ（U1,U2,U3）の眠気状態が求められる。この際、上記第１実施形態と同様、ユーザ情報（63）は基準として用いられる。画像処理ニューラルネットワーク（67a）の演算結果（年齢及び性別）に加えて、サーモグラフィセンサ（128）の検知結果（表面温度）が、ユーザ（U1,U2,U3）の眠気状態の算出において加味される。
サーモグラフィセンサ（128）の検知結果は、図９に示すように、推定モデル（67）の更新動作においても、画像処理ニューラルネットワーク（67a）の抽出結果及び演算結果、室内環境情報センサ（13）の検知結果に関する情報に加えて用いられてもよい。
図８及び図９を用いて説明した以外、具体的には、空調制御装置（50）を用いた空調システム（100）の構成、ユーザ情報（63）、推定結果を用いた空調動作の詳細は、上記第１実施形態と同様であるため、説明を省略する。
このように、本実施形態では、ユーザ（U1,U2,U3）の眠気状態の推定に、ユーザ（U1,U2,U3）の実際の表面温度が更に用いられる。従って、ユーザ（U1,U2,U3）の眠気状態の推定精度はより向上する。また、空気調和装置（10）は、ユーザ（U1,U2,U3）の眠気がより改善し覚醒を促すのに適した空調動作を行うことができる。
なお、サーモグラフィセンサ（128）の検知結果は、更に、空気調和装置（10）からユーザ（U1,U2,U3）に供給される空気がユーザ（U1,U2,U3）にとって適切な温度及び風量であるのかを制御部（14）が判断するために利用されてもよい。例えば、ユーザ（U1,U2,U3）の眠気状態の改善のためと云えども、冷却された空気がユーザ（U1,U2,U3）に多量に供給されると、ユーザ（U1,U2,U3）の表面温度が過度に低下してしまい、かえってユーザ（U1,U2,U3）に対し刺激の与えすぎとなってしまう。そのため、サーモグラフィセンサ（128）の検知結果から、空気調和装置（10）がユーザ（U1,U2,U3）に供給する空気がユーザ（U1,U2,U3）にとって適切な温度及び風量ではないと判断した時は、制御部（14）は、サーモグラフィセンサ（128）の検知結果に基づいて供給する空気の温度及び風量を和らげるように空調制御内容を調整することが好ましい。
≪その他の実施形態≫
上記第１実施形態及び第２実施形態において、画像と室内環境情報におけるCO2濃度とを用いて、時間帯に即して眠気を解消するような空調制御が更に行われても良い。例えば、昼食後、人は眠くなる傾向にある。CO2濃度が高い程眠気は強くなる。そこで、空気調和装置（10）の制御部（14）は、午後は室内（r1）の目標温度を午前中よりも一時的に下げると共に、CO2の濃度に応じて目標温度の下げ幅を調整すると好ましい。その際、推定部（66）が、眠気レベルが高い人の数が所定数以上であると画像を用いて推定した場合、制御部（14）は、CO2濃度を下げるために、換気動作を空調動作として決定することが好ましい。
上記第１実施形態及び第２実施形態において、推定部（66）は、更に各ユーザ（U1,U2,U3）の心拍数の検知結果を各ユーザ（U1,U2,U3）の眠気状態の推定に用いても良い。これにより、各ユーザ（U1,U2,U3）の眠気レベルはより細かく把握されるようになる。各ユーザ（U1,U2,U3）の心拍数は、カメラ（26）が撮像した画像から、各ユーザ（U1,U2,U3）の状態を表す情報として算出されてもよいし、カメラ（26）とは別の心拍数を検知するセンサによって検知されても良い。各ユーザ（U1,U2,U3）の心拍数は、推定モデル（67）の学習の際に用いられても良い。
制御部（14）は、画像から演算されたユーザ（U1,U2,U3）の年齢及び性別を用いて、より個人が覚醒し易くなるような効果的な個別の空調動作が行われるように、空調動作を制御してもよい。
上記第１実施形態及び第２実施形態において、吸い込みセンサとは別のセンサが室内環境情報センサ（13）として設けられても良い。室内環境情報センサ（13）が検知する室内に関する情報は、室内（r1）の温度、湿度、CO2の濃度に限定されることはなく、室内（r1）の環境に関する様々な情報が含まれる。また、室内環境情報センサ（13）の検知結果は、室内（r1）の温度のみ、CO2の濃度のみであってもよい。
カメラ（26）が新たに撮像した画像は、リモートコントローラ（30）を介して入力されたユーザ（U1,U2,U3）の眠気情報と同様、推定モデル（67）の更新のみならず、空調動作の制御の微調整に利用されてもよい。
上記第１実施形態及び第２実施形態において、画像には、ユーザ（U1,U2,U3）の眠気状態を表すユーザ（U1,U2,U3）の動作及び状態が写し出されていると説明したが、画像に写し出されているものは、ユーザ（U1,U2,U3）の動作及び状態のうち少なくとも１つであってもよい。この場合、画像処理ニューラルネットワーク（67a）の抽出結果は、ユーザ（U1,U2,U3）の動作及び状態のうち、少なくとも１つとなる。
ユーザ（U1,U2,U3）の性別及び年齢の演算結果は、眠気状態の推定に利用されずとも良い。
ユーザ（U1,U2,U3）の性別及び年齢を眠気状態の推定に用いる場合、ユーザ（U1,U2,U3）の性別及び年齢のいずれか一方が眠気状態の推定に用いられもよい。
空気調和装置（10）は、室内（r1）の天井に設置されるタイプに限定されず、壁面設置タイプ、床置きタイプ等であることができる。
カメラ（26）は、室内（r1）のユーザ（U1,U2,U3）を撮像できる位置にあればよく、空気調和装置（10）に設けられずともよい。例えば、カメラ（26）は、ユーザ（U1,U2,U3）のパーソナルコンピュータが有するウェブカメラであってもよい。
上記第１実施形態及び第２実施形態に係る空調制御装置（50）は、室内（r1）に居るユーザの人数が一人である場合にも適用することができる。
また、空調制御装置（50）は、室内（r1）に居るユーザの人数が複数の場合、眠気状態の推定対象者は、全員ではなく、任意であってもよい。
推定部（66）は、眠気状態の推定時に、ユーザ情報（63）を利用せずともよい。
眠気状態の推定結果に基づいて空気調和装置（10）の空調動作を制御することは、必ずしも必須ではない。従って、眠気状態の推定動作のみを行う眠気推定装置であってもよい。
推定モデル（67）の更新動作は行われなくても良い。
推定モデル（67）の更新動作を行う場合、眠気状態の推定時と推定モデル（67）の更新動作時とで、使用するパラメータが同じであってもよいし、異なっていても良い。例えば、眠気状態の推定時のパラメータは、画像、室内の温度及び湿度、吹き出し口（24）から吹き出される空気の吹き出し温度及び湿度、風量、風向、空調能力のうち少なくとも１つであることができる。推定モデル（67）の更新動作時のパラメータは、画像、室内の温度及び湿度、風速、輻射温度、CO2の濃度のうち少なくとも１つであることができる。
上記第１実施形態及び第２実施形態では、ニューラルネットワークで構築された推定モデル（67）を利用して眠気状態の推定が行われる場合を説明したが、眠気状態の推定動作は、上記推定モデル（67）を利用することなく、例えばプログラムを実行することによってなされてもよい。
空調動作の制御は、制御部（14）に代えて演算装置（60）が行っても良い。
以上説明したように、本発明は、ユーザの眠気状態を推定する眠気推定装置について有用である。
10 空気調和装置
13 室内環境情報センサ（検知部）
14 制御部
26 カメラ（撮像部）
30 リモートコントローラ（受け付け部）
50 空調制御装置（睡眠推定装置）
62 記憶部
63 ユーザ情報
66 推定部
67 推定モデル
68 モデル更新部
U1,U2,U3 ユーザ
128 サーモグラフィセンサ（表面温度測定部）

Claims (9)

  1. ユーザ（U1,U2,U3）を撮像する撮像部（26）と、
    上記ユーザ（U1,U2,U3）が居る室内（r1）の環境に関する室内環境情報を検知する検知部（13）と、
    上記撮像部（26）が撮像した上記ユーザ（U1,U2,U3）の画像と上記検知部（13）が検知した上記室内環境情報とに基づいて、上記ユーザ（U1,U2,U3）の眠気状態を推定する推定部（66）と、
    を備えることを特徴とする眠気推定装置。
  2. 請求項１において、
    上記画像には、上記ユーザ（U1,U2,U3）の眠気状態を表す上記ユーザ（U1,U2,U3）の動作、及び／または、上記ユーザ（U1,U2,U3）の眠気状態を表す上記ユーザ（U1,U2,U3）の状態が写し出されており、
    上記推定部（66）は、上記画像から上記ユーザ（U1,U2,U3）の動作及び／または上記ユーザ（U1,U2,U3）の状態を抽出して上記ユーザ（U1,U2,U3）の眠気状態を推定する
    ことを特徴とする眠気推定装置。
  3. 請求項１または請求項２において、
    上記推定部（66）は、上記画像から上記ユーザ（U1,U2,U3）の性別及び／または年齢を算出し、算出した上記ユーザ（U1,U2,U3）の性別及び／または年齢に更に基づいて上記ユーザ（U1,U2,U3）の上記眠気状態を推定する
    ことを特徴とする眠気推定装置。
  4. 請求項１から請求項３のいずれか１項において、
    上記室内（r1）に居る上記ユーザ（U1,U2,U3）の表面温度を測定する表面温度測定部（128）、
    を更に備え、
    上記推定部（66）は、更に上記表面温度測定部（128）の測定結果に基づいて、上記ユーザ（U1,U2,U3）の上記眠気状態を推定する
    ことを特徴とする眠気推定装置。
  5. 請求項１から請求項４のいずれか１項において、
    空気調和装置（10）が、上記室内（r1）の天井に設置されており、
    上記撮像部（26）は、上記空気調和装置（10）に設けられている
    ことを特徴とする眠気推定装置。
  6. 請求項１から請求項５のいずれか１項において、
    上記室内（r1）に複数の上記ユーザ（U1,U2,U3）が存在する場合、上記推定部（66）は、複数の上記ユーザ（U1,U2,U3）それぞれの上記眠気状態を推定する
    ことを特徴とする眠気推定装置。
  7. 請求項６において、
    複数の上記ユーザ（U1,U2,U3）それぞれについての、上記ユーザ（U1,U2,U3）の動作及び／または上記ユーザ（U1,U2,U3）の状態と、該動作及び／または該状態時の上記ユーザ（U1,U2,U3）の上記眠気状態とが対応づけられたユーザ情報（63）、を記憶する記憶部（62）、
    を更に備え、
    上記推定部（66）は、
    各上記ユーザ（U1,U2,U3）の動作及び／または各上記ユーザ（U1,U2,U3）の状態を上記画像から抽出し、
    抽出結果と上記ユーザ情報（63）とを用いて、複数の上記ユーザ（U1,U2,U3）それぞれの上記眠気状態を推定する
    ことを特徴とする眠気推定装置。
  8. 請求項１から請求項７のいずれか１項において、
    上記推定部（66）の推定結果に基づいて、上記ユーザ（U1,U2,U3）の上記眠気状態のレベルが低下するように、上記室内（r1）を空調対象とする空気調和装置（10）の空調動作を制御する制御部（14）、
    を更に備える
    ことを特徴とする眠気推定装置。
  9. 請求項８において、
    上記ユーザ（U1,U2,U3）の上記眠気状態を表す眠気情報の該ユーザ（U1,U2,U3）による入力を受け付けることが可能な受け付け部（30）と、
    上記撮像部（26）が撮像した上記画像及び／または上記受け付け部（30）が受け付けた上記眠気情報に基づいて、上記眠気状態の推定に用いる推定モデル（67）を学習させるモデル更新部（68）と、
    を更に備える
    ことを特徴とする眠気推定装置。
JP2017209733A 2017-10-30 2017-10-30 眠気推定装置 Active JP6387173B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017209733A JP6387173B1 (ja) 2017-10-30 2017-10-30 眠気推定装置
PCT/JP2018/031081 WO2019087536A1 (ja) 2017-10-30 2018-08-23 眠気推定装置
EP18873058.4A EP3683513B1 (en) 2017-10-30 2018-08-23 Drowsiness estimation device
CN201880068347.6A CN111448429A (zh) 2017-10-30 2018-08-23 睡意推测装置
US16/755,242 US11598548B2 (en) 2017-10-30 2018-08-23 Device for estimating drowsiness of a user based on image and environment information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017209733A JP6387173B1 (ja) 2017-10-30 2017-10-30 眠気推定装置

Publications (2)

Publication Number Publication Date
JP6387173B1 JP6387173B1 (ja) 2018-09-05
JP2019082282A true JP2019082282A (ja) 2019-05-30

Family

ID=63444292

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017209733A Active JP6387173B1 (ja) 2017-10-30 2017-10-30 眠気推定装置

Country Status (5)

Country Link
US (1) US11598548B2 (ja)
EP (1) EP3683513B1 (ja)
JP (1) JP6387173B1 (ja)
CN (1) CN111448429A (ja)
WO (1) WO2019087536A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021014939A1 (ja) * 2019-07-22 2021-01-28 日本電気株式会社 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法および記録媒体
JP2021032451A (ja) * 2019-08-21 2021-03-01 ダイキン工業株式会社 空気処理装置および汚れ推定システムならびに汚れ推定方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6658822B2 (ja) * 2017-10-30 2020-03-04 ダイキン工業株式会社 集中度推定装置
US20220373209A1 (en) * 2021-05-21 2022-11-24 Komfort Iq Inc. System and method for climate control
JP6784282B2 (ja) * 2018-07-24 2020-11-11 ダイキン工業株式会社 環境設備制御装置および環境設備制御システム
CN109654657A (zh) * 2018-12-11 2019-04-19 美的集团武汉制冷设备有限公司 空调器送风的控制方法、空调器、控制终端及存储介质
CN109747382A (zh) * 2019-01-28 2019-05-14 浙江大学 基于脑电信号分析的车舱环境智能控制系统及控制方法
CN113543831A (zh) 2019-02-04 2021-10-22 日本电气株式会社 觉醒水平控制设备、觉醒水平控制方法和记录介质
US11826147B2 (en) 2019-02-04 2023-11-28 Nec Corporation Arousal level control apparatus, arousal level control method, and recording medium
CN110186167B (zh) * 2019-05-31 2021-08-13 广东美的制冷设备有限公司 空调器的控制方法、装置、空调器及存储介质
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
US10993647B2 (en) * 2019-08-21 2021-05-04 Micron Technology, Inc. Drowsiness detection for vehicle control
KR20210074792A (ko) * 2019-12-12 2021-06-22 삼성전자주식회사 공기 조화 장치 및 그 제어 방법
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission
KR20210100354A (ko) * 2020-02-06 2021-08-17 엘지전자 주식회사 공기 조화기 및 이의 제어 방법
US11940168B2 (en) * 2022-03-25 2024-03-26 Motorola Mobility Llc Device with optical heart rate sensor and corresponding methods

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08332871A (ja) * 1995-06-06 1996-12-17 Mitsubishi Electric Corp 覚醒度検出装置
JPH09154835A (ja) * 1995-12-07 1997-06-17 Matsushita Electric Ind Co Ltd 居眠り検出装置
JP2009201676A (ja) * 2008-02-27 2009-09-10 Toyota Motor Corp 覚醒度推定装置
JP2016217709A (ja) * 2016-09-29 2016-12-22 シャープ株式会社 空気調和機
JP2017127616A (ja) * 2015-07-22 2017-07-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 覚醒度予測方法および覚醒度予測装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5996898A (en) * 1998-04-07 1999-12-07 University Of Central Florida Automatic occupancy and temperature control for ceiling fan operation
JP2005104237A (ja) 2003-09-29 2005-04-21 Denso Corp 車両用居眠り防止装置
DE102006006436A1 (de) * 2006-02-13 2007-08-16 Robert Bosch Gmbh Vorrichtung und Verfahren zur Klimasteuerung
CN101470935B (zh) * 2007-12-26 2010-11-03 南京理工大学 关键岗位职守人员状态监控与信息提示方法及其实现装置
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
CN104540701B (zh) * 2012-08-14 2017-11-07 沃尔沃拉斯特瓦格纳公司 用于确定驾驶员的操作状态的方法
KR101575051B1 (ko) * 2014-06-13 2015-12-21 엘지전자 주식회사 웨어러블 디바이스 및 그 제어방법
KR101554188B1 (ko) * 2014-06-05 2015-09-18 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
JP2016171840A (ja) * 2015-03-16 2016-09-29 パナソニックＩｐマネジメント株式会社 環境制御システム、制御装置、プログラム
JP6505514B2 (ja) 2015-06-10 2019-04-24 パナソニック株式会社 空気調和機、センサシステムおよびその温冷感推定方法
US10716502B2 (en) * 2015-07-22 2020-07-21 Panasonic Intellectual Property Corporation Of America Method for predicting arousal level and arousal level prediction apparatus
JP6677126B2 (ja) * 2016-08-25 2020-04-08 株式会社デンソー 車両用対話制御装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08332871A (ja) * 1995-06-06 1996-12-17 Mitsubishi Electric Corp 覚醒度検出装置
JPH09154835A (ja) * 1995-12-07 1997-06-17 Matsushita Electric Ind Co Ltd 居眠り検出装置
JP2009201676A (ja) * 2008-02-27 2009-09-10 Toyota Motor Corp 覚醒度推定装置
JP2017127616A (ja) * 2015-07-22 2017-07-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 覚醒度予測方法および覚醒度予測装置
JP2016217709A (ja) * 2016-09-29 2016-12-22 シャープ株式会社 空気調和機

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021014939A1 (ja) * 2019-07-22 2021-01-28 日本電気株式会社 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法および記録媒体
JPWO2021014939A1 (ja) * 2019-07-22 2021-01-28
JP7231035B2 (ja) 2019-07-22 2023-03-01 日本電気株式会社 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法およびプログラム
JP2021032451A (ja) * 2019-08-21 2021-03-01 ダイキン工業株式会社 空気処理装置および汚れ推定システムならびに汚れ推定方法

Also Published As

Publication number Publication date
JP6387173B1 (ja) 2018-09-05
CN111448429A (zh) 2020-07-24
US11598548B2 (en) 2023-03-07
WO2019087536A1 (ja) 2019-05-09
EP3683513B1 (en) 2021-12-08
EP3683513A4 (en) 2020-11-25
EP3683513A1 (en) 2020-07-22
US20200240670A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
JP6387173B1 (ja) 眠気推定装置
JP7189855B2 (ja) 空調制御装置
JP6658822B2 (ja) 集中度推定装置
JP2019215162A5 (ja)
EP2716988B1 (en) Air conditioning control system, air conditioning control method and program
JP6340344B2 (ja) 空気調和機及び空気調和機の制御方法
JP6784314B2 (ja) 換気制御装置及び換気システム
JP6257701B2 (ja) 空気調和システム
US11318811B2 (en) Wakefulness inducing device and wakefulness inducing system
JP6386950B2 (ja) 空気調和機および空気調和機の制御方法
JP6668010B2 (ja) 空調制御装置、空調制御方法、および空調制御プログラム
CN112902321A (zh) 送风装置的控制方法、送风装置、送风系统及存储介质
JP2017166798A (ja) 空気調和機
JP2021124246A (ja) 空調システム、および、空調機の制御方法
JP2023054614A (ja) 環境制御システム
JP2023166275A (ja) 空調システム
JPWO2022059137A5 (ja)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180131

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180131

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180612

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180810

R150 Certificate of patent or registration of utility model

Ref document number: 6387173

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150