CN111448429A - 睡意推测装置 - Google Patents

睡意推测装置 Download PDF

Info

Publication number
CN111448429A
CN111448429A CN201880068347.6A CN201880068347A CN111448429A CN 111448429 A CN111448429 A CN 111448429A CN 201880068347 A CN201880068347 A CN 201880068347A CN 111448429 A CN111448429 A CN 111448429A
Authority
CN
China
Prior art keywords
drowsiness
user
estimation
unit
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880068347.6A
Other languages
English (en)
Inventor
北川慧太
上総拓也
半田阳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Original Assignee
Daikin Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd filed Critical Daikin Industries Ltd
Publication of CN111448429A publication Critical patent/CN111448429A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/74—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity
    • F24F11/76—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity by means responsive to temperature, e.g. bimetal springs
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/30—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4812—Detecting sleep stages or cycles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4821—Determining level or depth of anaesthesia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F1/00—Room units for air-conditioning, e.g. separate or self-contained units or units receiving primary air from a central station
    • F24F1/0007—Indoor units, e.g. fan coil units
    • F24F1/0043—Indoor units, e.g. fan coil units characterised by mounting arrangements
    • F24F1/0047—Indoor units, e.g. fan coil units characterised by mounting arrangements mounted in the ceiling or at the ceiling
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F24F11/64—Electronic processing using pre-stored data
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/74—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity
    • F24F11/77—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity by controlling the speed of ventilators
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/79—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling the direction of the supplied air
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/80—Control systems characterised by their outputs; Constructional details thereof for controlling the temperature of the supplied air
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00—Control inputs relating to users or occupants
    • F24F2120/10—Occupancy
    • F24F2120/14—Activity of occupants
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00—Control inputs relating to users or occupants
    • F24F2120/20—Feedback from users
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B30/00—Energy efficient heating, ventilation or air conditioning [HVAC]
    • Y02B30/70—Efficient control or regulation technologies, e.g. for control of refrigerant flow, motor or heating

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Fluid Mechanics (AREA)
  • Anesthesiology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Thermal Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Air Conditioning Control Device (AREA)
  • Air-Conditioning For Vehicles (AREA)
  • Selective Calling Equipment (AREA)

Abstract

照相机(26)拍摄用户(U1、U2、U3)。室内环境信息传感器(13)检测与用户(U1、U2、U3)所在的室内(r1)环境相关的室内环境信息。推测部(66)根据照相机(26)已拍摄到的用户(U1、U2、U3)的图像以及室内环境信息传感器(13)已检测出的室内环境信息，推测用户(U1、U2、U3)的睡意状态。

Description

睡意推测装置
技术领域
本发明涉及一种睡意推测装置。
背景技术
已知有专利文献1所示的以下技术：通过照相机以及方向盘的动作来检测驾驶员的疲劳状态。
专利文献1：日本公开专利公报特开2005-104237号公报
发明内容
－发明要解决的技术问题－
在驾驶员等用户产生睡意的因素中，不仅用户疲劳会起作用，有时其他因素也会起作用。专利文献1中的技术难以掌握用户感到何种程度的睡意。
本发明的目的在于：高精度地掌握用户的睡意状态。
－用于解决技术问题的技术方案－
本公开第一方面的发明是一种睡意推测装置，其特征在于：该睡意推测装置包括摄像部26、检测部13以及推测部66，所述摄像部26拍摄用户U1、U2、U3，所述检测部13检测与所述用户U1、U2、U3所在的室内r1环境相关的室内环境信息，所述推测部66根据所述摄像部26拍摄到的所述用户U1、U2、U3的图像以及所述检测部13检测出的所述室内环境信息，推测所述用户U1、U2、U3的睡意状态。
能够列举出的室内环境信息有：室内的CO2浓度、温度等。这样的室内环境信息可能成为影响用户的睡意状态的因素。这里，当拍摄到用户时，根据该图像和所述室内环境信息就会推测出用户的睡意信息。这样一来，能够高精度地掌握用户的睡意。
第二方面的发明是这样的，在第一方面的发明中，其特征在于：所述图像反映出：表示所述用户U1、U2、U3的睡意状态的所述用户U1、U2、U3的动作和/或表示所述用户U1、U2、U3的睡意状态的所述用户U1、U2、U3的状态。所述推测部66从所述图像中提取所述用户U1、U2、U3的动作和/或所述用户U1、U2、U3的状态并推测所述用户U1、U2、U3的睡意状态。
这样一来，能够更准确地推测用户处于何种发困程度的睡意状态。
第三方面的发明是这样的，在第一方面的发明或第二方面的发明中，其特征在于：所述推测部66根据所述图像计算所述用户U1、U2、U3的性别和/或年龄，进一步根据计算出的所述用户U1、U2、U3)的性别和/或年龄推测所述用户U1、U2、U3的所述睡意状态。
这样一来，对用户的睡意状态的推测精度会进一步提高。
第四方面的发明是这样的，在第一方面到第三方面任一方面的发明中，其特征在于：该睡意推测装置还包括表面温度测量部128，该表面温度测量部128测量位于所述室内r1的用户U1、U2、U3的表面温度，所述推测部66进一步根据所述表面温度测量部128的测量结果推测所述用户U1、U2、U3的所述睡意状态。
这样一来，对用户的睡意状态的推测精度会进一步提高。
第五方面的发明是这样的，在第一方面到第四方面任一方面的发明中，其特征在于：空调装置10设置在所述室内r1的天花板上，所述摄像部26设置在所述空调装置10上。
这样一来，摄像部26能够在被障碍物遮挡的可能性低的状态下，对位于室内的用户进行拍摄。
第六方面的发明是这样的，在第一方面到第五方面任一方面的发明中，其特征在于：在所述室内r1存在多个所述用户U1、U2、U3的情况下，所述推测部66推测多个所述用户U1、U2、U3各自的所述睡意状态。
第七方面的发明是这样的，在第六方面的发明中，其特征在于：该睡意推测装置还包括存储部62，所述存储部62存储用户信息63，所述用户信息63为针对多个所述用户U1、U2、U3各自的、使所述用户U1、U2、U3的动作和/或所述用户U1、U2、U3的状态与该动作下和/或该状态下所述用户U1、U2、U3的所述睡意状态相互关联的信息，所述推测部66从所述图像中提取各个所述用户U1、U2、U3的动作和/或各个所述用户U1、U2、U3的状态，并利用提取结果和所述用户信息63推测多个所述用户U1、U2、U3各自的所述睡意状态。
这样一来，对各个用户的睡意状态的推测精度会进一步提高。
第八方面的发明是这样的，在第一方面到第七方面任一方面的发明中，其特征在于：该睡意推测装置还包括接收部30和模型更新部68，所述接收部30能够接收由所述用户U1、U2、U3输入的表示该用户U1、U2、U3的所述睡意状态的睡意信息，所述模型更新部68根据所述摄像部26拍摄到的所述图像和/或所述接收部30接收到的所述睡意信息让用于推测所述睡意状态的推测模型67学习。
这样一来，通过利用学习后的推测模型来进行对用户的睡意状态的推测工作，对用户的睡意状态的推测精度就会进一步提高。
第九方面的发明是这样的，在第一方面到第七方面任一方面的发明中，其特征在于：该睡意推测装置还包括控制部14，该控制部14根据所述推测部66的推测结果控制以所述室内r1为空气调节对象的空调装置10的第一空调工作，以便降低所述用户U1、U2、U3的所述睡意状态的级别。
这样一来，在室内的用户的睡意状态得到改善，因此用户变得容易醒来。
第十方面的发明是这样的，在第九方面的发明中，其特征在于：该睡意推测装置还包括模型更新部68，该模型更新部68从所述摄像部26在进行了基于所述推测部66的推测结果的所述第一空调工作后拍摄到的所述图像中掌握所述用户U1、U2、U3实际的所述睡意状态，并根据该掌握结果让用于推测所述睡意状态的推测模型67学习。
这样一来，推测模型的精度会进一步提高，而尽可能地使得推测模型的推测结果与实际一致。通过利用学习后的推测模型来进行对用户的睡意状态的推测工作，对用户的睡意状态的推测精度会进一步提高。
第十一方面的发明是这样的，在第九方面的发明或第十方面的发明中，其特征在于：该睡意推测装置还包括模型更新部68，所述模型更新部68将所述摄像部26在进行了基于所述推测部66的推测结果的所述第一空调工作后拍摄到的图像与所述摄像部26在所述第一空调工作前拍摄到的图像进行比较，并根据判断出所述用户U1、U2、U3的睡意的行为和状态的变化让用于推测所述睡意状态的推测模型67学习。
这样一来，推测模型的精度会进一步提高，而尽可能使得推测模型的推测结果与实际一致。通过利用学习后的推测模型来进行对用户的睡意状态的推测工作，对用户的睡意状态的推测精度会进一步提高。
第十二方面的发明是这样的，在第十一方面的发明中，其特征在于：判断出所述用户U1、U2、U3的睡意的行为和状态的变化是指：所述行为和所述状态的频率减少，或者，所述行为和所述状态不再出现。
这样一来，能够更准确地判断推测模型的推测结果是否与实际一致。
第十三方面的发明是这样的，在第九方面到第十二方面任一方面的发明中，其特征在于：该睡意推测装置还包括接收部30，该接收部30能够接收由所述用户U1、U2、U3输入的表示该用户U1、U2、U3的所述睡意状态的睡意信息，所述控制部14根据所述接收部30在进行了基于所述推测部66的推测结果的所述第一空调工作后接收到的所述睡意信息，学习对所述第一空调工作进行的控制内容，以便降低所述用户U1、U2、U3的所述睡意状态的级别。
这样一来，下次进行的第一空调工作就容易让用户U1、U2、U3的睡意状态的级别降得更低。
第十四方面的发明是这样的，在第九方面到第十三方面任一方面的发明中，其特征在于：所述控制部14根据所述摄像部26在进行了基于所述推测部66的推测结果的所述第一空调工作后拍摄到的所述图像，学习对所述第一空调工作进行的控制内容，以便降低所述用户U1、U2、U3的所述睡意状态的级别。
这样一来，下次进行的第一空调工作就容易让用户U1、U2、U3的睡意状态的级别降得更低。
第十五方面的发明是这样的，在第十三方面的发明或第十四方面的发明中，其特征在于：对所述第一空调工作进行的控制内容包括对以下至少一项进行调节：所述空调装置10所包括的室内风扇12的转速、调节从所述空调装置10吹出的风向的导风板16的位置、所述空调装置10的设定温度、所述室内r1的目标CO2浓度。
这样一来，下次进行的第一空调工作就容易让用户U1、U2、U3的睡意状态的级别更可靠地降低。
－发明的效果－
根据本公开各方面的发明，能够高精度地掌握用户的睡意。
附图说明
图1是包括睡意推测装置的空调系统的外观图；
图2是示意地示出包括睡意推测装置的空调系统的构成的方框图；
图3是用户信息的概念图；
图4是表示第一实施方式所涉及的对睡意状态进行推测时的推测模型的输入和输出的概念图；
图5是示出年龄与睡意之间的关系、性别与睡意之间的关系的一个例子的图；
图6是表示第一实施方式所涉及的更新推测模型时的推测模型的输入和输出的概念图；
图7是示出对用户的睡意状态的推测工作以及伴随着推测出的用户的睡意状态的空调工作的流程的图；
图8是表示第二实施方式所涉及的推测睡意状态时的推测模型的输入和输出的概念图；
图9是表示第二实施方式所涉及的更新推测模型时的推测模型的输入和输出的概念图。
具体实施方式
下面，参照附图对本发明的实施方式进行详细的说明。需要说明的是，以下实施方式只不过是本质上优选的示例而已，并没有限制本发明、本发明的应用对象或本发明的用途范围的意图。
(第一实施方式)
〈概要〉
图1是包括本实施方式所涉及的空调控制装置50(相当于睡意推测装置)的空调系统100的外观图。如图1和图2所示，空调控制装置50具有空调装置10的构成要素的一部分、遥控器30(相当于接收部)以及运算装置60。
如图1所示，空调装置10设置在空气调节对象即室内r1，对室内r1进行空气调节。遥控器30除了用于对空调装置10的目标温度和目标湿度进行设定之外，遥控器30还用于让用户U1、U2、U3操作而直接向空调装置10发送空调装置10的运行模式、运行的启动和关闭这样的指示。
空调控制装置50控制空调装置10的空调工作。特别地，本实施方式所涉及的空调控制装置50利用反映出位于室内r1的用户U1、U2、U3的图像推测该用户U1、U2、U3的睡意状态，并根据推测出的睡意状态控制空调装置10的空调工作(相当于第一空调工作)，由此提供改善用户U1、U2、U3的睡意状态这样的环境。
〈空调装置的构成〉
空调装置10是吊顶式空调机，主体部11埋设在室内r1的天花板中。主体部11的下表面21暴露于室内r1，在下表面21上形成有朝着主体部11内吸入空气的吸入口23以及从主体部11朝着室内r1吹出空气的吹出口24。
在主体部11的下表面21上设置有照相机26(相当于摄像部)。
照相机26的镜头(未图示)朝向空调装置10的下方，对位于室内r1的用户U1、U2、U3进行拍摄。图像可以是拍摄到的用户U1、U2、U3的动态图像，也可以是连续拍摄用户U1、U2、U3的静止图像而得到的图像，这里示例出动态图像的情况。照相机26拍摄到的图像反映出表示每个用户U1、U2、U3的睡意状态的用户U1、U2、U3的动作和状态(包括表情)。在用户U1、U2、U3感到发困的情况下，就会有身体向左或向右倾斜、身体动作迟缓、单手托腮、伸懒腰、闭着眼睛等动作和状态。相反，在用户U1、U2、U3没感到有睡意时，就会有身体动作活跃、睁着眼睛、手头上进行着某些工作等动作和状态。照相机26将用户U1、U2、U3的这些动作等作为暗示各个用户U1、U2、U3的睡意状态的图像拍摄下来。
空调装置10的主体部11的内部包括：热交换器(未图示)、室内风扇12、导风板16以及马达16a等。其中，热交换器让从吸入口23吸入到主体部11内部的空气与制冷剂进行热交换，室内风扇12经由吹出口24将与制冷剂进行热交换后的空气供往室内r1，导风板16设置在吹出口24处且用于对风向进行调节，马达16a与导风板16的旋转轴相连接而成为改变导风板16的方向时的驱动源(参照图2)。
主体部11的内部还包括室内环境信息传感器13(相当于检测部)和控制部14。
室内环境信息传感器13是检测与室内r1环境相关的室内环境信息的传感器，还是设置在吸入口23附近的吸入传感器。能够列举出的室内环境信息有：从吸入口23吸入的室内r1空气的温度、湿度、CO2浓度等。
控制部14由包括CPU和存储器的微型计算机构成。控制部14与室内风扇12、导风板16的马达16a、室内环境信息传感器13、照相机26等电连接。控制部14也能够与遥控器30和运算装置60通讯连接。
控制部14基于室内环境信息传感器13的检测结果驱动室内风扇12和导风板16的马达16a等，从而控制空调装置10的空调工作。
特别地，本实施方式所涉及的控制部14根据由运算装置60推测出的用户U1、U2、U3的睡意状态，控制室内r1的空调装置10的空调工作(第一空调工作)，以便降低用户U1、U2、U3的睡意状态的级别。基于对睡意状态的推测结果的空调工作的详细内容后述。
需要说明的是，优选地，控制部14与下面所述的运算装置60的推测部66相同，预先构建有神经网络。这是为了更细致地调节空调工作。
〈遥控器〉
遥控器30安装在室内r1的墙面上。遥控器30具有表示各种画面的显示器以及接收用户U1、U2、U3的操作的多个操作按钮，未图示。通过用户U1、U2、U3对操作按钮进行操作，在显示器上显示出与用户U1、U2、U3的操作相对应的各种画面。室内r1的设定温度、设定湿度等作为正常画面显示在显示器上。
本实施方式所涉及的遥控器30能够接收用户U1、U2、U3输入的表示用户U1、U2、U3的实际睡意状态的睡意信息，即表示用户U1、U2、U3实际上是否感到发困以及睡意级别达到何种程度的睡意信息。运算装置60能够根据输入的睡意信息判断对用户U1、U2、U3睡意状态的推测结果是否与用户U1、U2、U3的实际睡意状态一致。鉴于根据对用户U1、U2、U3的睡意状态的推测结果来进行空调装置10的空调工作，优选，所述输入在空调装置10伴随着对用户U1、U2、U3的睡意状态的推测结果而进行的空调工作的期间内进行，但并不一定限定于此。所述输入也可以用于补正根据对用户U1、U2、U3的睡意状态的推测结果而执行的空调装置10的空调控制内容(例如，用于根据实际的睡意状态调节室内风扇12的转速)。
〈空调控制装置的构成〉
如图2所示，空调控制装置50除了具有空调装置10的构成要素的一部分即室内环境信息传感器13、控制部14以及照相机26之外，还具有相当于接收部的遥控器30、和运算装置60。
由于室内环境信息传感器13、控制部14、照相机26以及遥控器30已在上面进行了说明，因此下面对运算装置60进行说明。
〈运算装置〉
运算装置60主要进行对用户U1、U2、U3的睡意状态进行推测的推测工作，是包括存储部62和CPU65的计算机。运算装置60能够是云端服务器、本地服务器等。
运算装置60能够与空调装置10和遥控器30有线或无线地通讯连接。这样一来，运算装置60能够从空调装置10获取室内r1的温度等室内环境信息传感器13的检测结果以及照相机26拍摄到的图像，在遥控器30接收到来自用户U1、U2、U3的表示实际睡意状态的睡意信息的输入的情况下，运算装置60还能够获取该信息。运算装置60能够将它推测出的推测结果即睡意状态输出给空调装置10的控制部14。
需要说明的是，在本实施方式中，示例出运算装置60是与空调装置10不同的装置的情况，但也可以与控制部14相同，运算装置60由包括CPU和存储器的微型计算机构成并被安装在空调装置10内。
存储部62由快闪存储器和硬盘等非易失性存储装置构成。存储部62中主要存储有用户信息63。
如图3所示，用户信息63是针对每个用户U1、U2、U3的、使该用户U1、U2、U3的动作和状态(包括表情)与采取该动作和状态时的用户U1、U2、U3的睡意状态相互关联的信息。存在每个用户U1、U2、U3在发困时或者不发困时自然而然地进行的行为和表情不同的情况。也就是说，能够想到：每个用户U1、U2、U3对于睡意的感觉而做出的行为和表情等都有自己的习惯。因此，将该习惯定义为示意所谓的用户U1、U2、U3的睡意状态的基准的就是用户信息63。
CPU65通过读取并执行存储在存储部62或存储部62以外的其他存储器中的各种程序，而发挥推测部66和模型更新部68的作用。
－用户睡意状态的推测－
推测部66将照相机26拍摄到的用户U1、U2、U3的图像以及室内环境信息传感器13的检测结果即室内环境信息用作必要参数，推测用户U1、U2、U3的睡意状态。这样的推测部66具有推测模型67。
推测模型67是通过运用了深度学习等方法的运算从拍摄到的图像等求出用户U1、U2、U3的睡意状态(睡意级别)的专用模型，并被预先构建为神经网络。如图4的虚线所示，本实施方式中的推测模型67成为主要包括图像处理神经网络67a和睡意推测神经网络67b的所谓的双层构造的神经网络。其中，图像处理神经网络67a对照相机26拍摄到的图像中的数据实施图像处理，睡意推测神经网络67b根据与图像处理的结果以及与室内环境信息传感器13的检测结果相关的信息推测用户U1、U2、U3的睡意状态。
推测部66首先将照相机26拍摄到的图像数据输入到图像处理神经网络67a中。在图像处理神经网络67a中，除了对图像数据(这里为动态图像数据)进行同步处理等之外，还运用边缘检测或对比度处理等进行：对伸懒腰等的用户U1、U2、U3的动作的提取、对闭着眼睛等的用户U1、U2、U3的状态的提取、对用户U1、U2、U3的性别的计算、对用户U1、U2、U3年龄的计算。也就是说，在图像处理神经网络67a中，提取表示睡意状态的用户U1、U2、U3的特定动作和状态，运算成为影响睡意级别的因素之一的性别和年龄。
在图5(a)中，概念性地表示出年龄的高低与睡意级别之间的关系的一个例子，在图5(b)中，概念性地表示出性别与睡意级别之间的关系的一个例子。在已将室内r1均匀地设在某一温度的情况下，在图5(a)中表示出这样的倾向：年龄越低，没有感到睡意的用户U1、U2、U3越多；年龄越高，感到发困的用户U1、U2、U3越多。在已将室内r1均匀地设在某一温度的情况下，在图5(b)中表示出：在相同年龄下进行比较时，存在感到睡意的女性比男性多的情况。这样求得的性别和年龄成为影响睡意级别的指标之一。
如图4所示，与从图像处理神经网络67a输出的所述提取结果和所述运算结果以及例如室内r1的温度、湿度、CO2浓度即与室内环境信息传感器13的检测结果(室内环境信息)相关的信息输入到睡意推测神经网络67b中。实施方式中示例出：室内环境信息传感器13的检测结果在推测模型67的运算神经网络67c中被实施了会得出睡意推测神经网络67b所能处理的那种类型的数据的规定运算之后，作为与室内环境信息传感器13的探测结果相关的信息输入到睡意推测神经网络67b中的情况，但也可以不经由运算神经网络67c而直接输入到睡意推测神经网络67b中。
在睡意推测神经网络67b中，以图3所涉及的用户信息63为基准，从已输入的各种信息中表示睡意状态的用户U1、U2、U3的特定动作和状态即提取结果、以及与室内环境信息传感器13的检测结果相关的信息，求出每个用户U1、U2、U3的睡意状态。此时，在计算每个用户U1、U2、U3的睡意状态时，要将已输入的运算结果即用户U1、U2、U3的性别和年龄考虑进去。
例如室内r1的温度越高或者CO2的浓度越高，用户U1、U2、U3就会越有睡意。因此，与室内环境信息传感器13的检测结果相关的信息与用户U1、U2、U3的特定动作和状态都用于对每个用户U1、U2、U3的睡意级别的推测。通过考虑图5(a)、(b)所示的性别、年龄与睡意级别之间的关系，能够更细地推测用户U1、U2、U3每个人的睡意信息。
推测部66将这样求得的用户U1、U2、U3的睡意状态(睡意级别)作为对睡意状态的推测结果发送给空调装置10的控制部14。
－推测模型的更新－
如图6所示，模型更新部68根据照相机26拍摄到的图像数据以及遥控器30接收到的表示用户U1、U2、U3的实际睡意状态的睡意信息，让所述推测模型67学习。
用户U1、U2、U3的动作和状态上的所期望的变化有可能显现在照相机26在推测完睡意状态以后重新拍摄到的图像中，例如此前托着腮的用户U1、U2、U3不再托着腮了等。在该情况下，对睡意状态的推测工作相对较好，能够判断为：基于该推测结果的空调工作(即第一空调工作)正朝着让用户U1、U2、U3的睡意状态消除的方向发展。然而，在没有看到这种所期望的变化的情况下，则会有对睡意状态的推测工作与实际的睡意状况相背离的可能性。因此，模型更新部68利用照相机26重新拍摄到的图像对推测模型67进行更新。
需要说明的是，表示睡意状态的用户U1、U2、U3的动作和状态中，除了包括托腮的动作以外，如上所述，还包括：表情、身体的倾斜的状态、身体动作迟缓或活跃、是否伸懒腰、眼睛的睁闭、工作中的状态等。在已看到这些动作和状态中出现了表示睡意改善的所期望的变化的情况下，也能够判断为：基于推测结果的空调工作(即第一空调工作)正朝着让用户U1、U2、U3的睡意状态消除的方向发展，模型更新部68就对推测模型67进行更新。
每个所述动作和状态的能够判断为睡意状态消除的具体例如下：
(Ⅰ)面部表情在每一定时间内变化的次数在空调工作前较少，但在空调工作后增加了；
(Ⅱ)在空调工作前身体向左或向右倾斜，但在空调工作后身体没有倾斜而是变得笔直了；
(Ⅲ)在空调工作前身体动作迟缓，但在空调工作后身体动作变得活跃了；
(Ⅳ)伸懒腰的次数在空调工作前较多，但在空调工作后减少；
(Ⅴ)在空调工作前闭着眼睛，但在空调工作后眼睛睁开了；
(Ⅵ)在空调工作前没有进行工作，但在空调动作后正在进行某些工作。
如上述具体例所示，睡意状态是否消除，不仅能够通过某些动作和状态的有无来判断，也能够通过某些行为和状态的频率的增减来判断，将它们统称为“所期望的变化”。在已从照相机26的图像中掌握了这种所期望的变化的情况下，则能够判断为：对睡意状态的推测工作与实际的睡意状态大致一致，从而不进行推测模型67的更新。
在用户U1、U2、U3经由遥控器30输入的睡意信息中表现出了用户U1、U2、U3实际的睡意级别。因此，模型更新部68也利用遥控器30接收到的睡意信息来对推测模型67进行更新。
通过这样的更新工作，推测模型67(具体而言，睡意推测神经网络67b)就会不断地被更新为能够计算出与实际的睡意状态更接近的推测结果这样的模型。
需要说明的是，在将上次拍摄到的图像中的用户U1、U2、U3的动作和状态与重新拍摄到的图像中的用户U1、U2、U3的动作和状态比较后的结果出现所期望的变化的情况下、和/或在遥控器30接收到的睡意信息为表示出睡意级别与上次相比降低了规定级别以上的内容的情况下，模型更新部68也可以做出不需要进行推测模型67的更新工作的判断，而不进行推测模型67的更新工作。也就是说，推测模型67的更新工作在以下情况下进行即可：在上次拍摄到的图像与重新拍摄到的图像之间在用户U1、U2、U3的工作和状态上没有出现所期望的变化、和/或遥控器30接收到的睡意信息高于所期望的睡意级别。这是为了缓解CPU65进行不必要的处理而导致高负荷。
需要说明的是，在本实施方式中，推测模型67中成为更新对象的是睡意推测神经网络67b，但图像处理神经网络67a或运算神经网络67c也可以成为更新对象。
需要说明的是，如图6所示，在更新推测模型67时，也可以进一步利用室内环境信息传感器13的检测结果，但也可以不利用它。
〈伴随着推测出的用户的睡意状态的空调工作〉
图7是示出对用户U1、U2、U3的睡意状态的推测工作以及伴随着推测出的睡意状态(睡意级别)的空调工作的流程的图。
照相机26拍摄用户U1、U2、U3的图像(St11)。将照相机26拍摄到的图像发送给运算装置60。
在运算装置60中，推测部66利用推测模型67中的图像处理神经网络67a进行对用户U1、U2、U3的动作和状态的提取、对性别和年龄的运算(St12)。推测部66将在步骤(St12)中的提取结果和运算结果、室内环境信息传感器13的检测结果即室内环境信息(这里，与检测结果相关的信息)输入到推测模型67的睡意推测神经网络67b中，推测包括各个用户U1、U2、U3的睡意级别的睡意状态(St13)。将睡意状态的推测结果发送给空调装置10的控制部14。
将所述推测结果存储在运算装置60所具有的数据库中(St14)，但未图示。此时，使包括室内r1温度的室内环境信息、当前的空调装置10的风向以及风量与推测结果相互关联并将它们保存在数据库中。为了提高对睡意状态的推测工作的精度，数据库也可以用在推测模型67的更新时。更优选地，数据库用于将下面的“阈值”补正为最佳值。
空调装置10的控制部14计算对每个用户U1、U2、U3都适合的空调控制内容，以便让推测出的睡意级别在阈值以下(St15)，然后执行计算出的空调控制(St16)。例如，睡意级别与阈值之间的差值越大，控制部14就越会执行以下空调控制内容：将已被冷却或者已被加热的空气以使其风量增大的状态供向该睡意级别的用户U1、U2、U3。睡意级别与阈值之间的差值越小，控制部14就越会执行以下的空调控制内容：对该睡意级别的用户U1、U2、U3维持当前空气的供给量。这样根据每个用户U1、U2、U3的睡意级别与阈值之间的差值的大小，就能够计算并执行针对该用户U1、U2、U3的已改变风向和风量的空调控制内容。这样的空调控制内容可以说如下所述：针对睡意级别较高的用户U1、U2、U3，消除他们的睡意并促使他们醒来；针对睡意级别较低的用户U1、U2、U3，则继续维持当前的状态。这样一来，就能够通过空调控制来改善每个人的睡意级别或者维持每个人的睡意级别。因此，室内r1的用户U1、U2、U3整体的平均睡意级别得到改善，用户U1、U2、U3的作业性提高。
〈效果〉
室内环境会影响用户U1、U2、U3的睡意状态。因此，运算装置60的推测部66根据照相机26拍摄到的用户U1、U2、U3的图像以及室内环境信息传感器13的检测结果即室内环境信息(室内r1的温度、CO2浓度等)，推测用户U1、U2、U3的睡意状态。这样一来，能够高精度地掌握用户U1、U2、U3的睡意。
所述图像反映出表示用户U1、U2、U3的睡意状态的用户U1、U2、U3的动作和状态。因此，推测部66从所述图像中提取用户U1、U2、U3的动作和状态并推测用户U1、U2、U3的睡意状态。这样一来，对用户U1、U2、U3的睡意状态的推测精度提高。
有时年龄和性别的差异也会影响到人感到“发困”的感觉。因此，推测部66根据图像运算用户U1、U2、U3的年龄和性别，进一步利用该运算结果推测用户U1、U2、U3的睡意状态。这样一来，对用户U1、U2、U3的睡意状态的推测精度会进一步提高。
照相机26设置在设置于天花板的空调装置10上。因此，照相机26能够在被障碍物遮挡的可能性降低的状态下，对位于室内的用户U1、U2、U3进行拍摄。
推测部66推测位于室内r1的用户U1、U2、U3各自的睡意状态。也就是说，在本实施方式中，推测部66能够推测每个用户U1、U2、U3的睡意状态。
然而，有时用户U1、U2、U3在用户U1、U2、U3感到“发困”或者“不发困”时所采取的动作和状态根据每个用户U1、U2、U3而不同。因此，推测部66将表示每个用户U1、U2、U3在感到“发困”或者“不发困”时所采取的动作和状态的用户信息63用于与实际拍摄到的图像中的用户U1、U2、U3的动作和状态进行对照。这样一来，对每个用户的睡意状态的推测精度会进一步提高。
空调装置10的控制部14根据运算装置60中的推测部66推测出的睡意状态控制空调工作(第一空调工作)，以便降低用户U1、U2、U3的睡意状态的级别。这样一来，即使用户U1、U2、U3不操作遥控器30等不向空调装置10发出消除睡意这样的空调工作的执行指示，空调装置10也会自动地进行适合改善用户U1、U2、U3的睡意、促使他们醒来的空调工作。因此，用户U1、U2、U3的便利性提高，用户U1、U2、U3变得容易消除睡意状态并醒来。
特别地，由于对用户U1、U2、U3的睡意状态的推测精度提高，因此通过进行与推测出的睡意状态相对应的空调工作，用户U1、U2、U3的睡意状态变得更容易消除。
特别地，通过推测每个用户U1、U2、U3的睡意状态并进行适合每个用户U1、U2、U3的睡意状态的空调工作，就能够降低位于室内r1的用户U1、U2、U3整体的睡意级别。
推测模型67根据用户U1、U2、U3的图像以及遥控器30接收到的用户U1、U2、U3的睡意信息来学习。因此，推测部66通过利用学习后的推测模型67来进行对睡意状态的推测工作，对用户U1、U2、U3的睡意状态的推测精度会进一步提高。
推测模型67从在进行了基于推测部66的推测结果的空调工作后照相机26拍摄到的图像中掌握用户U1、U2、U3实际的睡意状态，根据该掌握结果来学习。更具体而言，推测模型67对在进行了基于推测部66的推测结果的空调工作(第一空调工作)后照相机26拍摄到的图像与照相机26在空调工作(第一空调工作)前拍摄到的图像进行比较，并根据判断出用户U1、U2、U3的睡意的行为和状态的变化学习。这里，判断出表示用户U1、U2、U3的睡意的行为和状态发生了变化，是指行为和状态的频率减少，或者，行为和所述状态不再出现。这样一来，能够更准确地判断推测模型67的推测结果是否与实际相一致，推测模型67的精度会进一步提高，以便尽可能地让推测模型67的推测结果与实际相一致。通过利用学习后的推测模型67进行推测用户U1、U2、U3的睡意状态的推测工作，对用户U1、U2、U3的睡意状态的推测精度会进一步提高。
(第二实施方式)
在本实施方式中对以下情况进行说明：在上述第一实施方式的基础上，空调控制装置50进一步包括热成像传感器128(相当于表面温度测量部)，推测部66进一步将热成像传感器128的检测结果用于对用户U1、U2、U3的睡意状态的推测工作。
图8是与第一实施方式的图4相对应的图，是表示本实施方式所涉及的推测睡意状态时推测模型67的输入和输出的概念图。如图8的虚线所示，与上述第一实施方式相同，推测部66中的推测模型67被预先构建为专用神经网络。其中，专用神经网络通过运算根据拍摄到的图像中的数据和室内环境信息求出包括用户U1、U2、U3的睡意级别的睡意状态。具体而言，推测模型67成为主要包括图像处理神经网络67a和运算神经网络67c的所谓的双层构造的神经网络。
与上述第一实施方式相同，示例出下面的情况：室内环境信息传感器13的检测结果即室内环境信息在推测模型67的运算神经网络67c中被实施了会得出睡意推测神经网络67b所能处理的类型的数据的规定运算之后，输入到睡意推测神经网络67b中。
图像处理神经网络67a的输入和输出与上述第一实施方式相同。
除了向睡意推测神经网络67b输入与图像处理神经网络67a的提取结果和运算结果、室内环境信息传感器13的检测结果相关的信息之外，还向睡意推测神经网络67b输入热成像传感器128的检测结果。
热成像传感器128对位于室内r1的各个用户U1、U2、U3的表面温度进行测量。热成像传感器128在室内r1的安装位置没有特别限定，例如热成像传感器既可以装在遥控器30中，也可以安装在空调装置10的下表面21上。
需要说明的是，如图8所示，可以与室内环境信息传感器13的检测结果在运算神经网络67c中被进行运算处理一样，热成像传感器128的检测结果另行在运算神经网络67d中被实施了规定运算之后，输入到睡意推测神经网络67b中。
与上述第一实施方式相同，在睡意推测神经网络67b中，根据图像处理神经网络67a的提取结果和室内环境信息求出每个用户U1、U2、U3的睡意状态。此时，与上述第一实施方式相同，用户信息63被用作基准。在计算用户U1、U2、U3的睡意状态的过程中，除了要考虑图像处理神经网络67a的运算结果(年龄和性别)之外，还要考虑热成像传感器128的检测结果(表面温度)。
如图9所示，在推测模型67的更新工作中，除了可使用与图像处理神经网络67a的提取结果和运算结果、室内环境信息传感器13的检测结果相关的信息以外，还可以使用热成像传感器128的检测结果。
除了参照图8和图9进行的说明以外，其他方面都与上述第一实施方式相同。具体而言，使用了空调控制装置50的空调系统100的构成、用户信息63、利用推测结果进行的空调工作的详细情况等，因此省略对它们的说明。
就这样，在本实施方式中，用户U1、U2、U3的实际表面温度被进一步用于对用户U1、U2、U3的睡意状态的推测。因此，对用户U1、U2、U3的睡意状态的推测精度会进一步提高。空调装置10能够进行适合进一步改善用户U1、U2、U3的睡意并促使他们醒来的空调工作。
需要说明的是，控制部14也可以使用热成像传感器128的检测结果判断从空调装置10供往用户U1、U2、U3的空气对用户U1、U2、U3而言是否为合适的温度和合适的风量。例如，如果为了改善用户U1、U2、U3的睡意状态而将大量的已冷却的空气供往用户U1、U2、U3，用户U1、U2、U3的表面温度就会过度地下降，反而变成对用户U1、U2、U3的刺激过度。因此，优选地，在根据热成像传感器128的检测结果判断出空调装置10供往用户U1、U2、U3的空气不是适合用户U1、U2、U3的温度和风量时，控制部14就根据热成像传感器128的检测结果调节空调控制内容，以缓解所供给的空气的温度和风量。
(其他实施方式)
在上述第一实施方式和第二实施方式中，也可以利用图像和室内环境信息中的CO2浓度，根据时间段来进一步进行消除睡意这样的空调控制。例如，在午餐后，人们有发困的倾向。CO2浓度越高，睡意越强。因此，优选地，空调装置10的控制部14将下午室内r1的目标温度暂时下降到低于上午的温度，并且根据CO2的浓度调节目标温度的下降幅度。此时，优选地，在推测部66利用图像推测出睡意级别较高的人的数量在规定数量以上的情况下，控制部14为了降低CO2浓度，将换气工作决定为空调工作。
在上述第一实施方式和第二实施方式中，推测部66还可以进一步将对各个用户U1、U2、U3心率的检测结果用于对各个用户U1、U2、U3的睡意状态的推测。
具体而言，推测部66利用心率的检测结果求出心率中心跳波动之间的间隔变化幅度。在该变化幅度在一定时间内持续保持在规定值以下的情况下，推测部66就判断为该用户U1、U2、U3的心跳波动之间的间隔是稳定的，处于心跳波动的频率较低的状态，推测为该用户U1、U2、U3的睡意级别较高。也就是说，心跳波动之间的间隔越稳定，推测部66就推测为该用户U1、U2、U3的睡意级别较高。相反，心跳波动之间的间隔越产生变化，推测部66就推测为该用户U1、U2、U3的睡意级别较低。
这样一来，能够更细地掌握各个用户U1、U2、U3的睡意级别。各个用户U1、U2、U3的心率既可以根据照相机26拍摄到的图像计算为表示各个用户U1、U2、U3的状态的信息，也可以由检测心率与照相机26不同的传感器来检测。各个用户U1、U2、U3的心率也可以用于推测模型67学习时。
控制部14也可以利用根据图像运算出的用户U1、U2、U3的年龄和性别来控制空调工作，以进行让每个人变得更容易醒来这样的有效的个别空调工作。
在上述第一实施方式和第二实施方式中，也可以设置与吸入传感器不同的传感器作为室内环境信息传感器13。室内环境信息传感器13检测的与室内相关的信息不限定于室内r1的温度、湿度、CO2浓度，还包括与室内r1环境相关的各种信息。室内环境信息传感器13的检测结果也可以只有室内r1的温度或者只有CO2的浓度。
与经由遥控器30输入的用户U1、U2、U3的睡意信息相同，照相机26重新拍摄到的图像不仅可以用于推测模型67的更新，还可以用于对空调工作(相当于第一空调工作)的控制的微调和学习等。
作为对所述空调工作的控制的微调和学习，包括对导风板16的位置和室内风扇12的转速([具体例1])、吹向用户U1、U2、U3的冷风的温度([具体例2])、CO2浓度([具体例3])、空调空气的湿度各自的在用于消除睡意的空调工作中所使用的目标值的微调和学习。以下，对其具体例进行说明。
[具体例1]
针对推测部66推测出的睡意级别在规定级别以上的用户U1、U2、U3，空调装置10的控制部14进行将室内风扇12的转速提高到目标值并且调节导风板16的位置的控制。这样一来，空调装置10将与此前相比量增加了的空调空气供往推测部66推测出的睡意级别在规定级别以上的用户U1、U2、U3。
然后，照相机26重新拍摄图像。推测部66利用该图像，重新推测被供给空调空气的用户U1、U2、U3的睡意级别。其结果是，在该用户U1、U2、U3的睡意级别不低于规定级别的情况下，控制部14进行进一步提高室内风扇12的转速并且根据用户U1、U2、U3的位置调节导风板16的位置的控制。其结果是，空调装置10将量更多的空调空气供往用户U1、U2、U3。
然后，照相机26再次重新拍摄图像。在推测部66根据该图像再次重新推测出的该用户U1、U2、U3的睡意级别的结果为推测级别已比规定级别低的情况下，能够判断为该用户U1、U2、U3的睡意状态已消除。在该情况下，控制部14学习用于消除用户U1、U2、U3的睡意所需要的空调空气的量，为了有助于从下次开始的空调工作而将目标值设定为室内风扇12的转速的最终值(让其上升)。
在具体例1中，记载了进行通过对导风板16位置的调节来控制风向以及对室内风扇12的转速的调节的例子，但作为对用于消除睡意的空调工作的微调和学习，既可以只进行通过调节导风板16来控制风向的微调和学习，也可以只进行调节室内风扇12的转速的微调和学习。
[具体例2]
针对推测部66推测出的睡意级别在规定级别以上的用户U1、U2、U3，空调装置10的控制部14进行让空调空气的温度降低到目标值并且调节导风板16的位置的控制工作。这样一来，空调装置10将与此前相比更冷的空调空气供往推测部66推测出的睡意级别在规定级别以上的用户U1、U2、U3。作为让空调空气的温度降低到目标值的控制，例如，控制部14通过暂时设定比当前设定的目标温度低2℃的目标温度并控制空调装置，从而进行降低空调空气温度的控制。
然后，照相机26重新拍摄图像。推测部66利用该图像，重新推测被供给空调空气的用户U1、U2、U3的睡意级别。其结果是，在该用户U1、U2、U3的睡意级别不低于规定级别的情况下，控制部14进行让空调空气的温度进一步降低的控制，并且进行根据用户U1、U2、U3的位置调节导风板16的位置的控制。其结果是，空调装置10将温度进一步降低了的冷风即空调空气供往用户U1、U2、U3。具体而言，控制部14将已暂时设定为低2℃的目标温度再下降2℃，暂时设定比最初设定的目标温度低4℃的目标温度，控制空调装置10的空调工作。
然后，照相机26再次重新拍摄图像。在推测部66根据该图像再次重新推测出的该用户U1、U2、U3的睡意级别的结果为推测级别已比规定级别低的情况下，能够判断为该用户U1、U2、U3的睡意状态已消除。在该情况下，控制部14学习用于消除用户U1、U2、U3的睡意所需要的空调空气的冷却程度(即空调空气的温度的降低程度)，为了从下次开始供给该温度的空调空气而将目标值设定为空调空气的最终温度(让其降低)。
需要说明的是，控制部14也可以不控制导风板16的位置却降低室内r1整体温度地控制空调装置10的空调工作。也可以代替空调空气的设定温度而进行空调空气的湿度调节，也可以除了空调空气的设定温度之外还进行空调空气的湿度调节。
能够实现让具体例1与具体例2组合。
[具体例3]
控制部14也可以通过根据用户U1、U2、U3的睡意级别进一步调节室内r1的换气扇(未图示)的运转，从而调节室内r1的CO2浓度。该调节能够实现与上述具体例1、2中的至少一者进一步组合。在实现与上述具体例1组合的情况下，“空调空气”也可以是暖风。
能够列举出的对CO2浓度的调节例如为：在用户U1、U2、U3的睡意级别在规定级别以上的情况下，控制部14除了进行上述具体例1、2中的至少一者之外，还让换气扇(未图示)运转，以便让CO2浓度在规定值以下。在该情况下，控制部14判断到用户U1、U2、U3的睡意状态消除为止的时间与不进行换气扇(未图示)的运转的情况(即只进行具体例1、2中的至少一者的情况)相比是否提前，在提前了的情况下提前了何种程度等，并且将睡意级别已消除时的CO2浓度作为目标值来学习。
这样一来，从下次开始，为了用户U1、U2、U3的睡意状态的消除，也会考虑CO2浓度的状态而自动地进行换气扇(未图示)的运转。因此，下次进行的空调工作(第一空调工作)容易让用户U1、U2、U3的睡意状态的级别更可靠地降低。
除此以外，控制部14也可以学习关于：空调装置10为了睡意状态的消除而针对每个用户U1、U2、U3进行什么样的空调运行；空调装置10为了睡意状态的消除而针对位于室内r1哪个位置的用户U1、U2、U3进行什么样的空调运行。
在学习这样的空调控制时，也可以进一步利用在上述第一、第二实施方式中说明的来自用户U1、U2、U3经由遥控器30的输入(睡意信息)。也就是说，控制部14也可以利用在所述空调控制后输入的睡意信息来判断当前的空调控制是否成为对于睡意状态的消除有效的内容，从而通过学习来更新空调控制的内容。在该情况下，关于空调控制，也可以构建用于该控制的控制模型，并让该控制模型学习。
在上述第一实施方式和第二实施方式中，对图像反映出了表示用户U1、U2、U3的睡意状态的用户U1、U2、U3的动作和状态这一情况进行了说明，但图像反映出的内容也可以是用户U1、U2、U3的动作和动作态中的至少一者。在该情况下，图像处理神经网络67a的提取结果变为用户U1、U2、U3的动作和状态中的至少一者。
对用户U1、U2、U3的性别和年龄的运算结果也可以不用于对睡意状态的推测。
在将用户U1、U2、U3的性别和年龄用于推测睡意状态的情况下，也可以将用户U1、U2、U3的性别和年龄中的任何一者用于睡意状态的推测。
空调装置10不限定于是设置在室内r1的天花板上的类型，能够是挂壁式、落地式等。
照相机26只要在能够对位于室内r1的用户U1、U2、U3进行拍摄的位置即可，照相机也可以不设置在空调装置10中。例如，照相机26也可以是用户U1、U2、U3的个人计算机所具有的网络摄像头。
上述第一实施方式和第二实施方式所涉及的空调控制装置50对位于室内r1的用户人数为一人的情况也适用。
空调控制装置50在位于室内r1的用户人数为多人的情况下，睡意状态的推测对象也可以不是全员，而是任意人数。
推测部66在对睡意状态进行推测时，也可以不利用用户信息63。
根据对睡意状态的推测结果控制空调装置10的空调工作并不是必须做的。因此，也可以是只进行对睡意状态的推测工作的睡意推测装置。
也可以不进行推测模型67的更新工作。
在进行推测模型67的更新工作的情况下，在对睡意状态进行推测时和对推测模型67进行更新时，使用的参数也可以相同，也可以不同。例如，对睡意状态进行推测时的参数能够是图像、室内的温度和湿度、从吹出口24吹出的空气的吹出温度和湿度、风量、风向、空调能力中的至少一者。例如，推测模型67的更新工作时的参数能够是图像、室内的温度和湿度、风速、辐射温度、CO2浓度中的至少一者。
在上述第一实施方式和第二实施方式中，对利用由神经网络构建的推测模型67进行对睡意状态的推测的情况进行了说明，但对睡意状态的推测工作也可以不利用所述推测模型67，而是例如通过执行程序来进行。
对空调工作的控制也可以由运算装置60代替控制部14进行。
在上述第一实施方式和第二实施方式中，示例了接收睡意信息的输入的接收部为“遥控器30”的情况。但是，接收部也可以由智能手机、平板电脑、个人计算机等与遥控器不同的设备构成。输入睡意信息的途径也可以是声音输入等。
－产业实用性－
综上所述，本发明作为推测用户的睡意状态的睡意推测装置是有用的。
－符号说明－
10 空调装置
13 室内环境信息传感器(检测部)
14 控制部
26 照相机(摄像部)
30 遥控器(接收部)
50 空调控制装置(睡眠推测装置)
62 存储部
63 用户信息
66 推测部
67 推测模型
68 模型更新部
U1、U2、U3 用户
128 热成像传感器(表面温度测量部)

Claims (15)

1.一种睡意推测装置，其特征在于：该睡意推测装置包括摄像部(26)、检测部(13)以及推测部(66)，
所述摄像部(26)拍摄用户(U1、U2、U3)，
所述检测部(13)检测与所述用户(U1、U2、U3)所在的室内(r1)环境相关的室内环境信息，
所述推测部(66)根据所述摄像部(26)拍摄到的所述用户(U1、U2、U3)的图像以及所述检测部(13)检测出的所述室内环境信息，推测所述用户(U1、U2、U3)的睡意状态。
2.根据权利要求1所述的睡意推测装置，其特征在于：
所述图像反映出：表示所述用户(U1、U2、U3)的睡意状态的所述用户(U1、U2、U3)的动作和/或表示所述用户(U1、U2、U3)的睡意状态的所述用户(U1、U2、U3)的状态，
所述推测部(66)从所述图像中提取所述用户(U1、U2、U3)的动作和/或所述用户(U1、U2、U3)的状态并推测所述用户(U1、U2、U3)的睡意状态。
3.根据权利要求1或2所述的睡意推测装置，其特征在于：
所述推测部(66)根据所述图像计算所述用户(U1、U2、U3)的性别和/或年龄，进一步根据计算出的所述用户(U1、U2、U3)的性别和/或年龄推测所述用户(U1、U2、U3)的所述睡意状态。
4.根据权利要求1到3中任一项权利要求所述的睡意推测装置，其特征在于：
该睡意推测装置还包括表面温度测量部(128)，该表面温度测量部(128)测量位于所述室内(r1)的用户(U1、U2、U3)的表面温度，
所述推测部(66)进一步根据所述表面温度测量部(128)的测量结果推测所述用户(U1、U2、U3)的所述睡意状态。
5.根据权利要求1到4中任一项权利要求所述的睡意推测装置，其特征在于：
在所述室内(r1)的天花板上设置有空调装置(10)，
所述摄像部(26)设置在所述空调装置(10)上。
6.根据权利要求1到5中任一项权利要求所述的睡意推测装置，其特征在于：
在所述室内(r1)存在多个所述用户(U1、U2、U3)的情况下，所述推测部(66)推测多个所述用户(U1、U2、U3)各自的所述睡意状态。
7.根据权利要求6所述的睡意推测装置，其特征在于：
该睡意推测装置还包括存储部(62)，所述存储部(62)存储用户信息(63)，该用户信息(63)为针对多个所述用户(U1、U2、U3)各自的、使所述用户(U1、U2、U3)的动作和/或所述用户(U1、U2、U3)的状态与该动作下和/或该状态下的所述用户(U1、U2、U3)的所述睡意状态相互关联的信息，
所述推测部(66)从所述图像中提取各个所述用户(U1、U2、U3)的动作和/或各个所述用户(U1、U2、U3)的状态，并利用提取结果和所述用户信息(63)推测多个所述用户(U1、U2、U3)各自的所述睡意状态。
8.根据权利要求1到7中任一项权利要求所述的睡意推测装置，其特征在于：
该睡意推测装置还包括接收部(30)和模型更新部(68)，
所述接收部(30)能够接收由所述用户(U1、U2、U3)输入的表示该用户(U1、U2、U3)的所述睡意状态的睡意信息，
所述模型更新部(68)根据所述摄像部(26)拍摄到的所述图像和/或所述接收部(30)接收到的所述睡意信息，让用于推测所述睡意状态的推测模型(67)学习。
9.根据权利要求1到7中任一项权利要求所述的睡意推测装置，其特征在于：
该睡意推测装置还包括控制部(14)，该控制部(14)根据所述推测部(66)的推测结果控制以所述室内(r1)为空气调节对象的空调装置(10)的第一空调工作，以便降低所述用户(U1、U2、U3)的所述睡意状态的级别。
10.根据权利要求9所述的睡意推测装置，其特征在于：
该睡意推测装置还包括模型更新部(68)，
该模型更新部(68)从所述摄像部(26)在进行了基于所述推测部(66)的推测结果的所述第一空调工作后拍摄到的所述图像中掌握所述用户(U1、U2、U3)实际的所述睡意状态，并根据该掌握结果让用于推测所述睡意状态的推测模型(67)学习。
11.根据权利要求9或10所述的睡意推测装置，其特征在于：
该睡意推测装置还包括模型更新部(68)，
该模型更新部(68)将所述摄像部(26)在进行了基于所述推测部(66)的推测结果的所述第一空调工作后拍摄到的图像与所述摄像部(26)在所述第一空调工作前拍摄到的图像进行比较，并根据判断出所述用户(U1、U2、U3)的睡意的行为和状态的变化让用于推测所述睡意状态的推测模型(67)学习。
12.根据权利要求11所述的睡意推测装置，其特征在于：
判断出所述用户(U1、U2、U3)的睡意的行为和状态的变化指：所述行为和所述状态的频率减少，或者，所述行为和所述状态不再出现。
13.根据权利要求9到12中任一项权利要求所述的睡意推测装置，其特征在于：
该睡意推测装置还包括接收部(30)，该接收部(30)能够接收由所述用户(U1、U2、U3)输入的表示该用户(U1、U2、U3)的所述睡意状态的睡意信息，
所述控制部(14)根据所述接收部(30)在进行了基于所述推测部(66)的推测结果的所述第一空调工作后接收到的所述睡意信息，学习对所述第一空调工作进行的控制内容，以便降低所述用户(U1、U2、U3)的所述睡意状态的级别。
14.根据权利要求9到13中任一项权利要求所述的睡意推测装置，其特征在于：
所述控制部(14)根据所述摄像部(26)在进行了基于所述推测部(66)的推测结果的所述第一空调工作后拍摄到的所述图像，学习对所述第一空调工作进行的控制内容，以便降低所述用户(U1、U2、U3)的所述睡意状态的级别。
15.根据权利要求13或14所述的睡意推测装置，其特征在于：
对所述第一空调工作进行的控制内容包括对以下至少一项进行调节：所述空调装置(10)所包括的室内风扇(12)的转速、调节从所述空调装置(10)吹出的风向的导风板(16)的位置、所述空调装置(10)的设定温度、所述室内(r1)的目标CO2浓度。
CN201880068347.6A 2017-10-30 2018-08-23 睡意推测装置 Pending CN111448429A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017209733A JP6387173B1 (ja) 2017-10-30 2017-10-30 眠気推定装置
JP2017-209733 2017-10-30
PCT/JP2018/031081 WO2019087536A1 (ja) 2017-10-30 2018-08-23 眠気推定装置

Publications (1)

Publication Number Publication Date
CN111448429A true CN111448429A (zh) 2020-07-24

Family

ID=63444292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880068347.6A Pending CN111448429A (zh) 2017-10-30 2018-08-23 睡意推测装置

Country Status (5)

Country Link
US (1) US11598548B2 (zh)
EP (1) EP3683513B1 (zh)
JP (1) JP6387173B1 (zh)
CN (1) CN111448429A (zh)
WO (1) WO2019087536A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087538A1 (ja) * 2017-10-30 2019-05-09 ダイキン工業株式会社 集中度推定装置
US20220373209A1 (en) * 2021-05-21 2022-11-24 Komfort Iq Inc. System and method for climate control
JP6784282B2 (ja) 2018-07-24 2020-11-11 ダイキン工業株式会社 環境設備制御装置および環境設備制御システム
CN109654657A (zh) * 2018-12-11 2019-04-19 美的集团武汉制冷设备有限公司 空调器送风的控制方法、空调器、控制终端及存储介质
CN109747382A (zh) * 2019-01-28 2019-05-14 浙江大学 基于脑电信号分析的车舱环境智能控制系统及控制方法
WO2020162358A1 (ja) 2019-02-04 2020-08-13 日本電気株式会社 覚醒度制御装置、覚醒度制御方法および記録媒体
WO2020162362A1 (ja) 2019-02-04 2020-08-13 日本電気株式会社 覚醒度制御装置、覚醒度制御方法および記録媒体
US20220160276A1 (en) * 2019-03-29 2022-05-26 Panasonic Intellectual Property Management Co., Ltd. Concentration degree measurement device, concentration degree measurement method, and recording medium
CN110186167B (zh) * 2019-05-31 2021-08-13 广东美的制冷设备有限公司 空调器的控制方法、装置、空调器及存储介质
WO2021014939A1 (ja) * 2019-07-22 2021-01-28 日本電気株式会社 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法および記録媒体
US12061971B2 (en) 2019-08-12 2024-08-13 Micron Technology, Inc. Predictive maintenance of automotive engines
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
JP7496674B2 (ja) * 2019-08-15 2024-06-07 三菱電機株式会社 設備機器システム及び設備機器制御方法
JP7502590B2 (ja) * 2019-08-21 2024-06-19 ダイキン工業株式会社 空気処理装置および汚れ推定システムならびに汚れ推定方法
US10993647B2 (en) * 2019-08-21 2021-05-04 Micron Technology, Inc. Drowsiness detection for vehicle control
KR20210074792A (ko) * 2019-12-12 2021-06-22 삼성전자주식회사 공기 조화 장치 및 그 제어 방법
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission
KR20210100354A (ko) * 2020-02-06 2021-08-17 엘지전자 주식회사 공기 조화기 및 이의 제어 방법
US11940168B2 (en) * 2022-03-25 2024-03-26 Motorola Mobility Llc Device with optical heart rate sensor and corresponding methods
WO2024150310A1 (ja) * 2023-01-11 2024-07-18 三菱電機株式会社 空気調和装置、制御方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5996898A (en) * 1998-04-07 1999-12-07 University Of Central Florida Automatic occupancy and temperature control for ceiling fan operation
CN101421124A (zh) * 2006-02-13 2009-04-29 罗伯特·博世有限公司 用于控制空调的装置和方法
CN101470935A (zh) * 2007-12-26 2009-07-01 南京理工大学 关键岗位职守人员状态监控与信息提示方法及其实现装置
JP2009201676A (ja) * 2008-02-27 2009-09-10 Toyota Motor Corp 覚醒度推定装置
CN106361270A (zh) * 2015-07-22 2017-02-01 松下电器（美国）知识产权公司 清醒度预测方法和清醒度预测装置
TWI596462B (zh) * 2015-03-16 2017-08-21 松下知識產權經營股份有限公司 環境控制系統、控制裝置、電腦程式產品

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08332871A (ja) * 1995-06-06 1996-12-17 Mitsubishi Electric Corp 覚醒度検出装置
JPH09154835A (ja) * 1995-12-07 1997-06-17 Matsushita Electric Ind Co Ltd 居眠り検出装置
JP2005104237A (ja) 2003-09-29 2005-04-21 Denso Corp 車両用居眠り防止装置
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
EP2885151B1 (en) * 2012-08-14 2022-10-12 Volvo Lastvagnar AB Method for determining the operational state of a driver
KR101554188B1 (ko) * 2014-06-05 2015-09-18 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
KR101575051B1 (ko) * 2014-06-13 2015-12-21 엘지전자 주식회사 웨어러블 디바이스 및 그 제어방법
JP6505514B2 (ja) * 2015-06-10 2019-04-24 パナソニック株式会社 空気調和機、センサシステムおよびその温冷感推定方法
US10716502B2 (en) * 2015-07-22 2020-07-21 Panasonic Intellectual Property Corporation Of America Method for predicting arousal level and arousal level prediction apparatus
JP6677126B2 (ja) * 2016-08-25 2020-04-08 株式会社デンソー 車両用対話制御装置
JP2016217709A (ja) * 2016-09-29 2016-12-22 シャープ株式会社 空気調和機

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5996898A (en) * 1998-04-07 1999-12-07 University Of Central Florida Automatic occupancy and temperature control for ceiling fan operation
CN101421124A (zh) * 2006-02-13 2009-04-29 罗伯特·博世有限公司 用于控制空调的装置和方法
CN101470935A (zh) * 2007-12-26 2009-07-01 南京理工大学 关键岗位职守人员状态监控与信息提示方法及其实现装置
JP2009201676A (ja) * 2008-02-27 2009-09-10 Toyota Motor Corp 覚醒度推定装置
TWI596462B (zh) * 2015-03-16 2017-08-21 松下知識產權經營股份有限公司 環境控制系統、控制裝置、電腦程式產品
CN106361270A (zh) * 2015-07-22 2017-02-01 松下电器（美国）知识产权公司 清醒度预测方法和清醒度预测装置

Also Published As

Publication number Publication date
EP3683513B1 (en) 2021-12-08
US11598548B2 (en) 2023-03-07
US20200240670A1 (en) 2020-07-30
EP3683513A1 (en) 2020-07-22
EP3683513A4 (en) 2020-11-25
WO2019087536A1 (ja) 2019-05-09
JP2019082282A (ja) 2019-05-30
JP6387173B1 (ja) 2018-09-05

Similar Documents

Publication Publication Date Title
CN111448429A (zh) 睡意推测装置
CN111279135B (zh) 集中度推断装置
CN111247375B (zh) 空调控制装置
JP2019215162A5 (zh)
JP6784314B2 (ja) 換気制御装置及び換気システム
JP2010025359A (ja) 空気調和機
JP2014074560A (ja) 空調制御システム、空調制御方法及びプログラム
JP6668010B2 (ja) 空調制御装置、空調制御方法、および空調制御プログラム
JP2018071808A (ja) 空気調和システム
WO2024113920A1 (zh) 空调及其控制方法
JP2017166798A (ja) 空気調和機
CN109631259A (zh) 空调控制方法、装置及空调器
JP2023001623A (ja) 学習装置、推論装置及び空調装置
JP6233744B2 (ja) 環境制御装置および環境制御システム
JP6229973B2 (ja) 環境制御装置およびそれを用いた環境制御システム
JP2023166275A (ja) 空調システム
JP2023054614A (ja) 環境制御システム
JP2023117690A (ja) 空気調和システム、方法、およびプログラム
JP2024057774A (ja) 空調制御システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination