CN109196516B - 设备控制装置和设备控制方法 - Google Patents

设备控制装置和设备控制方法 Download PDF

Info

Publication number
CN109196516B
CN109196516B CN201780032995.1A CN201780032995A CN109196516B CN 109196516 B CN109196516 B CN 109196516B CN 201780032995 A CN201780032995 A CN 201780032995A CN 109196516 B CN109196516 B CN 109196516B
Authority
CN
China
Prior art keywords
human
region
person
thermal image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780032995.1A
Other languages
English (en)
Other versions
CN109196516A (zh
Inventor
津田由佳
木村亚纪
三木智子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN109196516A publication Critical patent/CN109196516A/zh
Application granted granted Critical
Publication of CN109196516B publication Critical patent/CN109196516B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/30—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4866—Evaluating metabolism
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4869—Determining body composition
    • A61B5/4872—Body fat
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/025—Interfacing a pyrometer to an external device or network; User interface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D23/00—Control of temperature
    • G05D23/19—Control of temperature characterised by the use of electric means
    • G05D23/1917—Control of temperature characterised by the use of electric means using digital means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00—Control inputs relating to users or occupants
    • F24F2120/10—Occupancy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

设备控制装置(100)具有：人区域检测部(3)，其被输入与被摄影物对应的热图像，在热图像中检测作为人所占的区域的人区域；人特征检测部(4)，其根据热图像中的人区域的热图像部分计算人的基础代谢；以及设备控制部(5)，其根据由人特征检测部(4)检测到的人的基础代谢对设备进行控制。

Description

设备控制装置和设备控制方法
技术领域
本发明涉及检测人的特征并且根据检测到的特征而对设备进行控制的设备控制装置和设备控制方法。
背景技术
公知一种设备控制装置，其检测使用设备的使用者并检测使用者的特征，从而对各种设备进行控制以提供对使用者来说舒适的状态。专利文献1记载了一种空调，其包含控制单元，该控制单元根据使用者的体重和空气调节时的日期来计算空气调节时的使用者的基础代谢量，根据计算出的基础代谢量和来自检测空调空间的状态的检测单元的检测结果而计算舒适指标，从而根据计算出的舒适指标进行控制。
此外，专利文献2记载了一种自动贩卖机，其具有照相机、热成像设备、温度传感器以及时钟，该自动贩卖机根据照相机所拍摄到的面部图像而求取购买者的性别和年龄层，根据热成像设备所测定的购买者的面部温度和温度传感器所测定的周围的环境温度而求取体温，根据从时钟取得的时刻而求取季节和时间段，根据购买者的性别、年龄层、体温、季节以及时间段而估计要在显示装置上显示图像的商品，根据外部的环境和购买者各自的状态而优先显示想要吸引购买者的商品。
此外，专利文献3记载了一种电梯的运行控制装置，其通过对电梯内的初始图像和当前时刻的图像进行比较而提取图像中的移动体，根据移动体块的大小和数量而识别人的数量及该场所的拥挤程度，从而根据该信息而高效地对电梯进行运行控制。
此外，专利文献4记载了一种人体姿态的估计方法，其中，使用红外线照相机来拍摄人体，对由图像处理装置对热图像进行阈值处理而得到的人物区域实施距离转换以求取身体重心，根据比求出的身体重心靠上部分的上半身主轴而取得上半身的倾斜角，之后求取人体的头顶、指尖、脚尖的特征部位，使用遗传算法而学习性地估计手肘和膝盖的位置。
此外，专利文献5记载了一种人物的三维姿态估计方法，其中，根据使用多个彩色照相机从彼此不同的方向拍摄的多个彩色图像而生成二值图像，根据该二值图像而检测特征点。
现有技术文献
专利文献
专利文献1：日本特开平7-103544号公报(例如，段落0006)
专利文献2：日本特开2011-203952号公报(例如，段落0007-0012)
专利文献3：日本特开平5-155539号公报(例如，段落0005-0006)
专利文献4：日本特开平10-258044号公报(例如，段落0006-0008)
专利文献5：日本特开2001-5973号公报(例如，段落0006)
发明内容
发明要解决的课题
然而，专利文献1所记载的空调被输入体重，仅根据体重来计算基础代谢量，因此无法准确地计算基础代谢量，从而存在无法进行对使用者最佳的设备控制这样的课题。此外，关于专利文献2所记载的自动贩卖机，在通过热成像设备而求取体温的情况下，存在使用者需要站在使得用者的面部会呈现为特定的尺寸以上的大小的位置这样的课题。
此外，专利文献3所记载的电梯的运行控制装置对初始图像与进行控制的时刻的图像进行比较，因此存在需要大量的运算量和存储器这样的课题。在专利文献4所记载的人体姿态的估计方法中，为了提取人区域而依次对身体的部位进行估计，因此存在需要大量的运算量和存储器这样的课题。在专利文献5所记载的人物的三维姿态估计方法中，用多台彩色照相机从彼此不同的方向进行拍摄，因此需要多台照相机，此外，由于使用多个彩色图像，因此存在需要大量的运算量和存储器这样的课题。
本发明是为了解决上述这样的课题而完成的，其目的在于，提供能够削减运算量、降低对存储器要求的存储容量并且提高检测精度的设备控制装置和设备控制方法。
用于解决课题的手段
本发明的设备控制装置具有：人区域检测部，其输入与被摄影物对应的热图像，在所述热图像中检测人所占的区域即人区域；人特征检测部，其根据所述热图像中的所述人区域的热图像部分计算人的基础代谢；以及第一设备控制部，其根据由所述人特征检测部检测到的所述人的基础代谢对设备进行控制。
本发明的设备控制方法具有以下的步骤：人区域检测步骤，输入与被摄影物对应的热图像，在所述热图像中检测人所占的区域即人区域；人特征检测步骤，根据所述热图像中的所述人区域的热图像部分计算人的基础代谢；以及设备控制步骤，根据通过所述人特征检测步骤检测到的所述人的基础代谢对设备进行控制。
发明效果
根据本发明的设备控制装置和设备控制方法，能够得到削减运算量、降低对存储器所要求的存储容量并且提高检测精度这样的效果。
附图说明
图1是示出本发明的实施方式1的设备控制装置的结构的框图。
图2的(a)是在热图像照相机所生成的热图像中示出体温区域检测部检测到的面部候选区域的图，图2的(b)是在热图像照相机所生成的热图像中示出体温区域检测部检测到的人候选区域的图，图2的(c)是在热图像照相机所生成的热图像中示出面部区域信息所示的面部区域和人区域提取部提取出的人区域的图，图2的(d)是在热图像照相机所生成的热图像中示出人区域提取部输出给人特征检测部的信息的图。
图3是示出实施方式1的人区域检测部的动作的流程图。
图4是示出本发明的实施方式2的设备控制装置的结构的框图。
图5是示出实施方式2的人特征检测部的动作的流程图。
图6是用于示出实施方式2的姿态估计部的动作的图。
图7是示出实施方式2的身高体重估计部的动作的流程图。
图8的(a)、(b)、(c)是用于示出实施方式2的穿衣量估计部的动作的图。
图9是示出实施方式2的设备控制装置的结构的框图的另一例。
图10是示出本发明的实施方式3的设备控制装置的结构的框图。
图11是示出实施方式1至3的设备控制装置的变形例的结构的硬件结构图。
具体实施方式
以下，一边参照附图一边对本发明的实施方式的设备控制装置进行说明。另外，以下记载的实施方式是将本发明具体化的一例，并不限定本发明的技术范围。此外，以下记载的各实施方式的内容能够适当组合。而且，以下说明的本发明的实施方式也能够视为设备控制方法的实施方式。
而且，本发明的实施方式的设备控制装置从可见光照相机所取得的可见光图像中检测人体的规定的部位的区域。在以下记载的各实施方式中，将该规定的部位作为“面部”进行说明，但不限于此，也可以是头、即从脖子往上的、包含头发等皮肤没有露出的部分在内的人体的部位，也可以是手。此外，也可以是宠物等非人的动物。但是，在宠物的情况下，后文说明的基础代谢的计算需要根据可见光图像而确定作为宠物的动物的种类从而使用该动物的基础代谢计算公式。
《1》实施方式1
《1-1》结构
首先，对结构进行说明。图1是示出本发明的实施方式1的设备控制装置100的结构的框图。如图1所示，实施方式1的设备控制装置100具有热图像照相机1、可见光照相机2、人区域检测部3、人特征检测部4以及作为第一设备控制部的设备控制部5。人区域检测部3具有体温区域检测部31、作为规定部位检测部的面部检测部32、作为规定部位坐标转换部的面部坐标转换部33以及人区域提取部34。
如图1所示，热图像照相机1拍摄被摄影物而生成与该被摄影物对应的热图像(热图像数据)D1并输出给人区域检测部3。可见光照相机2拍摄被摄影物而生成与该被摄影物对应的可见光图像(可见光图像数据)D2并输出给人区域检测部3。人区域检测部3从由热图像照相机1输入的热图像D1和由可见光照相机2输入的可见光图像D2中检测人，将作为人所存在的区域的人区域的热图像D34、热图像D1中的作为规定的部位坐标的面部坐标C34以及可见光图像D2的面部图像(面部图像数据)D32输出给人特征检测部4。
热图像照相机1所生成的热图像D1被输入到人区域检测部3的体温区域检测部31，可见光照相机2所生成的可见光图像D2被输入到人区域检测部3的面部检测部32。
体温区域检测部31根据从热图像照相机1输入的热图像D1中的温度分布而检测作为规定部位候选区域的面部候选区域D31a和人候选区域D31b，并输出给人区域提取部34。面部候选区域D31a是作为在热图像D1中人的面部所占的区域的候选的区域。人候选区域D31b是作为在热图像D1中人所占的区域的候选的区域。面部检测部32从由可见光照相机2输入的可见光图像D2中检测面部，将示出检测到的面部的位置的面部坐标C32输出给面部坐标转换部33，并且将从可见光图像D2中仅剪裁出检测到的面部的区域而得到的面部图像D32输出给人特征检测部4。
面部坐标转换部33使用预先存储的坐标转换用的运算式或转换表等，将从面部检测部32输入的可见光图像D2中的面部坐标C32转换为热图像照相机1所取得的热图像D1中的面部坐标C34，并作为面部区域信息输出给人区域提取部34。人区域提取部34根据从体温区域检测部31输入的人候选区域D31b和面部候选区域D31a以及从面部坐标转换部33输入的面部坐标C34而提取热图像D1中的人区域，剪裁出人区域的热图像D34并输出给人特征检测部4，并且将热图像D1中的面部坐标C34输出给人特征检测部4。
人特征检测部4根据从人区域检测部3输入的可见光图像D2的面部图像D32、人区域的热图像D34以及热图像D1中的面部坐标C34而检测人的特征，并将人的特征的值D4输出给设备控制部5。设备控制部5根据从人特征检测部4输入的人的特征的值D4而决定作为控制对象的设备的控制方法，并输出用于对该设备进行控制的控制信号。
《1-2》动作
接下来，对动作进行说明。热图像照相机1和可见光照相机2例如设置于房间所配备的设备中，配置在能够从相同的朝向对该设备的使用者所处的房间等空间进行拍摄的位置。热图像照相机1具有红外线传感器等那样的感测热的传感器，生成示出所拍摄的空间的温度分布的热图像D1。另一方面，可见光照相机2具有CCD(Charge-Coupled Device：电荷耦合器件)传感器等那样的感测可见光的传感器，拍摄与热图像照相机1所拍摄的空间相同的空间而生成可见光图像D2。热图像照相机1所生成的热图像D1和可见光照相机2所生成的可见光图像D2输入给人区域检测部3。
这里，热图像照相机1和可见光照相机2进行拍摄的时机优选为相同。但是，允许作为被摄影物的人的朝向和位置不会发生较大的变化的程度的时间(例如，1秒左右)的拍摄时机的误差。
使用图2的(a)至图2的(d)以及图3对从热图像D1和可见光图像D2中检测人区域的人区域检测部3的动作进行说明。图2的(a)是在热图像照相机1所生成的热图像D1中示出体温区域检测部31检测到的面部候选区域D31a的图。图2的(b)是在热图像照相机1所生成的热图像D1中示出体温区域检测部31检测到的人候选区域D31b的图。另外，图中的阴影表示被摄影物的温度，表现为温度越高而阴影越淡的区域(接近白色的区域)和温度越低而阴影越浓的区域(接近黑色的区域)。
图2的(a)的区域a1、a2、a3、a4示出了体温区域检测部31从热图像D1中检测到的面部候选区域D31a。面部候选区域D31a是作为在热图像D1中人的面部占据的区域的候选的区域。如图2的(a)所示，区域a1是配置于屋顶的照明(照明设备)占据的区域，区域a2、a3、a4是人的面部占据的区域。即，在图2的(a)所示的例子中，由体温区域检测部31准确地检测为面部候选区域D31a的区域是区域a2、a3、a4。
图2的(b)的区域b1、b2、b3、b4、b5示出了体温区域检测部31检测到的人候选区域D31b。人候选区域D31b是作为在热图像D1中人占据的区域的候选的区域。如图2的(b)所示，区域b1是配置于屋顶的照明占据的区域，区域b2、b4、b5是人占据的区域，区域b3是窗户占据的区域。即，在图2的(b)中，由体温区域检测部31准确地检测为人候选区域D31b的区域是区域b2、b4、b5。
图2的(c)是在热图像照相机1所生成的热图像D1中示出面部区域信息所示的面部区域和人区域提取部34提取出的人区域的图。图2的(c)的虚线所示的区域c1、c2、c3是从面部坐标转换部33输入的面部区域信息(面部坐标C34)所示的面部区域。图2的(c)的实线所示的区域d1、d2、d3是人区域提取部34提取出的人区域的热图像D34。人区域提取部34根据所输入的面部区域(区域c1、c2、c3)、面部候选区域D31a(区域a1、a2、a3、a4)以及人候选区域D31b(区域b1、b2、b3、b4、b5)而提取出图2的(c)的区域d1、d2、d3所示的人区域。如图2的(c)所示，在图2的(a)和图2的(b)中检测到的面部候选区域D31a和人候选区域D31b中的没有被准确地检测到的区域(上述a1、b1、b3)未被检测为人区域。
图2的(d)是在热图像照相机1所生成的热图像D1中示出人区域提取部34输出给人特征检测部4的信息的图。图2的(d)的区域d1、d2、d3与图2的(c)的区域d1、d2、d3相同，示出了人区域提取部34提取出的人区域。图2的(d)的e1、e2、e3示出了由人区域提取部34确定的面部区域。人区域提取部34在提取了人区域之后，使用面部候选区域D31a来确定人区域内的面部区域。人区域提取部34将所确定出的人区域和面部区域的热图像以及示出面部区域的位置的信息(面部坐标C34)、例如面部区域的右上和左下的角部坐标输出给人特征检测部4。
图3是示出实施方式1的人区域检测部3的动作的流程图。使用图3对人区域检测部3的动作进行说明。当人区域检测部3的动作开始时，面部检测部32被输入通过可见光照相机2生成的可见光图像D2，面部检测部32从可见光图像D2中检测人的面部区域。从可见光图像D2中检测人的面部的算法能够使用公知的方法。然后，面部检测部32将面部坐标C32(例如，面部区域的左上的角部和右下的角部的坐标)输出给面部坐标转换部33，该面部坐标C32示出从可见光图像D2中检测到包含面部在内的外切四边形(图2的(c)中的虚线四边形)的面部区域的位置(步骤S1)。在步骤S1中，在没有检测到面部的区域的情况下，面部检测部32将表示没有面部坐标C32的信息输出给面部坐标转换部33，或者什么也不输出。
接着，面部坐标转换部33确认是否存在可见光图像D2的面部坐标C32的输入(步骤S2)。在确认了可见光图像D2的面部坐标C32的输入的情况(在步骤S2中为“是”)，处理前进到步骤S3，在没有确认出可见光图像D2的面部坐标C32的输入的情况下(在步骤S2中为“否”)，处理前进到步骤S4。在步骤S3中，面部坐标转换部33将可见光图像D2的面部坐标C32转换为热图像D1的面部坐标C34，处理前进到步骤S4。面部坐标转换部33预先保持有热图像照相机1的摄影范围和可见光照相机2的摄影范围的信息，从而能够计算可见光照相机2所拍摄的可见光图像D2的各像素与热图像照相机1所拍摄的热图像D1中的任意像素对应的情况。
接着，在步骤S4中，体温区域检测部31从由热图像照相机1输入的热图像D1中检测面部候选区域D31a和人候选区域D31b。虽然人的体表温度会根据室温而有些许变化，但处于某个恒定的范围内。身体的中心部几乎恒定在37度，身体的表面(体表)的温度比身体的中心部稍微低些，面部的表面为30℃至37℃。体表温度最低的四肢末端的温度为大约28℃。室温高时，体表温度与身体的中心部的温度的温度差小，室温低时，该温度差变大。此外，这些体表温度是没穿衣服的情况下的温度，热图像照相机1能够取得的热图像D1是穿上衣服的状态下的人的表面温度。穿上衣服时，具有如下的趋势：衣服的量越多，被衣服覆盖的场所的体表温度(衣服的表面的温度)下降得越多。这是因为，衣服的量越多，体温越不容易传递到衣服的表面。体温区域检测部31在将30℃至37℃作为面部温度的情况下检测该温度的区域作为面部候选区域D31a。此外，体温区域检测部31在将28℃至37℃作为体表温度的情况下检测考虑了由于衣服而下降的表面温度的温度(例如，20℃至37℃)的区域作为人候选区域D31b。
接着，体温区域检测部31按照膨胀处理、收缩处理的顺序对检测到的面部候选区域D31a实施处理(步骤S5)。由此，防止了由于眼镜等佩戴于面部的物品或面部表面的温度不均等的影响而导致面部区域的检测精度降低。进而，体温区域检测部31在步骤S6中从面部候选区域D31a中排除明显不是面部的形状的区域。关于面部的形状，在以能够看到双眼的程度朝向正面而呈现在热图像D1中的情况下，该形状是圆形。体温区域检测部31利用这点而判断为不圆的面部候选区域D31a不是面部。例如通过以下记载的方法来判断从热图像D1中检测到的面部候选区域D31a中示出的面部的形状是否为圆形。即，在示出面部温度(30℃至37℃)的区域相对于包含面部候选区域D31a在内的外切四边形的面积的比例为75％以上、并且外切四边形的高宽比处于1：2至2：1的范围内的情况下，判断为是圆形，在这之外的情况下视为不是圆形。另外，为了判断是否是圆形所使用的数值仅是一例，只要不与这些值差异太大，就没有限定。
另外，为了判断面部的形状是圆形的情况而对使用了外切四边形的高宽比和面部候选区域D31a相对于外切四边形的面积比的情况进行了说明，但判断方法不限于此，只要能够判断是否为圆形，也可以使用其他的基准。例如，也可以根据面部的轮廓形状的凹凸来判断面部的形状是圆形的情况。
接着，体温区域检测部31也对人候选区域D31b与面部候选区域D31a同样地按照膨胀处理、收缩处理的顺序实施膨胀处理和收缩处理(步骤S7)。但是，此时作为处理对象的人候选区域D31b限于包含步骤S6的处理后的面部候选区域D31a在内的人候选区域D31b。
人区域提取部34根据从体温区域检测部31输入的人候选区域D31b和面部候选区域D31a以及从面部坐标转换部33输入的面部坐标C34而提取热图像D1中的人区域，将从热图像D1剪裁出的人区域的热图像D34和热图像中的面部坐标C34输出给人特征检测部4(步骤S8至步骤S11)。对从体温区域检测部31输入的所有人候选区域逐个进行步骤S8至步骤S11的处理。
首先，人区域提取部34在步骤S8中判断是否存在既是人候选区域D31b并且示出面部区域信息(面部坐标C34)的区域。当存在既是人候选区域D31b并且示出面部区域信息的区域的情况下(在步骤S8中为“是”)，人区域提取部34判断为人候选区域D31b可能是面部被拍到了的人，处理前进到步骤S9。当不存在既是人候选区域D31b并且示出面部区域信息的区域的情况下(在步骤S8中为“否”)，虽然人区域提取部34无法从可见光图像D2中检测到面部，但判断为人候选区域D31b可能是人，处理前进到步骤S11。这里，面部区域信息是将与从可见光图像D2检测到的面部区域的位置相关的信息转换为与热图像D1中的面部区域的位置相关的信息而得到的，例如是包含面部在内的外切四边形的右上的角部和左下的角部的面部坐标。与面部区域的位置相关的信息也可以是包含面部在内的外切四边形的一个角部的坐标以及纵向和横向的长度。
在步骤S9中，人区域提取部34判断是否存在既是面部候选区域D31a并且示出面部区域信息的区域，以判断人候选区域D31b内的面部候选区域D31a是否与从可见光图像D2中检测到的面部的位置一致。当存在既是面部候选区域D31a并且示出面部区域信息的区域的情况下(在步骤S9中为“是”)，人区域提取部34判断为人候选区域D31b是面部被拍到的人，处理前进到步骤S10。
当不存在既是面部候选区域D31a并且示出面部区域信息的区域的情况下(在步骤S9中为“否”)，虽然存在呈人的面部的形状的物体，但由于体温不是人的面部的温度，因此人区域提取部34判断为不是人，处理前进到步骤S12。关于从可见光图像D2中检测到面部但没有从热图像D1中检测到面部候选区域D31a的情况，具有以下等情况：是玩具娃娃；形状与面部相似而面部检测出错；以及面部的大部分被覆盖，例如戴着帽子、护目镜以及口罩从而没有从热图像D1中检测到面部候选区域D31a。
另一方面，当在步骤S8中不存在既是人候选区域D31b并且示出面部区域信息的区域从而处理前进到步骤S11的情况下，人区域提取部34在步骤S11中根据从热图像D1中检测到的面部候选区域D31a和人候选区域D31b来判定是否是人。为此，人区域提取部34使用人候选区域D31b中的面部候选区域D31a的面积比。面部的大小相对于包含面部在内的人体的大小的比例包含于某个范围内。例如，在人候选区域D31b与面部候选区域D31a的面积比为4：1至16：1的情况下(在步骤S11中为“是”)，人区域提取部34判断为人候选区域D31b是人存在的区域，处理前进到步骤S10。在检测到的人候选区域D31b与面部候选区域D31a的面积比处于4：1至16：1的范围外的情况下(在步骤S11中为“否”)，人区域提取部34判断为人候选区域D31b不是人存在的区域，处理前进到步骤S12。另外，作为人候选区域D31b与面部候选区域D31a的面积比而举出的数值仅是一例，作为面部的大小与包含面部在内的人体的大小的比例，也可以采用其他的数值范围。
在步骤S10中，人区域提取部34将在步骤S9和步骤S11中被判断为是人存在的区域的人候选区域D31b作为人区域，从热图像D1剪裁出人区域，并将剪裁出的人区域的热图像D34输出给人特征检测部4，并且将面部候选区域D31a作为面部区域，将示出面部区域的信息输出给人特征检测部4。示出面部区域的信息是示出包含面部区域在内的外切四边形的位置的信息。例如，是外切四边形的右上的角部和左下的角部的面部坐标。此外，也可以是外切四边形的一个的角部的坐标以及外切四边形的纵向和横向的长度。
在步骤S12中，人区域提取部34判断是否存在步骤S8至步骤S11的处理还没结束的人候选区域D31b，如果存在未处理的人候选区域D31b(在步骤S12中为“是”)，则处理返回到步骤S8。如果不存在未处理的人候选区域D31b(在步骤S12中为“否”)，人区域检测部3的动作全部结束，人区域检测部3等待下一个热图像D1和可见光图像D2输入。
人特征检测部4使用从人区域检测部3输出的人区域的热图像D34、示出面部区域的信息以及可见光图像D2的面部图像D32来检测人的特征。人的特征例如是性别、年龄、基础代谢、体脂率、姿态、体温、穿衣量。这些特征的值输入给设备控制部5。设备控制部5根据从人特征检测部4输入的人的特征而决定设备的控制方法，按照该控制方法对设备进行控制。
另外，在本实施方式1中，对可见光照相机和热图像照相机按照能够取得使它们所取得的图像的纵向为与地面垂直的朝向并且横向为与地面水平的朝向的图像、例如图2所示那样的图像的位置和朝向设置的情况进行了说明，但可视照相机和热图像照相机的设置位置以及朝向不限于此。也可以将可见光照相机和热图像照相机按照俯瞰房间内的朝向设置在空调设备等家电设备的旁边的位置。此外，也可以将可视照相机和热图像照相机按照俯视地板面的朝向设置在屋顶的位置。
此外，为了削减可见光照相机和热图像照相机的台数，也可以在所述照相机上安装能够拍摄广角的镜头、例如鱼眼镜头来取得图像。在这些情况下，面部的呈现方式与在实施方式1中所说明的情况不同。在检测面部的区域时，预先计算由可见光照相机和热图像照相机的设置位置和设置朝向引起的面部区域的形状的变化，需要在检测面部区域时考虑变化量。例如，在从屋顶拍摄的情况下，在热图像中面部很少呈现为圆形状，是半圆或椭圆。但是温度按照面部、头发、四肢的露出部分、穿衣区域、人以外的周边区域的顺序下降的情况不变。
《1-3》效果
根据实施方式1的设备控制装置100和设备控制方法，使用一张热图像和一张可见光图像D2来检测人，因此能够得到如下的效果：与仅根据热图像D1和可见光图像D2中的任意图像来检测人的情况相比，能够削减检测所需的运算量，此外能够使用存储容量小的存储器作为用于存储热图像数据和可见光图像数据的存储器。
根据实施方式1的设备控制装置100和设备控制方法，使用利用面部的温度的特性从热图像D1中检测到的面部候选区域D31a和从可见光图像D2中检测到的面部的区域来检测人区域，因此能够得到可以准确地检测在热图像D1中人所占的区域这样的效果。
《2》实施方式2
《2-1》结构
图4是示出本发明的实施方式2的设备控制装置200的结构的框图。在图4中，对与图1(实施方式1)所示的结构要素相同或对应的结构要素标注与图1所示的标号相同的标号。实施方式2的设备控制装置200在人特征检测部4a的结构的方面与实施方式1的设备控制装置100不同。
首先，对结构进行说明。如图4所示，实施方式2的设备控制装置200具有热图像照相机1、可见光照相机2、人区域检测部3、人特征检测部4a以及设备控制部5。人特征检测部4a具有姿态估计部41、身高体重估计部42、性别年龄估计部43、基础代谢计算部44、体脂率估计部45、穿衣量估计部46、体温估计部47以及人特征管理部48。
热图像照相机1拍摄被摄影物而生成与被摄影物对应的热图像D1并输出给人区域检测部3。可见光照相机2拍摄被摄影物而生成与被摄影物对应的可见光图像D2并输出给人区域检测部3。人区域检测部3根据从热图像照相机1输入的热图像D1和从可见光照相机2输入的可见光图像D2而检测热图像D1中的作为人占据的区域的人区域，并将人区域的热图像D34、示出面部区域的位置的信息(面部坐标C34)以及可见光图像D2的面部图像D32输入到人特征检测部4a。
将从人区域检测部3输出的人区域的热图像D34和面部坐标C34输入给人特征检测部4a的姿态估计部41、身高体重估计部42、基础代谢计算部44、体脂率估计部45、穿衣量估计部46以及体温估计部47。此外，将从人区域检测部3输出的可见光图像D2的面部图像D32输入给人特征检测部4a的性别年龄估计部43。
姿态估计部41根据人区域的热图像D34和热图像中的面部坐标C34来估计姿态，将作为估计结果的姿态D41输出给身高体重估计部42、穿衣量估计部46、体温估计部47以及人特征管理部48。身高体重估计部42根据从人区域检测部3输入的人区域的热图像D34和热图像中的面部坐标C34、从姿态估计部41输入的姿态D41以及从性别年龄估计部43输入的性别和年龄D43来估计身高和体重，将身高和体重D42输出给体脂率估计部45和基础代谢计算部44。
性别年龄估计部43根据可见光图像D2的面部图像D32来估计性别和年龄，将估计出的性别和年龄D43输出给身高体重估计部42、基础代谢计算部44以及人特征管理部48。基础代谢计算部44使用从性别年龄估计部43输入的性别和年龄D43以及从身高体重估计部42输入的身高和体重D42来计算基础代谢量D44，并将计算出的基础代谢量D44输出给人特征管理部48。
体脂率估计部45根据从身高体重估计部42输入的身高和体重D42来计算体脂率D45，并将体脂率D45输出给人特征管理部48。穿衣量估计部46根据所输入的人区域的热图像D34和热图像中的面部坐标C34以及从姿态估计部41输入的姿态D41来估计穿衣量D46，并将穿衣量D46输出给人特征管理部48。体温估计部47根据所输入的人区域的热图像D34和热图像中的面部坐标C34以及从姿态估计部41输入的姿态D41来估计体温D47，并将体温D47输出给人特征管理部48。
人特征管理部48将从姿态估计部41输入的姿态D41、从性别年龄估计部43输入的性别和年龄D43、从基础代谢计算部44输入的基础代谢量D44、从体脂率估计部45输入的体脂率D45、从穿衣量估计部46输入的穿衣量D46、以及从体温估计部47输入的体温D47作为人的特征D5输入给设备控制部5。设备控制部5根据从人特征检测部4a输入的人的特征D5而决定设备的控制方法，对设备进行控制。
《2-2》动作
接下来，对动作进行说明。图5是示出实施方式2的人特征检测部4a的动作的流程图。以下，使用图5的流程图对人特征检测部4a的动作进行说明。另外，在实施方式2中省略对与实施方式1的人特征检测部4相同的动作的说明。
在将人区域的热图像D34、面部坐标C34以及可见光图像D2的面部图像D32从人区域检测部3输入到人特征检测部4a的性别年龄估计部43后，性别年龄估计部43使用公知的方法，根据所输入的可见光图像D2的面部图像D32来估计性别和年龄(步骤S21)。接着，姿态估计部41根据人区域的热图像D34和面部坐标C34来估计人的姿态(步骤S22)。关于姿态估计方法，后文使用图6对其详细内容进行说明。
然后，身高体重估计部42使用人区域的热图像D34、面部坐标C34、姿态估计部41估计出的姿态D41以及性别年龄估计部43估计出的年龄来估计身高和体重(步骤S23)。关于身高和体重的估计方法的详细内容，后文使用图7的流程图对其详细内容进行详细说明。
接着，基础代谢计算部44使用在步骤S21中估计出的性别和年龄D43以及在步骤S23中估计出的身高和体重D42来计算基础代谢量D44(步骤S24)。基础代谢的计算使用众所周知的基础代谢计算公式。例如，使用哈里斯-本尼迪克特方程式。将体重(kg)设为W、将身高(cm)设为H、将年龄(岁)设为A、将男性的基础代谢量(kcal)设为M1、将女性的基础代谢量(kcal)设为M2，基础代谢量M1、M2按照下式求取。
M1＝13.397×W+4.7999×H-5.677×A+88.362
M2＝9.247×W+3.098×H-4.33×A+447.593
基础代谢量不仅依赖于体重，也依赖于身高、年龄以及性别。在像专利文献1那样仅使用体重的情况下，无法准确地计算基础代谢量。例如，即使体重是相同的60kg，身高175cm、年龄20岁、男性的基础代谢量为1618kcal，身高155cm、年龄60岁、女性的基础代谢量为1222kcal。这大约400kcal的差与如果是身高、年龄以及性别相同的男性则体重差距30kg的人的基础代谢量之差相同。因此，基础代谢量的计算不仅需要使用体重，也需要使用身高、年龄以及性别。
接着，体脂率估计部45使用在步骤S23中估计出的身高和体重D42来计算体脂率D45(步骤S25)。体脂率D45的计算也使用众所周知的计算公式。例如，使用BMI的计算公式，接着，穿衣量估计部46根据人区域的热图像D34、面部坐标C34以及姿态估计部41估计出的姿态D41来估计穿衣量D46(步骤S26)。关于穿衣量估计方法，后文使用图8对其详细内容进行说明。接着，体温估计部47根据人区域的热图像D34、面部坐标C34以及姿态估计部41估计出的姿态D41来估计体温D47(步骤S27)。
体温估计部47将人区域的热图像D34中的面部坐标C34所示的区域中的最高温度估计为人的体温。但是，体温的估计不限于此，也可以采用人区域的热图像D34中的面部坐标C34所示的区域的平均温度。此外，也可以根据人区域的热图像和姿态估计部41估计出的姿态D41而采用人区域中的与人的躯干对应的区域中的最高温度。此外，步骤S24至步骤S27的处理可以是任意顺序。最后，在步骤S28中，将估计出的姿态D41、体温D47、穿衣量D46作为动态特征并将体脂率D45、基础代谢量D44、性别和年龄D43以及身高和体重D42作为静态特征输出给设备控制部5。
图6是用于示出姿态估计部41的动作的图。使用图6对姿态估计部41的动作进行说明。图6示出了从人区域检测部3输入给人特征检测部4a的人区域的热图像D34的一例。标号f1所示的是包含人区域在内的外切四边形，标号f2所示的点是外切四边形f1的左上的角部，标号f3所示的点是外切四边形f1的右下的角部。此外，标号f4所示的是包含面部区域在内的外切四边形，标号f5所示的点是外切四边形f4的左上的角部，标号f6所示的点是外切四边形f4的右下的角部。从人区域检测部3将外切四边形f1的热图像作为人区域的热图像D34、将点f5的坐标和点f6的坐标作为面部坐标C34输入给人特征检测部4a，从而输入给姿态估计部41。
姿态估计部41计算外切四边形f1的高宽比。如果外切四边形f1的高宽比(高度/宽度)不到1/2，则视为睡姿。如果外切四边形f1的高宽比为1/2以上并且不到2，则视为坐姿。如果外切四边形f1的高宽比为2以上，则视为站姿。
另外，姿态的判定所用的高宽比的阈值仅是一例，将睡姿和坐姿的阈值设为L1，将坐姿和站姿的阈值设为L2，只要L1＜1＜L2，则L1和L2也可以是其他的值。
另外，在根据外切四边形f1的高宽比而求出姿态之后，如果使用点f2的坐标和点f3的坐标以及点f5的坐标和点f6的坐标，则可知人区域中的面部的位置，从而能够求取人的朝向。
图7是示出实施方式2的身高体重估计部42的动作的流程图。以下，使用图7的流程图对身高体重估计部42的动作进行说明。与姿态估计部41同样地，从人区域检测部3向身高体重估计部42输入人区域的热图像D34和面部坐标C34。身高体重估计部42根据人区域的下端的位置、即图6的点f3的y坐标(其中，将图像的横向设为x方向，将图像的纵向设为y方向)来计算所输入的人区域的热图像D34的每个像素的长度(步骤S31)。
身高体重估计部42预先保持有能够计算热图像照相机1的取得图像的位置与实际的长度的关系的式子。人区域的下端的位置对应于人与地面接触的位置，如果根据热图像照相机1的视场角和设置位置以及热图像照相机1的朝向而确定了取得图像的纵向的位置，则能够求取与在该位置呈现的物体之间的距离，从而能够确定该位置的每个像素的实际的长度。
接着，根据人区域的热图像D34而对人的体表温度的像素数进行计数(步骤S32)。然后，根据在步骤S31中求出的每个像素的长度而将在步骤S32中计算出的像素数换算为人所占的面积(步骤S33)。接着，判定姿态是站姿或睡姿、或者是坐姿(步骤S34)。如果是站姿或睡姿(在步骤S34中为“是”)，则前进到步骤S35，如果是坐姿(在步骤S34中为“否”)，则前进到步骤S36。
在步骤S35中，计算人区域的长边的长度，将在步骤S31中计算出的每个像素的长度与计算出的长边的长度相乘而得到的值作为身高。在步骤S36中，计算人区域的长边和短边的长度之和，将在步骤S31中计算出的每个像素的长度与计算出的和相乘得到的值作为身高。在步骤S35和步骤S36中估计出身高之后，前进到步骤S37。
另外，在步骤S36中根据人区域的长边与短边的长度之和来求取身高，但这是在人坐着的状态下使背部在与地面垂直的方向上伸直并且使腿在与地面水平的方向上平伸的情况下的身高。为了更准确地计算身高，也可以是，计算人的体表温度的区域相对于人区域的比例，根据该比例而变更身高的估计方法。人的体表温度的区域相对于人区域的比例越大，越可能是膝盖弯曲或者拱背的状态。例如，将人区域的长边的长度(像素)设为L、将短边的长度(像素)设为S、将人的体表温度的区域的比例相对于人区域的比例设为R、将身高设为H(cm)、将每个像素的长度(cm)设为p，则也可以采用如下公式。
0＜R＜0.4时，H＝(L+S)×p
0.4≤R＜0.7时，H＝(L+S×√2)×p
0.7≤R＜1的时，H＝(L+S×2)×p
另外，身高的估计方法不限于这些，也可以使用以下的方法。首先，计算人区域的重心。求取人区域中的在图像的上下左右这四个方向上分别离重心最远的点，将其中与重心的距离最远的两个点各自与重心的距离之和作为身高。
在步骤S37中，根据在步骤S33中求出的面积以及在步骤S35和步骤S36中估计出的身高来估计体重。首先，计算人的体积。例如，视为截面积是在步骤S33中求出的面积并且长轴是估计身高的椭圆体而计算体积。利用人的比重是1的情况，根据体积来求取体重。
另外，当使用从不同的两个方向拍摄的两张可见光图像而不是从一个方向拍摄的一张可见光图像时，能够更准确地求取人的形状而不是视为椭圆体，从而能够更准确地估计体重。
然后，使用性别年龄估计部43估计出的年龄来确认到步骤S37为止估计出的身高和体重是否合理(步骤S38)。该确认使用年龄下的标准身高和标准体重。估计出的身高是否比标准身高高N1成、即(N1×10)％以上或者低N1成以上，并且判定估计出的体重是否比标准体重重N2成以上或者轻N2成以上。N1和N2的值例如采用N1＝2、N2＝5。但不限于此。也可以根据年龄而变更N1和N2的值。
在估计出的身高比标准身高高N1成以上或者低N1成以上并且估计出的体重比标准体重重N2成以上或者轻N2成以上的情况下(在步骤S38中为“是”)，判断为估计出的身高和体重不合理，身高体重估计部42的估计结果为，身高采用年龄的标准身高，体重采用年龄的标准体重(步骤S39)。当身体的一部分被物体遮挡而没有呈现到热图像D1中的情况等时，估计身高和估计体重会大幅偏离年龄的标准身高和标准体重。
当在步骤S38的判定中不符合条件的情况下(在步骤S38中为“否”)，前进到步骤S40。另外，在步骤S39之后，前进到步骤S40。在步骤S40中，身高体重估计部42将估计出的身高和体重输出给基础代谢计算部44和体脂率估计部45。
另外，对于没有从可见光图像D2中检测到面部但根据热图像D1被判断为是人的人区域，由于没有从性别年龄估计部43向身高体重估计部42输入年龄，因此无法进行步骤S38和步骤S39的处理。在该情况下，将从热图像D1估计出身高和体重D42作为估计结果。
使用图8的(a)至图8的(c)对穿衣量估计部46的动作进行说明。图8的(a)示出了站姿的人区域的热图像D34的一例，图8的(b)示出了坐姿的人区域的热图像D34的一例，图8的(c)示出了睡姿的人区域的热图像D34的一例。图中的区域g1表示头的区域，区域g2表示躯干的区域，区域g3表示腿的区域，区域g4表示躯干和腿的区域。各姿态下的区域g1、g2、g3、g4是由人区域中的面部区域的位置而决定的。另外，图中的阴影表示被摄影物的温度，表现为温度越高，阴影越淡，温度越低，阴影越浓。
在站姿和坐姿的情况下，将头的区域的下端设为头与躯干的边界。在睡姿的情况下，将头的区域的右端或左端中的存在人区域的一侧设为头与躯干的边界。在坐姿的情况下，躯干与腿的边界不明确，因此将人区域分割为头的区域g1以及躯干和腿的区域g4。在站姿和睡姿的情况下，将对从头与躯干的边界到人区域的终端的范围进行二等分的位置设为躯干与腿的边界，这样将人区域分割为头的区域g1、躯干的区域g2以及腿的区域g3。
穿衣量估计部46对分割出的人区域的每个区域(区域g1、g2、g3、g4)估计穿衣量。一般地，穿的衣服的量越多，在热图像D1中所取得的温度越低。人的体表温度为28℃至37℃。在半袖和短裤等皮肤会露出的情况下，热图像D1的温度是人的体表温度本身。在衣服穿得少的情况下，体温会传递到衣服的表面，略低于体表温度。在衣服穿得多的情况下，体温不容易传递到衣服的表面，与体表温度的差大。但是，并不会达到与周边气温相同的程度。
分别针对躯干的区域g2、腿的区域g3以及躯干和腿的区域g4，根据热图像D1的分部来估计穿衣量。根据在各区域中何种程度的区域占据多少百分比来估计衣服的厚度和形状。例如，关于衣服的形状，躯干的区域的情况为半袖或长袖，腿的区域的情况为短裤或长裤。接近30度的温度的区域的比例越大，判断为皮肤露出得越多，从而躯干的区域的情况视为半袖，腿的区域的情况视为短裤。比例的阈值为例如20％。此外，温度越低，衣服的厚度越厚。例如，28度时，视为较薄，25度时，视为稍厚，22度时，视为非常厚。
最后，人特征管理部48将在姿态估计部41、身高体重估计部42、性别年龄估计部43、基础代谢计算部44、体脂率估计部45、穿衣量估计部46、体温估计部47中针对每个人区域的热图像D34估计出的与人的特征相关的数值D5输出给设备控制部5。
在本实施方式中，使用从可见光照相机2输入的可见光图像D2来检测热图像D1中的作为人所占的区域的人区域，但也能够不使用可见光图像D2而检测人区域。图9是示出实施方式2的设备控制装置200的结构的框图的另一例。从外部将人识别信息C31输出给人区域检测部3a。人识别信息C31是在热图像照相机1的摄影对象区域中人能够存在的场所、人好像存在那样的场所等信息。也可以将人识别信息C31预先登记到人区域检测部3a中。在人区域检测部3a中，没有图1所示的人区域检测部3的功能中的面部检测部32和面部坐标转换部33，人识别信息C31被输入给人区域提取部34。此外，在人区域提取部34中计算人的面部坐标C34。
在人区域检测部3a的人区域提取部34中，对由体温区域检测部31检测到的面部候选区域D31a及人候选区域D31b与人识别信息C31进行对照，来判断在人候选区域D31b中存在的物体是否是人。人区域提取部34将被判断为是人的候选作为对象，根据面部候选区域D31a和人候选区域D31b来计算面部坐标C34、人区域的热图像D34，并输出给人特征检测部4。
此外，在本实施方式中，根据可见光图像D2的面部图像D32来估计性别和年龄，但也可以不使用可见光图像D2而从外部将性别和年龄D43输入到人特征检测部4a。也可以预先将性别和年龄D43登记到人特征检测部4a中。此外，也可以从作为控制对象的设备的遥控器输入。将所输入的性别和年龄D43输入给身高体重估计部42、基础代谢计算部44以及人特征管理部48。
身高体重估计部42根据性别和年龄D43、从人区域检测部3a输入的人区域的热图像D34和热图像中的面部坐标C34以及从姿态估计部41输入的姿态D41来估计身高和体重，并将身高和体重D42输出给体脂率估计部45和基础代谢计算部44。基础代谢计算部44使用性别和年龄D43以及从身高体重估计部42输入的身高和体重D42来计算基础代谢量D44，并将计算出的基础代谢量D44输出给人特征管理部48。
人特征管理部48将性别和年龄D43、从姿态估计部41输入的姿态D41、从基础代谢计算部44输入的基础代谢量D44、从体脂率估计部45输入的体脂率D45、从穿衣量估计部46输入的穿衣量D46以及从体温估计部47输入的体温D47作为人的特征D5而输入到设备控制部5。设备控制部5根据从人特征检测部4a输入的人的特征D5而决定设备的控制方法，对设备进行控制。
《2-3》效果
根据实施方式2的设备控制装置200，除了实施方式1的设备控制装置100所取得的效果之外，也能够得到以下的效果。即，由于对是站姿、坐姿还是睡姿的姿态D41进行估计，因此得到了能够进行与人的姿态对应的设备控制这样的效果。
根据实施方式2的设备控制装置200，由于计算性别和年龄D43以及基础代谢量D44，因此能够根据基础代谢量D44而了解这人怕冷和怕热的倾向，耐寒和耐暑这样的体质，从而得到了能够进行与性别、年龄以及体质对应的设备控制这样的效果。
根据实施方式2的设备控制装置200，由于估计穿衣量D46和体脂率D45，因此能够了解人的保温耐性，从而得到了尤其是在空调控制中能够进行对使用者来说舒适的设备控制这样的效果。
根据实施方式2的设备控制装置200，由于对体温D47进行估计，因此能够推测人的身体状况，从而得到了能够进行与身体状况对应的设备控制这样的效果。
根据实施方式2的设备控制装置200，由于根据人的特征D5而决定设备控制方法，因此得到了能够进行对使用者来说舒适的设备控制这样的效果。
《3》实施方式3
《3-1》结构
图10是示出本发明的实施方式3的设备控制装置300的结构的框图。在图10中，对与图1(实施方式1)所示的结构要素相同或对应的结构要素标注与图1所示的标号相同的标号。在实施方式3的设备控制装置300中，设备控制部5a参照过去的控制历史，并且不在设备内部进行根据人的特征来决定设备控制方法的处理而是在云8(云服务器)中执行，在这些方面与实施方式1的设备控制装置100不同。
首先，对结构进行说明。如图10所示，实施方式3的设备控制装置300具有第一设备10、作为其他设备的第二设备11、网络7以及云8。第一设备10具有热图像照相机1、可见光照相机2、人区域检测部3、人特征检测部4、作为第一设备控制部的设备控制部5a以及作为第一通信部的通信部6。第二设备11具有作为第二设备控制部的设备控制部12和作为第二通信部的通信部13。
第一设备10的热图像照相机1生成热图像D1并输出给第一设备10的人区域检测部3。第一设备10的可见光照相机2生成可见光图像D2并输出给第一设备10的人区域检测部3。第一设备10的人区域检测部3根据从第一设备10的热图像照相机1输入的热图像D1和从第一设备10的可见光照相机2输入的可见光图像D2而检测人，并将人区域的热图像D34、热图像中的面部坐标C34以及可见光图像D2的面部图像D32输出给第一设备10的人特征检测部4。
第一设备10的人特征检测部4根据从第一设备10的人区域检测部3输入的人区域的热图像D34、面部坐标C34以及可见光图像D2的面部图像D32而检测人的特征，并将人的特征的值输出给第一设备10的设备控制部5a。第一设备10的设备控制部5a根据从第一设备10的人特征检测部4输入的人的特征、从通信部6输入的针对人的特征的设备控制方法以及在第一设备10的设备控制部5a的内部蓄积的过去的控制历史中的任意一个或多个而决定第一设备10的控制方法和其他设备的控制方法，并将人的特征和其他设备的控制方法输出给第一设备10的通信部6。
第一设备10的通信部6将从第一设备10的设备控制部5a输入的人的特征经由网络7发送给云8，从云8接收云8计算出的设备控制方法，并将设备控制方法输出给第一设备10的设备控制部5a。此外，第一设备10的通信部6将从第一设备10的设备控制部5a输入的其他设备的控制方法中的第二设备11的控制方法以及从第一设备10的设备控制部5a输入的人的特征经由网络7发送给第二设备11的通信部13，从第二设备11的通信部13接收第二设备11实际上进行的设备控制方法，并将设备控制方法输出给第一设备10的设备控制部5a。
云8根据从第一设备10的通信部6接收到的人的特征而计算对该特征的值最佳的设备控制方法，并经由网络7将最佳的设备控制方法发送给第一设备10的通信部6。第二设备11的通信部13将从第一设备10的通信部6接收到的人的特征和第二设备11的控制方法输出给第二设备11的设备控制部12，并从第二设备11的设备控制部12被输入第二设备11实际上进行的设备控制方法，将第二设备11实际上进行的设备控制方法经由网络7发送给第一设备10的通信部6。第二设备11的设备控制部12从第二设备11的通信部13被输入人的特征和第二设备11的设备控制方法，使用第二设备11的设备控制方法而决定设备控制方法，并将实际上进行的设备控制方法输出给第二设备11的通信部13。
《3-2》动作
接下来，对动作进行说明。本实施方式的结构要素中的第一设备10的热图像照相机1、第一设备10的可见光照相机2、第一设备10的人区域检测部3以及第一设备10的人特征检测部4与作为实施方式1的结构要素的热图像照相机1、可见光照相机2、人区域检测部3以及人特征检测部4分别进行同样的动作，因此在实施方式3中省略说明。
第一设备10的设备控制部5a决定与从第一设备10的人特征检测部4输入的人的特征对应的设备控制方法。此时，计算相对于人的特征(一个或多个的组合)的设备的最佳的控制方法。例如，对于基础代谢量这样的特征，设为基础代谢为规定的值以上的人怕热，设为基础代谢不到规定的值的人怕冷，对空调设备的风向进行控制使得在制冷时冷风直接接触怕热的人，并且对风向进行控制使得在制暖时暖风直接接触怕冷的人。例如，对于作为被摄影物的人是不到10岁的孩子这样的特征，使电视的音量降低至规定的值以下并且使显示明度降低至规定的值。此外，例如，对于60岁以上的男性这样的特征，将电视的音量调至规定的值以上。此外，例如，在室内仅有婴幼儿的情况下，将洗衣机门、门以及窗户锁定。另外，计算的控制方法限于能够进行与特征关联的控制的设备。
此外，第一设备10的设备控制部5a也可以采用由云8进行计算并且从通信部6输入的设备控制方法。此外，第一设备10的设备控制部5a也可以参照在第一设备10的设备控制部5a的内部(蓄积部)蓄积的过去的控制历史(人的特征和设备控制方法的历史)，采用人的特征相同的设备控制方法中的频率最高的设备控制方法。
此外，第一设备10的设备控制部5a所决定的设备控制方法不限于第一设备10的控制方法，也可以决定其他设备(例如，第二设备11)的控制方法。在第一设备10的设备控制部5a也决定其他设备、例如第二设备11的控制方法的情况下，从第一设备10的通信部6向第二设备11的通信部13发送其控制方法以及作为控制方法的基准的人的特征，第二设备11的设备控制部12从第二设备11的通信部13接收人的特征和第二设备11的控制方法，按照该控制方法进行第二设备11的控制。
《3-3》效果
根据实施方式3的设备控制装置300，除了实施方式1的设备控制装置100所取得的效果之外，也能够取得以下的效果。即，由于不在设备内部进行根据人的特征来决定设备控制方法的处理而是由云8执行，因此能够决定使用了最新知识的基于人的特征的设备控制方法，从而得到了能够进行更舒适的设备控制的效果。
根据实施方式3的设备控制装置300，由于在根据人的特征来决定设备控制方法时，参照过去的控制历史，因此得到了能够进行更符合使用者的喜好的设备控制。
根据实施方式3的设备控制装置300，即使是不具备热图像照相机和可见光照相机的设备，通过接收基于从其他设备所具备的热图像照相机和可见光照相机取得的人的特征的设备控制方法，也得到了能够进行控制的效果。
《4》变形例
图11是示出上述实施方式1至3的设备控制装置的变形例的结构的硬件结构图。图1所示的设备控制装置的人区域检测部3、人特征检测部4以及设备控制部5能够由半导体集成电路构成，但也可以使用作为保存作为软件的程序的存储装置的存储器91和作为执行保存在存储器91中的程序的信息处理部的处理器92而(例如，由计算机)实现。另外，也可以由图11所示的存储器91和执行程序的处理器92实现图1所示的设备控制装置的人区域检测部3、人特征检测部4以及设备控制部5的一部分。
此外，在上述实施方式1至3中，对设备控制装置包含热图像照相机1和可见光照相机2的情况进行了说明，但在能够从已有的热图像照相机和已有的可见光照相机中取得热图像数据和可见光图像数据的情况下，设备控制装置能够不包含热图像照相机1和可见光照相机2。在使用已有的设备的情况下能够削减成本。
此外，在上述实施方式1至3中，对设备控制装置从一台热图像照相机和一台可见光照相机2取得热图像数据和可见光图像数据的情况进行了说明，但热图像照相机的台数也可以是两台以上，此外，可见光照相机2的台数也可以是两台以上。通过使用多台照相机，检测精度提高。
标号说明
1：热图像照相机；2：可见光照相机；3：人区域检测部；4：人特征检测部；5：设备控制部；5a：第一设备的设备控制部；6：第一设备的通信部；7：网络；8：云；10：第一设备；11：第二设备；12：第二设备的设备控制部；13：第二设备的通信部；31：体温区域检测部；32：面部检测部；33：面部坐标转换部；34：人区域提取部；41：姿态估计部；42：身高体重估计部；43：性别年龄估计部；44：基础代谢计算部；45：体脂率估计部；46：穿衣量估计部；47：体温估计部；48：人特征管理部；100、200、300：设备控制装置。

Claims (22)

1.一种设备控制装置，其具有：
热图像照相机，其拍摄被摄影物而生成与所述被摄影物对应的热图像；
可见光照相机，其拍摄所述被摄影物而生成与所述被摄影物对应的可见光图像；
人区域检测部，其根据所述可见光图像和所述热图像，检测人所占的区域即人区域，并输出所述热图像中的所述人区域的热图像部分、所述热图像中的规定部位坐标以及所述可见光图像中的所述规定部位的图像；
人特征检测部，其根据所述热图像中的所述人区域的热图像部分、所述热图像中的所述规定部位坐标以及所述可见光图像中的所述规定部位的图像，计算人的基础代谢；以及
第一设备控制部，其根据由所述人特征检测部检测到的所述人的基础代谢对设备进行控制。
2.根据权利要求1所述的设备控制装置，其特征在于，
所述人区域检测部根据从所述可见光图像中检测到的人体的规定部位的区域和所述热图像，检测所述人区域。
3.根据权利要求2所述的设备控制装置，其特征在于，
所述人区域检测部具有：
体温区域检测部，其根据所述热图像中的温度分布而检测作为人区域的候选的人候选区域和作为人体的规定部位的区域的候选的规定部位候选区域；
规定部位检测部，其检测所述可见光图像中的示出所述规定部位的区域的位置的坐标；
规定部位坐标转换部，其将所述坐标转换为所述热图像中的示出所述规定部位的区域的位置的规定部位坐标；以及
人区域提取部，其根据所述人候选区域、所述规定部位候选区域以及所述规定部位坐标而提取所述人区域。
4.根据权利要求2所述的设备控制装置，其特征在于，
所述规定部位是面部。
5.根据权利要求3所述的设备控制装置，其特征在于，
所述规定部位是面部。
6.根据权利要求3所述的设备控制装置，其特征在于，
所述人特征检测部具有姿态估计部，该姿态估计部根据所述人区域的高宽比而估计占据所述人区域的人的姿态。
7.根据权利要求6所述的设备控制装置，其特征在于，
所述人特征检测部还具有：
性别年龄估计部，其根据所述可见光图像而估计占据所述人区域的人的性别和年龄；以及
身高体重估计部，其根据所述人区域、所述规定部位坐标、所述姿态估计部估计出的所述姿态、从所述性别年龄估计部输入的所述性别和年龄而估计占据所述人区域的人的身高和体重，
根据所述性别年龄估计部估计出的所述性别和年龄以及所述身高体重估计部估计出的所述身高和体重，计算占据所述人区域的所述人的基础代谢。
8.根据权利要求7所述的设备控制装置，其特征在于，
所述人特征检测部还具有：
穿衣量估计部，其根据所述人区域和所述规定部位坐标而估计占据所述人区域的人的穿衣量；以及
体脂率估计部，其根据所述身高体重估计部估计出的所述身高和体重而估计占据所述人区域的人的体脂率。
9.根据权利要求6所述的设备控制装置，其特征在于，
所述人特征检测部还具有体温估计部，该体温估计部根据所述人区域和所述规定部位坐标而估计占据所述人区域的人的体温。
10.根据权利要求7所述的设备控制装置，其特征在于，
所述人特征检测部还具有体温估计部，该体温估计部根据所述人区域和所述规定部位坐标而估计占据所述人区域的人的体温。
11.根据权利要求1所述的设备控制装置，其特征在于，
所述人特征检测部根据人的性别和年龄以及人的身高和体重来计算所述人的基础代谢。
12.根据权利要求2所述的设备控制装置，其特征在于，
所述人特征检测部根据人的性别和年龄以及人的身高和体重来计算所述人的基础代谢。
13.根据权利要求3所述的设备控制装置，其特征在于，
所述人特征检测部根据人的性别和年龄以及人的身高和体重来计算所述人的基础代谢。
14.根据权利要求4所述的设备控制装置，其特征在于，
所述人特征检测部根据人的性别和年龄以及人的身高和体重来计算所述人的基础代谢。
15.根据权利要求5所述的设备控制装置，其特征在于，
所述人特征检测部根据人的性别和年龄以及人的身高和体重来计算所述人的基础代谢。
16.根据权利要求6所述的设备控制装置，其特征在于，
所述人特征检测部根据人的性别和年龄以及人的身高和体重来计算所述人的基础代谢。
17.根据权利要求1至16中的任意一项所述的设备控制装置，其特征在于，
所述第一设备控制部还具有蓄积部，该蓄积部将过去进行的控制和控制时的人的特征作为控制历史进行蓄积并记录，
所述第一设备控制部在决定设备的控制方法时使用所述控制历史。
18.根据权利要求1至16中的任意一项所述的设备控制装置，其特征在于，
所述设备控制装置还具有第一通信部，该第一通信部将所述人的特征经由网络发送给云服务器，接收所述云服务器计算出的设备控制方法，并将接收到的所述设备控制方法输出给所述第一设备控制部，
所述第一设备控制部按照从所述第一通信部输入的所述设备控制方法对设备进行控制。
19.根据权利要求17所述的设备控制装置，其特征在于，
所述设备控制装置还具有第一通信部，该第一通信部将所述人的特征经由网络发送给云服务器，接收所述云服务器计算出的设备控制方法，并将接收到的所述设备控制方法输出给所述第一设备控制部，
所述第一设备控制部按照从所述第一通信部输入的所述设备控制方法对设备进行控制。
20.根据权利要求18所述的设备控制装置，其特征在于，
所述第一通信部经由所述网络向与所述网络连接的其他设备的第二通信部发送所述云服务器计算出的所述设备控制方法，
所述其他设备的第二设备控制部根据所述第二通信部接收到的所述设备控制方法对设备进行控制。
21.根据权利要求19所述的设备控制装置，其特征在于，
所述第一通信部经由所述网络向与所述网络连接的其他设备的第二通信部发送所述云服务器计算出的所述设备控制方法，
所述其他设备的第二设备控制部根据所述第二通信部接收到的所述设备控制方法对设备进行控制。
22.一种设备控制方法，其具有以下的步骤：
热图像拍摄步骤，拍摄被摄影物而生成与所述被摄影物对应的热图像；
可见光图像拍摄步骤，拍摄所述被摄影物而生成与所述被摄影物对应的可见光图像；
人区域检测步骤，根据所述可见光图像和所述热图像，检测人所占的区域即人区域，并输出所述热图像中的所述人区域的热图像部分、所述热图像中的规定部位坐标以及所述可见光图像中的所述规定部位的图像；
人特征检测步骤，根据所述热图像中的所述人区域的热图像部分、所述热图像中的所述规定部位坐标以及所述可见光图像中的所述规定部位的图像，计算人的基础代谢；以及
设备控制步骤，根据通过所述人特征检测步骤检测到的所述人的基础代谢对设备进行控制。
CN201780032995.1A 2016-06-03 2017-05-30 设备控制装置和设备控制方法 Active CN109196516B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-111529 2016-06-03
JP2016111529 2016-06-03
PCT/JP2017/020000 WO2017209089A1 (ja) 2016-06-03 2017-05-30 機器制御装置及び機器制御方法

Publications (2)

Publication Number Publication Date
CN109196516A CN109196516A (zh) 2019-01-11
CN109196516B true CN109196516B (zh) 2022-04-19

Family

ID=60478509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780032995.1A Active CN109196516B (zh) 2016-06-03 2017-05-30 设备控制装置和设备控制方法

Country Status (5)

Country Link
US (1) US10982871B2 (zh)
JP (1) JP6333486B2 (zh)
CN (1) CN109196516B (zh)
DE (1) DE112017002805T5 (zh)
WO (1) WO2017209089A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6627680B2 (ja) * 2016-07-27 2020-01-08 株式会社Ｊｖｃケンウッド 人物検出装置、人物検出システム、人物検出方法及び人物検出プログラム
US10768682B2 (en) * 2017-01-20 2020-09-08 Flir Systems, Inc. Detection-based wakeup of detection devices
CN112771534A (zh) * 2018-06-29 2021-05-07 物流及供应链多元技术研发中心有限公司 电子设备及对象计数方法
WO2020084777A1 (ja) * 2018-10-26 2020-04-30 三菱電機株式会社 推定装置、空調システム及び推定方法
US20200372743A1 (en) * 2019-05-20 2020-11-26 Popid, Inc. Face based door entry
WO2021084686A1 (ja) * 2019-10-31 2021-05-06 三菱電機株式会社 空気調和機
CN113447128B (zh) 2020-03-10 2023-06-23 百度在线网络技术（北京）有限公司 一种多人体温检测方法、装置、电子设备及存储介质
US20230135198A1 (en) * 2020-03-17 2023-05-04 Elenium Automation Pty Ltd Self-service station having thermal imaging camera
US20210344852A1 (en) * 2020-05-04 2021-11-04 Rebellion Photonics, Inc. Apparatuses, systems, and methods for thermal imaging
CN111784894B (zh) * 2020-06-02 2022-05-10 广州跨行网络科技有限公司 一种门禁数据处理方法和装置及介质
JP7448762B2 (ja) 2020-06-17 2024-03-13 株式会社ネツミル 温度監視システム、温度監視制御装置、温度監視端末装置、温度監視方法、及び温度監視プログラム
CN111914761A (zh) * 2020-08-04 2020-11-10 南京华图信息技术有限公司 一种热红外人脸识别的方法及系统
TW202207867A (zh) * 2020-08-24 2022-03-01 禾企電子股份有限公司 體溫異常個體快篩系統
JP7311474B2 (ja) * 2020-09-10 2023-07-19 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム
WO2022070301A1 (ja) * 2020-09-30 2022-04-07 日本電気株式会社 生体判定システム、生体判定方法、及びコンピュータプログラム
JP7311478B2 (ja) * 2020-11-19 2023-07-19 ソフトバンク株式会社 情報処理装置、情報処理プログラム及び情報処理システム
KR102494633B1 (ko) * 2020-11-27 2023-02-07 (주)메쉬 발열검사기의 실화상과 열화상의 최적 자동 매핑 방법 및 그 방법을 적용한 발열검사기
EP4296095A1 (en) * 2021-02-17 2023-12-27 Panasonic Intellectual Property Management Co., Ltd. Thermal sensation estimation device, air conditioning device, air conditioning system, thermal sensation estimation method, and program
WO2022190590A1 (ja) * 2021-03-11 2022-09-15 パナソニックＩｐマネジメント株式会社 温冷感推定装置、空調装置、チャイルドシート、温冷感推定方法及びプログラム
JP2023062609A (ja) * 2021-10-21 2023-05-08 パナソニックＩｐマネジメント株式会社 人体領域検知システム、人体領域検知方法およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528571A (zh) * 2014-10-17 2016-04-27 欧姆龙株式会社 区域信息估计装置、区域信息估计方法以及空调装置

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5155539A (ja) 1974-11-08 1976-05-15 Ichikoh Industries Ltd Koshikyotoritsukesochi
JP3026380B2 (ja) 1991-11-29 2000-03-27 松下電器産業株式会社 姿勢判別装置とその応用機器
JPH05155539A (ja) 1991-12-09 1993-06-22 Matsushita Electric Ind Co Ltd エレベータの運転制御装置
JPH07103544A (ja) 1993-10-07 1995-04-18 Sharp Corp 空気調和機
JPH083544A (ja) 1994-06-20 1996-01-09 Nippon Telegr & Teleph Corp <Ntt> はっ水性処理剤および表面はっ水性処理部材
JP2952208B2 (ja) 1997-03-18 1999-09-20 株式会社エイ・ティ・アール知能映像通信研究所 人体姿勢の推定方法
JP2001005973A (ja) 1999-04-20 2001-01-12 Atr Media Integration & Communications Res Lab カラー画像による人物の３次元姿勢推定方法および装置
JP2003173375A (ja) 2001-09-28 2003-06-20 Toshiba Corp 生活管理端末装置、生活管理方法並びに生活管理システム
EP1601286B1 (en) * 2003-02-26 2017-08-09 Marcio Marc Aurelio Martins Abreu Apparatus for measuring biologic parameters
US7138905B2 (en) * 2004-11-18 2006-11-21 Honeywell International Inc. Controlled environment thermal image detection system and methods regarding same
US7457441B2 (en) * 2005-02-25 2008-11-25 Aptina Imaging Corporation System and method for detecting thermal anomalies
US20090204008A1 (en) * 2008-02-08 2009-08-13 Daniel Beilin Whole body infrared thermography systems and methods
US20090318773A1 (en) * 2008-06-24 2009-12-24 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Involuntary-response-dependent consequences
US7924312B2 (en) * 2008-08-22 2011-04-12 Fluke Corporation Infrared and visible-light image registration
JP5111445B2 (ja) * 2008-09-10 2013-01-09 三菱電機株式会社 空気調和機
US9342594B2 (en) * 2008-10-29 2016-05-17 International Business Machines Corporation Indexing and searching according to attributes of a person
JP4702441B2 (ja) 2008-12-05 2011-06-15 ソニー株式会社 撮像装置及び撮像方法
CN101945224B (zh) * 2009-07-01 2015-03-11 弗卢克公司 热成像方法
JP2011203952A (ja) 2010-03-25 2011-10-13 Hitachi Solutions Ltd 自動販売機
US9031706B2 (en) * 2010-07-28 2015-05-12 Lg Electronics Inc. Air conditioner and method for controlling the same
JP5489915B2 (ja) 2010-08-19 2014-05-14 三菱電機株式会社 空気調和機
US8638364B2 (en) * 2010-09-23 2014-01-28 Sony Computer Entertainment Inc. User interface system and method using thermal imaging
JP2012173118A (ja) * 2011-02-21 2012-09-10 Fujitsu Ltd 温度計測システムおよび温度計測方法
US9633320B2 (en) 2011-03-15 2017-04-25 Kabushiki Kaisha Toshiba Energy demand prediction apparatus and method
JP5851105B2 (ja) 2011-03-15 2016-02-03 株式会社東芝 エネルギー需要予測装置及びプログラム
JP5923723B2 (ja) * 2011-06-02 2016-05-25 パナソニックＩｐマネジメント株式会社 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
DE102011077522A1 (de) * 2011-06-15 2012-12-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Erfassung der thermischen Behaglichkeit
KR101247497B1 (ko) * 2012-02-29 2013-03-27 주식회사 슈프리마 환경 적응형 얼굴 인식장치 및 그 방법
US9292250B2 (en) * 2012-09-27 2016-03-22 Intel Corporation Devices, methods, and systems for providing interactivity with digital signs
JP6068280B2 (ja) 2013-07-10 2017-01-25 ジョンソンコントロールズ ヒタチ エア コンディショニング テクノロジー（ホンコン）リミテッド 空気調和機
JP2015078802A (ja) * 2013-10-18 2015-04-23 日立アプライアンス株式会社 空気調和機の室内機及び空気調和機
JP6348763B2 (ja) * 2014-04-18 2018-06-27 日立ジョンソンコントロールズ空調株式会社 空気調和機
KR20150131591A (ko) * 2014-05-15 2015-11-25 엘지전자 주식회사 공기조화기 및 그 제어 방법
CN104279705B (zh) * 2014-10-08 2017-07-04 广东美的制冷设备有限公司 空调控制方法、系统及空调设备
CN104279706B (zh) * 2014-10-08 2017-03-22 广东美的制冷设备有限公司 基于图像识别的空调控制方法、系统及空调设备
JP2016164525A (ja) * 2015-03-06 2016-09-08 セイコーエプソン株式会社 温度測定装置及び温度測定方法
US10235690B2 (en) * 2015-03-11 2019-03-19 Admobilize Llc. Method and system for dynamically adjusting displayed content based on analysis of viewer attributes
JP6505514B2 (ja) * 2015-06-10 2019-04-24 パナソニック株式会社 空気調和機、センサシステムおよびその温冷感推定方法
CA2987273A1 (en) * 2015-06-12 2016-12-15 University Of Maryland, College Park Comfort units and systems, methods, and devices for use thereof
FR3039461B1 (fr) * 2015-07-30 2018-12-07 Valeo Systemes Thermiques Systeme de commande pour installation de conditionnement d'air d'un vehicule automobile
CN105180385A (zh) * 2015-10-30 2015-12-23 广东美的制冷设备有限公司 一种基于脸部特征进行空调控制的方法、系统及空调
CN105202718B (zh) * 2015-10-30 2018-02-06 广东美的制冷设备有限公司 一种基于基础代谢率的空调控制方法、系统及空调
US9644857B1 (en) * 2015-12-01 2017-05-09 Nasser Ashgriz Virtual thermostat for a zonal temperature control
US20170156594A1 (en) * 2015-12-07 2017-06-08 Bodymedia, Inc. Systems, methods, and devices to determine and predict physilogical states of individuals and to administer therapy, reports, notifications, and the like therefor
US20170211838A1 (en) * 2016-01-21 2017-07-27 Vivint, Inc. Image based hvac
US10372990B2 (en) * 2016-03-18 2019-08-06 International Business Machines Corporation System and method for identification of personal thermal comfort
US20170330044A1 (en) * 2016-05-10 2017-11-16 GM Global Technology Operations LLC Thermal monitoring in autonomous-driving vehicles

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528571A (zh) * 2014-10-17 2016-04-27 欧姆龙株式会社 区域信息估计装置、区域信息估计方法以及空调装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A standardized infrared imaging technique that specifically detects UCP1-mediated thermogenesis in vivo;Justin D. Crane 等;《Molecular Metabolism》;20140731;第3卷(第4期);1-5 *

Also Published As

Publication number Publication date
WO2017209089A1 (ja) 2017-12-07
US20190162439A1 (en) 2019-05-30
DE112017002805T5 (de) 2019-02-28
CN109196516A (zh) 2019-01-11
JP6333486B2 (ja) 2018-05-30
JPWO2017209089A1 (ja) 2018-06-21
US10982871B2 (en) 2021-04-20

Similar Documents

Publication Publication Date Title
CN109196516B (zh) 设备控制装置和设备控制方法
US11480359B2 (en) Air-conditioning control device
CN107883541B (zh) 空调控制方法及装置
CN104896663B (zh) 空调器送风方式的调整方法、调整系统及空调器
US9760796B2 (en) Room information inferring apparatus including a person detector and a presence map generator, room information inferring method including person detection and presence map generation, and air conditioning apparatus
US20160110602A1 (en) Area information estimating device, area information estimating method, and air conditioning apparatus
JP2013114595A (ja) 情報処理装置、情報処理方法及びプログラム
JP6109288B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6425821B2 (ja) 空気調和機
JP2018120644A (ja) 識別装置、識別方法およびプログラム
JP2005172288A (ja) 空気調和装置の制御システム
CN110822670A (zh) 空调器控制方法、装置、空调器和存储介质
JP6339445B2 (ja) 人物識別装置
CN112639365A (zh) 换气控制装置以及换气系统
WO2023143215A1 (zh) 人体测量数据的获取方法、处理方法及设备
CN112178785A (zh) 一种空调器除湿控制方法及除湿控制设备
JPWO2013088517A1 (ja) 停立人物の向き推定方法
WO2022041953A1 (zh) 行为识别方法、装置和存储介质
CN111780330B (zh) 空调器的控制方法及装置、空调器
CN109543762A (zh) 一种多特征融合姿态识别系统及方法
JP5411092B2 (ja) 携帯端末を用いたファッションチェックシステム
JP2017108259A (ja) 機器制御システム、及び、機器制御方法
CN115047974A (zh) 一种服装虚拟试衣互动方法及装置
JP7259313B2 (ja) 属性決定装置、属性決定システム、属性決定方法、プログラムおよび記録媒体
JP2022081282A (ja) 情報処理装置、情報処理プログラム及び情報処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant