CN112101115A - 基于热成像的温度控制方法、装置、电子设备和介质 - Google Patents

基于热成像的温度控制方法、装置、电子设备和介质 Download PDF

Info

Publication number
CN112101115A
CN112101115A CN202010824159.0A CN202010824159A CN112101115A CN 112101115 A CN112101115 A CN 112101115A CN 202010824159 A CN202010824159 A CN 202010824159A CN 112101115 A CN112101115 A CN 112101115A
Authority
CN
China
Prior art keywords
posture
human body
temperature
thermal image
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010824159.0A
Other languages
English (en)
Other versions
CN112101115B (zh
Inventor
叶景泰
罗勇洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Original Assignee
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shuliantianxia Intelligent Technology Co Ltd filed Critical Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority to CN202010824159.0A priority Critical patent/CN112101115B/zh
Publication of CN112101115A publication Critical patent/CN112101115A/zh
Application granted granted Critical
Publication of CN112101115B publication Critical patent/CN112101115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/50Control or safety arrangements characterised by user interfaces or communication
    • F24F11/61Control or safety arrangements characterised by user interfaces or communication using timers
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/62Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63Electronic processing
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/62Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63Electronic processing
    • F24F11/64Electronic processing using pre-stored data
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/70Control systems characterised by their outputs; Constructional details thereof
    • F24F11/80Control systems characterised by their outputs; Constructional details thereof for controlling the temperature of the supplied air
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D23/00Control of temperature
    • G05D23/19Control of temperature characterised by the use of electric means
    • G05D23/20Control of temperature characterised by the use of electric means with sensing elements having variation of electric or magnetic properties with change of temperature
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00Control inputs relating to air properties
    • F24F2110/10Temperature
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00Control inputs relating to users or occupants
    • F24F2120/10Occupancy
    • F24F2120/14Activity of occupants

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Fuzzy Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

本申请公开了一种基于热成像的温度控制方法、装置、电子设备和介质。其中方法包括:获取至少包括用户的躯体的人体热图像;根据人体热图像生成时间轴数据,所述时间轴数据包括多帧人体热图像,其按照相邻两帧人体热图像之间用户的姿势变化情况被划分至不同的姿势阶段;根据时间轴数据中第一姿势阶段的人体热图像和第二姿势阶段的人体热图像,确定用户是否发生目标动作;在确定用户发生目标动作的情况下,获取目标动作发生之前和发生之后的两段时间段内,室内环境参数的变化信息;获取目标动作的类型,根据目标动作的类型和室内环境参数的变化信息,确定温度调整策略;向终端设备发送调整指令,指示终端设备按照温度调整策略进行调温处理。

Description

基于热成像的温度控制方法、装置、电子设备和介质
技术领域
本发明涉及热成像技术领域,尤其是涉及一种基于热成像的温度控制方法、装置、电子设备和介质。
背景技术
室内环境温度是影响睡眠质量的重要的因素,不合适的室内温度会导致睡眠过程中被冻醒或者热醒,影响到第二天的精神状态和工作学习效率。实际上,睡觉前设置的空调温度并不满足实现整晚温度舒适,在入睡阶段,往往偏低温度有助于快速入睡,而在清醒阶段,偏高的温度有助于唤醒,而在睡眠过程中,由于睡眠分期,新陈代谢以及室外气候变化,人体对温度的敏感性是不一样的,设定一个温度无法适用于用户的整个睡眠阶段。
目前,一些智能空调本身提供多种定时模式和睡眠模式,但通过空调睡眠模式或者定时功能,甚至用户手动设置调温曲线的方式调温效果不好,调温决策过于粗糙。而通过智能硬件比如手环、皮电传感器等来实时预测判断用户的热舒适来调节的方式,这些硬件价格费用相对较高,另外需要用户在睡眠过程中携带,不利于睡眠的舒适性。
发明内容
本申请提供了一种基于热成像的温度控制方法、装置、电子设备和介质。
第一方面,提供了一种基于热成像的温度控制方法,包括:
获取人体热图像,所述人体热图像至少包括用户的躯体;
根据所述人体热图像生成时间轴数据,所述时间轴数据包括多帧人体热图像,所述多帧人体热图像按照相邻两帧人体热图像之间用户的姿势变化情况被划分至不同的姿势阶段;
根据所述时间轴数据中第一姿势阶段的人体热图像和第二姿势阶段的人体热图像,确定在所述第一姿势阶段到所述第二姿势阶段所述用户是否发生目标动作,所述第二姿势阶段为所述第一姿势阶段的下一阶段;
在确定所述用户发生目标动作的情况下,获取所述目标动作发生之前和所述目标动作发生之后的两段时间段内,室内环境参数的变化信息;
获取所述目标动作的类型,根据所述目标动作的类型和所述室内环境参数的变化信息,确定温度调整策略;
向终端设备发送调整指令,所述调整指令用于指示所述终端设备按照所述温度调整策略进行调温处理。
在一种可选的实施方式中,所述室内环境参数的变化信息包括室内温度变化值;
所述获取所述目标动作发生之前和所述目标动作发生之后的两段相邻时间段内,室内环境参数的变化信息,包括:
获取所述室内环境参数的第一变化值和第二变化值;所述第一变化信息为所述目标动作发生之前相邻的第一时间段内的室内温度变化值,所述第二变化信息为所述目标动作发生之后相邻的第二时间段内的室内温度变化值;
所述根据所述目标动作的类型和所述室内环境参数的变化信息,确定温度调整策略,包括:
判断所述第一变化值的绝对值是否大于第一预设变化阈值;
若大于,获取所述第一变化值匹配的动作类型,判断所述目标动作的类型是否与所述第一变化值匹配的动作类型一致;
若一致,依据所述第一变化值确定所述温度调整策略为降低温度或者升高温度,以及相应的温度调整值。
在一种可选的实施方式中,所述依据所述第一变化值确定所述温度调整策略为降低温度或者升高温度,以及相应的温度调整值包括:
若所述第一变化值为正,确定所述温度调整策略为降低温度;若所述第一变化值为负,确定所述温度调整策略为升高温度;
根据预设的室内温度变化值的绝对值与温度调整值的对应关系,确定所述第一变化值的绝对值所对应的温度调整值。
在一种可选的实施方式中,所述根据所述目标动作的类型和所述室内环境参数的变化信息,确定温度调整策略,还包括:
若所述第一变化值的绝对值不大于所述第一变化阈值,或者,若所述目标动作的类型与所述第一变化值匹配的动作类型不一致,判断所述第二变化值的绝对值是否大于第二预设变化阈值;
若大于,依据所述第二变化值和所述目标动作的类型确定所述温度调整策略为降低温度或者升高温度,以及相应的温度调整值。
在一种可选的实施方式中,所述根据所述人体热图像生成时间轴数据,包括:
确定所述人体热图像中的人体区域,从所述人体热图像中提取所述人体区域的特征信息;
根据所述人体热图像中相邻两帧人体热图像的人体区域的特征信息,确定在所述相邻两帧人体热图像之间用户的姿势变化情况;
根据所述用户的姿势变化情况生成所述时间轴数据。
在一种可选的实施方式中,所述根据所述时间轴数据中第一姿势阶段的人体热图像和第二姿势阶段的人体热图像,确定在所述第一姿势阶段到所述第二姿势阶段所述用户是否发生目标动作,包括:
从所述时间轴数据中获取各个姿势阶段包括的人体热图像,根据所述各个姿势阶段包括的人体热图像获得各个姿势阶段对应的代表姿势热图像,一个所述代表姿势热图像用于代表一个姿势阶段的用户姿势;
获取所述时间轴数据中所述第一姿势阶段对应的第一代表姿势热图像,和所述第二姿势阶段对应的第二代表姿势热图像,根据所述第一代表姿势热图像和所述第二代表姿势热图像,确定在所述第一姿势阶段到所述第二姿势阶段所述用户是否发生目标动作。
在一种可选的实施方式中,所述根据所述人体热图像中相邻两帧人体热图像的人体区域的特征信息,确定在所述相邻两帧人体热图像之间用户的姿势变化情况,包括:
获取所述人体热图像中,所述相邻两帧人体热图像之间相同位置的像素点的温度差值;
获得所述温度差值不小于温度差值阈值的像素点个数;
若所述温度差值不小于所述温度差值阈值的像素点个数大于个数阈值,则确定在所述相邻两帧人体热图像之间所述用户发生姿势变化。
在一种可选的实施方式中,所述从所述时间轴数据中获取各个姿势阶段包括的人体热图像,根据所述各个姿势阶段包括的人体热图像获得各个姿势阶段对应的代表姿势热图像,包括:
获取所述队列的所有人体热图像帧中各个像素点的温度值和位置信息,获得所述所有人体热图像帧中所述位置信息相同的像素点的温度值的平均值;
根据获得的所述像素点的温度值的平均值和所述像素点的位置信息,获得所述所有人体热图像帧的平均帧;
将所述平均帧作为所述姿势阶段对应的代表姿势热图像。
在一种可选的实施方式中,所述根据所述第一代表姿势热图像和所述第二代表姿势热图像,确定在所述第一姿势阶段到所述第二姿势阶段所述用户是否发生目标动作,包括:
根据所述第一代表姿势热图像和所述第二代表姿势热图像,获取所述第一姿势阶段和所述第二姿势阶段分别对应的人体区域参数,一个所述人体区域参数反映一个所述代表姿势热图像中的人体区域的尺寸,所述人体区域参数为人体区域的周长、面积或者外接矩阵中的至少一种;
比较所述第一姿势阶段和所述第二姿势阶段分别对应的人体区域参数,确定在所述第一姿势阶段到所述第二姿势阶段所述用户是否发生目标动作。
第二方面,提供了一种温度控制装置,包括:
获取模块,用于获取人体热图像,所述人体热图像至少包括用户的躯体;
生成模块,用于根据所述人体热图像生成时间轴数据,所述时间轴数据包括多帧人体热图像,所述多帧人体热图像按照相邻两帧人体热图像之间用户的姿势变化情况被划分至不同的姿势阶段;
确定模块,用于根据所述时间轴数据中第一姿势阶段的人体热图像和第二姿势阶段的人体热图像,确定在所述第一姿势阶段到所述第二姿势阶段所述用户是否发生目标动作,所述第二姿势阶段为所述第一姿势阶段的下一阶段;
所述获取模块还用于,在确定所述用户发生目标动作的情况下,获取所述目标动作发生之前和所述目标动作发生之后的两段时间段内,室内环境参数的变化信息;
控制模块,用于获取所述目标动作的类型,根据所述目标动作的类型和所述室内环境参数的变化信息,确定温度调整策略;
传输模块,用于向终端设备发送调整指令,所述调整指令用于指示所述终端设备按照所述温度调整策略进行调温处理。
第三方面,提供了一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如第一方面及其任一种可能的实现方式的步骤。
第四方面,提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行如上述第一方面及其任一种可能的实现方式的步骤。
本申请通过获取人体热图像,上述人体热图像至少包括用户的躯体,根据上述人体热图像生成时间轴数据,上述时间轴数据包括多帧人体热图像,上述多帧人体热图像按照相邻两帧人体热图像之间用户的姿势变化情况被划分至不同的姿势阶段,根据上述时间轴数据中第一姿势阶段的人体热图像和第二姿势阶段的人体热图像,确定在上述第一姿势阶段到上述第二姿势阶段上述用户是否发生目标动作,上述第二姿势阶段为上述第一姿势阶段的下一阶段,在确定上述用户发生目标动作的情况下,获取目标动作发生之前和发生之后的两段时间段内,室内环境参数的变化信息,获取目标动作的类型,根据上述目标动作的类型和上述室内环境参数的变化信息,确定温度调整策略,向终端设备发送调整指令,以指示上述终端设备按照上述温度调整策略进行调温处理。通过热图像分析检测对象的姿势变化情况,生成划分不同姿势阶段的时间轴数据,对各个姿势阶段的热图像进行分析,而不只是根据热图热量的变化简单规则判断,即考虑了检测对象姿势维持的时间减少了翻身等临时动作的因素影响干扰,可以更准确判断用户动作和状态,适用于睡眠场景中踢盖被子等动作监控,也为后续智能设备的应对处理提供了前提基础,即在用户目标动作的基础上结合温度、湿度等室内环境参数的变化,获取置信度高的热不舒适状态判定,能实时监控用户热不舒适状态,另外红外热成像传感器价格相对用户携带智能设备而言更便宜、隐私性好,同时也提高了用户舒适性。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1为本申请实施例提供的一种基于热成像的温度控制方法的流程示意图;
图2为本申请实施例提供的一种基于热成像的动作类型识别方法的流程示意图;
图3为本申请实施例提供的一种人体热图像示意图;
图4为本申请实施例提供的一种睡姿时间轴示意图;
图5为本申请实施例提供的三种睡姿热图像示意图;
图6为本申请实施例提供的一种温度控制装置的结构示意图;
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参阅图1,图1是本申请实施例提供的一种基于热成像的温度控制方法的流程示意图。该方法可包括:
101、获取人体热图像,上述人体热图像至少包括用户的躯体。
本申请实施例的执行主体可以为一种温度控制装置,可以为电子设备,具体实现中,上述电子设备为一种终端,也可称为终端设备,包括但不限于诸如具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是,在某些实施例中,上述设备并非便携式通信设备,而是具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的台式计算机。
在一种实施方式中,热成像传感器可以安装在床头侧的墙上,比如可以安装位置在床头的中央,往上高度大约在1.8m左右,满足人体躯干由头到膝盖范围能成像在热图像的中央区域。本申请实施例对热成像传感器的类型和放置不做限制。本申请实施例中的热成像传感器可以周期性地采集热图像,其中包括上述人体热图像,提供给上述温度控制装置进行处理。上述人体热图像至少包括用户的躯体,可以用于人体姿势分析。可选的,温度控制装置还可以通过各种传感器获取其他环境参数,如室内温度、空气湿度等进行分析处理,本申请实施例对此不做限制。
在一种可选的实施方式中,可以设置传感器采集的帧率为2/s,采集时间预设夜晚睡眠阶段如0点-7点,也可以通过图像识别用户进入睡眠状态直到早上起床的时间段,可以获得一整晚睡眠的热图像数据。可以根据需要安装热成像传感器和配置热图像采集时间,本申请实施例对此不做限制。
本申请实施例中可以通过热成像传感器采集环境中的热成像图(热图像),热成像是通过非接触探测红外能量(热量),并将其转换为电信号,进而在显示器上生成热图像和温度值,并可以对温度值进行计算的一种检测设备。自然界中的一切物体,无论是北极冰川,还是火焰、人体,甚至极寒冷的宇宙深空,只要它们的温度高于绝对零度-273℃,都会有红外辐射,这是由于物体内部分子热运动的结果。其辐射能量正比于自身温度的四次方成正比,辐射出的波长与其温度成反比。红外成像技术就是根据探测到的物体的辐射能量的高低。经系统处理转变为目标物体的热图像,以灰度级或伪彩色显示出来,即得到被测目标的温度分布从而判断物体所处的状态。
本申请实施例中的热成像传感器可以周期性地采集热图像,可选的,该热成像传感器的分辨率可以是24*32,每采集一次,输出一帧大小为24*32的热图像数据,其中每个像素点的值是温度值。通过热图像分析,可以知道热量的分布范围以及具体的温度值大小信息。
温度控制装置可以获取上述人体热图像,执行步骤102。
102、根据上述人体热图像生成时间轴数据,上述时间轴数据包括多帧人体热图像,上述多帧人体热图像按照相邻两帧人体热图像之间用户的姿势变化情况被划分至不同的姿势阶段。
具体的,可以对获得的人体热图像进行分析,判断相邻两帧之间用户的姿势变化情况,以进行姿势阶段的划分,可生成包括不同姿势阶段的时间轴数据。
周期性采集的人体热图像可以依据时间顺序生成时间轴,其中的多帧人体热图像按照姿势变化情况被划分至不同的姿势阶段。可以理解为当确定相邻两帧人体热图像之间用户发生姿势变化时,可以以这相邻两帧人体热图像之间的节点为界限,划分为相邻的两个姿势阶段。
可选的,还可以设置划分时长阈值,其中独立姿势阶段时长需满足持续时长大于该划分时长阈值(如1分钟)的约束条件。上述获得的时间轴可以以图像形式输出显示,比如在结束睡眠之后生成睡姿时间轴示意图。本申请实施例对时间轴的划分方式和展示形式不做限制。
103、根据上述时间轴数据中第一姿势阶段的人体热图像和第二姿势阶段的人体热图像,确定在上述第一姿势阶段到上述第二姿势阶段上述用户是否发生目标动作,上述第二姿势阶段为上述第一姿势阶段的下一阶段。
可以比较前后相邻的两个姿势阶段的人体姿势特征,以确定在这两个姿势阶段之间用户是否发生目标动作。
具体的,对于时间轴数据中的每个姿势阶段,可以在该姿势阶段包括的人体热图像选出一个代表姿势热图像,代表该姿势阶段的用户姿势。可选的,可以取每个姿势阶段中间时刻的人体热图像作为该时间段对应的代表姿势热图像,此处不做限制。在获得已生成的姿势阶段的代表姿势热图像的情况下,
在进行比较的两个代表姿势热图像中,提取人体区域参数,该人体区域参数可以为人体区域的周长、面积或者外接矩阵中的至少一种,一个人体区域参数反映一个代表姿势热图像中的人体区域的尺寸。通过比较上述第一姿势阶段和上述第二姿势阶段分别对应的人体区域参数,判断两者的差异程度,可以确定在上述第一姿势阶段到上述第二姿势阶段上述用户是否发生目标动作。
在一种可选的实施方式中,若人体区域参数为人体区域的面积。以睡姿动作检测的应用场景为例,需要对前后相邻的两个阶段的用户睡姿进行比较。可选的,可以计算上述第一姿势阶段到上述第二姿势阶段的人体区域的面积差值,获取该结果的绝对值大小,判断该面积差值的绝对值是否大于预设面积阈值,若大于则确定发生动作,并且,根据该面积差值的正负情况确定人体区域的面积是减小还是增加,对应用户发生的动作具体是盖被子(人体区域的面积减小)还是踢被子(人体区域的面积增加)。
可选的,为了便于描述,上述第一代表姿势热图像的人体区域的面积称为第一面积,上述第二代表姿势热图像的人体区域的面积称为第二面积。还可以进行以以下计算:(第一面积-第二面积)/第一面积,再将该计算的结果与预设的比值阈值进行比较,若大于预设的比值阈值则确定为发生踢被子动作。可选的,还可以通过不同的动作识别模型或者判断规则确定是否发生不同的动作,比如盖被子动作、翻身动作等,实现动作分类。本申请实施例对上述动作识别模型的具体判断规则不作限制。
104、在确定上述用户发生目标动作的情况下,获取上述目标动作发生之前和上述目标动作发生之后的两段时间段内,室内环境参数的变化信息。
在确定上述用户发生目标动作的情况下,温度控制装置可以响应于该情况执行对应的温度控制措施。具体的,可以通过连接的传感器获取该目标动作发生之前和该目标动作发生之后的两段时间段内,室内环境参数的变化信息。上述室内环境参数可以包括室内温度、湿度等,此处不做限制。
105、获取上述目标动作的类型,根据上述目标动作的类型和上述室内环境参数的变化信息,确定温度调整策略。
本申请实施例中的温度控制装置可以对用户发生的动作和室内环境参数的变化进行综合分析,进行更合理的温度调控。上述目标动作的类型是在前述对热图像进行动作类型分析判断时确定的,比如翻身、踢被子、盖被子等类型,此处不做限制。
在一种实施方式中,上述室内环境参数的变化信息包括室内温度变化值;
上述步骤104具体可以包括:
41、获取上述室内环境参数的第一变化值和第二变化值;上述第一变化信息为上述目标动作发生之前相邻的第一时间段内的室内温度变化值,上述第二变化信息为上述目标动作发生之后相邻的第二时间段内的室内温度变化值;
上述根据上述目标动作的类型和上述室内环境参数的变化信息,确定温度调整策略,可包括:
51、判断上述第一变化值的绝对值是否大于第一预设变化阈值;
若大于,可以执行步骤52:获取上述第一变化值匹配的动作类型,判断上述目标动作的类型是否与上述第一变化值匹配的动作类型一致;
若一致,可以执行步骤53:依据上述第一变化值确定上述温度调整策略为降低温度或者升高温度,以及相应的温度调整值。
具体的,室内可以设置温度传感器或者温度检测装置周期性地检测室内温度,温度控制装置可以获取采集的室内温度值,并得出目标动作发生之前相邻的第一时间段内的室内温度变化值,和目标动作发生之后相邻的第二时间段内的室内温度变化值(即第一变化值和第二变化值)。
温度控制装置中可以存储有上述第一预设变化阈值,比如2(摄氏度),则可以首先判断该第一变化值的绝对值是否大于第一预设变化阈值。若大于,表示该时间段内室内温度变化相对急剧,可以执行步骤52,对该时间段内的用户姿势变化进一步分析。
其中,上述第一变化值匹配的动作类型,表示与该温度变化情况具有一般因果关系的用户动作,比如温度降低——盖被子、温度升高——踢被子;相反的,不匹配的情况则可包括:温度降低——踢被子、温度升高——盖被子,等等,本申请实施例对此不做限制。
上述目标动作的类型与上述第一变化值匹配的动作类型一致,则表示目标动作与第一变化值指示的温度变化情况相匹配,可以理解为属于温度变化导致了用户的目标动作发生,此时可以确定执行对应的调温操作,即可以根据该第一变化值确定该温度调整策略为降低温度或者升高温度,以及相应的温度调整值。
在一种可选的实施方式中,上述步骤53具体可包括:
531、若上述第一变化值为正,确定上述温度调整策略为降低温度;若上述第一变化值为负,确定上述温度调整策略为升高温度;
532、根据预设的室内温度变化值的绝对值与温度调整值的对应关系,确定上述第一变化值的绝对值所对应的温度调整值。
可以理解为,上述第一变化值表示温度升高,则该温度调整策略为降低温度;第一变化值表示温度降低,则该温度调整策略为升高温度...具体的温度调整值(升高或降低多少度)可以根据第一变化值的绝对值大小确定,以实现适应性的温度调节。温度控制装置中可以存储有上述预设的室内温度变化值的绝对值与温度调整值的对应关系,从而可以根据第一变化值的绝对值确定对应的温度调整值进行调温。其中,温度调整值的绝对值与该第一变化值的绝对值呈正相关。温度调整值的确定可以有多种预设规则,此处不做限制。
进一步可选的,若上述第一变化值的绝对值不大于上述第一变化阈值,或者,若上述目标动作的类型与上述第一变化值匹配的动作类型不一致,可以执行步骤54:
判断上述第二变化值的绝对值是否大于第二预设变化阈值;
若大于,可以执行步骤55:依据上述第二变化值和上述目标动作的类型确定上述温度调整策略为降低温度或者升高温度,以及相应的温度调整值。
在该第一变化值的绝对值不大于上述第一变化阈值的情况下,可以理解为温度变化相对不大,可以不立刻进行调温,而是再执行步骤54的判断,即判断目标动作发生之后相邻的第二时间段内的室内温度变化值是否急剧变化。
类似地,温度控制装置中可以存储有上述第二预设变化阈值,比如1.5(摄氏度),则可以首先判断该第一变化值的绝对值是否大于该第一预设变化阈值。若大于,表示该时间段内室内温度变化相对较大,可以执行步骤55,对该时间段内的用户姿势变化进一步分析。其具体方式可以参考上述步骤53中相关描述,此处不再赘述。
举例来讲,温度控制流程的具体步骤可以如下:
1、以检测到目标动作——踢/盖被子动作作为触发点,进入调温逻辑流程;
2、判断动作前T0时间段内,室内温度是否发生变化。比如:前T0时间内室内温度比入睡时室内温度大于2度,或者前T0时间内温度变化大于2度;
3、若步骤2成立,则结合目标动作类型进行判断,比如:踢被子+室内温度急剧增加变化,则在当前的设置温度基础上微调,比如降低1度;相反的,若目标动作类型与变化趋势矛盾,进入步骤4;如步骤2不成立,直接进入步骤4;
4、判断动作后T1时间段内,室内温度是否变化。比如:动作后T1时间段内,温度是否变化大于2度;
5、若步骤4成立,同样可以结合目标动作类型来决策,比如说踢被子+室内温度上升了2度,则在当前的设置温度基础上微调,比如降低1度。
106、向终端设备发送调整指令,上述调整指令用于指示上述终端设备按照上述温度调整策略进行调温处理。
本申请实施例中的温度控制装置可以与其他终端设备进行通信,可包括各种智能家居设备如空调、加湿器等等。在确定相应的温度调整策略之后,可以向终端设备发送调整指令,以指示该终端设备按照上述温度调整策略进行调温处理,控制用户所处的室内环境更舒适。
温度控制装置还可以存储室内环境参数和人体热图像的相关历史数据,以对整个监控过程提供数据支持和数据分析。
室内环境温度是影响睡眠质量的重要的因素,不合适的室内温度会导致睡眠过程中被冻醒或者热醒,影响到第二天的精神状态和工作学习效率。实际上,睡觉前设置的空调温度并不满足实现整晚温度舒适,在入睡阶段,往往偏低温度有助于快速入睡,而在清醒阶段,偏高的温度有助于唤醒,而在睡眠过程中,由于睡眠分期,新陈代谢以及室外气候变化,人体对温度的敏感性是不一样的。因此整晚一个空调设置温度是不满足的。目前,大致的改善方法有:1.智能空调本身提供多种定时模式和睡眠模式,让用户手动设置整晚的空调温度变化。2.通过智能硬件比如:智能手环,来判断用户的热舒适状态,通过智能监测到用户感到热不舒适时,空调主动给用户进行温度的调节,避免用户被冻醒或者热醒。
本申请实施例中的基于热成像的温度控制方法更适用于该场景下的温度控制,通过获取人体热图像,上述人体热图像至少包括用户的躯体,根据上述人体热图像生成时间轴数据,上述时间轴数据包括多帧人体热图像,上述多帧人体热图像按照相邻两帧人体热图像之间用户的姿势变化情况被划分至不同的姿势阶段,根据上述时间轴数据中第一姿势阶段的人体热图像和第二姿势阶段的人体热图像,确定在上述第一姿势阶段到上述第二姿势阶段上述用户是否发生目标动作,上述第二姿势阶段为上述第一姿势阶段的下一阶段,在确定上述用户发生目标动作的情况下,获取目标动作发生之前和发生之后的两段时间段内,室内环境参数的变化信息,获取目标动作的类型,根据上述目标动作的类型和上述室内环境参数的变化信息,确定温度调整策略,向终端设备发送调整指令,以指示上述终端设备按照上述温度调整策略进行调温处理。通过热图像分析检测对象的姿势变化情况,生成划分不同姿势阶段的时间轴数据,对各个姿势阶段的热图像进行分析,而不只是根据热图热量的变化简单规则判断,即考虑了检测对象姿势维持的时间减少了翻身等临时动作的因素影响干扰,可以更准确判断用户动作和状态,适用于睡眠场景中踢盖被子等动作监控,也为后续智能设备的应对处理提供了前提基础,即在用户目标动作的基础上结合温度、湿度等室内环境参数的变化,获取置信度高的热不舒适状态判定,能实时监控用户热不舒适状态,另外红外热成像传感器价格相对用户携带智能设备而言更便宜、隐私性好,同时也提高了用户舒适性。
为了更清楚地说明本申请实施例中的技术方案,可以参阅图2,图2是本发明实施例提供的一种基于热成像的动作类型识别方法的流程示意图。如图2所示,该方法可以应用于图1所示实施例中所介绍的温度控制方法中,即为在具体的温度控制操作前的人体热图像处理和分析步骤。该方法包括:
201、获取人体热图像,上述人体热图像至少包括用户的躯体。
其中,上述步骤201可以参考图1所示实施例中步骤101中的具体描述,此处不再赘述。
202、确定上述人体热图像中的人体区域,从上述人体热图像中提取上述人体区域的特征信息。
可选的,可以对热成像传感器采集的热图像进行预处理,获得其中的人体热图像。
在一种实施方式中,上述步骤101之前,该方法还包括:
获取热成像传感器采集的待处理热图像,检测上述待处理热图像中像素点的温度值是否高于温度阈值;
若上述待处理热图像中存在像素点的温度值高于上述温度阈值,对上述待处理热图像进行二值化处理之后,提取上述待处理热图像中的连通区域,获取上述连通区域的特征参数,上述特征参数反映上述连通区域的形状特征;
根据上述连通区域的特征参数,确定上述待处理热图像是否为上述人体热图像。
本申请实施例中提到的二值化是图像分割的一种最简单的方法。二值化可以把灰度图像转换成二值图像。可以把大于某个临界灰度值的像素灰度设为灰度极大值,把小于这个值的像素灰度设为灰度极小值,从而实现二值化。
本申请实施例中可以高于温度阈值的区域像素点记为1,除此以外的区域像素点记为0,然后进行连通区域的提取,如通过搜索相邻的且均为1的像素点,以获得一个连通区域。通过上述步骤可以获得连通区域,进而获取该连通区域的特征参数,可以包括连通区域的面积、周长、外接矩阵的长与宽等特征,此处不做限制。
进一步的,可以根据上述连通区域的特征参数,确定待处理热图像是否为人体热图像。
在一种可选的实施方式中,可以根据上述连通区域的面积,若待处理热图像中的上述连通区域面积大于面积阈值,确定待处理热图像为人体热图像。
由于外部环境中一些因素的影响,上述初步确定的连通区域可能不仅包括人体,还存在发热的干扰物品。可以预先设置上述面积阈值,通过上述步骤从可过滤掉手机、热水袋等小型发热的干扰物品,提高准确度。类似的,可以通过设置周长阈值、外接矩阵的长与宽等阈值进行过滤,此处不赘述。
可以参见图3所示的一种人体热图像示意图。图3的人体热图像中标注了每个像素点的温度值,可以看出白框内的人形(人体区域),由于盖了被子主要露出头部和上肢,可以看出人体区域的温度高于周边环境,温度值主要在24-30。
具体的,为了初步提取人体区域,可以设定上述温度阈值,判断待处理热图像中各个像素点的温度值是否大于该温度阈值;若待处理热图像中存在像素点的温度值高于温度阈值,对待处理热图像进行二值化处理,然后提取待处理热图像中的连通区域。
比如温度阈值为28,待处理图像中存在像素点的温度值大于28,则可以对对待处理热图像进行上述二值化处理;若待处理图像中不存在像素点的温度值大于28,则可以确定待处理热图像不属于人体热图像。通过上述步骤可以初步确定人体热图像。
由于真实睡眠场景下,有人喜欢裸睡,有人喜欢穿睡衣,睡衣的厚薄也有差异,这些因素导致热图像中人体区域的温度有波动变化,为了更准确地确定人体热图像中的人体区域,提出结合温度阈值与方向梯度的处理来提取温度变化,即上述确定上述人体热图像中的人体区域包括:
获取上述人体热图像中每个像素点的梯度值,上述梯度值为上述像素点与上、下、左、右方向像素点的温度差值;
若上述待处理热图像中存在像素点的至少一个方向的梯度值大于梯度阈值,将存在至少一个方向的梯度值大于上述梯度阈值的像素点所在区域确定为上述人体区域。
具体的,除了可以设置温度阈值,还可以获取人体热图像中每个像素点的梯度值,即像素点与上、下、左、右方向像素点的温度差值(left_grad,right_grad,up_grad,down_grad)。这4个方向的梯度值中,只要有一个方向的梯度值大于预设的梯度阈值(比如2),则可以被确定为属于人体区域。相对仅使用温度阈值的方法,在该方式下设置的温度阈值可以更高。这种方法除了基于人体温度应该大于阈值外,还考虑了人体与环境温度的差异性,提取人体区域效果更好。
在经过上述预处理之后,确定了人体热图像中的人体区域,可以进行特征提取,获得人体区域的特征信息。
203、根据上述人体热图像中相邻两帧人体热图像的人体区域的特征信息,确定在上述相邻两帧人体热图像之间用户的姿势变化情况。
具体的,一张人体热图像的人体区域的特征信息,可以包括该人体区域的像素点的温度值、该人体区域的面积、周长、外接矩形的长和宽等。通过对比相邻两帧人体热图像中人体区域的特征信息差别,可以判断该相邻两帧人体热图像之间用户的姿势变化情况。
在一种可选的实施方式中,上述步骤203包括:
获取上述人体热图像中,上述相邻两帧人体热图像之间相同位置的像素点的温度差值;
获得上述温度差值不小于温度差值阈值的像素点个数;
若上述温度差值不小于上述温度差值阈值的像素点个数大于个数阈值,则确定在上述相邻两帧人体热图像之间上述用户发生姿势变化。
本申请实施例中提到的差分又名差分函数或差分运算,差分的结果反映了离散量之间的一种变化。可以对上述相邻两帧人体热图像进行差分运算,获得该相邻两帧人体热图像相同位置的像素点的温度差值,再根据预先设置的上述温度差值阈值(比如2),依次判断上述温度差值是否小于上述温度差值阈值,统计上述温度差值不小于温度差值阈值的像素点个数,该像素点个数越多可以理解为相邻两帧人体热图像的人体区域对应的姿势差异越大。
基于预设的个数阈值,若统计的个数大于该个数阈值,则可以确定用户发生姿势变化,比如在睡姿监控中认为存在翻身动作。
在每采集到新的一帧人体热图像时,均可以将该人体热图像与相邻的前一帧人体热图像进行上述比较,以确定用户是否发生姿势变化。
204、根据上述用户的姿势变化情况生成上述时间轴数据,上述时间轴数据包括多帧人体热图像,上述多帧人体热图像按照上述姿势变化情况被划分至不同的姿势阶段。
具体的,周期性采集的人体热图像可以依据时间顺序生成时间轴,其中的多帧人体热图像按照姿势变化情况被划分至不同的姿势阶段。可以理解为当确定相邻两帧人体热图像之间用户发生姿势变化时,可以以这相邻两帧人体热图像之间的节点为界限,划分为相邻的两个姿势阶段。
可选的,还可以设置划分时长阈值,其中独立姿势阶段时长需满足持续时长大于该划分时长阈值(如1分钟)的约束条件。上述获得的时间轴可以以图像形式输出显示,比如在结束睡眠之后生成睡姿时间轴示意图。
具体来讲,在一种实施方式中,上述相邻两帧人体热图像包括历史帧和参考帧,上述历史帧为上述参考帧的前一帧;
在上述历史帧和上述参考帧之间上述用户发生姿势变化的情况下,将上述参考帧添加进队列,并在上述队列成员未满的情况下,将上述参考帧作为上述历史帧,将上述参考帧的下一帧作为上述参考帧;执行上述确定在上述相邻两帧人体热图像之间用户的姿势变化情况的步骤;
在上述队列成员已满的情况下,将上述队列新增为上述时间轴数据的一个姿势阶段。
具体的,对于相邻两帧人体热图像,为了便于理解,称其中一帧为参考帧,参考帧的前一帧为历史帧,在数据处理过程中,参考帧可以是最新采集的一帧人体热图像。
可以预先定义一个队列用于存储和处理人体热图像数据,该队列可用于生成时间轴数据中的一个姿势阶段。在确定历史帧到参考帧之间用户发生姿势变化时,比如在睡姿监控中认为用户存在翻身动作,需要由该参考帧开始划分一个新的姿势阶段,可以将该参考帧放入队列作为队列第一帧,并继续处理;并在该队列成员未满的情况下当又有新的人体热图像被采集时,该新的人体热图像作为参考帧,此时上一个参考帧即作为对应的历史帧,重复进行上述处理流程。
若上述历史帧和上述参考帧之间用户未发生姿势变化,可以将该参考帧同样划分在与历史帧相同的时间段内,表示属于同一姿势的阶段。
执行前述步骤直到该队列成员已满的情况下,将该队列新增为时间轴数据的一个姿势阶段。通过队列的方式对每一帧进行分析判断,可以获得前述提到的时间轴数据,可以反映过程中的姿势变化。
具体来讲,上述方法可以对应于以下流程执行:
(1)定义一个缓存队列Q,该缓存队列的窗口长度可以为2*60=120,其中窗口长度可以限制的时间轴数据中的时间段时长,即划分姿势满足持续时长大于预设时长的约束条件。读取一帧作为历史帧pre_frame,并压入队列中,定义对应的一个历史睡姿pre_sleep_posture,初始化为空;一个标识量change_flag,表示是否发生姿势变化,初始化为False。
进一步地,可以执行:
(2)读取一帧数据frame(参考帧),对pre_frame与frame进行差分运算,获取两帧之间相同位置的像素点的温度差值,然后统计温度差值大于等于2的像素点个数。若该像素点个数大于阈值T,则认为存在翻身动作(姿势变化)。
(3)确定存在翻身动作的情况下,清空队列Q,添加frame到队列,把change_flag置为True(发生姿势变化);否则,把数据frame添加到队列Q。
(4)判断队列Q是否满队列,即其中的元素个数等于队列自身长度120,若不是满队列,则更新历史帧pre_frame为frame,跳到步骤(2)执行;若是满队列,则可执行步骤(5)。
其中,上述步骤202-步骤204可以理解为图1所示实施例中步骤102的一种实施方式。
205、从上述时间轴数据中获取各个姿势阶段包括的人体热图像,根据上述各个姿势阶段包括的人体热图像获得各个姿势阶段对应的代表姿势热图像,一个上述代表姿势热图像用于代表一个姿势阶段的用户姿势。
具体的,对于时间轴数据中的每个姿势阶段,可以在该姿势阶段包括的人体热图像选出一个代表姿势热图像,代表该姿势阶段的用户姿势。可选的,可以取每个姿势阶段中间时刻的人体热图像作为该时间段对应的代表姿势热图像,此处不做限制。在获得已生成的姿势阶段的代表姿势热图像的情况下,可以执行步骤206。
举例来讲,可以参见图4所示的一种睡姿时间轴示意图。本申请实施例可以周期性地采集一晚睡觉过程中的人体热图像,时间轴可按人体热图像中的人体睡姿变化来进行切分多个阶段,切分的睡姿满足持续时长大于1分钟的约束条件,可以获得图4中的a、b、c、d、e五个时间段,每个时间段的用户睡姿维持基本不变的状态。不同的时间段可以显示为不同颜色,还可以标注如时间轴的时刻、每个阶段的持续时长等信息,以直观地展示用户睡眠过程中睡姿变化情况。其中可以以该时间段的中间时刻的睡姿作为该阶段的睡姿热图像(代表姿势热图像)。比如,如图5所示的三种睡姿热图像示意图,分别为时间轴中a、b、c三个姿势阶段的中间时刻的睡姿热图像。
进一步举例来讲,在上述队列成员已满的情况下,完成了时间轴中一个姿势阶段的统计,对于一个姿势阶段需要确定一个代表姿势热图像。可以获取该队列所有人体热图像帧中各个像素点的温度值和位置信息,求得所有人体热图像帧中位置信息相同的像素点的温度值的平均值。
根据上述所有人体热图像帧中位置信息相同的像素点的温度值的平均值,即可以获得所有人体热图像帧的平均帧,其中每个位置的像素点的温度值为上述所有人体热图像帧对应位置的温度平均值。可以通过上述方式获得每个姿势阶段的平均帧,作为对应姿势阶段的代表姿势热图像。
可选的,为了避免相邻两帧之间只是发生瞬时的动作而不是姿势变化后维持的动作,可以忽略发生姿势变化时刻的第一帧,再进行判断。具体的:
获得队列中所有人体热图像的平均帧,作为代表睡姿热图像sleep_posture,从该队列队头删除一帧后,再判断change_flag=True并且pre_sleep_posture不等于空(存在前一姿势)的条件,若满足,确定发生姿势变化。需要注意的是通过删除第一帧再进行的判断,可以确定并且不是一刻的动作而是改变并维持的姿势。则将change_flag置False,调用睡姿变化类型识别函数func,可确定踢盖动作被子类型。更新历史睡姿pre_sleep_posture为sleep_posture,更新历史帧pre_frame为frame,以便继续处理。
若未发生姿势变化,则表示检测到短暂的动作但最终动作基本维持不变的情况,不需要进行新的姿势识别。在该种情况下,还可以重新将该时间段与前一时间段合并。
206、获取上述时间轴数据中上述第一姿势阶段对应的第一代表姿势热图像,和上述第二姿势阶段对应的第二代表姿势热图像,根据上述第一代表姿势热图像和上述第二代表姿势热图像,确定在上述第一姿势阶段到上述第二姿势阶段上述用户是否发生目标动作。
其中,上述第二姿势阶段为上述第一姿势阶段的下一阶段,该步骤指示的是相邻两个姿势阶段之间的用户姿势分析,具体是通过代表姿势热图像进行比对实现的。可以调用预设的动作识别模型,传入这两个姿势阶段的代表姿势热图像,分析其中人体区域的特征变化来判断用户是否发生目标动作。
在一种实施方式中,可以根据上述第一代表姿势热图像和上述第二代表姿势热图像,获取上述第一姿势阶段和上述第二姿势阶段分别对应的人体区域参数,一个上述人体区域参数反映一个上述代表姿势热图像中的人体区域的尺寸,上述人体区域参数为人体区域的周长、面积或者外接矩阵中的至少一种;
比较上述第一姿势阶段和上述第二姿势阶段分别对应的人体区域参数,确定在上述第一姿势阶段到上述第二姿势阶段上述用户是否发生目标动作。
在进行比较的两个代表姿势热图像中,提取人体区域参数,该人体区域参数可以为人体区域的周长、面积或者外接矩阵中的至少一种,一个人体区域参数反映一个代表姿势热图像中的人体区域的尺寸。通过比较上述第一姿势阶段和上述第二姿势阶段分别对应的人体区域参数,判断两者的差异程度,可以确定在上述第一姿势阶段到上述第二姿势阶段上述用户是否发生目标动作。
进一步举例来讲,在前述睡眠姿势监控场景中,可以调用踢盖被子动作识别模型,传入pre_sleep_posture和sleep_posture,即动作前后的两个睡姿,分别对pre_sleep_posture、sleep_posture进行特征提取(前述人体区域的周长、面积、外接矩阵等),统计两个睡姿的人体区域参数变化情况,进行一些简单阈值规则判断,确定动作类型。
在一种可选的实施方式中,若人体区域参数为人体区域的面积。以睡姿动作检测的应用场景为例,需要对前后相邻的两个阶段的用户睡姿进行比较。可选的,可以计算上述第一姿势阶段到上述第二姿势阶段的人体区域的面积差值,获取该结果的绝对值大小,判断该面积差值的绝对值是否大于预设面积阈值,若大于则确定发生动作,并且,根据该面积差值的正负情况确定人体区域的面积是减小还是增加,对应用户发生的动作具体是盖被子(人体区域的面积减小)还是踢被子(人体区域的面积增加)。
可选的,为了便与描述,上述第一代表姿势热图像的人体区域的面积称为第一面积,上述第二代表姿势热图像的人体区域的面积称为第二面积。还可以进行以以下计算:(第一面积-第二面积)/第一面积,再将该计算的结果与预设的比值阈值进行比较,若大于预设的比值阈值则确定为发生踢被子动作。可选的,还可以通过不同的动作识别模型或者判断规则确定是否发生不同的动作,比如盖被子动作、翻身动作等,实现动作分类。本申请实施例对上述动作识别模型的具体判断规则不作限制。
其中,上述步骤205-步骤206可以理解为图1所示实施例中步骤103的一种实施方式。
上述方法可以应用到各种智能家居场景,比如应用于监控睡眠状态的场景,通过热成像传感器采集用户睡眠过程中的人体热图像,然后通过图像处理技术处理分析,提取出相关特征。最后由预设的逻辑规则实现踢、盖被子动作类型判断。其中,整个计算处理过程可以部署到本地,不上传云端,保护了用户的隐私。最后基于踢、盖被子等动作信息,可以为后续智能设备的应对处理提供了前提基础。
在一种实施方式中,在上述步骤206之后,还可以执行如图1所示实施例中的步骤104-步骤106,以实现基于热图像的温度控制,其具体步骤可以参考前述描述,此处不再赘述。
通过红外热成像来实时识别睡眠过程中的踢盖被子动作,可以结合室内环境参数如温度的变化信息,来进行置信度高的用户热不舒适状态的判断,监控、结合用户发生的动作类型和后续温度变化来调整室内温度。通过该方法能有效判断用户热不舒适,进而更科学合理地调节温度,使之针对不同的用户有着更灵活贴切的温度调控。另外具有价格成本低,不需要用户携带设备,并且具有较好的保护隐私性。
基于上述基于热成像的温度控制方法实施例的描述,本申请实施例还公开了一种温度控制装置。请参见图6,温度控制装置600包括:
获取模块610,用于获取人体热图像,上述人体热图像至少包括用户的躯体;
生成模块620,用于根据上述人体热图像生成时间轴数据,上述时间轴数据包括多帧人体热图像,上述多帧人体热图像按照相邻两帧人体热图像之间用户的姿势变化情况被划分至不同的姿势阶段;
确定模块630,用于根据上述时间轴数据中第一姿势阶段的人体热图像和第二姿势阶段的人体热图像,确定在上述第一姿势阶段到上述第二姿势阶段上述用户是否发生目标动作,上述第二姿势阶段为上述第一姿势阶段的下一阶段;
上述获取模块610还用于,在确定上述用户发生目标动作的情况下,获取上述目标动作发生之前和上述目标动作发生之后的两段时间段内,室内环境参数的变化信息;
控制模块640,用于获取上述目标动作的类型,根据上述目标动作的类型和上述室内环境参数的变化信息,确定温度调整策略;
传输模块650,用于向终端设备发送调整指令,上述调整指令用于指示上述终端设备按照上述温度调整策略进行调温处理。
根据本申请的一个实施例,图1和图2所示的方法所涉及的各个步骤均可以是由图6所示的温度控制装置600中的各个模块执行的,此处不再赘述。
本申请实施例中的温度控制装置600,可以获取人体热图像,上述人体热图像至少包括用户的躯体,根据上述人体热图像生成时间轴数据,上述时间轴数据包括多帧人体热图像,上述多帧人体热图像按照相邻两帧人体热图像之间用户的姿势变化情况被划分至不同的姿势阶段,根据上述时间轴数据中第一姿势阶段的人体热图像和第二姿势阶段的人体热图像,确定在上述第一姿势阶段到上述第二姿势阶段上述用户是否发生目标动作,上述第二姿势阶段为上述第一姿势阶段的下一阶段,在确定上述用户发生目标动作的情况下,获取目标动作发生之前和发生之后的两段时间段内,室内环境参数的变化信息,获取目标动作的类型,根据上述目标动作的类型和上述室内环境参数的变化信息,确定温度调整策略,向终端设备发送调整指令,以指示上述终端设备按照上述温度调整策略进行调温处理。通过热图像分析检测对象的姿势变化情况,生成划分不同姿势阶段的时间轴数据,对各个姿势阶段的热图像进行分析,而不只是根据热图热量的变化简单规则判断,即考虑了检测对象姿势维持的时间减少了翻身等临时动作的因素影响干扰,可以更准确判断用户动作和状态,适用于睡眠场景中踢盖被子等动作监控,也为后续智能设备的应对处理提供了前提基础,即在用户目标动作的基础上结合温度、湿度等室内环境参数的变化,获取置信度高的热不舒适状态判定,能实时监控用户热不舒适状态,另外红外热成像传感器价格相对用户携带智能设备而言更便宜、隐私性好,同时也提高了用户舒适性。
基于上述方法实施例以及装置实施例的描述,本申请实施例还提供一种电子设备。请参见图7,该电子设备700至少包括处理器701、输入设备702、输出设备703以及计算机存储介质704。其中,终端内的处理器701、输入设备702、输出设备703以及计算机存储介质704可通过总线或其他方式连接。
计算机存储介质704可以存储在终端的存储器中,上述计算机存储介质704用于存储计算机程序,上述计算机程序包括程序指令,上述处理器701用于执行上述计算机存储介质704存储的程序指令。处理器701(或称CPU(Central Processing Unit,中央处理器))是终端的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能;在一个实施例中,本申请实施例上述的处理器701可以用于进行一系列的处理,包括如图1和图2所示实施例中方法等等。
本申请实施例还提供了一种计算机存储介质(Memory),上述计算机存储介质是终端中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括终端中的内置存储介质,当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了终端的操作系统。并且,在该存储空间中还存放了适于被处理器701加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,可由处理器701加载并执行计算机存储介质中存放的一条或多条指令,以实现上述实施例中的相应步骤;具体实现中,计算机存储介质中的一条或多条指令可以由处理器701加载并执行图1和/或图2中方法的任意步骤,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,该模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory,ROM),或随机存储存储器(random access memory,RAM),或磁性介质,例如,软盘、硬盘、磁带、磁碟、或光介质,例如,数字通用光盘(digital versatile disc,DVD)、或者半导体介质,例如,固态硬盘(solid state disk,SSD)等。

Claims (11)

1.一种基于热成像的温度控制方法,其特征在于,包括:
获取人体热图像,所述人体热图像至少包括用户的躯体;
根据所述人体热图像生成时间轴数据,所述时间轴数据包括多帧人体热图像,所述多帧人体热图像按照相邻两帧人体热图像之间用户的姿势变化情况被划分至不同的姿势阶段;
根据所述时间轴数据中第一姿势阶段的人体热图像和第二姿势阶段的人体热图像,确定在所述第一姿势阶段到所述第二姿势阶段所述用户是否发生目标动作,所述第二姿势阶段为所述第一姿势阶段的下一阶段;
在确定所述用户发生目标动作的情况下,获取所述目标动作发生之前和所述目标动作发生之后的两段时间段内,室内环境参数的变化信息;
获取所述目标动作的类型,根据所述目标动作的类型和所述室内环境参数的变化信息,确定温度调整策略;
向终端设备发送调整指令,所述调整指令用于指示所述终端设备按照所述温度调整策略进行调温处理。
2.根据权利要求1所述的基于热成像的温度控制方法,其特征在于,所述室内环境参数的变化信息包括室内温度变化值;
所述获取所述目标动作发生之前和所述目标动作发生之后的两段相邻时间段内,室内环境参数的变化信息,包括:
获取所述室内环境参数的第一变化值和第二变化值;所述第一变化信息为所述目标动作发生之前相邻的第一时间段内的室内温度变化值,所述第二变化信息为所述目标动作发生之后相邻的第二时间段内的室内温度变化值;
所述根据所述目标动作的类型和所述室内环境参数的变化信息,确定温度调整策略,包括:
判断所述第一变化值的绝对值是否大于第一预设变化阈值;
若大于,获取所述第一变化值匹配的动作类型,判断所述目标动作的类型是否与所述第一变化值匹配的动作类型一致;
若一致,依据所述第一变化值确定所述温度调整策略为降低温度或者升高温度,以及相应的温度调整值。
3.根据权利要求2所述的基于热成像的温度控制方法,其特征在于,所述依据所述第一变化值确定所述温度调整策略为降低温度或者升高温度,以及相应的温度调整值包括:
若所述第一变化值为正,确定所述温度调整策略为降低温度;若所述第一变化值为负,确定所述温度调整策略为升高温度;
根据预设的室内温度变化值的绝对值与温度调整值的对应关系,确定所述第一变化值的绝对值所对应的温度调整值。
4.根据权利要求2所述的基于热成像的温度控制方法,其特征在于,所述根据所述目标动作的类型和所述室内环境参数的变化信息,确定温度调整策略,还包括:
若所述第一变化值的绝对值不大于所述第一变化阈值,或者,若所述目标动作的类型与所述第一变化值匹配的动作类型不一致,判断所述第二变化值的绝对值是否大于第二预设变化阈值;
若大于,依据所述第二变化值和所述目标动作的类型确定所述温度调整策略为降低温度或者升高温度,以及相应的温度调整值。
5.根据权利要求1-4任一项所述的基于热成像的温度控制方法,所述根据所述人体热图像生成时间轴数据,包括:
确定所述人体热图像中的人体区域,从所述人体热图像中提取所述人体区域的特征信息;
根据所述人体热图像中相邻两帧人体热图像的人体区域的特征信息,确定在所述相邻两帧人体热图像之间用户的姿势变化情况;
根据所述用户的姿势变化情况生成所述时间轴数据。
6.根据权利要求5所述的基于热成像的温度控制方法,所述根据所述时间轴数据中第一姿势阶段的人体热图像和第二姿势阶段的人体热图像,确定在所述第一姿势阶段到所述第二姿势阶段所述用户是否发生目标动作,包括:
从所述时间轴数据中获取各个姿势阶段包括的人体热图像,根据所述各个姿势阶段包括的人体热图像获得各个姿势阶段对应的代表姿势热图像,一个所述代表姿势热图像用于代表一个姿势阶段的用户姿势;
获取所述时间轴数据中所述第一姿势阶段对应的第一代表姿势热图像,和所述第二姿势阶段对应的第二代表姿势热图像,根据所述第一代表姿势热图像和所述第二代表姿势热图像,确定在所述第一姿势阶段到所述第二姿势阶段所述用户是否发生目标动作。
7.根据权利要求6所述的基于热成像的温度控制方法,其特征在于,所述根据所述人体热图像中相邻两帧人体热图像的人体区域的特征信息,确定在所述相邻两帧人体热图像之间用户的姿势变化情况,包括:
获取所述人体热图像中,所述相邻两帧人体热图像之间相同位置的像素点的温度差值;
获得所述温度差值不小于温度差值阈值的像素点个数;
若所述温度差值不小于所述温度差值阈值的像素点个数大于个数阈值,则确定在所述相邻两帧人体热图像之间所述用户发生姿势变化。
8.根据权利要求5所述的基于热成像的温度控制方法,其特征在于,所述从所述时间轴数据中获取各个姿势阶段包括的人体热图像,根据所述各个姿势阶段包括的人体热图像获得各个姿势阶段对应的代表姿势热图像,包括:
获取所述队列的所有人体热图像帧中各个像素点的温度值和位置信息,获得所述所有人体热图像帧中所述位置信息相同的像素点的温度值的平均值;
根据获得的所述像素点的温度值的平均值和所述像素点的位置信息,获得所述所有人体热图像帧的平均帧;
将所述平均帧作为所述姿势阶段对应的代表姿势热图像。
9.根据权利要求6-8任一项所述的基于热成像的温度控制方法,其特征在于,所述根据所述第一代表姿势热图像和所述第二代表姿势热图像,确定在所述第一姿势阶段到所述第二姿势阶段所述用户是否发生目标动作,包括:
根据所述第一代表姿势热图像和所述第二代表姿势热图像,获取所述第一姿势阶段和所述第二姿势阶段分别对应的人体区域参数,一个所述人体区域参数反映一个所述代表姿势热图像中的人体区域的尺寸,所述人体区域参数为人体区域的周长、面积或者外接矩阵中的至少一种;
比较所述第一姿势阶段和所述第二姿势阶段分别对应的人体区域参数,确定在所述第一姿势阶段到所述第二姿势阶段所述用户是否发生目标动作。
10.一种电子设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至9中任一项所述的基于热成像的温度控制方法的步骤。
11.一种计算机可读存储介质,其特征在于,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至9中任一项所述的基于热成像的温度控制方法的步骤。
CN202010824159.0A 2020-08-17 2020-08-17 基于热成像的温度控制方法、装置、电子设备和介质 Active CN112101115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010824159.0A CN112101115B (zh) 2020-08-17 2020-08-17 基于热成像的温度控制方法、装置、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010824159.0A CN112101115B (zh) 2020-08-17 2020-08-17 基于热成像的温度控制方法、装置、电子设备和介质

Publications (2)

Publication Number Publication Date
CN112101115A true CN112101115A (zh) 2020-12-18
CN112101115B CN112101115B (zh) 2023-12-12

Family

ID=73752898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010824159.0A Active CN112101115B (zh) 2020-08-17 2020-08-17 基于热成像的温度控制方法、装置、电子设备和介质

Country Status (1)

Country Link
CN (1) CN112101115B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256238A (zh) * 2021-04-21 2021-08-13 维沃移动通信有限公司 提醒方法、装置和电子设备
CN113531633A (zh) * 2021-07-12 2021-10-22 九峰海洋生态建设集团有限公司 一种室内保暖方法、系统、存储介质及智能终端
CN113639430A (zh) * 2021-07-30 2021-11-12 青岛海尔空调器有限总公司 用于控制空调器的方法及装置、空调器、可读存储介质
CN113819620A (zh) * 2021-09-13 2021-12-21 青岛海尔空调器有限总公司 用于控制空调的方法及装置、空调、存储介质
CN113819618A (zh) * 2021-09-13 2021-12-21 青岛海尔空调器有限总公司 用于控制空调的方法及装置、空调、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06117836A (ja) * 1992-08-21 1994-04-28 Matsushita Electric Ind Co Ltd 画像処理装置と空気調和機の制御装置と画像処理装置を用いた応用機器
JPH06180139A (ja) * 1992-12-11 1994-06-28 Matsushita Electric Ind Co Ltd 空気調和機の制御装置と画像処理装置の応用機器
CN110956118A (zh) * 2019-11-26 2020-04-03 浙江大华技术股份有限公司 目标对象检测方法和装置、存储介质及电子装置
CN111132429A (zh) * 2019-12-17 2020-05-08 珠海格力电器股份有限公司 一种照明控制方法、终端及计算机可读介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06117836A (ja) * 1992-08-21 1994-04-28 Matsushita Electric Ind Co Ltd 画像処理装置と空気調和機の制御装置と画像処理装置を用いた応用機器
JPH06180139A (ja) * 1992-12-11 1994-06-28 Matsushita Electric Ind Co Ltd 空気調和機の制御装置と画像処理装置の応用機器
CN110956118A (zh) * 2019-11-26 2020-04-03 浙江大华技术股份有限公司 目标对象检测方法和装置、存储介质及电子装置
CN111132429A (zh) * 2019-12-17 2020-05-08 珠海格力电器股份有限公司 一种照明控制方法、终端及计算机可读介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
付桂翠, 高泽溪: "TVS-2000红外热像仪图像信息的快速处理研究", 红外与激光工程, no. 06 *
王雪;贺缨;张恒第;: "利用动态热图像研究冷水刺激后手指的温度变化", 航天医学与医学工程, no. 05 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256238A (zh) * 2021-04-21 2021-08-13 维沃移动通信有限公司 提醒方法、装置和电子设备
CN113256238B (zh) * 2021-04-21 2024-03-19 维沃移动通信有限公司 提醒方法、装置和电子设备
CN113531633A (zh) * 2021-07-12 2021-10-22 九峰海洋生态建设集团有限公司 一种室内保暖方法、系统、存储介质及智能终端
CN113531633B (zh) * 2021-07-12 2022-07-12 九峰海洋生态建设集团有限公司 一种室内保暖方法、系统、存储介质及智能终端
CN113639430A (zh) * 2021-07-30 2021-11-12 青岛海尔空调器有限总公司 用于控制空调器的方法及装置、空调器、可读存储介质
CN113819620A (zh) * 2021-09-13 2021-12-21 青岛海尔空调器有限总公司 用于控制空调的方法及装置、空调、存储介质
CN113819618A (zh) * 2021-09-13 2021-12-21 青岛海尔空调器有限总公司 用于控制空调的方法及装置、空调、存储介质

Also Published As

Publication number Publication date
CN112101115B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
CN112101115B (zh) 基于热成像的温度控制方法、装置、电子设备和介质
CN107576022B (zh) 空调器的控制方法、空调器、及存储介质
CN108571804B (zh) 空调器及其参数调整方法、装置和可读存储介质
CN103871046B (zh) 设定装置及其控制方法、图像处理装置及其控制方法
US11257226B1 (en) Low-overhead motion classification
JP5287333B2 (ja) 年令推定装置
KR20170132644A (ko) 케어 정보를 획득하기 위한 방법, 케어 정보를 공유하기 위한 방법, 및 그것들을 위한 전자 장치
WO2021179852A1 (zh) 图像检测方法、模型训练方法、装置、设备及存储介质
WO2018119683A1 (en) Methods and systems of multi-camera
US11915430B2 (en) Image analysis apparatus, image analysis method, and storage medium to display information representing flow quantity
JP4274758B2 (ja) 情報処理装置、情報処理方法及び環境制御装置
EP3582186A1 (en) Image processing apparatus, image processing method, and storage medium
JP6822328B2 (ja) 見守り支援システム及びその制御方法
US10755400B2 (en) Method and computing device for monitoring object
CN110398291B (zh) 一种运动目标最高温检测方法及系统
CN111526342B (zh) 图像处理方法、装置、摄像头、终端和存储介质
WO2022121130A1 (zh) 电力目标检测方法、装置、计算机设备和存储介质
CN111442465A (zh) 空调器控制方法、装置、空调器及计算机存储介质
CN112232194A (zh) 一种单目标人体关键点检测方法、系统、设备及介质
CN104969240A (zh) 用于图像处理的方法和系统
US11019251B2 (en) Information processing apparatus, image capturing apparatus, information processing method, and recording medium storing program
CN112902321A (zh) 送风装置的控制方法、送风装置、送风系统及存储介质
CN112102360B (zh) 动作类型识别方法、装置、电子设备和介质
JP2016208408A (ja) 検出方法、検出装置および制御方法
JP7039208B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant