CN111062269A - 一种用户状态识别方法、装置、存储介质及空调 - Google Patents

一种用户状态识别方法、装置、存储介质及空调 Download PDF

Info

Publication number
CN111062269A
CN111062269A CN201911199551.4A CN201911199551A CN111062269A CN 111062269 A CN111062269 A CN 111062269A CN 201911199551 A CN201911199551 A CN 201911199551A CN 111062269 A CN111062269 A CN 111062269A
Authority
CN
China
Prior art keywords
user
scale
information
environment image
characteristic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911199551.4A
Other languages
English (en)
Other versions
CN111062269B (zh
Inventor
毛跃辉
汪进
文皓
梁博
王慧君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201911199551.4A priority Critical patent/CN111062269B/zh
Publication of CN111062269A publication Critical patent/CN111062269A/zh
Application granted granted Critical
Publication of CN111062269B publication Critical patent/CN111062269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Air Conditioning Control Device (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种用户状态识别方法、装置、存储介质及空调，所述方法包括：采集所处室内的环境图像；对所述环境图像进行多尺度的特征信息提取，得到所述环境图像的多尺度特征信息图；对所述多尺度特征信息图进行感兴趣区域提取，得到多尺度感兴趣区域；通过预先训练的人脸识别模型对所述多尺度感兴趣区域进行人脸识别，识别出所述环境图像中的用户的面部状态。本发明提供的方案能够提高人脸识别精度和范围。

Description

一种用户状态识别方法、装置、存储介质及空调
技术领域
本发明涉及控制领域，尤其涉及一种用户状态识别方法、装置、存储介质及空调。
背景技术
目前的人脸识别需要靠近摄像头一定的距离内才能进行识别，远距离的不能进行准确的人脸识别。
发明内容
本发明的主要目的在于克服上述现有技术的缺陷，提供一种用户状态识别方法、装置、存储介质及空调，以解决现有技术中远距离的不能进行准确的人脸识别的问题。
本发明一方面提供了一种用户状态识别方法，包括：采集所处室内的环境图像；对所述环境图像进行多尺度的特征信息提取，得到所述环境图像的多尺度特征信息图；对所述多尺度特征信息图进行感兴趣区域提取，得到多尺度感兴趣区域；通过预先训练的人脸识别模型对所述多尺度感兴趣区域进行人脸识别，识别出所述环境图像中的用户的面部状态。
可选地，对所述环境图像进行多尺度的特征信息提取，包括：对所述环境图像进行多尺度的图像卷积处理，得到多尺度特征信息图；和/或，对所述多尺度特征信息图进行感兴趣区域提取，得到多尺度感兴趣区域，包括：将得到的所述多尺度特征信息图输入特征金字塔网络进行感兴趣区域提取，得到多尺度感兴趣区域。
可选地，所述面部状态，包括：睡眠状态和/或疲劳状态；当所属设备为空调时，所述方法，还包括：当识别出用户处于睡眠状态时，控制所述空调进入睡眠模式运行；和/或，当识别出用户处于疲劳状态时，通过发出语音信息提醒用户休息。
可选地，还包括：基于所述环境图像的多尺度特征信息图，进行用户姿态估计和/或肢体关键点识别，得到用户姿态估计信息和肢体关键点信息；根据得到的用户姿态估计信息和/或肢体关键点信息预测用户的健康状况。
可选地，根据得到的用户姿态估计信息和/或肢体关键点信息预测用户的健康状况，包括：根据得到的用户姿态估计信息和/或肢体关键点信息利用扩展卡尔曼滤波算法预测用户的健康状况。
本发明另一方面提供了一种用户状态识别装置，包括：图像采集单元，用于采集所处室内的环境图像；特征提取单元，用于对所述环境图像进行多尺度的特征信息提取，得到所述环境图像的多尺度特征信息图；区域提取单元，用于对所述多尺度特征信息图进行感兴趣区域提取，得到多尺度感兴趣区域；状态识别单元，用于通过预先训练的人脸识别模型对所述多尺度感兴趣区域进行人脸识别，识别出所述环境图像中的用户的面部状态。
可选地，对所述环境图像进行多尺度的特征信息提取，包括：对所述环境图像进行多尺度的图像卷积处理，得到多尺度特征信息图；和/或，对所述多尺度特征信息图进行感兴趣区域提取，得到多尺度感兴趣区域，包括：将得到的所述多尺度特征信息图输入特征金字塔网络进行感兴趣区域提取，得到多尺度感兴趣区域。
可选地，所述面部状态，包括：睡眠状态和/或疲劳状态；当所属设备为空调时，所述装置，还包括：控制单元，用于当识别出用户处于睡眠状态时，控制所述空调进入睡眠模式运行；和/或，提醒单元，用于当识别出用户处于疲劳状态时，通过发出语音信息提醒用户休息。
可选地，还包括：姿态估计单元，用于基于所述环境图像的多尺度特征信息图，进行用户姿态估计和/或肢体关键点识别，得到用户姿态估计信息和肢体关键点信息；状况预测单元，用于根据得到的用户姿态估计信息和/或肢体关键点信息预测用户的健康状况。
可选地，所述姿态估计单元，根据得到的用户姿态估计信息和/或肢体关键点信息预测用户的健康状况，包括：根据得到的用户姿态估计信息和/或肢体关键点信息利用扩展卡尔曼滤波算法预测用户的健康状况。
本发明又一方面提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现前述任一所述方法的步骤。
本发明再一方面提供了一种空调，包括处理器、存储器以及存储在存储器上可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述任一所述方法的步骤。
本发明再一方面提供了一种空调，包括前述任一所述的用户状态识别装置。
根据本发明的技术方案，通过多尺度特征信息提取，实现对环境图像的高分辨率特征提取，能够提高人脸识别精度和范围。基于多尺度特征信息进行进行用户姿态估计和/或肢体关键点识别，预测用户健康状况，提高空调的用户体验。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明提供的用户状态识别方法的一实施例的方法示意图；
图2是对所述环境图像进行特征信息提取的示意图；
图3是本发明提供的用户状态识别方法的另一实施例的方法示意图；
图4是本发明提供的用户状态识别装置的一实施例的结构示意图；
图5是本发明提供的用户状态识别装置的另一实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是本发明提供的用户状态识别方法的一实施例的方法示意图。所述用户状态识别方法具体可以用于电器中，例如空调。
如图1所示，根据本发明的一个实施例，所述用户状态识别方法至少包括步骤S110、步骤S120、步骤S130和步骤S140。
步骤S110，采集所处室内的环境图像。
具体地，通过拍摄设备采集所处室内的环境图像。例如，通过空调中的摄像头实时采集室内环境中图像。
步骤S120，对所述环境图像进行多尺度的特征信息提取，得到所述环境图像的多尺度特征信息图。
具体地，对所述环境图像进行多尺度的图像卷积处理，得到多尺度特征信息的共享卷积层，从而实现对所述环境图像的高分辨率特征提取。例如，对所述环境图像按照1scale、2scale、4scale进行图像卷积，1scale、2scale、4scale不同高低分辨率进行反复多尺度融合并预测的信息更精确。并且通过不同的尺度能够减少输入信息损失。参考图2所示，图2是对所述环境图像进行特征信息提取的示意图。如图2所述，对所述环境图像进行多尺度的图像卷积处理、图像下采样和图像上采样，得到多尺度特征信息图。
步骤S130，对所述多尺度特征信息图进行感兴趣区域提取，得到多尺度感兴趣区域。
具体地，将得到的所述多尺度特征信息图输入特征金字塔网络(FPN)进行感兴趣区域提取，得到多尺度感兴趣区域(ROI)。
步骤S140，通过预先训练的人脸识别模型对所述多尺度感兴趣区域进行人脸识别，识别出所述环境图像中的用户的面部状态。
所述人脸识别模型具体可以包括：face Net人脸识别模型。将得到多尺度感兴趣区域输入预先训练的face Net人脸识别模型进行识别，识别出用户的面部状态。通过高分辨率face net人脸识别模型可以进行10米内人脸识别，更准确的识别出用户的面部状态。所述面部状态具体可以包括睡眠状态和/或疲劳状态。
进一步地，当所属设备为空调时，当识别出用户处于睡眠状态时，控制所述空调进入睡眠模式运行。当识别出用户处于疲劳状态时，通过发出语音信息提醒用户休息。
例如，当用户坐在客厅的沙发上且面部状态为睡眠状态，就控制空调进入睡眠模式下运行；当用户面部状态为处于疲劳状态情况下，空调可以通过语音提醒用户休息。
图3是本发明提供的用户状态识别方法的另一实施例的方法示意图。如图3所示，基于上述实施例，根据本发明的另一个实施例，所述用户状态识别方法还包括步骤S150和步骤S160。
步骤S150，基于所述环境图像的多尺度特征信息图，进行用户姿态估计和/或肢体关键点识别，得到用户姿态估计信息和肢体关键点信息。
具体地，将前述步骤S120中得到的多尺度特征信息图，进行OpenPose姿态估计，得到用户姿态运动状态信息和/或肢体关键点信息。具体地，在上述步骤S120中对所述环境图像进行多尺度卷积处理后，得到多尺度特征信息图，然后基于特征信息图进行OpenPose姿态估计，得到用户姿态运动状态信息和/或肢体关键点信息。
步骤S160，根据得到的用户姿态估计信息和/或肢体关键点信息预测用户的健康状况。
具体地，根据得到的用户姿态估计信息和/或肢体关键点信息利用扩展卡尔曼滤波算法预测用户的健康状况。
例如，从所述用户姿态估计信息和/或肢体关键点信息中提取用户的姿态角度和/或用户的行动速度；所述姿态角度例如包括用户上半身的上下倾斜角度、左右倾斜角度；所述用户的行动速度例如用户步伐速度、动作速度，例如可以通过对比预设时间内识别的用户姿态估计信息和/或肢体关键点信息得到。例如，可以根据一段较长时间(例如10天)识别的用户姿态估计信息和/或肢体关键点信息，提取用户的姿态角度的变化数据和/或用户的行动速度的变化数据，基于提取的用户的姿态角度的变化数据和/或用户的行动速度的变化数据利用卡尔曼滤波算法预测用户的健康发展状况。例如，预测用户未来可能会发生某种病变。
例如，用户家中的老年人或者已经受伤的普通人，通过他们行走或者运动的状态相关的数据经过扩展卡尔曼算法预测该人群的健康发展状况，可以提供给相关的医护人员参考，对这些人群恢复健康或保持健康有一定的帮助。
图4是本发明提供的用户状态识别装置的一实施例的结构示意图。如图4所示，所述用户状态识别装置100包括图像采集单元110、特征提取单元120、区域提取单元130和状态识别单元140。
图像采集单元110用于采集所处室内的环境图像。
具体地，通过拍摄设备采集所处室内的环境图像。例如，通过空调中的摄像头实时采集室内环境中图像。
特征提取单元120用于对所述环境图像进行多尺度的特征信息提取，得到所述环境图像的多尺度特征信息图。
具体地，对所述环境图像进行多尺度的图像卷积处理，得到多尺度特征信息的共享卷积层，从而实现对所述环境图像的高分辨率特征提取。例如，对所述环境图像按照1scale、2scale、4scale进行图像卷积，1scale、2scale、4scale不同高低分辨率进行反复多尺度融合并预测的信息更精确。并且通过不同的尺度能够减少输入信息损失。参考图2所示，图2是对所述环境图像进行特征信息提取的示意图。如图2所述，对所述环境图像进行多尺度的图像卷积处理、图像下采样和图像上采样，得到多尺度特征信息图。
区域提取单元130用于对所述多尺度特征信息图进行感兴趣区域提取，得到多尺度感兴趣区域。
具体地，将得到的所述多尺度特征信息图输入特征金字塔网络(FPN)进行感兴趣区域提取，得到多尺度感兴趣区域(ROI)。
状态识别单元140用于通过预先训练的人脸识别模型对所述多尺度感兴趣区域进行人脸识别，识别出所述环境图像中的用户的面部状态。
所述人脸识别模型具体可以包括：face Net人脸识别模型。将得到多尺度感兴趣区域输入预先训练的face Net人脸识别模型进行识别，识别出用户的面部状态。通过高分辨率face net人脸识别模型可以进行10米内人脸识别，更准确的识别出用户的面部状态。所述面部状态具体可以包括睡眠状态和/或疲劳状态。
可选地，当所属设备为空调时，所述装置100还包括：控制单元(图未示)，用于当识别出用户处于睡眠状态时，控制所述空调进入睡眠模式运行。例如，当用户坐在客厅的沙发上且面部状态为睡眠状态，就控制空调进入睡眠模式下运行。
可选地，当所属设备为空调时，所述装置100还包括提醒单元(图未示)，用于当识别出用户处于疲劳状态时，通过发出语音信息提醒用户休息。例如，当用户面部状态为处于疲劳状态情况下，空调可以通过语音提醒用户休息。
图5是本发明提供的用户状态识别装置的另一实施例的结构示意图。如图5所示，基于上述实施例，所述用户状态识别装置100还包括姿态估计单元150和状态预测单元160。
姿态估计单元150用于基于所述环境图像的多尺度特征信息图，进行用户姿态估计和/或肢体关键点识别，得到用户姿态估计信息和肢体关键点信息。
具体地，将前述得到的多尺度特征信息图，进行OpenPose姿态估计，得到用户姿态运动状态信息和/或肢体关键点信息。具体地，在前述述对所述环境图像进行多尺度卷积处理后，得到多尺度特征信息图，然后基于特征信息图进行OpenPose姿态估计，得到用户姿态运动状态信息和/或肢体关键点信息。
状况预测单元160用于根据得到的用户姿态估计信息和/或肢体关键点信息预测用户的健康状况。
具体地，根据得到的用户姿态估计信息和/或肢体关键点信息利用扩展卡尔曼滤波算法预测用户的健康状况。
例如，从所述用户姿态估计信息和/或肢体关键点信息中提取用户的姿态角度和/或用户的行动速度；所述姿态角度例如包括用户上半身的上下倾斜角度、左右倾斜角度；所述用户的行动速度例如用户步伐速度、动作速度，例如可以通过对比预设时间内识别的用户姿态估计信息和/或肢体关键点信息得到。例如，可以根据一段较长时间(例如10天)识别的用户姿态估计信息和/或肢体关键点信息，提取用户的姿态角度的变化数据和/或用户的行动速度的变化数据，基于提取的用户的姿态角度的变化数据和/或用户的行动速度的变化数据利用卡尔曼滤波算法预测用户的健康发展状况。例如，预测用户未来可能会发生某种病变。
例如，用户家中的老年人或者已经受伤的普通人，通过他们行走或者运动的状态相关的数据经过扩展卡尔曼算法预测该人群的健康发展状况并提供给相关的医护人员参考，对这些人群恢复健康或保持健康有一定的帮助。
本发明还提供对应于所述用户状态识别方法的一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现前述任一所述方法的步骤。
本发明还提供对应于所述用户状态识别方法的一种空调，包括处理器、存储器以及存储在存储器上可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述任一所述方法的步骤。
本发明还提供对应于所述用户状态识别装置的一种空调，包括前述任一所述的用户状态识别装置。
据此，本发明提供的方案，通过多尺度特征信息提取，实现对环境图像的高分辨率特征提取，能够提高人脸识别精度和范围。基于多尺度特征信息进行进行用户姿态估计和/或肢体关键点识别，预测用户健康状况，提高空调的用户体验。
本文中所描述的功能可在硬件、由处理器执行的软件、固件或其任何组合中实施。如果在由处理器执行的软件中实施，那么可将功能作为一或多个指令或代码存储于计算机可读媒体上或经由计算机可读媒体予以传输。其它实例及实施方案在本发明及所附权利要求书的范围及精神内。举例来说，归因于软件的性质，上文所描述的功能可使用由处理器、硬件、固件、硬连线或这些中的任何者的组合执行的软件实施。此外，各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为控制装置的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种用户状态识别方法，其特征在于，包括：
采集所处室内的环境图像；
对所述环境图像进行多尺度的特征信息提取，得到所述环境图像的多尺度特征信息图；
对所述多尺度特征信息图进行感兴趣区域提取，得到多尺度感兴趣区域；
通过预先训练的人脸识别模型对所述多尺度感兴趣区域进行人脸识别，识别出所述环境图像中的用户的面部状态。
2.根据权利要求1所述的方法，其特征在于，对所述环境图像进行多尺度的特征信息提取，包括：
对所述环境图像进行多尺度的图像卷积处理，得到多尺度特征信息图；
和/或，
对所述多尺度特征信息图进行感兴趣区域提取，得到多尺度感兴趣区域，包括：
将得到的所述多尺度特征信息图输入特征金字塔网络进行感兴趣区域提取，得到多尺度感兴趣区域。
3.根据权利要求1或2所述的方法，其特征在于，还包括：
基于所述环境图像的多尺度特征信息图，进行用户姿态估计和/或肢体关键点识别，得到用户姿态估计信息和肢体关键点信息；
根据得到的用户姿态估计信息和/或肢体关键点信息预测用户的健康状况。
4.根据权利要求3所述的方法，其特征在于，根据得到的用户姿态估计信息和/或肢体关键点信息预测用户的健康状况，包括：
根据得到的用户姿态估计信息和/或肢体关键点信息利用扩展卡尔曼滤波算法预测用户的健康状况。
5.一种用户状态识别装置，其特征在于，包括：
图像采集单元，用于采集所处室内的环境图像；
特征提取单元，用于对所述环境图像进行多尺度的特征信息提取，得到所述环境图像的多尺度特征信息图；
区域提取单元，用于对所述多尺度特征信息图进行感兴趣区域提取，得到多尺度感兴趣区域；
状态识别单元，用于通过预先训练的人脸识别模型对所述多尺度感兴趣区域进行人脸识别，识别出所述环境图像中的用户的面部状态。
6.根据权利要求5所述的装置，其特征在于，对所述环境图像进行多尺度的特征信息提取，包括：
对所述环境图像进行多尺度的图像卷积处理，得到多尺度特征信息图；
和/或，
对所述多尺度特征信息图进行感兴趣区域提取，得到多尺度感兴趣区域，包括：
将得到的所述多尺度特征信息图输入特征金字塔网络进行感兴趣区域提取，得到多尺度感兴趣区域。
7.根据权利要求5或6所述的装置，其特征在于，还包括：
姿态估计单元，用于基于所述环境图像的多尺度特征信息图，进行用户姿态估计和/或肢体关键点识别，得到用户姿态估计信息和肢体关键点信息；
状况预测单元，用于根据得到的用户姿态估计信息和/或肢体关键点信息预测用户的健康状况。
8.根据权利要求7所述的装置，其特征在于，所述姿态估计单元，根据得到的用户姿态估计信息和/或肢体关键点信息预测用户的健康状况，包括：
根据得到的用户姿态估计信息和/或肢体关键点信息利用扩展卡尔曼滤波算法预测用户的健康状况。
9.一种存储介质，其特征在于，其上存储有计算机程序，所述程序被处理器执行时实现权利要求1-4任一所述方法的步骤。
10.一种空调，其特征在于，包括处理器、存储器以及存储在存储器上可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-4任一所述方法的步骤，包括如权利要求5-8任一所述的用户状态识别装置。
CN201911199551.4A 2019-11-25 2019-11-25 一种用户状态识别方法、装置、存储介质及空调 Active CN111062269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911199551.4A CN111062269B (zh) 2019-11-25 2019-11-25 一种用户状态识别方法、装置、存储介质及空调

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911199551.4A CN111062269B (zh) 2019-11-25 2019-11-25 一种用户状态识别方法、装置、存储介质及空调

Publications (2)

Publication Number Publication Date
CN111062269A true CN111062269A (zh) 2020-04-24
CN111062269B CN111062269B (zh) 2021-09-07

Family

ID=70299642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911199551.4A Active CN111062269B (zh) 2019-11-25 2019-11-25 一种用户状态识别方法、装置、存储介质及空调

Country Status (1)

Country Link
CN (1) CN111062269B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112244705A (zh) * 2020-09-10 2021-01-22 北京石头世纪科技股份有限公司 智能清洁设备、控制方法、计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140375865A1 (en) * 2013-06-21 2014-12-25 Qualcomm Incorporated Systems and methods to super resolve a user-selected region of interest
US20180039276A1 (en) * 2016-08-04 2018-02-08 Canvas Technology, Inc. System and methods of determining a geometric pose of a camera based on spatial and visual mapping
CN109409209A (zh) * 2018-09-11 2019-03-01 广州杰赛科技股份有限公司 一种人体行为识别方法与装置
CN109508654A (zh) * 2018-10-26 2019-03-22 中国地质大学（武汉） 融合多任务和多尺度卷积神经网络的人脸分析方法及系统
CN109670444A (zh) * 2018-12-18 2019-04-23 北京字节跳动网络技术有限公司 姿态检测模型的生成、姿态检测方法、装置、设备及介质
CN110188599A (zh) * 2019-04-12 2019-08-30 哈工大机器人义乌人工智能研究院 一种人体姿态行为智能分析识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140375865A1 (en) * 2013-06-21 2014-12-25 Qualcomm Incorporated Systems and methods to super resolve a user-selected region of interest
US20180039276A1 (en) * 2016-08-04 2018-02-08 Canvas Technology, Inc. System and methods of determining a geometric pose of a camera based on spatial and visual mapping
CN109409209A (zh) * 2018-09-11 2019-03-01 广州杰赛科技股份有限公司 一种人体行为识别方法与装置
CN109508654A (zh) * 2018-10-26 2019-03-22 中国地质大学（武汉） 融合多任务和多尺度卷积神经网络的人脸分析方法及系统
CN109670444A (zh) * 2018-12-18 2019-04-23 北京字节跳动网络技术有限公司 姿态检测模型的生成、姿态检测方法、装置、设备及介质
CN110188599A (zh) * 2019-04-12 2019-08-30 哈工大机器人义乌人工智能研究院 一种人体姿态行为智能分析识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112244705A (zh) * 2020-09-10 2021-01-22 北京石头世纪科技股份有限公司 智能清洁设备、控制方法、计算机存储介质

Also Published As

Publication number Publication date
CN111062269B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN107103733B (zh) 一种摔倒报警方法、装置及设备
CN110472612B (zh) 人体行为识别方法及电子设备
JP2023171650A (ja) プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
CN107171872B (zh) 一种智能家居中用户行为预测方法
JP6666488B2 (ja) 画像抽出装置
Jalal et al. Daily human activity recognition using depth silhouettes and transformation for smart home
CN109176512A (zh) 一种体感控制机器人的方法、机器人及控制装置
JP6199791B2 (ja) ペット健康診断装置、ペット健康診断方法及びプログラム
CN106296017A (zh) 一种客房入住的管理方法及装置
Zia Uddin et al. Video-based indoor human gait recognition using depth imaging and hidden Markov model: a smart system for smart home
CN114511931B (zh) 基于视频图像的动作识别方法、装置、设备及存储介质
CN107609474B (zh) 肢体动作识别方法、装置、机器人及存储介质
JP2017212495A (ja) 撮影制御装置、プログラム及び方法
CN112949417A (zh) 一种摔倒行为识别方法、设备及系统
CN111160088A (zh) Vr体感数据检测方法、装置、计算机设备及存储介质
CN111062269B (zh) 一种用户状态识别方法、装置、存储介质及空调
Dragan et al. Human activity recognition in smart environments
CN115019220B (zh) 一种基于深度学习的姿态追踪方法及系统
JP2012073852A (ja) 人体姿勢推定装置、人体姿勢推定方法、およびコンピュータプログラム
WO2021001701A1 (en) Systems and methods for determining actions performed by objects within images
Pinitkan et al. Abnormal activity detection and notification platform for real-time ad hoc network
JP7040664B1 (ja) データ収集装置、データ取得装置及びデータ収集方法
Tohidypour et al. A deep learning based human fall detection solution
Zhao et al. Person identification based on static features extracted from kinect skeleton data
CN115218349A (zh) 智能空调控制方法、装置、空调、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant