CN110659594B - 一种基于AlphaPose的热舒适姿态估计方法 - Google Patents
一种基于AlphaPose的热舒适姿态估计方法 Download PDFInfo
- Publication number
- CN110659594B CN110659594B CN201910846904.9A CN201910846904A CN110659594B CN 110659594 B CN110659594 B CN 110659594B CN 201910846904 A CN201910846904 A CN 201910846904A CN 110659594 B CN110659594 B CN 110659594B
- Authority
- CN
- China
- Prior art keywords
- alphapose
- thermal comfort
- posture
- key point
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Air Conditioning Control Device (AREA)
Abstract
本发明揭示了一种基于AlphaPose的人体热舒适姿态估计方法，其实现步骤主要包括：（1）使用摄像头采集视频数据；（2）预处理数据，使用AlphaPose保存包含基本骨架的图片以及关键点信息的JSON文件，而后读取保存的图片，并且将相对应的JSON文件中存储的关键点位信息提取出来；（3）根据已有的数个人体冷热状态下可能做出的动作特点构建相关算法，实现姿态估计的实际检测应用并反馈结果。本发明对普通摄像头获取的视频进行处理，无须在人体侵入式加装传感器，能够实现在非侵入的前提下，获得人体基本的热舒适状态；以此为中央空调系统（HVAC）实时地提供准确有效的反馈信号，使场景内体感更加舒适、节省能源。
Description
技术领域
本发明涉及人体热舒适非侵入式检测、姿态估计方法，尤其涉及一种基于AlphaPose的热舒适姿态估计方法，属于计算机信号处理以及建筑物理领域。
背景技术
当前，世界能源的消耗在快速增长，其中商业和居民建筑的能源消耗占全世界能源消耗总量的21%。而在建筑能耗中，有50%的能耗与中央空调系统（HVAC）有关。目前在空调行业内采取的主要方法是根据国际标准（ASHRAE 标准55，ASHRAE 标准62.1），为建筑物提供恒定的环境。这种固定室温的冷热供给方式，并没有将建筑使用者热舒适状态的个体差异性和时变性考虑在内。研究显示，即使是对室温进行微小的调节（比如1℃），对于整栋建筑物的能耗影响也是巨大的。如果能够结合具体环境，进行能源分配，不仅可以满足个体热舒适的要求，而且可以实现能源节约。
美国采暖、制冷和空气调节工程师学会（ASHRAE）和国际标准化组织ISO标准（No.7730）对热舒适环境给出了如下定义：在某一室内空间，至少有80%的建筑使用者在心理状态上对当前热环境感到满意的温度范围。因此，人体热舒适作为一种主观感受，往往需要对每个个体进行检测。S.Y.Sim等使用手环检测人体皮肤温度，并邀请了8名受试者参与不同热条件的测试。在此基础上，基于平均皮肤温度、温度梯度和温度时间差等参量构建出人体热舒适模型。C.Z.Dai等提出了一种基于支持向量机（SVM）的热舒适预测方法。使用皮肤温度作为输入，同时通过结合身体不同部位的综合皮肤温度来改善模型，预测准确率达到90%。A.Ghahramani等提出了一种基于红外热成像传感的皮肤温度检测方法，通过在眼镜上安装传感器，对面部进行监测，以此预测人体热舒适程度。Kizito N.Nkurikiyeyezu等使用人的心率变异性（HRV）来估计人的热舒适状态。通过受试者的心电图（ECG）信号，使用他们开发的特殊HRV分析软件来计算HRV指数。研究表明，使用HRV指数预测人体热舒适状态的准确性高达93.7%。Ken Kawakami等使用光电容积描记图（PPG）来监测血液循环的指标，以此进行人体的热舒适评估。
上述方法通过捕获人体的生理参量，能够实现人体热舒适的检测，但是往往需要在人体相应部位直接或者间接的安装相应的传感器，这会对人们的生活带来一定的影响，因此这种方法可以满足实验室的研究需要，但是在现实应用场景下的实用性就显得偏弱。
发明内容
鉴于上述现有技术建筑能耗管控不利和直接侵入式生理参量获取进行人体热舒适检测的现状，本发明提出了一种基于AlphaPose的热舒适姿态估计方法，采用非侵入式的检测方法，使用普通摄像头等，对个体活动的视频数据进行采集，并使用AlphaPose对人体的关键点位进行检测；以此为中央空调系统（HVAC）实时地提供准确有效的反馈信号，使场景内体感更加舒适、节省能源。
本发明实现上述目的的技术解决方案为：一种基于AlphaPose的热舒适姿态估计方法，其特征在于包括：
步骤一数据预处理，分先后作如下两部分处理，
对普通摄像头实时获取的视频数据，使用AlphaPose获取带有基本骨架的图片和包含关键点信息的JSON文件；
读取JSON文件中的关键点信息，并分类存入列表；
步骤二姿态估计，根据已有定义的人体冷热状态的五种基本姿态，分析动作过程中所关联的关键点位置变化，通过设定位置变化的参考范围区分动作及姿态，并基于关键点信息和参考范围编定一个以上子算法进行姿态估计；
步骤三结果显示，动作与子算法各自对应，各个子算法输出当前姿态估计的名称，并统一传递至显示函数，使用窗口将姿态估计的名称以及对应的图片显示。
上述基于AlphaPose的热舒适姿态估计方法，步骤一中JSON文件中关键点信息读取的方法为：在python中使用JSON模块将JSON文件中的信息以字典的形式读取，通过关键字索引到姿态估计需要的肢体点位，定义为关键点，通过代码将需要的肢体点位的各坐标值保存至相应列表中。
上述基于AlphaPose的热舒适姿态估计方法，步骤二中对各个基本姿态动作分析的方法为：各姿态下同一关键点的位置变化，以及相关关键点之间的位置关系；每个关键点信息的组成为x坐标、y坐标以及置信值。
上述基于AlphaPose的热舒适姿态估计方法，进一步地，步骤二中对于静态动作的姿态估计，通过各个肢体点位间的位置关系以及欧式距离来进行判断，其中欧式距离公式为：
上述基于AlphaPose的热舒适姿态估计方法，进一步地，步骤二中对于连续动态的姿态估计，在图片段内对前后两两图片进行逐一对比，通过计算各个肢体点位的移动距离来进行判断，对于满足姿态要求的情况进行计数，将计数与图片段中的图片总数进行比较，满足预设条件则认为姿态判断正确。
上述基于AlphaPose的热舒适姿态估计方法，步骤三中结果显示的方法为：在python中使用tkinter模块实现窗口可视化的功能，窗口的最上方使用文本框显示姿态估计的名称，下方显示对应姿态估计的图片。
与现有技术相比，本发明具有突出的实质性特点和显著的进步性，表现为：采用普通摄像头采集图像数据并基于处理器的图像处理，无须在人体侵入式加装传感器，能够实现在非侵入的前提下，获得人体基本的热舒适状态；以此为中央空调系统（HVAC）实时地提供准确有效的反馈信号，使场景内体感更加舒适、节省能源。
附图说明
图1是本发明使用AlphaPose获取数据的示意图。
图2是本发明热舒适姿态估计方法的流程示意图。
具体实施方式
下面结合附图对本发明创造作进一步详细的说明。
本发明创作者在深入研究前人对人体热舒适检测方面的已有开拓和现实存在问题的基础上，创新提出了一种基于AlphaPose的热舒适姿态估计方法，以谋求实现对人体的热舒适状态的非侵入式检测。
AlphaPose是一个开源的人体关键点检测系统，它基于分区域多人姿态识别算法（RMPE），该算法主要用来解决在人物检测结果不准确的情况下进行稳定的多人姿态识别问题。它采用自顶向下的方法，即先检测到人，再对检测到的人进行姿态识别。本发明通过使用AlphaPose,来实现对人体关键点的检测，为后续的热舒适姿态估计算法提供数据。该方法分步骤概述如下。
步骤一分先后作如下两部分数据预处理，先对普通摄像头实时获取的视频数据，使用AlphaPose获取带有基本骨架的图片和包含关键点信息的JSON文件；而后读取JSON文件中的关键点信息，并分类存入列表，以便于后续使用算法对坐标信息进行处理。
步骤二姿态估计，根据已有定义的人体冷热状态的五种基本姿态，分析动作过程中所关联的关键点位置变化，通过设定位置变化的参考范围区分动作及姿态，并基于关键点信息和参考范围编定一个以上子算法进行姿态估计；其中五种基本姿态包括舒展身体、晃动头发、搓手、手贴领口和打颤。
步骤三结果显示，动作与子算法各自对应，各个子算法输出当前姿态估计的名称，并统一传递至显示函数，使用窗口将姿态估计的名称以及对应的图片显示。
从具体的流程和实例，如图2所示，本发明的具体步骤如下：
1、算法实现阶段：
（1）数据采集，在建筑内或其它应用场景下利用摄像头拍摄视频，对普通摄像头实时获取的视频数据，如图1所示，使用AlphaPose获取带有基本骨架的图片和包含关键点信息的JSON文件，并保存至文件夹。
（2）数据处理，在python中使用JSON模块读取JSON中的肢体的关键点信息，存入列表在python中使用JSON模块将JSON文件中的信息以字典的形式读取，通过关键字索引到姿态估计需要的肢体点位，定义为关键点，通过代码将需要的肢体点位的各坐标值保存至相应列表中，以便于后续使用算法对坐标信息进行处理。
（3）姿态特点分析，本发明所涉及的五种冷热状态下的姿态来源于Alan Meier等关于人体热舒适性的研究，通过分析这五种姿态各自的特点以及之间的区别来实现姿态估计。
（4）算法实现，对之前总结的各姿态的特点使用相关代码进行描述，各姿态下同一关键点的位置变化，以及相关关键点之间的位置关系；每个关键点信息的组成为x坐标、y坐标以及置信值。对于静态动作的姿态估计，通过各个肢体点位间的位置关系以及欧式距离来进行判断，其中欧式距离公式为：
对于连续动态的姿态估计，选择合适的一段连续图片，在图片段内对前后两两图片进行逐一对比，通过计算各个肢体点位的移动距离来进行判断，对于满足姿态要求的情况进行计数，将计数与图片段中的图片总数进行比较，满足预设条件则认为姿态判断正确。
2、测试结果显示阶段：
各动作对应不同子算法，各个子算法输出当前姿态估计的名称，而后统一传递至显示函数。在python中使用tkinter模块实现窗口可视化的功能，窗口的最上方使用文本框显示姿态估计的名称，下方显示对应姿态估计的图片。
综上结合图示的实施例详细介绍可见，本发明较之于传统的热舒适检测方法具有显著的进步性，表现为：采用普通摄像头采集图像数据并基于处理器的图像处理，无须在人体侵入式加装传感器，能够实现在非侵入的前提下，获得人体基本的热舒适状态；以此为中央空调系统（HVAC）实时地提供准确有效的反馈信号，使场景内体感更加舒适、节省能源。
以上详细描述了本发明的优选实施方式，但是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内进行修改或者等同变换，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于AlphaPose的热舒适姿态估计方法，其特征在于包括：
步骤一数据预处理，分先后作如下两部分处理，
对普通摄像头实时获取的视频数据，使用AlphaPose获取带有基本骨架的图片和包含关键点信息的JSON文件；
读取JSON文件中的关键点信息，并分类存入列表；
步骤二姿态估计，根据已有定义的人体冷热状态的五种基本姿态，分析动作过程中所关联的关键点位置变化，通过设定位置变化的参考范围区分动作及姿态，并基于关键点信息和参考范围编定一个以上子算法进行姿态估计；
步骤三结果显示，动作与子算法各自对应，各个子算法输出当前姿态估计的名称，并统一传递至显示函数，使用窗口将姿态估计的名称以及对应的图片显示。
2.根据权利要求1所述基于AlphaPose的热舒适姿态估计方法，其特征在于步骤一中JSON文件中关键点信息读取的方法为：在python中使用JSON模块将JSON文件中的信息以字典的形式读取，通过关键字索引到姿态估计需要的肢体点位，定义为关键点，通过代码将需要的肢体点位的各坐标值保存至相应列表中。
3.根据权利要求1所述基于AlphaPose的热舒适姿态估计方法，其特征在于步骤二中对各个基本姿态动作分析的方法为：各姿态下同一关键点的位置变化，以及相关关键点之间的位置关系；每个关键点信息的组成为x坐标、y坐标以及置信值。
4.根据权利要求3所述基于AlphaPose的热舒适姿态估计方法，其特征在于步骤二中对于静态动作的姿态估计，通过各个肢体点位间的位置关系以及欧式距离来进行判断，其中欧式距离公式为：
5.根据权利要求3所述基于AlphaPose的热舒适姿态估计方法，其特征在于步骤二中对于连续动态的姿态估计，在图片段内对前后两两图片进行逐一对比，通过计算各个肢体点位的移动距离来进行判断，对于满足姿态要求的情况进行计数，将计数与图片段中的图片总数进行比较，满足预设条件则认为姿态判断正确。
6.根据权利要求1所述基于AlphaPose的热舒适姿态估计方法，其特征在于步骤三中结果显示的方法为：在python中使用tkinter模块实现窗口可视化的功能，窗口的最上方使用文本框显示姿态估计的名称，下方显示对应姿态估计的图片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910846904.9A CN110659594B (zh) | 2019-09-09 | 2019-09-09 | 一种基于AlphaPose的热舒适姿态估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910846904.9A CN110659594B (zh) | 2019-09-09 | 2019-09-09 | 一种基于AlphaPose的热舒适姿态估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110659594A CN110659594A (zh) | 2020-01-07 |
| CN110659594B true CN110659594B (zh) | 2022-08-30 |
Family
ID=69038080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910846904.9A Active CN110659594B (zh) | 2019-09-09 | 2019-09-09 | 一种基于AlphaPose的热舒适姿态估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110659594B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112303861A (zh) * | 2020-09-28 | 2021-02-02 | 山东师范大学 | 一种基于人体热适应性行为的空调温度调节方法及系统 |
| CN116129524B (zh) * | 2023-01-04 | 2024-06-14 | 长沙观谱红外科技有限公司 | 一种基于红外图像的姿态自动识别系统和方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109508661A (zh) * | 2018-10-31 | 2019-03-22 | 上海交通大学 | 一种基于物体检测和姿态估计的举手者检测方法 |
| CN109857175A (zh) * | 2019-01-23 | 2019-06-07 | 南京邮电大学 | 一种非侵入式人体热舒适的ai感知方法 |
| CN109934111A (zh) * | 2019-02-12 | 2019-06-25 | 清华大学深圳研究生院 | 一种基于关键点的健身姿态估计方法及系统 |
| CN109948472A (zh) * | 2019-03-04 | 2019-06-28 | 南京邮电大学 | 一种基于姿态估计的非侵入式人体热舒适检测方法及系统 |
-
2019
- 2019-09-09 CN CN201910846904.9A patent/CN110659594B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109508661A (zh) * | 2018-10-31 | 2019-03-22 | 上海交通大学 | 一种基于物体检测和姿态估计的举手者检测方法 |
| CN109857175A (zh) * | 2019-01-23 | 2019-06-07 | 南京邮电大学 | 一种非侵入式人体热舒适的ai感知方法 |
| CN109934111A (zh) * | 2019-02-12 | 2019-06-25 | 清华大学深圳研究生院 | 一种基于关键点的健身姿态估计方法及系统 |
| CN109948472A (zh) * | 2019-03-04 | 2019-06-28 | 南京邮电大学 | 一种基于姿态估计的非侵入式人体热舒适检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110659594A (zh) | 2020-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Non-invasive (non-contact) measurements of human thermal physiology signals and thermal comfort/discomfort poses-a review | |
| WO2020177498A1 (zh) | 一种基于姿态估计的非侵入式人体热舒适检测方法及系统 | |
| WO2020215961A1 (zh) | 面向室内环境控制的人员信息检测方法与系统 | |
| Cheng et al. | A pilot study of online non-invasive measuring technology based on video magnification to determine skin temperature | |
| Čulić et al. | Smart monitoring technologies for personal thermal comfort: A review | |
| Aryal et al. | Skin temperature extraction using facial landmark detection and thermal imaging for comfort assessment | |
| US20090271251A1 (en) | Point of view shopper camera system with orientation sensor | |
| WO2020151732A1 (zh) | 一种非侵入式人体热舒适的ai感知方法 | |
| Cosma et al. | Using the contrast within a single face heat map to assess personal thermal comfort | |
| WO2022193851A1 (zh) | 识别用户动作的方法和系统 | |
| Liu et al. | Automatic estimation of clothing insulation rate and metabolic rate for dynamic thermal comfort assessment | |
| Li et al. | Non-intrusive comfort sensing: Detecting age and gender from infrared images for personal thermal comfort | |
| CN110659594B (zh) | 一种基于AlphaPose的热舒适姿态估计方法 | |
| CN109508755B (zh) | 一种基于图像认知的心理测评方法 | |
| CN113856186B (zh) | 一种引体向上动作判定与计数的方法、系统及装置 | |
| Burzo et al. | Using infrared thermography and biosensors to detect thermal discomfort in a building’s inhabitants | |
| Szankin et al. | Long distance vital signs monitoring with person identification for smart home solutions | |
| Li et al. | Non-invasive human thermal comfort assessment based on multiple angle/distance facial key-region temperatures recognition | |
| Zheng et al. | Non-invasive infrared thermography technology for thermal comfort: A review | |
| Fan et al. | Real-time machine learning-based recognition of human thermal comfort-related activities using inertial measurement unit data | |
| Lyu et al. | Where should the thermal image sensor of a smart A/C look?-Occupant thermal sensation model based on thermal imaging data | |
| Xu et al. | Action-based personalized dynamic thermal demand prediction with video cameras | |
| Morresi et al. | Measuring thermal comfort using wearable technology in transient conditions during office activities | |
| Rida et al. | Toward contactless human thermal monitoring: A framework for Machine Learning-based human thermo-physiology modeling augmented with computer vision | |
| Bucarelli et al. | Deep learning approach for recognizing cold and warm thermal discomfort cues from videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |