CN109948472A - 一种基于姿态估计的非侵入式人体热舒适检测方法及系统 - Google Patents
一种基于姿态估计的非侵入式人体热舒适检测方法及系统 Download PDFInfo
- Publication number
- CN109948472A CN109948472A CN201910160062.1A CN201910160062A CN109948472A CN 109948472 A CN109948472 A CN 109948472A CN 201910160062 A CN201910160062 A CN 201910160062A CN 109948472 A CN109948472 A CN 109948472A
- Authority
- CN
- China
- Prior art keywords
- thermal comfort
- bone
- attitude estimation
- posture
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 90
- 230000036544 posture Effects 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000009471 action Effects 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 210000000707 wrist Anatomy 0.000 claims description 27
- 210000003423 ankle Anatomy 0.000 claims description 19
- 210000003127 knee Anatomy 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 16
- 210000002683 foot Anatomy 0.000 claims description 15
- 210000002414 leg Anatomy 0.000 claims description 11
- 210000004243 sweat Anatomy 0.000 claims description 10
- 210000000038 chest Anatomy 0.000 claims description 9
- 210000001217 buttock Anatomy 0.000 claims description 8
- 210000005069 ears Anatomy 0.000 claims description 8
- 210000003128 head Anatomy 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 8
- 210000005252 bulbus oculi Anatomy 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 240000006409 Acacia auriculiformis Species 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 210000001015 abdomen Anatomy 0.000 claims description 3
- 210000000746 body region Anatomy 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 210000001061 forehead Anatomy 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 40
- 210000002832 shoulder Anatomy 0.000 description 25
- 210000003739 neck Anatomy 0.000 description 15
- 238000010438 heat treatment Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 238000004378 air conditioning Methods 0.000 description 5
- 238000004134 energy conservation Methods 0.000 description 5
- 238000005265 energy consumption Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 210000002310 elbow joint Anatomy 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000005057 refrigeration Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 210000001699 lower leg Anatomy 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明从姿态估计的角度出发，揭示并提出了一种新颖的非侵入式人体热舒适检测方法。首先通过问卷调查的方法定义并验证得出12个人体热舒适的姿态，而后通过计算机视频采集、图像预处理、深度图像处理、训练测试和投放应用实现姿态估计和人体热舒适检测的结果输出，其中深度图像处理包括基于骨骼节点的面域、点域锁定以及设定对应不同姿态估计的动作识别判断条件及阀值，而姿态估计得自于比较前后帧各骨骼节点坐标的变化。应用本发明检测方法于智能建筑或交通工具中，将会为中央空调系统实时提供有效的反馈信号，从而实现让场景中的人们更加舒适，并可靠地节约能源。
Description
技术领域
本发明涉及人体热舒适非侵入式检测、姿态估计、能源效率、人工智能等技术，具体涉及一种基于姿态估计的非侵入式人体热舒适检测方法，属于计算机科学与暖通技术领域。
背景技术
人体热舒适的实时感知，对于建筑节能或汽车节能至关重要。如果能够实时掌握室内/车内乘员的当前热舒适状态，继而实时向中央空调系统提供有效的反馈信号，以控制整个房间/车内的温度、湿度和气流等参量；不但可以满足人体热舒适的需求，还可以达到建筑节能的目标，从而服务于“以人为本”的智能建筑要求。
根据美国能源信息署(EIA：U. S. Energy Information Administration)的报告显示，建筑能源消耗在全世界能源消耗中占比21%，并且，所有的建筑能源消耗中，中央空调系统(HVAC：heating ventilation air condition)的消耗占了50%。由此可见，对于人体热舒适的检测并籍此调节HVAC的响应输出，对于能源节约具有重大意义。
目前共计有三种人体热舒适的检测方法，分别是问卷调查法、环境监测法和生理检测法。其中，生理检测法细分为侵入式、半侵入式和非侵入式三种。问卷调查法需要用户的持续反馈，可操作性偏低；环境监测法主要是检测室内温度、湿度和气流等客观参量，并假定某一个阈值范围内，大多数人都会满意。生理检测法能够实时检测到人的热舒适性，但侵入式和半侵入式的实用性偏低，因为他们都需要将传感器贴在身上。非侵入式方式的可行性较高，目前正处于研究的焦点。
基于目前的技术水平情况，建筑行业采取了环境监测法。对于相关设备，比如供暖装置和供冷装置，均设有旋钮，让用户自己根据热舒适程度，自我调节。因此，存在两大问题：1)、根据国际标准化组织(ISO：International Organization for Standardization )和美国采暖、制冷与空调工程师学(ASHRAE：American Society of Heating,Refrigeration and Air-Conditioning Engineers)对“热舒适环境”的定义，80%的人满意，即可判定为热舒适环境，那么环境监测法是难以满足更多人或每一个人的需求的；2)、用户自我调节的旋钮，缺乏自动化。这里两点均不符合“以人为本”的思想。
计算机视觉和机器学习的快速发展，为非侵入式检测人体热舒适提供了寻求技术解决方案的条件。计算机视觉的初衷和本质是让机器理解世界。自从深度学习技术的出现，其在海量数据训练下，能够胜任诸多分类和预测任务，这为非侵入式的人体热舒适检测，提供了可能。
发明内容
鉴于上述现有技术能耗管控不足的现状，本发明的目的旨在从场景中人体姿态估计的角度出发，提出一种新颖的非侵入式人体热舒适检测方法及系统。以此为中央空调系统（HVAC）实时地提供准确有效的反馈信号，使场景内体感更加舒适、节省能源。
为了实现上述第一个目的，本发明的技术解决方案为：一种基于姿态估计的非侵入式人体热舒适检测方法，包括步骤：
S1、定义若干个与人体热舒适相关的姿态，并通过问卷调查法证实有效性；
S2、视频采集和预处理，计算机视觉装置面向受试者拍摄采集图像数据，并预处理输出兴趣域图片；
S3、生成基本参量矩阵，对输入的每一帧兴趣域图片捕获全身骨骼节点的坐标，并根据置信值逐帧筛选；
S4、检索区域，依据所定义的姿态估计的动作识别要求，对筛选所得的兴趣域图片逐一搜索并划定检测部位相关的若干个区域，划定区域的根据为基本参量矩阵中骨骼节点的坐标；
S5、锁定骨骼关键点，对应每一帧兴趣域图片在各个区域中锁定一个或数个与姿态估计相关的骨骼节点坐标；
S6、条件判断，设定对应不同姿态估计的动作识别判断条件及阀值，比较前后帧各骨骼节点坐标的变化趋势；
S7、输出姿态及检测结果，根据骨骼节点坐标变化与判断条件及阀值的对应关系识别姿态，并对应输出热倾向性和热舒适等级。
优选的，上述检测方法步骤S1中与人体热舒适相关的姿态包括：对应第一热舒适等级的擦汗、手扇风，对应第二热舒适等级的抖动胸前T恤、挠头，对应第三热舒适等级的卷袖子，对应第四热舒适等级的行走，对应第五热舒适等级的缩肩，对应第六热舒适等级的抱臂、腿交叉、手放脖子，以及对应第七热舒适等级的手哈气、跺脚。
优选的，上述检测方法步骤S2中所述图像数据为30帧/秒的连续帧，且预处理过程为逐帧抽取含有人体姿态的图片、去除图片噪声并增强，依据人体所在区域输出兴趣域图片。
优选的，上述检测方法步骤S3中通过调用OpenPose平台或骨骼捕获算法，对输入的每一帧兴趣域图片直接获得全身骨骼节点的坐标和置信值，输出一个i（x，y，ε）的参量，其中全身骨骼节点包括鼻子、脖子、右肩膀、右肘部、右手腕、左肩膀、左肘部、左手腕、右臀部、右膝盖、右脚踝、左臀部、左膝盖、左脚踝、右眼睛、左眼睛、右耳朵、左耳朵，按0~17顺序编号，且对图片背景编号18，i表示骨骼节点及其对应的编号，x和y分别表示各个骨骼节点在兴趣域图片坐标系中的坐标值，ε表示置信值且设定0.5为筛选阀值，采纳ε≥0.5的n帧兴趣域图片并舍弃ε＜0.5的兴趣域图片。
优选的，上述检测方法依据所定义的姿态估计的动作识别要求，步骤S4面域锁定中所述区域包括额头，头顶，头左侧，头右侧，脸部左侧与胸部以上的交叉区域，脸部右侧和胸部以上的交叉区域，脖子及其与手腕之间的区域，胸腹部区域，肩膀、肘部及其与手腕之间的区域，臀部、膝盖及其与脚踝之间的区域。
优选的，上述检测方法基于步骤S1所定义的若干个姿态，每个姿态对应的动作与全身骨骼节点中的一部分关联匹配，步骤S5点域锁定其中一个特定姿态所关联的一部分骨骼节点坐标。
优选的，上述检测方法步骤S6中所述判断条件包括涉及姿态估计的一个以上骨骼关键点发生位移变化的集中区域、相对距离、频次、前后帧区间内距离变化幅度中的一个或数个组合；所述阀值为训练测试后的经验值，分别包括关联相对距离阀值和频次阀值。
优选的，上述检测方法还包括姿态检测验证步骤S8，受试者根据步骤S1所定义的姿态面向计算机视觉装置随机做出动作，并验证所输出的热倾向性和热舒适等级与姿态的相符性。
为了实现上述第二个目的，本发明的技术解决方案为：一种基于姿态估计的非侵入式人体热舒适检测系统，由计算机和预定义若干个与人体热舒适相关的姿态实现，包括：
视频采集和预处理单元，计算机视觉装置面向受试者拍摄采集图像数据，并用于在处理器中预处理输出兴趣域图片；
生成基本参量矩阵单元，用于处理器对输入的每一帧兴趣域图片捕获全身骨骼节点的坐标，并根据置信值逐帧筛选；
检索区域单元，用于处理器依据所定义的姿态估计的动作识别要求，对筛选所得的兴趣域图片逐一搜索并划定检测部位相关的若干个区域，划定区域的根据为基本参量矩阵中骨骼节点的坐标；
锁定骨骼关键点单元，用于处理器对应每一帧兴趣域图片在各个区域中锁定一个或数个与姿态估计相关的骨骼节点坐标；
条件判断单元，用于处理器设定对应不同姿态估计的动作识别判断条件及阀值，比较前后帧各骨骼节点坐标的变化趋势；
输出姿态及检测结果单元，用于处理器根据骨骼节点坐标变化与判断条件及阀值的对应关系识别姿态，并对应输出检测人体的热倾向性和热舒适等级。
与现有技术相比，本发明具有突出的实质性特点和显著的进步性，表现为：
一、应用方便，该检测方法无需将传感器贴身佩戴或随身携带，利用视频摄取、姿态估计方便实用。
二、以人为本，能满足场景中全员热舒适体验，达到调节环境为人服务的效果。
三、节约能源，能够实时地为HVAC提供有效的反馈信号，并通过数据的累积，具备预测功能，从而实现房间、楼宇、社区全方位节能。
附图说明
图1是本发明检测方法所定义热反应姿态范例示意图。
图2是本发明检测方法所定义冷反应姿态范例示意图。
图3是本发明检测方法中骨骼关键点的分布示意图。
图4是本发明检测方法步骤S1中定义热舒适姿态问卷调查的结果图表。
图5是本发明非侵入式人体热舒适检测方法的算法流程图。
具体实施方式
考察了现有技术对人体热舒适检测手段的诸多不足和HAVC系统控制固定或人工参与等缺陷明显的应用体验。本发明依托于计算机视觉和机器学习的发展，致力于为供暖和供冷系统实时感知人体舒适程度，从而提供实时有效的反馈信号参与温度调节器自动运作；最大可能满足用户热舒适需求，最终实现真正意义上的以人为本和节省能源消耗。
为此，本发明开拓一个全新的科研分支，创新提出了一种基于姿态估计的非侵入式人体热舒适检测方法及系统，其技术实现为：根据Fanger的理论，定义了12个与热舒适评判相关的人体姿态，并通过大量问卷调查，证明了所定义姿态的合理性；并且在此基础上，设计基于姿态估计的人体热舒适检测算法，内含多个子算法以识别这些动作，并利用受试者进行检测，以验证该检测算法的合理性，输出相应的结果供HAVC系统参考。
分步骤概述来看，该非侵入式人体热舒适检测方法包括：S1、定义若干个与人体热舒适相关的姿态，并通过问卷调查法证实有效性；S2、视频采集和预处理，计算机视觉装置面向受试者拍摄采集图像数据（30帧/秒的连续帧），并预处理输出兴趣域图片；S3、生成基本参量矩阵，对输入的每一帧兴趣域图片捕获全身骨骼节点的坐标，并根据置信值逐帧筛选；S4、检索区域，依据所定义的姿态估计的动作识别要求，对筛选所得的兴趣域图片逐一搜索并划定检测部位相关的若干个区域，划定区域的根据为基本参量矩阵中骨骼节点的坐标；S5、锁定骨骼关键点，对应每一帧兴趣域图片在各个区域中锁定一个或数个与姿态估计相关的骨骼节点坐标；S6、条件判断，设定对应不同姿态估计的动作识别判断条件及阀值，比较前后帧各骨骼节点坐标的变化趋势；S7、输出姿态及检测结果，根据骨骼节点坐标变化与判断条件及阀值的对应关系识别姿态，并对应输出热倾向性和热舒适等级。
以下更具体的分步骤细化理解：如图5所示，首先步骤S1，人在冷热情况下，会有不同的姿态表现。因此，根据姿态对热舒适进行估计，是一种有效的方式。寻找具有共性的姿态，便意义深远。如图1和图2所示的热、冷反应姿态变化规律示意。基于Fanger理论，本发明定义了12个热感姿态，并通过大量问卷调查，证明其有效性。姿态的种类包括对应第一热舒适等级的擦汗、手扇风，对应第二热舒适等级的抖动胸前T恤、挠头，对应第三热舒适等级的卷袖子，对应第四热舒适等级的行走，对应第五热舒适等级的缩肩，对应第六热舒适等级的抱臂、腿交叉、手放脖子，以及对应第七热舒适等级的手哈气、跺脚。各姿态所表征的热舒适状态如下表所示。
该12个姿势验证的具体操作为，邀请400位受试者对所提出的12个姿态进行问卷调查，共计收获369份有效问卷，阐述在其看来，该姿态属于热反应姿态，冷反应姿态还是“两者都不是”。并统计得出如图4所示的结果图表，结果显示，所定义的姿态，符合人们对热和冷的理解。当然，不同地区、不同年龄构成的受试者对姿势的理解会有偏差，但总体差别可以忽略，而且受试者的规模可以扩展到千级、万级，只是通过增加工作量优化验证结果。
在姿势定义的基础上，人体热舒适检测方法需要设计完整的算法架构实现姿态估计和检测结果输出。其主要包含了视频采集和预处理、基本参量矩阵生成、区域检索、骨骼关键点锁定、条件判断、姿态输出等方面。通过该算法架构，可以实现姿态估计、热倾向性识别和热舒适等级识别。而对应不同的姿态，由于判断条件的差异性，该架构又分设有多个子算法。
下面结合附图与技术方案，说明本发明的具体实施方式。
S2、视频采集和预处理，本发明的数据输入主要以视频图像为主。与计算机通讯关联的普通视觉传感器以30帧/秒的速率采集数据，所采集数据实现三方面的预处理。1）逐帧抽取：主要实现对于每一帧的图片提取，每分钟有1800张含有姿态的图片导入检测系统；2）去噪与增强：在原始图片的基础上，去除椒盐噪声等噪声，并对图片进行增强处理，以便于后续搜索骨骼节点；3）搜索兴趣域：为了减轻后续算法的计算载荷，本发明仅对信息价值的区域进行检索，并将此类有价值区域定义为兴趣域（ROI: Region of Interest），向后输出兴趣域图片；而确定兴趣域的主要依据为确定人体所在区域。
S3、生成基本参量矩阵，本步骤的主要任务是输出骨骼节点的坐标，并根据置信值，舍弃不可信的帧，保留可信帧，用于后续的姿态分析。此处，本方案选择调用OpenPose平台或其它骨骼捕获算法，直接获得骨骼节点和置信值。本发明所提出的算法（英文简称NIMAP方法）是一个总体性的架构，提取骨骼是其中一个子模块。当然，该提取骨骼的子模块还可以通过构建深度学习网络，通过海量数据训练得到骨骼节点的坐标。然而该方案具有相对独立性，为避免与本发明算法主次冲突，而作为次要的备选措施。
如图3所示，是在本步骤中所输出的人体骨骼关键点。按照0-18的顺序编号，对共计17个骨骼节点进行标号，并以数字18表示采集到的图片背景。这些骨骼节点分别为鼻子0、脖子1、右肩膀2、右肘部3、右手4、左肩膀5、左肘部6、左手腕7、右臀部8、右膝盖9、右脚踝10、左臀部11、左膝盖12、左脚踝13、右眼睛14、左眼睛15、右耳朵16、左耳朵17。
每一帧兴趣域图片，输入本模块之后，均会输出一个i（x，y，ε）的参量，其中i表示骨骼节点及其对应的编号，x和y分别表示各个骨骼节点在兴趣域图片坐标系中的坐标值，ε表示置信值。根据本发明视觉传感器的采集速率（30帧/秒），则一分钟便产生1800×18×3的骨骼节点数据。
在骨骼关键点的识别中，有些图片会因为算法的误差导致位移。为此，本发明设定了该置信值ε，相关阈值设定如下：ε>=0.5采纳；ε< 0.5舍弃。
这里的0.5是本发明在测试过程中，设定的经验值。即当ε大于或等于0.5的时候，所对应的ROI图片被采纳，输出的参量也被采纳。假设在一分钟的数据中，有n帧被采纳，则对应的“基本参量矩阵”为n×18×3。
S4、检索区域，即锁定相关动作产生的区域。针对不同的姿态，本发明设定了不同的区域。现针对不同的姿态，阐述其判定区域。
擦汗：暂未对头部之外的擦汗动作进行识别。因此，擦汗区域集中设定为额头。
手扇风：考虑到左手和右手的两种可能性，设定了两组区域。分别是脸部左侧和胸部以上交叉区域；脸部右侧和胸部以上交叉区域。
抖动胸前T恤：区域设定为胯部和肩膀四点之间的矩形区域，即胸腹部所辖区域。
挠头：设定头顶、头左侧和头右侧三个区域。
卷袖子：设定在肩膀和手腕之间的区域。
走路与跺脚：针对走路与跺脚，由于显著的区域重合性，采用一个子算法实现。设定区域包括膝盖、脖子、肩膀和臀部。
缩肩：设定肩膀、脚踝和臀部区域。
抱臂：设定肘部和手腕区域。
腿交叉：脚踝和膝盖区域。
手放脖子取暖与手哈气：同样鉴于由于显著的区域重合性，设定手腕和脖子区域。
锁定上述该些区域主要根据上一步骤中输出的“基本参量矩阵”，尤其是骨骼节点的坐标值，通过（x，y）可以判定所设定区域相对位置。
S5、锁定骨骼关键点，本发明按照由大到小的步骤，逐步进行姿态识别。步骤S4的功能，是锁定姿态识别的区域，在此基础上，本步骤重点锁定某一个姿态所对应的骨骼关键点，锁定的方式，是根据步骤S3所获得的坐标参量。可以理解的是，步骤S4被认为是面域锁定，而步骤S5则为点域锁定，即涉及一个以上面域中具体某一个或者某几个点。相关姿态所定义的骨骼关键点如下。
擦汗：涉及左手和右手分别擦汗，共计两组骨骼关键点，一组是左手腕（编号7），右眼睛（编号14）；另一组是右手腕（编号4），左眼睛（编号15）。
手扇风：涉及左手和右手扇风，共计两组骨骼关键点，一组是左手腕（编号7），左肘部（编号6）；另一组是右手腕（编号4），右肘部（编号3）。
抖动胸前T恤：骨骼关键点为手腕（编号4和7），肘部（编号3和6），耳朵（编号16和17）。
挠头：骨骼关键点为手腕（编号4和7），耳朵（编号16和17）。
卷袖子：骨骼关键点为手腕（编号4和7），肘部（编号3和6），肩膀（编号2和5）。
走路与跺脚：骨骼关键点为膝盖（编号9和12）和脚踝（编号10和13）。
缩肩：骨骼关键点为手腕（编号4和7），臀部（编号8和11），脚踝（编号10和13），肩膀（编号2和5）。
抱臂：骨骼关键点为肘部（编号3和6）和手腕（编号4和7）。
腿交叉：骨骼关键点为手腕（编号4和7）和膝盖（9和12）。
手放脖子取暖与手哈气：骨骼关键点为脖子（编号1），手腕（编号4和7）和鼻子（编号0）。
S6、条件判断，经前述两步骤的锁定，针对某一个或某几个骨骼关键点进行观察，分析其运动规律，比较前后帧差异，并通过相关阈值限定，区分出不同的姿态。在这一步骤中，主要针对不同的姿态，设定不同的判断条件。
人体会自然的调整其姿态以便于自身处于热舒适状态，这些骨骼和关节的运动会在身体周围的空间产生各种位移变化。令spi表示人体骨骼的关键点，由于视觉传感器所捕获的图像为二维信息，因此，spi可以表示为 (1)；
其中，xi和yi表示图像坐标系中的横坐标和纵坐标，变量i表示不同骨骼关键点及其对应的编号，变量k表示骨骼关键点的最大值，在本发明中k=18。如果能够准确的捕获spi，那么便可以构建子算法，识别各种人体姿态。通过该步骤，完成人体骨骼的数字化。
为了简化技术处理的复杂度，本发明根据行走和跺脚的共性，将其设计在一个子算法中，并根据其差异性在子算法进行区分。同理，手放脖子取暖和手哈气也合并在一个子算法中。12个姿态的相关动作对应10个子算法。
为了便于各种姿态的识别，本发明定义了几个变量。阐述如下：
首先，为了计算骨骼关节点之间的欧几里得距离L，本发明定义了标准距离Ls，即：
(2)，
其中sp7表示左手腕，sp6表示左肘部。基于公式(2)，相对距离计算为： (3)。
本发明根据不同的姿态，将计算不同的相对距离Lr，并设置不同的条件阈值，此外引入参量Lr_max和Lr_min，分别表示Lr的最大值和最小值。需要说明的是，并不是每个姿态，都需要设定Lr_max和Lr_min，依据具体情况而定。在子算法的设计中，还设计斜率，以及不同帧之间x和y坐标值的变化。整个算法流程框图如图5所示，各动作的判断条件阐述如下。
针对擦汗动作，求解两个距离，分别是左手腕和右眉毛之间的距离Ls1=|sp7-sp14|，右手腕和左眉毛之间的距离Ls2=|sp4-sp15|。根据公式(3)求解对应的相对距离Lr1和Lr2。在求得相对距离之后，若相对距离小于1.8则判断为擦汗动作，即Lr1<1.8或者Lr2<1.8，需要说明的是，这里的1.8为没有单位的一个相对值，且是测试训练过程中，得到的经验值。
针对手扇风动作，
判断条件一：一般是在一个区域内做往复运动。设定其往复运动的上下限分别为120和8，即Lr_max=120，Lr_min=8。
判断条件二：除了上下阈值的判断，对于手扇风而言，所计算的相对距离，必须是一直处于不断变化中的。因此所采用的机制是：连续观测2秒，因为采样率是30帧/秒，因此其实就是连续观测60帧图片，若其中出现变化的次数（频次m）大于（60÷2.5），即m>（60÷2.5），则有可能是手扇风。需要说明的是，2.5同样是测试训练过程中得到的经验值。
判断条件三：还需要判断手是否在耳朵下方。
因此，上述三个条件皆具备，即m>（60÷2.5），Lr∈[8,120]，且手在耳朵下方，则可以判定为手扇风。
针对抖动胸前T恤动作，
判断条件一：与手扇风一致，设定了一个相对距离的上下限，这就就是手抖动T恤的范围，即使Lr∈[8,120]。
判断条件二：连续观测2秒钟的数据，且m>（60÷2）时候，视为有可能是抖动T恤。也就是说，在2秒钟内相对距离连续发生了30次以上的变化。这里的2同样是训练测试后得到的经验值。
判断条件三：检测手腕与耳朵之间的距离Lrj，若这一相对距离小于1.8，则认为不属于“抖动胸前T恤”的动作。换言之，Lrj≥1.8，则有可能是抖动胸前T恤动作。
因此，上述3个条件皆具备时候，即m>（60÷2），Lr∈[8,120]，Lrj≥1.8，则可以判定该动作为抖动胸前T恤。
针对挠头动作，有三种情况，分别为挠头的左侧、挠头的右侧和挠头顶。
挠头左侧：判断条件一：左手腕和左耳朵的距离小于1.8，且左手腕在鼻子上方、左手腕在左耳朵的左侧；判断条件二：两侧手腕和双眼的距离均大于1.8。若同时满足上述两个条件，则判定为挠头动作。
挠头右侧：判断条件一：右手腕和右耳朵的距离小于1.8，且右手腕在鼻子上方，且右手腕在右耳朵的右侧；判断条件二：两侧手腕和双眼的距离均大于1.8。若同时满足上述两个条件，则判定为挠头动作。
挠头顶：判断条件一：右手腕和右耳朵的距离大于1.8，右手腕在鼻子上方，且右手腕在两耳之间；判断条件二：左手腕和左耳朵的距离大于1.8，左手腕在鼻子上方，且左手腕在两耳之间。若满足条件一或条件二，均可以判定为挠头顶。
针对卷袖子动作，首先判断手腕是否在撸袖子的对应位置，方法如下：1）左手腕在“右手腕和右肩”之间，主要通过y坐标的比较实现，且左手腕到右肘之间的距离小于等于0.9。或者2）右手腕在“左手腕+左肩”之间，也是通过y坐标的比较实现，且右手腕到左肘之间的距离小于等于0.9。
其次，当手腕在撸袖子所对应的区域后，本发明将判断前后帧之间的变化，重点是判断手腕y坐标的差异。基本机理是：比较前后5帧中手腕的y坐标，以判断手腕是否沿着手臂在运动。继而两帧之间，y坐标的变化幅度必须大于10，若满足此条件，则判定为卷袖子姿态。同理，0.9和10是训练测试后得到的经验值。
针对走路和跺脚动作，步骤包括：
判定双腿处于伸直还是弯曲状态——
定义直线1：定义胯部和膝盖这两点，连成直线1，并计算其斜率为K1；
定义直线2：定义膝盖和脚腕这两点，连成直线2，并计算其斜率为K2；
如果直线1和直线2的斜率接近（K1≈K2），则认为腿处于伸直状态；
如果直线1和直线2的斜率差异较大（K1-K2>30），则认为腿是弯曲状态，其中30同样是训练测试后得到的经验值。
连续帧判断，截取2秒的图像做连续判断。如果直和弯的趋势性变化了30次，则认为满足跺脚判定的第一个条件；如果小于30次，则不是跺脚。这里的30和2秒都是算法测试之后获得的经验值。同时连续观测五个骨骼关键点（脖子、左肩、右肩、左臀、右臀）2秒存在连续变化与否。
行走和跺脚最终判定，如果5个点位置都不同，那么可以判定为行走，这5个点之间位置差异的阈值设定为10（经验值）；如果腿部斜率连续变化且上述5个点的位置相同，则满足跺脚判定的第二个条件，连同第一个判定条件，在皆满足的情况下，可以认为为跺脚。
针对缩肩动作，
判定条件一：判断手贴臀部，双腿并拢——
具体包括左手腕离左臀距离小于1.5，且右手腕离右臀距离小于1.5，且左脚踝和右脚踝距离小于1.5。
判定条件二：连续帧判定，观测2秒——
具体包括上一帧的左肩膀和下一帧的左肩膀之间的相对距离在[3,50]范围内，且上一帧的右肩膀和下一帧右肩膀之间的相对距离在[3,50]范围内。
判定条件三：手腕在肩膀下方。
针对抱臂动作，定义“左手腕和右肘关节距离”或者“右手腕-左肘关节距离”被定义为Lc，基于标准距离和公式（3），则可以得到相对距离Lrc，若相对距离Lrc＞2，则视为抱臂。
针对腿交叉动作，检测左脚踝在右脚踝的右边且两个膝盖离的很近，相对距离Lrx＜1。当然，也会检测右脚踝在左脚踝的左侧，且膝盖离的很近，阈值依然为1。
手放脖子取暖与手哈气的动作有诸多交叉，针对这一问题，本发明首先检测脖子和双手的相对距离，若相对距离小于2，并检测双手腕是否在鼻子的下方；然后判断双手腕之间的距离。如果距离小于3，则判定为手哈气；若距离大于3，则判定为手抱脖子取暖。同理地，上述该些判断阀值为训练测试后得到的经验值。
S7、输出姿态及检测结果，根据骨骼节点坐标变化与判断条件及阀值的对应关系，由计算机系统自动识别姿态，并对应输出热倾向性和热舒适等级。
此外，该算法架构还包括姿态检测验证步骤S8，具体操作是，受试者站在数据采集的区域内，主要是视觉传感器捕获数据的范围内，根据本发明所定义的12个动作，随机的做相应动作，程序自动识别这些动作，并输出热倾向性和姿态名称。而检测结果表明该算法能有效识别相关动作。需要说明的是，步骤S8所邀请的受试者与问卷调查所涉及的受试者为两个独立群体，以保障算法检测的客观性。
受试者根据步骤S1所定义的姿态面向计算机视觉装置随机做出动作，并验证所输出的热倾向性和热舒适等级与姿态的相符性。
上述算法架构的应用实施，依赖于计算机系统。为此，该检测系统的计算机架构包括：
视频采集和预处理单元，计算机视觉装置面向受试者拍摄采集图像数据，并用于在处理器中预处理输出兴趣域图片；
生成基本参量矩阵单元，用于处理器对输入的每一帧兴趣域图片捕获全身骨骼节点的坐标，并根据置信值逐帧筛选；
检索区域单元，用于处理器依据所定义的姿态估计的动作识别要求，对筛选所得的兴趣域图片逐一搜索并划定检测部位相关的若干个区域，划定区域的根据为基本参量矩阵中骨骼节点的坐标；
锁定骨骼关键点单元，用于处理器对应每一帧兴趣域图片在各个区域中锁定一个或数个与姿态估计相关的骨骼节点坐标；
条件判断单元，用于处理器设定对应不同姿态估计的动作识别判断条件及阀值，比较前后帧各骨骼节点坐标的变化趋势；
输出姿态及检测结果单元，用于处理器根据骨骼节点坐标变化与判断条件及阀值的对应关系识别姿态，并对应输出检测人体的热倾向性和热舒适等级。
综上实施例结合图示的详细描述，应用本发明该非侵入式人体热舒适的检测方法及系统，具有突出的实质性特点和显著的进步性，具体表现为以下三个突出的方面：
一、应用方便，相对于其它的生理检测法（包含侵入式的和半侵入式的），更易于实际应用。应用场景中的人员无需将传感器贴身佩戴，或者放置在眼镜等物品上；非侵入式人体热舒适检测，是中央空调系统控制未来发展的方向。从实现角度，也相对方便。
二、以人为本，在采用环境检测法为主流情况下，只能达到80%的人员满足于热舒适的环境。忽视了其余20%的人员感受且以环境温度代替人体感受，该检测方法更符合人性化的性能要求，实现了以人为本。
三、节约能源，能够实时的为HVAC系统提供有效反馈信号，并通过数据的累积，具备预测功能，从而提供适合与室内/车内乘员的热舒适环境。在此基础上优化，便可以实现小空间、整个楼宇、整个社区的全方位节能。
以上详细描述了本发明的优选实施方式，但是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内进行修改或者等同变换，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于姿态估计的非侵入式人体热舒适检测方法，其特征在于包括步骤：
S1、定义若干个与人体热舒适相关的姿态，并通过问卷调查法证实有效性；
S2、视频采集和预处理，计算机视觉装置面向受试者拍摄采集图像数据，并预处理输出兴趣域图片；
S3、生成基本参量矩阵，对输入的每一帧兴趣域图片捕获全身骨骼节点的坐标，并根据置信值逐帧筛选；
S4、检索区域，依据所定义的姿态估计的动作识别要求，对筛选所得的兴趣域图片逐一搜索并划定检测部位相关的若干个区域，划定区域的根据为基本参量矩阵中骨骼节点的坐标；
S5、锁定骨骼关键点，对应每一帧兴趣域图片在各个区域中锁定一个或数个与姿态估计相关的骨骼节点坐标；
S6、条件判断，设定对应不同姿态估计的动作识别判断条件及阀值，比较前后帧各骨骼节点坐标的变化趋势；
S7、输出姿态及检测结果，根据骨骼节点坐标变化与判断条件及阀值的对应关系识别姿态，并对应输出热倾向性和热舒适等级。
2.根据权利要求1所述基于姿态估计的非侵入式人体热舒适检测方法，其特征在于：步骤S1中与人体热舒适相关的姿态包括：对应第一热舒适等级的擦汗、手扇风，对应第二热舒适等级的抖动胸前T恤、挠头，对应第三热舒适等级的卷袖子，对应第四热舒适等级的行走，对应第五热舒适等级的缩肩，对应第六热舒适等级的抱臂、腿交叉、手放脖子，以及对应第七热舒适等级的手哈气、跺脚。
3.根据权利要求1所述基于姿态估计的非侵入式人体热舒适检测方法，其特征在于：步骤S2中所述图像数据为30帧/秒的连续帧，且预处理过程为逐帧抽取含有人体姿态的图片、去除图片噪声并增强，依据人体所在区域输出兴趣域图片。
4.根据权利要求1所述基于姿态估计的非侵入式人体热舒适检测方法，其特征在于：步骤S3中通过调用OpenPose平台或骨骼捕获算法，对输入的每一帧兴趣域图片直接获得全身骨骼节点的坐标和置信值，输出一个i（x，y，ε）的参量，其中全身骨骼节点包括鼻子、脖子、右肩膀、右肘部、右手腕、左肩膀、左肘部、左手腕、右臀部、右膝盖、右脚踝、左臀部、左膝盖、左脚踝、右眼睛、左眼睛、右耳朵、左耳朵，按0~17顺序编号，且对图片背景编号18，i表示骨骼节点及其对应的编号，x和y分别表示各个骨骼节点在兴趣域图片坐标系中的坐标值，ε表示置信值且设定0.5为筛选阀值，采纳ε≥0.5的n帧兴趣域图片并舍弃ε＜0.5的兴趣域图片。
5.根据权利要求1所述基于姿态估计的非侵入式人体热舒适检测方法，其特征在于：依据所定义的姿态估计的动作识别要求，步骤S4面域锁定中所述区域包括额头，头顶，头左侧，头右侧，脸部左侧与胸部以上的交叉区域，脸部右侧和胸部以上的交叉区域，脖子及其与手腕之间的区域，胸腹部区域，肩膀、肘部及其与手腕之间的区域，臀部、膝盖及其与脚踝之间的区域。
6.根据权利要求1所述基于姿态估计的非侵入式人体热舒适检测方法，其特征在于：基于步骤S1所定义的若干个姿态，每个姿态对应的动作与全身骨骼节点中的一部分关联匹配，步骤S5点域锁定其中一个特定姿态所关联的一部分骨骼节点坐标。
7.根据权利要求1所述基于姿态估计的非侵入式人体热舒适检测方法，其特征在于：步骤S6中所述判断条件包括涉及姿态估计的一个以上骨骼关键点发生位移变化的集中区域、相对距离、频次、前后帧区间内距离变化幅度中的一个或数个组合；所述阀值为训练测试后的经验值，分别包括关联相对距离阀值和频次阀值。
8.根据权利要求1所述基于姿态估计的非侵入式人体热舒适检测方法，其特征在于：还包括姿态检测验证步骤S8，受试者根据步骤S1所定义的姿态面向计算机视觉装置随机做出动作，并验证所输出的热倾向性和热舒适等级与姿态的相符性。
9.一种基于姿态估计的非侵入式人体热舒适检测系统，由计算机和预定义若干个与人体热舒适相关的姿态实现，其特征在于包括：
视频采集和预处理单元，计算机视觉装置面向受试者拍摄采集图像数据，并用于在处理器中预处理输出兴趣域图片；
生成基本参量矩阵单元，用于处理器对输入的每一帧兴趣域图片捕获全身骨骼节点的坐标，并根据置信值逐帧筛选；
检索区域单元，用于处理器依据所定义的姿态估计的动作识别要求，对筛选所得的兴趣域图片逐一搜索并划定检测部位相关的若干个区域，划定区域的根据为基本参量矩阵中骨骼节点的坐标；
锁定骨骼关键点单元，用于处理器对应每一帧兴趣域图片在各个区域中锁定一个或数个与姿态估计相关的骨骼节点坐标；
条件判断单元，用于处理器设定对应不同姿态估计的动作识别判断条件及阀值，比较前后帧各骨骼节点坐标的变化趋势；
输出姿态及检测结果单元，用于处理器根据骨骼节点坐标变化与判断条件及阀值的对应关系识别姿态，并对应输出检测人体的热倾向性和热舒适等级。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910160062.1A CN109948472A (zh) | 2019-03-04 | 2019-03-04 | 一种基于姿态估计的非侵入式人体热舒适检测方法及系统 |
| PCT/CN2020/073690 WO2020177498A1 (zh) | 2019-03-04 | 2020-01-22 | 一种基于姿态估计的非侵入式人体热舒适检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910160062.1A CN109948472A (zh) | 2019-03-04 | 2019-03-04 | 一种基于姿态估计的非侵入式人体热舒适检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109948472A true CN109948472A (zh) | 2019-06-28 |
Family
ID=67007838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910160062.1A Pending CN109948472A (zh) | 2019-03-04 | 2019-03-04 | 一种基于姿态估计的非侵入式人体热舒适检测方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109948472A (zh) |
| WO (1) | WO2020177498A1 (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659594A (zh) * | 2019-09-09 | 2020-01-07 | 南京邮电大学 | 一种基于AlphaPose的热舒适姿态估计方法 |
| CN111008583A (zh) * | 2019-11-28 | 2020-04-14 | 清华大学 | 一种利用肢体特征辅助的行人和骑车人姿态估计方法 |
| CN111640197A (zh) * | 2020-06-09 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种增强现实ar特效控制方法、装置及设备 |
| WO2020177498A1 (zh) * | 2019-03-04 | 2020-09-10 | 南京邮电大学 | 一种基于姿态估计的非侵入式人体热舒适检测方法及系统 |
| CN112303861A (zh) * | 2020-09-28 | 2021-02-02 | 山东师范大学 | 一种基于人体热适应性行为的空调温度调节方法及系统 |
| CN112666837A (zh) * | 2020-11-13 | 2021-04-16 | 广州大学 | 一种基于群体自适应行为识别的室内环境监控系统及方法 |
| CN112815490A (zh) * | 2020-12-31 | 2021-05-18 | 南京邮电大学 | 一种睡眠热舒适度感知方法及系统和空调控制方法 |
| CN114170561A (zh) * | 2022-02-14 | 2022-03-11 | 盈嘉互联（北京）科技有限公司 | 一种应用于智能建筑的机器视觉行为意图预测方法 |
| CN114974506A (zh) * | 2022-05-17 | 2022-08-30 | 重庆大学 | 人体姿态数据处理方法及系统 |
| CN117346285A (zh) * | 2023-12-04 | 2024-01-05 | 南京邮电大学 | 一种室内暖通控制方法、系统及介质 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112631135B (zh) * | 2020-11-30 | 2023-08-29 | 西安建筑科技大学 | 基于计算机视觉监测的个体热舒适控制系统及控制方法 |
| CN114783045A (zh) * | 2021-01-06 | 2022-07-22 | 北京航空航天大学 | 基于虚拟现实的动作训练检测方法、装置、设备及介质 |
| CN112818796B (zh) * | 2021-01-26 | 2023-10-24 | 厦门大学 | 一种适用在线监考场景下的智能姿态判别方法和存储设备 |
| CN112966571B (zh) * | 2021-02-09 | 2022-07-12 | 安徽一视科技有限公司 | 一种基于机器视觉的立定跳远腾空高度量测方法 |
| CN112966597A (zh) * | 2021-03-04 | 2021-06-15 | 山东云缦智能科技有限公司 | 一种基于骨骼关键点的人体运动动作计数方法 |
| CN113100755B (zh) * | 2021-03-26 | 2023-01-24 | 河北工业大学 | 一种基于视觉追踪控制的肢体康复训练与评估系统 |
| CN113379932B (zh) * | 2021-06-28 | 2024-01-09 | 北京百度网讯科技有限公司 | 人体三维模型的生成方法和装置 |
| CN114372996B (zh) * | 2021-12-02 | 2024-06-21 | 北京航空航天大学 | 一种面向室内场景的行人轨迹生成方法 |
| CN114724078B (zh) * | 2022-03-28 | 2023-06-23 | 西南交通大学 | 基于目标检测网络与知识推理的人员行为意图识别方法 |
| CN115083015B (zh) * | 2022-06-09 | 2024-04-16 | 广州紫为云科技有限公司 | 一种3d人体姿态估计数据标注方式和对应的模型构建方法 |
| CN116052273B (zh) * | 2023-01-06 | 2024-03-08 | 北京体提科技有限公司 | 一种基于体态鱼骨线的动作比对方法及装置 |
| CN116959120B (zh) * | 2023-09-15 | 2023-12-01 | 中南民族大学 | 一种基于手部关节的人手姿态估计方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022213A (zh) * | 2016-05-04 | 2016-10-12 | 北方工业大学 | 一种基于三维骨骼信息的人体动作识别方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5820366B2 (ja) * | 2010-10-08 | 2015-11-24 | パナソニック株式会社 | 姿勢推定装置及び姿勢推定方法 |
| CN108253605B (zh) * | 2018-01-20 | 2020-11-06 | 胡秀琴 | 一种瑜伽室空调及其控制方法 |
| CN108549844B (zh) * | 2018-03-22 | 2021-10-26 | 华侨大学 | 一种基于分形网络和关节亲属模式的多人姿态估计方法 |
| CN109948472A (zh) * | 2019-03-04 | 2019-06-28 | 南京邮电大学 | 一种基于姿态估计的非侵入式人体热舒适检测方法及系统 |
-
2019
- 2019-03-04 CN CN201910160062.1A patent/CN109948472A/zh active Pending
-
2020
- 2020-01-22 WO PCT/CN2020/073690 patent/WO2020177498A1/zh active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022213A (zh) * | 2016-05-04 | 2016-10-12 | 北方工业大学 | 一种基于三维骨骼信息的人体动作识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| BIN YANG等: "Macro pose based non-invasive thermal comfort perception for energy efficiency", 《ARXIV》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020177498A1 (zh) * | 2019-03-04 | 2020-09-10 | 南京邮电大学 | 一种基于姿态估计的非侵入式人体热舒适检测方法及系统 |
| CN110659594B (zh) * | 2019-09-09 | 2022-08-30 | 南京邮电大学 | 一种基于AlphaPose的热舒适姿态估计方法 |
| CN110659594A (zh) * | 2019-09-09 | 2020-01-07 | 南京邮电大学 | 一种基于AlphaPose的热舒适姿态估计方法 |
| CN111008583A (zh) * | 2019-11-28 | 2020-04-14 | 清华大学 | 一种利用肢体特征辅助的行人和骑车人姿态估计方法 |
| CN111640197A (zh) * | 2020-06-09 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种增强现实ar特效控制方法、装置及设备 |
| CN112303861A (zh) * | 2020-09-28 | 2021-02-02 | 山东师范大学 | 一种基于人体热适应性行为的空调温度调节方法及系统 |
| CN112666837A (zh) * | 2020-11-13 | 2021-04-16 | 广州大学 | 一种基于群体自适应行为识别的室内环境监控系统及方法 |
| CN112815490A (zh) * | 2020-12-31 | 2021-05-18 | 南京邮电大学 | 一种睡眠热舒适度感知方法及系统和空调控制方法 |
| CN114170561A (zh) * | 2022-02-14 | 2022-03-11 | 盈嘉互联（北京）科技有限公司 | 一种应用于智能建筑的机器视觉行为意图预测方法 |
| CN114170561B (zh) * | 2022-02-14 | 2022-05-06 | 盈嘉互联（北京）科技有限公司 | 一种应用于智能建筑的机器视觉行为意图预测方法 |
| CN114974506A (zh) * | 2022-05-17 | 2022-08-30 | 重庆大学 | 人体姿态数据处理方法及系统 |
| CN114974506B (zh) * | 2022-05-17 | 2024-05-03 | 重庆大学 | 人体姿态数据处理方法及系统 |
| CN117346285A (zh) * | 2023-12-04 | 2024-01-05 | 南京邮电大学 | 一种室内暖通控制方法、系统及介质 |
| CN117346285B (zh) * | 2023-12-04 | 2024-03-26 | 南京邮电大学 | 一种室内暖通控制方法、系统及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020177498A1 (zh) | 2020-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109948472A (zh) | 一种基于姿态估计的非侵入式人体热舒适检测方法及系统 | |
| WO2019169864A1 (zh) | 一种基于Wi-Fi中CSI信号的人体动作与呼吸的检测方法和系统 | |
| CN110532887A (zh) | 一种基于面部特征融合的疲劳驾驶检测方法及系统 | |
| CN112069933A (zh) | 基于体态识别和人体生物力学的骨骼肌肉受力估计方法 | |
| CN110110629A (zh) | 面向室内环境控制的人员信息检测方法与系统 | |
| CN112036299A (zh) | 标准考场环境下的考试作弊行为检测方法及系统 | |
| CN114067358A (zh) | 一种基于关键点检测技术的人体姿态识别方法及系统 | |
| CN112303861A (zh) | 一种基于人体热适应性行为的空调温度调节方法及系统 | |
| CN113856186B (zh) | 一种引体向上动作判定与计数的方法、系统及装置 | |
| CN113663312A (zh) | 一种基于微惯性的无器械健身动作质量评估方法 | |
| US20230237694A1 (en) | Method and system for detecting children's sitting posture based on face recognition of children | |
| CN106529377A (zh) | 一种基于图像的年龄估计方法、装置及系统 | |
| Li et al. | Non-invasive thermal sensation recognition based on human behavior postures in office environment | |
| Almasi et al. | Human action recognition through the first-person point of view, case study two basic task | |
| Tsai et al. | Enhancing accuracy of human action Recognition System using Skeleton Point correction method | |
| Zhen et al. | Human gait recognition based on deterministic learning and Kinect sensor | |
| CN116311497A (zh) | 一种基于机器视觉的隧道工人异常行为检测方法及系统 | |
| RU2750419C1 (ru) | Система и способ идентификации экипировки на человеке | |
| Fan et al. | Real-time machine learning-based recognition of human thermal comfort-related activities using inertial measurement unit data | |
| CN107692984A (zh) | 一种疲劳检测方法及装置 | |
| CN110659594B (zh) | 一种基于AlphaPose的热舒适姿态估计方法 | |
| CN110222608A (zh) | 一种自助体检机视力检测智能化处理方法 | |
| Razzaq et al. | Unskem: unobtrusive skeletal-based emotion recognition for user experience | |
| Xu et al. | Action-based personalized dynamic thermal demand prediction with video cameras | |
| CN111912531A (zh) | 基于智能热成像视频分析的动态人体躯干温度分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190628 |
|
| RJ01 | Rejection of invention patent application after publication |