CN114533040A - 一种固定空间内人员特定活跃度的监测方法 - Google Patents

一种固定空间内人员特定活跃度的监测方法 Download PDF

Info

Publication number
CN114533040A
CN114533040A CN202210029970.9A CN202210029970A CN114533040A CN 114533040 A CN114533040 A CN 114533040A CN 202210029970 A CN202210029970 A CN 202210029970A CN 114533040 A CN114533040 A CN 114533040A
Authority
CN
China
Prior art keywords
target person
image
target
specific activity
fixed space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210029970.9A
Other languages
English (en)
Other versions
CN114533040B (zh
Inventor
高峰利
王怀喜
龚幼平
李绍�
林锥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingyi Instrument & Meter General Research Institute Co ltd
Original Assignee
Beijing Jingyi Instrument & Meter General Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingyi Instrument & Meter General Research Institute Co ltd filed Critical Beijing Jingyi Instrument & Meter General Research Institute Co ltd
Priority to CN202210029970.9A priority Critical patent/CN114533040B/zh
Publication of CN114533040A publication Critical patent/CN114533040A/zh
Application granted granted Critical
Publication of CN114533040B publication Critical patent/CN114533040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

本发明涉及一种固定空间内人员特定活跃度的监测方法，包括以下步骤：步骤1、采集目标人员的红外热成像视频；步骤2、采用目标检测算法在红外热成像图像上定位目标人员，并计算其图像移动速度；步骤3、从目标检测算法检测到的目标人员区域图像上读取最高温度；步骤4、根据目标人员的图像移动速度与最高温度值得到目标人员的活跃度。本发明得到的目标人员活跃度的检测结果可被用于人员行为模式识别，实现老人呆坐、儿童剧烈奔跑、室内打斗等高阶监测功能。活跃度计算方法中包含了人体温度数据，使得目标人员原地运动等行为也能被有效识别，并能与静坐进行区分。

Description

一种固定空间内人员特定活跃度的监测方法
技术领域
本发明涉及一种固定空间内人员特定活跃度的监测方法。
背景技术
随着人工智能、物联网等技术的蓬勃发展，在家居领域催生出了智能化的新趋势。一方面具有无线联网和信息交互能力的设备开始进入家居环境，提供了智能化的硬件基础，显著增强了人们对生活、工作环境的调控能力；另一方面，基于智能硬件和人工智能等新技术，对于人员行为状态分析等传统计算机技术难以实现的高阶功能需求应运而生。以老人呆坐、儿童剧烈奔跑为例，这些行为具有一定的潜在危险性，需要在家居环境中做好预防消除。这些人员行为是由行人位置、行人轨迹等多种基础状态组成的高阶状态，难以采用单一的传统计算机技术实现检测。此外，如何从计算机视觉的角度去定义人员行为也非常困难，这也导致了难以准确工程化智能家居领域的这些新需求。鉴于此，为应对智能家居化的新趋势，亟需提出一种合理的人员行为状态评价指标，并能提供切实可行的实现方法。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种固定空间内人员特定活跃度的监测方法，通过红外热成像技术获取人员目标在固定空间内的视频数据，利用深度学习方法实时计算目标人员的图像移动速度，并同步获取目标人员的身体最高温度，最后结合图像移动速度和最高温度计算活跃度指标。
为达到以上目的，本发明采取的技术方案是：
一种固定空间内人员特定活跃度的监测方法，包括以下步骤：
步骤1、采集目标人员的红外热成像视频；
步骤2、采用目标检测算法在红外热成像图像上定位目标人员，并计算目标人员的图像移动速度；
步骤3、从目标检测算法检测到的目标人员区域图像上读取最高温度；
步骤4、根据目标人员的图像移动速度与最高温度值得到目标人员的活跃度。
步骤1中，采用红外热成像摄像头采集目标人员的红外视频，红外热成像摄像头布置在高处，采取由高往低的方式拍摄目标人员的行为。
步骤2中，所述目标检测算法为YOLO深度学习目标检测算法或EfficientDet深度学习目标检测算法。
步骤2中，目标人员的图像移动速度为：
Figure BDA0003466042810000021
其中，vinner为图像视场面内速度，vouter为图像视场面外速度。
图像视场面内速度按照下式计算，
Figure BDA0003466042810000022
其中Δs为目标人员中心点的图像位移量，Δt为对应的时间。
图像视场面外速度按照下式计算，
Figure BDA0003466042810000031
其中，x为目标人员与摄像头的物理空间距离，C为空间距离与像素坐标之间的比例值，可以通过标定的方法获得该值，ΔA为目标人员在视频图像中的像素面积的变化量。当目标人员与摄像头之间的距离较大时，可以近似认为x为常数，此时有：
Figure BDA0003466042810000032
其中，C′为需要标定的常数。
步骤3中，从目标检测算法检测到的目标人员区域图像上直接读取最高温度值Tmax，ΔT为目标人员体温的变化量，按照下式进行计算：
Figure BDA0003466042810000033
其中，T0为由红外热成像图像读取的目标人员日常最高温度的平均值，预设为36.5℃，并根据实际情况进行调整。
步骤4中，目标人员的活跃度为：
E＝B·v2+ΔT
其中，B为目标人员的图像移动速度与体温变化量之间的转化因子，可以通过标定的方式给出。
本发明的有益效果：
a、目标人员活跃度的检测结果可被用于人员行为模式识别，实现老人呆坐、儿童剧烈奔跑、室内打斗等高阶监测功能。
b、活跃度计算方法中包含了人体温度数据，使得目标人员原地运动等行为也能被有效识别，并能与静坐进行区分。
c、本发明能够实现普通2D相机难以实现的面外运动检测。
附图说明
本发明有如下附图：
图1整体技术框架示意图。
图2目标人员的红外热成像图像示意图。
图3目标人员的活跃度时序图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
整体技术框架如图1所示，其中红外热成像摄像头需要布置在较高的位置，采取由高往低的方式拍摄目标人员的行为，尽量避免目标人员正对摄像头的移动方式；采用当前主流的目标检测算法在红外视频图像上定位目标人员，并计算其图像移动速度；从目标检测算法检测到的目标人员区域图像上读取目标人员的最高温度值；最后根据目标人员的图像移动速度的平方与最高温度值得到目标人员活跃度的评价指标。
目标人员图像移动速度检测方法：
图像移动速度可以分解为相对摄像头的面内和面外两个分量，对于2D摄像头，能够直接检测目标人员的面内位移或速度，对于面外速度则需要通过目标人员在视频图像上所占据的像素面积的变化率来间接计算。具体地，应用YOLO、EfficientDet等当前性能较好的深度学习目标检测算法，在红外热成像视频图像中检测目标人员的位置，得到如图2所示的检测结果，其中虚线框即为目标人员的位置。目标人员的图像视场面内速度按照下式计算，
Figure BDA0003466042810000051
其中Δs为目标人员中心点的图像位移量，Δt为对应的时间。
图像视场面外速度按照下式计算，
Figure BDA0003466042810000052
其中，x为目标人员与摄像头的物理空间距离，C为空间距离与像素坐标之间的比例值，可以通过标定的方法获得该值，ΔA为目标人员在视频图像中的像素面积的变化量。当目标人员与摄像头之间的距离较大时，可以近似认为x为常数，此时有：
Figure BDA0003466042810000053
其中，C′为需要标定的常数。
目标人员总的图像移动速度为：
Figure BDA0003466042810000054
特别地，当目标人员仅存在面内移动时，vouter→0此时有
v＝vinner
即目标人员仅具有相对摄像头视场的面内运动。
目标人员最高体温检测方法：
由深度学习目标检测算法得到如图2所示的检测结果，图中虚线框对应目标人员在视频图像中的位置，从该区域中可直接读取目标人员的最高温度值Tmax。
目标人员在固定空间内具有移动和原位运动两种行为，前述目标人员的图像移动速度v可以描述第一种行为，前述目标人员的最高温度值Tmax同时与这两种行为关联，此处定义目标人员的活跃度为：
E＝B·v2+ΔT
其中，B为目标人员图像移动速度与体温变化量之间的转化因子，可以通过标定的方式给出，ΔT为目标人员体温的变化量，按照下式进行计算，
Figure BDA0003466042810000061
其中，T0为由红外热成像图像读取的目标人员日常最高温度的平均值，预设为36.5℃，并应根据实际情况进行调整。
最后可以将目标人员的活跃度随时间的变化绘制成如图3所示的时序图。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的实质和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的保护范围。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (8)

1.一种固定空间内人员特定活跃度的监测方法，其特征在于，包括如下步骤：
步骤1、采集目标人员的红外热成像视频；
步骤2、采用目标检测算法在红外热成像图像上定位目标人员，并计算目标人员的图像移动速度；
步骤3、从目标检测算法检测到的目标人员区域图像上读取最高温度；
步骤4、根据目标人员的图像移动速度与最高温度值得到目标人员的活跃度。
2.如权利要求1所述的固定空间内人员特定活跃度的监测方法，其特征在于：步骤1中，采用红外热成像摄像头采集目标人员的红外视频，红外热成像摄像头布置在高处，采取由高往低的方式拍摄目标人员的行为。
3.如权利要求1所述的固定空间内人员特定活跃度的监测方法，其特征在于：步骤2中，所述目标检测算法为YOLO深度学习目标检测算法或EfficientDet深度学习目标检测算法。
4.如权利要求1所述的固定空间内人员特定活跃度的监测方法，其特征在于：步骤2中，目标人员的图像移动速度为：
Figure FDA0003466042800000011
其中，vinner为图像视场面内速度，vouter为图像视场面外速度。
5.如权利要求4所述的固定空间内人员特定活跃度的监测方法，其特征在于：图像视场面内速度按照下式计算，
Figure FDA0003466042800000021
其中Δs为目标人员中心点的图像位移量，Δt为对应的时间。
6.如权利要求4所述的固定空间内人员特定活跃度的监测方法，其特征在于：图像视场面外速度按照下式计算，
Figure FDA0003466042800000022
其中，x为目标人员与摄像头的物理空间距离，C为空间距离与像素坐标之间的比例值，通过标定的方法获得；ΔA为目标人员在视频图像中的像素面积的变化量；当目标人员与摄像头之间的距离较大时，近似认为x为常数，此时有：
Figure FDA0003466042800000023
其中，C′为需要标定的常数。
7.如权利要求4所述的固定空间内人员特定活跃度的监测方法，其特征在于：步骤3中，从目标检测算法检测到的目标人员区域图像上直接读取最高温度值Tmax，ΔT为目标人员体温的变化量，按照下式进行计算：
Figure FDA0003466042800000024
其中，T0为由红外热成像图像读取的目标人员日常最高温度的平均值，预设为36.5℃，并根据实际情况进行调整。
8.如权利要求7所述的固定空间内人员特定活跃度的监测方法，其特征在于：步骤4中，目标人员的活跃度为：
E＝B·v2+ΔT
其中，B为目标人员的图像移动速度与体温变化量之间的转化因子，通过标定的方式给出。
CN202210029970.9A 2022-01-12 2022-01-12 一种固定空间内人员特定活跃度的监测方法 Active CN114533040B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210029970.9A CN114533040B (zh) 2022-01-12 2022-01-12 一种固定空间内人员特定活跃度的监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210029970.9A CN114533040B (zh) 2022-01-12 2022-01-12 一种固定空间内人员特定活跃度的监测方法

Publications (2)

Publication Number Publication Date
CN114533040A true CN114533040A (zh) 2022-05-27
CN114533040B CN114533040B (zh) 2024-04-09

Family

ID=81671229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210029970.9A Active CN114533040B (zh) 2022-01-12 2022-01-12 一种固定空间内人员特定活跃度的监测方法

Country Status (1)

Country Link
CN (1) CN114533040B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322153A (ja) * 1996-05-31 1997-12-12 Matsushita Electric Ind Co Ltd 自動監視装置
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US20120237086A1 (en) * 2009-12-03 2012-09-20 National Institute Of Advanced Industrial Science And Technology Moving body positioning device
US20130322697A1 (en) * 2012-05-31 2013-12-05 Hexagon Technology Center Gmbh Speed Calculation of a Moving Object based on Image Data
CN104050684A (zh) * 2014-05-27 2014-09-17 华中科技大学 一种基于在线训练的视频运动目标分类方法与系统
CN107341473A (zh) * 2017-07-04 2017-11-10 深圳市利众信息科技有限公司 手掌特征识别方法、手掌特征识别设备、及存储介质
CN107647854A (zh) * 2017-10-19 2018-02-02 宋彦震 基于物联网的人体信息采集终端
CN108710822A (zh) * 2018-04-04 2018-10-26 燕山大学 一种基于红外阵列传感器的人员跌倒检测系统
CN111144174A (zh) * 2018-11-02 2020-05-12 浙江树人学院 利用神经网络与传统算法识别视频中老人跌倒行为的系统
CN111263953A (zh) * 2017-10-27 2020-06-09 株式会社爱世克私 动作状态评估系统、动作状态评估装置、动作状态评估服务器、动作状态评估方法以及动作状态评估程序
CN112630729A (zh) * 2020-12-11 2021-04-09 杭州博镨科技有限公司 一种基于热电堆传感器定位和跟踪室内人类目标的方法
KR102310613B1 (ko) * 2021-05-14 2021-10-12 주식회사 인피닉 연속된 2d 이미지에서 객체 추적 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN113657201A (zh) * 2021-07-28 2021-11-16 南京盛航海运股份有限公司 船员行为监测分析方法、装置、设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322153A (ja) * 1996-05-31 1997-12-12 Matsushita Electric Ind Co Ltd 自動監視装置
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US20120237086A1 (en) * 2009-12-03 2012-09-20 National Institute Of Advanced Industrial Science And Technology Moving body positioning device
US20130322697A1 (en) * 2012-05-31 2013-12-05 Hexagon Technology Center Gmbh Speed Calculation of a Moving Object based on Image Data
CN104050684A (zh) * 2014-05-27 2014-09-17 华中科技大学 一种基于在线训练的视频运动目标分类方法与系统
CN107341473A (zh) * 2017-07-04 2017-11-10 深圳市利众信息科技有限公司 手掌特征识别方法、手掌特征识别设备、及存储介质
CN107647854A (zh) * 2017-10-19 2018-02-02 宋彦震 基于物联网的人体信息采集终端
CN111263953A (zh) * 2017-10-27 2020-06-09 株式会社爱世克私 动作状态评估系统、动作状态评估装置、动作状态评估服务器、动作状态评估方法以及动作状态评估程序
CN108710822A (zh) * 2018-04-04 2018-10-26 燕山大学 一种基于红外阵列传感器的人员跌倒检测系统
CN111144174A (zh) * 2018-11-02 2020-05-12 浙江树人学院 利用神经网络与传统算法识别视频中老人跌倒行为的系统
CN112630729A (zh) * 2020-12-11 2021-04-09 杭州博镨科技有限公司 一种基于热电堆传感器定位和跟踪室内人类目标的方法
KR102310613B1 (ko) * 2021-05-14 2021-10-12 주식회사 인피닉 연속된 2d 이미지에서 객체 추적 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN113657201A (zh) * 2021-07-28 2021-11-16 南京盛航海运股份有限公司 船员行为监测分析方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114533040B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN109949375B (zh) 一种基于深度图感兴趣区域的移动机器人目标跟踪方法
US11017901B2 (en) Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy
Chen et al. Unobtrusive sensor-based occupancy facing direction detection and tracking using advanced machine learning algorithms
Zhu et al. Motion-and location-based online human daily activity recognition
CN103870843B (zh) 基于多特征点集活动形状模型的头部姿态估计方法
Kaholokula Reusing ambient light to recognize hand gestures
Zhuang et al. Design of human activity recognition algorithms based on a single wearable IMU sensor
CN111089604B (zh) 基于可穿戴传感器的健身运动识别方法
CN110348371B (zh) 人体三维动作自动提取方法
Geng Research on athlete’s action recognition based on acceleration sensor and deep learning
CN110287829A (zh) 一种结合深度q学习和注意模型的视频人脸识别方法
Sheeba et al. Hybrid features-enabled dragon deep belief neural network for activity recognition
Zhu et al. Realtime human daily activity recognition through fusion of motion and location data
CN112131991B (zh) 一种基于事件相机的数据关联方法
CN114533040A (zh) 一种固定空间内人员特定活跃度的监测方法
CN111281403B (zh) 一种基于嵌入式设备的细粒度人体疲劳检测方法及设备
CN110659594B (zh) 一种基于AlphaPose的热舒适姿态估计方法
Elloumi et al. Unsupervised discovery of human activities from long‐time videos
Voigt et al. Feasibility of human activity recognition using wearable depth cameras
Gu et al. Task oriented facial behavior recognition with selective sensing
Jiao et al. SUPREYES: SUPer Resolutin for EYES Using Implicit Neural Representation Learning
Chen et al. Full-body human motion reconstruction with sparse joint tracking using flexible sensors
Sun et al. Method of analyzing and managing volleyball action by using action sensor of mobile device
Zhu Hand gesture and activity recognition in assisted living through wearable sensing and computing
KR102233157B1 (ko) 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant