CN113256938A - 一种基于光谱相机的摔倒监测警报方案 - Google Patents
一种基于光谱相机的摔倒监测警报方案 Download PDFInfo
- Publication number
- CN113256938A CN113256938A CN202110596886.0A CN202110596886A CN113256938A CN 113256938 A CN113256938 A CN 113256938A CN 202110596886 A CN202110596886 A CN 202110596886A CN 113256938 A CN113256938 A CN 113256938A
- Authority
- CN
- China
- Prior art keywords
- camera
- human body
- spectral
- information
- monitoring alarm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 18
- 238000012544 monitoring process Methods 0.000 title claims abstract description 15
- 230000003595 spectral effect Effects 0.000 claims abstract description 29
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims abstract description 13
- 239000008280 blood Substances 0.000 claims abstract description 13
- 210000004369 blood Anatomy 0.000 claims abstract description 13
- 229910052760 oxygen Inorganic materials 0.000 claims abstract description 13
- 239000001301 oxygen Substances 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 5
- 208000009144 Pure autonomic failure Diseases 0.000 claims description 4
- 239000013312 porous aromatic framework Substances 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000003416 augmentation Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000000474 nursing effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
Landscapes
- Health & Medical Sciences (AREA)
- Emergency Management (AREA)
- General Health & Medical Sciences (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Engineering & Computer Science (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开一种基于光谱相机的摔倒监测警报方案，包括相机模块和软件分析模块,其中相机模块包括一个或者多个相机，并且至少一个相机是有光谱分辨能力的光谱相机，主要用于实时采集被检测人的视频信息及血氧与心率等；软件分析模块主要对采集到的二维图像进行关键点定位，并通过人体位姿关键点的变化以及心率与血氧等的变化来判断目标人员是否发生了摔倒等危险状况。
Description
技术领域
本发明涉及辅助医疗领域，特别是涉及一种基于光谱相机的摔倒监测警报方案。
背景技术
在当今社会老龄化问题日益严重的情况下，老年人以及残障人士的照顾工作渐渐成为了一项重大的社会问题和家庭负担，因此如果在这个方面实现自动化将会给社会带来巨大的经济效益，解放人多的人力资源；以老年人为例，在多数情况下老年人并不需要护理人员实时陪伴，但是如果护理人员不在往往又难以及时处理很多诸如摔倒等突发情况，因此需要一种对该类危险状况实时监测的方案来辅助护理人员进行高效率工作；
本发明公布了一种基于1个或多个相机的摔倒监测警报方案，其中至少一个相机是有光谱分辨能力的光谱相机；通过一个相机对目标人员二维图像信息进行采集，对采集到的视频流进行人体关键点的识别，并通过相应的算法判断这些关键点的位置是否发生突变，如果发生了突变，就用有光谱分辨能力的光谱相机对目标人员进行光谱信息的采集，通过其光谱信息的变化判断血氧浓度的变化，并从时间序的视频流中提取脉搏波信号，并得到心率，从而通过人体位姿关键点的变化以及心率与血氧等的变化来判断目标人员是否发生了摔倒等危险状况，增加判断的准确率和危险等级的判定；
具有效率高，可靠性高，操作简便等优点，非常适合医院、养老院以及普通家庭等有老年人或者残障人员生活的环境。
发明内容
1、 一种基于光谱相机的摔倒监测警报方案，其特征在于：相机模块和软件分析模块, 其中，相机模块包括一个或者多个相机，并且至少一个相机是有光谱分辨能力的光谱相机；
2、更进一步的实施方式：相机采集目标人员的二维视频信息，可以是普通RGB相机、普通黑白相机等通用相机的任意一种可以实时拍摄的二维相机，并将拍摄的视频信息传递给软件分析模块；普通黑白相机可简单改装成可定时在透镜与二维CMOS（或CCD）阵列中插入一个由条缝与光栅组成的光谱展开模块，以便需要时（如根据获得的人体位姿关键点信息判断出有很大概率跌倒时）获得如人脸某条线区域的光谱信息（通过条缝将空间该条线上的光谱展开在二维CMOS（或CCD）阵列上）；或者在普通黑白相机中加入可调滤波片然后通过算法获得空间每一点的光谱信息；在此情形下，这一台改装的黑白相机就够了，因为它同时也是光谱相机；
3、更进一步的实施方式：软件分析模块会对视频信息进行处理，提取出视频中人体位姿的关键点，具体算法可以用OpenPose人体关键点提取算法，步骤如下：
输入目标图像，经过卷积网络提取特征，通常将VGGNet前10层用于为输入图像创建特征映射，得到一组特征图，然后分成两个岔路，分别使用 CNN网络提取PartConfidence Maps 和 Part Affinity Fields；
得到这两个信息后，我们使用图论中的 Bipartite Matching（偶匹配） 求出PartAssociation，将同一个人的关节点连接起来，由于PAF自身的矢量性，使得生成的偶匹配很正确，最终合并为一个人的整体骨架；
最后基于PAFs求Multi-Person Parsing，把Multi-person parsing问题转换成graphs问题，通过寻找增广路径，实现二分图的最大匹配；
4、 更进一步的实施方式：软件处理模块在获得人体位姿的关键点信息后，对关键点位置的检测与监控，通过对关键点速度的计算来判断目标人员是否发生倾倒等危险状况，判断准则如下：设目标人员双肩的重点为A，腰部中点为B，连接AB就代表人体的整个位姿向量，设置危险系数为m，通过向量AB的角度变化是否超过m判断人体是否倾倒；
5、 更进一步的实施方式：可以通过光谱信息辅助判断来提高检测的准确率；人体倾倒往往伴随着心率的增加和血氧浓度的变化，通过光谱相机模块对人体表皮部分裸露区（如唇部或脸部）进行光谱信息的采集，判断人体的血氧浓度有无突变，并从时间序的视频流中提取脉搏波信号，并得到心率，从而通过人体位姿关键点的变化以及心率与血氧等的变化来判断目标人员是否发生了摔倒等危险状况，增加判断的准确率和危险等级的判定。
附图说明
图1是本发明专利中一种基于光谱相机的摔倒监测警报方案的实例的示意图，以一个二维相机和一个光谱相机为例对本发明原理及流程进行阐述；
其中1—目标人体，2—二维相机，3—光谱相机，4—软件分析模块。
具体实施方式
下面结合附图对本发明专利作进一步说明；
如图1所示，首先由二维相机2对目标人体1进行视频流的采集,以达到监控目标人体安全状况的目的，随后将采集到的视频数据传送给软件分析模块4，软件分析模块4通过OpenPose人体关键点提取算法提取出人体的若干个关键点坐标，并取双肩中点坐标为A,腰间中点坐标为B，连接AB即为目标向量；并设置危险阈值系数m，当AB在每秒钟的倾斜角度超过m时，打开光谱相机3，扫描并返回人体表皮部分裸露区（如唇部或脸部）的光谱信息获取血氧浓度，并从时间序的视频流中提取脉搏波信号，并得到心率，从而通过分析人体位姿关键点的变化以及心率与血氧等的变化是否正常，如果相比于正常值发生了突变，那么就判定为危险，发出警报；
本发明提出了基于光谱相机的摔倒监测警报方案，这其中二维相机可以是RGB三色相机，灰度相机等等的任何相机（例如RGBD相机、RGBY相机），人体关键点提取算法可以是任何相关的人体关键点提取算法（例如不同的特征提取网络等等），只要运用了视频流和人体关键点提取思想的任何方案均在本专利保护范围，光谱相机模块可以是任何光谱信息采集设备（如高光谱相机，多光谱相机等等），凡是运用到通过光谱测血氧浓度及心率变化的思想均在本专利保护范围之内。
Claims (5)
1.一种基于光谱相机的摔倒监测警报方案，其特征在于：相机模块和软件分析模块,其中，相机模块包括一个或者多个相机，并且至少一个相机是有光谱分辨能力的光谱相机。
2.根据权利要求1所述的一种基于光谱相机的摔倒监测警报方案，其特征在于：相机采集目标人员的二维视频信息，相机可以是普通RGB相机、普通黑白相机等通用相机的任意一种可以实时拍摄的二维相机，并将拍摄的视频信息传递给软件分析模块;普通黑白相机可简单改装成可定时在透镜与二维CMOS（或CCD）阵列中插入一个由条缝与光栅组成的光谱展开模块，以便需要时（如根据获得的人体位姿关键点信息判断出有很大概率跌倒时）获得如人脸某条线区域的光谱信息（通过条缝将空间该条线上的光谱展开在二维CMOS（或CCD）阵列上）；或者在普通黑白相机中加入可调滤波片然后通过算法获得空间每一点的光谱信息;在此情形下，这一台改装的黑白相机就够了，因为它同时也是光谱相机。
3.根据权利要求1所述的一种基于光谱相机的摔倒监测警报方案，其特征在于：软件分析模块会对视频信息进行处理，提取出视频中人体位姿的关键点，具体算法可以用OpenPose人体关键点提取算法，步骤如下：
输入目标图像，经过卷积网络提取特征，通常将VGGNet前10层用于为输入图像创建特征映射，得到一组特征图，然后分成两个岔路，分别使用 CNN网络提取Part ConfidenceMaps 和 Part Affinity Fields；得到这两个信息后，我们使用图论中的 BipartiteMatching（偶匹配） 求出Part Association，将同一个人的关节点连接起来，由于PAF自身的矢量性，使得生成的偶匹配很正确，最终合并为一个人的整体骨架；最后基于PAFs求Multi-Person Parsing，把Multi-person parsing问题转换成graphs问题，通过寻找增广路径，实现二分图的最大匹配。
4.根据权利要求1所述的一种基于光谱相机的摔倒监测警报方案，其特征在于：软件处理模块在获得人体位姿的关键点信息后，对关键点位置的检测与监控，通过对关键点速度的计算来判断目标人员是否发生倾倒等危险状况，判断准则如下：设目标人员双肩的重点为A，腰部中点为B，连接AB就代表人体的整个位姿向量，设置危险系数为m，通过向量AB的角度变化是否超过m判断人体是否倾倒。
5.根据权利要求1所述的一种基于光谱相机的摔倒监测警报方案，其特征在于：可以通过光谱信息辅助判断来提高检测的准确率;人体倾倒往往伴随着心率的增加和血氧浓度的变化，通过光谱相机对人体表皮部分裸露区（如唇部或脸部）进行光谱信息的采集，判断人体的血氧浓度有无突变，并从时间序的视频流中提取脉搏波信号，并得到心率，从而通过人体位姿关键点的变化以及心率与血氧等的变化来判断目标人员是否发生了摔倒等危险状况，增加判断的准确率和危险等级的判定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110596886.0A CN113256938A (zh) | 2021-05-31 | 2021-05-31 | 一种基于光谱相机的摔倒监测警报方案 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110596886.0A CN113256938A (zh) | 2021-05-31 | 2021-05-31 | 一种基于光谱相机的摔倒监测警报方案 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113256938A true CN113256938A (zh) | 2021-08-13 |
Family
ID=77183512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110596886.0A Pending CN113256938A (zh) | 2021-05-31 | 2021-05-31 | 一种基于光谱相机的摔倒监测警报方案 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113256938A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109218667A (zh) * | 2018-09-08 | 2019-01-15 | 合刃科技（武汉）有限公司 | 一种用公共场所安全预警系统和方法 |
| CN109431518A (zh) * | 2018-12-20 | 2019-03-08 | 佛山科学技术学院 | 一种基于oct技术测量血氧饱和度的系统及方法 |
| CN109444052A (zh) * | 2018-10-29 | 2019-03-08 | 合刃科技（武汉）有限公司 | 高光谱成像装置、成像系统及监控方法 |
| CN111460908A (zh) * | 2020-03-05 | 2020-07-28 | 中国地质大学（武汉） | 一种基于OpenPose的人体摔倒识别方法及系统 |
| CN111783702A (zh) * | 2020-07-20 | 2020-10-16 | 杭州叙简科技股份有限公司 | 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法 |
| WO2021055327A1 (en) * | 2019-09-16 | 2021-03-25 | NewSight Reality, Inc. | Augmented reality or mixed reality system for eyewear |
-
2021
- 2021-05-31 CN CN202110596886.0A patent/CN113256938A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109218667A (zh) * | 2018-09-08 | 2019-01-15 | 合刃科技（武汉）有限公司 | 一种用公共场所安全预警系统和方法 |
| CN109444052A (zh) * | 2018-10-29 | 2019-03-08 | 合刃科技（武汉）有限公司 | 高光谱成像装置、成像系统及监控方法 |
| CN109431518A (zh) * | 2018-12-20 | 2019-03-08 | 佛山科学技术学院 | 一种基于oct技术测量血氧饱和度的系统及方法 |
| WO2021055327A1 (en) * | 2019-09-16 | 2021-03-25 | NewSight Reality, Inc. | Augmented reality or mixed reality system for eyewear |
| CN111460908A (zh) * | 2020-03-05 | 2020-07-28 | 中国地质大学（武汉） | 一种基于OpenPose的人体摔倒识别方法及系统 |
| CN111783702A (zh) * | 2020-07-20 | 2020-10-16 | 杭州叙简科技股份有限公司 | 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101729327B1 (ko) | 듀얼 카메라를 이용한 체온 추적 모니터링 시스템 | |
| CN110477925B (zh) | 一种针对敬老院老人的跌倒检测与预警方法及系统 | |
| KR101806400B1 (ko) | 흑체를 이용한 듀얼 카메라 기반 체온 감시 시스템 | |
| KR100506085B1 (ko) | 혀영상 처리장치 및 혀영상을 이용한 건강 모니터링장치 | |
| Chen et al. | Fall detection system based on real-time pose estimation and SVM | |
| CN108629946A (zh) | 一种基于rgbd传感器的人体跌倒检测方法 | |
| CN111595453A (zh) | 一种基于人脸识别的红外测温系统及方法 | |
| CN102499664A (zh) | 基于视频图像的非接触式生命体征的检测方法及检测系统 | |
| KR102212773B1 (ko) | 체온측정을 겸비한 영상감시장치 및 그 방법 | |
| CN107480651A (zh) | 异常步态检测方法及异常步态检测系统 | |
| CN110647819A (zh) | 一种井下人员跨越皮带异常行为检测方法及装置 | |
| KR20080018642A (ko) | 원격 응급상황 모니터링 시스템 및 방법 | |
| WO2010036091A2 (en) | A system and a method for identifying human behavioural intention based on an effective motion analysis | |
| CN113313186B (zh) | 一种不规范穿戴工作服识别方法及系统 | |
| CN114782874A (zh) | 一种基于人体姿态的抗疫防护用品穿戴行为规范检测方法 | |
| KR20190081738A (ko) | 모션 센서와 근육 센서를 활용한 하이브리드 검출방식에 의한 프리웨이트 운동 동작 분석시스템 | |
| Mazurek et al. | Acquisition and preprocessing of data from infrared depth sensors to be applied for patients monitoring | |
| Rahman et al. | Non-contact heart rate monitoring using lab color space | |
| Lee et al. | Robot assisted instantaneous heart rate estimator using camera based remote photoplethysmograpy via plane-orthogonal-to-skin and finite state machine | |
| CN111476277A (zh) | 一种基于图像识别的报警方法及系统 | |
| CN113256938A (zh) | 一种基于光谱相机的摔倒监测警报方案 | |
| Akhloufi et al. | Thermal faceprint: A new thermal face signature extraction for infrared face recognition | |
| CN108846996B (zh) | 一种摔倒侦测系统及方法 | |
| Nouredanesh et al. | Wearable vision detection of environmental fall risk using gabor barcodes | |
| Belmonte-Hernández et al. | Person tracking association using multi-modal systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210813 |