CN114694269A - 一种人体行为监护方法、系统及存储介质 - Google Patents
一种人体行为监护方法、系统及存储介质 Download PDFInfo
- Publication number
- CN114694269A CN114694269A CN202210185713.4A CN202210185713A CN114694269A CN 114694269 A CN114694269 A CN 114694269A CN 202210185713 A CN202210185713 A CN 202210185713A CN 114694269 A CN114694269 A CN 114694269A
- Authority
- CN
- China
- Prior art keywords
- data
- position data
- human body
- preset
- standard deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000036461 convulsion Effects 0.000 claims abstract description 32
- 238000006073 displacement reaction Methods 0.000 claims abstract description 32
- 210000003414 extremity Anatomy 0.000 claims description 65
- 230000006399 behavior Effects 0.000 claims description 62
- 206010011224 Cough Diseases 0.000 claims description 49
- 230000008921 facial expression Effects 0.000 claims description 24
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 239000003086 colorant Substances 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 238000009432 framing Methods 0.000 claims description 4
- 230000005855 radiation Effects 0.000 claims description 4
- 238000013075 data extraction Methods 0.000 claims description 3
- 210000000689 upper leg Anatomy 0.000 claims description 2
- 206010028347 Muscle twitching Diseases 0.000 abstract description 17
- 230000001815 facial effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 238000013145 classification model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000010882 preoperative diagnosis Methods 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Multimedia (AREA)
- Social Psychology (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种人体行为监护方法、系统及存储介质，包括获取人体两胯的中心位置数据以及肢体数据；判断连续多帧视频帧内肢体数据位移的标准差是否大于预设标准差；当两胯的中心位置数据与地面位置数据之间的高度低于阈值，则判断上一预设时间段内的历史高度数据与当前高度数据之间的高度差是否大于预设高度差，若是，则发出警报。本发明中的人体行为监护方法、系统及存储介质，通过根据中心位置数据与地面位置数据的高度是否低于阈值以及当前高度与上一视频帧的高度之间的高度差是否大于预设高度，判断人体是否摔倒，以及连续多帧视频帧内肢体数据的位移的标准差是否低于预设标准差来判断人体是否抽搐，提高了监护准确性和便利性。
Description
技术领域
本发明涉及人体行为检测技术领域，特别涉及一种人体行为监护方法、系统及存储介质。
背景技术
随着智慧医疗的发展，越来越多的人工智能技术融入到了医疗领域，比如在远程诊断、远程手术操作、远程急救、远程监护、远程示教、智慧机器人、移动医护等医学领域。其中在术前的诊断、术中的手术操作、急救、医疗影像的诊断等领域智慧医疗已经有了比较成熟的发展。在术后人员的远程监护也得到了一定的发展。
远程监护一般指对在病房中的病人或独居老人的监护，被监护人在室内可能出现摔倒、肢体抽搐、面部抽搐、咳嗽等不适情况，但是由于无人监护，当出现不适情况时，得不到及时的治疗容易出现生命危险。
现有技术中，通常通过在人体穿戴传感器，以检测人物是否摔倒、抽搐等其他危险特征，进而发出警报，达到监护的效果。但是，佩戴传感器设备会带来人体不舒适感，给行为检测带来不方便。
发明内容
基于此，本发明的目的是提供一种人体行为监护方法、系统及存储介质，解决背景技术中穿戴传感器检测危险行为不方便的问题。
本发明一方面提供一种人体行为监护方法，包括：
以第一预设频率获取目标视频，目标视频包括若干视频帧，对视频帧进行语义分割，得到地面位置数据及人体位置数据；
获取人体位置数据的特征数据，特征数据包括人体两胯的中心位置数据以及肢体数据；
根据肢体数据获取目标视频的连续多帧视频帧，判断连续多帧视频帧内肢体数据位移的标准差是否大于预设标准差；
以及获取人体两胯的中心位置数据与地面位置数据之间的当前高度数据，判断当前高度数据是否低于预设高度，若是，则获取上一预设时间段内的历史视频帧，并计算对应历史视频帧的历史高度数据与当前高度数据之间的高度差，判断高度差是否大于预设高度差；
若连续多帧视频帧内肢体数据位移的标准差大于预设标准差，则判定人体处于抽搐状态，发出警报；若高度差大于预设高度差，则判定人体处于摔倒状态，发出警报。
本发明中的人体行为监护方法，通过摄像头获取被监护人的视频帧，通过分析视频帧的人体行为特征判断是否摔倒或抽搐，避免了传统佩戴传感器的不舒适感和检测不方便。具体的，通过对视频帧进行语义分割，得到地面位置数据和人体位置数据，再获取人体位置数据中的两跨中心位置数据和肢体数据，当两跨中心位置与地面位置的当前高度低于预设高度后，再次获取相邻时间段内的上一历史视频帧，获取对应历史视频帧中的历史高度，进一步判断历史高度与当前高度之前的高度差是否大于预设高度差，从而判定被监护人处于摔倒状态；并且通过计算连续多帧视频帧内肢体数据的位移的标准差是否低于预设标准差来判断人体是否抽搐，从而解决了背景技术中穿戴传感器检测危险行为不方便的问题。
进一步的，以第一预设频率获取目标视频，目标视频包括若干视频帧，对视频帧进行语义分割，得到地面位置数据及人体位置数据的步骤包括：
获取目标视频，目标视频包括若干视频帧，将视频帧中的地面区域和人体区域标记为不同颜色，将对应地面区域颜色的位置数据汇总为地面位置数据，将对应人体区域颜色的位置数据汇总为人体位置数据。
进一步的，若连续多帧视频帧内肢体数据位移的标准差大于预设标准差的步骤后还包括：
获取视频帧中的人脸数据，将人脸数据与预训练的人脸表情模型进行比对，判断人脸数据是否符合预设人脸表情，预设人脸表情包括抽搐、惊吓、痛苦人脸表情；
若是，则判定人体处于抽搐状态，发出警报。
进一步的，获取人体两胯的中心位置数据与地面位置数据之间的当前高度数据的步骤包括：
根据人体位置数据及地面位置数据，在地面位置数据中确定与人体位置数据关联的预设距离内的目标位置数据，并确定人体两胯的中心位置数据与目标地面位置数据之间的当前高度数据。
进一步的，肢体数据包括肢体关键点位置数据，判断连续多帧视频帧内肢体数据位移的标准差是否大于预设标准差的步骤包括：
获取连续多帧视频帧的肢体关键点位置数据，根据肢体关键点位置数据计算连续多帧视频帧内肢体关键点位移的标准差，并判断肢体关键点位移的标准差是否小于预设标准差。
进一步的，方法还包括：
根据人体位置数据获取人体位置数据中的手部关键点数据，判断手部关键点数据是否符合预设求助手势；
若是，则符合求助行为特征，发出警报。
进一步的，方法还包括：
获取目标视频中的语音数据，检测语音数据中咳嗽语音数据，并提取咳嗽语音数据中的频次信息和强度信息，
判断频次信息和强度信息是否达到预设阈值；
若是，则将第一预设频率提高至第二预设频率，以根据第二预设频率获取目标视频。
进一步的，提取咳嗽语音数据中的频次信息和强度信息的步骤之前还包括：
对咳嗽语音数据进行预加重处理，以去除咳嗽语音数据中的口唇辐射影响；
对所咳嗽语音数据进行加窗分帧处理，以将咳嗽语音数据分解成多帧片状数据；
对咳嗽语音数据进行端点检测处理，以提取咳嗽语音数据中的有效数据。
本发明另一方面提供人体行为监护系统，包括：
语义分割模块，用于以第一预设频率获取目标视频，目标视频包括若干视频帧，对视频帧进行语义分割，得到地面位置数据及人体位置数据；
特殊数据提取模块，用于获取人体位置数据的特征数据，特征数据包括人体两胯的中心位置数据以及肢体数据；
抽搐行为判断模块，用于根据肢体数据获取目标视频的连续多帧视频帧，判断连续多帧视频帧内肢体数据位移的标准差是否大于预设标准差；
摔倒行为判断模块，用于获取人体两胯的中心位置数据与地面位置数据之间的当前高度数据，判断当前高度数据是否低于预设高度，若是，则获取上一预设时间段内的历史视频帧，并计算对应历史视频帧的历史高度数据与当前高度数据之间的高度差，判断高度差是否大于预设高度差；
报警模块，用于若连续多帧视频帧内肢体数据位移的标准差大于预设标准差，则判定人体处于抽搐状态，发出警报；若高度差是否大于预设高度差，则判定人体处于摔倒状态，发出警报。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如任一所述的人体行为监护方法。
附图说明
图1为本发明第一实施例中人体行为监护方法流程图；
图2为本发明第二实施例中人体行为监护方法流程图；
图3为本发明第三实施例中人体行为监护系统框图；
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1，所示为本发明第一实施例中的人体行为监护方法，包括步骤S11-S16。
S11、以第一预设频率获取目标视频，目标视频包括若干视频帧，对视频帧进行语义分割，得到地面位置数据及人体位置数据。
本实施例中的人体行为监护方法，可应用于医院对于病人的监护以及在家中对于老人的监护。通过摄像头根据第一预设频率获取被监护人实时的行为特征视频，并判断被监护人实时的行为特征是否符合摔倒、抽搐或报警行为特征，从而报警，提高被监护人的安全性。首先，以第一预设频率获取被监护人的目标视频，目标视频中包括被监护人和周围环境，第一预设频率可为1-2min/一次，可调整视频处理的频率，根据调整的频率对视频中人的行为特征进行检测。将目标视频分割成若干视频帧，通过Mask2Former对视频帧做语义分割，其中，语义分割是对图像中的每个像素打上类别标签，图像中每一类打上一个颜色。在本实施例中，通过语义分割将视频帧中的人体位置区域和地面位置区域标记为不同的颜色，进而得到人体位置数据和地面位置数据。
S12、获取人体位置数据的特征数据，特征数据包括人体两胯的中心位置数据以及肢体数据。
进而根据人体位置数据获取人体的特征数据，特征数据包括人体两跨的中心位置数据及肢体数据。人体两跨中心位置数据可近似的确定为人体重心点数据，用于判断人体是否摔倒。
肢体数据为人体的四肢关键点，用于判断人体是否在抽搐。利用OpenPose（肢体语言识别系统）在视频帧图片中检测四肢关键点。假设人体左臂的手部关键点为g[0]、左臂肘部的关键点为g[1]、左臂肩膀的关键点为g[2]，检测的四肢关键点坐标分别为[gx0,gy0]、 [gx1,gy1]、[gx2,gy2]。
进一步的，地面位置数据包括大范围的地面区域，在对被监护人的行为特征判断时，为减少目标检测范围，以人体位置数据为中心，在地面位置数据中确定与人体位置数据处于预设距离内的目标地面位置数据，可选的，预设距离可设置为被监护人周围2m的地面区域。
S13、判断连续多帧视频帧内肢体数据位移的标准差是否大于预设标准差；
若连续多帧视频帧内肢体数据位移的标准差大于预设标准差，则判定人体处于抽搐状态，则执行步骤S15。
当获取肢体数据后，进一步获取目标视频中的连续多帧视频帧，假设A[i]为每个视频帧中检测到的四肢关键点，例如四肢的端点，i大于等于0小于等于3，其位置为[xi,yi]。计算肢体数据位移的标准差公式如下所示：
其中，n表示连续n张视频帧图片，di表示标号为i的四肢关键点在连续n张图片的位移变化的标准差。通过di与自定义的一个阈值比较大小，可判断肢体关键点在连续多帧视频帧内往复移动，从而判断出标号为i的肢体位置发生抽搐行为，即人体处于抽搐状态。
可选的，为提高人体抽搐状态判断的准确性，当判断连续多帧视频帧内肢体数据位移的标准差大于预设标准差时，可进一步对人脸表情进行识别。
具体的，利用抽搐、惊吓、痛苦等处于危险状态的表情数据集，预训练人脸表情模型，在视频帧中获取被监护人的人脸数据，将人脸数据输入预训练的人脸表情模型中，判断人脸表情是否符合上述模型中的预设人脸表情。若是，则可根据被监护人的人脸表情处于痛苦状态、以及肢体关键点连续往复运动，判断人体处于抽搐状态。
S14、判断人体两胯的中心位置数据与地面位置数据之间的当前高度数据是否低于预设高度；
若当前高度数据低于预设高度，则执行步骤S16。
在视频帧中将人体两跨的中心位置数据记录，与目标地面位置数据进行高度检测，其中目标地面位置数据中的可近似为水平面，进而计算人体两跨的中心位置数据与目标地面位置数据之间的当前高度数据，及两跨中心位置与地面之间的距离。当该当前高度数据低于预设高度，两跨的中心位置距离地面较近，则可判定人体可能处于摔倒状态，需做进一步摔倒状态的判断。
进一步的，获取人体位置数据中脚的位置数据（脚的端点），将脚数据与两跨中心位置数据在水平位置上连成一条直线，通过两点以及地面位置数据，求得直线的斜率，当直线的斜率低于预设斜率时，则可判定人体可能处于摔倒状态。
同理，获取人体位置数据中头的位置数据（头的中心），将头的关键点与两跨中心位置数据连成一直线，并计算该直线的斜率，当直线的斜率低于预设斜率时，则可判定人体可能处于摔倒状态。
S16、判断历史视频帧中的历史高度数据与当前高度数据之间的高度差是否大于预设高度差；
若高度差大于预设高度差，则执行步骤S15。
当判断到人体两跨的中心位置数据与地面位置数据较近时，从历史视频帧中提取历史数据，获取相邻预设时间段内的上一视频帧，例如，获取1S-2S之前的历史视频帧，对应提取出历史视频帧中，人体两跨的中心位置数据与目标地面位置数据的历史高度数据，并计算历史高度数据与当前高度数据之间的高度差。当该高度差大于预设高度差时，则表示人体在短时间内两跨的中心位置数据下降较大，因此可判定人体处于摔倒状态。
S15、发出警报。
当判定人体处于摔倒状态时，则发出摔倒警报，具体可根据被监护人需求设置报警方式，例如拨打求救电话、联系紧急联系人或发出声音警报，以对监护人提供及时的救助。
若连续多帧视频帧内，若计算的多个肢体位置的位移的标准差都低于预设标准差，则判断多个肢体关键点位置在发生抽搐，即判定人体发生抽搐。当判定人体处于抽搐状态，则发出警报，具体警报与摔倒警报的方式类似。
在一些其他可选实施例中，触发自动报警的方法还包括：
在人体位置数据获取人体位置数据中的手部关键点数据，将获取的手部关键点数据与预设求助手势进行比对，判断是否符合预设求助手势，其中预设求助手势可自定义设置。被监护人想发出求救信号时，可向摄像头做出预设的求助手势。当判断到手部关键点数据符合预设求助手势时，则发出警报，例如拨打求救电话或联系紧急联系人等。
在一些其他可选实施例中，触发自动报警的方法还包括：
获取目标视频，目标视频包括多个视频帧，利用人脸检测算法，从视频帧里获取人脸图片，对获取的人脸图片进行人脸表情识别。人脸表情识别包括对被监护人脸抽搐、惊吓、痛苦的表情进行识别。利用抽搐、惊吓、痛苦的表情数据集，训练人脸表情的分类模型。从摄像头读取视频帧，获取人脸图片，进而送入人脸表情分类模型，得到对该张人脸的识别结果。若在预设时间内均可以识别到抽搐、惊吓或痛苦的表情，则发出警报。
综上，本发明上述实施例当中的人体行为监护方法，通过摄像头获取被监护人的视频帧，通过分析视频帧的人体行为特征判断是否摔倒或抽搐，避免了传统佩戴传感器的不舒适感和检测不方便。具体的，通过对视频帧进行语义分割，得到地面位置数据和人体位置数据，再获取人体位置数据中的两跨中心位置数据和肢体数据，当两跨中心位置与地面位置的当前高度低于预设高度后，再次获取相邻时间段内的上一历史视频帧，获取对应历史视频帧中的历史高度，进一步判断历史高度与当前高度之前的高度差是否大于预设高度差，从而判定被监护人处于摔倒状态；并且通过计算连续多帧视频帧内肢体数据的位移的标准差是否低于预设标准差来判断人体是否抽搐，从而解决了背景技术中穿戴传感器检测危险行为不方便的问题。
实施例二
请参阅图2，所示为本发明第二实施例中的人体行为监护方法，本实施例中的行为监护方法为基于实施例一的方法，通过检测视频语音中的咳嗽语音，进而调整实施例一中获取视频的预设频率，以调整对视频中人的行为特征检测的频率。本实施例中的方法包括步骤S21-S24。
S21、获取目标视频中的语音数据，检测语音数据中咳嗽语音数据。
摄像头中设置的语音模块可用于获取被监护人的语音数据，通过摄像头获取目标视频，目标视频中包括被监护人的语音数据，通过算法检测语音数据中是否存在咳嗽声，例如通过隐马尔可夫模型（Hidden Markov Model，HMM）快速精准的识别语音中的咳嗽语音数据，当识别到被监护人咳嗽语音数据时，提取被监护人的咳嗽语音数据。
S22、对咳嗽语音数据进行预处理，提取咳嗽语音数据中的频次信息和强度信息。
对提取的咳嗽语音数据进行预处理，得到有效咳嗽语音数据，其中预处理能够最大化咳嗽语音数据中的某些信息，以达到最好特征参数的提取。
预处理包括预加重、加窗分帧和端点检测。预加重即为了去除口唇辐射对音频的影响，增加语音的高频分辨率，常用一阶FIR高通滤波器实现预加重，预加重的传递函数为：
H(z)=1-a*z
-1
其中，H为滤波后输出，z为波形数据、a为预加重系数，0．9<a<1．0。
加窗分帧是自定义一个窗格尺寸，滑动窗格把长时的音频数据划分为一帧一帧的片状数据。
语音端点检测就是从连续的语音流中检测出有效的语音段。它包括两个方面，检测出有效语音的起始点即前端点，检测出有效语音的结束点即后端点，通过端点检测识别出咳嗽语音数据的起点和结束点，形成一段完整的咳嗽语音数据。
特征提取包括提取语音数据中咳嗽的频次和音频强度。
咳嗽的音频强度，这里定义为d，表示一定时间t内的音频波峰与波谷的均值，公式如下：
式中，x表示音频波的数值，max表示取最大值，min表示取最小值。
在t时间内，利用max(x)，min(x)找出一条中位水平线，其斜率为(max(x)+min(x))/2，假设音频波与该水平线的交点数量为m，则近似定义咳嗽的频次为m/(3t)。
S23、判断频次信息和强度信息是否达到预设阈值。
判断咳嗽语音数据的频次信息和强度信息是否达到预设阈值，可以理解的，可以分别将频次信息和强度信息与预设频次和预设强度进行比对，当频次信息和强度信息任意一项超出预设频次和预设强度，则视为达到预设阈值；也可将频次信息和强度信息同时与预设阈值进行比对，当频次信息和强度信息均超出预设频次和预设强度，则视为达到预设阈值。
S24、若频次信息和强度信息达到预设阈值，则将第一预设频率提高至第二预设频率，以根据第二预设频率获取目标视频。
当判断每一段有效咳嗽语音数据后，通过动态时间规整将所有的咳嗽语音数据的判断结果整合成一起，并去除重复或不完整的检测结果，最后输出判断结果，判断是否达到阈值。
达到阈值后，则将第一预设频率提高至第二预设频率，第二预设频率高于第一预设频率，例如30s-1min/次，从而加快视频的分析处理频率，通过监控人员的咳嗽是否达到阈值，预设被监护人可能出现的危险状况，并相应的调整视频分析处理的频率，能够提高监护的及时性，防止人员摔倒或抽搐后发现的不及时。
综上，本发明上述实施例当中的人体行为监护方法，通过获取目标视频中的咳嗽语音数据，提取咳嗽语音数据的频次和强度信息，通过判断频次和强度信息是否达到预设阈值并将第一预设频率提高至第二预设频率，能够提高视频钟被监护人的行为分析处理及时性，从而提高监护的效率。
实施例三
本发明另一方面还提供一种人体行为监护系统，请参阅图3，所示本实施例中的人体行为监护系统框图，包括：
语义分割模块，用于以第一预设频率获取目标视频，所述目标视频包括若干视频帧，对所述视频帧进行语义分割，得到地面位置数据及人体位置数据；
特殊数据提取模块，用于获取所述人体位置数据的特征数据，所述特征数据包括人体两胯的中心位置数据以及肢体数据；
抽搐行为判断模块，用于根据所述肢体数据获取所述目标视频的连续多帧视频帧，判断所述连续多帧视频帧内所述肢体数据位移的标准差是否大于预设标准差；
摔倒行为判断模块，用于获取所述人体两胯的中心位置数据与所述地面位置数据之间的当前高度数据，判断所述当前高度数据是否低于预设高度，若是，则获取上一预设时间段内的历史视频帧，并计算对应所述历史视频帧的历史高度数据与当前高度数据之间的高度差，判断所述高度差是否大于预设高度差；
报警模块，用于若所述连续多帧视频帧内所述肢体数据位移的标准差大于预设标准差，则判定人体处于抽搐状态，发出警报；若所述高度差是否大于预设高度差，则判定人体处于摔倒状态，发出警报。
进一步，在一些其他可选实施例中，语义分割模块包括：
目标视频获取单元，用于获取目标视频，目标视频包括若干视频帧；
语义分割单元，用于将视频帧中的地面区域和人体区域标记为不同颜色，将对应地面区域颜色的位置数据汇总为地面位置数据，将对应人体区域颜色的位置数据汇总为人体位置数据。
进一步，在一些其他可选实施例中，摔倒行为判断模块模块包括：
目标位置数据确定单元，用于
根据所述人体位置数据及所述地面位置数据，在所述地面位置数据中确定与所述人体位置数据关联的预设距离内的目标位置数据，并确定所述人体两胯的中心位置数据与所述目标地面位置数据之间的当前高度数据。
进一步，在一些其他可选实施例中，抽搐行为判断模块包括：
人脸表情识别单元，用于获取所述视频帧中的人脸数据，将所述人脸数据与预训练的人脸表情模型进行比对，判断所述人脸数据是否符合预设人脸表情，所述预设人脸表情包括抽搐、惊吓、痛苦人脸表情；
若所述人脸数据符合预设人脸表情，则判定人体处于抽搐状态，发出警报。
进一步，在一些其他可选实施例中，摔倒行为判断模块包括：
当前高度数据获取单元，用于根据所述人体位置数据及所述地面位置数据，在所述地面位置数据中确定与所述人体位置数据关联的预设距离内的目标位置数据，并确定所述人体两胯的中心位置数据与所述目标地面位置数据之间的当前高度数据。
进一步，在一些其他可选实施例中，抽搐行为判断模块包括：
位移标准差判断单元，用于获取所述连续多帧视频帧的肢体关键点位置数据，根据所述肢体关键点位置数据计算连续多帧视频帧内所述肢体关键点位移的标准差，并判断所述肢体关键点位移的标准差是否小于预设标准差。
进一步，在一些其他可选实施例中，装置还包括：
求助手势判断模块，用于根据人体位置数据获取人体位置数据中的手部关键点数据，判断手部关键点数据是否符合预设求助手势；
若是，则符合求助行为特征，则发出警报。
进一步，在一些其他可选实施例中，装置还包括：
预设频率调整模块，用于获取目标视频中的语音数据，检测语音数据中咳嗽语音数据，并提取咳嗽语音数据中的频次信息和强度信息，
判断频次信息和强度信息是否达到预设阈值；
若频次信息和强度信息达到预设阈值，则将第一预设频率提高至第二预设频率，以根据第二预设频率获取目标视频。
进一步，在一些其他可选实施例中，预设频率调整模块包括：
语音预处理单元，用于对咳嗽语音数据进行预加重处理，以去除咳嗽语音数据中的口唇辐射影响；
对所咳嗽语音数据进行加窗分帧处理，以将咳嗽语音数据分解成多帧片状数据；
对咳嗽语音数据进行端点检测处理，以提取咳嗽语音数据中的有效数据。
上述各模块、单元被执行时所实现的功能或操作步骤与上述方法实施例大体相同，在此不再赘述。
综上，本发明上述实施例当中的人体行为监护系统，通过摄像头获取被监护人的视频帧，通过分析视频帧的人体行为特征判断是否摔倒或抽搐，避免了传统佩戴传感器的不舒适感和检测不方便。具体的，通过对视频帧进行语义分割，得到地面位置数据和人体位置数据，再获取人体位置数据中的两跨中心位置数据和肢体数据，当两跨中心位置与地面位置的当前高度低于预设高度后，再次获取相邻时间段内的上一历史视频帧，获取对应历史视频帧中的历史高度，进一步判断历史高度与当前高度之前的高度差是否大于预设高度差，从而判定被监护人处于摔倒状态；并且通过计算连续多帧视频帧内肢体数据的位移的标准差是否低于预设标准差来判断人体是否抽搐，从而解决了背景技术中穿戴传感器检测危险行为不方便的问题。
本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中的人体行为监护方法的步骤。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种人体行为监护方法，其特征在于，所述方法包括：
以第一预设频率获取目标视频，所述目标视频包括若干视频帧，对所述视频帧进行语义分割，得到地面位置数据及人体位置数据；
获取所述人体位置数据的特征数据，所述特征数据包括人体两胯的中心位置数据以及肢体数据；
根据所述肢体数据获取所述目标视频的连续多帧视频帧，判断所述连续多帧视频帧内所述肢体数据位移的标准差是否大于预设标准差；
以及获取所述人体两胯的中心位置数据与所述地面位置数据之间的当前高度数据，判断所述当前高度数据是否低于预设高度，若是，则获取上一预设时间段内的历史视频帧，并计算对应所述历史视频帧的历史高度数据与当前高度数据之间的高度差，判断所述高度差是否大于预设高度差；
若所述连续多帧视频帧内所述肢体数据位移的标准差大于预设标准差，则判定人体处于抽搐状态，发出警报；若所述高度差大于预设高度差，则判定人体处于摔倒状态，发出警报。
2.根据权利要求1所述的人体行为监护方法，其特征在于，所述以第一预设频率获取目标视频，所述目标视频包括若干视频帧，对所述视频帧进行语义分割，得到地面位置数据及人体位置数据的步骤包括：
获取目标视频，所述目标视频包括若干视频帧，将所述视频帧中的地面区域和人体区域标记为不同颜色，将对应所述地面区域颜色的位置数据汇总为地面位置数据，将对应所述人体区域颜色的位置数据汇总为人体位置数据。
3.根据权利要求1所述的人体行为监护方法，其特征在于，所述若所述连续多帧视频帧内所述肢体数据位移的标准差大于预设标准差的步骤后还包括：
获取所述视频帧中的人脸数据，将所述人脸数据与预训练的人脸表情模型进行比对，判断所述人脸数据是否符合预设人脸表情，所述预设人脸表情包括抽搐、惊吓、痛苦人脸表情；
若是，则判定人体处于抽搐状态，发出警报。
4.根据权利要求1所述的人体行为监护方法，其特征在于，所述获取所述人体两胯的中心位置数据与所述地面位置数据之间的当前高度数据的步骤包括：
根据所述人体位置数据及所述地面位置数据，在所述地面位置数据中确定与所述人体位置数据关联的预设距离内的目标位置数据，并确定所述人体两胯的中心位置数据与所述目标地面位置数据之间的当前高度数据。
5.根据权利要求1所述的人体行为监护方法，其特征在于，所述肢体数据包括肢体关键点位置数据，所述判断所述连续多帧视频帧内所述肢体数据位移的标准差是否大于预设标准差的步骤包括：
获取所述连续多帧视频帧的肢体关键点位置数据，根据所述肢体关键点位置数据计算连续多帧视频帧内所述肢体关键点位移的标准差，并判断所述肢体关键点位移的标准差是否小于预设标准差。
6.根据权利要求1所述的人体行为监护方法，其特征在于，所述方法还包括：
根据所述人体位置数据获取人体位置数据中的手部关键点数据，判断所述手部关键点数据是否符合预设求助手势；
若是，则符合求助行为特征，发出警报。
7.根据权利要求1所述的人体行为监护方法，其特征在于，所述方法还包括：
获取所述目标视频中的语音数据，检测所述语音数据中咳嗽语音数据，并提取所述咳嗽语音数据中的频次信息和强度信息，
判断所述频次信息和所述强度信息是否达到预设阈值；
若是，则将所述第一预设频率提高至第二预设频率，以根据所述第二预设频率获取目标视频。
8.根据权利要求7所述的人体行为监护方法，其特征在于，所述提取所述咳嗽语音数据中的频次信息和强度信息的步骤之前还包括：
对所述咳嗽语音数据进行预加重处理，以去除所述咳嗽语音数据中的口唇辐射影响；
对所咳嗽语音数据进行加窗分帧处理，以将所述咳嗽语音数据分解成多帧片状数据；
对所述咳嗽语音数据进行端点检测处理，以提取所述咳嗽语音数据中的有效数据。
9.一种人体行为监护系统，其特征在于，包括：
语义分割模块，用于以第一预设频率获取目标视频，所述目标视频包括若干视频帧，对所述视频帧进行语义分割，得到地面位置数据及人体位置数据；
特殊数据提取模块，用于获取所述人体位置数据的特征数据，所述特征数据包括人体两胯的中心位置数据以及肢体数据；
抽搐行为判断模块，用于根据所述肢体数据获取所述目标视频的连续多帧视频帧，判断所述连续多帧视频帧内所述肢体数据位移的标准差是否大于预设标准差；
摔倒行为判断模块，用于获取所述人体两胯的中心位置数据与所述地面位置数据之间的当前高度数据，判断所述当前高度数据是否低于预设高度，若是，则获取上一预设时间段内的历史视频帧，并计算对应所述历史视频帧的历史高度数据与当前高度数据之间的高度差，判断所述高度差是否大于预设高度差；
报警模块，用于若所述连续多帧视频帧内所述肢体数据位移的标准差大于预设标准差，则判定人体处于抽搐状态，发出警报；若所述高度差是否大于预设高度差，则判定人体处于摔倒状态，发出警报。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1－8任一所述的人体行为监护方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210185713.4A CN114694269A (zh) | 2022-02-28 | 2022-02-28 | 一种人体行为监护方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210185713.4A CN114694269A (zh) | 2022-02-28 | 2022-02-28 | 一种人体行为监护方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114694269A true CN114694269A (zh) | 2022-07-01 |
Family
ID=82137207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210185713.4A Pending CN114694269A (zh) | 2022-02-28 | 2022-02-28 | 一种人体行为监护方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114694269A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117830920A (zh) * | 2023-11-27 | 2024-04-05 | 无锡伙伴智能科技有限公司 | 一种监护方法、装置、设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150010248A (ko) * | 2013-07-18 | 2015-01-28 | 주식회사 에스원 | 3차원 영상 정보를 이용한 감지 방법 및 장치 |
| CN105868519A (zh) * | 2015-01-20 | 2016-08-17 | 中兴通讯股份有限公司 | 人体特征数据的处理方法及装置 |
| CN107045623A (zh) * | 2016-12-30 | 2017-08-15 | 厦门瑞为信息技术有限公司 | 一种基于人体姿态跟踪分析的室内危险情况告警的方法 |
| CN107103733A (zh) * | 2017-07-06 | 2017-08-29 | 司马大大（北京）智能系统有限公司 | 一种摔倒报警方法、装置及设备 |
| CN108403119A (zh) * | 2018-02-26 | 2018-08-17 | 深圳乐测物联网科技有限公司 | 一种咳嗽检测方法 |
| CN109243470A (zh) * | 2018-08-16 | 2019-01-18 | 南京农业大学 | 基于音频技术的肉鸡咳嗽监测方法 |
| CN111263084A (zh) * | 2018-11-30 | 2020-06-09 | 北京字节跳动网络技术有限公司 | 基于视频的手势抖动检测方法、装置、终端和介质 |
| CN111582233A (zh) * | 2020-05-21 | 2020-08-25 | 北京澎思科技有限公司 | 数据处理方法、电子设备和存储介质 |
| CN112230815A (zh) * | 2020-10-21 | 2021-01-15 | 中国银行股份有限公司 | 智能求助方法、装置、设备及存储介质 |
| CN112364696A (zh) * | 2020-10-13 | 2021-02-12 | 特斯联科技集团有限公司 | 一种利用家庭监控视频提高家庭安全的方法及系统 |
| CN113723165A (zh) * | 2021-03-25 | 2021-11-30 | 山东大学 | 基于深度学习的待检测人员危险表情检测方法及系统 |
| CN113762085A (zh) * | 2021-08-11 | 2021-12-07 | 江苏省人民医院（南京医科大学第一附属医院） | 一种基于人工智能的婴儿培养箱系统及方法 |
| CN113766185A (zh) * | 2021-08-03 | 2021-12-07 | 济南启源信息科技有限公司 | 新生儿保温箱内咳嗽检测装置及检测方法 |
-
2022
- 2022-02-28 CN CN202210185713.4A patent/CN114694269A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150010248A (ko) * | 2013-07-18 | 2015-01-28 | 주식회사 에스원 | 3차원 영상 정보를 이용한 감지 방법 및 장치 |
| CN105868519A (zh) * | 2015-01-20 | 2016-08-17 | 中兴通讯股份有限公司 | 人体特征数据的处理方法及装置 |
| CN107045623A (zh) * | 2016-12-30 | 2017-08-15 | 厦门瑞为信息技术有限公司 | 一种基于人体姿态跟踪分析的室内危险情况告警的方法 |
| CN107103733A (zh) * | 2017-07-06 | 2017-08-29 | 司马大大（北京）智能系统有限公司 | 一种摔倒报警方法、装置及设备 |
| CN108403119A (zh) * | 2018-02-26 | 2018-08-17 | 深圳乐测物联网科技有限公司 | 一种咳嗽检测方法 |
| CN109243470A (zh) * | 2018-08-16 | 2019-01-18 | 南京农业大学 | 基于音频技术的肉鸡咳嗽监测方法 |
| CN111263084A (zh) * | 2018-11-30 | 2020-06-09 | 北京字节跳动网络技术有限公司 | 基于视频的手势抖动检测方法、装置、终端和介质 |
| CN111582233A (zh) * | 2020-05-21 | 2020-08-25 | 北京澎思科技有限公司 | 数据处理方法、电子设备和存储介质 |
| CN112364696A (zh) * | 2020-10-13 | 2021-02-12 | 特斯联科技集团有限公司 | 一种利用家庭监控视频提高家庭安全的方法及系统 |
| CN112230815A (zh) * | 2020-10-21 | 2021-01-15 | 中国银行股份有限公司 | 智能求助方法、装置、设备及存储介质 |
| CN113723165A (zh) * | 2021-03-25 | 2021-11-30 | 山东大学 | 基于深度学习的待检测人员危险表情检测方法及系统 |
| CN113766185A (zh) * | 2021-08-03 | 2021-12-07 | 济南启源信息科技有限公司 | 新生儿保温箱内咳嗽检测装置及检测方法 |
| CN113762085A (zh) * | 2021-08-11 | 2021-12-07 | 江苏省人民医院（南京医科大学第一附属医院） | 一种基于人工智能的婴儿培养箱系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 杨磊: "基于深度数据分析的室内老人摔倒检测方法", 《计算机技术与发展》, no. 4, 5 December 2017 (2017-12-05), pages 78 - 81 * |
| 谢忠好: "2４小时便携式咳嗽音信号监测", 数理医药学杂, no. 6, 15 June 2015 (2015-06-15), pages 893 - 894 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117830920A (zh) * | 2023-11-27 | 2024-04-05 | 无锡伙伴智能科技有限公司 | 一种监护方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mubashir et al. | A survey on fall detection: Principles and approaches | |
| US10878818B2 (en) | Methods and apparatus for silent speech interface | |
| WO2019079909A1 (en) | SYSTEM FOR CLASSIFYING INTRA-AURICULAR NON-VERB AUDIO EVENTS AND ASSOCIATED METHOD | |
| JP6580497B2 (ja) | 筋電信号を用いて顔表情を高い精度で識別する装置、デバイス、プログラム及び方法 | |
| CN103984315A (zh) | 一种家用多功能智能机器人 | |
| WO2022039559A1 (en) | Method and system for breathing measurement and management using an electronic device | |
| Merrouche et al. | Depth camera based fall detection using human shape and movement | |
| US6503197B1 (en) | System and method for detecting an action of the head and generating an output in response thereto | |
| KR100822476B1 (ko) | 원격 응급상황 모니터링 시스템 및 방법 | |
| CN114926957B (zh) | 基于智能家居的婴幼儿监护系统及监护方法 | |
| CN112801000B (zh) | 一种基于多特征融合的居家老人摔倒检测方法及系统 | |
| CN114694269A (zh) | 一种人体行为监护方法、系统及存储介质 | |
| CN113080855A (zh) | 一种基于深度信息的面部疼痛表情识别方法及系统 | |
| CN112464768A (zh) | 一种基于自关注多特征融合的疲劳检测方法 | |
| KR102029760B1 (ko) | 사용자 감정 분석을 이용한 이벤트 탐지 시스템 및 방법 | |
| Grassi et al. | A hardware-software framework for high-reliability people fall detection | |
| CN104392201B (zh) | 一种基于全向视觉的人体跌倒识别方法 | |
| CN113706824A (zh) | 一种基于物联网监控的老人居家看护系统 | |
| CN110033772B (zh) | 基于ppg信号的非声学语音信息检测装置 | |
| Tasoulis et al. | Statistical data mining of streaming motion data for fall detection in assistive environments | |
| CN113256648B (zh) | 基于摄像头的自适应多尺度呼吸监测方法 | |
| CN216098953U (zh) | 一种智能防疫机器人 | |
| Soni et al. | Single Camera based Real Time Framework for Automated Fall Detection | |
| Raja et al. | Design and implementation of facial recognition system for visually impaired using image processing | |
| JP7082956B2 (ja) | 信号データに応じた基準値に基づき生体信号の計数を行う生体信号処理装置、プログラム及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |