CN115116133A - 一种用于独居老人监护的异常行为检测系统及方法 - Google Patents

一种用于独居老人监护的异常行为检测系统及方法 Download PDF

Info

Publication number
CN115116133A
CN115116133A CN202210667931.1A CN202210667931A CN115116133A CN 115116133 A CN115116133 A CN 115116133A CN 202210667931 A CN202210667931 A CN 202210667931A CN 115116133 A CN115116133 A CN 115116133A
Authority
CN
China
Prior art keywords
behavior
target
module
abnormal
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210667931.1A
Other languages
English (en)
Inventor
代菊
潘俊君
高丽萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peng Cheng Laboratory
Original Assignee
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peng Cheng Laboratory filed Critical Peng Cheng Laboratory
Priority to CN202210667931.1A priority Critical patent/CN115116133A/zh
Publication of CN115116133A publication Critical patent/CN115116133A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种用于独居老人监护的异常行为检测系统及方法，所述用于独居老人监护的异常行为检测系统包括：图像采集装置、总处理器和远程监护人终端；图像采集装置用于采集室内环境中独居老人日常生活的图像数据，并将所述图像数据发送给总处理器；总处理器用于基于骨架的行为识别算法，对人体进行定位、跟踪、骨架提取、行为识别和异常判定，对独居老人居家环境中的多种异常行为进行检测；远程监护人终端用于基于人体的骨架序列数据实现真实环境下人体行为的事实还原，并根据异常行为进行告警。本发明在隐私保护的前提下，可以及时监控独居老人的异常行为，并及时对检测到的异常行为进行告警，便于独居老人出现异常行为时得到及时救助。

Description

一种用于独居老人监护的异常行为检测系统及方法
技术领域
本发明涉及智能监控技术领域，尤其涉及一种用于独居老人监护的异常行为检测系统及方法。
背景技术
近年来，随着人口结构老龄化以及家庭空巢化程度的加深，独居老人日益成为一个庞大的群体。独居老人指的是不仅子女不在身边，且丧偶的老年人群体，他们往往依赖于居家养老机构或者社区的养老照护。他们一次摔倒、心梗等突发性异常行为，因无人察觉，没有及时的救助，就可能失去宝贵的生命。此外，很多独居老人因担心造成子女负担，对于自身的异常行为如心脏不适、腰痛、头痛等进行隐瞒和拖延，这对老人慢性疾病的及时预防、发现、治疗有很大的影响。因此，实时智能识别日常生活中的独居老人异常行为状况，日益成为独居老人养老看护过程急需解决的难题。
然而，目前市面上已有的独居老人监护系统，主要关注度在老人体征参数(如心率、血压等)上，在异常行为上，仅有少部分产品关注了老人跌倒突发性异常情况，且对跌倒以外的其他异常行为如腰痛、咳嗽、头痛、呕吐、踉跄、异常徘徊等多种行为，缺乏有效地分析。究其原因，现有独居老人异常行为检测方法主要存在以下不足：基于可穿戴传感器的方法，由于传感器种类受限，行为识别种类单一，并且老人容易忘记佩戴；基于位置轨迹的方法，严重依赖于用户的历史数据，对于突发性危险的异常行为，很难及时发现并报警。而基于视频监控的方法，又存在着室内监控隐私暴露、人工提取行为特征，缺少时序信息，识别种类少且不准确的问题。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种用于独居老人监护的异常行为检测系统及方法，旨在解决现有技术中独居老人监护系统行为异常行为识别单一，对摔倒以外的多种异常行为检测不足的问题。
为实现上述目的，本发明提供一种用于独居老人监护的异常行为检测系统，所述用于独居老人监护的异常行为检测系统包括：
图像采集装置、总处理器和远程监护人终端；所述总处理器分别与所述图像采集装置和所述远程监护人终端连接；
所述图像采集装置用于采集室内环境中独居老人日常生活的图像数据，并将所述图像数据发送给所述总处理器；
所述总处理器用于基于骨架的行为识别算法，对人体进行定位、跟踪、骨架提取、行为识别和异常判定，对独居老人居家环境中的多种异常行为进行检测；
所述远程监护人终端用于基于人体的骨架序列数据实现真实环境下人体行为的事实还原，并根据异常行为进行告警。
可选地，所述的用于独居老人监护的异常行为检测系统，其中，所述图像采集装置包括：多个摄像头和数据存储处理器；
多个所述摄像头分别设置在独居老人活动的多个活动区域上方，用于多角度捕捉室内环境中独居老人日常生活的图像数据；
所述数据存储处理器用于存储多个所述摄像头拍摄的图像数据。
可选地，所述的用于独居老人监护的异常行为检测系统，其中，所述总处理器包括：图像读取模块、识别与跟踪模块、骨架序列提取模块、行为识别模块和异常判定模块；
所述图像读取模块、所述识别与跟踪模块、所述骨架序列提取模块、所述行为识别模块和所述异常判定模块依次连接；
所述图像读取模块用于接收多个所述摄像头拍摄的图像数据，获取目标活动空间区域范围内的视频图像，并将读取的视频图像发送给所述目标识别与跟踪模块；
所述识别与跟踪模块用于根据视频图像进行人体目标检测得到人体目标区域，并利用目标跟踪算法对多帧图像中同一目标进行跟踪，获得独居老人的目标图像流，并将独居老人的目标图像流发送给所述骨架序列提取模块；
所述骨架序列提取模块用于采用姿态估计模型根据目标图像流获取独居老人当前的姿态数据，所述姿态数据为人体的多个骨骼关键点数据，并将一段时间内的骨骼关键点进行组合，形成骨架序列数据，将骨架序列数据发送给所述行为识别模块；
所述行为识别模块用于将骨架序列数据输入到已训练好的行为识别模型进行识别，提取人体时间与空间上的行为特征，得到行为分类结果，并将行为分类结果发送给所述异常判定模块；
所述异常判定模块用于根据行为分类结果，动态更新每个时刻当前各种行为的频次、持续时间数据，并根据多维数据设定阈值触发，制定异常判定策略，实现多类型异常行为的识别。
可选地，所述的用于独居老人监护的异常行为检测系统，其中，所述远程监护人终端包括：监控展示模块和异常报警模块；
所述监控展示模块用于基于人体的骨架序列数据，通过骨架数据驱动3D模型的方式，通过3D模型实现真实环境下人体行为的事实还原；
所述异常报警模块用于获取异常行为判定信息，根据异常行为等级，分别生成告知、紧急通知和报警信息。
可选地，所述的用于独居老人监护的异常行为检测系统，其中，多个所述摄像头为自动跟踪摄像头。
可选地，所述的用于独居老人监护的异常行为检测系统，其中，所述获取目标活动空间区域范围内的视频图像：包括：
所述图像读取模块根据相机的前景人体检测结果，自动选择独居老人所在活动空间区域的摄像头，并获取独居老人所在活动空间区域的摄像头的视频图像。
可选地，所述的用于独居老人监护的异常行为检测系统，其中，所述根据视频图像进行人体目标检测得到人体目标区域，并利用目标跟踪算法对多帧图像中同一目标进行跟踪，获得独居老人的目标图像流，包括：
所述识别与跟踪模块构建网络模型，基于所述网络模型提取视频图像中人体目标对象的分布特征；
所述识别与跟踪模块检测生成视频图像中的所有人体目标以及目标对象框的位置；
所述识别与跟踪模块针对每个目标对象框，根据人体对象目标运动的空间连续性，利用卡尔曼滤波器预测当前位置，再通过匈牙利算法关联目标对象框到已有的人体目标编号，若无对应目标，则新建一个人体目标编号，在新产生一个人体目标编号时，调用人脸识别算法进行人物甄别，当检测到所获取的目标视频流为目标独居老人时，获取当前人体目标编号的目标视频流。
可选地，所述的用于独居老人监护的异常行为检测系统，其中，所述识别与跟踪模块还用于当目标检测结果出现检测不连续时，利用卡尔曼滤波对网络模型输出的人体目标框进行补偿和修正，使用卡尔曼滤波算法推理得到人体区域位置，并将人体区域位置加入到目标检测结果中。
可选地，所述的用于独居老人监护的异常行为检测系统，其中，所述将一段时间内的骨骼关键点进行组合，形成骨架序列数据，包括：
所述骨架序列提取模块在目标图像流中抽取一帧视频；
所述骨架序列提取模块间隔预设数量的视频帧抽取下一帧视频送入队列；
所述骨架序列提取模块检查队列长度，当队列长度达到设定数量后打包形成骨架序列数据
可选地，所述的用于独居老人监护的异常行为检测系统，其中，所述行为分类结果包括咳嗽、踉跄、摔倒、头痛、捂心脏、背痛、脖子痛、呕吐、站立、坐下、站着、走路、坐着和躺着。
可选地，所述的用于独居老人监护的异常行为检测系统，其中，所述异常行为包括：突发异常行为、健康异常行为和状态异常行为。
可选地，所述的用于独居老人监护的异常行为检测系统，其中，所述异常行为的判断维度包括：动作类别、持续时间和发生频次。
可选地，所述的用于独居老人监护的异常行为检测系统，其中，所述通过骨架数据驱动3D模型的方式，包括：
所述监控展示模块获取独居老人的实时骨架序列数据；
所述监控展示模块绑定虚拟3D模型，并进行骨架序列数据的对齐和校准；
所述监控展示模块使用骨架序列数据实时驱动更新3D模型的位置和姿态。
此外，为实现上述目的，本发明还提供一种用于独居老人监护的异常行为检测方法，所述用于独居老人监护的异常行为检测方法包括如下步骤：
所述图像采集装置采集室内环境中独居老人日常生活的图像数据，并将所述图像数据发送给所述总处理器；
所述总处理器基于骨架的行为识别算法，对人体进行定位、跟踪、骨架提取、行为识别和异常判定，对独居老人居家环境中的多种异常行为进行检测；
所述远程监护人终端基于人体的骨架序列数据实现真实环境下人体行为的事实还原，并根据异常行为进行告警。
本发明中，所述用于独居老人监护的异常行为检测系统包括：图像采集装置、总处理器和远程监护人终端；所述总处理器分别与所述图像采集装置和所述远程监护人终端连接；所述图像采集装置用于采集室内环境中独居老人日常生活的图像数据，并将所述图像数据发送给所述总处理器；所述总处理器用于基于骨架的行为识别算法，对人体进行定位、跟踪、骨架提取、行为识别和异常判定，对独居老人居家环境中的多种异常行为进行检测；所述远程监护人终端用于基于人体的骨架序列数据实现真实环境下人体行为的事实还原，并根据异常行为进行告警。本发明在隐私保护的前提下，可以及时监控独居老人的异常行为，并及时对检测到的异常行为进行告警，便于独居老人出现异常行为时得到及时救助。
附图说明
图1是本发明用于独居老人监护的异常行为检测系统的较佳实施例的原理示意图；
图2是本发明用于独居老人监护的异常行为检测系统的较佳实施例中摄像头在独居老人活动空间中分布的示意图；
图3是本发明用于独居老人监护的异常行为检测系统的较佳实施例中基于骨架序列的行为识别框架示意图；
图4是本发明用于独居老人监护的异常行为检测系统的较佳实施例中骨骼序列提取部分示意图；
图5是本发明用于独居老人监护的异常行为检测系统的较佳实施例中骨骼序列驱动3D模型示意图；
图6是本发明用于独居老人监护的异常行为检测系统的较佳实施例中监控展示界面示意图；
图7是本发明用于独居老人监护的异常行为检测方法的较佳实施例的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了突破现有独居老人监护系统行为异常行为识别单一，对摔倒以外的多种异常行为检测不足的问题，本发明提供一种用于独居老人监护的异常行为检测系统，不仅可以及时发现摔倒之外的其他危险突发异常行为比如呕吐、咳嗽等，还可以对构成长期健康隐患的异常行为，例如头痛、腰痛、踉跄、心脏不适、异常徘徊等异常行为进行分析，同时针对视觉隐私暴露的问题，采用视觉隐私保护技术，实现对独居老人室内多种异常行为安全地进行检测、分析以及报警。
本发明较佳实施例所述的用于独居老人监护的异常行为检测系统，如图1所示，所述用于独居老人监护的异常行为检测系统包括：图像采集装置10、总处理器20和远程监护人终端30；所述总处理器20分别与所述图像采集装置10和所述远程监护人终端30连接。
其中，所述图像采集装置10用于采集室内环境中独居老人日常生活的图像数据，并将所述图像数据发送给所述总处理器20。
其中，所述总处理器20用于基于骨架的行为识别算法，对人体进行定位、跟踪、骨架提取、行为识别和异常判定，对独居老人居家环境中的多种异常行为进行检测。
其中，所述远程监护人终端30用于基于人体的骨架序列数据实现真实环境下人体行为的事实还原，并根据异常行为进行告警。
具体地，所述图像采集装置10包括：多个摄像头11(例如图1中的摄像头1、摄像头2、摄像头3、……、摄像头n，其中，n为正整数)和数据存储处理器12；多个所述摄像头11分别设置在独居老人活动的多个活动区域上方，用于多角度捕捉室内环境中独居老人日常生活的图像数据，如图2所示，在活动空间1的一个角落设置有一个摄像头，在活动空间2的两个角落设置有两个摄像头，在活动空间3的一个角落设置有一个摄像头，并且多个所述摄像头11为自动跟踪摄像头，多个所述摄像头11放置在独居老人多个活动场所的上方(例如客厅、厨房、卧室等)，用于捕捉环境中独居老人最全面的日常生活视频图像；所述数据存储处理器12用于存储多个所述摄像头11拍摄的图像数据。
具体地，所述总处理器20包括：图像读取模块21、识别与跟踪模块22、骨架序列提取模块23、行为识别模块24和异常判定模块25；所述图像读取模块21、所述识别与跟踪模块22、所述骨架序列提取模块23、所述行为识别模块24和所述异常判定模块25依次连接。
其中，所述图像读取模块21用于接收独居老人居家环境中多个所述摄像头11拍摄的图像数据，获取目标活动空间区域范围内的视频图像，并将读取的视频图像发送给所述目标识别与跟踪模块22；所述图像读取模块21根据相机的前景人体检测结果(用于判断独居老人主要活动在哪个摄像头范围内)，自动选择独居老人所在活动空间区域的摄像头，并获取独居老人所在活动空间区域的摄像头的视频图像。
其中，所述识别与跟踪模块22用于根据视频图像进行人体目标检测得到人体目标区域，并利用目标跟踪算法对多帧图像中同一目标进行跟踪，获得独居老人的目标图像流，并将独居老人的目标图像流发送给所述骨架序列提取模块23；进一步地，如图3所示，所述识别与跟踪模块22构建网络模型(例如YOLO_Tiny)，基于所述网络模型提取视频图像中人体目标对象的分布特征；检测生成视频图像中的所有人体目标以及目标对象框的位置；针对每个目标对象框，根据人体对象目标运动的空间连续性，即人体对象目标在下一帧的位置位于前一帧中同一对象目标位置附近，利用卡尔曼滤波器预测当前位置，再通过匈牙利算法关联目标对象框到已有的人体目标编号，若无对应目标，则新建一个人体目标编号，从而实现每个人体目标的跟踪。
鉴于独居老人大部分时间是独自在家，为了提高网络模型的速度，减少不必要的计算开销，所用网络模型的目标检测数量限制在两人及以下；同时为了确保得到的目标图像流是所监控独居老人的有效视频流，在新产生一个人体目标编号时，调用人脸识别算法进行人物甄别，当检测到所获取的目标视频流为目标独居老人时，获取当前人体目标编号的目标视频流，并发送给所述骨架序列提取模块23进行处理。
进一步地，鉴于目标检测结果会有检测不连续的情况，尤其是人物在做一些相对速度较快的动作，例如摔倒，会出现有的帧没有检测到人体，这对后续的基于连续骨架序列的行为识别的准确度有很大影响。针对这种情况，本发明引入卡尔曼滤波对目标检测网络输出的人体目标框进行补偿和修正，在没有检测到人体区域的情况下，使用卡尔曼滤波算法推理，估计人体区域位置，将其加入到目标检测结果中。
其中，如图3所示，所述骨架序列提取模块23用于采用姿态估计模型根据目标图像流获取独居老人当前的姿态数据，所述姿态数据为人体的多个骨骼关键点数据，并将一段时间内的骨骼关键点进行组合，形成骨架序列数据，将骨架序列数据发送给所述行为识别模块24。
对于姿态估计模型，本发明采用AlphaPose的FastPose网络模型，获取到每个时刻的独居老人骨骼关键点信息，鉴于多种姿态估计模型可以达到此目的，故也可做等效替换。
如图4所示，获取的骨架序列数据，反映了一段时间内独居老人的行为姿态信息。由于后续基于骨架序列进行为识别的模型，需要进行时间空间上的特征提取，推理速度上可能无法达到实时检测，本发明发现独居老人的行动缓慢，当前视频帧与前几帧的姿态十分相似，姿态信息冗余量比较多，如果按照传统的逐帧提取骨架序列的方式，容易导致提取速度受限，后续行为识别结果滞后等问题，可以通过规律的视频帧提取方法，增加模型推理速度。
因此，在本发明例中，本发明还公开提取骨架的方法：(1)在目标图像流中抽取一帧视频；(2)间隔一定数量的视频帧，再抽取下一帧，送入队列，本发明中采用了3帧的间隔，但在实践中，可以根据最终效果选择合适的间隔视频帧；(3)检查队列长度，达到一定数量后打包形成骨架序列数据，送入行为识别模块24。本发明中采用30帧作为抽取的队列长度达到了最好的效果。在实践中，也可动态调整队列长度，适配模型中大部分的行为动作类型，达到最优结果。
其中，所述行为识别模块24用于将骨架序列数据输入到已训练好的行为识别模型进行识别，提取人体时间与空间上的行为特征，得到行为分类结果，并将行为分类结果发送给所述异常判定模块25。相比于传统方法，具有轻量、速度快、针对性强且准确率高等特点。
如图3所示，所述行为识别模型依据的是基于骨架序列的行为识别框架，分别通过识别与跟踪模块22获取目标视频流、通过骨架序列提取模块23获取骨架序列，并构造骨架序列的时空图，之后用多层时空图卷积ST-GCN，逐步在图上生成更高层次的特征图，最后用标准SoftMax分类器将其分类为相应的动作类别。
在本发明中，训练好的行为识别模型是通过自制数据集上训练生成的含有14种行为类别的ST-GCN模型，包括咳嗽、踉跄、摔倒、头痛、捂心脏、背痛、脖子疼、呕吐、站立、坐下、站着、走路、坐着、躺着。其中，为了使减少对独居老人一些相对静止行为的误判，特别加入了一些日常的状态行为，如站着、坐着、躺着。
需要说明的是，本发明中行为识别模型只选择了一些具有代表性的用于异常判定的行为类别，在其他实施例中，训练好的行为识别模型可以是其他基于骨架序列的行为识别模型，且至少能够识别包括摔倒、呕吐、咳嗽、踉跄、走路、头痛、腰痛、捂心脏等的一种或多种行为。
其中，所述异常判定模块25用于根据行为分类结果，动态更新每个时刻当前各种行为的频次、持续时间数据，并根据多维数据设定阈值触发，制定异常判定策略，实现多类型异常行为的识别。
进一步地，所述异常行为包括：突发异常行为、健康异常行为和状态异常行为；
其中，突发异常行为判定：一些突发的异常行为能够直接反映了独居老人的安全健康信息，比如，摔倒、呕吐等；经调查发现，跌倒是造成独居老人高死亡率的重要原因之一，当老人出现跌倒时，若不能进行及时救助的，会带来非常严重的生命危险；而心绞痛或者冠心病患者以呕吐为首发表现，在脑血管疾病中，由于颅内压增高导致喷射样呕吐，属于危险老年人生命健康的疾病。像此类的异常行为动作有着发生突然、后果影响严重的特点。因此，此类动作出现，就有一定的危险意味。当该类别动作发生时，即判定为异常，超过一定时间阈值时，则需要把这类异常行为设置为最高等级。
其中，健康异常行为判定：有一类行为少量短时发生时，影响不明显，但如果结合频次判断，就可能会反应出独居老人的长期健康隐患，如长期经常性扶腰可以反映出老人腰部不适、多次手捂胸口可能有心脏问题、经常性脚步不稳反映某些慢性疾病等等。由于随着年龄的增长，老年人的身体机能变弱，尽早发现此类异常行为，可以及时发现独居老人的身体健康隐患，同时还可以为老人就医看诊提供更加精准的辅助诊断信息。因此，需要结合频次进行判断，当达到一定频次后，升级异常等级。
其中，状态异常行为判定：还有一类行为是由于日常行为持续时间过长且频次超过正常范围，对于独居老人这一特殊群体，一定程度上间接地表明了独居老人的状态异常。比如，独居老人多次长时间地室内徘徊的行为的背后，往往映射出老人健康状态异常，或是记忆力障碍、或是情绪不稳定、或是老年痴呆等等；另外老人多次出现长时间地嗜睡，也显示可能患有某些慢性疾病如脑动脉硬化症等。需要结合每次行为的持续时间和频次进行综合阈值判定异常等级，当两者都超过阈值，升级异常等级。
需要说明的是，在本发明中主要使用了动作类别、持续时间、发生频次三个维度的数据进行了三种异常行为包括突发异常、状态异常、健康异常的标定，并判定了两种不同程度上的异常等级。在其他实施例中，可以根据实际的行为类别，利用至少不少于一个维度的数据，进行异常行为的特征标定，并利用至少不少于一个等级的规则，判定异常行为的异常等级。
本发明使用远程监护人终端30来监控独居老人的日常活动行为，但由于近几年，监控泄露问题频繁出现，本发明采用了基于骨架序列的隐私保护监控方法，通过接收骨架序列，进行人体行为可视还原，进行远程监控。不同于传统方法，该方法隐藏被监控老人的人脸身份信息、生活环境细节信息等，在视觉隐私保护的前提下，进行监控和报警。
具体地，所述远程监护人终端30包括：监控展示模块31和异常报警模块32。
其中，所述监控展示模块31用于基于人体的骨架序列数据，通过骨架数据驱动3D模型的方式，通过3D模型实现真实环境下人体行为的事实还原，便于监护人查看确认老人的实时状况。
进一步地，在本发明中，本发明还公开了人体骨架数据驱动3D模型的方式，步骤主要包括：(1)获取独居老人的实时骨架序列数据；(2)绑定虚拟3D模型，并进行骨骼数据的对齐和校准；(3)使用骨架数据实时驱动更新3D模型的位置、姿态。
参照图5和图6，从实现效果可以看出，该方式可以在只获取到人体骨架等隐私性相对较弱的数据时，可以较好地还原人体行为，隐藏不必要的隐私信息，提供实时监控。
其中，所述异常报警模块32用于获取异常行为判定信息，根据异常行为等级，分别生成告知、紧急通知和报警信息，通知给相关部门和人员。
本发明提供一种用于独居老人的异常行为检测系统，在视觉隐私保护的前提下，实现了对包括摔倒在内的多种异常行为的检测，并及时报警，便于监护机构、医护、子女及时发现救助、健康隐患防治，为独居老人监护提供有力支持。
本发明不仅可以发现危险突发异常行为，如摔倒、呕吐等，还可以对构成长期健康隐患的异常行为，如头痛、腰痛、踉跄、咳嗽、心脏不适、异常徘徊等进行分析，同时在隐私保护的前提下，提供了一种独居老人远程监控的手段，为独居老人的安全、健康防护提供了有效支撑。
进一步地，基于上述用于独居老人监护的异常行为检测系统，本发明还提供一种用于独居老人监护的异常行为检测方法，本发明较佳实施例所述的用于独居老人监护的异常行为检测方法，如图7所示，所述用于独居老人监护的异常行为检测方法包括以下步骤：
步骤S10、所述图像采集装置采集室内环境中独居老人日常生活的图像数据，并将所述图像数据发送给所述总处理器；
步骤S20、所述总处理器基于骨架的行为识别算法，对人体进行定位、跟踪、骨架提取、行为识别和异常判定，对独居老人居家环境中的多种异常行为进行检测；
步骤S30、所述远程监护人终端基于人体的骨架序列数据实现真实环境下人体行为的事实还原，并根据异常行为进行告警。
综上所述，本发明提供一种用于独居老人监护的异常行为检测系统及方法，所述用于独居老人监护的异常行为检测系统包括：图像采集装置、总处理器和远程监护人终端；所述总处理器分别与所述图像采集装置和所述远程监护人终端连接；所述图像采集装置用于采集室内环境中独居老人日常生活的图像数据，并将所述图像数据发送给所述总处理器；所述总处理器用于基于骨架的行为识别算法，对人体进行定位、跟踪、骨架提取、行为识别和异常判定，对独居老人居家环境中的多种异常行为进行检测；所述远程监护人终端用于基于人体的骨架序列数据实现真实环境下人体行为的事实还原，并根据异常行为进行告警。本发明在隐私保护的前提下，可以及时监控独居老人的异常行为，并及时对检测到的异常行为进行告警，便于独居老人出现异常行为时得到及时救助。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (14)

1.一种用于独居老人监护的异常行为检测系统，其特征在于，所述用于独居老人监护的异常行为检测系统包括：
图像采集装置、总处理器和远程监护人终端；所述总处理器分别与所述图像采集装置和所述远程监护人终端连接；
所述图像采集装置用于采集室内环境中独居老人日常生活的图像数据，并将所述图像数据发送给所述总处理器；
所述总处理器用于基于骨架的行为识别算法，对人体进行定位、跟踪、骨架提取、行为识别和异常判定，对独居老人居家环境中的多种异常行为进行检测；
所述远程监护人终端用于基于人体的骨架序列数据实现真实环境下人体行为的事实还原，并根据异常行为进行告警。
2.根据权利要求1所述的用于独居老人监护的异常行为检测系统，其特征在于，所述图像采集装置包括：多个摄像头和数据存储处理器；
多个所述摄像头分别设置在独居老人活动的多个活动区域上方，用于多角度捕捉室内环境中独居老人日常生活的图像数据；
所述数据存储处理器用于存储多个所述摄像头拍摄的图像数据。
3.根据权利要求2所述的用于独居老人监护的异常行为检测系统，其特征在于，所述总处理器包括：图像读取模块、识别与跟踪模块、骨架序列提取模块、行为识别模块和异常判定模块；
所述图像读取模块、所述识别与跟踪模块、所述骨架序列提取模块、所述行为识别模块和所述异常判定模块依次连接；
所述图像读取模块用于接收多个所述摄像头拍摄的图像数据，获取目标活动空间区域范围内的视频图像，并将读取的视频图像发送给所述目标识别与跟踪模块；
所述识别与跟踪模块用于根据视频图像进行人体目标检测得到人体目标区域，并利用目标跟踪算法对多帧图像中同一目标进行跟踪，获得独居老人的目标图像流，并将独居老人的目标图像流发送给所述骨架序列提取模块；
所述骨架序列提取模块用于采用姿态估计模型根据目标图像流获取独居老人当前的姿态数据，所述姿态数据为人体的多个骨骼关键点数据，并将一段时间内的骨骼关键点进行组合，形成骨架序列数据，将骨架序列数据发送给所述行为识别模块；
所述行为识别模块用于将骨架序列数据输入到已训练好的行为识别模型进行识别，提取人体时间与空间上的行为特征，得到行为分类结果，并将行为分类结果发送给所述异常判定模块；
所述异常判定模块用于根据行为分类结果，动态更新每个时刻当前各种行为的频次、持续时间数据，并根据多维数据设定阈值触发，制定异常判定策略，实现多类型异常行为的识别。
4.根据权利要求3所述的用于独居老人监护的异常行为检测系统，其特征在于，所述远程监护人终端包括：监控展示模块和异常报警模块；
所述监控展示模块用于基于人体的骨架序列数据，通过骨架数据驱动3D模型的方式，通过3D模型实现真实环境下人体行为的事实还原；
所述异常报警模块用于获取异常行为判定信息，根据异常行为等级，分别生成告知、紧急通知和报警信息。
5.根据权利要求2所述的用于独居老人监护的异常行为检测系统，其特征在于，多个所述摄像头为自动跟踪摄像头。
6.根据权利要求3所述的用于独居老人监护的异常行为检测系统，其特征在于，所述获取目标活动空间区域范围内的视频图像：包括：
所述图像读取模块根据相机的前景人体检测结果，自动选择独居老人所在活动空间区域的摄像头，并获取独居老人所在活动空间区域的摄像头的视频图像。
7.根据权利要求3所述的用于独居老人监护的异常行为检测系统，其特征在于，所述根据视频图像进行人体目标检测得到人体目标区域，并利用目标跟踪算法对多帧图像中同一目标进行跟踪，获得独居老人的目标图像流，包括：
所述识别与跟踪模块构建网络模型，基于所述网络模型提取视频图像中人体目标对象的分布特征；
所述识别与跟踪模块检测生成视频图像中的所有人体目标以及目标对象框的位置；
所述识别与跟踪模块针对每个目标对象框，根据人体对象目标运动的空间连续性，利用卡尔曼滤波器预测当前位置，再通过匈牙利算法关联目标对象框到已有的人体目标编号，若无对应目标，则新建一个人体目标编号，在新产生一个人体目标编号时，调用人脸识别算法进行人物甄别，当检测到所获取的目标视频流为目标独居老人时，获取当前人体目标编号的目标视频流。
8.根据权利要求7所述的用于独居老人监护的异常行为检测系统，其特征在于，所述识别与跟踪模块还用于当目标检测结果出现检测不连续时，利用卡尔曼滤波对网络模型输出的人体目标框进行补偿和修正，使用卡尔曼滤波算法推理得到人体区域位置，并将人体区域位置加入到目标检测结果中。
9.根据权利要求3所述的用于独居老人监护的异常行为检测系统，其特征在于，所述将一段时间内的骨骼关键点进行组合，形成骨架序列数据，包括：
所述骨架序列提取模块在目标图像流中抽取一帧视频；
所述骨架序列提取模块间隔预设数量的视频帧抽取下一帧视频送入队列；
所述骨架序列提取模块检查队列长度，当队列长度达到设定数量后打包形成骨架序列数据。
10.根据权利要求3所述的用于独居老人监护的异常行为检测系统，其特征在于，所述行为分类结果包括咳嗽、踉跄、摔倒、头痛、捂心脏、背痛、脖子痛、呕吐、站立、坐下、站着、走路、坐着和躺着。
11.根据权利要求3所述的用于独居老人监护的异常行为检测系统，其特征在于，所述异常行为包括：突发异常行为、健康异常行为和状态异常行为。
12.根据权利要求11所述的用于独居老人监护的异常行为检测系统，其特征在于，所述异常行为的判断维度包括：动作类别、持续时间和发生频次。
13.根据权利要求4所述的用于独居老人监护的异常行为检测系统，其特征在于，所述通过骨架数据驱动3D模型的方式，包括：
所述监控展示模块获取独居老人的实时骨架序列数据；
所述监控展示模块绑定虚拟3D模型，并进行骨架序列数据的对齐和校准；
所述监控展示模块使用骨架序列数据实时驱动更新3D模型的位置和姿态。
14.一种基于权利要求1-13任一项所述用于独居老人监护的异常行为检测系统的用于独居老人监护的异常行为检测方法，其特征在于，所述用于独居老人监护的异常行为检测方法包括：
所述图像采集装置采集室内环境中独居老人日常生活的图像数据，并将所述图像数据发送给所述总处理器；
所述总处理器基于骨架的行为识别算法，对人体进行定位、跟踪、骨架提取、行为识别和异常判定，对独居老人居家环境中的多种异常行为进行检测；
所述远程监护人终端基于人体的骨架序列数据实现真实环境下人体行为的事实还原，并根据异常行为进行告警。
CN202210667931.1A 2022-06-14 2022-06-14 一种用于独居老人监护的异常行为检测系统及方法 Pending CN115116133A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210667931.1A CN115116133A (zh) 2022-06-14 2022-06-14 一种用于独居老人监护的异常行为检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210667931.1A CN115116133A (zh) 2022-06-14 2022-06-14 一种用于独居老人监护的异常行为检测系统及方法

Publications (1)

Publication Number Publication Date
CN115116133A true CN115116133A (zh) 2022-09-27

Family

ID=83328290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210667931.1A Pending CN115116133A (zh) 2022-06-14 2022-06-14 一种用于独居老人监护的异常行为检测系统及方法

Country Status (1)

Country Link
CN (1) CN115116133A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116602663A (zh) * 2023-06-02 2023-08-18 深圳市震有智联科技有限公司 一种基于毫米波雷达的智能监测方法及系统
CN116883946A (zh) * 2023-07-24 2023-10-13 武汉星巡智能科技有限公司 老人异常行为实时检测方法、装置、设备及存储介质
CN116959099A (zh) * 2023-06-20 2023-10-27 河北华网计算机技术有限公司 一种基于时空图卷积神经网络的异常行为识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102387345A (zh) * 2011-09-09 2012-03-21 浙江工业大学 基于全方位视觉的独居老人安全监护系统
CN110427834A (zh) * 2019-07-10 2019-11-08 上海工程技术大学 一种基于骨架数据的行为识别系统及方法
CN113963445A (zh) * 2021-11-15 2022-01-21 河南理工大学 一种基于姿态估计的行人摔倒动作识别方法及设备
CN114078603A (zh) * 2020-08-12 2022-02-22 锐可医疗科技(上海)有限公司 智能养老监护系统、方法及计算机设备、可读存储介质
CN114220176A (zh) * 2021-12-22 2022-03-22 南京华苏科技有限公司 一种基于深度学习的人体行为的识别方法
CN114469076A (zh) * 2022-01-24 2022-05-13 南京邮电大学 一种融合身份特征的独居老人跌倒识别方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102387345A (zh) * 2011-09-09 2012-03-21 浙江工业大学 基于全方位视觉的独居老人安全监护系统
CN110427834A (zh) * 2019-07-10 2019-11-08 上海工程技术大学 一种基于骨架数据的行为识别系统及方法
CN114078603A (zh) * 2020-08-12 2022-02-22 锐可医疗科技(上海)有限公司 智能养老监护系统、方法及计算机设备、可读存储介质
CN113963445A (zh) * 2021-11-15 2022-01-21 河南理工大学 一种基于姿态估计的行人摔倒动作识别方法及设备
CN114220176A (zh) * 2021-12-22 2022-03-22 南京华苏科技有限公司 一种基于深度学习的人体行为的识别方法
CN114469076A (zh) * 2022-01-24 2022-05-13 南京邮电大学 一种融合身份特征的独居老人跌倒识别方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116602663A (zh) * 2023-06-02 2023-08-18 深圳市震有智联科技有限公司 一种基于毫米波雷达的智能监测方法及系统
CN116602663B (zh) * 2023-06-02 2023-12-15 深圳市震有智联科技有限公司 一种基于毫米波雷达的智能监测方法及系统
CN116959099A (zh) * 2023-06-20 2023-10-27 河北华网计算机技术有限公司 一种基于时空图卷积神经网络的异常行为识别方法
CN116883946A (zh) * 2023-07-24 2023-10-13 武汉星巡智能科技有限公司 老人异常行为实时检测方法、装置、设备及存储介质
CN116883946B (zh) * 2023-07-24 2024-03-22 武汉星巡智能科技有限公司 老人异常行为实时检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US11819344B2 (en) Systems for automatic assessment of fall risk
US20230222805A1 (en) Machine learning based monitoring system
US20200237261A1 (en) Apparatus and method for the detection of the body position while sleeping
CN115116133A (zh) 一种用于独居老人监护的异常行为检测系统及方法
US20180007257A1 (en) Automatic detection by a wearable camera
JP6823160B2 (ja) ベッド転落を予測及び防止する患者監視のためのデバイス、システム、及び方法
CN110477925A (zh) 一种针对敬老院老人的跌倒检测与预警方法及系统
JP6915421B2 (ja) 見守り支援システム及びその制御方法
KR100822476B1 (ko) 원격 응급상황 모니터링 시스템 및 방법
CN108882853B (zh) 使用视觉情境来及时触发测量生理参数
CN113257440A (zh) 一种基于病患视频识别的icu智能看护系统
Kittipanya-Ngam et al. Computer vision applications for patients monitoring system
Shahiduzzaman Fall detection by accelerometer and heart rate variability measurement
US20220122732A1 (en) System and method for contactless monitoring and early prediction of a person
US20180322334A1 (en) Person Monitoring Device And Method, And Person Monitoring System
US11864926B2 (en) Systems and methods for detecting attempted bed exit
Bauer et al. Modeling bed exit likelihood in a camera-based automated video monitoring application
US20210338174A1 (en) Method and system for assessing emergency risk for patients
KR102608941B1 (ko) 인공지능을 이용한 환자의 이상 행동 탐지 시스템
Ianculescu et al. Improving the Elderly’s Fall Management through Innovative Personalized Remote Monitoring Solution
AU2021101323A4 (en) Method for fall prevention, fall detection and electronic fall event alert system for aged care facilities
Khawandi et al. Integrated monitoring system for fall detection in elderly
WO2020003952A1 (ja) コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法
EP4311479A1 (en) State of consciousness analysis apparatus, state of consciousness analysis program, and observation system
Leake Fall detectors for people with dementia

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination