CN116092128A - 一种基于机器视觉的单目实时人体跌倒检测方法及系统 - Google Patents

一种基于机器视觉的单目实时人体跌倒检测方法及系统 Download PDF

Info

Publication number
CN116092128A
CN116092128A CN202310230961.0A CN202310230961A CN116092128A CN 116092128 A CN116092128 A CN 116092128A CN 202310230961 A CN202310230961 A CN 202310230961A CN 116092128 A CN116092128 A CN 116092128A
Authority
CN
China
Prior art keywords
human body
ground
detection
falling
monocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310230961.0A
Other languages
English (en)
Inventor
王雪峰
田智宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202310230961.0A priority Critical patent/CN116092128A/zh
Publication of CN116092128A publication Critical patent/CN116092128A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的单目实时人体跌倒检测系统，该系统搭建了一个人体目标检测单分类模型，该体目标检测单分类模型仅检测人物对象，减小了模型大小。使用旋转增强的人物关键点数据集进行训练，使目标检测算法在角度姿势多变的场景下更加稳定，有较强的鲁棒性。而姿态检测算法用于在人体目标边框内识别人体关节点位置信息。本发明设计了姿态检测算法，基于该算法能够提取人体骨架中13个关节点的位置坐标及置信度，并基于上述位置坐标及置信度实现检测准确度和灵活性。本发明优化了跌倒检测判断方法，通过判断双腿及躯干肢体地面投影长度是否在人体正常肢体长度范围内将跌倒与非跌倒行为区分开，提升系统稳定性。

Description

一种基于机器视觉的单目实时人体跌倒检测方法及系统
技术领域
本发明涉及一种针对人体跌倒进行检测的系统，尤其涉及一种基于机器视觉的单目实时人体跌倒检测系统，属于人体姿态检测技术领域。
背景技术
跌倒造成的损伤会严重影响人的正常生活。在跌倒发生后，及时发现并进行医疗救护可以有效降低死亡的风险。因此，设计实时的人体跌倒检测系统以实现在独居老人发生跌倒后进行及时报警，对老龄化社会具有重要的意义和实用价值。
专利CN110443315B提供了一种室内环境下基于加权融合的老人跌倒检测方法，该方法通过蓝牙姿态传感器信号的数据包提取三轴加速度、三轴角速度和三轴角度并进行预处理、归一化处理和加权融合得到加权检测值，将加权检测值与设定阈值对比，判定是否为跌倒。但该方法所需的可穿戴式设备需要时刻佩戴在身上，会对使用者的正常生活造成影响，并受到设备电池电量的限制。
专利CN111091060B提供了一种基于深度学习的跌倒和暴力检测方法，将视频分割成图像序列输入到已训练好的卷积神经网络模型，提取出人体关节点的二维坐标，提取出与跌倒和暴力动作相关的特征。但仅依靠2D关节点位置信息，基于深度学习进行动作检测，受制于摄像头安放位置及角度、单目相机缺失深度信息等限制，易出现跌倒检测漏报误报等情况，鲁棒性不高。
发明内容
本发明设计了一种基于机器视觉的单目实时人体跌倒检测系统，该系统的技术目的之一在于搭建了一个人体目标检测单分类模型，该体目标检测单分类模型仅检测人物对象，减小了模型大小。同时，使用旋转增强的人物关键点数据集进行训练，使目标检测算法在角度姿势多变的场景下更加稳定，有较强的鲁棒性。而姿态检测算法用于在人体目标边框内识别人体关节点位置信息。本发明的技术目的之二在于设计了姿态检测算法，基于该算法能够提取人体骨架中13个关节点的位置坐标及置信度，并基于上述位置坐标及置信度实现检测准确度和灵活性。本发明的技术目的之三在于，进一步优化了跌倒检测判断方法，通过判断双腿及躯干肢体地面投影长度是否在人体正常肢体长度范围内将跌倒与非跌倒行为区分开，这种判断形式更兼具实用性和针对性，显著提升本发明系统的稳定性。
为实现上述目的，本发明采用的技术方案为一种基于机器视觉的单目实时人体跌倒检测系统，包括单目相机、舵机旋转云台、舵机驱动板、角度传感器和处理器开发板。
所述单目相机安装于舵机旋转云台上，舵机旋转云台与舵机驱动板连接，所述角度传感器安装于单目相机上，所述单目相机、舵机旋转云台、舵机驱动板和角度传感器均与处理器开发板连接。上述单目相机用于获取视频图像信息；舵机旋转云台、舵机驱动板用于进行相机实时角度控制；角度传感器用于获取相机姿态；处理器开发板用于整个系统的综合控制。
所述处理器开发板基于机器视觉与人体跌倒行为特征，由触发式跌倒检测算法逻辑实现。
具体地，上述触发式跌倒检测算法逻辑的实施过程如下：
S1初始化阶段：该初始化阶段分为地面标定物角点识别与地面分割算法两部分。地面标定物识别用于计算地面投影变换矩阵，以获取地面三维信息。单目相机成像后，将世界坐标系下的平面投影到像素坐标系下，即产生了图像的透视变换。经透视变换后图像的平直性将不再保持，仅保留图像的直线性，即在原始图像中共线的点经转换后将继续保持共线。在透视变换中，对于一个投影h:P1 2→P2 2，其中第一个二维空间P1 2投影至第二个二维空间P2 2中，存在一个非奇异的3*3矩阵H，使得对于任何二维空间P2上的点x，有h(x)＝Hx，即
Figure BDA0004120479640000021
其中x、y表示原始图像中一点的二维坐标，X＝x'/w'、Y＝y'/w'表示经透视变换后该点的对应坐标。hij为投影变化矩阵的参数，i、j分别表示非奇异的3*3矩阵行数和列数，均取值1-3。h(x)表示透视变换后二维空间坐标；
所述投影变换矩阵包含8个未知量，需获得4组不共线点的世界坐标系坐标及其对应的像素坐标系坐标来求解投影变换矩阵。在系统的初始化阶段，在地平面放置地面标定物，读取其四个角点的像素坐标并结合标定物已知的世界坐标来获得八个方程，给定4组地面坐标系及对应像素坐标系下的坐标：
(0,0)→(x0,y0)；(1,0)→(x1,y1)；(1,1)→(x2,y2)；(0,1)→(x3,y3)，可得
Figure BDA0004120479640000031
即可获得地面投影变换矩阵的8个未知参数。由地面投影矩阵及人体关节点的像素坐标，即可得到关节点在地平面的3D坐标，实现在2D平面内获得地平面上的深度信息。
由于跌倒发生的位置与地面区域密切相关，在算法初始化阶段，基于单目相继获取的视频图像，利用语义分割算法进行地面区域分割，将地面有关的类(地面、楼梯、楼梯间、过道、地毯等)进行区域划分，为后续触发式跌倒判断逻辑作准备。
S22D人体姿态检测阶段：通过人体目标检测算法、人体姿态检测算法以获取人体的关节点坐标位置。首先训练一个新的人体目标检测单分类模型，该人体目标检测单分类模型仅检测人体对象，减小了人体目标检测单分类模型的大小。使用旋转增强的人体关键点数据集进行训练，使目标检测算法在角度姿势多变的场景下更加稳定，有较强的鲁棒性。而姿态检测算法用于在人体目标边框内识别人体关节点位置信息。基于姿态检测提取人体骨架中13个关节点的位置坐标及置信度。所述13个关节点分别为头部、左肩、右肩、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚。
经过人体目标和姿态检测算法，获得的人体2D关节点信息在后续的跌倒检测算法中将被用来对人体动作进行分类，同时用于判断人体是否在地面区域以及肢体投影长度是否在阈值内等跌倒检测条件。通过以下两个逻辑来判断人体处于可跌倒的地面区域：1)在目标检测后判断人体目标边框中地面区域占比大于阈值，2)在姿态检测后判断双脚与另一关节点位于地面区域。如满足两个条件则进行后续程序。
S3基于肢体投影长度的跌倒检测方法判断：在初始化阶段通过地面标定物的角点坐标得到了地面投影变换矩阵。当人体13个关节点的像素坐标得到后，假设人体都倒在地上，则可以通过假设这些像素点都在地面来计算各个关节点投影到地面后的3D坐标，进而得到在此假设下人体上肢下肢等关节的投影长度。跌倒发生后，人体双腿位于地面，及躯干位于以髋关节为球心的半球面内；由此得到各肢体地面投影长度，设计基于肢体长度的跌倒检测判断方法，通过判断双腿及躯干肢体地面投影长度是否在人体正常肢体长度范围内将跌倒与非跌倒行为区分开。依据人体双脚与单目相机的距离远近选定不同的肢体长度阈值与判断逻辑：距离远时选择大的长度阈值且双腿与躯干只要分别满足阈值；距离近时则选择小的长度阈值且双腿与躯干需要同时满足阈值。
在进行长度检测中，坐姿状态下人体双腿关节点与地面平面接近，双腿的地面投影长度未被明显拉长，不易于跌倒行为区分。利用基于人体关节点时空位置序列进行学习的时空图卷积神经网络进行动作检测，以排除坐姿动作对长度检测方法的干扰。
S4多帧联合跌倒判断：包含人体目标中心移动速度筛选、联合目标检测和误判闪现筛选三个逻辑。人体目标中心移动速度筛选通过计算多帧图像中人体目标中心点像素坐标的方差过滤掉正在移动的人体目标，不进行后续检测。联合目标检测基于跌倒行为不会发生在沙发、床、椅子等特殊位置，过滤掉在上述位置的人体目标，减小跌倒检测误报漏报等情况的发生。为避免出现部分视频帧数被误判为跌倒行为，进行误判闪现筛选，即通过满足连续20帧图像中10帧以上被判别为跌倒，再最终判定为跌倒行为，且跌倒帧数发生在后续几帧中，再最终判断为环境中发生跌倒行为。
与现有技术相比，本发明具有以下优点。
1、利用触发式跌倒检测判断流程，优化各算法模块使用频率，提高算法运行效率，降低系统对算力的要求。
2、基于跌倒行为特征，设计地面分割算法、肢体投影长度筛选方法、联合目标检测算法等多个算法筛选逻辑，有效排除了跌倒检测过程中由于环境复杂、动作种类多样造成的误报漏报情况，相较于仅依靠神经网络进行动作预测的方法具有更高的鲁棒性。
3、由于单目相机缺失深度信息，本发明基于投影变换原理设计地面标定算法，在成本较低、使用方便的单目相机中获取一定的三维深度信息，提高了跌倒检测系统的准确性。
附图说明
图1为本发明的硬件系统架构图。
图2为本发明的算法整体流程图。
图3为本发明各阶段运行效果图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利的保护范围不限于下述的实施例。
图1所示为本发明的硬件系统架构图。跌倒检测系统由单目相机获取监测环境中的视频图像信息；由双轴舵机旋转云台进行相机俯仰角与偏摆角的控制。由舵机驱动板发出PWM信号控制舵机旋转，设计了PID(比例-积分-微分)闭环控制算法消除误差，以防止出现舵机抖动现象。PID控制算法公式如下：
Figure BDA0004120479640000051
使用角度传感器获取相机的位姿，并通过嵌入式开发板实现对整体硬件系统的控制。
图2所示为本发明的算法整体流程图。
步骤101：将用于进行跌倒检测的单目相机放置于合适的角度与位置，输入用户个人信息，签署隐私保密协议，仅将采集到的环境视频数据用于判断环境中是否发生跌倒行为，避免发生隐私泄露等问题。
步骤102：开机，通过角点识别检测相机位置是否发生移动。若为初次使用或检测到相机位置发生移动，则进行一次地面标定与地面分割。
步骤103：在地面平面内铺设标定物，并输入该标定物的尺寸信息。通过获取标定物角点的像素坐标，结合世界坐标计算得地面坐标变换矩阵，完成地面标定，得到的坐标变换矩阵将用于后续肢体长度投影计算。
步骤104：保持环境中地面未被人体或其他物体遮挡，利用语义分割算法进行地面区域分割，将地面、楼梯、楼梯间、过道、地毯等类别进行区域划分，用于后续跌倒检测逻辑筛选判断。
步骤201：利用单分类人体目标检测算法进行人体目标检测。在人体目标检测中，需要对人体目标进行跟踪。卡尔曼滤波被广泛应用于目标跟踪，包括先验状态估计及后验量测更新两个步骤。用X1、Y1表示t1时刻的状态值和观测值，X2、Y2表示t2时刻的状态值和观测值，先验估计将利用t1时刻的X1、Y1，估计t2时刻的X2。后验估计通过上一步的先验估计得到一个预测值X2，再利用t2时刻的Y2值对预测值进行修正，得到最终的X2估计值。
人体目标的状态变量为xk＝[x y a h vx vy va vh]T，其中x、y为人体目标边框中心点；a为目标边框宽高比，h为目标边框高度，vx、vy、va、vh为对应变量随时间的变化率。
经过人体目标检测与卡尔曼目标跟踪，将得到人体目标边框区域。设置了两个跌倒检测筛选逻辑：1)人体目标个数小于等于3进行后续检测，否则说明环境中人数较多，发生意外跌倒行为易被及时处理，无需进行后续检测。2)判断人体目标边框中地面区域占比大于阈值，若小于则表明人体不位于地面区域内，与跌倒行为实际不符，读取下一帧图像不进行后续检测。
步骤202：利用姿态识别算法在目标检测的基础上获取人体的关节点位置坐标，包括头部、左肩、右肩、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚、右脚13个关节点。完成姿态检测后，判断是否满足双脚+另一关节点位于地面区域范围内，满足则与跌倒行为相符合，触发后续检测流程。
步骤301：基于跌倒人体的行为特征，通过算法初始化阶段得到的地面坐标变换矩阵和2D姿态检测中的关节点位置坐标，计算人体肢体的地面投影长度，判断其是否在合理阈值内以判断是否发生跌倒行为。非跌倒状态下，由于人体相关关节点未在地面内，如果将人体关节点的像素假设投影至地面上，计算得出的肢体长度会被明显拉长；而跌倒状态下，人体双腿各关节点基本位于地面上，所以投影到地面后计算得出的肢体长度会在正常阈值范围内。
步骤302：若肢体投影长度在阈值范围内，利用动作检测算法进行动作检测，判断是否为坐姿行为，排除坐姿对肢体投影长度检测逻辑的干扰。
步骤401：由于人体发生跌倒行为后移动会相对很缓慢。通过计算多帧图像中人体目标边框中心点像素坐标的移动速度，判断人体目标是否发生显著移动。判断方法为计算连续10帧人体目标边框中心点横纵坐标的方差是否大于阈值，若大于阈值则表明人体目标发生快速移动，不触发后续跌倒检测程序。
步骤402：日常生活中的行为如躺在床上、靠在沙发上、坐在椅子上等与跌倒行为相近，不易通过机器视觉将其与跌倒行为区分。为避免上述近似跌倒行为对跌倒检测的干扰，设计联合目标检测算法逻辑，在前序跌倒检测流程判定为跌倒行为后，对视频图像中沙发、床、椅子等家具做目标检测，计算与人体目标检测的交并比IoU(Intersection overUnion)值。此值若大于给定阈值则认为人体在家具上，不判定为跌倒行为。
步骤403：为避免出现部分视频帧数被误判为跌倒行为，进行误判闪现筛选。需多帧视频被判定为跌倒行为，且跌倒帧数发生在后续几帧中，再最终判断为发生了跌倒行为，发出实时跌倒报警信息。
图3所示为本发明跌倒检测系统各阶段运行效果。

Claims (8)

1.一种基于机器视觉的单目实时人体跌倒检测方法，其特征在于，包括如下步骤，S1初始化阶段：该初始化阶段分为地面标定物角点识别与地面分割算法两部分；地面标定物识别用于计算地面投影变换矩阵，以获取地面三维信息；
地面分割算法中，基于单目相继获取视频图像，利用语义分割算法进行地面区域分割，将地面有关的类进行区域划分，为后续触发式跌倒判断逻辑作准备；
S22D人体姿态检测阶段：通过人体目标检测算法、人体姿态检测算法获取人体关节点坐标位置；人体目标检测算法中，训练一个人体目标检测单分类模型，该人体目标检测单分类模型仅检测人体对象，使用旋转增强的人体关键点数据集进行训练；人体姿态检测算法用于在人体目标边框内识别人体关节点位置信息；基于姿态检测提取人体骨架中13个关节点的位置坐标及置信度；
经过人体目标检测算法和人体姿态检测算法，获得的人体2D关节点信息在后续的跌倒检测算法中将被用来对人体动作进行分类，同时用于判断人体是否在地面区域以及肢体投影长度是否在阈值内跌倒检测条件；通过以下两个逻辑来判断人体处于可跌倒的地面区域：1)在目标检测后判断人体目标边框中地面区域占比大于阈值，2)在姿态检测后判断双脚与另一关节点位于地面区域；如满足两个条件则进行后续步骤；
S3基于肢体投影长度的跌倒检测方法判断：在初始化阶段通过地面标定物的角点坐标得到地面投影变换矩阵；依据人体双脚与单目相机的距离远近选定不同的肢体长度阈值与判断逻辑；
S4多帧联合跌倒判断：包含人体目标中心移动速度筛选、联合目标检测和误判闪现筛选三个逻辑；人体目标中心移动速度筛选通过计算多帧图像中人体目标中心点像素坐标的方差过滤掉正在移动的人体目标，不进行后续检测；联合目标检测基于跌倒行为不会发生在沙发、床、椅子，过滤掉在沙发、床、椅子位置的人体目标；通过满足连续20帧图像中10帧以上被判别为跌倒，再最终判定为跌倒行为，且跌倒帧数发生在后续几帧中，再最终判断为环境中发生跌倒行为；避免出现部分视频帧数被误判为跌倒行为，进行误判闪现筛选。
2.根据权利要求1所述的一种基于机器视觉的单目实时人体跌倒检测方法，其特征在于，所述13个关节点分别为头部、左肩、右肩、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚。
3.根据权利要求1所述的一种基于机器视觉的单目实时人体跌倒检测方法，其特征在于，当人体13个关节点的像素坐标得到后，假设人体都倒在地上，则通过假设这些像素点都在地面来计算各个关节点投影到地面后的3D坐标，进而得到在此假设下人体上肢下肢关节的投影长度；跌倒发生后，人体双腿位于地面，及躯干位于以髋关节为球心的半球面内；由此得到各肢体地面投影长度，设计基于肢体长度的跌倒检测判断方法，通过判断双腿及躯干肢体地面投影长度是否在人体正常肢体长度范围内将跌倒与非跌倒行为区分开。
4.根据权利要求1所述的一种基于机器视觉的单目实时人体跌倒检测方法，其特征在于，在进行长度检测中，坐姿状态下人体双腿关节点与地面平面接近，双腿的地面投影长度未被明显拉长，不易于跌倒行为区分；利用基于人体关节点时空位置序列进行学习的时空图卷积神经网络进行动作检测，以排除坐姿动作对长度检测方法的干扰。
5.根据权利要求1所述的一种基于机器视觉的单目实时人体跌倒检测方法，其特征在于，单目相机成像后，将世界坐标系下的平面投影到像素坐标系下，即产生了图像的透视变换。
6.根据权利要求1所述的一种基于机器视觉的单目实时人体跌倒检测方法，其特征在于，在地平面放置地面标定物，读取其四个角点的像素坐标并结合标定物已知的世界坐标来获得八个方程，给定4组地面坐标系及对应像素坐标系下的坐标，并获得地面投影变换矩阵的8个未知参数；由地面投影矩阵及人体关节点的像素坐标，即可得到关节点在地平面的3D坐标，实现在2D平面内获得地平面上的深度信息。
7.根据权利要求1所述的一种基于机器视觉的单目实时人体跌倒检测方法，其特征在于，基于该单目实时人体跌倒检测方法的跌倒检测系统包括单目相机、舵机旋转云台、舵机驱动板、角度传感器和处理器开发板；
所述单目相机安装于舵机旋转云台上，舵机旋转云台与舵机驱动板连接，所述角度传感器安装于单目相机上，所述单目相机、舵机旋转云台、舵机驱动板和角度传感器均与处理器开发板连接；上述单目相机用于获取视频图像信息；舵机旋转云台、舵机驱动板用于进行相机实时角度控制；角度传感器用于获取相机姿态；处理器开发板用于整个系统的综合控制；
所述处理器开发板基于机器视觉与人体跌倒行为特征，由权利要求1所述单目实时人体跌倒检测方法实现。
8.根据权利要求7所述的一种基于机器视觉的单目实时人体跌倒检测方法，其特征在于，基于该单目实时人体跌倒检测方法的跌倒检测系统由单目相机获取监测环境中的视频图像信息；由双轴舵机旋转云台进行相机俯仰角与偏摆角的控制；由舵机驱动板发出PWM信号控制舵机旋转，设计了PID闭环控制算法消除误差，防止舵机抖动。
CN202310230961.0A 2023-03-12 2023-03-12 一种基于机器视觉的单目实时人体跌倒检测方法及系统 Pending CN116092128A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310230961.0A CN116092128A (zh) 2023-03-12 2023-03-12 一种基于机器视觉的单目实时人体跌倒检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310230961.0A CN116092128A (zh) 2023-03-12 2023-03-12 一种基于机器视觉的单目实时人体跌倒检测方法及系统

Publications (1)

Publication Number Publication Date
CN116092128A true CN116092128A (zh) 2023-05-09

Family

ID=86204672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310230961.0A Pending CN116092128A (zh) 2023-03-12 2023-03-12 一种基于机器视觉的单目实时人体跌倒检测方法及系统

Country Status (1)

Country Link
CN (1) CN116092128A (zh)

Similar Documents

Publication Publication Date Title
Hesse et al. Computer vision for medical infant motion analysis: State of the art and rgb-d data set
Kwolek et al. Improving fall detection by the use of depth sensor and accelerometer
Knoop et al. Sensor fusion for 3D human body tracking with an articulated 3D body model
Aggarwal et al. Human motion analysis: A review
Iwasawa et al. Real-time estimation of human body posture from monocular thermal images
Hu et al. 3D Pose tracking of walker users' lower limb with a structured-light camera on a moving platform
KR20110139694A (ko) 제스쳐 인식 방법 및 시스템
US11298050B2 (en) Posture estimation device, behavior estimation device, storage medium storing posture estimation program, and posture estimation method
TW200933538A (en) Nursing system
CN114067358A (zh) 一种基于关键点检测技术的人体姿态识别方法及系统
Xu et al. Elders’ fall detection based on biomechanical features using depth camera
CN109271918B (zh) 基于重心偏移模型区分平衡能力障碍人群的方法
CN104751146A (zh) 一种基于3d点云图像的室内人体检测方法
Mastorakis et al. Fall detection without people: A simulation approach tackling video data scarcity
Parisi et al. Hierarchical SOM-based detection of novel behavior for 3D human tracking
Chen et al. Camera networks for healthcare, teleimmersion, and surveillance
CN102156994B (zh) 一种单视角无标记人体运动跟踪的关节定位方法
Seredin et al. The study of skeleton description reduction in the human fall-detection task
Li et al. Posture recognition technology based on kinect
CN117238031A (zh) 一种虚拟人的动作捕捉方法与系统
Iwasawa et al. Human body postures from trinocular camera images
CN116092128A (zh) 一种基于机器视觉的单目实时人体跌倒检测方法及系统
CN110674751A (zh) 一种基于单目摄像机检测头部姿态的装置及方法
Yuan et al. Fall detection and direction judgment based on posture estimation
Liu et al. A novel key point trajectory model for fall detection from RGB-D videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination