CN114999108B - 基于影像处理的老年跌倒侦测方法 - Google Patents

基于影像处理的老年跌倒侦测方法 Download PDF

Info

Publication number
CN114999108B
CN114999108B CN202210929354.9A CN202210929354A CN114999108B CN 114999108 B CN114999108 B CN 114999108B CN 202210929354 A CN202210929354 A CN 202210929354A CN 114999108 B CN114999108 B CN 114999108B
Authority
CN
China
Prior art keywords
person
seat
state
personnel
bounding box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210929354.9A
Other languages
English (en)
Other versions
CN114999108A (zh
Inventor
姜干成
应霖伟
张锣成
林志领
王东华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lewan Technology Co ltd
Original Assignee
Hangzhou Lewan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lewan Technology Co ltd filed Critical Hangzhou Lewan Technology Co ltd
Priority to CN202210929354.9A priority Critical patent/CN114999108B/zh
Publication of CN114999108A publication Critical patent/CN114999108A/zh
Application granted granted Critical
Publication of CN114999108B publication Critical patent/CN114999108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Psychology (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

基于影像处理的老年跌倒侦测方法，属于影像数据处理技术领域，包括以下步骤：步骤S1，物件侦测；步骤S2，人员追踪;步骤S3，人员定位：根据该人员与座椅或座凳的距离，判断人员状态；步骤S4，姿态辨识。本发明通过追踪人员，根据人员与座椅的关系定位人员，并通过人员状态的改变和其位置辨识人员的姿态，最终确认人员是否有发生跌倒意外。与现有的图像处理方法不同，本方案重点关注于坐下和起身的跌倒，因为该两种跌倒的比例高于行走时跌倒的比例。

Description

基于影像处理的老年跌倒侦测方法
技术领域
本发明属于影像数据处理技术领域，具体涉及为基于影像处理的老年跌倒侦测方法。
背景技术
人体步态研究成为现今重要的客体，步态信息研究可以给人类生活带来许多益处和方便，特别是将步态信息应用于侦测跌倒。传统侦测跌倒，多半是基于在照护者身上配戴一个跌倒侦测装置。长久配戴装置，对于照护者而言，非常不友好，照护者的佩戴意愿低。
目前，已有许多研究基于影像的跌倒侦测方法。例如，公开号为CN105718886A的中国发明专利，公开了一种活动人员安全异常的跌倒检测方法，其通过背景建模、前景侦测的方式，对运动的物体进行判断，且据活动人员的纵横比判断当前任务是直立还是跌倒状态。这种方法，有些不切实际，因为活动的人员可能会因为坐在座椅上而改变纵横比，从而导致被判定为跌倒状态。
因此，有必要研究活动人员与座椅之间的相对关系，从而区分坐在座椅的状态以及跌倒状态。
发明内容
本发明的目的在于克服上述现有技术之不足，提供基于影像处理的老年跌倒侦测方法。
基于影像处理的老年跌倒侦测方法，包括以下步骤：
步骤S1，物件侦测：使用目标检测算法侦测人员、座椅和座凳，并使用Camshift方法进行人员追踪；
步骤S2，人员追踪：如果侦测出的物件为人员时，使用Camshift方法以确认该人员是否仍然出现在下一张帧中；
步骤S3，人员定位：根据该人员与座椅或座凳的距离，判断人员状态；
步骤S4，姿态辨识：人员状态为座椅或座凳旁边时，进行姿态辨识，得该人员状态为座椅或座凳旁边的边界框；
如果人员的边界框的高度P.H小于或等于7.5/8的当前人员在人员状态为靠近椅子的边界框的高度P.HB，则判定该人员状态为动作进行中；否则判定该人员状态仍为座椅或座凳旁边；
在上一张帧中，人员状态为动作进行中、坐着或者危险，如果人员边界框的顶部低于座椅或座凳的边界框的顶部，则判定该人员状态为危险，执行跌倒侦测；否则继续侦测；
继续侦测时，当座椅或座凳的边界框的中心C.C位于人员边界框内部，且人员边界框的中心位P.C于座椅或座凳的边界框内部，且人员边界框的中心和座椅或座凳的边界框中心的垂直距离D.Cy小于或等于1/2的座椅或座凳的边界框高度C.H，且人员边界框的高度P.H小于等于7/8的当前人员状态为座椅或座凳旁边的边界框的高度P.HB，则判定该人员状态为坐着；否则，判定该人员状态为动作进行中，并继续侦测；
人员状态为危险，或者无法侦测到该人员时，执行跌倒侦测。
进一步，步骤S1中，从影像中获取出的当下帧命名为F，然后加载目标检测算法的模型参数，使用目标检测器进行物件侦测，取得所有侦测出的物件边界框Oi；如果侦测出的物件为座椅或座凳，则将座椅或座凳的物件边界框命名为Ci，其中，对于座凳，为了将其与座椅等同应用，将其边界框的高度设定为原先的两倍；如果侦测出的物件为人员时，则将人员的边界框命名为Pi。
进一步，步骤S2中，将上一个帧F′从RGB转换为HSV色彩空间，然后获取HSV中的直方图，取得影像H；从影像H获取上一帧的人员1.5秒前的边界框中的色调直方图Pi，fid-1 H；然后使用计算机视觉库OpenCV中的BackProject函式取得每个色调直方图Pi，fid-1 H在影像H中的反向投影以获取影像中的相似特征。
进一步，步骤S2中，将反向投影转换为二值化的背景投影影像Bi；然后，使用上一帧第i个人员1.5秒前的边界框Pi，fid-1和背景投影影像Bi作为输入，使用Camshift方法，持续地在每张帧中进行均值偏移；如果人员追踪视窗的中心，有在1.5秒前的人员边界框Pi，fid中，则表示人员追踪成功；否则，执行跌倒侦测。
进一步，步骤S3中，
对于每一个在影像中被侦测出来的人员边界框，寻找与其直线距离最短的座椅或座凳的物件边界框，从而找到距离该人员最近的座椅或座凳；
当人员边界框和座椅或座凳的X轴距离Dx小于或等于2的人员边界框宽度P.W，且人员边界框和座椅或座凳的Y轴距离Dy小于或等于1/2的座椅或座凳的高度C.H时，则判定该人员状态为靠近椅子，否则判定该人员状态为远离椅子；
对于人员状态为远离椅子的人员，则对其执行站立状态的跌倒侦测；如果此时该人员无法被定位，则仍执行跌倒侦测；
对于人员状态为靠近椅子的人员，对其继续定位，当人员边界框和座椅或座凳的X轴距离Dx小于1/2的人员边界框Pi宽度P.W，则判定该人员状态为座椅或座凳旁边；否则，判定该人员状态为仍为靠近椅子；
基于影像处理的老年跌倒侦测方法，还包括步骤S5，跌倒侦测：
如果在上一张帧中，人员状态为站立，则表示着人员是在行走时发生跌倒；当人员边界框的高度P.H，小于等于5.5/8的当前人员状态为站立的边界框的高度P.HS，则判定该人员状态为跌倒；
如果人员无法侦测且最后侦测到的人员状态为站立，则提取该人员最后的边界框的高度P.HP；如果人员最后的边界框的高度P.HP小于或等于6.75/8的当前人员状态为站立的边界框的高度P.HS，则判定该人员状态为跌倒。
进一步，步骤S5中，
如果在上一张帧中，人员状态为危险，则表示人员是在坐下时或从座椅起身时发生跌倒意外；进行姿态辨识预处理，取得该人员状态为座椅或座凳旁边的边界框；当前人员边界框的高度P.H，小于等于5.5/8的当前人员状态为座椅或座凳旁边的边界框的高度P.HB，则判定该人员状态为跌倒；
如果人员无法侦测且最后侦测到的人员状态为为动作进行中、坐着或者危险，则提取该人员最后的边界框的高度P.HP；如果人员最后的边界框的高度P.HP小于或等于6.75/8的当前人员状态为座椅或座凳旁边的边界框的高度P.HB，则判定该人员状态为跌倒；
如果人员状态持续保持跌倒超过三秒，则发出警报。
本发明涉及到应用摄像头监控的基于影像处理的老年跌倒侦测方法，用于养老院、家庭、医院、学校、托儿所等室内看护场所，通过图像处理跌倒检测算法，识别室内活动人员的一些安全异常情况下的警报，及时给于看护人员当前被看护人员的安全提醒和报警。
本发明提高了预警精度、节省了系统的资源消耗、提高了程序运行速度，实现了快速准确识别活动人员的跌倒情况，能够快速响应、精准定位，并能回放人员跌倒的前后过程。给看护人员了解跌倒前后过程保留依据。
本发明通过追踪人员，根据人员与座椅的关系定位人员，并通过人员状态的改变和其位置辨识人员的姿态，最终确认人员是否有发生跌倒意外。与现有的图像处理方法不同，本方案重点关注于坐下和起身的跌倒，对于老年人，该两种跌倒的比例高于行走时跌倒的比例。
附图说明
图1是人员状态变化图；
图2是人员状态为远离椅子或则靠近椅子的状态变化图；
图3是人员状态为靠近椅子、座椅或座凳旁边、或动作进行中的状态变化图；
图4是人员状态在动作进行中、坐着或危险的状态变化图；
图5是跌倒侦测的人员状态变化图；
图6是常见情境的汇总测试图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本方案的整体思路是：首先，当人出现在摄影机画面上时，将该人员的位置视为远离座椅的情形，同时将该人员状态为站立。如果在短时间内，人员的边界框的高度变化过大，则执行跌倒侦测，以辨识人员是否发生跌倒。此外，如果该人员现在位于座椅旁边，则由于该人员可能想要坐在座椅上，因此需要识别该人员的姿势。而当该人员试图坐在座椅上时，则认定该人员状态为正在动作进行中。而如果该人员成功坐在座椅上，则识别该人员正坐着。另一方面，当该人员试图坐下或从座椅上站起来时，由于此时可能发生跌倒意外的概率最大，因此识别出该人员状态是危险的，需要进行跌倒侦测。
基于影像处理的老年跌倒侦测方法，包括以下步骤：
步骤S1，物件侦测：使用目标检测算法(YOLOv3)侦测人员、座椅和座凳，并使用Camshift方法进行人员追踪。
Camshift方法，是MeanShift方法的改进，全称是"Continuously Adaptive Mean-SHIFT"，它的基本思想是视频图像的所有帧作MeanShift运算，并将上一帧的结果作为下一帧MeanShift方法的Search Window的初始值，如此迭代下去。
首先，从影像中获取出的当下帧命名为F，然后加载目标检测算法(YOLOv3)的模型参数，使用目标检测器（YOLO检测器）进行物件侦测，取得所有侦测出的物件边界框Oi；如果侦测出的物件为座椅或座凳，则将座椅或座凳的物件边界框命名为Ci，其中，对于座凳，为了将其与座椅等同应用，将其边界框的高度设定为原先的两倍。由于座椅或座凳在通常情况下是处于长时间不动的，因此，在第一次侦测时，就确定座椅或座凳的物件边界框。如果侦测出的物件为人员时，则将人员的边界框命名为Pi。
步骤S2，人员追踪：如果侦测出的物件为人员时，使用Camshift方法以确认该人员是否仍然出现在下一张帧中。
具体的，将上一个帧F′从RGB转换为HSV色彩空间，然后获取HSV中的直方图，取得影像H；从影像H获取上一帧的人员1.5秒前的边界框中的色调（Hue）直方图Pi，fid-1 H；然后使用计算机视觉库OpenCV中的BackProject函式取得每个色调直方图Pi，fid-1 H在影像H中的反向投影以获取影像中的相似特征。
为了强化反向投影，从而减少噪声，将反向投影转换为二值化的背景投影影像Bi；然后，使用上一帧第i个人员1.5秒前的边界框Pi，fid-1和背景投影影像Bi作为输入，使用Camshift方法，持续地在每张帧中进行均值偏移，以动态调整追踪视窗大小。
如果人员追踪视窗的中心，有在1.5秒前的人员边界框Pi，fid中，则表示人员追踪成功；否则，执行跌倒侦测。
步骤S3，人员定位：根据该人员与座椅或座凳的距离，判断人员状态。
图1是人员状态变化图；图2是人员状态为远离椅子或则靠近椅子的状态变化图；图3是人员状态为靠近椅子、座椅或座凳旁边、或动作进行中的状态变化图。结合图1、图2和图3对本步骤进行分析。
对于每一个在影像中被侦测出来的人员边界框Pi，寻找与其直线距离最短的座椅或座凳的物件边界框Ci，从而找到距离该人员最近的座椅或座凳Cn；
当人员边界框Pi和座椅或座凳Cn的X轴（水平）距离Dx小于或等于2的人员边界框Pi宽度P.W，且人员边界框Pi和座椅或座凳Cn的Y轴（竖向）距离Dy小于或等于1/2的座椅或座凳Cn的高度C.H时，则判定该人员状态为靠近椅子，否则判定该人员状态为远离椅子。
对于人员状态为远离椅子的人员，则对其执行站立状态的跌倒侦测；如果此时该人员无法被定位，则仍执行跌倒侦测。
对于人员状态为靠近椅子的人员，对其继续定位，当人员边界框Pi和座椅或座凳Cn的X轴（水平）距离Dx小于1/2的人员边界框Pi宽度P.W，则判定该人员状态为座椅或座凳旁边；否则，判定该人员状态为仍为靠近椅子。
步骤S4，姿态辨识。
由于人员在试图坐下或者试图从座椅或座凳站起来时，容易发生跌倒意外，因此，有必要执行姿态辨识。
当人员状态为座椅或座凳旁边时，进行姿态辨识，得该人员状态为座椅或座凳旁边的边界框Pi N。
图3是人员状态为靠近椅子、座椅或座凳旁边、或动作进行中的状态变化图；如图3所示。如果人员的边界框Pi的高度P.H小于或等于7.5/8的当前人员在人员状态为靠近椅子的边界框Pi N的高度P.HB，则判定该人员状态为动作进行中；否则判定该人员状态仍为座椅或座凳旁边。
若在上一张帧中，人员的状态Si,fid-1为座椅或座凳旁边，则近一步进步比较人员状态为座椅或座凳旁边的边界框Pi N的高度与当前人员的站立状态的边界框的高度。一般认为，人体的身高约略等于八个头身。若是人员准备要坐下时，他的腿部会开始弯曲，这个身高约略等于7.5/8个头身。
图4是人员状态在动作进行中、坐着或危险的状态变化图；如图4所示，在上一张帧中，人员状态为动作进行中、坐着或者危险，则需要判断后续人员状态的变化。由于人员坐在座椅上时，其边界框的顶部应该高于座椅或座凳的边界框的顶部，因此，如果人员边界框的顶部低于座椅或座凳的边界框的顶部，则判定该人员状态为危险，执行跌倒侦测；否则继续侦测。
由于座椅或座凳Cn的中心约为座椅或座凳的坐垫位置，因此，如果座椅或座凳Cn的边界框的中心C.C位于人员边界框Pi内部，则表示该人员正要坐下或者站起来；另一方面，如果人员边界框Pi的中心P.C位于座椅或座凳Cn的边界框内部，则表示即使人员跌倒也能坐好。同时，如果人员边界框Pi的中心和座椅或座凳Cn的边界框中心的垂直距离D.Cy，高于1/2的座椅或座凳Cn的边界框高度C.H，则表示该人员应该尚未坐好，人员状态为动作进行中。最后，如果人员边界框Pi的高度P.H小于等于7/8的当前人员状态为座椅或座凳旁边的边界框Pi N的高度P.HB，则表示该人员状态为坐着。因为，坐着的人员，膝盖弯曲90°，此时高度大于为站立时的7/8。
因此，继续侦测时，当座椅或座凳Cn的边界框的中心C.C位于人员边界框Pi内部，且人员边界框Pi的中心位P.C于座椅或座凳Cn的边界框内部，且人员边界框Pi的中心和座椅或座凳Cn的边界框中心的垂直距离D.Cy小于或等于1/2的座椅或座凳Cn的边界框高度C.H，且人员边界框Pi的高度P.H小于等于7/8的当前人员状态为座椅或座凳旁边的边界框Pi N的高度P.HB，则判定该人员状态为坐着；否则，判定该人员状态为动作进行中，并继续侦测。
人员状态为危险，或者无法侦测到该人员时，执行跌倒侦测。
步骤S5，跌倒侦测。
侦测人员先前的状态以评估人员是否发生跌倒意外。图5是跌倒侦测的人员状态变化图；如图5所示。
如果在上一张帧中，人员状态为站立，则表示着人员是在行走时发生跌倒。由于人员在跌倒的过程中，其花费的时间会是1.5秒以内，故取得1.5 秒前人员边界框的身高，并将其与现在的身高相比。当人员跌倒，且无法站起来时，其姿势的最大高度约等于跪坐于地面上的高度。而于跪坐地面上时，人员弯曲他的大腿及小腿，其身高约略等于站立时的6/8。然而跌倒与跪坐不同的是，人员跌倒时因为疼痛，无法将背挺直，人员背部应是弯曲的，而这个差异约略0.5头身。所以，人员边界框Pi的高度P.H，小于等于5.5/8的当前人员状态为站立的边界框Pi N的高度P.HS，则判定该人员状态为跌倒。
如果人员无法侦测且最后侦测到的人员状态为站立，则提取该人员最后的边界框的高度P.HP；如果人员最后的边界框的高度P.HP小于或等于该人员站立和跌倒高度（5.5/8）的平均值，则将其视为跌倒，即，人员最后的边界框的高度P.HP小于或等于6.75/8的当前人员状态为站立的边界框Pi N的高度P.HS，则判定该人员状态为跌倒。
如果在上一张帧中，人员状态为危险，则表示人员是在坐下时或从座椅起身时发生跌倒意外。进行姿态辨识预处理，取得该人员状态为座椅或座凳旁边的边界框Pi N。当前人员边界框的高度P.H，小于等于5.5/8的当前人员状态为座椅或座凳旁边的边界框Pi N的高度P.HB，则判定该人员状态为跌倒。
如果人员无法侦测且最后侦测到的人员状态为为动作进行中、坐着或者危险，则提取该人员最后的边界框的高度P.HP；如果人员最后的边界框的高度P.HP小于或等于该人员站立和跌倒高度（5.5/8）的平均值，则将其视为跌倒，即，人员最后的边界框的高度P.HP小于或等于6.75/8的当前人员状态为座椅或座凳旁边的边界框Pi N的高度P.HB，则判定该人员状态为跌倒。
如果人员状态持续保持跌倒超过三秒，则发出警报，有利于医疗照护。
在实作的部分，使用谷歌所开发的TensorFlow Object Detction API(Application Programming Interface)模拟运行，在共62个案例中，本方案所花时间0.13秒，成功数量为62个，准确率100%；如仅使用 YOLO，所花时间0.12秒，仅能成功辨识 37 个人员，辨识成功率为59.7%。当案例数量拓展到99件时，本方案的准确率为95.96%。
图6是常见情境的汇总测试图。
图6中，对于a测试图和b测试图，即使测试者从不同的角度进入摄影范围，或是不同的行走路径，由于测试者的身高在1.5秒内没有显著地变化，故没有被判定为是跌倒。
对于c测试图和d测试图，均成功判断为其测试者状态为坐着。
对于e测试图，由于测试者只坐在椅子前端，并未坐在椅子的中心，故没有被判断为是坐着，而是判定为危险。现实中，老人若只坐在椅子前端，很容易因重心不稳或肌肉无力等原因滑落至地上。本方案能对此做准确判断。
对于f测试图，测试者在坐下时发生跌倒意外，
对于g测试图，测试者在起身时发生跌倒意外。
对于h测试图，测试者受到遮挡，无法侦测时，而仍能通过测试者过往的状态判断其跌倒。
符号说明：
F表示从影像中获取出的当下帧。
F′表示从影像中获取出的上一帧。
fps表示每秒显示帧数。
Oi表示物件侦测结果为第i个物件的边界框。
Ci表示物件侦测结果为第i个座椅或座凳的边界框。
Cn表示第n个座椅或座凳。
Pi表示物件侦测结果为第i个人员的边界框。
Pi N表示物件侦测结果为第i个人员且靠近椅子的边界框。
P.H表示人员的边界框Pi的高度。
P.HB表示人员状态为靠近椅子的边界框Pi N的高度。
Pi，fid-1表示上一帧的第i个人员1.5秒前的边界框。
Pi，fid表示当下帧的第i个人员1.5秒前的边界框。
Pi，fid-1 H表示影像H中Pi，fid-1的色调直方图。
Pi，fid H表示影像H中Pi，fid的色调直方图。
fid表示从影像中获取的帧编号。
H表示帧F′的色调影像。
Bi表示Pi，fid H的第i个背景投影影像。
Pi表示人员追踪结果的第i个边界框。
Pi N表示第i个人员的人员状态为座椅或座凳旁边的边界框。
Si,fid-1表示在fid-1帧中的第i个人员的状态。
Si,fid表示在fid帧中的第i个人员的状态。
以上所述者，仅为本发明的较佳实施例而已，当不能以此限定本发明实施的范围，即大凡依本发明申请专利范围及发明说明内容所作的简单的等效变化与修饰，皆仍属本发明专利涵盖的范围内。

Claims (6)

1.基于影像处理的老年跌倒侦测方法，其特征在于，包括以下步骤：
步骤S1，物件侦测：使用目标检测算法侦测人员、座椅和座凳，并使用Camshift方法进行人员追踪；
步骤S2，人员追踪：如果侦测出的物件为人员时，使用Camshift方法以确认该人员是否仍然出现在下一张帧中；
步骤S3，人员定位：根据该人员与座椅或座凳的距离，判断人员状态；
步骤S4，姿态辨识：人员状态为座椅或座凳旁边时，进行姿态辨识，得该人员状态为座椅或座凳旁边的边界框；
如果人员的边界框的高度P.H小于或等于7.5/8的当前人员在人员状态为靠近椅子的边界框的高度P.HB，则判定该人员状态为动作进行中；否则判定该人员状态仍为座椅或座凳旁边；
在上一张帧中，人员状态为动作进行中、坐着或者危险，如果人员边界框的顶部低于座椅或座凳的边界框的顶部，则判定该人员状态为危险，执行跌倒侦测；否则继续侦测；
继续侦测时，当座椅或座凳的边界框的中心C.C位于人员边界框内部，且人员边界框的中心位P.C于座椅或座凳的边界框内部，且人员边界框的中心和座椅或座凳的边界框中心的垂直距离D.Cy小于或等于1/2的座椅或座凳的边界框高度C.H，且人员边界框的高度P.H小于等于7/8的当前人员状态为座椅或座凳旁边的边界框的高度P.HB，则判定该人员状态为坐着；否则，判定该人员状态为动作进行中，并继续侦测；
人员状态为危险，或者无法侦测到该人员时，执行跌倒侦测；
如果在上一张帧中，人员状态为危险，则表示人员是在坐下时或从座椅起身时发生跌倒意外；进行姿态辨识预处理，取得该人员状态为座椅或座凳旁边的边界框；当前人员边界框的高度P.H，小于等于5.5/8的当前人员状态为座椅或座凳旁边的边界框的高度P.HB，则判定该人员状态为跌倒；
如果人员无法侦测且最后侦测到的人员状态为为动作进行中、坐着或者危险，则提取该人员最后的边界框的高度P.HP；如果人员最后的边界框的高度P.HP小于或等于6.75/8的当前人员状态为座椅或座凳旁边的边界框的高度P.HB，则判定该人员状态为跌倒；
如果人员状态持续保持跌倒超过三秒，则发出警报。
2.根据权利要求1所述的基于影像处理的老年跌倒侦测方法，其特征在于，步骤S1中，从影像中获取出的当下帧命名为F，然后加载目标检测算法的模型参数，使用目标检测器进行物件侦测，取得所有侦测出的物件边界框Oi；如果侦测出的物件为座椅或座凳，则将座椅或座凳的物件边界框命名为Ci，其中，对于座凳，为了将其与座椅等同应用，将其边界框的高度设定为原先的两倍；如果侦测出的物件为人员时，则将人员的边界框命名为Pi。
3.根据权利要求2所述的基于影像处理的老年跌倒侦测方法，其特征在于，步骤S2中，将上一个帧F′从RGB转换为HSV色彩空间，然后获取HSV中的直方图，取得影像H；从影像H获取上一帧的人员1.5秒前的边界框中的色调直方图Pi，fid-1 H；然后使用计算机视觉库OpenCV中的BackProject函式取得每个色调直方图Pi，fid-1 H在影像H中的反向投影以获取影像中的相似特征。
4.根据权利要求3所述的基于影像处理的老年跌倒侦测方法，其特征在于，步骤S2中，将反向投影转换为二值化的背景投影影像Bi；然后，使用上一帧第i个人员1.5秒前的边界框Pi，fid-1和背景投影影像Bi作为输入，使用Camshift方法，持续地在每张帧中进行均值偏移；如果人员追踪视窗的中心，有在1.5秒前的人员边界框Pi，fid中，则表示人员追踪成功；否则，执行跌倒侦测。
5.根据权利要求4所述的基于影像处理的老年跌倒侦测方法，其特征在于，步骤S3中，
对于每一个在影像中被侦测出来的人员边界框，寻找与其直线距离最短的座椅或座凳的物件边界框，从而找到距离该人员最近的座椅或座凳；
当人员边界框和座椅或座凳的X轴距离Dx小于或等于2的人员边界框宽度P.W，且人员边界框和座椅或座凳的Y轴距离Dy小于或等于1/2的座椅或座凳的高度C.H时，则判定该人员状态为靠近椅子，否则判定该人员状态为远离椅子；
对于人员状态为远离椅子的人员，则对其执行站立状态的跌倒侦测；如果此时该人员无法被定位，则仍执行跌倒侦测；
对于人员状态为靠近椅子的人员，对其继续定位，当人员边界框和座椅或座凳的X轴距离Dx小于1/2的人员边界框Pi宽度P.W，则判定该人员状态为座椅或座凳旁边；否则，判定该人员状态为仍为靠近椅子。
6.根据权利要求5所述的基于影像处理的老年跌倒侦测方法，其特征在于，还包括步骤S5，跌倒侦测：
如果在上一张帧中，人员状态为站立，则表示着人员是在行走时发生跌倒；当人员边界框的高度P.H，小于等于5.5/8的当前人员状态为站立的边界框的高度P.HS，则判定该人员状态为跌倒；
如果人员无法侦测且最后侦测到的人员状态为站立，则提取该人员最后的边界框的高度P.HP；如果人员最后的边界框的高度P.HP小于或等于6.75/8的当前人员状态为站立的边界框的高度P.HS，则判定该人员状态为跌倒。
CN202210929354.9A 2022-08-03 2022-08-03 基于影像处理的老年跌倒侦测方法 Active CN114999108B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210929354.9A CN114999108B (zh) 2022-08-03 2022-08-03 基于影像处理的老年跌倒侦测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210929354.9A CN114999108B (zh) 2022-08-03 2022-08-03 基于影像处理的老年跌倒侦测方法

Publications (2)

Publication Number Publication Date
CN114999108A CN114999108A (zh) 2022-09-02
CN114999108B true CN114999108B (zh) 2022-11-29

Family

ID=83021050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210929354.9A Active CN114999108B (zh) 2022-08-03 2022-08-03 基于影像处理的老年跌倒侦测方法

Country Status (1)

Country Link
CN (1) CN114999108B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102387345A (zh) * 2011-09-09 2012-03-21 浙江工业大学 基于全方位视觉的独居老人安全监护系统
CN105718886A (zh) * 2016-01-20 2016-06-29 武汉日创科技有限公司 一种活动人员安全异常的跌倒检测方法
CN109670396A (zh) * 2018-11-06 2019-04-23 华南理工大学 一种室内老人跌倒检测方法
CN113657150A (zh) * 2021-07-07 2021-11-16 浙江大华技术股份有限公司 一种跌倒检测方法、装置和计算机可读存储介质
US11282367B1 (en) * 2020-08-16 2022-03-22 Vuetech Health Innovations LLC System and methods for safety, security, and well-being of individuals
CN114333047A (zh) * 2021-11-30 2022-04-12 深圳市朗驰欣创科技股份有限公司 一种基于双光感知信息融合的人体摔倒检测装置与方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719429A (zh) * 2014-07-29 2016-06-29 吴诗蕊 一种基于Kinect的跌倒检测及报警系统及其操作方法
CN111932828A (zh) * 2019-11-05 2020-11-13 上海中侨健康智能科技有限公司 一种基于数字孪生技术的智慧养老监测与预警系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102387345A (zh) * 2011-09-09 2012-03-21 浙江工业大学 基于全方位视觉的独居老人安全监护系统
CN105718886A (zh) * 2016-01-20 2016-06-29 武汉日创科技有限公司 一种活动人员安全异常的跌倒检测方法
CN109670396A (zh) * 2018-11-06 2019-04-23 华南理工大学 一种室内老人跌倒检测方法
US11282367B1 (en) * 2020-08-16 2022-03-22 Vuetech Health Innovations LLC System and methods for safety, security, and well-being of individuals
CN113657150A (zh) * 2021-07-07 2021-11-16 浙江大华技术股份有限公司 一种跌倒检测方法、装置和计算机可读存储介质
CN114333047A (zh) * 2021-11-30 2022-04-12 深圳市朗驰欣创科技股份有限公司 一种基于双光感知信息融合的人体摔倒检测装置与方法

Also Published As

Publication number Publication date
CN114999108A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN109919132B (zh) 一种基于骨架检测的行人跌倒识别方法
US20220383653A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program
CN107072548B (zh) 用于人的取向和/或位置的自动检测的设备、系统和方法
Dubois et al. Human activities recognition with RGB-Depth camera using HMM
WO2004095373A2 (en) Method and system for determining object pose from images
JP2006522959A (ja) 転倒防止および検出用の方法および装置
JP6822328B2 (ja) 見守り支援システム及びその制御方法
Debard et al. Camera based fall detection using multiple features validated with real life video
CN113657150A (zh) 一种跌倒检测方法、装置和计算机可读存储介质
CN108805021A (zh) 基于特征算子的实时个体跌倒行为检测报警方法
CN111931733A (zh) 基于深度相机的人体姿态检测方法
CN111243230B (zh) 基于两台深度相机的人体跌倒检测装置和方法
JP2001056853A (ja) 挙動検出装置および種類識別装置、並びに挙動検出方法および挙動検出用プログラムが記録された記録媒体
EP3671530A1 (en) Device, system and method for object recognition
CN111783702A (zh) 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法
US20240282147A1 (en) Action recognition method, action recognition device, and non-transitory computer readable recording medium
CN116311497A (zh) 一种基于机器视觉的隧道工人异常行为检测方法及系统
US20220366716A1 (en) Person state detection apparatus, person state detection method, and non-transitory computer readable medium storing program
CN114999108B (zh) 基于影像处理的老年跌倒侦测方法
KR20200087540A (ko) 비전 기반 심박수 측정 방법
CN116965844B (zh) 站立位ct扫描过程中主动保护患者安全的方法及系统
CN111191499B (zh) 一种基于最小中心线的跌倒检测方法及装置
CN114202797A (zh) 行为识别方法、装置和存储介质
CN107016350A (zh) 一种基于深度相机的老人跌倒检测方法
US20220395193A1 (en) Height estimation apparatus, height estimation method, and non-transitory computer readable medium storing program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant