CN108629946B - 一种基于rgbd传感器的人体跌倒检测方法 - Google Patents

一种基于rgbd传感器的人体跌倒检测方法 Download PDF

Info

Publication number
CN108629946B
CN108629946B CN201810611524.2A CN201810611524A CN108629946B CN 108629946 B CN108629946 B CN 108629946B CN 201810611524 A CN201810611524 A CN 201810611524A CN 108629946 B CN108629946 B CN 108629946B
Authority
CN
China
Prior art keywords
human body
camera
information
joint points
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810611524.2A
Other languages
English (en)
Other versions
CN108629946A (zh
Inventor
袁克虹
申代友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Tsinghua University
Original Assignee
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Tsinghua University filed Critical Shenzhen Graduate School Tsinghua University
Priority to CN201810611524.2A priority Critical patent/CN108629946B/zh
Publication of CN108629946A publication Critical patent/CN108629946A/zh
Application granted granted Critical
Publication of CN108629946B publication Critical patent/CN108629946B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Emergency Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于RGBD传感器的人体跌倒检测方法，包括如下步骤：对RGBD传感器进行内外相机参数标定矫正；针对RGBD视频序列采取校准步骤，提取活动空间环境三维结构信息；基于多级卷积神经网络提取关节点，得到一组人体关节点的三维坐标位置；提取人体关节点的三维结构信息、静态信息、动态信息作为描述人体动作行为的特征，来综合分析人体是否发生异常跌倒行为。本发明的跌倒检测方法能够准确、方便地监测老人三维运动状态并判断是否发生跌倒，且智能化的RGBD传感器，能够实时准确地识别跟踪老人的活动，不对老人的日常生活造成影响，同时利用深度成像特征，较好地保护老人隐私。

Description

一种基于RGBD传感器的人体跌倒检测方法
技术领域
本发明涉及人体动作识别，特别是涉及一种基于RGBD传感器的人体跌倒检测方法。
背景技术
统计显示我国正逐渐迈入老龄化社会阶段，如何对老人进行有效的生活安全监护已经成为迫切需要解决的问题。跌倒是老年人在日常生活最常遇见的安全问题，据世界卫生组织统计，跌倒是目前全球意外导致死亡和非故意伤害导致死亡的第二大因素，每年大约有46万人因跌倒伤害导致死亡，其中低收入和中等收入国家跌倒伤害所占比例达80％以上，每年因跌倒伤害而入院接受治疗人数高达3700万人次。
老人跌倒常常伴随着骨折、软组织伤害和脑部伤害等症状，如果老年人在家中发生跌倒而得不到及时救治,很可能会造成严重的伤残，甚至是死亡。对老年人的日常行为进行监测并将跌倒行为从普通生活行为中分离出来，一旦发生意外就能及时通知子女或社区护工尽快送至医院并提供及时的医疗救护，就能为老年人的救治争取到更多的时间,减小老年人因跌倒造成伤残的可能性，并减轻因跌倒造成的子女护理经济压力。
传统的基于视频图像的跌倒检测受制于相机成像技术，只能获取二维图像平面，丢失了物体的尺度信息。这一类跌倒检测技术可提取的特征较少并且对环境光照变化敏感，可靠性不佳。随着RGBD传感器制造成本的下降和互联网技术的普及，RGBD摄像头已经逐渐走入普通日常使用领域。通过维度提升RGBD相机可实现三维信息采集，针对RGBD成像开发的算法也可以实现更加精确的人体模型重构、三维场景分析和智能视觉识别。
发明内容
本发明的主要目的在于针对现有技术的不足，提供一种基于RGBD传感器的跌倒检测方法,能够准确、可靠地监护独居老人和子女无法时刻照顾的老人。
为了达到上述目的，本发明采用了如下技术方案：
一种基于RGBD传感器的人体跌倒检测方法，包括以下步骤：
S1、对RGBD传感器进行内外相机参数标定矫正，获取和定位彩色相机和深度相机内外
方关系，对纹理结构信息和深度测距信息进行配准；
S2、利用所述RGBD传感器获取采集区域内的环境视频序列，针对RGBD视频序列采取校准步骤，提取活动空间环境三维结构信息；
S3、把视频序列输入到卷积神经网络中，基于多级卷积神经网络提取关节点，得到一组人体关节点的三维坐标位置；
S4、提取人体关节点的三维结构信息、静态信息、动态信息作为描述人体动作行为的特征，通过分析关节点特征信息的变化，来综合分析人体是否发生异常跌倒行为。
作为一种优选，采用基于重投影最小化的相机配准方法对彩色相机和深度相机进行成像模型恢复，并提取空间点投影到两相机之间对应关系，使用最小化重投影误差:
Figure BDA0001695674080000021
其中Krgb表示矫正后的RGB相机内参数,Kd表示矫正后的深度传感相机内参数，Ri d和ti d是深度传感相机的第i个外参数旋转矩阵和平移矩阵，R和T是RGB相机和深度传感相机的立体映射旋转矩阵和平移矩阵。
Figure BDA0001695674080000022
表示将深度相机第i幅图像中第j个角点Mij d根据上述相机内外参数投影到RGB相机上的像素坐标。
作为一种优选,步骤S2中，利用彩色相机和深度相机拍摄多幅图像序列并使用得到的两相机立体关系恢复空间环境三维结构信息，然后基于三维点云结构信息提取空间场景的三维地平面表达式：
Ax+By+Cz+D＝0
其中A,B,C,D是地平面参数系数。
作为一种优选,步骤S3中具体包括：
3.1.构建基于多级全卷积的基础网络，利用卷积尺寸逐步增大感受野，使得能够充分利用图像的空间上下文信息，利用最大池化操作在特征图分辨率逐步降低的同时提高整体网络的语意表达能力，利用多级网络将N个关节点空间上下文信息抽象为小分辨率的特征图；
3.2达到最小分辨率之后，利用双线性插值算法逐步增大特征图的分辨率，并融合上述步骤3.1中经过卷积化操作的对应特征图，在不同尺度上提取关节点的位置特征，并进行卷积操作；
3.3使用卷积操作改变特征图的通道数量，使得输出N个关节点的概率分布图，每一张概率分布图对应一个关节点在空间上的位置分布；
3.4计算预测概率分布图与真实概率分布图之间的差值，并回传Loss；
3.5反复迭代上述步骤。
作为一种优选,选用如下表达式计算网络损失：
Figure BDA0001695674080000023
作为一种优选,步骤S4中具体包括：
4.1利用步骤S3得到活动场景中人体的N个关节点的三维特征，定义得到的关节点三维坐标P(xi,yi,zi)，地平面法线系数A,B,C,D，将多帧序列表达为人体骨架模型:
Figure BDA0001695674080000031
其中PN n表示在第N帧中的第n个关节点的三维坐标位置。
4.2计算各个关节点的运动特征和静态特征。其中关节点的运动特征可用如下表达式:
Vpnx＝Pxn-Pxn-1
Vpny＝Pyn-Pyn-1
Vpnz＝Pzn-Pzn-1
其中Vpnx、Vpny和Vpnz表示第n个关节点的在轴X、Y、Z上的运动特征；
4.3利用三维场景信息计算关节点的静态结构特征，包括关节点拓扑高度信息、拓扑上肢倾斜信息、拓扑下肢倾斜信息。其中关节点的拓扑高度特征可用如下表达式:
Figure BDA0001695674080000032
4.4拓扑上肢倾斜信息可用如下表达式:
Figure BDA0001695674080000033
其中
Figure BDA0001695674080000034
表示人体竖向中心与地面的构成的有向向量,
Figure BDA0001695674080000035
表示人体竖向中心与上肢构成的有向向量，β表示人体的上肢几何拓扑倾斜角度；
4.5下肢倾斜信息可用如下表达式:
Figure BDA0001695674080000036
其中
Figure BDA0001695674080000037
表示人体竖向中心与地面的构成的有向向量,
Figure BDA0001695674080000038
表示人体竖向中心与下肢构成的有向向量，α表示人体的下肢几何拓扑倾斜角度。
作为一种优选,提取跌倒视频片段的静态特征和动态特征，作为跌倒的样本；再提取正常活动状态下的视频片段的上述静态特征和动态特征，作为正常行为的样本；使用上述关节点特征样本训练SVM分类器，并使用该分类器识别人体是否跌倒。
本发明提供的一种基于RGBD传感器的跌倒检测方法，可以利用深度相机的维度提升功能，快速准确的对人体所在场景进行相机恢复，并使用基于卷积神经网络的方法提取人体关节点位置，通过分析关节点的静态特征和动态特征变化来检测人体的运动状态，判断是否发生跌倒。本发明的跌倒检测方法能够准确、方便地监测老人三维运动状态并判断是否发生跌倒。本发明中智能化的RGBD传感器，能够实时准确地识别跟踪老人的活动，由于不需要佩戴专业传感器，不对老人的日常生活造成影响，同时利用深度成像特征，较好地保护老人隐私。
附图说明
图1为本发明基于RGBD传感器的跌倒检测方法流程图。
图2为本发明实施例中的人体关节点特征图降采样流程。
图3为本发明实施例中的人体关节点特征图升采样流程。
图4为本发明实施例中的人体关节点概率分布示意图。
图5为本发明实施例中的肢体倾斜角度计算示意图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
参阅图1，在一种实施例中，基于RGBD传感器的跌倒检测方法包括：彩色相机标定和深度相机立体标定、空间三维结构信息提取、基于卷积神经网络的关节点定位、关节点静动态特征提取、跌倒判断分类训练与预测。本实例以微软公司的KinectV2作为RGBD传感器。
其中，立体相机校准包括：
1、从多个角度和不同距离利用棋盘格平面拍摄多幅图像，分别包括利用彩色相机和深度相机进行拍摄；
2、对拍摄所得图像建立单相机空间立体投影坐标系，进行基于最小化重投影误差的相机内参数标定，包括彩色相机和深度相机的内参数精细化标定；
3、从多个角度和不同距离利用棋盘格平面同时使用彩色相机和深度相机拍摄多幅图像，利用所述相机内参数和所述拍摄图像进行两相机空间立体关系标定,优选地，使用最小化重投影误差。
空间三维结构信息提取包括：
1、设定目标点，选择一组点集Sin并初始化模型参数A,B,C,D，设置平面内点阈值dmax；
2、从点云总集S中选择一组子集S'，且
Figure BDA0001695674080000041
计算
Figure BDA0001695674080000042
到含目标点的平面的距离是否小于dmax，如是加入内点集Sin；
3、计算内点集Sin的法线方程系数A,B,C,D并存储；
4、重复迭代步骤2、3，直到最大迭代次数或者Sin点集数量达到临界值；
5、选择包含目标点的平面模型参数作为地平面参数。
关节点定位包括：
1、利用KinectV2拍摄多幅序列图像，并标注人体关节点位置；
2、构建基于多级全卷积的基础网络，利用卷积尺寸逐步增大感受野，使得能够充分利用图像的空间上下文信息，达到最小分辨率之后，利用双线性插值算法逐步增大特征图的分辨率，在不同尺度上提取关节点的位置特征，并进行卷积操作；
3、使用卷积操作改变特征图的通道数量，使得输出N个关节点的概率分布图，每一张概率分布图对应一个关节点在空间上的位置分布；
4、计算预测概率分布图与真实概率分布图之间的差值，并回传Loss。优选地，选用如下表达式计算网络损失：
Figure BDA0001695674080000051
其中，图2是本发明实施例中的人体关节点特征图降采样流程，图3为本发明实施例中的人体关节点特征图升采样流程，图4是本发明实施例中的人体关节点概率分布示意图。
关节点静动态特征提取包括：
1、将多帧序列表达为人体骨架模型：
Figure BDA0001695674080000052
2、计算各个关节点的运动特征：
Vpnx＝Pxn-Pxn-1
Vpny＝Pyn-Pyn-1
Vpnz＝Pzn-Pzn-1
3、计算关节点的静态结构特征，包括关节点拓扑高度信息、拓扑上肢倾斜信息、拓扑下肢倾斜信息。
其中，图5是拓扑肢体倾斜信息计算示意图。
拓扑高度特征信息可用如下表达式:
Figure BDA0001695674080000053
拓扑上肢倾斜信息可用如下表达式：
Figure BDA0001695674080000054
拓扑下肢倾斜信息可用如下表达式:
Figure BDA0001695674080000055
跌倒判断分类训练与预测包括：
1、使用Kinect采集100个正常生活片段与100个跌倒片段，每个片段包含30-100张图片序列；
2、提取跌倒视频片段的上述静态特征和动态特征，作为跌倒的样本；再提取正常活动状态下的视频片段的上述静态特征和动态特征，作为正常行为的样本；
3、按照训练集train、验证集val、测试集test按照10:2:1比例进行分类器的训练,使用上述数据训练svm分类器，并利用训练后的分类器识别人体是否跌倒。
最终的跌倒检测系统流程如下：
视频采集使用Kinect等RGBD摄像头，每秒从视频流里提取5-10帧彩色图像和深度图像并进行压缩，然后利用TCP协议传输给服务器端，服务器端将接收的数据转发给三维结构信息提取模块和人体关节点定位模块，然后将得到的关节点特征信息送入SVM分类器，分类器对其进行判断并输出最终的跌倒检测结果。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (6)

1.一种基于RGBD传感器的人体跌倒检测方法，其特征在于,包括以下步骤：
S1、对RGBD传感器进行内外相机参数标定矫正，获取和定位彩色相机和深度相机内外方关系，对纹理结构信息和深度测距信息进行配准；
S2、利用所述RGBD传感器获取采集区域内的环境视频序列，针对RGBD视频序列采取校准步骤，提取活动空间环境三维结构信息；
S3、把视频序列输入到卷积神经网络中，基于多级卷积神经网络提取关节点，得到一组人体关节点的三维坐标位置；
S4、提取人体关节点的三维结构信息、静态信息、动态信息作为描述人体动作行为的特征，通过分析关节点特征信息的变化，来综合分析人体是否发生异常跌倒行为；
步骤S1中，采用基于重投影最小化的相机配准方法对彩色相机和深度相机进行成像模型恢复，并提取空间点投影到两相机之间对应关系，使用最小化重投影误差:
Figure FDA0002578449190000011
其中Krgb表示矫正后的RGB相机内参数,Kd表示矫正后的深度传感相机内参数，Ri d和ti d是深度传感相机的第i个外参数旋转矩阵和平移矩阵，R和T是RGB相机和深度传感相机的立体映射旋转矩阵和平移矩阵，
Figure FDA0002578449190000012
表示将深度相机第i幅图像中第j个角点Mij d根据上述相机内外参数投影到RGB相机上的像素坐标,mij RGB表示对应于深度相机第i幅图像中第j个角点Mij d投影至RGB相机下像素坐标的对偶像素坐标。
2.如权利要求1所述的跌倒检测方法，其特征在于,步骤S2中，利用彩色相机和深度相机拍摄多幅图像序列，并利用得到的两相机立体关系恢复空间环境三维结构信息，然后基于三维点云结构信息提取空间场景的三维地平面表达式：
Ax+By+Cz+D＝0
其中A,B,C,D是地平面参数系数。
3.如权利要求1所述的跌倒检测方法，其特征在于,步骤S3中具体包括：
3.1.构建基于多级全卷积的基础网络，利用卷积尺寸逐步增大感受野，使得能够充分利用图像的空间上下文信息，利用最大池化操作在特征图分辨率逐步降低的同时提高整体网络的语意表达能力，利用多级网络将N个关节点空间上下文信息抽象为小分辨率的特征图；
3.2达到最小分辨率之后，利用双线性插值算法逐步增大特征图的分辨率，并融合上述步骤3.1中经过卷积化操作的对应特征图，在不同尺度上提取关节点的位置特征，并进行卷积操作；
3.3使用卷积操作改变特征图的通道数量，使得输出N个关节点的概率分布图，每一张概率分布图对应一个关节点在空间上的位置分布；
3.4计算预测概率分布图与真实概率分布图之间的差值，并回传Loss；
3.5反复迭代上述步骤。
4.如权利要求3所述的跌倒检测方法，其特征在于,选用如下表达式计算网络损失：
Figure FDA0002578449190000021
其中N表示目标人体关节点数量,W表示概率特征图像的宽度,H表示概率特征图像的高度,G(u,v)表示人体关节点真值坐标,Pre(u,v)表示卷积神经网络在最终的概率特征图像上输出人体关节点的预测坐标,Loss即表征了整体网络的预测损失。
5.如权利要求4所述的跌倒检测方法，其特征在于,步骤S4中具体包括：
4.1利用步骤S3得到活动场景中人体的N个关节点的三维特征，定义得到的关节点三维坐标P(xi,yi,zi)，地平面法线系数A,B,C,D，将多帧序列表达为人体骨架模型:
Figure FDA0002578449190000022
其中PN n表示在第N帧中的第n个关节点的三维坐标位置；
4.2计算各个关节点的运动特征和静态特征，其中关节点的运动特征可用如下表达式:
Vpnx＝Pxn-Pxn-1
Vpny＝Pyn-Pyn-1
Vpnz＝Pzn-Pzn-1
其中Vpnx、Vpny和Vpnz表示第n个关节点在分别在轴X、Y、Z上的运动特征；
4.3利用三维场景信息计算关节点的静态结构特征，包括关节点拓扑高度信息、拓扑上肢倾斜信息、拓扑下肢倾斜信息。其中关节点的拓扑高度特征可用如下表达式:
Figure FDA0002578449190000031
4.4拓扑上肢倾斜信息可用如下表达式:
Figure FDA0002578449190000032
其中
Figure FDA0002578449190000033
表示人体竖向中心与地面的构成的有向向量,
Figure FDA0002578449190000034
表示人体竖向中心与上肢构成的有向向量，β表示人体的上肢几何拓扑倾斜角度；
4.5拓扑下肢倾斜信息可用如下表达式:
Figure FDA0002578449190000035
其中
Figure FDA0002578449190000036
表示人体竖向中心与地面的构成的有向向量,
Figure FDA0002578449190000037
表示人体竖向中心与下肢构成的有向向量，α表示人体的下肢几何拓扑倾斜角度。
6.如权利要求5所述的跌倒检测方法，其特征在于,提取跌倒视频片段的静态特征和动态特征，作为跌倒的样本；再提取正常活动状态下的视频片段的上述静态特征和动态特征，作为正常行为的样本；使用上述关节点特征样本训练SVM分类器，并使用该分类器识别人体是否跌倒。
CN201810611524.2A 2018-06-14 2018-06-14 一种基于rgbd传感器的人体跌倒检测方法 Expired - Fee Related CN108629946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810611524.2A CN108629946B (zh) 2018-06-14 2018-06-14 一种基于rgbd传感器的人体跌倒检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810611524.2A CN108629946B (zh) 2018-06-14 2018-06-14 一种基于rgbd传感器的人体跌倒检测方法

Publications (2)

Publication Number Publication Date
CN108629946A CN108629946A (zh) 2018-10-09
CN108629946B true CN108629946B (zh) 2020-09-04

Family

ID=63691485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810611524.2A Expired - Fee Related CN108629946B (zh) 2018-06-14 2018-06-14 一种基于rgbd传感器的人体跌倒检测方法

Country Status (1)

Country Link
CN (1) CN108629946B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522793B (zh) * 2018-10-10 2021-07-23 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN109697830B (zh) * 2018-12-21 2020-10-20 山东大学 一种基于目标分布规律的人员异常行为检测方法
CN109948475B (zh) * 2019-03-06 2021-03-16 武汉大学 一种基于骨架特征和深度学习的人体动作识别方法
CN109934873B (zh) * 2019-03-15 2021-11-02 百度在线网络技术（北京）有限公司 标注图像获取方法、装置及设备
CN109924994B (zh) * 2019-04-02 2023-03-14 晓智未来(成都)科技有限公司 一种x光拍摄过程中的检测位置自动校准方法及系统
CN110287825B (zh) * 2019-06-11 2022-12-02 沈阳航空航天大学 一种基于关键骨骼点轨迹分析的摔倒动作检测方法
CN110276751A (zh) * 2019-06-17 2019-09-24 北京字节跳动网络技术有限公司 确定图像参数的方法、装置、电子设备和计算机可读存储介质
CN110458061B (zh) * 2019-07-30 2022-04-05 四川工商学院 一种识别老年人跌倒的方法及陪伴机器人
CN111460908B (zh) * 2020-03-05 2023-09-01 中国地质大学（武汉） 一种基于OpenPose的人体摔倒识别方法及系统
CN111523559B (zh) * 2020-03-11 2023-07-28 浙江工业大学 一种基于多特征融合的异常行为检测方法
CN112215172A (zh) * 2020-10-17 2021-01-12 西安交通大学 融合彩色图像与深度信息的人体卧姿三维姿态估计方法
CN113378692B (zh) * 2021-06-08 2023-09-15 杭州萤石软件有限公司 一种降低跌倒行为误检的方法、检测系统
CN114170685A (zh) * 2021-12-06 2022-03-11 南京美基森信息技术有限公司 一种基于rgbd图像行人搭乘自动扶梯摔倒行为的检测方法
CN114419842B (zh) * 2021-12-31 2024-05-10 浙江大学台州研究院 基于人工智能的辅助用户至马桶的跌倒报警方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN106780569A (zh) * 2016-11-18 2017-05-31 深圳市唯特视科技有限公司 一种人体姿态估计行为分析方法
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法
CN107403430A (zh) * 2017-06-15 2017-11-28 中山大学 一种rgbd图像语义分割方法
CN107808111A (zh) * 2016-09-08 2018-03-16 北京旷视科技有限公司 用于行人检测和姿态估计的方法和装置
WO2018067684A1 (en) * 2016-10-04 2018-04-12 The Johns Hopkins University Measuring patient mobility in the icu using a novel non-invasive sensor
CN108073851A (zh) * 2016-11-08 2018-05-25 株式会社理光 一种抓取手势识别的方法、装置及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN107808111A (zh) * 2016-09-08 2018-03-16 北京旷视科技有限公司 用于行人检测和姿态估计的方法和装置
WO2018067684A1 (en) * 2016-10-04 2018-04-12 The Johns Hopkins University Measuring patient mobility in the icu using a novel non-invasive sensor
CN108073851A (zh) * 2016-11-08 2018-05-25 株式会社理光 一种抓取手势识别的方法、装置及电子设备
CN106780569A (zh) * 2016-11-18 2017-05-31 深圳市唯特视科技有限公司 一种人体姿态估计行为分析方法
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法
CN107403430A (zh) * 2017-06-15 2017-11-28 中山大学 一种rgbd图像语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种kinect深度图与摄像头RGB的标定和配准;zkl999;《https://blog.csdn.net/zkl99999/article/details/49307703》;20151021;正文第1-4页 *

Also Published As

Publication number Publication date
CN108629946A (zh) 2018-10-09

Similar Documents

Publication Publication Date Title
CN108629946B (zh) 一种基于rgbd传感器的人体跌倒检测方法
US8179440B2 (en) Method and system for object surveillance and real time activity recognition
JP4860749B2 (ja) 画像中の人物における位置決め指示との適合性を判定する機器、システム、及び方法
CN104751146B (zh) 一种基于3d点云图像的室内人体检测方法
CN110738154A (zh) 一种基于人体姿态估计的行人摔倒检测方法
JP2017016593A (ja) 画像処理装置、画像処理方法、及びプログラム
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
Humenberger et al. Embedded fall detection with a neural network and bio-inspired stereo vision
CN112528974B (zh) 测距方法、装置、电子设备及可读存储介质
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
CN112184898A (zh) 一种基于动作识别的数字人体建模方法
Ma et al. Human motion gesture recognition based on computer vision
CN110796699B (zh) 多目相机系统的最优视角选择方法和三维人体骨骼检测方法
CN112396600B (zh) 基于热成像和深度图的脱敏状态下面部神经麻痹检测系统
CN116580169B (zh) 一种数字人驱动方法及装置、电子设备和存储介质
CN110555394A (zh) 基于人体形体特征的跌倒风险评估方法
CN115937991A (zh) 人体摔倒识别方法、装置、计算机设备及存储介质
CN113361333B (zh) 一种非接触式骑行运动状态监测方法及其系统
CN113723432B (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
CN113808256B (zh) 一种结合身份识别的高精度全息人体重建方法
CN115631155A (zh) 一种基于时空自注意力的骨骼疾病筛查方法
JP2021076948A (ja) 人検出装置、人検出システム、人検出方法
CN114359328B (zh) 一种利用单深度相机和人体约束的运动参数测量方法
CN111241870A (zh) 一种终端设备及其脸部图像的识别方法、识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200904