CN112380946A - 一种基于端侧ai芯片的跌倒检测方法及装置 - Google Patents

一种基于端侧ai芯片的跌倒检测方法及装置 Download PDF

Info

Publication number
CN112380946A
CN112380946A CN202011239735.1A CN202011239735A CN112380946A CN 112380946 A CN112380946 A CN 112380946A CN 202011239735 A CN202011239735 A CN 202011239735A CN 112380946 A CN112380946 A CN 112380946A
Authority
CN
China
Prior art keywords
fall
frequency domain
real
chip
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011239735.1A
Other languages
English (en)
Other versions
CN112380946B (zh
Inventor
方倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Aikor Intelligent Technology Co ltd
Original Assignee
Shanghai Sike Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sike Intelligent Technology Co ltd filed Critical Shanghai Sike Intelligent Technology Co ltd
Priority to CN202011239735.1A priority Critical patent/CN112380946B/zh
Publication of CN112380946A publication Critical patent/CN112380946A/zh
Application granted granted Critical
Publication of CN112380946B publication Critical patent/CN112380946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于端侧AI芯片的跌倒检测方法及装置。一种基于端侧AI芯片的跌倒检测方法，包括如下步骤：实时采集视频数据流，提取视频流中人体图像视频帧；调用预先训练的人体关键点检测模型逐帧对视频数据流中人体图像进行人体关键点的检测；对连续多帧的人体关键点的检测结果做实时频域特征提取；计算实时频域特征与跌倒模板特征集进行相似度，若相似度小于预设阈值，则判断发生跌倒。本发明具有实时响应，成本低，数据安全性高，高度保障用户隐私等优点。

Description

一种基于端侧AI芯片的跌倒检测方法及装置
技术领域
本发明涉及计算机科学和深度学习技术领域，尤其涉及一种基于端侧AI 芯片的跌倒检测方法及装置。
背景技术
人口老龄化是当前我国社会的一个重要特征，随着老人年龄的增加，老人身体机能水平逐渐衰退，健康风险逐渐将会增加。尤其是相当多的老人独居家中，对于独居老人，一旦发生跌倒，如果不能及时被人发现并采取相应的救护措施，往往可能会引起骨折、出血、神经损伤、瘫痪等严重的身体伤害。若能在老人发生跌倒的第一时间及时检测出跌倒行为，将可以使老人在第一时间得到有效救治，避免老人跌倒未被及时发现造成的严重伤害，在日益老龄化的社会中，将带来巨大的经济效益和社会效益。
目前的人体跌倒检测装置大致分为三类：第一类是由用户主动触发的装置，需要老人在摔倒后仍能具有清醒的意识来触发按钮报警；第二类主要通过摄像头进行检测识别，目前主流的摄像头方案将AI算法部署在云端，所以会有实时性差，数据安全性低，用户隐私不友好等缺点；第三类主要由装置内的传感器触发的报警装置，佩戴者的活动范围较为广泛，第三类跌倒检测装置由于对活动范围较少限制，随着可穿戴技术和物联网技术的发展渐渐成为主流，目前在这一类装置中最主要的做法是通过三轴的传感器或陀螺仪完成加速度的三维建轴，算法非常轻量化，一般不需要部署在云端，第三类可穿戴的缺点是需要用户保持穿戴的习惯，但是在一些特殊场景，比如高龄用户晚上起夜，用户往往不会穿戴。
现有技术存在的主要缺点如下：
1、采集信息发送至云端，存在数据安全隐患的缺陷；
2、云端部署AI算法进行大数据处理及分析反馈，处理的数据量大从而不能实现数据实时性；
3、采用传统机器学习算法，在检测精确度方面，难以泛化复杂多变的实际应用场景；
4、采用传感器或者可穿戴设备采集数据，使用不够便捷。
发明内容
为了解决上述技术问题，本发明提出一种基于端侧AI芯片的跌倒检测方法。在所述系统及方法中，
为了达到上述目的，本发明的技术方案如下：
一种基于端侧AI芯片的跌倒检测方法，包括如下步骤：
实时采集视频数据流，提取视频流中人体图像视频帧；
调用预先训练的人体关键点检测模型逐帧对视频数据流中人体图像进行人体关键点的检测；
对连续多帧的人体关键点的检测结果做实时频域特征提取；
计算实时频域特征与跌倒模板特征集进行相似度，若相似度小于预设阈值，则判断发生跌倒。
优选地，所述跌倒模板特征集是通过对多个发生跌倒的视频段做逐帧人体关键点标注，并提取每个视频段的人体关键点频域特征得到特征集合。
优选地，还包括如下步骤：将实时采集视频数据流信息发送至端侧AI芯片，并在端侧中调用预先训练的人体关键点检测模型逐帧对视频数据流中人体图像进行人体关键点的检测。
优选地，所述人体关键点检测模型利用TensorRT进行重构。
优选地，所述预先训练的人体关键点检测模型，在训练过程中，通过在惩罚项中引入惩罚诱导权重趋于稀疏化，所采用的损失函数计算公式是：
Figure BDA0002768039520000021
上述公式是加权的mse loss加稀疏惩罚项，式中，w1,w2分别是mse loss的正负样本的权重系数,Rg(wl)是每一层的稀疏正则，m指正样本数量，n指负样本数量、yi指标签、pi指预测值、λg指的是稀疏惩罚项的权重。
优选地，还包括如下步骤：
对连续多帧的人体关键点的检测结果进行平滑和插值处理；
处理后的数据进行二维快速傅里叶变换生成全息图像，其中，
二维快速傅里叶变换具有可分离性，可执行两次一维快速傅里叶变换等效二维快速傅里叶变换，所述一维快速傅里叶变换的计算公式是：
Figure BDA0002768039520000031
式中，x(n)是数据时域采样点，wN代表了频域采样的分辨率，N代表了采样的数据点数目，l指时域采样点索引，k指频域采样点索引，j指虚数单位，e指自然常数，pi指圆周率Π。
优选地，所述计算实时频域特征与跌倒模板特征集进行相似度，若相似度小于预设阈值，则判断发生跌倒，具体包括如下步骤：
遍历跌倒模板特征集，计算跌倒模板特征集中每个人体关键点频域特征与实时频域特征的欧拉距离；
提取欧拉距离最小的M个模板数据，并求M个最小欧拉距离的平均值；
将计算得到的M个最小欧拉距离的平均值与预设阈值比较，获取两者的差异值，若差异值小于预设阈值，则判断发生跌倒；否则没有发生跌倒。
优选地，所述人体关键点包括鼻子、脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝盖、右脚踝、左臀、左膝盖、左脚踝、右眼、左眼、右耳朵和左耳朵。
一种基于端侧AI芯片的跌倒检测装置，包括:中央处理器和图像处理器，其中，
所述图像处理器，包括第一接收模块和第一处理模块，其中，
所述第一接收模块，用于接收中央处理模块发送的目标人体数据；
所述第一处理模块，用于对目标人体数据进行人体关键点的检测；
所述中央处理器，包括采集模块、预处理模块、第二接收模块和第二处理模块，其中，
所述采集模块，用于从数据源获取目标人体数据分别并提供给中央处理器和图像处理器，数据源包括云端、本地文件或摄像头之一或任意组合；
所述预处理模块，用于构建跌倒模板特征集；
所述第二接收模块，用于接收采集模块发送的视频数据流和所述第一处理模块处理后的数据信息；
所述第二处理模块，用于对第一处理模块的检测结果做实时频域特征提取，并计算实时频域特征与跌倒模板特征集进行相似度，若相似度小于预设阈值，则判断发生跌倒。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如上述中任意一项所述的方法中的步骤。
基于上述技术方案，本发明的有益效果是：
1)、利用视频流实时监测人体跌倒情况，被检测者不用佩戴传感器等装置，可以应用于协助养老机构、独居老人等的看护工作，操作方便、使用成本低；
2)、无侵入用户隐私，数据安全性高，高度保障用户隐私；
3)、数据的采集和计算发送至端侧嵌入式模组中完成，可实时响应；
4)、由于在端侧嵌入式模组中完成计算，对人体关键点检测模型采用稀疏训练进行剪枝，解决硬件算力受限问题；
5)、在异构嵌入式系统中，采用GPU和CPU组合的硬件架构，并行处理、大大缩短整体的处理时间，提高处理效率。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1：本发明一种基于端侧AI芯片的跌倒检测方法流程图；
图2：本发明一种基于端侧AI芯片的跌倒检测方法中人体关键点检测模型训练流程示意图；
图3：实施例一中本发明一种基于端侧AI芯片的跌倒检测装置的框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例一
如图1、2所示，一种基于端侧AI芯片的跌倒检测方法，包括如下步骤：
实时采集视频数据流，提取视频流中人体图像视频帧；
调用预先训练的人体关键点检测模型逐帧对视频数据流中人体图像进行人体关键点的检测；
对连续多帧的人体关键点的检测结果做实时频域特征提取；
计算实时频域特征与跌倒模板特征集进行相似度，若相似度小于预设阈值，则判断发生跌倒，
如图2所示，本发明采集的人体关键点共18个，包括鼻子-0,脖子-1，右肩-2，右肘-3，右手腕-4，左肩-5，左肘-6，左手腕-7，右臀-8，右膝盖-9，右脚踝-10，左臀-11，左膝盖-12，左脚踝-13，右眼-14，左眼-15，右耳朵-16，左耳朵-17。
进一步，对连续多帧的18个人体关键点进行频域特征提取由于考虑到视频流的帧率大约是20-30FPS(帧每秒)，为了兼顾响应实时性和二维(2D)快速傅里叶变换(FFT)计算的数据量要求，本发明需要对人体关键点的检测结果进行插值操作，插值操作的目的为了在短时间内(比如2-3秒)提供FFT计算所需要的数据量(比如256或512个数据点)，同时为了减少快速傅里叶变换(FFT)结果中的噪声成分，在快速傅里叶变换(FFT)计算之前通过加权相邻帧对应的人体关键点坐标，对人体关键点坐标进行平滑处理。经过插值及平滑操作后，可以对18个人体关键点的连续坐标值进行二维(2D)快速傅里叶变换(FFT)计算和相关性计算。实际实现中，由于2D FFT具有可分离性，即它可分离成两次1D FFT,1D FFT的公式是：
Figure BDA0002768039520000051
式中，x(n)是数据时域采样点，wN代表了频域采样的分辨率，N代表了采样的数据点数目，l指时域采样点索引，k指频域采样点索引，j指虚数单位，e指自然常数，pi指圆周率Π。通过对18个关键点坐标的FFT计算，可以得到长度为18*K(K为2的整数次幂)的特征。同时，通过计算18个关键点的互相关性，可以得到维度为18*18的相关性矩阵。18*K的FFT特征和18*18的相关性特征构成了本发明的单个数据(单个视频段数据)的频域特征。
进一步，预先训练的人体关键点检测模型在训练阶段，需要用大量的标注了人体关键点的图片作为模型输入，人体关键点检测模型预测的人体关键点将会与标注的人体关键点做损失计算，在训练过程中，通过在惩罚项中引入惩罚诱导权重趋于稀疏化。损失函数(loss function)计算公式是：
Figure BDA0002768039520000061
上述公式是加权的mse loss加稀疏惩罚项，式中，w1,w2分别是mse loss的正负样本的权重系数,Rg(wl)是每一层的稀疏正则，m指正样本数量，n指负样本数量、yi指标签、pi指预测值、λg指的是稀疏惩罚项的权重。
进一步，人体关键点检测模型还利用TensorRT(一个高性能的深度学习推理(Inference)优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理)进行重构，使得优化后的人体关键点检测模型的预测速度更快、预测结果更加准确。
进一步，所述将实时频域特征与跌倒模板数据特征集进行相似度对比，根据对比结果判断是否发生跌倒，具体包括如下步骤：
遍历跌倒模板特征集，计算跌倒模板特征集中每个人体关键点频域特征与
实时频域特征的欧拉距离；
提取欧拉距离最小的M个(比如20个)模板数据，并求M个最小欧拉距离的平均值；
将计算得到的M个最小欧拉距离的平均值与预设阈值比较，获取两者的差异值，若差异值小于预设阈值，则判断发生跌倒；否则没有发生跌倒。
一种基于端侧AI芯片的跌倒检测装置，包括:中央处理器和图像处理器，其中，
图像处理器，包括第一接收模块和第一处理模块，其中，
第一接收模块，用于接收采集模块发送的目标人体数据；
第一处理模块，用于对目标人体数据进行人体关键点的检测；
中央处理器，包括采集模块、预处理模块、第二接收模块和第二处理模块，
其中，
采集模块，用于从数据源获取目标人体数据并提供给第一接收模块和第二接收模块，数据源包括云端、本地文件或摄像头之一或任意组合；
预处理模块，用于构建跌倒模板特征集；
第二接收模块，用于接收采集模块发送的视频数据流和第一处理模块处理后的数据信息；
第二处理模块，用于对第一处理模块的检测结果做实时频域特征提取，并将实时频域特征与预处理模块构建的跌倒模板特征集进行相似度对比，根据对比结果判断是否发生跌倒。
如图3所示是本发明端侧异构嵌入式系统框图，系统中，本发明采用端侧图像处理器(GPU)作为深度学习推理加速硬件，如NVIDIA公司的jetson系列。本系统分为硬件、底层软件、工具软件等，其中，中央处理器(CPU)负责视频数据的采集和预处理；通过调用嵌入式Jetson平台的GPU图像加速模块，负责深度学习模型推理加速，对并行视频数据进行逐帧人体关键点提取，接下来CPU再对关键点数据进行频域特征分析及是否发生跌倒的判断,其中采用 GPU和CPU组合的硬件架构，并行处理、大大缩短整体的处理时间。作为支撑本发明方案的完整软硬件平台，异构计算系统还包括以driver(驱动)为主的底层软件，及满足图像/视频数据处理需求的工具软件(OpenCV/GStreamer等)，基于GStreamer框架调用目标视频流，通过OpenCV将图像信息进行读取，并提取目标视频流中人体关键点。
以上所述仅为本发明所公开的一种基于端侧AI芯片的跌倒检测方法及装置的优选实施方式，并非用于限定本说明书实施例的保护范围。凡在本说明书实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的保护范围之内。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书实施例中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种基于端侧AI芯片的跌倒检测方法，其特征在于，包括如下步骤：
实时采集视频数据流，提取视频流中人体图像视频帧；
调用预先训练的人体关键点检测模型逐帧对视频数据流中人体图像进行人体关键点的检测；
对连续多帧的人体关键点的检测结果做实时频域特征提取；
计算实时频域特征与跌倒模板特征集进行相似度，若相似度小于预设阈值，则判断发生跌倒。
2.根据权利要求1所述的一种基于端侧AI芯片的跌倒检测方法，其特征在于，所述跌倒模板特征集是通过对多个发生跌倒的视频段做逐帧人体关键点标注，并提取每个视频段的人体关键点频域特征得到特征集合。
3.根据权利要求1所述的一种基于端侧AI芯片的跌倒检测方法，其特征在于，还包括如下步骤：将实时采集视频数据流信息发送至端侧AI芯片，并在端侧中调用预先训练的人体关键点检测模型逐帧对视频数据流中人体图像进行人体关键点的检测。
4.根据权利要求1或3所述的一种基于端侧AI芯片的跌倒检测方法，其特征在于，所述人体关键点检测模型利用TensorRT进行重构。
5.根据权利要求1所述的一种基于端侧AI芯片的跌倒检测方法，其特征在于，所述预先训练的人体关键点检测模型，在训练过程中，通过在惩罚项中引入惩罚诱导权重趋于稀疏化，所采用的损失函数计算公式是：
Figure FDA0002768039510000011
上述公式是加权的mse loss加稀疏惩罚项，式中，w1,w2分别是mse loss的正负样本的权重系数,Rg(wl)是每一层的稀疏正则，m指正样本数量，n指负样本数量、yi指标签、pi指预测值、λg指的是稀疏惩罚项的权重。
6.根据权利要求1所述的一种基于端侧AI芯片的跌倒检测方法，其特征在于，还包括如下步骤：
对连续多帧的人体关键点的检测结果进行平滑和插值处理；
处理后的数据进行二维快速傅里叶变换生成全息图像，其中，
二维快速傅里叶变换具有可分离性，可执行两次一维快速傅里叶变换等效二维快速傅里叶变换，所述一维快速傅里叶变换的计算公式是：
Figure FDA0002768039510000021
式中，x(n)是数据时域采样点，wN代表了频域采样的分辨率，N代表了采样的数据点数目，l指时域采样点索引，k指频域采样点索引，j指虚数单位，e指自然常数，pi指圆周率Π。
7.根据权利要求1所述的一种基于端侧AI芯片的跌倒检测方法，其特征在于，所述计算实时频域特征与跌倒模板特征集进行相似度，若相似度小于预设阈值，则判断发生跌倒，具体包括如下步骤：
遍历跌倒模板特征集，计算跌倒模板特征集中每个人体关键点频域特征与实时频域特征的欧拉距离；
提取欧拉距离最小的M个模板数据，并求M个最小欧拉距离的平均值；
将计算得到的M个最小欧拉距离的平均值与预设阈值比较，获取两者的差异值，若差异值小于预设阈值，则判断发生跌倒；否则没有发生跌倒。
8.根据权利要求1至7任意一项所述的一种基于端侧AI芯片的跌倒检测方法，其特征在于，所述人体关键点包括鼻子、脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝盖、右脚踝、左臀、左膝盖、左脚踝、右眼、左眼、右耳朵和左耳朵。
9.一种基于端侧AI芯片的跌倒检测装置，其特征在于，包括:中央处理器和图像处理器，其中，
所述图像处理器，包括第一接收模块和第一处理模块，其中，
所述第一接收模块，用于接收中央处理模块发送的目标人体数据；
所述第一处理模块，用于对目标人体数据进行人体关键点的检测；所述中央处理器，包括采集模块、预处理模块、第二接收模块和第二处理模块，其中，
所述采集模块，用于从数据源获取目标人体数据分别并提供给中央处理器和图像处理器，数据源包括云端、本地文件或摄像头之一或任意组合；
所述预处理模块，用于构建跌倒模板特征集；
所述第二接收模块，用于接收采集模块发送的视频数据流和所述第一处理模块处理后的数据信息；
所述第二处理模块，用于对第一处理模块的检测结果做实时频域特征提取，并计算实时频域特征与跌倒模板特征集进行相似度，若相似度小于预设阈值，则判断发生跌倒。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如权利要求1至8中任意一项所述的方法中的步骤。
CN202011239735.1A 2020-11-09 2020-11-09 一种基于端侧ai芯片的跌倒检测方法及装置 Active CN112380946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011239735.1A CN112380946B (zh) 2020-11-09 2020-11-09 一种基于端侧ai芯片的跌倒检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011239735.1A CN112380946B (zh) 2020-11-09 2020-11-09 一种基于端侧ai芯片的跌倒检测方法及装置

Publications (2)

Publication Number Publication Date
CN112380946A true CN112380946A (zh) 2021-02-19
CN112380946B CN112380946B (zh) 2022-12-16

Family

ID=74579219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011239735.1A Active CN112380946B (zh) 2020-11-09 2020-11-09 一种基于端侧ai芯片的跌倒检测方法及装置

Country Status (1)

Country Link
CN (1) CN112380946B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450537A (zh) * 2021-06-25 2021-09-28 北京小米移动软件有限公司 跌倒检测方法、装置、电子设备和存储介质
CN114842319A (zh) * 2022-03-01 2022-08-02 杭州未名信科科技有限公司 检测家居场景的方法、装置、电子设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015085757A1 (zh) * 2013-12-14 2015-06-18 复旦大学 一种用于图像匹配、识别、检索的频域形状描述方法
US20160379072A1 (en) * 2015-04-30 2016-12-29 Beijing Kuangshi Technology Co., Ltd. Video detection method, video detection system and computer program product
CN108831527A (zh) * 2018-05-31 2018-11-16 古琳达姬（厦门）股份有限公司 一种用户运动状态检测方法、装置及可穿戴设备
CN108960056A (zh) * 2018-05-30 2018-12-07 西南交通大学 一种基于姿态分析和支持向量数据描述的跌倒检测方法
CN110309799A (zh) * 2019-07-05 2019-10-08 四川长虹电器股份有限公司 基于摄像头的说话判断方法
CN110659595A (zh) * 2019-09-10 2020-01-07 电子科技大学 一种基于特征分类的跌倒类型及伤害部位检测方法
US20200090484A1 (en) * 2018-09-13 2020-03-19 Wistron Corporation Falling detection method and electronic system using the same
CN111383421A (zh) * 2018-12-30 2020-07-07 奥瞳系统科技有限公司 隐私保护跌倒检测方法和系统
CN111881898A (zh) * 2020-09-27 2020-11-03 西南交通大学 基于单目rgb图像的人体姿态检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015085757A1 (zh) * 2013-12-14 2015-06-18 复旦大学 一种用于图像匹配、识别、检索的频域形状描述方法
US20160379072A1 (en) * 2015-04-30 2016-12-29 Beijing Kuangshi Technology Co., Ltd. Video detection method, video detection system and computer program product
CN108960056A (zh) * 2018-05-30 2018-12-07 西南交通大学 一种基于姿态分析和支持向量数据描述的跌倒检测方法
CN108831527A (zh) * 2018-05-31 2018-11-16 古琳达姬（厦门）股份有限公司 一种用户运动状态检测方法、装置及可穿戴设备
US20200090484A1 (en) * 2018-09-13 2020-03-19 Wistron Corporation Falling detection method and electronic system using the same
CN111383421A (zh) * 2018-12-30 2020-07-07 奥瞳系统科技有限公司 隐私保护跌倒检测方法和系统
CN110309799A (zh) * 2019-07-05 2019-10-08 四川长虹电器股份有限公司 基于摄像头的说话判断方法
CN110659595A (zh) * 2019-09-10 2020-01-07 电子科技大学 一种基于特征分类的跌倒类型及伤害部位检测方法
CN111881898A (zh) * 2020-09-27 2020-11-03 西南交通大学 基于单目rgb图像的人体姿态检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HIROAKI KINGETSU ET AL.: "Video-based Fall Risk Detection System for the Elderly", 《2019 IEEE 1ST GLOBAL CONFERENCE ON LIFE SCIENCES AND TECHNOLOGIES (LIFETECH 2019)》 *
ZHUO WANG ET AL.: "Possible Life Saver: A Review on Human Fall Detection Technology", 《ROBOTICS》 *
翟艳东 等: "一种基于步幅长度及频域特征的步态识别方法", 《河北工业大学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450537A (zh) * 2021-06-25 2021-09-28 北京小米移动软件有限公司 跌倒检测方法、装置、电子设备和存储介质
CN114842319A (zh) * 2022-03-01 2022-08-02 杭州未名信科科技有限公司 检测家居场景的方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN112380946B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
CN111178183B (zh) 人脸检测方法及相关装置
CN105389562B (zh) 一种时空约束的监控视频行人重识别结果的二次优化方法
CN112380946B (zh) 一种基于端侧ai芯片的跌倒检测方法及装置
CN111104925B (zh) 图像处理方法、装置、存储介质和电子设备
CN113111767A (zh) 一种基于深度学习3d姿态评估的跌倒检测方法
CN111310605B (zh) 一种图像处理方法、装置、电子设备及存储介质
Chen et al. Video based fall detection using human poses
CN107169090A (zh) 一种利用内容环绕信息提取图像表征的特定对象检索方法
CN110826610A (zh) 一种用于智能检测人员着装是否规范的方法与系统
JP7075460B2 (ja) 情報認識システムおよびその方法
CN110322472A (zh) 一种多目标跟踪方法以及终端设备
Lyu et al. Seeing the vibration: Visual-based detection of low frequency vibration environment pollution
EP3467677A1 (en) Image screening method and device
Zheng et al. Application of IndRNN for human activity recognition: The Sussex-Huawei locomotion-transportation challenge
CN112651366A (zh) 客流人数的处理方法、装置、电子设备及存储介质
Dai Vision-based 3d human motion analysis for fall detection and bed-exiting
CN115687460B (zh) 利用轨迹数据挖掘重点人群的关联对象的方法及系统
Pham et al. A proposal model using deep learning model integrated with knowledge graph for monitoring human behavior in forest protection
CN116778214A (zh) 一种行为检测方法、装置、设备及其存储介质
Hashim et al. Deep transfer learning based human activity recognition by transforming IMU data to image domain using novel activity image creation method
Hwang et al. Cut and continuous paste towards real-time deep fall detection
CN114120370A (zh) 基于cnn-lstm的人体跌倒检测实现方法及系统
CN113850160A (zh) 重复动作的计数方法及装置
Daga et al. Applications of Human Activity Recognition in Different Fields: A Review
Chelli et al. Recognition of falls and daily living activities using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210713

Address after: 215000 room d303, building g-1, shazhouhu science and Technology Innovation Park, Huachang Road, yangshe Town, Zhangjiagang City, Suzhou City, Jiangsu Province

Applicant after: Suzhou aikor Intelligent Technology Co.,Ltd.

Address before: 201600 6 6, Si brick road, Si Jing Town, Songjiang District, Shanghai

Applicant before: Shanghai Sike Intelligent Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant