CN111507252A - 人体跌倒检测装置、方法、电子终端及存储介质 - Google Patents

人体跌倒检测装置、方法、电子终端及存储介质 Download PDF

Info

Publication number
CN111507252A
CN111507252A CN202010300637.8A CN202010300637A CN111507252A CN 111507252 A CN111507252 A CN 111507252A CN 202010300637 A CN202010300637 A CN 202010300637A CN 111507252 A CN111507252 A CN 111507252A
Authority
CN
China
Prior art keywords
image
human body
detected
detection
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010300637.8A
Other languages
English (en)
Inventor
周康明
牛寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN202010300637.8A priority Critical patent/CN111507252A/zh
Publication of CN111507252A publication Critical patent/CN111507252A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供人体跌倒检测装置、方法、电子终端及存储介质，其包括：人体检测模块，用于获取包括人体画面的待检图像并从中提取一组人体检测框；跌倒识别模块，用于获取所述待检图像及其对应的人体检测框，并据以输出待检图像的人体跌倒识别结果信息。本发明采用了计算机视觉技术而不需要其它附加传感器的技术方案，其基于深度学习模型，不仅提取图像本身的特征，还利用了运动历史图像信息，实现人体跌倒动作的检测，相比于传统的通过可穿戴设备或各种附加传感器进行识别的方法或通过骨架图进行识别的方法，识别精度更高。

Description

人体跌倒检测装置、方法、电子终端及存储介质
技术领域
本发明涉及人员跌倒检测技术领域，特别是涉及人体跌倒检测装置、方法、电子终端及存储介质。
背景技术
目前，对于人员跌倒的检测主要有两种方法：一是通过可穿戴设备或各种附加传感器进行识别；二是基于计算机视觉的方法。后者中目前效果较好的是基于骨架图的方法，但该方法一方面依赖姿态点的检测精度，另一方面很容易受到摄像头角度的影响，不利于部署。
因此，本领域亟需一种易于部署，与摄像头角度无关，又能实现多人同时检测的人员跌倒检测的技术方案。
申请内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供人体跌倒检测装置、方法、电子终端及存储介质，用于解决现有技术中的问题。
为实现上述目的及其他相关目的，本发明的第一方面提供一种基于深度学习的人体跌倒检测装置，其包括：人体检测模块，用于获取包括人体画面的待检图像并从中提取一组人体检测框；跌倒识别模块，用于获取所述待检图像及其对应的人体检测框，并据以输出待检图像的人体跌倒识别结果信息。
于本发明的第一方面的一些实施例中，所述人体检测模块包括：特征提取子模块，其包括多个特征提取层，且每个所述特征提取层包括若干卷积层、归一化层、激活层及池化层；检测子模块，用于输出检测框的位置及其置信度。
于本发明的第一方面的一些实施例中，所述人体检测模块所提取的人体检测框表示为：pRects[i]＝{x1,y1,x2,y2}(i＝1,2,…,N)；其中，N表示人体检测框的数量；x1,y1和x2,y2分别表示人体检测框的左上角坐标和右下角坐标中的一者及另一者。
于本发明的第一方面的一些实施例中，所述跌倒识别模块包括：第一特征提取子模块，用于提取空间图像及其对应的运动历史图像；第二特征提取子模块，用于根据所计算的空间图像和运动历史图像获得对应的跌到识别结果。
于本发明的第一方面的一些实施例中，所述第一特征提取子模块包括用于提取空间图像的第一特征提取器和用于提取运动历史图像的第二特征提取器；所述第二特征提取子模块包括全局平均池化层、卷积层、归一化层、激活层及通道合并层。
为实现上述目的及其他相关目的，本发明的第二方面提供一种基于深度学习的人体跌倒检测方法，其包括：获取包括人体画面的待检图像并从中提取一组人体检测框；根据所述待检图像及其对应的人体检测框，输出待检图像的人体跌倒识别结果信息。
于本发明的第二方面的一些实施例中，所述根据所述待检图像及其对应的人体检测框，输出待检图像的人体跌倒识别结果信息，其包括：计算待检图像的空间图像；基于所述空间图像计算对应的运动历史图像；将所述空间图像和运动历史图像输入跌倒识别模型中，以得到对应的跌倒识别结果。
于本发明的第二方面的一些实施例中，所述基于所述空间图像计算对应的运动历史图像，其包括：对所述空间图像做高斯滤波处理；将滤波后的图像转换为单通道灰度图；计算当前帧的灰度图与前N帧的灰度图之差，以得到当前帧的差分图像；对所述差分图像进行二值化处理，以得到对应的二值化图像；根据所述二值化图像和当前帧对应的时间戳，计算当前帧的运动历史图像；将图像中不为0的像素置为255，并将其转换为3通道，以得到运动历史图像。
为实现上述目的及其他相关目的，本发明的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于深度学习的人体跌倒检测方法。
为实现上述目的及其他相关目的，本发明的第四方面提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述基于深度学习的人体跌倒检测方法。
如上所述，本发明的，具有以下有益效果：本发明采用了计算机视觉技术而不需要其它附加传感器的技术方案，其基于深度学习模型，不仅提取图像本身的特征，还利用了运动历史图像信息，实现人体跌倒动作的检测，相比于传统的通过可穿戴设备或各种附加传感器进行识别的方法或通过骨架图进行识别的方法，识别精度更高。
附图说明
图1显示为本发明一实施例中基于深度学习的人体跌倒检测装置的结构示意图。
图2显示为本发明一实施例中人体跌倒检测的流程示意图。
图3显示为本发明一实施例中人体检测模块的结构示意图。
图4显示为本发明一实施例中跌倒识别模块的结构示意图。
图5显示为本发明一实施例中基于深度学习的人体跌倒检测方法的流程示意图。
图6显示为本发明一实施例中电子终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本发明的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本发明的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本发明的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本发明。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
目前，对于人员跌倒的检测主要有两种方法：一是通过可穿戴设备或各种附加传感器进行识别；二是基于计算机视觉的方法。后者中目前效果较好的是基于骨架图的方法，但该方法一方面依赖姿态点的检测精度，另一方面很容易受到摄像头角度的影响，不利于部署。
有鉴于此，本发明提出基于深度学习的人体跌倒检测装置、方法、电子终端及存储介质，是采用了计算机视觉技术而不需要其它附加传感器的技术方案，其基于深度学习模型，不仅提取图像本身的特征，还利用了运动历史图像信息，实现人体跌倒动作的检测，相比于传统的通过可穿戴设备或各种附加传感器进行识别的方法或通过骨架图进行识别的方法，识别精度更高。
为了使本发明的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本发明实施例中的技术方案的进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定发明。
实施例一
如图1所示，展示了本发明一实施例中基于深度学习的人体跌倒检测装置的结构示意图。本实施例中的人体跌倒检测装置包括人体检测模块11和跌倒识别模块12。
具体而言，人体检测模块11用于获取包括人体画面的待检图像并从中提取一组人体检测框；跌倒识别模块12用于获取所述待检图像及其对应的人体检测框，并据以输出待检图像的人体跌倒识别结果信息。为便于本领域技术人员理解，现结合图2的流程图来进行进一步的解释说明。
步骤2.1)从视频流中抽取一帧RGB图像(记做图像A)，并将图像A输入人体监测点模块。
步骤2.2)人体检测模块根据输入的图像A输出一组对应的人体检测框pRects，并将图像A和人体检测框pRects输入跌倒识别模块。
步骤2.3)跌倒识别模块根据输入的图像A和人体检测框pRects得到人体跌倒识别结果，并输出所述人体跌倒识别结果。
重复步骤2.1～2.3。
如图3所示，展示了本发明一实施例中的人体检测模块的结构示意图。本实施例中的人体检测模块是一个基于卷积神经网络的端到端的目标检测器，其内部主要包括特征提取子模块和检测子模块。特征提取子模块包括C1-C8，每个Ci由若干卷积层、归一化层、激活层、池化层等堆叠而成。从C1到C6特征图尺寸逐级递减(每次递减特征图的宽和高都变为上一级的1/2，即C6特征图的宽高是C1的1/32)。相反，从C6到C8特征图尺寸逐级递增。检测子模块包括D1-D3，用于输出检测框的位置和置信度。
人体检测模块11的检测结果是一组人体检测框pRects，每个人体检测框表示为pRects[i]＝{x1,y1,x2,y2}(i＝1,2,…,N)，其中N代表检测到的人体检测框数量，x1,y1,x2,y2分别代表人体检测框的左上角和右下角的坐标。
本实施例中的跌倒识别模块12的识别过程如图3所示，包括：
步骤S121：计算待检图像的空间图像S。空间图像S的计算方式包括：
首先，遍历人体人体检测框pRects，在图像A上截取对应区域的人体图像，并生成一组人体图像。其次，遍历人体图像，并将图像尺寸压缩到跌倒识别模型的输入尺寸，从而得到空间图像S，即待检图像中的每个人像都会对应一张空间图像S。
步骤S122：计算运动历史图像T。运动历史图像T的计算方式包括：
1)对空间图像S做高斯滤波处理。高斯滤波处理是一种线性平滑滤波，就是对整幅图像进行加权平均的过程，每一个像素点的值都由其本身和邻域内的其他像素值经过加权平均后得到，用于消除高斯噪声。
2)将滤波后的图像转换为单通道灰度图G。单通道灰度图的每个像素点只能有一个值表示颜色，它的像素点在0到255之间，0表示黑色，255表示白色，中间值是一些不同等级的灰色。
3)令当前帧的灰度图为Gt，计算灰度图Gt与前N帧的灰度图Gt-N+1的差，以得到当前帧的差分图像Dt。
4)对差分图像Dt做二值化处理，以得到对应的二值化图像Bt。图像二值化二值化后处理是将图像上的像素点的灰度值设置为0或255，也即将整个图像呈现出明显的黑白效果的过程。
5)根据二值化图Bt和当前帧对应的时间戳，计算当前帧对应的运动历史图像。运动历史图像的计算公式如下：
Figure BDA0002453847320000051
其中，mhi(x,y)代表MHIt的像素值；silhouette代表二值化图像Bt对应的像素值；timestamp代表当前时间戳；duration代表持续的历史时间阈值，即如果二值化图像Bt的对应像素不为0，则该像素值为当前时间戳，而如果二值化图像Bt的对应像素为0且该像素值持续了duration的时间也没有变化则置为0。
6)进一步的，将MHIt图像中不为0的像素置为255，并将其转换为3通道，从而得到运动历史图像T。
步骤S123：将空间图像S和运动历史图像T输入跌倒识别模型中，以得到跌倒识别结果。
如图4所示，展示了本发明一实施例中的跌倒识别模块的结构示意图。跌倒识别模块是一个基于卷积神经网络分类器，主要包括第一级特征提取子模块和第二级特征提取子模块。第一级特征提取子模块包括两个特征提取器，分别提取空间图像S的特征和运动历史图像T的特征。
需说明的是，本实施例的特征提取器可选用现有技术中的特征提取器，公开的CNN分类网络，如RESNET50(一种用于提取图像特征的卷积神经网络)，分别生成空间特征图Fs和时序特征图Ft。第二级特征提取子模块包括全局平均池化层(Global Average Pooling，GP)，C1-C3(1×1卷积层、归一化层、激活层)，Contact(通道合并)等算子，将空间特征图Fs和时序特征图Ft进行融合，并进一步提取提取时空特征，输出是一个[0,1]的概率值，代表跌倒动作的概率值。
举例来说，若空间图像S和运动历史图像T的输入尺寸都是224×224，空间图像S和运动历史图像T均为3通道，第一级特征提取子模块的两个特征提取器均使用公开的RESNET50,则生成的空间特征图Fs和时序特征图Ft的尺寸均为7x7x512。
将空间特征图Fs和时序特征图Ft输入到第二级特征提取子模块,首先经过全局平均池化层将7x7x512的特征图压缩到1x1x512，然后经过C1层进行特征提取，Fs和Ft对应的特征图尺寸变为1x1x128，接着经过Contact层将Fs和Ft对应的特征图合并为1x1x256。对合并后的特征图继续进行C2层和C3层两级特征提取，得到尺寸为1x1x64的特征图，最后通过全连接输出一个[0,1]的概率值。
本实施例中，跌倒识别模块输出跌倒识别结果是指，若一人体图像对应的识别结果为跌倒，则相应输出其对应的人体检测框和当前时间戳。
应理解的是，以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，跌倒识别模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上跌倒识别模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
实施例二
如图5所示，展示了本发明一实施例中基于深度学习的人体跌倒检测方法的流程示意图。本实施例的人体跌倒检测方法包括步骤S51～S52。
步骤S51：获取包括人体画面的待检图像并从待检图像中提取一或多组人体检测框；
步骤S52：根据所述待检图像及其对应的人体检测框，输出待检图像的人体跌倒识别结果信息。
进一步的，所述根据所述待检图像及其对应的人体检测框，输出待检图像的人体跌倒识别结果信息，其包括：计算待检图像的空间图像；基于所述空间图像计算对应的运动历史图像；将所述空间图像和运动历史图像输入跌倒识别模型中，以得到对应的跌倒识别结果。
其中，所述基于所述空间图像计算对应的运动历史图像，其包括：对所述空间图像做高斯滤波处理；将滤波后的图像转换为单通道灰度图；计算当前帧的灰度图与前N帧的灰度图之差，以得到当前帧的差分图像；对所述差分图像进行二值化处理，以得到对应的二值化图像；根据所述二值化图像和当前帧对应的时间戳，计算当前帧的运动历史图像；将图像中不为0的像素置为255，并将其转换为3通道，以得到运动历史图像。
需说明的是，本实施例中基于深度学习的人体跌倒检测方法与上文实施例一种基于深度学习的人体跌倒检测装置的实施方式类似，故不再赘述。
另外，本实施例中的基于深度学习的人体跌倒检测方法可应用于多种类型的硬件设备。所述硬件设备可以是控制器，例如ARM(Advanced RISC Machines)控制器、FPGA(Field Programmable Gate Array)控制器、SoC(System on Chip)控制器、DSP(DigitalSignal Processing)控制器、或者MCU(Micorcontroller Unit)控制器等等。在一些实现方式中，所述硬件设备也可以是包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件的计算机；所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等个人电脑。在另一些实现方式中，所述硬件设备还可以是服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成，本实施例不作限定。
实施例三
如图6所示，展示了本发明一实施例中电子终端的结构示意图。本实例提供的电子终端，包括：处理器61、存储器62、通信器63；存储器62通过系统总线与处理器61和通信器63连接并完成相互间的通信，存储器62用于存储计算机程序，通信器63用于和其他设备进行通信，处理器61用于运行计算机程序，使电子终端执行如上基于深度学习的人体跌倒检测方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
实施例四
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于深度学习的人体跌倒检测方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本发明提供人体跌倒检测装置、方法、电子终端及存储介质，本发明采用了计算机视觉技术而不需要其它附加传感器的技术方案，其基于深度学习模型，不仅提取图像本身的特征，还利用了运动历史图像信息，实现人体跌倒动作的检测，相比于传统的通过可穿戴设备或各种附加传感器进行识别的方法或通过骨架图进行识别的方法，识别精度更高。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于深度学习的人体跌倒检测装置，其特征在于，包括：
人体检测模块，用于获取包括人体画面的待检图像并从中提取一组人体检测框；
跌倒识别模块，用于获取所述待检图像及其对应的人体检测框，并据以输出待检图像的人体跌倒识别结果信息。
2.根据权利要求1所述的装置，其特征在于，所述人体检测模块包括：
特征提取子模块，其包括多个特征提取层，且每个所述特征提取层包括若干卷积层、归一化层、激活层及池化层；
检测子模块，用于输出检测框的位置及其置信度。
3.根据权利要求1所述的装置，其特征在于，所述人体检测模块所提取的人体检测框表示为：
pRects[i]＝{x1,y1,x2,y2}(i＝1,2,…,N)；
其中，N表示人体检测框的数量；x1,y1和x2,y2分别表示人体检测框的左上角坐标和右下角坐标中的一者及另一者。
4.根据权利要求1所述的装置，其特征在于，所述跌倒识别模块包括：
第一特征提取子模块，用于提取空间图像及其对应的运动历史图像；
第二特征提取子模块，用于根据所计算的空间图像和运动历史图像获得对应的跌到识别结果。
5.根据权利要求4所述的装置，其特征在于，包括：
所述第一特征提取子模块包括用于提取空间图像的第一特征提取器和用于提取运动历史图像的第二特征提取器；
所述第二特征提取子模块包括全局平均池化层、卷积层、归一化层、激活层及通道合并层。
6.一种基于深度学习的人体跌倒检测方法，其特征在于，包括：
获取包括人体画面的待检图像并从中提取一组人体检测框；
根据所述待检图像及其对应的人体检测框，输出待检图像的人体跌倒识别结果信息。
7.根据权利要求6所述的方法，其特征在于，所述根据所述待检图像及其对应的人体检测框，输出待检图像的人体跌倒识别结果信息，其包括：
计算待检图像的空间图像；
基于所述空间图像计算对应的运动历史图像；
将所述空间图像和运动历史图像输入跌倒识别模型中，以得到对应的跌倒识别结果。
8.根据权利要求7所述的方法，其特征在于，所述基于所述空间图像计算对应的运动历史图像，其包括：
对所述空间图像做高斯滤波处理；
将滤波后的图像转换为单通道灰度图；
计算当前帧的灰度图与前N帧的灰度图之差，以得到当前帧的差分图像；
对所述差分图像进行二值化处理，以得到对应的二值化图像；
根据所述二值化图像和当前帧对应的时间戳，计算当前帧的运动历史图像；
将图像中不为0的像素置为255，并将其转换为3通道，以得到运动历史图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求6至8中任一项所述基于深度学习的人体跌倒检测方法。
10.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求6至8中任一项所述基于深度学习的人体跌倒检测方法。
CN202010300637.8A 2020-04-16 2020-04-16 人体跌倒检测装置、方法、电子终端及存储介质 Pending CN111507252A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010300637.8A CN111507252A (zh) 2020-04-16 2020-04-16 人体跌倒检测装置、方法、电子终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010300637.8A CN111507252A (zh) 2020-04-16 2020-04-16 人体跌倒检测装置、方法、电子终端及存储介质

Publications (1)

Publication Number Publication Date
CN111507252A true CN111507252A (zh) 2020-08-07

Family

ID=71871008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010300637.8A Pending CN111507252A (zh) 2020-04-16 2020-04-16 人体跌倒检测装置、方法、电子终端及存储介质

Country Status (1)

Country Link
CN (1) CN111507252A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221661A (zh) * 2021-04-14 2021-08-06 浪潮天元通信信息系统有限公司 一种智能化人体摔倒检测系统及方法
CN113408485A (zh) * 2021-07-14 2021-09-17 深圳思悦创新有限公司 基于fpga和深度学习的老人室内跌倒检测方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100027845A1 (en) * 2008-07-31 2010-02-04 Samsung Electronics Co., Ltd. System and method for motion detection based on object trajectory
US20160188965A1 (en) * 2009-02-26 2016-06-30 Tko Enterprises, Inc. Image Processing Sensor Systems
CN108830252A (zh) * 2018-06-26 2018-11-16 哈尔滨工业大学 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN109101943A (zh) * 2018-08-27 2018-12-28 寿带鸟信息科技（苏州）有限公司 一种用于检测老人跌倒的机器视觉方法
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN110443150A (zh) * 2019-07-10 2019-11-12 思百达物联网科技(北京)有限公司 一种跌倒检测方法、装置、存储介质
CN110633643A (zh) * 2019-08-15 2019-12-31 青岛文达通科技股份有限公司 一种面向智慧社区的异常行为检测方法及系统
CN110633736A (zh) * 2019-08-27 2019-12-31 电子科技大学 一种基于多源异构数据融合的人体跌倒检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100027845A1 (en) * 2008-07-31 2010-02-04 Samsung Electronics Co., Ltd. System and method for motion detection based on object trajectory
US20160188965A1 (en) * 2009-02-26 2016-06-30 Tko Enterprises, Inc. Image Processing Sensor Systems
CN108830252A (zh) * 2018-06-26 2018-11-16 哈尔滨工业大学 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN109101943A (zh) * 2018-08-27 2018-12-28 寿带鸟信息科技（苏州）有限公司 一种用于检测老人跌倒的机器视觉方法
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN110443150A (zh) * 2019-07-10 2019-11-12 思百达物联网科技(北京)有限公司 一种跌倒检测方法、装置、存储介质
CN110633643A (zh) * 2019-08-15 2019-12-31 青岛文达通科技股份有限公司 一种面向智慧社区的异常行为检测方法及系统
CN110633736A (zh) * 2019-08-27 2019-12-31 电子科技大学 一种基于多源异构数据融合的人体跌倒检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QI FENG等: "Fall detection based on motion history image and histogram of oriented gradient feature" *
汪大峰等: "视频监控中跌倒行为识别" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221661A (zh) * 2021-04-14 2021-08-06 浪潮天元通信信息系统有限公司 一种智能化人体摔倒检测系统及方法
CN113408485A (zh) * 2021-07-14 2021-09-17 深圳思悦创新有限公司 基于fpga和深度学习的老人室内跌倒检测方法及装置

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN109325954B (zh) 图像分割方法、装置及电子设备
US9633282B2 (en) Cross-trained convolutional neural networks using multimodal images
CN106845487B (zh) 一种端到端的车牌识别方法
CN108875723B (zh) 对象检测方法、装置和系统及存储介质
EP3709266A1 (en) Human-tracking methods, apparatuses, systems, and storage media
US9317784B2 (en) Image processing apparatus, image processing method, and program
US20190220685A1 (en) Image processing apparatus that identifies object and method therefor
CN111931764B (zh) 一种目标检测方法、目标检测框架及相关设备
CN110097050B (zh) 行人检测方法、装置、计算机设备及存储介质
CN106846339A (zh) 一种图像检测方法和装置
KR20100014092A (ko) 오브젝트 궤적에 기반한 모션 검출 시스템 및 방법
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN110852233A (zh) 手部脱离方向盘的检测和训练方法、终端、装置、介质、系统
CN112348778B (zh) 一种物体识别方法、装置、终端设备及存储介质
CN111666905B (zh) 模型训练方法、行人属性识别方法和相关装置
CN111652054A (zh) 关节点检测方法、姿态识别方法及装置
CN111507252A (zh) 人体跌倒检测装置、方法、电子终端及存储介质
CN115631210A (zh) 一种边缘检测方法及装置
CN117557784B (zh) 目标检测方法、装置、电子设备及存储介质
CN110516731B (zh) 一种基于深度学习的视觉里程计特征点检测方法及系统
Rudinac et al. Saliency detection and object localization in indoor environments
CN107368832A (zh) 基于图像的目标检测及分类方法
CN113822871A (zh) 基于动态检测头的目标检测方法、装置、存储介质及设备
CN110222576B (zh) 拳击动作识别方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200807