CN112906535A - 一种基于神经网络的适用于多尺度多目标的摔倒检测方法 - Google Patents

一种基于神经网络的适用于多尺度多目标的摔倒检测方法 Download PDF

Info

Publication number
CN112906535A
CN112906535A CN202110170064.6A CN202110170064A CN112906535A CN 112906535 A CN112906535 A CN 112906535A CN 202110170064 A CN202110170064 A CN 202110170064A CN 112906535 A CN112906535 A CN 112906535A
Authority
CN
China
Prior art keywords
network
layer
detection
people
resblock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110170064.6A
Other languages
English (en)
Other versions
CN112906535B (zh
Inventor
柳长源
刘珈辰
王鹏
薛楠
由茗枫
侯梦辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Penglu Intelligent Technology Co ltd
Original Assignee
Harbin Penglu Intelligent Technology Co ltd
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Penglu Intelligent Technology Co ltd, Harbin University of Science and Technology filed Critical Harbin Penglu Intelligent Technology Co ltd
Priority to CN202110170064.6A priority Critical patent/CN112906535B/zh
Publication of CN112906535A publication Critical patent/CN112906535A/zh
Application granted granted Critical
Publication of CN112906535B publication Critical patent/CN112906535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于神经网络的适用于多尺度多目标的摔倒检测方法，主要解决现有摔倒检测算法对小目标检测准确率低及无法实现多目标检测的问题。其方案是：(1)对公开的摔倒检测数据集进行补充，制作摔倒检测融合数据集；(2)对YOLOv4网络进行改造，搭建针对人体特性的YOLOv4摔倒检测网络；(3)使用K‑means算法针对摔倒检测融合数据集更新anchors值；(4)采用Label Smoothing对网络标签进行改造；(5)对改造后YOLOv4网络进行训练和测试。本发明提高了小目标的摔倒检测精度，实现了多目标的摔倒检测，可应用于易发生摔倒的场所，提高对于摔倒人群的救助效率。

Description

一种基于神经网络的适用于多尺度多目标的摔倒检测方法
技术领域
本发明涉及机器视觉领域，具体为一种基于神经网络的适用于多尺度多目标的摔倒检测方法。
背景技术
近年来，随着科学技术和医疗水平的发展，人口老龄化情况不断加剧，经常发生老人独自在家中摔倒无人发现，最终致死的悲剧。因此，将机器视觉应用在摔倒检测中具有十分重要的现实意义。
基于机器视觉的摔倒检测方法主要有：基于传统图像处理的摔倒检测方法和基于深度学习的摔倒检测方法，基于传统图像处理的摔倒检测方法受检测环境的影响较大，且无法实现多目标检测；基于深度学习的摔倒检测方法受检测环境影响较小，且可精准实现对多目标检测。
已公开的基于深度学习的摔倒检测方法普遍将检测过程分为两步：运动目标检测和摔倒判定，使用两个网络进行检测，在运动目标检测阶段进行一次特征提取，在摔倒判定阶段再次进行特征提取，重复两次特征提取大大影响检测速度，造成网络模型训练困难。此外，已公开的目标检测网络模型在复杂背景下检测的准确率低，对人体征的提取效果不好，缺少语义信息。已公开的人体行为的数据集中包含小目标的样本数量极少，潜在的让目标检测模型更关注大目标检测，会造成小目标检测的准确率较低。
为解决上述问题，本发明提出一种基于神经网络的适用于多尺度多目标的摔倒检测方法，通过制作摔倒检测融合数据集，对现有摔倒数据集补充小目标样本，提高网络模型对小目标检测的准确率；针对人体特性，对YOLOv4网络模型进行改造，提高网络模型对人体目标识别的精度；将摔倒判定问题看作分类问题，将目标识别和摔倒判定均放到YOLOv4网络模型中，实现端到端的摔倒检测，降低网络训练难度，提高检测速度。
发明内容
本发明提供一种基于神经网络的适用于多尺度多目标的摔倒检测方法。拍摄包含大目标、中目标和小目标三种人体目标的摔倒视频，经过前期处理制作成摔倒检测融合数据集；将摔倒判定问题看作分类问题，将目标检测和摔倒判定均放到YOLOv4网络模型中，实现端到端的摔倒检测；针对人体特性，对YOLOv4网络模型的特征层进行改造，让网络模型更符合对人体行为的检测。
本发明采用如下方法来实现：
为实现上述目的本发明一种基于神经网络的适用于多尺度多目标的摔倒检测方法，通过以下步骤实现：
(1)对公开的摔倒检测数据集进行补充，制作摔倒检测融合数据集：
(1-1)制作融合视频：拍摄多段人体目标距离摄像头不同距离不同角度以及单人和多人的摔倒视频，并与公开的摔倒视频进行融合，视频中的人体动作包括站立、行走、坐、弯腰和摔倒；拍摄场景包括会议室、家中卧室；
(1-2)帧截取和初步筛选：对融合视频进行帧截取，每秒截取三帧，并且选取不同时刻视频数据，以防止由于光线、背景和穿着变化带来的影响，通过初步筛选，获得N1张原始图片；
(1-3)进一步筛选：人体目标在监控中是按时间段停留，会出现人体目标出现在监控区域边界的情况，当人体只有部分部位出现在监控区域时，参考人眼特性，无法对目标进行区分，当人体处于监控区域边界范围且不易被肉眼区分所处状态的目标不做检测，场景中有物体将人体遮挡三分之二以上的目标不做检测；通过进一步筛选，最终获得N2张图片；
(1-4)数据标定：对两次筛选后的图片进行标定，将标签分为5类：Standing、Walk、Sit、Bend_over和Fall；在N2张图片中随机选取N3张图片作为测试数据，剩余N4张图片用作训练数据；
(1-5)数据增强：使用Mosaic数据增强方法每次随机读取4张图片，分别对4张图片进行旋转缩放等操作，将4张图片拼接成一张图片，丰富物体的检测背景，对摔倒检测融合数据集进行扩增；
(2)对YOLOv4网络进行改造，搭建针对人体特性的YOLOv4摔倒检测网络：包括针对人体特性的YOLOv4特征提取网络CSPDarknet53、YOLOv4的颈部网络和YOLOv4头部网络；
(2-1)搭建针对人体特性的YOLOv4特征提取网络CSPDarknet53：YOLOv4网络模型共使用(13，13，N)，(26，26，N)，(52，52，N)三个特征层，分别用来识别大中小三类目标，由于人体尺寸较大，为适合人体尺寸N特性，将以上三类特征层改造成(6，6，N)，(12，12，N)，(24，24，N)进行检测，将输入图片大小调整为(384，384)，且增加一层Resblock_body(6，6，1024)x1层；
(2-2)搭建YOLOv4的颈部网络：PANet网络；
(2-3)搭建YOLOv4头部网络：YOLO Head1网络、YOLO Head2网络和YOLO Head3网络；
(3)使用K-means算法针对摔倒检测融合数据集更新anchors值：
使用K-means算法对摔倒检测融合数据集进行统计，对anchors值进行更新；
(4)采用Label Smoothing对网络标签进行改造：
采用Label Smoothing平滑，将分类准确做出惩罚，平滑后的标签变成0.005和0.995；
(5)对改造后YOLOv4网络进行训练和测试：
对摔倒检测融合数据集进行训练，剖析整个网络训练的损失函数，若不收敛则不断迭代更新网络参数调整网络结构，重新对网络进行训练，若整个网络趋于收敛则得到目标检测和摔倒判定融合网络模型，对得到的网络模型进行测试得到检测的准确率，通过比较和评价得到对检测目标的分类结果，实现对人体是否摔倒的检测，最终进行分析和总结。
优选的：所述步骤(1)将目标识别和摔倒判定融合到YOLOv4网络中：将摔倒检测融合数据集中图片输入到网络模型中，人体行为图片被分成不同大小的网格，将每个网格预测的人体行为信息和预测框的置信值进行乘积，得到每个预测框的具体类别置信分数，将摔倒判定问题看做分类问题在目标检测网络中进行。
优选的：所述步骤(1)摔倒检测融合数据集中目标分类的结果包括：站立的人、行走的人、坐着的人、弯腰的人和摔倒的人，其中身体被遮挡一半以内站立的人也可被识别为站立的人，身体被遮挡一半以内行走的人也可被识别为行走的人，身体被遮挡一半以内坐着的人也可被识别为坐着的人，身体被遮挡一半以内弯腰的人也可被识别为弯腰的人和身体被遮挡一半以内摔倒的人也可被识别为摔倒的人。
优选的：所述步骤(2)中网络结构为：在特征提取网络CSPDarknet53中，Input(384，384，3)层连接DarknetConv2D_BN_Mish(384，384，32)层，DarknetConv2D_BN_Mish(384，384，32)层连接Resblock_body(192，192，64)x1层，Resblock_body(192，192，64)x1层连接Resblock_body(96，96，128)x2层，Resblock_body(96，96，128)x2层连接Resblock_body(48，48，256)x8层，Resblock_body(48，48，256)x8层连接Resblock_body(24，24，512)x8层，Resblock_body(24，24，512)x8层连接Resblock_body(12，12，1024)x8层，Resblock_body(12，12，1024)x8层连接Resblock_body(6，6，1024)x1层；CSPDarknet53网络中的Resblock_body(24，24，512)x8层与与PANet网络连接，PANet网络与Yolo Head1网络连接；CSPDarknet53网络中的Resblock_body(12，12，1024)x8层与PANet网络连接，PANet网络与Yolo Head2网络连接；CSPDarknet53网络中的Resblock_body(6，6，1024)x1层与Conv x3层连接，Conv x3层与SPP网络连接，SPP网络与Concat+Conv x3层连接，Concat+Conv x3层与PANet网络连接，PANet网络与Yolo Head3网络连接。
优选的：所述步骤(2)中Yolo Head1网络的形状为(24，24，30)，Yolo Head2网络的形状为(12，12，30)，Yolo Head3网络的形状为(6，6，30)。
优选的：所述步骤(3)更新anchors值过程为：将数据分为K个类，在数据中随机选取K个点作为聚类中心，并计算每个点分别到K个聚类中心的欧氏距离，将该点分到最近的聚类中心形成K个簇，重新计算每个簇的均值，重复以上步骤直到达到迭代次数，anchors值更新完成。
本发明的有益效果为：
一种基于神经网络的适用于多尺度多目标的摔倒检测方法，通过制作摔倒检测融合数据集，对现有摔倒数据集补充小目标样本，提高网络模型对小目标检测的准确率；针对人体特性，对YOLOv4网络模型进行改造，提高网络模型对人体目标识别的精度；将摔倒判定问题看作分类问题，将目标识别和摔倒判定均放到YOLOv4网络模型中，实现端到端的摔倒检测，降低网络训练难度，提高检测速度。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的整体算法流程图；
图2为本发明的摔倒检测融合数据集制作流程图；
图3为本发明的网络结构图；
图4为本发明的实验方法流程图；
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的部分，而省略了与本发明关系不大的其他细节。
具体实施方式一：
本实施方式的一种基于神经网络的适用于多尺度多目标的摔倒检测方法，结合图1，所述方法包括以下步骤：
步骤一、对公开的摔倒检测数据集进行补充，制作摔倒检测融合数据集；
步骤二、对YOLOv4网络进行改造，搭建针对人体特性的YOLOv4摔倒检测网络；
步骤三、使用K-means算法针对摔倒检测融合数据集更新anchors值；
步骤四、采用Label Smoothing对网络标签进行改造；
步骤五、对改造后YOLOv4网络进行训练和测试。
具体实施方式二：
与具体实施方式一不同的是，本实施方式的一种基于神经网络的适用于多尺度多目标的摔倒检测方法，结合图2，所述的步骤一中制作摔倒检测融合数据集具体流程为：
(1)制作融合视频：拍摄多段人体目标距离摄像头不同距离不同角度以及单人和多人的摔倒视频，并与公开的摔倒视频进行融合，视频中的人体动作包括站立、行走、坐、弯腰和摔倒；拍摄场景包括会议室、家中卧室；
(2)帧截取和初步筛选：对融合视频进行帧截取，每秒截取三帧，并且选取不同时刻视频数据，以防止由于光线、背景和穿着等变化带来的影响，通过初步筛选，获得13746张原始图片；
(3)进一步筛选：人体目标在监控中是按时间段停留，会出现人体目标出现在监控区域边界的情况，当人体只有部分部位出现在监控区域时，参考人眼特性，无法对目标进行区分，当人体处于监控区域边界范围且不易被肉眼区分所处状态的目标不做检测，场景中有物体将人体遮挡三分之二以上的目标不做检测；通过进一步筛选，最终获得10379张图片；
(4)数据标定：对两次筛选后的图片进行标定，将标签分为5类：Standing、Walk、Sit、Bend_over和Fall；随机选取1037张图片作为测试数据，剩余9342张图片用作训练数据；
(5)数据增强：使用Mosaic数据增强方法每次随机读取4张图片，分别对4张图片进行旋转缩放等操作，将4张图片拼接成一张图片，丰富物体的检测背景，对摔倒检测融合数据集进行扩增。
具体实施方式三：
与具体实施方式一或二不同的是，本实施方式的一种基于神经网络的适用于多尺度多目标的摔倒检测方法，结合图3，所述的步骤二中搭建针对人体特性的YOLOv4的摔倒检测网络具体流程为：
(1)搭建针对人体特性的YOLOv4特征提取网络CSPDarknet53：YOLOv4网络模型共使用(13，13，N)，(26，26，N)，(52，52，N)三个特征层，分别用来识别大中小三类目标，由于人体尺寸较大，为适合人体尺寸N特性，将以上三类特征层改造成(6，6，N)，(12，12，N)，(24，24，N)进行检测，将输入图片大小调整为(384，384)，且增加一层Resblock_body(6，6，1024)x1层；
(2)搭建YOLOv4的颈部网络：PANet网络；
(3)搭建YOLOv4头部网络：YOLO Head1网络、YOLO Head2网络和YOLO Head3网络。
所述步骤二中网络具体结构为：在特征提取网络CSPDarknet53中，Input(384，384，3)层连接DarknetConv2D_BN_Mish(384，384，32)层，DarknetConv2D_BN_Mish(384，384，32)层连接Resblock_body(192，192，64)x1层，Resblock_body(192，192，64)x1层连接Resblock_body(96，96，128)x2层，Resblock_body(96，96，128)x2层连接Resblock_body(48，48，256)x8层，Resblock_body(48，48，256)x8层连接Resblock_body(24，24，512)x8层，Resblock_body(24，24，512)x8层连接Resblock_body(12，12，1024)x8层，Resblock_body(12，12，1024)x8层连接Resblock_body(6，6，1024)x1层；CSPDarknet53网络中的Resblock_body(24，24，512)x8层与与PANet网络连接，PANet网络与Yolo Head1网络连接；CSPDarknet53网络中的Resblock_body(12，12，1024)x8层与PANet网络连接，PANet网络与Yolo Head2网络连接；CSPDarknet53网络中的Resblock_body(6，6，1024)x1层与Conv x3层连接，Conv x3层与SPP网络连接，SPP网络与Concat+Conv x3层连接，Concat+Conv x3层与PANet网络连接，PANet网络与Yolo Head3网络连接。
具体实施方式四：
与具体实施方式三不同的是，本实施方式的一种基于神经网络的适用于多尺度多目标的摔倒检测方法，结合图4，所述的步骤五中训练及测试网络的具体流程为：
对摔倒检测融合数据集进行训练，剖析整个网络训练的损失函数，若不收敛则不断迭代更新网络参数调整网络结构，重新对网络进行训练，若整个网络趋于收敛则得到目标检测和摔倒判定融合网络模型，对得到的网络模型进行测试得到检测的准确率，通过比较和评价得到对检测目标的分类结果，实现对人体是否摔倒的检测，最终进行分析和总结。

Claims (5)

1.一种基于神经网络的适用于多尺度多目标的摔倒检测方法，其特征在于：所述方法通过以下步骤实现：
(1)对公开的摔倒检测数据集进行补充，制作摔倒检测融合数据集：
(1-1)制作融合视频：拍摄多段人体目标距离摄像头不同距离不同角度以及单人和多人的摔倒视频，并与公开的摔倒视频进行融合，视频中的人体动作包括站立、行走、坐、弯腰和摔倒；拍摄场景包括会议室、家中卧室；
(1-2)帧截取和初步筛选：对融合视频进行帧截取，每秒截取三帧，并且选取不同时刻视频数据，以防止由于光线、背景和穿着变化带来的影响，通过初步筛选，获得N1张原始图片；
(1-3)进一步筛选：人体目标在监控中是按时间段停留，会出现人体目标出现在监控区域边界的情况，当人体只有部分部位出现在监控区域时，参考人眼特性，无法对目标进行区分，当人体处于监控区域边界范围且不易被肉眼区分所处状态的目标不做检测，场景中有物体将人体遮挡三分之二以上的目标不做检测；通过进一步筛选，最终获得N2张图片；
(1-4)数据标定：对两次筛选后的图片进行标定，将标签分为5类：Standing、Walk、Sit、Bend_over和Fall；在N2张图片中随机选取N3张图片作为测试数据，剩余N4张图片用作训练数据；
(1-5)数据增强：使用Mosaic数据增强方法每次随机读取4张图片，分别对4张图片进行旋转缩放等操作，将4张图片拼接成一张图片，丰富物体的检测背景，对摔倒检测融合数据集进行扩增；
(2)对YOLOv4网络进行改造，搭建针对人体特性的YOLOv4摔倒检测网络：包括针对人体特性的YOLOv4特征提取网络CSPDarknet53、YOLOv4的颈部网络和YOLOv4头部网络；
(2-1)搭建针对人体特性的YOLOv4特征提取网络CSPDarknet53：YOLOv4网络模型共使用(13，13，N)，(26，26，N)，(52，52，N)三个特征层，分别用来识别大中小三类目标，由于人体尺寸较大，为适合人体尺寸N特性，将以上三类特征层改造成(6，6，N)，(12，12，N)，(24，24，N)进行检测，将输入图片大小调整为(384，384)，且增加一层Resblock_body(6，6，1024)x1层；
(2-2)搭建YOLOv4的颈部网络：PANet网络；
(2-3)搭建YOLOv4头部网络：YOLO Head1网络、YOLO Head2网络和YOLO Head3网络；
(3)使用K-means算法针对摔倒检测融合数据集更新anchors值：
使用K-means算法对摔倒检测融合数据集进行统计，对anchors值进行更新；
(4)采用Label Smoothing对网络标签进行改造：
采用Label Smoothing平滑，将分类准确做出惩罚，平滑后的标签变成0.005和0.995；
(5)对改造后YOLOv4网络进行训练和测试：
对摔倒检测融合数据集进行训练，剖析整个网络训练的损失函数，若不收敛则不断迭代更新网络参数调整网络结构，重新对网络进行训练，若整个网络趋于收敛则得到目标检测和摔倒判定融合网络模型，对得到的网络模型进行测试得到检测的准确率，通过比较和评价得到对检测目标的分类结果，实现对人体是否摔倒的检测，最终进行分析和总结。
2.根据权利要求1所述一种基于神经网络的适用于多尺度多目标的摔倒检测方法，其特征在于：将目标识别和摔倒判定融合到YOLOv4网络中：将摔倒检测融合数据集中图片输入到网络模型中，人体行为图片被分成不同大小的网格，将每个网格预测的人体行为信息和预测框的置信值进行乘积，得到每个预测框的具体类别置信分数，将摔倒判定问题看做分类问题在目标检测网络中进行。
3.根据权利要求1所述一种基于神经网络的适用于多尺度多目标的摔倒检测方法，其特征在于：所述网络结构为：在特征提取网络CSPDarknet53中，Input(384，384，3)层连接DarknetConv2D_BN_Mish(384，384，32)层，DarknetConv2D_BN_Mish(384，384，32)层连接Resblock_body(192，192，64)x1层，Resblock_body(192，192，64)x1层连接Resblock_body(96，96，128)x2层，Resblock_body(96，96，128)x2层连接Resblock_body(48，48，256)x8层，Resblock_body(48，48，256)x8层连接Resblock_body(24，24，512)x8层，Resblock_body(24，24，512)x8层连接Resblock_body(12，12，1024)x8层，Resblock_body(12，12，1024)x8层连接Resblock_body(6，6，1024)x1层；CSPDarknet53网络中的Resblock_body(24，24，512)x8层与与PANet网络连接，PANet网络与Yolo Head1网络连接；CSPDarknet53网络中的Resblock_body(12，12，1024)x8层与PANet网络连接，PANet网络与Yolo Head2网络连接；CSPDarknet53网络中的Resblock_body(6，6，1024)x1层与Conv x3层连接，Conv x3层与SPP网络连接，SPP网络与Concat+Conv x3层连接，Concat+Conv x3层与PANet网络连接，PANet网络与Yolo Head3网络连接。
4.根据权利要求1所述一种基于神经网络的适用于多尺度多目标的摔倒检测方法，其特征在于：所述步骤(2-3)中，Yolo Head1网络的形状为(24，24，30)，Yolo Head2网络的形状为(12，12，30)，Yolo Head3网络的形状为(6，6，30)。
5.根据权利要求1所述一种基于神经网络的适用于多尺度多目标的摔倒检测方法，其特征在于：其数据集中目标分类的结果包括：站立的人、行走的人、坐着的人、弯腰的人和摔倒的人，其中身体被遮挡一半以内站立的人也可被识别为站立的人，身体被遮挡一半以内行走的人也可被识别为行走的人，身体被遮挡一半以内坐着的人也可被识别为坐着的人，身体被遮挡一半以内弯腰的人也可被识别为弯腰的人和身体被遮挡一半以内摔倒的人也可被识别为摔倒的人。
CN202110170064.6A 2021-02-09 2021-02-09 一种基于神经网络的适用于多尺度多目标的摔倒检测方法 Active CN112906535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110170064.6A CN112906535B (zh) 2021-02-09 2021-02-09 一种基于神经网络的适用于多尺度多目标的摔倒检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110170064.6A CN112906535B (zh) 2021-02-09 2021-02-09 一种基于神经网络的适用于多尺度多目标的摔倒检测方法

Publications (2)

Publication Number Publication Date
CN112906535A true CN112906535A (zh) 2021-06-04
CN112906535B CN112906535B (zh) 2022-03-18

Family

ID=76123938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110170064.6A Active CN112906535B (zh) 2021-02-09 2021-02-09 一种基于神经网络的适用于多尺度多目标的摔倒检测方法

Country Status (1)

Country Link
CN (1) CN112906535B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316438A (zh) * 2017-02-27 2017-11-03 哈尔滨理工大学 一种能自动检测独居老人摔倒的智能灯
US20190114895A1 (en) * 2016-01-22 2019-04-18 Suzhou Wanghu Real Estate Development Co., Ltd. Body fall smart control system and method therefor
CN109740454A (zh) * 2018-12-19 2019-05-10 贵州大学 一种基于yolo-v3的人体体态识别方法
US20200090484A1 (en) * 2018-09-13 2020-03-19 Wistron Corporation Falling detection method and electronic system using the same
CN111028477A (zh) * 2019-12-06 2020-04-17 哈尔滨理工大学 一种基于卷积神经网络的智能摔倒检测装置及方法
CN112084866A (zh) * 2020-08-07 2020-12-15 浙江工业大学 一种基于改进YOLO v4算法的目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190114895A1 (en) * 2016-01-22 2019-04-18 Suzhou Wanghu Real Estate Development Co., Ltd. Body fall smart control system and method therefor
CN107316438A (zh) * 2017-02-27 2017-11-03 哈尔滨理工大学 一种能自动检测独居老人摔倒的智能灯
US20200090484A1 (en) * 2018-09-13 2020-03-19 Wistron Corporation Falling detection method and electronic system using the same
CN109740454A (zh) * 2018-12-19 2019-05-10 贵州大学 一种基于yolo-v3的人体体态识别方法
CN111028477A (zh) * 2019-12-06 2020-04-17 哈尔滨理工大学 一种基于卷积神经网络的智能摔倒检测装置及方法
CN112084866A (zh) * 2020-08-07 2020-12-15 浙江工业大学 一种基于改进YOLO v4算法的目标检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIANG WANG 等: ""Human Fall Detection Algorithm Based on YOLOv3"", 《2020 IEEE 5TH INTERNATIONAL CONFERENCE ON IMAGE, VISIONAND COMPUTING (ICIVC)》 *
孔凡宁: ""基于视频处理的身型自适应摔倒检测系统"", 《万方数据（学位）》 *
杨雪旗 等: ""基于YOLO网络的人体跌倒检测方法"", 《扬州大学学报(自然科学版)》 *
王萍叶: ""基于YOLO的视频摔倒检测算法"", 《电脑编程技巧与维护》 *

Also Published As

Publication number Publication date
CN112906535B (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
US20200285896A1 (en) Method for person re-identification based on deep model with multi-loss fusion training strategy
CN108537136B (zh) 基于姿态归一化图像生成的行人重识别方法
Bergmann et al. Improving unsupervised defect segmentation by applying structural similarity to autoencoders
CN111754596B (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN108921051B (zh) 基于循环神经网络注意力模型的行人属性识别网络及技术
CN106096561B (zh) 基于图像块深度学习特征的红外行人检测方法
KR100442834B1 (ko) 얼굴/유사얼굴 영상으로 학습된 패턴 분류기를 이용한얼굴 검출 방법 및 시스템
CN111178120B (zh) 一种基于作物识别级联技术的害虫图像检测方法
JP2020522077A (ja) 画像特徴の取得
CN109214378A (zh) 一种基于神经网络整体识别计量表读数的方法和系统
CN114998220B (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN110729045A (zh) 一种基于上下文感知残差网络的舌图像分割方法
CN108492298A (zh) 基于生成对抗网络的多光谱图像变化检测方法
CN109255289A (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
CN109934095A (zh) 一种基于深度学习的遥感图像水体提取方法及系统
CN107886067A (zh) 一种基于hiksvm分类器的多特征融合的行人检测方法
CN110569780A (zh) 一种基于深度迁移学习的高精度人脸识别方法
CN111666852A (zh) 一种基于卷积神经网络的微表情双流网络识别方法
CN109766934A (zh) 一种基于深度Gabor网络的图像目标识别方法
CN117011563B (zh) 基于半监督联邦学习的道路损害巡检跨域检测方法及系统
CN107644203B (zh) 一种形状自适应分类的特征点检测方法
CN110458022A (zh) 一种基于域适应的可自主学习目标检测方法
CN114821022A (zh) 融合主观逻辑和不确定性分布建模的可信目标检测方法
Chen et al. Learning to count with back-propagated information
Vaidya et al. Leveraging YOLOv7 for plant disease detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220525

Address after: Room 521-9, science and Technology Park, Harbin University of technology, No.52 Xuefu Road, Nangang District, Harbin, Heilongjiang, 150080

Patentee after: Harbin penglu Intelligent Technology Co.,Ltd.

Address before: 150080 No. 52, Xuefu Road, Nangang District, Heilongjiang, Harbin

Patentee before: HARBIN University OF SCIENCE AND TECHNOLOGY

Patentee before: Harbin penglu Intelligent Technology Co., Ltd

TR01 Transfer of patent right