CN116469132A - 基于双流特征提取的跌倒检测方法、系统、设备及介质 - Google Patents
基于双流特征提取的跌倒检测方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN116469132A CN116469132A CN202310730824.3A CN202310730824A CN116469132A CN 116469132 A CN116469132 A CN 116469132A CN 202310730824 A CN202310730824 A CN 202310730824A CN 116469132 A CN116469132 A CN 116469132A
- Authority
- CN
- China
- Prior art keywords
- feature map
- convolution
- local feature
- attention
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000000605 extraction Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 37
- 238000011176 pooling Methods 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000007634 remodeling Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 2
- 238000006731 degradation reaction Methods 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims 3
- 238000007499 fusion processing Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于双流特征提取的跌倒检测方法、系统、设备及介质，涉及图像处理与特定计算模型技术领域，包括：获取待检测图像；对待检测图像经多级残差处理后得到对应的多个卷积局部特征图，并对最后一级残差处理后得到的卷积局部特征图进行区域注意力特征提取，得到注意力局部特征图；对待检测图像进行分块并嵌入位置编码，对得到的图像块进行自编码和卷积操作后得到全局特征图；将卷积局部特征图和注意力局部特征图与全局特征图进行特征融合后，根据得到的融合特征图进行跌倒检测。设计了用于提取局部特征和全局特征的双流网络，以增强对跌倒事件的识别能力，提高正确率。
Description
技术领域
本发明涉及图像处理与特定计算模型技术领域，特别是涉及一种基于双流特征提取的跌倒检测方法、系统、设备及介质。
背景技术
在深度学习中，现有的跌倒检测方法可以总结为三类：基于穿戴式传感器、基于环境和基于计算机视觉的跌倒检测系统。
基于穿戴式传感器的跌倒检测系统通常使用加速度计、陀螺仪等传感器获取数据，根据获取的速度、加速度等数据进行跌倒检测；但是穿戴式的传感器容易被遗忘，穿戴时间长容易导致不舒适，或有时因电量不足导致无法使用。
基于环境的跌倒检测系统通常使用雷达、红外、超声等非视觉传感器获取数据来进行跌倒检测；但是基于环境的传感器受外界的干扰较大，误检率较高。
基于计算机视觉的跌倒检测系统通常使用手机、摄像机等获取数据，根据获取的图像、视频等数据进行跌倒检测；但是现存的基于计算机视觉的跌倒检测方法误检率较高，正确率较低，特异性较差，提取全局特征的能力较差。
发明内容
为了解决上述问题，本发明提出了一种基于双流特征提取的跌倒检测方法、系统、设备及介质，设计了用于提取局部特征和全局特征的双流网络，以增强对跌倒事件的识别能力，提高正确率。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供一种基于双流特征提取的跌倒检测方法，包括：
获取待检测图像；
对待检测图像经多级残差处理后得到对应的第一卷积局部特征图、第二卷积局部特征图和第三卷积局部特征图，并对最后一级残差处理后得到的第四卷积局部特征图进行区域注意力特征提取，得到注意力局部特征图；
其中，区域注意力特征提取的过程包括：对第四卷积局部特征图提取第一注意力矩阵，将第一注意力矩阵与第四卷积局部特征图经全局平均池化操作后得到的池化特征图做叉乘与重塑后，再与第四卷积局部特征图相加，得到注意力局部特征图；
对待检测图像进行分块并嵌入位置编码，对得到的图像块进行自编码和卷积操作后得到全局特征图；
其中，将图像块经线性变换后得到查询张量、键张量以及值张量，对键张量进行自编码操作后，与查询张量相乘得到第二注意力矩阵，第二注意力矩阵经卷积操作后与值张量相乘得到自注意力头输出，将自注意力头输出与原图像块相加后，再经归一化和多层感知机操作得到全局特征图；
将第一卷积局部特征图、第二卷积局部特征图、第三卷积局部特征图和注意力局部特征图与全局特征图进行特征融合后，根据得到的融合特征图进行跌倒检测。
作为可选择的实施方式，对待检测图像的多级残差处理的过程包括：对待检测图像先经过一个的卷积和一个最大池化操作后得到预处理子图，对预处理子图依次经四个前后连接的残差块进行残差处理，由此得到第一卷积局部特征图、第二卷积局部特征图、第三卷积局部特征图和第四卷积局部特征图，且第一卷积局部特征图、第二卷积局部特征图和第三卷积局部特征图用于特征融合，第四卷积局部特征图用于进行区域注意力特征提取。
作为可选择的实施方式，所述残差块由2个的卷积组成。
作为可选择的实施方式，提取第一注意力矩阵的过程包括：
将第四卷积局部特征图复制三份，分别得到第一特征图、第二特征图和第三特征图；
将第一特征图进行通道降维和重塑后，得到第一重塑特征图；
将第二特征图进行通道降维和全局平均池化操作后，得到第二池化特征图；
将第三特征图进行全局平均池化操作后，得到第三池化特征图；
将第一重塑特征图和第二池化特征图叉乘后得到第一注意力矩阵；且第一注意力矩阵与第三池化特征图做叉乘处理。
作为可选择的实施方式，对第二注意力矩阵经过的卷积后与值张量相乘。
作为可选择的实施方式，自编码操作为键张量矩阵中每个值与一个单位邻域的所有值进行编码操作。
作为可选择的实施方式，特征融合的过程包括：
（1）对待检测图像经多级残差处理后得到第一卷积局部特征图、第二卷积局部特征图/>和第三卷积局部特征图/>，对/>、/>和/>进行下采样，/>与下采样后的/>相加，/>与下采样后的/>相加，下采样后的/>与注意力局部特征图相加，相加后的输出均依次进行/>卷积和线性变换操作；
（2）所述全局特征图包括第一全局特征图、第二全局特征图/>、第三全局特征图/>和第四全局特征图/>，步骤（1）得到的第一线性变换输出与/>相加后再与/>相加；
（3）步骤（1）得到的第二线性变换输出与相加后再与/>和步骤（2）的输出相加；
（4）步骤（1）得到的第三线性变换输出与相加后再与/>和步骤（3）的输出相加，由此得到融合特征图。
第二方面，本发明提供一种基于双流特征提取的跌倒检测系统，包括：
获取模块，被配置为获取待检测图像；
局部特征提取模块，被配置对待检测图像经多级残差处理后得到对应的第一卷积局部特征图、第二卷积局部特征图和第三卷积局部特征图，并对最后一级残差处理后得到的第四卷积局部特征图进行区域注意力特征提取，得到注意力局部特征图；
其中，区域注意力特征提取的过程包括：对第四卷积局部特征图提取第一注意力矩阵，将第一注意力矩阵与第四卷积局部特征图经全局平均池化操作后得到的池化特征图做叉乘与重塑后，再与第四卷积局部特征图相加，得到注意力局部特征图；
全局特征提取模块，被配置为对待检测图像进行分块并嵌入位置编码，对得到的图像块进行自编码和卷积操作后得到全局特征图；
其中，将图像块经线性变换后得到查询张量、键张量以及值张量，对键张量进行自编码操作后，与查询张量相乘得到第二注意力矩阵，第二注意力矩阵经卷积操作后与值张量相乘得到自注意力头输出，将自注意力头输出与原图像块相加后，再经归一化和多层感知机操作得到全局特征图；
特征融合模块，被配置为将第一卷积局部特征图、第二卷积局部特征图、第三卷积局部特征图和注意力局部特征图与全局特征图进行特征融合后，根据得到的融合特征图进行跌倒检测。
第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
与现有技术相比，本发明的有益效果为：
本发明提出一种基于双流特征提取的跌倒检测方法、系统、设备及介质，设计了用于提取局部特征和全局特征的双流网络，以增强对跌倒事件的识别能力，提高正确率；其中，双流网络的一个分支由卷积神经网络和区域注意力模块组成，用于提取局部特征；另一个分支由改进的Transformer模型组成，用于提取全局特征；最后，将局部特征和全局特征融合后用于分类，实现跌倒检测。相比现有的基于神经网络进行跌倒检测的方法，基于双流网络来分别提取局部特征和全局特征，其精度和准确率更高且应用性较强。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例1提供的基于双流特征提取的跌倒检测方法流程图；
图2为本发明实施例1提供的基于卷积神经网络和区域注意力模块的分支结构示意图；
图3为本发明实施例1提供的区域注意力模块结构示意图；
图4为本发明实施例1提供的用于提取全局特征的分支结构示意图；
图5为本发明实施例1提供的改进的多头自注意力模块结构示意图；
图6为本发明实施例1提供的特征融合示意图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1
本实施例提供一种基于双流特征提取的跌倒检测方法，如图1所示，包括：
获取待检测图像；
对待检测图像经多级残差处理后得到对应的第一卷积局部特征图、第二卷积局部特征图和第三卷积局部特征图，并对最后一级残差处理后得到的第四卷积局部特征图进行区域注意力特征提取，得到注意力局部特征图；
其中，区域注意力特征提取的过程包括：对第四卷积局部特征图提取第一注意力矩阵，将第一注意力矩阵与第四卷积局部特征图经全局平均池化操作后得到的池化特征图做叉乘与重塑后，再与第四卷积局部特征图相加，得到注意力局部特征图；
对待检测图像进行分块并嵌入位置编码，对得到的图像块进行自编码和卷积操作后得到全局特征图；
其中，将图像块经线性变换后得到查询张量、键张量以及值张量，对键张量进行自编码操作后，与查询张量相乘得到第二注意力矩阵，第二注意力矩阵经卷积操作后与值张量相乘得到自注意力头输出，将自注意力头输出与原图像块相加后，再经归一化和多层感知机操作得到全局特征图；
将第一卷积局部特征图、第二卷积局部特征图、第三卷积局部特征图和注意力局部特征图与全局特征图进行特征融合后，根据得到的融合特征图进行跌倒检测。
在本实施例中，设计了用于提取局部特征和全局特征的双流网络，以增强对跌倒事件的识别能力，提高正确率。其中，双流网络的一个分支由卷积神经网络和区域注意力模块组成，用于提取局部特征；另一个分支由改进的Transformer模型组成，用于提取全局特征；最后，使用特征融合模块将局部特征和全局特征融合后用于分类，实现跌倒检测。
在本实施例中，获取的待检测图像的维度为/>，其中，H为高度，W为宽度，C为通道数；对待检测图像进行批归一化处理，加快网络收敛，归一化后的待检测图像为：
（1）
其中，为批量数据的均值，/>为批量数据的方差，/>是为防止分母出现零所增加的变量，/>和/>为模型学习参数，分别取1和0。
卷积神经网络的优势在于使用卷积核提取图像特征，使用池化操作去除冗余信息，减少特征映射的维数，综上可知，卷积神经网络更适合提取较小的特征和局部特征。因此，本实施例设计了一个基于卷积神经网络和区域注意力模块的分支，用于提取局部特征；如图2所示，先经过一个/>的卷积和一个最大池化，相当于进行预处理操作，得到预处理子图/>，如式（2）所示：
（2）
其中，表示/>的卷积操作，/>表示最大池化操作。
然后预处理子图依次经四个前后连接的残差块后，得到维度为/>的第四卷积局部特征图/>，其中，每个残差块包括2个/>的卷积，有效解决网络梯度消失的问题；/>、/>、/>分别为第四卷积局部特征图/>的高度、宽度和通道数；
具体地：预处理子图经第一残差块处理后，得到第一卷积局部特征图/>，如式（3）所示：
（3）
其中，表示两个/>的卷积操作。
同理，第一卷积局部特征图经第二残差块处理后，得到第二卷积局部特征图；第二卷积局部特征图/>经第三残差块处理后，得到第三卷积局部特征图/>；第三卷积局部特征图/>经第四残差块处理后，得到第四卷积局部特征图/>。
在本实施例中，第四卷积局部特征图被输入进区域注意力模块中，如图3所示，具体包括：
将第四卷积局部特征图复制三份，分别得到第一特征图B、第二特征图J和第三特征图D；
将第一特征图B进行通道降维后，维度变为，再经重塑后，得到维度为的第一重塑特征图/>；
将第二特征图J进行通道降维后，维度变为，在经全局平均池化操作后，得到维度为/>的第二池化特征图/>，S为步长；
将第三特征图D进行全局平均池化操作后，得到维度为的第三池化特征图；
将和/>叉乘后再经过softmax激活函数得到维度为/>的第一注意力矩阵/>：
（4）
其中，代表重塑操作，/>代表全局平均池化操作，/>代表矩阵叉乘操作，代表激活函数。
将与/>做叉乘并经重塑后，得到维度为/>的第二重塑特征图/>，/>与相加后，得到注意力局部特征图/>，如式（5）所示：
（5）
其中，代表矩阵相加操作。
Transformer模型的优势在于存在自注意力机制，能有效获得全局信息，并且多头可以将其映射到多个空间，使模型表达能力变强，突破了循环神经网络需循环执行，不能并行计算的限制。综上可知，Transformer模型更适合提取较大的特征和全部特征。
因此，本实施例设计了一个基于改进Transformer模型的分支，用于提取全局特征。如图4所示，将归一化后的待检测图像按照/>的大小进行分块，P为图像块的宽度，得到/>个图像块，每个图像块的维度为/>；再对每个图像块做线性变换，将维度压缩为/>，从而得到维度为/>的张量，同时，生成维度为/>的位置编码，与相同维度的/>的张量相加，以嵌入位置编码和分类标签，得到维度为/>的图像块/>。
经过归一化后得到归一化图像块/>，/>输入改进的多头自注意力模块中。原始的自注意力模块仅使用查询张量Q-键张量K来计算注意矩阵，这会导致忽略不同键之间的上下文信息。因此，本实施例在原始的自注意力模块中引入了自编码和卷积操作。
如图5所示，对经线性变换后得到查询张量Q、键张量K以及值张量V，对/>进行自编码操作，即键张量矩阵中的每个值与一个单位邻域的所有值进行编码操作得到键中间张量/>，然后/>和/>相乘得到第二注意力矩阵，第二注意力矩阵经过一个/>的卷积/>后与/>相乘，得到自注意力头输出/>，自注意力头输出/>与/>相加后，再经归一化和多层感知机操作，最后两部分相加得到一个全局特征图/>，具体如式（6）所示：
（6）
其中，为多头自注意力操作，/>为归一化操作，/>为多层感知机操作。
经过四个改进的Transformer模型的堆叠，完成对所有全局特征图（、/>、/>、/>）的提取。
本实施例将上述得到的第一卷积局部特征图、第二卷积局部特征图、第三卷积局部特征图和注意力局部特征图与4个全局特征图进行融合，弥补部分网络提取全局特征能力较差和部分网络提取局部特征能力较差的缺陷；
如图6所示，具体地：
（1）对、/>和/>进行下采样，/>与下采样后的/>相加，/>与下采样后的/>相加，下采样后的/>与/>相加，相加后的输出均依次进行/>卷积和线性变换操作；
（2）步骤（1）得到的第一线性变换输出与相加后再与/>相加；
（3）步骤（1）得到的第二线性变换输出与相加后再与/>和步骤（2）的输出相加；
（4）步骤（1）得到的第三线性变换输出与相加后再与/>和步骤（3）的输出相加；
（5）基于步骤（4）的输出完成跌倒和正常的二分类。
实施例2
本实施例提供一种基于双流特征提取的跌倒检测系统，包括：
获取模块，被配置为获取待检测图像；
局部特征提取模块，被配置对待检测图像经多级残差处理后得到对应的第一卷积局部特征图、第二卷积局部特征图和第三卷积局部特征图，并对最后一级残差处理后得到的第四卷积局部特征图进行区域注意力特征提取，得到注意力局部特征图；
其中，区域注意力特征提取的过程包括：对第四卷积局部特征图提取第一注意力矩阵，将第一注意力矩阵与第四卷积局部特征图经全局平均池化操作后得到的池化特征图做叉乘与重塑后，再与第四卷积局部特征图相加，得到注意力局部特征图；
全局特征提取模块，被配置为对待检测图像进行分块并嵌入位置编码，对得到的图像块进行自编码和卷积操作后得到全局特征图；
其中，将图像块经线性变换后得到查询张量、键张量以及值张量，对键张量进行自编码操作后，与查询张量相乘得到第二注意力矩阵，第二注意力矩阵经卷积操作后与值张量相乘得到自注意力头输出，将自注意力头输出与原图像块相加后，再经归一化和多层感知机操作得到全局特征图；
特征融合模块，被配置为将第一卷积局部特征图、第二卷积局部特征图、第三卷积局部特征图和注意力局部特征图与全局特征图进行特征融合后，根据得到的融合特征图进行跌倒检测。
此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在更多实施例中，还提供：
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。
实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于双流特征提取的跌倒检测方法，其特征在于，包括：
获取待检测图像；
对待检测图像经多级残差处理后得到对应的第一卷积局部特征图、第二卷积局部特征图和第三卷积局部特征图，并对最后一级残差处理后得到的第四卷积局部特征图进行区域注意力特征提取，得到注意力局部特征图；
其中，区域注意力特征提取的过程包括：对第四卷积局部特征图提取第一注意力矩阵，将第一注意力矩阵与第四卷积局部特征图经全局平均池化操作后得到的池化特征图做叉乘与重塑后，再与第四卷积局部特征图相加，得到注意力局部特征图；
对待检测图像进行分块并嵌入位置编码，对得到的图像块进行自编码和卷积操作后得到全局特征图；
其中，将图像块经线性变换后得到查询张量、键张量以及值张量，对键张量进行自编码操作后，与查询张量相乘得到第二注意力矩阵，第二注意力矩阵经卷积操作后与值张量相乘得到自注意力头输出，将自注意力头输出与原图像块相加后，再经归一化和多层感知机操作得到全局特征图；
将第一卷积局部特征图、第二卷积局部特征图、第三卷积局部特征图和注意力局部特征图与全局特征图进行特征融合后，根据得到的融合特征图进行跌倒检测。
2.如权利要求1所述的一种基于双流特征提取的跌倒检测方法，其特征在于，对待检测图像的多级残差处理的过程包括：对待检测图像先经过一个的卷积和一个最大池化操作后得到预处理子图，对预处理子图依次经四个前后连接的残差块进行残差处理，由此得到第一卷积局部特征图、第二卷积局部特征图、第三卷积局部特征图和第四卷积局部特征图，且第一卷积局部特征图、第二卷积局部特征图和第三卷积局部特征图用于特征融合，第四卷积局部特征图用于进行区域注意力特征提取。
3.如权利要求2所述的一种基于双流特征提取的跌倒检测方法，其特征在于，所述残差块由2个的卷积组成。
4.如权利要求1所述的一种基于双流特征提取的跌倒检测方法，其特征在于，提取第一注意力矩阵的过程包括：
将第四卷积局部特征图复制三份，分别得到第一特征图、第二特征图和第三特征图；
将第一特征图进行通道降维和重塑后，得到第一重塑特征图；
将第二特征图进行通道降维和全局平均池化操作后，得到第二池化特征图；
将第三特征图进行全局平均池化操作后，得到第三池化特征图；
将第一重塑特征图和第二池化特征图叉乘后得到第一注意力矩阵；且第一注意力矩阵与第三池化特征图做叉乘处理。
5.如权利要求1所述的一种基于双流特征提取的跌倒检测方法，其特征在于，对第二注意力矩阵经过的卷积后与值张量相乘。
6.如权利要求1所述的一种基于双流特征提取的跌倒检测方法，其特征在于，自编码操作为键张量矩阵中每个值与一个单位邻域的所有值进行编码操作。
7.如权利要求1所述的一种基于双流特征提取的跌倒检测方法，其特征在于，特征融合的过程包括：
（1）对待检测图像经多级残差处理后得到第一卷积局部特征图、第二卷积局部特征图/>和第三卷积局部特征图/>，对/>、/>和/>进行下采样，/>与下采样后的/>相加，/>与下采样后的/>相加，下采样后的/>与注意力局部特征图相加，相加后的输出均依次进行/>卷积和线性变换操作；
（2）所述全局特征图包括第一全局特征图、第二全局特征图/>、第三全局特征图和第四全局特征图/>，步骤（1）得到的第一线性变换输出与/>相加后再与/>相加；
（3）步骤（1）得到的第二线性变换输出与相加后再与/>和步骤（2）的输出相加；
（4）步骤（1）得到的第三线性变换输出与相加后再与/>和步骤（3）的输出相加，由此得到融合特征图。
8.一种基于双流特征提取的跌倒检测系统，其特征在于，包括：
获取模块，被配置为获取待检测图像；
局部特征提取模块，被配置对待检测图像经多级残差处理后得到对应的第一卷积局部特征图、第二卷积局部特征图和第三卷积局部特征图，并对最后一级残差处理后得到的第四卷积局部特征图进行区域注意力特征提取，得到注意力局部特征图；
其中，区域注意力特征提取的过程包括：对第四卷积局部特征图提取第一注意力矩阵，将第一注意力矩阵与第四卷积局部特征图经全局平均池化操作后得到的池化特征图做叉乘与重塑后，再与第四卷积局部特征图相加，得到注意力局部特征图；
全局特征提取模块，被配置为对待检测图像进行分块并嵌入位置编码，对得到的图像块进行自编码和卷积操作后得到全局特征图；
其中，将图像块经线性变换后得到查询张量、键张量以及值张量，对键张量进行自编码操作后，与查询张量相乘得到第二注意力矩阵，第二注意力矩阵经卷积操作后与值张量相乘得到自注意力头输出，将自注意力头输出与原图像块相加后，再经归一化和多层感知机操作得到全局特征图；
特征融合模块，被配置为将第一卷积局部特征图、第二卷积局部特征图、第三卷积局部特征图和注意力局部特征图与全局特征图进行特征融合后，根据得到的融合特征图进行跌倒检测。
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310730824.3A CN116469132B (zh) | 2023-06-20 | 2023-06-20 | 基于双流特征提取的跌倒检测方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310730824.3A CN116469132B (zh) | 2023-06-20 | 2023-06-20 | 基于双流特征提取的跌倒检测方法、系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116469132A true CN116469132A (zh) | 2023-07-21 |
| CN116469132B CN116469132B (zh) | 2023-09-05 |
Family
ID=87175750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310730824.3A Active CN116469132B (zh) | 2023-06-20 | 2023-06-20 | 基于双流特征提取的跌倒检测方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116469132B (zh) |
Citations (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170256033A1 (en) * | 2016-03-03 | 2017-09-07 | Mitsubishi Electric Research Laboratories, Inc. | Image Upsampling using Global and Local Constraints |
| US20180114055A1 (en) * | 2016-10-25 | 2018-04-26 | VMAXX. Inc. | Point to Set Similarity Comparison and Deep Feature Learning for Visual Recognition |
| WO2019237567A1 (zh) * | 2018-06-14 | 2019-12-19 | 江南大学 | 基于卷积神经网络的跌倒检测方法 |
| WO2020103411A1 (zh) * | 2018-11-22 | 2020-05-28 | 九牧厨卫股份有限公司 | 一种跌倒检测方法、装置及系统 |
| WO2020140371A1 (zh) * | 2019-01-04 | 2020-07-09 | 平安科技（深圳）有限公司 | 基于深度学习的识别车辆损伤的方法和相关装置 |
| CN111428765A (zh) * | 2020-03-17 | 2020-07-17 | 武汉大学 | 一种基于全局卷积、局部深度卷积融合的目标检测方法 |
| CN111626109A (zh) * | 2020-04-17 | 2020-09-04 | 南京邮电大学 | 一种基于双流卷积神经网络的跌倒行为分析检测方法 |
| CN112395994A (zh) * | 2020-11-19 | 2021-02-23 | 三峡大学 | 一种基于双流网络的跌倒检测算法 |
| WO2021031066A1 (zh) * | 2019-08-19 | 2021-02-25 | 中国科学院深圳先进技术研究院 | 一种软骨图像分割方法、装置、可读存储介质及终端设备 |
| CN112465700A (zh) * | 2020-11-26 | 2021-03-09 | 北京航空航天大学 | 一种基于深度聚类的图像拼接定位装置及方法 |
| CN112541918A (zh) * | 2020-12-23 | 2021-03-23 | 山东师范大学 | 基于自注意力机制神经网络的三维医学图像分割方法 |
| CN112907598A (zh) * | 2021-02-08 | 2021-06-04 | 东南数字经济发展研究院 | 一种基于注意力cnn文档证件类图像篡改检测方法 |
| US20210233240A1 (en) * | 2020-01-17 | 2021-07-29 | Ping An Technology (Shenzhen) Co., Ltd. | Device and method for detecting clinically important objects in medical images with distance-based decision stratification |
| CN113723366A (zh) * | 2021-10-25 | 2021-11-30 | 山东力聚机器人科技股份有限公司 | 一种行人重识别方法、装置及计算机设备 |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| WO2022027987A1 (zh) * | 2020-08-04 | 2022-02-10 | 杰创智能科技股份有限公司 | 一种图像识别模型的训练方法及图像识别方法 |
| CN114549439A (zh) * | 2022-02-11 | 2022-05-27 | 中北大学 | 一种基于多模态特征融合的rgb-d图像语义分割方法 |
| CN114677372A (zh) * | 2022-05-06 | 2022-06-28 | 山东工商学院 | 一种融合噪声感知的深度伪造图像检测方法及系统 |
| CN114882430A (zh) * | 2022-04-29 | 2022-08-09 | 东南大学 | 一种基于Transformer的轻量化早期火灾检测方法 |
| CN115082922A (zh) * | 2022-08-24 | 2022-09-20 | 济南瑞泉电子有限公司 | 基于深度学习的水表数字图片处理方法及系统 |
| CN115311730A (zh) * | 2022-09-23 | 2022-11-08 | 北京智源人工智能研究院 | 一种人脸关键点的检测方法、系统和电子设备 |
| CN115359557A (zh) * | 2022-08-16 | 2022-11-18 | 齐鲁工业大学 | 一种基于Transformer的跌倒检测方法与系统 |
| CN115546750A (zh) * | 2022-09-28 | 2022-12-30 | 华南理工大学 | 一种基于Transformer编码器和空洞卷积的车道线检测方法 |
| CN115690479A (zh) * | 2022-05-23 | 2023-02-03 | 安徽理工大学 | 一种基于卷积Transformer的遥感图像分类方法及系统 |
| CN115995015A (zh) * | 2022-07-28 | 2023-04-21 | 安徽理工大学 | 基于残差卷积与多头自注意力的cxr图像分类方法及系统 |
| WO2023082882A1 (zh) * | 2021-11-15 | 2023-05-19 | 河南理工大学 | 一种基于姿态估计的行人摔倒动作识别方法及设备 |
-
2023
- 2023-06-20 CN CN202310730824.3A patent/CN116469132B/zh active Active
Patent Citations (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170256033A1 (en) * | 2016-03-03 | 2017-09-07 | Mitsubishi Electric Research Laboratories, Inc. | Image Upsampling using Global and Local Constraints |
| US20180114055A1 (en) * | 2016-10-25 | 2018-04-26 | VMAXX. Inc. | Point to Set Similarity Comparison and Deep Feature Learning for Visual Recognition |
| WO2019237567A1 (zh) * | 2018-06-14 | 2019-12-19 | 江南大学 | 基于卷积神经网络的跌倒检测方法 |
| WO2020103411A1 (zh) * | 2018-11-22 | 2020-05-28 | 九牧厨卫股份有限公司 | 一种跌倒检测方法、装置及系统 |
| WO2020140371A1 (zh) * | 2019-01-04 | 2020-07-09 | 平安科技（深圳）有限公司 | 基于深度学习的识别车辆损伤的方法和相关装置 |
| WO2021031066A1 (zh) * | 2019-08-19 | 2021-02-25 | 中国科学院深圳先进技术研究院 | 一种软骨图像分割方法、装置、可读存储介质及终端设备 |
| US20210233240A1 (en) * | 2020-01-17 | 2021-07-29 | Ping An Technology (Shenzhen) Co., Ltd. | Device and method for detecting clinically important objects in medical images with distance-based decision stratification |
| CN111428765A (zh) * | 2020-03-17 | 2020-07-17 | 武汉大学 | 一种基于全局卷积、局部深度卷积融合的目标检测方法 |
| CN111626109A (zh) * | 2020-04-17 | 2020-09-04 | 南京邮电大学 | 一种基于双流卷积神经网络的跌倒行为分析检测方法 |
| WO2022027987A1 (zh) * | 2020-08-04 | 2022-02-10 | 杰创智能科技股份有限公司 | 一种图像识别模型的训练方法及图像识别方法 |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN112395994A (zh) * | 2020-11-19 | 2021-02-23 | 三峡大学 | 一种基于双流网络的跌倒检测算法 |
| CN112465700A (zh) * | 2020-11-26 | 2021-03-09 | 北京航空航天大学 | 一种基于深度聚类的图像拼接定位装置及方法 |
| CN112541918A (zh) * | 2020-12-23 | 2021-03-23 | 山东师范大学 | 基于自注意力机制神经网络的三维医学图像分割方法 |
| CN112907598A (zh) * | 2021-02-08 | 2021-06-04 | 东南数字经济发展研究院 | 一种基于注意力cnn文档证件类图像篡改检测方法 |
| CN113723366A (zh) * | 2021-10-25 | 2021-11-30 | 山东力聚机器人科技股份有限公司 | 一种行人重识别方法、装置及计算机设备 |
| WO2023082882A1 (zh) * | 2021-11-15 | 2023-05-19 | 河南理工大学 | 一种基于姿态估计的行人摔倒动作识别方法及设备 |
| CN114549439A (zh) * | 2022-02-11 | 2022-05-27 | 中北大学 | 一种基于多模态特征融合的rgb-d图像语义分割方法 |
| CN114882430A (zh) * | 2022-04-29 | 2022-08-09 | 东南大学 | 一种基于Transformer的轻量化早期火灾检测方法 |
| CN114677372A (zh) * | 2022-05-06 | 2022-06-28 | 山东工商学院 | 一种融合噪声感知的深度伪造图像检测方法及系统 |
| CN115690479A (zh) * | 2022-05-23 | 2023-02-03 | 安徽理工大学 | 一种基于卷积Transformer的遥感图像分类方法及系统 |
| CN115995015A (zh) * | 2022-07-28 | 2023-04-21 | 安徽理工大学 | 基于残差卷积与多头自注意力的cxr图像分类方法及系统 |
| CN115359557A (zh) * | 2022-08-16 | 2022-11-18 | 齐鲁工业大学 | 一种基于Transformer的跌倒检测方法与系统 |
| CN115082922A (zh) * | 2022-08-24 | 2022-09-20 | 济南瑞泉电子有限公司 | 基于深度学习的水表数字图片处理方法及系统 |
| CN115311730A (zh) * | 2022-09-23 | 2022-11-08 | 北京智源人工智能研究院 | 一种人脸关键点的检测方法、系统和电子设备 |
| CN115546750A (zh) * | 2022-09-28 | 2022-12-30 | 华南理工大学 | 一种基于Transformer编码器和空洞卷积的车道线检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| 刘帆;刘鹏远;张峻宁;徐彬彬;: "基于双流卷积神经网络的RGB-D图像联合检测", 激光与光电子学进展, no. 02 * |
| 毛雪宇;彭艳兵;: "增量角度域损失和多特征融合的地标识别", 中国图象图形学报, no. 08 * |
| 汪亚航;宋晓宁;吴小俊;: "结合混合池化的双流人脸活体检测网络", 中国图象图形学报, no. 07 * |
| 袁智;胡辉;: "一种基于双流卷积神经网络跌倒识别方法", 河南师范大学学报(自然科学版), no. 03 * |
| 雷鹏程;刘丛;唐坚刚;彭敦陆;: "分层特征融合注意力网络图像超分辨率重建", 中国图象图形学报, no. 09 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116469132B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11755889B2 (en) | Method, system and apparatus for pattern recognition | |
| CN111881770B (zh) | 一种人脸识别方法及系统 | |
| CN109376631B (zh) | 一种基于神经网络的回环检测方法及装置 | |
| CN113902926A (zh) | 一种基于自注意力机制的通用图像目标检测方法和装置 | |
| CN111639653B (zh) | 一种误检图像确定方法、装置、设备和介质 | |
| CN113807361B (zh) | 神经网络、目标检测方法、神经网络训练方法及相关产品 | |
| US20170091613A1 (en) | Computational device, computational method, and computer program product | |
| CN111104925A (zh) | 图像处理方法、装置、存储介质和电子设备 | |
| CN115631112B (zh) | 一种基于深度学习的建筑轮廓矫正方法及装置 | |
| CN110706256A (zh) | 一种基于多核异构平台的检测跟踪算法优化方法 | |
| CN112801235A (zh) | 模型训练方法、预测方法、装置、重识别模型及电子设备 | |
| CN112639830A (zh) | 利用深度学习将图片分离成前景和背景的设备和方法 | |
| CN112150508B (zh) | 一种目标追踪方法、装置及相关设备 | |
| CN116469132B (zh) | 基于双流特征提取的跌倒检测方法、系统、设备及介质 | |
| CN112884804A (zh) | 行动对象追踪方法及相关设备 | |
| CN111598841A (zh) | 基于正则化稠密连接特征金字塔的实例显著性检测方法 | |
| CN108875498B (zh) | 用于行人重识别的方法、装置及计算机存储介质 | |
| CN112528899B (zh) | 基于隐含深度信息恢复的图像显著性物体检测方法及系统 | |
| WO2017179728A1 (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
| CN115050069A (zh) | 基于深度学习的人脸及属性识别方法、系统及计算机设备 | |
| CN108629264B (zh) | 用于图像处理的方法和装置 | |
| TWI830230B (zh) | 物件自動追蹤系統及其偵測方法 | |
| CN116310973A (zh) | 视频帧特征提取方法、装置、可读存储介质及终端设备 | |
| CN117372935B (zh) | 一种视频目标检测方法、设备及介质 | |
| WO2023089745A1 (ja) | 演算処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Fall detection method, system, equipment, and medium based on dual stream feature extraction Granted publication date: 20230905 Pledgee: China Everbright Bank Ji'nan branch Pledgor: JINAN RICHNES ELECTRONIC Co.,Ltd. Registration number: Y2024370000007 |