CN115171221A - 动作识别方法及动作识别系统 - Google Patents

动作识别方法及动作识别系统 Download PDF

Info

Publication number
CN115171221A
CN115171221A CN202211081214.7A CN202211081214A CN115171221A CN 115171221 A CN115171221 A CN 115171221A CN 202211081214 A CN202211081214 A CN 202211081214A CN 115171221 A CN115171221 A CN 115171221A
Authority
CN
China
Prior art keywords
neural network
data
event
output data
layer output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211081214.7A
Other languages
English (en)
Other versions
CN115171221B (zh
Inventor
张旦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qigan Electronic Information Technology Co ltd
Original Assignee
Shanghai Qigan Electronic Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qigan Electronic Information Technology Co ltd filed Critical Shanghai Qigan Electronic Information Technology Co ltd
Priority to CN202211081214.7A priority Critical patent/CN115171221B/zh
Publication of CN115171221A publication Critical patent/CN115171221A/zh
Application granted granted Critical
Publication of CN115171221B publication Critical patent/CN115171221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种动作识别方法，包括获取事件流数据，所述事件流数据包括事件数据，所述事件数据包括记录时间、像素坐标和极性，所述极性表示相邻所述记录时间所对应同一所述像素坐标处的感应值的大小关系，通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，将事件流数据与神经网络相结合，从而提高了动作识别的准确性。本发明还提供了一种动作识别系统。

Description

动作识别方法及动作识别系统
技术领域
本发明涉及动作识别技术领域，尤其涉及一种动作识别方法及动作识别系统。
背景技术
现有技术中通过普通相机拍摄视频，然后进行人物的动作识别，以根据识别的人物动作，但识别的准确性较低。
因此，有必要提供一种新型的动作识别方法及动作识别系统以解决现有技术中存在的上述问题。
发明内容
本发明的目的在于提供一种动作识别方法及动作识别系统，提高动作识别的准确性。
为实现上述目的，本发明的所述动作识别方法，包括：
获取事件流数据，所述事件流数据包括事件数据，所述事件数据包括记录时间、像素坐标和极性，所述极性表示相邻所述记录时间所对应同一所述像素坐标处的感应值的大小关系；
通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作。
所述动作识别方法的有益效果在于：获取事件流数据，所述事件流数据包括事件数据，通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，将事件流数据与神经网络相结合，从而提高了动作识别的准确性。
可选地，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，包括：
将单位时间段内相同所述像素坐标处的所述事件数据进行累加，以得到所述神经网络的感受层输出数据。其有益效果在于：能够极大的消除噪声干扰。
可选地，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：
将所述神经网络的感受层输出数据与预设权重数据进行矩阵乘运算，以得所述神经网络的抑制层输出数据。
可选地，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：
将所述神经网络的感受层输出数据作为所述神经网络的兴奋层输出数据。
可选地，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：
将所述神经网络的兴奋层输出数据与所述神经网络的抑制层输出数据进行减运算，以得到所述神经网络的汇总层输出数据。
可选地，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：
通过长短期记忆模型循环神经网络对所述神经网络的感受层输出数据进行处理，以得到所述神经网络的时间状态记忆数据。
可选地，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：
通过合并函数将所述神经网络的汇总层输出数据与所述神经网络的时间状态记忆数据进行合并，然后进行神经网络整合训练，以得到所述神经网络的整合层输出数据。
可选地，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：
将所述神经网络的整合层输出数据依次进行平均池化处理和数据压平处理，然后进行卷积运算，以得到所述神经网络的决策层输出数据，根据所述神经网络的决策层输出数据判断所述事件流数据中的目标动作。
本发明还提供了一种动作识别系统，所述动作识别系统包括事件流数据获取模块和神经网络模块，所述事件流数据获取模块用于获取事件流数据，所述事件流数据包括事件数据，所述事件数据包括记录时间、像素坐标和极性，所述极性表示相邻所述记录时间所对应同一所述像素坐标处的感应值的大小关系，所述神经网络模块用于通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作。
所述动作识别系统的有益效果在于：所述事件流数据获取模块用于获取事件流数据，所述事件流数据包括事件数据，所述神经网络模块用于通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，将事件流数据与神经网络相结合，从而提高了动作识别的准确性。
可选地，所述神经网络模块包括神经网络感受层单元，用于将单位时间段内相同所述像素坐标处的所述事件数据进行累加，以得到所述神经网络的感受层输出数据。
可选地，所述神经网络模块包括神经网络抑制层单元，用于将所述神经网络的感受层输出数据与预设权重数据进行矩阵乘运算，以得所述神经网络的抑制层输出数据。
可选地，所述神经网络模块包括神经网络兴奋层处理单元，用于将所述神经网络的感受层输出数据作为所述神经网络的兴奋层输出数据。
可选地，所述神经网络模块包括神经网络汇总层处理单元，用于将所述神经网络的兴奋层输出数据与所述神经网络的抑制层输出数据进行减运算，以得到所述神经网络的汇总层输出数据。
可选地，所述神经网络模块包括长短期记忆模型循环神经网络单元，用于通过长短期记忆模型循环神经网络对所述神经网络的感受层输出数据进行处理，以得到所述神经网络的时间状态记忆数据。
可选地，所述神经网络模块包括神经网络整合层处理单元，用于通过合并函数将所述神经网络的汇总层输出数据与所述神经网络的时间状态记忆数据进行合并，然后进行神经网络整合训练，以得到所述神经网络的整合层输出数据。
可选地，所述神经网络模块包括神经网络决策层处理单元，用于将所述神经网络的整合层输出数据依次进行平均池化处理和数据压平处理，然后进行卷积运算，以得到所述神经网络的决策层输出数据，根据所述神经网络的决策层输出数据判断所述事件流数据中的目标动作。
附图说明
图1为本发明动作识别方法的流程图；
图2为本发明一些实施例中动作识别系统的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
针对现有技术存在的问题，本发明的实施例提供了一种动作识别方法。参照图1，所述动作识别方法包括以下步骤：
S1：获取事件流数据，所述事件流数据包括事件数据，所述事件数据包括记录时间、像素坐标和极性，所述极性表示相邻所述记录时间所对应同一所述像素坐标处的感应值的大小关系；
S2：通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作。
一些实施例中，用（t，x，y，p）表示所述事件数据，其中，t表示所述记录时间，（x，y）表示所述像素坐标，p表示所述极性，当t时刻（x，y）处的像素的响度高于t-1时刻（x，y）处像素的亮度，则p为1，当t时刻（x，y）处的像素的响度低于t-1时刻（x，y）处像素的亮度，则p为-1。
一些实施例中，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，包括：将单位时间段内相同所述像素坐标处的所述事件数据进行累加，以得到所述神经网络的感受层输出数据。
一些实施例中，所述神经网络通过公式
Figure 380398DEST_PATH_IMAGE001
计算 所述神经网络的感受层输出数据，其中，t0表示初始记录时间，
Figure 313850DEST_PATH_IMAGE002
表示所述单位时间段，m 表示所述单位时间段的个数，Pt0+mΔ（x，y）表示第m个单位时间段内所述神经网络的感受层 输出数据，e表示常数。
一些实施例中，一个所述单位时间段内为一帧图像。
一些实施例中，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：将所述神经网络的感受层输出数据与预设权重数据进行矩阵乘运算，以得所述神经网络的抑制层输出数据。可选地，将上一个所述单位时间段的所述神经网络的感受层输出数据与预设权重数据进行矩阵乘运算，以得当前时间段所述神经网络的抑制层输出数据。
一些实施例中，所述神经网络通过公式
Figure 421483DEST_PATH_IMAGE003
计算所述 神经网络的抑制层输出数据，其中，It0+mΔ（x，y）表示第m个单位时间段所述神经网络的抑制 层输出数据，Pt0+（m-1）Δ（x，y）表示第m-1个单位时间段内所述神经网络的感受层输出数据，W 表示所述预设权重数据。
一些实施例中，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：将所述神经网络的感受层输出数据作为所述神经网络的兴奋层输出数据。
一些实施例中，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：将所述神经网络的兴奋层输出数据与所述神经网络的抑制层输出数据进行减运算，以得到所述神经网络的汇总层输出数据。
一些实施例中，所述神经网络通过公式
Figure 895321DEST_PATH_IMAGE004
计 算所述神经网络的汇总层输出数据，其中，St0+mΔ（x，y）表示第m个单位时间段所述神经网络 的汇总层输出数据，Et0+mΔ（x，y）表示第m个单位时间段所述神经网络的兴奋层输出数据。
一些实施例中，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：通过长短期记忆模型循环神经网络对所述神经网络的感受层输出数据进行处理，以得到所述神经网络的时间状态记忆数据。
一些实施例中，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：通过合并函数将所述神经网络的汇总层输出数据与所述神经网络的时间状态记忆数据进行合并，然后进行神经网络整合训练，以得到所述神经网络的整合层输出数据。
一些实施例中，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：将所述神经网络的整合层输出数据依次进行平均池化处理（AveragePooling）和数据压平处理（Flatten），然后进行卷积运算，以得到所述神经网络的决策层输出数据，根据所述神经网络的决策层输出数据判断所述事件流数据中的目标动作。
一些实施例中，所述动作识别方法还包括神经网络训练步骤，所述神经网络训练步骤包括：收集数据集；采样损失函数采用二值交叉熵方式对所述数据集进行处理，以得到损失函数处理数据；对所述损失函数处理数据进行归一化处理，以得到神经网络训练数据。
一些实施例中，所述数据集包括人脸接近的事件流数据、人脸远离的事件流数据、人脸非接近或远离的事件流数据、非人脸接近的事件流数据、非人脸远离的事件流数据、非人脸非接近或远离的事件流数据，所述事件流数据的个数共320个，每个所述事件流数据的时长为15s。
一些实施例中，所述收集数据集包括通过事件相机（Events Camera）采集不同场所、不同亮度、不同人数情况下的人相对于事件相机接近、远离、非接近或远离的第一事件流数据。
一些实施例中，所述收集数据集还包括通过事件相机（Events Camera）采集不同场所、不同亮度、不同人数情况下的物品或动物相对于事件相机接近、远离、非接近或远离的第二事件流数据。
一些实施例中，所述收集数据集还包括对所述第一事件流数据和所述第二事件流数据进行可视化图像。具体地，通过公式
Figure 772010DEST_PATH_IMAGE005
将所述第一事件流数据和所述第二事件流数据可视化，其中，Pt0（x，y）表示像素点的值，即，当像素点的值大于0，则将像素点的值调整为255，当像素点的值小于0，则将像素点的值调整为0，当像素点的值等于0，则将像素点的值调整为127。
一些实施例中，所述第一事件流数据和所述第二事件流数据共320个，且每个所述第一事件流数据和每个所述第二事件流数据的时长均为15s，将所述第一事件流数据和所述第二事件流数据以30ms为视频帧间隔提取图片，则每个所述第一事件流数据和每个所述第二事件流数据均可以得到500张图片。
一些实施例中，所述收集数据集还包括：将按帧数排序的前400张图片加入所述神经网络的训练集，将按帧数排序的中间50张图片加入所述神经网络的验证集，按帧数排序的后50张图片加入所述神经网络的测试集，进而得到训练集中128000张图片，验证集中16000张图片，测试集中16000张图片。
一些实施例中，所述收集数据集还包括将按帧数排序的相邻两张图片的绝对路径和对应的标签作为一条标注数据，所述标签包括靠近、远离和挂起，其中靠近为100、远离为010、挂起为001，以10个所述标注数据为例，前5张图片取自同一事件流数据，后5张图片来自同一事件流数据：
Path（A0）Path（A1）010；
Path（A1）Path（A2）010；
Path（A2）Path（A3）010；
Path（A2）Path（A4）010；
Path（A4）Path（B0）010；
Path（B0）Path（B1）010；
Path（B1）Path（B2）001；
Path（B2）Path（B3）001；
Path（B3）Path（B4）001。其中，Path（A0）表示地址A0，Path（A1）表示地址A1。
图2为本发明一些实施例中动作识别系统的结构框图。参照图2，所述动作识别系统100包括事件流数据获取模块101和神经网络模块102，所述事件流数据获取模块101用于获取事件流数据，所述事件流数据包括事件数据，所述事件数据包括记录时间、像素坐标和极性，所述极性表示相邻所述记录时间所对应同一所述像素坐标处的感应值的大小关系，所述神经网络模块102用于通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作。
一些实施例中，所述事件流数据获取模块为事件相机（Events Camera）。
一些实施例中，所述神经网络模块包括神经网络感受层单元，用于将单位时间段内相同所述像素坐标处的所述事件数据进行累加，以得到所述神经网络的感受层输出数据。
一些实施例中，所述神经网络模块包括神经网络抑制层单元，用于将所述神经网络的感受层输出数据与预设权重数据进行矩阵乘运算，以得所述神经网络的抑制层输出数据。
一些实施例中，所述神经网络模块包括神经网络兴奋层处理单元，用于将所述神经网络的感受层输出数据作为所述神经网络的兴奋层输出数据。
一些实施例中，所述神经网络模块包括神经网络汇总层处理单元，用于将所述神经网络的兴奋层输出数据与所述神经网络的抑制层输出数据进行减运算，以得到所述神经网络的汇总层输出数据。
一些实施例中，所述神经网络模块包括长短期记忆模型循环神经网络单元，用于通过长短期记忆模型循环神经网络对所述所述神经网络的感受层输出数据进行处理，以得到所述神经网络的时间状态记忆数据。
一些实施例中，所述神经网络模块包括神经网络整合层处理单元，用于通过合并函数将所述神经网络的汇总层输出数据与所述神经网络的时间状态记忆数据进行合并，然后进行神经网络整合训练，以得到所述神经网络的整合层输出数据。
一些实施例中，所述神经网络模块包括神经网络决策层处理单元，用于将所述神经网络的整合层输出数据依次进行平均池化处理和数据压平处理，然后进行卷积运算，以得到所述神经网络的决策层输出数据，根据所述神经网络的决策层输出数据判断所述事件流数据中的目标动作。
一些实施例中，通过所述动作识别系统实现所述动作识别方法。
一些实施例中，所述动作识别方法和所述动作识别系统应用于电子设备的休眠和唤醒，当识别人物远离所述电子设备时，控制所述电子设备休眠，当识别人物靠近所述电子设备时，控制所述电子设备唤醒。
又一些实施例中，所述动作识别方法和所述动作识别系统应用于电子设备的休眠和唤醒，当识别人物的特殊动作时，控制所述电子设备休眠或唤醒，例如招手、摇头。
虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。

Claims (14)

1.一种动作识别方法，其特征在于，包括：
获取事件流数据，所述事件流数据包括事件数据，所述事件数据包括记录时间、像素坐标和极性，所述极性表示相邻所述记录时间所对应同一所述像素坐标处的感应值的大小关系；
通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作；
其中，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，包括：将单位时间段内相同所述像素坐标处的所述事件数据进行累加，以得到所述神经网络的感受层输出数据。
2.根据权利要求1所述的动作识别方法，其特征在于，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：
将所述神经网络的感受层输出数据与预设权重数据进行矩阵乘运算，以得所述神经网络的抑制层输出数据。
3.根据权利要求2所述的动作识别方法，其特征在于，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：
将所述神经网络的感受层输出数据作为所述神经网络的兴奋层输出数据。
4.根据权利要求3所述的动作识别方法，其特征在于，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：
将所述神经网络的兴奋层输出数据与所述神经网络的抑制层输出数据进行减运算，以得到所述神经网络的汇总层输出数据。
5.根据权利要求4所述的动作识别方法，其特征在于，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：
通过长短期记忆模型循环神经网络对所述神经网络的感受层输出数据进行处理，以得到所述神经网络的时间状态记忆数据。
6.根据权利要求5所述的动作识别方法，其特征在于，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：
通过合并函数将所述神经网络的汇总层输出数据与所述神经网络的时间状态记忆数据进行合并，然后进行神经网络整合训练，以得到所述神经网络的整合层输出数据。
7.根据权利要求6所述的动作识别方法，其特征在于，所述通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作，还包括：
将所述神经网络的整合层输出数据依次进行平均池化处理和数据压平处理，然后进行卷积运算，以得到所述神经网络的决策层输出数据，根据所述神经网络的决策层输出数据判断所述事件流数据中的目标动作。
8.一种动作识别系统，其特征在于，用于实现如权利要求1~7任意一项所述的动作识别方法，所述动作识别系统包括事件流数据获取模块和神经网络模块，所述事件流数据获取模块用于获取事件流数据，所述事件流数据包括事件数据，所述事件数据包括记录时间、像素坐标和极性，所述极性表示相邻所述记录时间所对应同一所述像素坐标处的感应值的大小关系，所述神经网络模块用于通过神经网络处理所述事件数据，以识别所述事件流数据中的目标动作；其中，所述神经网络模块包括神经网络感受层单元，用于将单位时间段内相同所述像素坐标处的所述事件数据进行累加，以得到所述神经网络的感受层输出数据。
9.根据权利要求8所述的动作识别方法，其特征在于，所述神经网络模块包括神经网络抑制层单元，用于将所述神经网络的感受层输出数据与预设权重数据进行矩阵乘运算，以得所述神经网络的抑制层输出数据。
10.根据权利要求9所述的动作识别方法，其特征在于，所述神经网络模块包括神经网络兴奋层处理单元，用于将所述神经网络的感受层输出数据作为所述神经网络的兴奋层输出数据。
11.根据权利要求10所述的动作识别方法，其特征在于，所述神经网络模块包括神经网络汇总层处理单元，用于将所述神经网络的兴奋层输出数据与所述神经网络的抑制层输出数据进行减运算，以得到所述神经网络的汇总层输出数据。
12.根据权利要求11所述的动作识别方法，其特征在于，所述神经网络模块包括长短期记忆模型循环神经网络单元，用于通过长短期记忆模型循环神经网络对所述神经网络的感受层输出数据进行处理，以得到所述神经网络的时间状态记忆数据。
13.根据权利要求12所述的动作识别方法，其特征在于，所述神经网络模块包括神经网络整合层处理单元，用于通过合并函数将所述神经网络的汇总层输出数据与所述神经网络的时间状态记忆数据进行合并，然后进行神经网络整合训练，以得到所述神经网络的整合层输出数据。
14.根据权利要求13所述的动作识别方法，其特征在于，所述神经网络模块包括神经网络决策层处理单元，用于将所述神经网络的整合层输出数据依次进行平均池化处理和数据压平处理，然后进行卷积运算，以得到所述神经网络的决策层输出数据，根据所述神经网络的决策层输出数据判断所述事件流数据中的目标动作。
CN202211081214.7A 2022-09-06 2022-09-06 动作识别方法及动作识别系统 Active CN115171221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211081214.7A CN115171221B (zh) 2022-09-06 2022-09-06 动作识别方法及动作识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211081214.7A CN115171221B (zh) 2022-09-06 2022-09-06 动作识别方法及动作识别系统

Publications (2)

Publication Number Publication Date
CN115171221A true CN115171221A (zh) 2022-10-11
CN115171221B CN115171221B (zh) 2022-12-06

Family

ID=83481227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211081214.7A Active CN115171221B (zh) 2022-09-06 2022-09-06 动作识别方法及动作识别系统

Country Status (1)

Country Link
CN (1) CN115171221B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407889A (zh) * 2016-08-26 2017-02-15 上海交通大学 基于光流图深度学习模型在视频中人体交互动作识别方法
US20180173934A1 (en) * 2016-12-21 2018-06-21 Volkswagen Ag System and methodologies for occupant monitoring utilizing digital neuromorphic (nm) data and fovea tracking
CN109102000A (zh) * 2018-09-05 2018-12-28 杭州电子科技大学 一种基于分层特征提取与多层脉冲神经网络的图像识别方法
CN109697726A (zh) * 2019-01-09 2019-04-30 厦门大学 一种基于事件相机的端对端目标运动估计方法
CN109829422A (zh) * 2019-01-28 2019-05-31 哈尔滨工业大学 一种基于脉冲神经网络人体摔倒动作的视频识别方法
US20200218959A1 (en) * 2017-10-09 2020-07-09 Intel Corporation Method, apparatus and system to perform action recognition with a spiking neural network
CN112464807A (zh) * 2020-11-26 2021-03-09 北京灵汐科技有限公司 视频动作识别方法、装置、电子设备和存储介质
CN112836652A (zh) * 2021-02-05 2021-05-25 浙江工业大学 一种基于事件相机的多阶段人体姿态估计方法
US20210158483A1 (en) * 2019-11-26 2021-05-27 Samsung Electronics Co., Ltd. Jointly learning visual motion and confidence from local patches in event cameras
CN113205048A (zh) * 2021-05-06 2021-08-03 浙江大学 一种手势识别方法及识别系统
CN113378600A (zh) * 2020-03-09 2021-09-10 北京灵汐科技有限公司 一种行为识别方法及系统
US20210365778A1 (en) * 2020-05-22 2021-11-25 Tata Consultancy Services Limited System and method for real-time radar-based action recognition using spiking neural network(snn)
CN114627150A (zh) * 2022-03-14 2022-06-14 首都师范大学 基于事件相机的数据处理及运动估计方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407889A (zh) * 2016-08-26 2017-02-15 上海交通大学 基于光流图深度学习模型在视频中人体交互动作识别方法
US20180173934A1 (en) * 2016-12-21 2018-06-21 Volkswagen Ag System and methodologies for occupant monitoring utilizing digital neuromorphic (nm) data and fovea tracking
US20200218959A1 (en) * 2017-10-09 2020-07-09 Intel Corporation Method, apparatus and system to perform action recognition with a spiking neural network
CN109102000A (zh) * 2018-09-05 2018-12-28 杭州电子科技大学 一种基于分层特征提取与多层脉冲神经网络的图像识别方法
CN109697726A (zh) * 2019-01-09 2019-04-30 厦门大学 一种基于事件相机的端对端目标运动估计方法
CN109829422A (zh) * 2019-01-28 2019-05-31 哈尔滨工业大学 一种基于脉冲神经网络人体摔倒动作的视频识别方法
US20210158483A1 (en) * 2019-11-26 2021-05-27 Samsung Electronics Co., Ltd. Jointly learning visual motion and confidence from local patches in event cameras
CN113378600A (zh) * 2020-03-09 2021-09-10 北京灵汐科技有限公司 一种行为识别方法及系统
US20210365778A1 (en) * 2020-05-22 2021-11-25 Tata Consultancy Services Limited System and method for real-time radar-based action recognition using spiking neural network(snn)
CN112464807A (zh) * 2020-11-26 2021-03-09 北京灵汐科技有限公司 视频动作识别方法、装置、电子设备和存储介质
WO2022111506A1 (zh) * 2020-11-26 2022-06-02 北京灵汐科技有限公司 视频动作识别方法、装置、电子设备和存储介质
CN112836652A (zh) * 2021-02-05 2021-05-25 浙江工业大学 一种基于事件相机的多阶段人体姿态估计方法
CN113205048A (zh) * 2021-05-06 2021-08-03 浙江大学 一种手势识别方法及识别系统
CN114627150A (zh) * 2022-03-14 2022-06-14 首都师范大学 基于事件相机的数据处理及运动估计方法及装置

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
ARNON AMIR 等: "A Low Power, Fully Event-Based Gesture Recognition System", 《CVPR2017 OPEN ACCESS》 *
QIANHUI LIU 等: "Event-based Action Recognition Using Motion Information and Spiking Neural Networks", 《PROCEEDINGS OF THE THIRTIETH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE (IJCAI-21)》 *
WEI WANG 等: "Temporal Spiking Recurrent Neural Network for Action Recognition", 《IEEE ACCESS》 *
YANNAN XING 等: "A New Spiking Convolutional Recurrent Neural Network (SCRNN) With Applications to Event-Based Hand Gesture Recognition", 《FRONTIERS IN NEUROSCIENCE》 *
张远辉 等: "基于事件相机的人体动作识别方法", 《计量学报》 *
李钰: "基于脉冲神经网络的人体摔倒动作识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王萌: "基于深度融合网络的手势及动作理解算法的研究及实现", 《中国优秀硕士学位论文全文数据库 《中国优秀硕士学位论文全文数据库 信息科技辑》》 *

Also Published As

Publication number Publication date
CN115171221B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
Zou et al. Occupancy detection in the office by analyzing surveillance videos and its application to building energy conservation
WO2022111506A1 (zh) 视频动作识别方法、装置、电子设备和存储介质
WO2019174439A1 (zh) 图像识别方法、装置、终端和存储介质
CN109086873A (zh) 递归神经网络的训练方法、识别方法、装置及处理设备
CN105160318A (zh) 基于面部表情的测谎方法及系统
CN110853074B (zh) 一种利用光流增强目标的视频目标检测网络系统
CN110399835B (zh) 一种人员停留时间的分析方法、装置及系统
CN111899470B (zh) 人体跌倒检测方法、装置、设备及存储介质
CN110458235B (zh) 一种视频中运动姿势相似度比对方法
CN111539351B (zh) 一种多任务级联的人脸选帧比对方法
CN111488855A (zh) 疲劳驾驶检测方法、装置、计算机设备和存储介质
CN108921140A (zh) 行人再识别方法
CN112801000B (zh) 一种基于多特征融合的居家老人摔倒检测方法及系统
CN111325051A (zh) 一种基于人脸图像roi选取的人脸识别方法及装置
CN111144220B (zh) 适于大数据的人员检测方法、装置、设备和介质
CN111046769A (zh) 一种排队时长检测方法、装置及系统
CN109345427A (zh) 一种结合人脸识别和行人识别技术的教室视频点到方法
CN111382606A (zh) 摔倒检测方法、摔倒检测装置和电子设备
CN115171221B (zh) 动作识别方法及动作识别系统
CN110766093A (zh) 一种基于多帧特征融合的视频目标重识别方法
Arivazhagan Versatile loitering detection based on non-verbal cues using dense trajectory descriptors
Wang et al. Facial expression recognition based on deep convolutional neural network
CN110572618A (zh) 一种非法拍照行为监控方法、装置及系统
Islam et al. Real Time-Based Face Recognition, Tracking, Counting, and Calculation of Spent Time of Person Using OpenCV and Centroid Tracker Algorithms
CN113128289B (zh) 人脸识别的特征提取计算方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant