CN105160310A - 基于3d卷积神经网络的人体行为识别方法 - Google Patents
基于3d卷积神经网络的人体行为识别方法 Download PDFInfo
- Publication number
- CN105160310A CN105160310A CN201510527937.9A CN201510527937A CN105160310A CN 105160310 A CN105160310 A CN 105160310A CN 201510527937 A CN201510527937 A CN 201510527937A CN 105160310 A CN105160310 A CN 105160310A
- Authority
- CN
- China
- Prior art keywords
- image
- human body
- mark
- gray
- characteristic pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001537 neural Effects 0.000 title claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 210000002569 neurons Anatomy 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 7
- 230000003542 behavioural Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000000875 corresponding Effects 0.000 claims description 4
- 210000003414 Extremities Anatomy 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 abstract 1
- 230000003287 optical Effects 0.000 abstract 1
- 238000003909 pattern recognition Methods 0.000 abstract 1
- 238000007781 pre-processing Methods 0.000 abstract 1
- 206010000117 Abnormal behaviour Diseases 0.000 description 4
- 238000010205 computational analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000002356 Skeleton Anatomy 0.000 description 1
- 230000000386 athletic Effects 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000003551 nucleic acid identification and quantitation method Methods 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000000644 propagated Effects 0.000 description 1
- 238000005201 scrubbing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING; COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K9/00—Methods or arrangements for recognising patterns
- G06K9/62—Methods or arrangements for pattern recognition using electronic means
- G06K9/6267—Classification techniques
- G06K9/6268—Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches
- G06K9/6269—Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches based on the distance between the decision surface and training patterns lying on the boundary of the class cluster, e.g. support vector machines
Abstract
本发明公开了一种基于3D卷积神经网络的人体行为识别方法，主要用于解决计算机视觉和模式识别领域具体的人体行为的识别问题。其实现步骤为：(1)视频输入；(2)预处理，得到训练样本集和测试样本集；(3)构造3D卷积神经网络；(4)提取特征向量；(5)进行分类训练；(6)输出测试结果。本发明利用光流法实现对人体检测和运动估计，能够在不知道场景的任何信息的情况下，检测出运动对象。本发明在网络的输入为多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程，使得对人体行为的识别更加准确。
Description
技术领域
[0001] 本发明属于图像处理技术领域，更进一步涉及计算机视觉技术领域中的一种基于 3D卷积神经网络的人类行为识别方法。本发明可用于智能监控系统识别环境中人体的异常 行为，本发明还可以用于体育训练中规范运动员动作。
背景技术
[0002] 以前的人体行为识别方法都是基于一些对应用场景苛刻的假设上的，例如目标小 的尺度变化和小的视觉改变等。但这在现实世界中是很难满足的。
[0003] 目前，在这方面，大部分当前的方法都是遵循两个步骤：（1)在原始的输入中提取 复杂的人工特征；（2)在获取的特征上学习分类器。
[0004] 现实世界的场景中，几乎很难知道对于一个具体的任务什么样的特征才是重要 的，因为特征的选择与具体的问题高度依赖。特别是行为识别上，不同的运动类型在外观和 运动模型上都呈现出非常大的不同。
[0005] 而卷积神经网络是人工神经网络的一种已成为当前语音分析和图像识别领域的 研究热点，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度， 减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接 作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。
[0006] 传统的卷积神经网络是为了识别二维形状而设计的多层感知器，无法对三维的运 动图像进行多层感知，无法满足现在的要求。
[0007] 青岛科技大学申请的专利"一种人体异常行为识别方法"（专利申请号 201210254343,公开号CN102799873A)中公开了一种人体异常行为识别方法。该方法包括 利用训练样本集获得分类器和分类模板的训练过程及利用分类器和分类模板识别测试样 本的识别过程。首先对训练视频流逐帧计算每帧灰度图像中每个像素点的Hessian矩阵 响应，然后根据矩阵响应确定特征点，用多维向量对特征点进行描述、获得描述符，并且对 描述符进行聚类获得分类器，最后利用概率值向量获得异常行为模板。该专利申请公开的 方法存在的不足是：当灰度图像序列对比度较低时，阈值难以选取，影响前景目标的分割结 果；区域灰度值变化较为平坦时，容易在人体二值图像内产生空洞现象，给后续的目标分 类、跟踪和识别造成不便；对于图像模糊、噪声等比较敏感，对环境要求高。
[0008] 江南大学申请的专利"基于图像深度信息的3D高斯空间人体行为识别方法"（专 利申请号201410009445,公开号CN103810496A)中公开了一种基于图像深度信息的3D高斯 空间人体行为识别方法。该专利首先提取深度信息中的人体骨骼3D坐标并对其进行归一 化操作，过滤对人体行为识别率低的关节及冗余关节，并针对各个行为构建兴趣关节群，基 于高斯距离核对人体动作空间特征进行AP聚类，获得行为特征单词表并对其进行数据清 理，从而构建人体行为条件随机场识别模型，据此实现对人体行为的分类。该专利申请公开 的方法存在的不足是：在原始输入中提取的人工特征过于复杂，计算分析数据慢；模型的 更新较为复杂，实时性较差。
[0009] Davis 在其发表的论文 "The recognition of human movement using temporal templates. '，（Pattern Analysis and Machine Intelligence, IEEE Transactions on 23 (3) : 257-267)中提出了采用轮廓来描述人体的运动信息的方法。该方法用MEI和MHI两 个模板来保存对应的一个动作信息，然后用马氏距离分类器来进行识别。MEI为运动能量 图，用来指示运动在哪些部位发生过，MHI为运动历史图，除了体现运动发生的空间位置外 还体现了运动的时间先后顺序。这两种特征都是从背景减图中获取的。该方法存在的不足 之处是：数据比较大，计算量大；对于快速运动的物体或者形变较大的情况，跟踪效果不够 理想。
发明内容
[0010] 本发明的目的是克服上述现有技术中存在的不足，提出一种基于3D卷积神经网 络的人体行为识别方法。本发明通过采用3D卷积神经网络技术解决人体行为的识别问题。 将3D卷积神经网络模型用于运动识别。该模型可以从空间和时间的维度提取特征，进行3D 卷积，以捕捉从多个连续帧得到的运动信息。
[0011] 为实现上述目的，本发明具体实现步骤包括如下：
[0012] ⑴视频输入：
[0013] 将数据集的视频图像输入计算机，逐帧读取视频图像，得到图像信息；
[0014] (2)预处理：
[0015] (2a)从图像信息中筛选人体行为特征明显的图像，保存筛选后的图像；
[0016] (2b)将筛选后的图像大小统一到120X160像素中，得到统一大小后的图像；
[0017] (2c)分类标记图像信息，将统一大小后的图像均分为5份，1-4份作为训练样本 集，第5份作为测试样本集，得到标记后的图像；
[0018] (3)构造3D卷积神经网络：
[0019] (3a)对标记后的图像，分别提取灰度、X和y方向的梯度、X和y方向的光流共计 五个通道信息，得到图像提取后的灰度值；
[0020] (3b)按照下式，计算标记后的图像在X和y方向的梯度：
[0021] G = dx (x, y) +dy (x, y)
[0022] 其中，G表示标记后的图像在x和y方向上的梯度，dx表示在x方向上导数操作， dy表示在y方向上导数操作，（X，y)表示标记后的图像中像素点的坐标；
[0023] (3c)按照下式，计算图像提取后的灰度值的变化率：
[0024]
[0025] 其中，Ix表示图像提取后的灰度值沿X方向的变化率，I ¥表示图像提取后的灰度 值沿y方向的变化率，It表示图像提取后的灰度值沿时间t方向的变化率，f表示偏导数操 作；
[0026] (3d)按照下式，计算标记后的图像在X和y方向的光流：
[0027]
[0028] 其中，U表示标记后的图像在X和y方向的光流，1,表示图像提取后的灰度值沿时 间t方向的变化率，Ix表示图像提取后的灰度值沿X方向的变化率，Iy表示图像提取后的 灰度值沿y方向的变化率，T表示转置操作；
[0029] (3e)赋予标记后图像中的每一个像素点一个速度矢量，形成一个标记后图像运动 场，在人体运动的时刻，标记后图像上的各个像素点与三维物体上的点一一对应；根据标记 后图像上的各个像素点的速度矢量特征，对标记后图像进行动态分析，如果标记后图像中 没有人体运动，则光流矢量在整个图像区域是连续变化的，当标记后图像中有人体运动时， 目标和图像背景存在相对运动，从人体运动所形成不同的速度矢量和邻域背景速度矢量， 检测出人体运动的位置；
[0030] (3f)对五个通道信息中的每个通道分离进行卷积和下采样操作，得到每一层卷积 层和下采样层的特征图maps的大小；
[0031] (4)提取特征向量：
[0032] (4a)在第二层采样层中得到的64张大小为12X17像素的特征图maps，将每一张 特征图map拉伸成一个向量，得到向量的维数为13056维的神经元；
[0033] (4b)通过普通神经网络进行降维，设定第一层全连接层的神经元个数为6528,则 第二层全连接层的神经元个数为1000,得到的第二层神经元为图像的特征值；
[0034] (5)连接分类器，对特征向量进行分类训练：
[0035] (5a)采用线性分类器，对特征向量进行分类；
[0036] (5b)采用反向传播BP算法，对训练样本集进行在线训练，得到训练文件；
[0037] (6)输出测试结果：
[0038] 将测试样本集在训练文件中进行测试，输出测试结果。
[0039] 本发明与现有技术相比，具有以下优点：
[0040] 第一，本发明通过3D卷积操作核去提取视频数据的时间和空间特征。这些3D特 征提取器在空间和时间维度上操作，克服了现有技术中在原始输入中提取的人工特征过于 复杂，计算分析数据慢的不足，使得本发明具有提取特征代表性性高和提取速度快的优点。
[0041] 第二，本发明利用3D卷积特征提取器构造3D卷积神经网络。这个架构可以从连 续视频帧中产生多通道的信息，克服了现有技术中区域灰度值变化较为平坦时，容易在人 体二值图像内产生空洞现象的不足，使得本发明具有对环境的抗干扰性强的优点。
附图说明
[0042] 图1是本发明的流程图；
[0043] 图2是本发明3D卷积神经网络的架构图。
具体实施方式
[0044] 下面结合附图对本发明的具体实施方式作进一步详细的描述。
[0045] 结合附图1对本发明的具体步骤描述如下：
[0046] 步骤1，视频输入。
[0047] 将KTH数据集中 walking, jogging, running, boxing, hand waving, hand clapping 六个视频文件中的视频图像输入计算机，逐帧读取视频图像，得到图像信息。
[0048] 步骤2,预处理。
[0049] 第1步，从图像信息中筛选人体行为特征明显的图像，保存筛选后的图像。观察每 一种人体行为图像信息，手动删除没有人体出现的空白图像和出现人体的肢体少于人体整 体三分之二的图像。
[0050] 第2步，将筛选后的图像大小统一到120X 160像素中，得到统一大小后的图像。
[0051] 第3步，分类标记图像信息，将不同行为的图像所在文件夹分别用数字按顺序表 示，将每个文件夹中的图片每连续10张图片作为一个动作的样本，将所有样本随机均分成 5份，1-4份作为训练样本集，第5份作为测试样本集，得到标记后的图像。
[0052] 步骤3，构造 3D卷积神经网络。
[0053] 第1步，对标记后的图像，分别提取灰度、X和y方向的梯度、X和y方向的光流共 计五个通道信息，得到图像提取后的灰度值。
[0054] 第2步，按照下式，计算标记后的图像在X和y方向的梯度：
[0055] G = dx (x, y) +dy (x, y)
[0056] 其中，G表示标记后的图像在x和y方向上的梯度，dx表示在x方向上导数操作， dy表示在y方向上导数操作，（x，y)表示标记后的图像中像素点的坐标。
[0057] 第3步，按照下式，计算图像提取后的灰度值的变化率：
[0058]
[0059] 其中，Ix表示图像提取后的灰度值沿X方向的变化率，I ¥表示图像提取后的灰度 值沿y方向的变化率，It表示图像提取后的灰度值沿时间t方向的变化率，f表示偏导数操 作。
[0060] 第4步，按照下式，计算标记后的图像在X和y方向的光流：
[0061]
[0062] 其中，U表示标记后的图像在X和y方向的光流，1,表示图像提取后的灰度值沿时 间t方向的变化率，I x表示图像提取后的灰度值沿X方向的变化率，Iy表示图像提取后的 灰度值沿y方向的变化率，T表示转置操作。
[0063] 第5步，通过计算得到的光流来检测人体的运动情况，具体操作步骤如下：
[0064] 赋予标记后图像中的每一个像素点一个速度矢量，形成一个标记后图像运动场， 在人体运动的时刻，标记后图像上的各个像素点与三维物体上的点一一对应；
[0065] 根据标记后图像上的各个像素点的速度矢量特征，对标记后图像进行动态分析， 如果标记后图像中没有人体运动，则光流矢量在整个图像区域是连续变化的，当标记后图 像中有人体运动时，目标和图像背景存在相对运动，从人体运动所形成不同的速度矢量和 邻域背景速度矢量，检测出人体运动的位置。
[0066] 第6步，对五个通道信息中的每个通道分离进行卷积和下采样操作。
[0067] 参照附图2,本发明对五个通道信息中的每个通道分离进行卷积和下采样具体步 骤描述如下：
[0068] 在图2中所标示第一层卷积层中，标记后的图像输入到一个大小为9X9X10像素 的滤波器得到了一个特征图map，一个滤波器产生一张112X 152像素的特征图map，用64 个滤波器进行卷积，产生64张特征图maps。
[0069] 在图2中所标示第一层采样层中，将上一层卷积层的特征图maps用2X2像素窗 口进行采样操作，得到的特征图maps大小变为56 X 76 X 64像素；
[0070] 在图2中所标示第二层卷积层中，将第一层采样层得到的特征经过64个大小为 9 X 9 X 64像素的滤波器滤波得到64张大小为48 X 68 X 64像素的特征图maps ;
[0071] 在图2中所标示第二层采样层中，将第二层卷积层的特征图maps用4X4像素窗 口进行采样操作，得到64张大小为12X 17像素的特征图maps。
[0072] 步骤4,提取特征向量。
[0073] 第1步，在第二层采样层中得到的64张大小为12 X 17像素的特征图maps，将每一 张特征图map拉伸成一个向量，得到向量的维数为13056维的神经元。
[0074] 第2步，通过普通神经网络进行降维，设定第一层全连接层的神经元个数为6528， 则第二层全连接层的神经元个数为1000,得到的第二层神经元为图像的特征值。
[0075] 步骤5,对特征向量进行分类训练。
[0076] 在步骤四得到图片的特征值后，需要连接一个分类器，此处的分类器为soft max 分类器，可以实现多分类，一共含有6种运动图像，最终的输出神经元为6。采用反向传播 BP算法，对训练样本集进行在线训练，得到训练文件。
[0077] BP算法的基本流程如下：随机初始化初始化网络权值和神经元的阈值；前向传 播：按照公式一层一层的计算隐层神经元和输出层神经元的输入和输出；后向传播：根据 公式修正权值和阈值；直到满足终止条件。
[0078] 步骤6,输出测试结果。
[0079] 将测试样本集在训练文件中进行测试，输出测试结果。将输出的测试结果与一些 基准方法得到的测试结果进行比较，验证本方法的有效性。
Claims (4)
1. 一种基于3D卷积神经网络的人体行为识别方法，包括如下步骤： (1) 视频输入： 将数据集的视频图像输入计算机，逐帧读取视频图像，得到图像信息； (2) 预处理： (2a)从图像信息中筛选人体行为特征明显的图像，保存筛选后的图像； (2b)将筛选后的图像大小统一到120X 160像素中，得到统一大小后的图像； (2c)分类标记图像信息，将统一大小后的图像均分为5份，1-4份作为训练样本集，第 5份作为测试样本集，得到标记后的图像； (3) 构造3D卷积神经网络： (3a)对标记后的图像，分别提取灰度、X和y方向的梯度、X和y方向的光流共计五个 通道信息，得到图像提取后的灰度值； (3b)按照下式，计算标记后的图像在X和y方向的梯度： G = dx (x, y) +dy (x, y) 其中，G表示标记后的图像在x和y方向上的梯度，dx表示在x方向上导数操作，dy表 示在y方向上导数操作，（X，y)表示标记后的图像中像素点的坐标； (3c)按照下式，计算图像提取后的灰度值的变化率：
其中，Ix表示图像提取后的灰度值沿X方向的变化率，I y表示图像提取后的灰度值沿y 方向的变化率，It表示图像提取后的灰度值沿时间t方向的变化率，I表示偏导数操作； (3d)按照下式，计算标记后的图像在X和y方向的光流矢量：
其中，U表示标记后的图像在X和y方向的光流矢量，1,表示图像提取后的灰度值沿时 间t方向的变化率，Ix表示图像提取后的灰度值沿X方向的变化率，Iy表示图像提取后的 灰度值沿y方向的变化率，T表示转置操作； (3e)赋予标记后图像中的每一个像素点一个速度矢量，形成一个标记后图像运动场， 在人体运动的时刻，标记后图像上的各个像素点与三维物体上的点一一对应；根据标记后 图像上的各个像素点的速度矢量特征，对标记后图像进行动态分析，如果标记后图像中没 有人体运动，则光流矢量在整个图像区域是连续变化的，当标记后图像中有人体运动时，目 标和图像背景存在相对运动，从人体运动所形成不同的速度矢量和邻域背景速度矢量，检 测出人体运动的位置； (3f)对五个通道信息中的每个通道分离进行卷积和下采样操作，得到每一层卷积层和 采样层的特征图maps的大小； (4) 提取特征向量： (4a)在第二层采样层中得到的64张大小为12X 17像素的特征图maps，将每一张特征 图map拉伸成一个向量，得到向量的维数为13056维的神经元； (4b)通过普通神经网络进行降维，设定第一层全连接层的神经元个数为6528,则第二 层全连接层的神经元个数为1000,得到的第二层神经元为图像的特征值； (5) 进行分类训练： (5a)采用线性分类器，对特征向量进行分类； (5b)采用反向传播BP算法，对训练样本集进行在线训练，得到训练文件； (6) 输出测试结果： 将测试样本集在训练文件中进行测试，输出测试结果。
2. 根据权利要求1所述的基于3D卷积神经网络的人体行为识别方法，其特征在于：步 骤（2a)中所述的从图像信息中筛选人体行为特征明显的图像是指，观察每一种人体行为 图像信息，手动删除没有人体出现的空白图像和出现人体的肢体少于人体整体三分之二的 图像。
3. 根据权利要求1所述的基于3D卷积神经网络的人体行为识别方法，其特征在于：步 骤（2c)中所述的分类标记图像信息是指，将不同行为的图像所在文件夹分别用数字按顺 序表示，每个文件夹中的图片每连续10张图片作为一个动作的样本。
4. 根据权利要求1所述的基于3D卷积神经网络的人体行为识别方法，其特征在于： 步骤（3f)中所述对五个通道信息中的每个通道分离进行卷积和下采样操作的具体步骤如 下： 第1步，在第一层卷积层中，标记后的图像经过一个大小为9 X 9 X 10像素的滤波器得 到了一个特征图map，一个滤波器产生一张112X 152像素的特征图map，用64个滤波器进 行卷积，产生64张特征图maps ; 第2步，在第一层采样层中，将上一层卷积层的特征图maps用2 X 2像素窗口进行采样 操作，得到的特征图maps大小变为56 X 76 X 64像素； 第3步，在第二层卷积层中，将第一层采样层得到的特征经过64个大小为9 X 9 X 64像 素的滤波器滤波得到64张大小为48X68X64像素的特征图maps ; 第4步，在第二层采样层中，将第二层卷积层的特征图maps用4 X 4像素窗口进行采样 操作，得到64张大小为12X 17像素的特征图maps。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510527937.9A CN105160310A (zh) | 2015-08-25 | 2015-08-25 | 基于3d卷积神经网络的人体行为识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510527937.9A CN105160310A (zh) | 2015-08-25 | 2015-08-25 | 基于3d卷积神经网络的人体行为识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105160310A true CN105160310A (zh) | 2015-12-16 |
Family
ID=54801162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510527937.9A Pending CN105160310A (zh) | 2015-08-25 | 2015-08-25 | 基于3d卷积神经网络的人体行为识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105160310A (zh) |
Cited By (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105894043A (zh) * | 2016-04-27 | 2016-08-24 | 上海高智科技发展有限公司 | 一种视频描述语句生成方法及系统 |
| CN106203283A (zh) * | 2016-06-30 | 2016-12-07 | 重庆理工大学 | 基于三维卷积深度神经网络和深度视频的动作识别方法 |
| CN106228109A (zh) * | 2016-07-08 | 2016-12-14 | 天津大学 | 一种基于骨骼运动轨迹的动作识别方法 |
| CN106339666A (zh) * | 2016-08-11 | 2017-01-18 | 中科爱芯智能科技（深圳）有限公司 | 一种人体目标的夜间监控方法 |
| CN106371599A (zh) * | 2016-09-08 | 2017-02-01 | 清华大学 | 深度图像中的高精度指尖定位方法及装置 |
| CN106407889A (zh) * | 2016-08-26 | 2017-02-15 | 上海交通大学 | 基于光流图深度学习模型在视频中人体交互动作识别方法 |
| CN106507356A (zh) * | 2016-12-16 | 2017-03-15 | 上海斐讯数据通信技术有限公司 | 一种无线认证方法及其系统 |
| CN106504190A (zh) * | 2016-12-29 | 2017-03-15 | 浙江工商大学 | 一种基于3d卷积神经网络的立体视频生成方法 |
| CN106507291A (zh) * | 2016-12-16 | 2017-03-15 | 上海斐讯数据通信技术有限公司 | 一种wifi认证方法及其系统、一种移动终端 |
| CN106709933A (zh) * | 2016-11-17 | 2017-05-24 | 南京邮电大学 | 一种基于非监督学习的运动估计方法 |
| CN106780569A (zh) * | 2016-11-18 | 2017-05-31 | 深圳市唯特视科技有限公司 | 一种人体姿态估计行为分析方法 |
| CN106778854A (zh) * | 2016-12-07 | 2017-05-31 | 西安电子科技大学 | 基于轨迹和卷积神经网络特征提取的行为识别方法 |
| CN106941602A (zh) * | 2017-03-07 | 2017-07-11 | 中国铁道科学研究院 | 机车司机行为识别方法、装置及系统 |
| CN107016521A (zh) * | 2017-04-26 | 2017-08-04 | 国家电网公司 | 一种基于图像卷积神经网络技术的仓库标示牌识别方法 |
| WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| CN107103277A (zh) * | 2017-02-28 | 2017-08-29 | 中科唯实科技（北京）有限公司 | 一种基于深度相机和3d卷积神经网络的步态识别方法 |
| CN107145878A (zh) * | 2017-06-01 | 2017-09-08 | 重庆邮电大学 | 基于深度学习的老人异常行为检测方法 |
| CN107153812A (zh) * | 2017-03-31 | 2017-09-12 | 深圳先进技术研究院 | 一种基于机器视觉的运动辅助方法及系统 |
| CN107169435A (zh) * | 2017-05-10 | 2017-09-15 | 天津大学 | 一种基于雷达仿真图像的卷积神经网络人体动作分类方法 |
| CN107305635A (zh) * | 2016-04-15 | 2017-10-31 | 株式会社理光 | 对象识别方法、对象识别装置和分类器训练方法 |
| CN107506781A (zh) * | 2017-07-06 | 2017-12-22 | 浙江工业大学 | 一种基于bp神经网络的人体行为识别方法 |
| CN107506740A (zh) * | 2017-09-04 | 2017-12-22 | 北京航空航天大学 | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 |
| CN107748898A (zh) * | 2017-11-03 | 2018-03-02 | 北京奇虎科技有限公司 | 文件分类方法、装置、计算设备及计算机存储介质 |
| CN107945204A (zh) * | 2017-10-27 | 2018-04-20 | 西安电子科技大学 | 一种基于生成对抗网络的像素级人像抠图方法 |
| CN107944754A (zh) * | 2017-12-13 | 2018-04-20 | 泰康保险集团股份有限公司 | 康复治疗质量评定的方法、装置、存储介质及电子设备 |
| CN108009486A (zh) * | 2017-11-28 | 2018-05-08 | 中科亿海微电子科技（苏州）有限公司 | 基于深度学习训练重构图的视频识别方法及系统 |
| CN108154194A (zh) * | 2018-01-18 | 2018-06-12 | 北京工业大学 | 一种用基于张量的卷积网络提取高维特征的方法 |
| CN108346257A (zh) * | 2018-02-09 | 2018-07-31 | 哈尔滨工业大学 | 一种基于视频分析的街道犯罪行为预警系统及方法 |
| CN108416266A (zh) * | 2018-01-30 | 2018-08-17 | 同济大学 | 一种利用光流提取运动目标的视频行为快速识别方法 |
| CN108446585A (zh) * | 2018-01-31 | 2018-08-24 | 深圳市阿西莫夫科技有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
| WO2018161775A1 (zh) * | 2017-03-08 | 2018-09-13 | 腾讯科技（深圳）有限公司 | 一种用于图像处理的神经网络模型的训练方法、装置和存储介质 |
| CN108701210A (zh) * | 2016-02-02 | 2018-10-23 | 北京市商汤科技开发有限公司 | 用于cnn网络适配和对象在线追踪的方法和系统 |
| CN108846365A (zh) * | 2018-06-24 | 2018-11-20 | 深圳市中悦科技有限公司 | 视频中打架行为的检测方法、装置、存储介质及处理器 |
| US10152627B2 (en) | 2017-03-20 | 2018-12-11 | Microsoft Technology Licensing, Llc | Feature flow for video recognition |
| CN109215665A (zh) * | 2018-07-20 | 2019-01-15 | 广东工业大学 | 一种基于3d卷积神经网络的声纹识别方法 |
| CN109242863A (zh) * | 2018-09-14 | 2019-01-18 | 北京市商汤科技开发有限公司 | 一种缺血性脑卒中图像区域分割方法及装置 |
| CN109255284A (zh) * | 2018-07-10 | 2019-01-22 | 西安理工大学 | 一种基于运动轨迹的3d卷积神经网络的行为识别方法 |
| CN109409209A (zh) * | 2018-09-11 | 2019-03-01 | 广州杰赛科技股份有限公司 | 一种人体行为识别方法与装置 |
| CN109460713A (zh) * | 2018-10-16 | 2019-03-12 | 北京京东金融科技控股有限公司 | 动物分娩的识别方法、装置和设备 |
| CN109543556A (zh) * | 2018-10-23 | 2019-03-29 | 北京市商汤科技开发有限公司 | 动作识别方法、装置、介质及设备 |
| CN109558785A (zh) * | 2017-09-25 | 2019-04-02 | 北京缤歌网络科技有限公司 | 安防监控系统及应用其的无人便利店 |
| CN109697434A (zh) * | 2019-01-07 | 2019-04-30 | 腾讯科技（深圳）有限公司 | 一种行为识别方法、装置和存储介质 |
| CN109829443A (zh) * | 2019-02-23 | 2019-05-31 | 重庆邮电大学 | 基于图像增强与3d卷积神经网络的视频行为识别方法 |
| CN109902547A (zh) * | 2018-05-29 | 2019-06-18 | 华为技术有限公司 | 动作识别方法和装置 |
| CN110222551A (zh) * | 2018-03-02 | 2019-09-10 | 杭州海康威视数字技术股份有限公司 | 识别动作类别的方法、装置、电子设备及存储介质 |
| CN110299203A (zh) * | 2019-08-12 | 2019-10-01 | 电子科技大学 | 一种基于智能手机的人体异常步态识别方法 |
| CN110581834A (zh) * | 2018-06-11 | 2019-12-17 | 中国移动通信集团浙江有限公司 | 一种通信能力开放异常检测方法和装置 |
| CN111062355A (zh) * | 2019-12-25 | 2020-04-24 | 神思电子技术股份有限公司 | 一种人体动作识别方法 |
| WO2020093996A1 (zh) * | 2018-11-05 | 2020-05-14 | 杭州海康威视数字技术股份有限公司 | 一种深度神经网络运算方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104217214A (zh) * | 2014-08-21 | 2014-12-17 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于可配置卷积神经网络的rgb-d人物行为识别方法 |
| CN104281853A (zh) * | 2014-09-02 | 2015-01-14 | 电子科技大学 | 一种基于3d卷积神经网络的行为识别方法 |
| CN104573731A (zh) * | 2015-02-06 | 2015-04-29 | 厦门大学 | 基于卷积神经网络的快速目标检测方法 |
-
2015
- 2015-08-25 CN CN201510527937.9A patent/CN105160310A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104217214A (zh) * | 2014-08-21 | 2014-12-17 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于可配置卷积神经网络的rgb-d人物行为识别方法 |
| CN104281853A (zh) * | 2014-09-02 | 2015-01-14 | 电子科技大学 | 一种基于3d卷积神经网络的行为识别方法 |
| CN104573731A (zh) * | 2015-02-06 | 2015-04-29 | 厦门大学 | 基于卷积神经网络的快速目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| SHUIWANG JI ET AL.: "3D Convolutional Neural Networks for Human Action Recognition", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| 李葆青: "基于卷积神经网络的模式分类器", 《大连大学学报》 * |
Cited By (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108701210A (zh) * | 2016-02-02 | 2018-10-23 | 北京市商汤科技开发有限公司 | 用于cnn网络适配和对象在线追踪的方法和系统 |
| CN108701210B (zh) * | 2016-02-02 | 2021-08-17 | 北京市商汤科技开发有限公司 | 用于cnn网络适配和对象在线追踪的方法和系统 |
| WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| CN107305635A (zh) * | 2016-04-15 | 2017-10-31 | 株式会社理光 | 对象识别方法、对象识别装置和分类器训练方法 |
| CN105894043A (zh) * | 2016-04-27 | 2016-08-24 | 上海高智科技发展有限公司 | 一种视频描述语句生成方法及系统 |
| CN106203283A (zh) * | 2016-06-30 | 2016-12-07 | 重庆理工大学 | 基于三维卷积深度神经网络和深度视频的动作识别方法 |
| CN106228109A (zh) * | 2016-07-08 | 2016-12-14 | 天津大学 | 一种基于骨骼运动轨迹的动作识别方法 |
| CN106339666A (zh) * | 2016-08-11 | 2017-01-18 | 中科爱芯智能科技（深圳）有限公司 | 一种人体目标的夜间监控方法 |
| CN106339666B (zh) * | 2016-08-11 | 2019-08-20 | 中科亿和智慧物联(深圳)有限公司 | 一种人体目标的夜间监控方法 |
| CN106407889A (zh) * | 2016-08-26 | 2017-02-15 | 上海交通大学 | 基于光流图深度学习模型在视频中人体交互动作识别方法 |
| CN106371599A (zh) * | 2016-09-08 | 2017-02-01 | 清华大学 | 深度图像中的高精度指尖定位方法及装置 |
| CN106709933A (zh) * | 2016-11-17 | 2017-05-24 | 南京邮电大学 | 一种基于非监督学习的运动估计方法 |
| CN106709933B (zh) * | 2016-11-17 | 2020-04-07 | 南京邮电大学 | 一种基于非监督学习的运动估计方法 |
| CN106780569A (zh) * | 2016-11-18 | 2017-05-31 | 深圳市唯特视科技有限公司 | 一种人体姿态估计行为分析方法 |
| CN106778854A (zh) * | 2016-12-07 | 2017-05-31 | 西安电子科技大学 | 基于轨迹和卷积神经网络特征提取的行为识别方法 |
| CN106778854B (zh) * | 2016-12-07 | 2019-12-24 | 西安电子科技大学 | 基于轨迹和卷积神经网络特征提取的行为识别方法 |
| CN106507291A (zh) * | 2016-12-16 | 2017-03-15 | 上海斐讯数据通信技术有限公司 | 一种wifi认证方法及其系统、一种移动终端 |
| CN106507356A (zh) * | 2016-12-16 | 2017-03-15 | 上海斐讯数据通信技术有限公司 | 一种无线认证方法及其系统 |
| CN106504190A (zh) * | 2016-12-29 | 2017-03-15 | 浙江工商大学 | 一种基于3d卷积神经网络的立体视频生成方法 |
| CN106504190B (zh) * | 2016-12-29 | 2019-09-13 | 浙江工商大学 | 一种基于3d卷积神经网络的立体视频生成方法 |
| CN107103277B (zh) * | 2017-02-28 | 2020-11-06 | 中科唯实科技（北京）有限公司 | 一种基于深度相机和3d卷积神经网络的步态识别方法 |
| CN107103277A (zh) * | 2017-02-28 | 2017-08-29 | 中科唯实科技（北京）有限公司 | 一种基于深度相机和3d卷积神经网络的步态识别方法 |
| CN106941602A (zh) * | 2017-03-07 | 2017-07-11 | 中国铁道科学研究院 | 机车司机行为识别方法、装置及系统 |
| WO2018161775A1 (zh) * | 2017-03-08 | 2018-09-13 | 腾讯科技（深圳）有限公司 | 一种用于图像处理的神经网络模型的训练方法、装置和存储介质 |
| TWI672667B (zh) * | 2017-03-08 | 2019-09-21 | 大陸商騰訊科技（深圳）有限公司 | 訓練用於影像處理神經網路模型的方法及裝置和電腦可讀儲存媒體 |
| US10970600B2 (en) | 2017-03-08 | 2021-04-06 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for training neural network model used for image processing, and storage medium |
| US10152627B2 (en) | 2017-03-20 | 2018-12-11 | Microsoft Technology Licensing, Llc | Feature flow for video recognition |
| CN107153812A (zh) * | 2017-03-31 | 2017-09-12 | 深圳先进技术研究院 | 一种基于机器视觉的运动辅助方法及系统 |
| CN107016521A (zh) * | 2017-04-26 | 2017-08-04 | 国家电网公司 | 一种基于图像卷积神经网络技术的仓库标示牌识别方法 |
| CN107169435B (zh) * | 2017-05-10 | 2021-07-20 | 天津大学 | 一种基于雷达仿真图像的卷积神经网络人体动作分类方法 |
| CN107169435A (zh) * | 2017-05-10 | 2017-09-15 | 天津大学 | 一种基于雷达仿真图像的卷积神经网络人体动作分类方法 |
| CN107145878A (zh) * | 2017-06-01 | 2017-09-08 | 重庆邮电大学 | 基于深度学习的老人异常行为检测方法 |
| CN107506781A (zh) * | 2017-07-06 | 2017-12-22 | 浙江工业大学 | 一种基于bp神经网络的人体行为识别方法 |
| CN107506740A (zh) * | 2017-09-04 | 2017-12-22 | 北京航空航天大学 | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 |
| CN107506740B (zh) * | 2017-09-04 | 2020-03-17 | 北京航空航天大学 | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 |
| CN109558785A (zh) * | 2017-09-25 | 2019-04-02 | 北京缤歌网络科技有限公司 | 安防监控系统及应用其的无人便利店 |
| CN107945204B (zh) * | 2017-10-27 | 2021-06-25 | 西安电子科技大学 | 一种基于生成对抗网络的像素级人像抠图方法 |
| CN107945204A (zh) * | 2017-10-27 | 2018-04-20 | 西安电子科技大学 | 一种基于生成对抗网络的像素级人像抠图方法 |
| CN107748898A (zh) * | 2017-11-03 | 2018-03-02 | 北京奇虎科技有限公司 | 文件分类方法、装置、计算设备及计算机存储介质 |
| CN108009486B (zh) * | 2017-11-28 | 2021-06-08 | 中科亿海微电子科技（苏州）有限公司 | 基于深度学习训练重构图的视频识别方法及系统 |
| CN108009486A (zh) * | 2017-11-28 | 2018-05-08 | 中科亿海微电子科技（苏州）有限公司 | 基于深度学习训练重构图的视频识别方法及系统 |
| CN107944754A (zh) * | 2017-12-13 | 2018-04-20 | 泰康保险集团股份有限公司 | 康复治疗质量评定的方法、装置、存储介质及电子设备 |
| CN108154194A (zh) * | 2018-01-18 | 2018-06-12 | 北京工业大学 | 一种用基于张量的卷积网络提取高维特征的方法 |
| CN108416266A (zh) * | 2018-01-30 | 2018-08-17 | 同济大学 | 一种利用光流提取运动目标的视频行为快速识别方法 |
| CN108446585B (zh) * | 2018-01-31 | 2020-10-30 | 深圳市阿西莫夫科技有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
| CN108446585A (zh) * | 2018-01-31 | 2018-08-24 | 深圳市阿西莫夫科技有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
| CN108346257B (zh) * | 2018-02-09 | 2020-09-25 | 哈尔滨工业大学 | 一种基于视频分析的街道犯罪行为预警系统及方法 |
| CN108346257A (zh) * | 2018-02-09 | 2018-07-31 | 哈尔滨工业大学 | 一种基于视频分析的街道犯罪行为预警系统及方法 |
| CN110222551A (zh) * | 2018-03-02 | 2019-09-10 | 杭州海康威视数字技术股份有限公司 | 识别动作类别的方法、装置、电子设备及存储介质 |
| CN110222551B (zh) * | 2018-03-02 | 2021-07-09 | 杭州海康威视数字技术股份有限公司 | 识别动作类别的方法、装置、电子设备及存储介质 |
| US11392801B2 (en) | 2018-05-29 | 2022-07-19 | Huawei Technologies Co., Ltd. | Action recognition method and apparatus |
| CN109902547A (zh) * | 2018-05-29 | 2019-06-18 | 华为技术有限公司 | 动作识别方法和装置 |
| CN110581834A (zh) * | 2018-06-11 | 2019-12-17 | 中国移动通信集团浙江有限公司 | 一种通信能力开放异常检测方法和装置 |
| CN108846365B (zh) * | 2018-06-24 | 2022-04-22 | 深圳市中悦科技有限公司 | 视频中打架行为的检测方法、装置、存储介质及处理器 |
| CN108846365A (zh) * | 2018-06-24 | 2018-11-20 | 深圳市中悦科技有限公司 | 视频中打架行为的检测方法、装置、存储介质及处理器 |
| CN109255284A (zh) * | 2018-07-10 | 2019-01-22 | 西安理工大学 | 一种基于运动轨迹的3d卷积神经网络的行为识别方法 |
| CN109215665A (zh) * | 2018-07-20 | 2019-01-15 | 广东工业大学 | 一种基于3d卷积神经网络的声纹识别方法 |
| CN109409209A (zh) * | 2018-09-11 | 2019-03-01 | 广州杰赛科技股份有限公司 | 一种人体行为识别方法与装置 |
| CN109242863A (zh) * | 2018-09-14 | 2019-01-18 | 北京市商汤科技开发有限公司 | 一种缺血性脑卒中图像区域分割方法及装置 |
| CN109460713A (zh) * | 2018-10-16 | 2019-03-12 | 北京京东金融科技控股有限公司 | 动物分娩的识别方法、装置和设备 |
| CN109543556A (zh) * | 2018-10-23 | 2019-03-29 | 北京市商汤科技开发有限公司 | 动作识别方法、装置、介质及设备 |
| WO2020093996A1 (zh) * | 2018-11-05 | 2020-05-14 | 杭州海康威视数字技术股份有限公司 | 一种深度神经网络运算方法及装置 |
| CN109697434B (zh) * | 2019-01-07 | 2021-01-08 | 腾讯科技（深圳）有限公司 | 一种行为识别方法、装置和存储介质 |
| CN109697434A (zh) * | 2019-01-07 | 2019-04-30 | 腾讯科技（深圳）有限公司 | 一种行为识别方法、装置和存储介质 |
| CN109829443A (zh) * | 2019-02-23 | 2019-05-31 | 重庆邮电大学 | 基于图像增强与3d卷积神经网络的视频行为识别方法 |
| CN110299203A (zh) * | 2019-08-12 | 2019-10-01 | 电子科技大学 | 一种基于智能手机的人体异常步态识别方法 |
| CN111062355A (zh) * | 2019-12-25 | 2020-04-24 | 神思电子技术股份有限公司 | 一种人体动作识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
| CN106845374B (zh) | 基于深度学习的行人检测方法及检测装置 | |
| CN105550678B (zh) | 基于全局显著边缘区域的人体动作特征提取方法 | |
| CN108416266B (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
| CN109919122A (zh) | 一种基于3d人体关键点的时序行为检测方法 | |
| CN105740758A (zh) | 基于深度学习的互联网视频人脸识别方法 | |
| CN106529499A (zh) | 基于傅里叶描述子和步态能量图融合特征的步态识别方法 | |
| CN104281853A (zh) | 一种基于3d卷积神经网络的行为识别方法 | |
| CN107424161B (zh) | 一种由粗至精的室内场景图像布局估计方法 | |
| CN107767416B (zh) | 一种低分辨率图像中行人朝向的识别方法 | |
| CN104794737B (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
| CN105022982A (zh) | 手部运动识别方法和装置 | |
| CN103902989B (zh) | 基于非负矩阵分解的人体动作视频识别方法 | |
| CN101179713A (zh) | 复杂背景下单个运动目标的检测方法 | |
| CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN106951870A (zh) | 主动视觉注意的监控视频显著事件智能检测预警方法 | |
| CN105469050B (zh) | 基于局部时空特征描述与金字塔词汇树的视频行为识别方法 | |
| CN105488541A (zh) | 增强现实系统中基于机器学习的自然特征点识别方法 | |
| CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN107808376A (zh) | 一种基于深度学习的举手检测方法 | |
| CN110533100A (zh) | 一种基于机器学习进行cme检测和跟踪的方法 | |
| CN105718934A (zh) | 一种基于低秩稀疏编码技术的害虫图像特征学习与识别方法 | |
| CN110110649A (zh) | 基于速度方向的可选择性人脸检测方法 | |
| CN110032932B (zh) | 一种基于视频处理和决策树设定阈值的人体姿态识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20151216 |