CN107122798A - 基于深度卷积网络的引体向上计数检测方法及装置 - Google Patents
基于深度卷积网络的引体向上计数检测方法及装置 Download PDFInfo
- Publication number
- CN107122798A CN107122798A CN201710249525.2A CN201710249525A CN107122798A CN 107122798 A CN107122798 A CN 107122798A CN 201710249525 A CN201710249525 A CN 201710249525A CN 107122798 A CN107122798 A CN 107122798A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msubsup
- convolutional neural
- neural networks
- chin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
Abstract
本发明涉及一种基于深度卷积神经网络的引体向上检测计数方法及装置，先通过构建多层深度卷积神经网络并对神经网络进行训练，其训练得出输出层矢量元素到中间层输出矢量元素的权值以及中间层输出矢量元素到输出层矢量元素的权值，并根据总误差函数来与误差阈值的关系来判断进一步调整权值得到良好的分类器，并利用该分类器对采集的视频图像进行分析进而检测出人体动作目标及动作分类，将获取到的分类值按照时间顺序进行串联形成动作序列，并与标准引体向上动作序列进行比对，判断人员的此次引体向上是否标准，若序列匹配，则引体向上计数总和加1，本发明具有泛化能力强、鲁棒性强、计数准确率高、计数速度快等优点。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于深度卷积神经网络的引体向上运动检测计数方法及装置。
背景技术
随着机器学习的不断发展，基于深度卷积神经网络的视频图像智能识别技术渐渐成为机器视觉领域的研发热点之一。所谓“图像智能识别技术”，就是利用深度学习算法实现从视频图像流中抽取的关键特征表示信息，并利用这种关键特征信息为用户提供有价值的服务，主要价值体现在替代用人眼分辨事物等业务领域，减少人力投入，提高工作效率。比如，在数字识别的过程中，对于手写体的识别一直是一个难题，而其又在邮政编码的识别、银行业务等方面具有较为广泛的应用，但是其字体形式变化较大，导致提高对其的识别率成为了一个难题，精准的识别存在着较大的困难。而采用人工智能中的神经网络技术后，系统可以利用神经网络的学习及快速并行功能来实现对手写数字的快速识别，有力的提高相关运用领域的工作效率。
智能化运动检测系统可以对生物肢体动作进行检测识别并计数，同时也可做行为识别，对人体肢体行为进行描述，在现实中有着极其重要的意义。在体育类运动中，可以完全替代裁判的角色，减少人为错误及误差。智能化运动检测可以规范运动标准，在解决一些争议性问题上，使得运动员的成绩更加公平。
实际上，目前大多数体育竞技运动评判系统都造价昂贵，常用的引体向上运动检测计数方法主要是红外线检测的方式，采用的解决方法原始，智能性极低。同时设备系统部署困难，安装、使用过程复杂，设备正常运行对环境要求也较高，如光照、天气环境。另外当前的设备都存在准确率不太高的问题，如当前基于RFID引体向上检测计数电子设备判断的出错率较高，且不能事后查验，很难排除一些作弊行为，当有异物遮挡接收端和发射端也会计数，在引体向上运动计数中，很难准确判定下巴过杠，手臂是否弯曲达标等情况。
发明内容
为解决上述问题，本发明公开一种基于深度卷积神经网络的引体向上计数检测方法和装置，通过大量的引体向上运动肢体样本训练网络，得到一个准确率极高的分类器，用于检测引体向上动作，将最新的深度学习技术应用到引体向上检测计数问题中，解决了大多传统设备在使用中准确率低，不能判断动作规范性的缺陷和不足等问题。
本发明公开一种鲁棒性较佳、检测准确率高的基于深度卷积网神经络的引体向上运动检测计数方法及装置，包括利用卷积神经网络训练生成标准动作分类器的步骤和引体向上运动检测计数步骤；
所述卷积神经网络训练并生成标准动作分类器包括以下步骤：
S10、制作训练图像样本：从引体向上视频图像中选取多组样本图像数据，所述样本图像数据包括：
下巴过杠图像样本组数据；
头部过杠但下巴未过杠图像样本组数据；
头部低于单杠并且手臂弯曲状态图像样本组数据；
头部低于单杠并且手臂伸直状态图像样本组；
每组样本来源于不同的样本空间，且样本做好分类标记；
S11、样本图像正则化：将原始样本图像进行图像大小变换操作，将其分辨率压缩到256*256，并将图像数据转化为浮点向量数据；
S12、初始化深度卷积神经网络：构建一个多层深度卷积神经网络，通过初始设定权值参数初始化每一层的神经网络；
S13、训练网络:将标记好的一个图像样本的浮点向量数据输入完成初始化的深度卷积神经网络的输入层，经过多层卷积神经网络的计算，得到最后一层的输出向量；
S14、反向修改各层权值参数：将输出向量和标记类的理想输出向量进行比较，得到误差值，利用误差值反向自动修正各层神经网络的权值参数，完成一组训练；
S15、训练完成后，生成一个深度卷积神经网络的分类器。
所述引体向上运动检测计数包括如下步骤：
S20、获取视频流：获取待检测计数的视频图像流；
S21、检测识别：从视频图像流中按时间顺序依次取出每一帧图像，使用训练完成的深度卷积神经网络分类器，对图像进行目标检测和分类识别，依次输出每一帧图像的识别结果和分类得分值。
S22、计数判断：将获取到的分类得分值按照时间顺序进行串联形成动作序列，并与标准引体向上动作序列进行比对，判断人员的此次引体向上是否标准，若序列匹配，则引体向上计数总和加1。
其中，所述多层深度卷积神经网络的层数为九层，深度卷积神经网络包括九个卷积层、六个池化层和一个全连接层，并用初始设定权值参数初始化每一层的神经网络。
其中，在卷积神经网络训练并生成标准动作分类器的最后一个步骤生成一个深度卷积神经网络的分类器之前，还有一个验证训练效果的步骤，如果效果不理想，则重复S13、S14两个步骤，将更多的图像样本向量数据输入深度卷积神经网络进行训练，通过大量的训练图像样本，不断的自动更新优化各神经网络各层权值参数，如果效果理想，则完成训练。
其中，在训练卷积神经网络中，卷积层初始设定的权值更新推导如下：
在卷积神经网络中，对于卷积层的每一种输出的特征图x(j)有：
其中，Mj表示选择的输入特征图组合，kij是输入的第i种特征图和输出的第j种特征图之间的连接所用的卷积核，bj是第j种特征图对应的偏置，f是激活函数；
计算灵敏度：
计算误差代价函数对偏置b的偏导：
即对层l中的灵敏度中所有节点求和，这里(u,v)代表灵敏度矩阵中的元素位置：
计算误差代价函数对卷积核k的偏导：
这里是在做卷积时，与kij做卷积的每一个patch，(u,v)是patch中心，输出特征图中(u,v)位置的值，是由输入特征图中(u,v)位置的patch和卷积核kij卷积所得的值；
池化层权值更新推到如下：
S30、在卷积神经网络中，对于采样层的每一种输出特征图xj有：
down表示池化操作，这里的β是乘性偏置，b是加性偏置；
S31、计算灵敏度
S32、计算误差代价函数对偏置b的偏导
此处和卷积层的b是一样的：
其中，所述卷积层对图像进行卷积运算；所述池化层对卷积后的图像进行池化得到下一层输入向量；所述全连接层将网络学习到的分布式特征映射到样本标记空间。
本发明还公开—种基于深度卷积神经网络的引体向上运动检测系统，包括卷积神经网络训练模块、引体向上运动检测识别计数模块和摄像头；所述摄像头正对测试人员，摄像头与卷积神经网络训练模块电连接，并将拍摄的视频图像传输到卷积神经网络训练模块中，由卷积神经网络训练模块进行目标检测，识别运动员动作，输出动作系列特征值，并输出到引体向上运动检测识别计数模块中；并由引体向上运动检测识别计数模块中的主控模块完成人机交互理，和计数结果输出。
其中，所述卷积神经网络训练模块包括图像采集标注模块、图像导入模块和GPU计算模块；
所述图像采集标注模块：用于从图像样本空间中选取多组样本图像数据，并标记分类；
所述图像导入模块：根据硬件实际配置用于将一组(32张、64张、128张)样本图像数据分组(4组、8组、16组)依次导入内存，并输入到多层神经网络的输入层；
所述GPU计算模块：用于计算卷积神经网络的各层的卷积、池化等运算，得到下一层的输入特征表示数据(特征向量)，将中间层的输出特征表示数据以及输出层的实际输出特征表示数据中的特征向量元素分别与理想输出特征向量中的元素比较，得出中间各层误差以及输出层误差；计算出网络的实际输出向量，将输出向量中的元素与目标向量中的元素进行比较，计算出输出误差；对于中间层的隐单元也计算出误差；计算出各权值的调整量和阈值的调整量；调整权值和调整阈值；当经历N次迭代之后，判断指标是否满足精度要求，如果不满足，则继续重复上述过程；通过不断训练更新各层权值参数，网络学习越来越好，离理想函数越来越近，当满足事先设定的误差值时，结束卷积神经网络训练，并将各层权值等参数写入文件，产生分类器文件。
其中，所述引体上向检测计数模块包括：主控模块、视频图像流采集模块、目标检测识别模块和引体向上运动计数模块；主控模块与目标检测识别模块和引体向上运动计数模块电连接，视频图像流采集模块与目标检测识别模块电连接；
所述视频图像流采集模块：用于从摄像头采集实时视频流；
所述目标检测识别模块：将视频流图像帧依次输入已经加载分类器文件完成的卷积神经网络，利用卷积神经网络对当前图像帧进行检测识别，直接检测出当前人体动作分类以及人体在图像中的坐标位置，依次处理后续图像帧；
所述引体向上运动计数模块：将目标检测模块获取到的人体动作分类值按照时间顺序进行串联形成动作序列，并与标准引体向上动作序列进行比对，判断人员的此次引体向上是否标准，条件满足，则计数加1；
所述主控模块：用于协调、调度和控制其它模块的操作，并提供对外的服务接口，实现引体向上运动检测计数模块与其它系统之间的交互。
本发明的有益效果在于：基于深度卷积神经网络的引体向上检测计数方法先通过构建多层深度卷积神经网络并对神经网络进行训练，其训练得出输出层矢量元素到中间层输出矢量元素的权值以及中间层输出矢量元素到输出层矢量元素的权值，并根据总误差函数来与误差阈值的关系来判断进一步调整权值得到良好的分类器，并利用该分类器对采集的视频图像进行分析进而检测出人体动作目标及动作分类，将获取到的分类值按照时间顺序进行串联形成动作序列，并与标准引体向上动作序列进行比对，判断人员的此次引体向上是否标准，若序列匹配，则引体向上计数总和加1，本发明具有泛化能力强、鲁棒性强、计数准确率高、计数速度快等优点。
附图说明
图1为本发明深度卷积神经网络训练步骤和引体向上检测计数步骤；
图2为本发明引体向上运动检测计数步骤；
图3为本发明引体向上运动检测计数装置结构示意图；
图4为本发明引体向上运动检测技术装置工作流程图；
图5为本发明的迭代次数样本量。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
本发明最关键的构思在于：本发明先通过构建深度卷积神经网络并对神经网络进行训练得到一个良好的分类器，然后利用该分类器对采集的视频图像进行人体动作检测及分类，具有泛化能力强、鲁棒性强、检测准确率高等优点。
请参阅图1,一种基于深度卷积神经网络的引体向上检测计数方法，包括深度卷积神经网络训练步骤和引体向上检测计数步骤；
所述卷积神经网络训练步骤包括如下步骤；
制作训练图像样本：从引体向上视频图像中选取4组样本图像数据，分别是：
(1)下巴过杠图像样本组；
(2)头部过杠但下巴未过杠图像样本组；
(3)头部低于单杠并且手臂弯曲状态图像样本组；
(4)头部低于单杠并且手臂伸直状态图像样本组；
每组样本图像要求具有多样性，样本来源于不同的样本空间，所有样本做好分类标记。
样本图像正则化：将原始样本图像进行图像大小变换操作，将其分辨率压缩到256*256，并将图像数据转化为浮点向量数据。
将标注过的样本，输入到神经网络中进行大量训练、学习生成标准合格的特征模型；
初始化深度卷积神经网络：构建一个的九层深度卷积神经网络，此网络分别由九个卷积层、六个池化层和一个全连接层构成，并用初始设定权值参数初始化每一层的神经网络。
将标记好的一个图像样本的浮点向量数据输入完成初始化的深度卷积神经网络的输入层，经过九层卷积神经网络的计算，得到最后一层的输出向量。
将输出向量和标记类的理想输出向量进行比较，得到误差值。利用误差值反向自动修正各层神经网络的权值参数，完成一组训练，输出动作序列。
重复训练网络以及反向修改各层权值参数两步骤，将所有图像样本向量数据输入深度卷积神经网络进行训练。通过大量的训练图像样本，不断的自动更新优化各神经网络各层权值参数。
训练完成后，生成一个深度卷积神经网络的分类器。
在本实施例中，在训练卷积神经网络中，卷积层权值更新推导如下：
在卷积神经网络中，对于卷积层的每一种输出的特征图x(j)有：
其中，Mj表示选择的输入特征图组合，kij是输入的第i种特征图和输出的第j种特征图之间的连接所用的卷积核，bj是第j种特征图对应的偏置，f是激活函数。
计算灵敏度采用一下算法：
因为l+1层是采样层，所以相当于也是做卷积，例如做scale＝2的池化，就是用2*2的每个值为1/4的卷积核卷积图像，所以这里的权值W实际上就是这个2*2的卷积核，它的值是βj。up表示上采样操作，因为l+1池化层层的灵敏度矩阵是l层灵敏度矩阵的尺寸的1/4(scale＝2时)，所以这里要对l+1层的灵敏度矩阵做上采样，使它们尺寸一致。
在计算误差代价函数对偏置b的偏导，也就是对层l中的灵敏度中所有节点求和，这里(u,v)代表灵敏度矩阵中的元素位置：
计算误差代价函数对卷积核k的偏导：
这里是在做卷积时，与kij做卷积的每一个patch，(u,v)是patch中心，输出特征图中(u,v)位置的值，是由输入特征图中(u,v)位置的patch和卷积核kij卷积所得的值。
池化层权值更新推到如下：
S30、在卷积神经网络中，对于采样层的每一种输出特征图xj有：
down表示池化操作，这里的β是乘性偏置，b是加性偏置。
S31、计算灵敏度
S32、计算误差代价函数对偏置b的偏导
此处和卷积层的b是一样的：
请参阅图2，在本实施例中，引体向上运动检测计数步骤包括如下步骤：
获取待检测计数的视频图像流；
从视频图像流中按时间顺序依次取出每一帧图像，使用训练完成的深度卷积神经网络分类器，对图像进行目标检测和分类识别。网络输出设计为一个一维向量，输出层参数＝预测区域数量×(类数量+候选坐标点数量+1)。在4类别问题中，输出层参数为5x(4+4+1)＝45个。得到的结果是类名与对应类的百分比以及候选框坐标，输出其中百分比最高对应的分类的候选框坐标。例如输出[0.002,0.981,0.01,0.007,0.1238,0.5292,0.8217,0.3265,0.1092]，通过前四个小数确定类别，中间四个小数计算检测结果坐标位置。根据本系统中定义类的顺序可得出当前检测结果为头过杠下巴未过杠，后四个数转化为当前检测结果在图像中的坐标位置。依次输出每一帧图像的识别结果和分类值。
将获取到的分类得分值按照时间顺序进行串联形成动作序列，并与标准引体向上动作序列进行比对，判断人员的此次引体向上是否标准。若序列匹配，则引体向上计数总和加1。
从上述描述可知,本发明的有益效果在于：基于深度卷积神经网络的引体向上运动检测计数方法先通过构建深度卷积神经网络并对神经网络进行训练,计算出网络的实际输出向量，将输出向量中的元素与目标向量中的元素进行比较，计算出输出误差；并根据总误差函数来与误差阈的关系来判断进一步调整权值得到良好的分类器,并利用该分类器对采集的视频图像进行分析进而识别行人图像。具有泛化能力强、鲁棒性强、检测准确率高等优点。
本方案中的训练过程按照常用反向传播算法，包括两个环节(激励传播、权重更新)反复循环迭代过程，直到网络的对输入的响应达到预定的目标范围为止。通过训练大量的图像样本，同时根据卷积神经网络的特点,做出一些改进，降低随机性，提髙了效率。在获得图像数据后，通过一些归一化和预处理步骤，减小图像噪声的影响和消除图像亮度及对比度的差异,提高数据的针对性和鲁棒性，得到统计的方法进行学习处理样本的最基本的特征向量。
具体的训练过程：
1)使用自下上升非监督学习，从底层开始，一层一层的往顶层训练：
2)采用有标定数据分层进行无监督训练各层参数，进行特征学习过程，先用无标定数据训练第一层，训练时先学习第一层的参数，这一层可以得到一个使得输出和输入差别最小的三层神经网络的隐层，由于模型容量的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；学习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n层，分别得到各层的参数；
3)使用自顶向下的监督学习，通过带标注的数据去训练，误差自顶向下传输，对网络进行微调：基于上一步得到的各层参数进一步适当调整整个多层模型的参数，上一步类似神经网络的随机初始化初值过程，卷积神经网络的初始化参数不是随机的，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的训练效果；
在上述条件下，深度卷积神经网络的训练过程如下：
请参阅图5，选定训练组四组(上述描述的四类样本),从样本集中随机地抽取10000(共四类,4x10000＝40000)张样本图像作为训练样本组；
将各权值、阈值等参数，置成小的趋近于0的浮点值，并初始化误差阈值、训练迭代总数、衰减参数、样本变化规格参数、学习率,本实施例的迭代次数样本量如图5所示。
前向传播阶段：
1)从样本集中取一个样本(X,Yp)，将X输入卷积神经网络；
2)计算相应的深度卷积神经网络实际输出Op；
3)在此阶段，图像信息从输入层经过逐级的变换，传送到输出层。这个过程也是卷积神经网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是计算(实际上就是输入与每层的权值矩阵相点乘，得到最后的输出结果)：
Op＝Fn(…(F2(F1(XpW(1))W(2))…)W(n))
反向传播阶段：
4)算实际输出Op与相应的理想输出Yp的差；
5)按极小化误差的方法反向传播调整权值矩阵；
6)当每经历n至后，判断指标是否满足精度要求，如果不满足，就返回(1)，继续迭代。如果满足就进入下一步；
7)训练结束，将权值参数和阀值保存在文件中。这时可以认为每个权值参数已趋近理想权值参数，将权值参数和阈值分类器存入文件。再一次进行训练时，直接从文件到出权值和阀值进行训练，则不需要进行初始化每层权值参数、阈值。
进一步的，卷积神经网络的层数为九层。第一层卷积神经网络用于粗略的预测人体在图像中的位置，第二层至第九层网络的卷积和池化层用于学习肢体形态深度特征信息，通过最后一层全连接层卷积神经网络合理拟合计结果，使行人体肢体检测的误差尽可能小。
进一步的，中间层包括九个级联的卷积层、六个最大池化层以及一个全连接层，所述卷积层对图像进行卷积运算；所述最大池化层对收卷积后的图像进行最大池化得到特征图；所述激活函数层对卷积后的特征图进行调整修正。在卷积层中本方案选定的是3x3和1x1的卷积核。采用更接近生物学的修正线性单元方法整激活函数，经实践证明，训练后的网络完全具备适度的稀疏性，而且训练后的可视化效果和传统预训练的效果很相似，可以减少数据的处理量同时保留有用信息。
池化层采用最大池化的方式进行，本层把卷积层输出特征图作为输入，分别进行池化运算后输出下一个卷积层的输入特征图，该图像保留了原图像的绝大部分有用特征信息。新的最大池化点的值是原图像中2x2像素的最大值。全连接层将深度卷积神经网络学到的分布式特征表示映射到样本标记空间，从而达到完成分类的目的。在实际使用中，由于全连接层参数冗余，全连接层常常会用另一个卷积层操作实现。在当前网络中，对前层是全连接的全连接层可以转化为卷积核为1x1的卷积计算，从而达到与全连接层同样效果，参数数量大大减少。
综上所述,本发明提供的基于深度卷积神经网络的引体向上运动检测计数方法先通过构建深度卷积神经网络并对神经网络进行训练，计算出网络的实际输出向量，将输出向量中的元素与目标向量中的元素进行比较，计算出输出误差；并根据总误差函数来与误差阈的关系来判断进一步调整权值得到良好的分类器,并利用该分类器对采集的视频图像流进行检测进而识别人体引体向上运动图像，具有泛化能力强、鲁棒性强、检测准确率高等优点。由于卷积神经网络的特征提取通过训练数据进行学习自动提取,所以在使用卷积神经网络时，大大提高了图像特征提取多样性，特征复杂度更接近于真是情况，对后续检测识别精度有着极其重要的意义。而自动特征提取动作是通过训练，在大量标记的样本数据中进行学习，尽可能将所有的特征信息都学习到，从而达到极高的准确率。由于图像的空间联系是局部的，就像人是通过一个局部的感受野去感受外界图像一样，每一个神经元都不需要对全局图像做感受，每个神经元只感受局部的图像区域(感受野)，然后在更高层，将这些感受不同局部的神经元综合起来就可以得到全局的信息。可以减少连接的数目，也就是减少神经网络需要训练的权值参数的个数，于是认为同一特征映射面上的神经元权值相同,因此深度卷积神经网络可局部并行学习，可以通过GPU并行计算，极大减少训练时间和检测时间。这是深度卷积网络相对于其他神经元节点相互相连网络的一大优势。深度卷积神经网络以其局部权值共享的特殊结构在图像处理方面有着先天的优势。正如人观察物体，先是看到局部的信息，每一个神经元都不需要对全局图像做感受，每个神经元只需感受局部的图像区域(感受野)，然后在更高层，将这些感受不同局部的神经元综合起来就可以得到全局图像的信息。权值共享降低了深度卷积神经网络节点之间连接的复杂性，特别是高维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类检测过程中数据重组的复杂度。相对于浅层神经网络模型(一般3-5层)，深度卷积神经网络的隐层节点非常多，具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类。深度神经网络在训练上的难度，通过逐层初始化来有效克服，逐层初始化是通过无监督学习实现的。
本发明还提供了一种基于深度卷积神经网络的引体向上运动检测计数装置，请参阅图3-图4，包括卷积神经网络训练模块、引体向上运动检测识别计数模块和摄像头；所述摄像头正对测试人员，摄像头与卷积神经网络训练模块电连接，并将拍摄的视频图像传输到卷积神经网络训练模块中，由卷积神经网络训练模块进行目标检测，识别运动员动作，输出动作系列特征值，并输出到引体向上运动检测识别计数模块中；并由引体向上运动检测识别计数模块中的主控模块完成人机交互理，和计数结果输出。
(1)所述卷积神经网络训练模块包括图像采集标注模块、图像导入模块、GPU计算模块：
所述图像采集标注模块，用于从图像样本空间中选取多组样本图像数据，并标记分类；
所述图像导入模块，根据硬件实际配置用于将一组(32张、64张、128张)样本图像数据分组(4组、8组、16组)依次导入内存，并输入到多层神经网络的输入层。
所述GPU计算模块，用于计算卷积神经网络的各层的卷积、池化等运算，得到下一层的输入特征表示数据(特征向量)，将中间层的输出特征表示数据以及输出层的实际输出特征表示数据中的特征向量元素分别与理想输出特征向量中的元素比较，得出中间各层误差以及输出层误差；计算出网络的实际输出向量，将输出向量中的元素与目标向量中的元素进行比较，计算出输出误差；对于中间层的隐单元也计算出误差；计算出各权值的调整量和阈值的调整量；调整权值和阈值；当经历N次迭代之后，判断指标是否满足精度要求，如果不满足，则继续重复上述过程。通过不断训练更新各层权值参数，网络学习越来越好，离理想函数越来越近，当满足事先设定的误差值时，结束卷积神经网络训练，并将各层权值等参数写入文件，即产生分类器文件。
(2)所述引体上向检测识别计数模块包括视频图像流采集模块、目标检测模块、引体向上运动计数模块：
所述视频图像流采集模块，用于从摄像头采集实时视频流；
所述目标检测模块，将视频流图像帧依次输入已经加载分类器文件完成的卷积神经网络，利用深度卷积神经网络对当前图像帧进行检测识别，直接检测出当前人体动作分类以及人体在图像中的坐标位置，依次处理后续图像帧。
所述引体向上运动计数模块，将目标检测模块获取到的人体动作分类得分值按照时间顺序进行串联形成动作序列，并与标准引体向上动作序列进行比对，判断人员的此次引体向上是否标准，条件满足，则计数总和加1。
本发明具有泛化能力强、鲁棒性强、计数准确率高等优点。
应该说明的是，上述系统实施例中，所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于可读取存储介质中。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种基于深度卷积神经网络的引体向上运动检测计数方法，其特征在于，包括利用卷积神经网络训练生成标准动作分类器的步骤和引体向上运动检测计数步骤；
所述卷积神经网络训练并生成标准动作分类器包括以下步骤：
S10、制作训练图像样本：从引体向上视频图像中选取多组样本图像数据，所述样本图像数据包括：
下巴过杠图像样本组数据；
头部过杠但下巴未过杠图像样本组数据；
头部低于单杠并且手臂弯曲状态图像样本组数据；
头部低于单杠并且手臂伸直状态图像样本组；
每组样本来源于不同的样本空间，且样本做好分类标记；
S11、样本图像正则化：将原始样本图像进行图像大小变换操作，将其分辨率压缩到256*256，并将图像数据转化为浮点向量数据；
S12、初始化深度卷积神经网络：构建一个多层深度卷积神经网络，通过初始设定权值参数初始化每一层的神经网络；
S13、训练网络:将标记好的一个图像样本的浮点向量数据输入完成初始化的深度卷积神经网络的输入层，经过多层卷积神经网络的计算，得到最后一层的输出向量；
S14、反向修改各层权值参数：将输出向量和标记类的理想输出向量进行比较，得到误差值，利用误差值反向自动修正各层神经网络的权值参数，完成一组训练；
S15、训练完成后，生成一个深度卷积神经网络的分类器。
所述引体向上运动检测计数包括如下步骤：
S20、获取视频流：获取待检测计数的视频图像流；
S21、检测识别：从视频图像流中按时间顺序依次取出每一帧图像，使用训练完成的深度卷积神经网络分类器，对图像进行目标检测和分类识别，依次输出每一帧图像的识别结果和分类得分值；
S22、计数判断：将获取到的分类得分值按照时间顺序进行串联形成动作序列，并与标准引体向上动作序列进行比对，判断人员的此次引体向上是否标准，若序列匹配，则引体向上计数总和加1。
2.根据权利要求1所述的一种基于深度卷积神经网络的引体向上运动检测计数方法，其特征在于，所述多层深度卷积神经网络的层数为九层，深度卷积神经网络包括九个卷积层、六个池化层和一个全连接层，并用初始设定权值参数初始化每一层的神经网络。
3.根据权利要求1所述的一种基于深度卷积神经网络的引体向上运动检测计数方法，其特征在于，在卷积神经网络训练并生成标准动作分类器的最后一个步骤生成一个深度卷积神经网络的分类器之前，还有一个验证训练效果的步骤，如果效果不理想，则重复S13、S14两个步骤，将更多的图像样本向量数据输入深度卷积神经网络进行训练，通过大量的训练图像样本，不断的自动更新优化各神经网络各层权值参数，如果效果理想，则完成训练。
4.根据权利要求1所述的一种基于深度卷积神经网络的引体向上运动检测计数方法，其特征在于，在训练卷积神经网络中，卷积层初始设定的权值更新推导如下：
在卷积神经网络中，对于卷积层的每一种输出的特征图x(j)有：
<mrow>
<msubsup>
<mi>x</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>M</mi>
<mi>j</mi>
</mrow>
</munder>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mrow>
<mi>l</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>*</mo>
<msubsup>
<mi>k</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mo>+</mo>
<msub>
<mi>b</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
其中，Mj表示选择的输入特征图组合，kij是输入的第i种特征图和输出的第j种特征图之间的连接所用的卷积核，bj是第j种特征图对应的偏置，f是激活函数；
计算灵敏度:
<mrow>
<msubsup>
<mi>&delta;</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<msubsup>
<mi>&delta;</mi>
<mi>j</mi>
<mrow>
<mi>l</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<msubsup>
<mi>W</mi>
<mi>j</mi>
<mrow>
<mi>l</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>*</mo>
<msup>
<mi>f</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<msup>
<mi>u</mi>
<mi>l</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>&beta;</mi>
<mi>j</mi>
<mrow>
<mi>l</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mi>u</mi>
<mi>p</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&delta;</mi>
<mi>j</mi>
<mrow>
<mi>l</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
<mo>*</mo>
<msup>
<mi>f</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<msup>
<mi>u</mi>
<mi>l</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
计算误差代价函数对偏置b的偏导：
即对层l中的灵敏度中所有节点求和，这里(u,v)代表灵敏度矩阵中的元素位置：
<mrow>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>E</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>b</mi>
<mi>j</mi>
</msub>
</mrow>
</mfrac>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</munder>
<msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&delta;</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
</mrow>
计算误差代价函数对卷积核k的偏导：
<mrow>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>E</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<msubsup>
<mi>k</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>l</mi>
</msubsup>
</mrow>
</mfrac>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</munder>
<msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&delta;</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>p</mi>
<mi>i</mi>
<mrow>
<mi>l</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mi>u</mi>
<mi>v</mi>
</mrow>
</msub>
<mo>.</mo>
</mrow>
这里是在做卷积时，与kij做卷积的每一个patch，(u,v)是patch中心，输出特征图中(u,v)位置的值，是由输入特征图中(u,v)位置的patch和卷积核kij卷积所得的值；
池化层权值更新推到如下：
S30、在卷积神经网络中，对于采样层的每一种输出特征图xj有：
<mrow>
<msubsup>
<mi>x</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&beta;</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mi>d</mi>
<mi>o</mi>
<mi>w</mi>
<mi>n</mi>
<mo>(</mo>
<msubsup>
<mi>x</mi>
<mi>j</mi>
<mrow>
<mi>l</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>)</mo>
<mo>+</mo>
<msubsup>
<mi>b</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
down表示池化操作，这里的β是乘性偏置，b是加性偏置；
S31、计算灵敏度,表示每个元素相乘；
<mrow>
<msubsup>
<mi>&delta;</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<msubsup>
<mi>&delta;</mi>
<mi>j</mi>
<mrow>
<mi>l</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<msubsup>
<mi>W</mi>
<mi>j</mi>
<mrow>
<mi>l</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>*</mo>
<msup>
<mi>f</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<msup>
<mi>u</mi>
<mi>l</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mi>f</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>u</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>*</mo>
<mi>c</mi>
<mi>o</mi>
<mi>n</mi>
<mi>v</mi>
<mn>2</mn>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&delta;</mi>
<mi>j</mi>
<mrow>
<mi>l</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>,</mo>
<mi>r</mi>
<mi>o</mi>
<mi>t</mi>
<mn>180</mn>
<mo>(</mo>
<msubsup>
<mi>k</mi>
<mi>j</mi>
<mrow>
<mi>l</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>)</mo>
<msup>
<mo>,</mo>
<mo>&prime;</mo>
</msup>
<msup>
<mi>full</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
S32、计算误差代价函数对偏置b的偏导
此处和卷积层的b是一样的：
<mrow>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>E</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>b</mi>
<mi>j</mi>
</msub>
</mrow>
</mfrac>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</munder>
<msub>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&delta;</mi>
<mi>j</mi>
<mi>l</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mo>.</mo>
</mrow>
5.根据权利要求2所述的一种基于深度卷积神经网络的引体向上运动检测计数方法，其特征在于，所述卷积层对图像进行卷积运算；所述池化层对卷积后的图像进行池化得到下一层输入向量；所述全连接层将网络学习到的分布式特征映射到样本标记空间。
6.—种基于深度卷积神经网络的引体向上运动检测系统，其特征在于,包括卷积神经网络训练模块、引体向上运动检测识别计数模块和摄像头；所述摄像头正对测试人员，摄像头与卷积神经网络训练模块电连接，并将拍摄的视频图像传输到卷积神经网络训练模块中，由卷积神经网络训练模块进行目标检测，识别运动员动作，输出动作系列特征值，并输出到引体向上运动检测识别计数模块中；并由引体向上运动检测识别计数模块中的主控模块完成人机交互理，和计数结果输出。
7.根据权利要求6所述的基于深度卷积神经网络的引体向上运动检测系统，其特征在于,所述卷积神经网络训练模块包括图像采集标注模块、图像导入模块和GPU计算模块；
所述图像采集标注模块：用于从图像样本空间中选取多组样本图像数据，并标记分类；
所述图像导入模块：根据硬件实际配置用于将一组(32张、64张、128张)样本图像数据分组(4组、8组、16组)依次导入内存，并输入到多层神经网络的输入层；
所述GPU计算模块：用于计算卷积神经网络的各层的卷积、池化等运算，得到下一层的输入特征表示数据(特征向量)，将中间层的输出特征表示数据以及输出层的实际输出特征表示数据中的特征向量元素分别与理想输出特征向量中的元素比较，得出中间各层误差以及输出层误差；计算出网络的实际输出向量，将输出向量中的元素与目标向量中的元素进行比较，计算出输出误差；对于中间层的隐单元也计算出误差；计算出各权值的调整量和阈值的调整量；调整权值和调整阈值；当经历N次迭代之后，判断指标是否满足精度要求，如果不满足，则继续重复上述过程；通过不断训练更新各层权值参数，网络学习越来越好，离理想函数越来越近，当满足事先设定的误差值时，结束卷积神经网络训练，并将各层权值等参数写入文件，产生分类器文件。
8.根据权利要求6所述的基于深度卷积神经网络的引体向上运动检测系统，其特征在于,所述引体上向检测计数模块包括：主控模块、视频图像流采集模块、目标检测识别模块和引体向上运动计数模块；主控模块与目标检测识别模块和引体向上运动计数模块电连接，视频图像流采集模块与目标检测识别模块电连接；
所述视频图像流采集模块：用于从摄像头采集实时视频流；
所述目标检测识别模块：将视频流图像帧依次输入已经加载分类器文件完成的卷积神经网络，利用卷积神经网络对当前图像帧进行检测识别，直接检测出当前人体动作分类以及人体在图像中的坐标位置，依次处理后续图像帧；
所述引体向上运动计数模块：将目标检测模块获取到的人体动作分类值按照时间顺序进行串联形成动作序列，并与标准引体向上动作序列进行比对，判断人员的此次引体向上是否标准，条件满足，则计数加1；
所述主控模块：用于协调、调度和控制其它模块的操作，并提供对外的服务接口，实现引体向上运动检测计数模块与其它系统之间的交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710249525.2A CN107122798A (zh) | 2017-04-17 | 2017-04-17 | 基于深度卷积网络的引体向上计数检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710249525.2A CN107122798A (zh) | 2017-04-17 | 2017-04-17 | 基于深度卷积网络的引体向上计数检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107122798A true CN107122798A (zh) | 2017-09-01 |
Family
ID=59726243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710249525.2A Pending CN107122798A (zh) | 2017-04-17 | 2017-04-17 | 基于深度卷积网络的引体向上计数检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107122798A (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107705805A (zh) * | 2017-10-25 | 2018-02-16 | 北京奇虎科技有限公司 | 音频查重的方法及装置 |
| CN107895378A (zh) * | 2017-10-12 | 2018-04-10 | 西安天和防务技术股份有限公司 | 目标检测方法和装置、存储介质、电子设备 |
| CN108470190A (zh) * | 2018-03-09 | 2018-08-31 | 北京大学 | 基于fpga定制脉冲神经网络的图像识别方法 |
| CN108647045A (zh) * | 2018-03-20 | 2018-10-12 | 科大讯飞股份有限公司 | 激活函数的实现方法及装置、存储介质、电子设备 |
| CN108681690A (zh) * | 2018-04-04 | 2018-10-19 | 浙江大学 | 一种基于深度学习的流水线人员规范操作检测系统 |
| CN108710875A (zh) * | 2018-09-11 | 2018-10-26 | 湖南鲲鹏智汇无人机技术有限公司 | 一种基于深度学习的航拍公路车辆计数方法及装置 |
| CN109444141A (zh) * | 2018-12-24 | 2019-03-08 | 安徽高哲信息技术有限公司 | 一种基于深度学习的粮食籽粒检测与计数的方法及装置 |
| CN109583419A (zh) * | 2018-12-13 | 2019-04-05 | 深圳市淘米科技有限公司 | 一种基于深度卷积网络的情绪预测系统 |
| CN109684943A (zh) * | 2018-12-07 | 2019-04-26 | 北京首钢自动化信息技术有限公司 | 一种运动员辅助训练数据获取方法、装置及电子设备 |
| CN110020617A (zh) * | 2019-03-27 | 2019-07-16 | 五邑大学 | 一种基于生物特征的身份识别方法、装置和存储介质 |
| CN110516636A (zh) * | 2019-08-30 | 2019-11-29 | 盈盛智创科技(广州)有限公司 | 一种工序的监测方法、装置、计算机设备和存储介质 |
| CN111368791A (zh) * | 2020-03-18 | 2020-07-03 | 南通大学 | 基于Quick-OpenPose模型的引体向上测试计数方法及系统 |
| CN111401260A (zh) * | 2020-03-18 | 2020-07-10 | 南通大学 | 基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统 |
| CN111512178A (zh) * | 2017-12-08 | 2020-08-07 | 认知系统公司 | 基于无线信号属性的机器学习的运动检测 |
| CN111553276A (zh) * | 2020-04-28 | 2020-08-18 | 北京邮电大学 | 一种基于自适应特征选择与信号趋势去除的动作计数方法 |
| CN113011344A (zh) * | 2021-03-23 | 2021-06-22 | 安徽一视科技有限公司 | 一种基于机器视觉的引体向上数量计算方法 |
| CN113376172A (zh) * | 2021-07-05 | 2021-09-10 | 四川大学 | 一种基于视觉与涡流的焊缝缺陷检测系统及其检测方法 |
| CN113516030A (zh) * | 2021-04-28 | 2021-10-19 | 上海科技大学 | 一种动作序列验证方法、装置、存储介质及终端 |
| CN113673318A (zh) * | 2021-07-12 | 2021-11-19 | 浙江大华技术股份有限公司 | 一种动作检测方法、装置、计算机设备和存储介质 |
| WO2022032652A1 (en) * | 2020-08-14 | 2022-02-17 | Intel Corporation | Method and system of image processing for action classification |
| CN113673318B (zh) * | 2021-07-12 | 2024-05-03 | 浙江大华技术股份有限公司 | 一种动作检测方法、装置、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063719A (zh) * | 2014-06-27 | 2014-09-24 | 深圳市赛为智能股份有限公司 | 基于深度卷积网络的行人检测方法及装置 |
| WO2015078185A1 (zh) * | 2013-11-29 | 2015-06-04 | 华为技术有限公司 | 卷积神经网络和基于卷积神经网络的目标物体检测方法 |
| CN105701460A (zh) * | 2016-01-07 | 2016-06-22 | 王跃明 | 一种基于视频的篮球进球检测方法和装置 |
| CN105808709A (zh) * | 2016-03-04 | 2016-07-27 | 北京智慧眼科技股份有限公司 | 人脸识别快速检索方法及装置 |
| CN106485235A (zh) * | 2016-10-24 | 2017-03-08 | 厦门美图之家科技有限公司 | 一种卷积神经网络生成方法、年龄识别方法及相关装置 |
-
2017
- 2017-04-17 CN CN201710249525.2A patent/CN107122798A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015078185A1 (zh) * | 2013-11-29 | 2015-06-04 | 华为技术有限公司 | 卷积神经网络和基于卷积神经网络的目标物体检测方法 |
| CN104063719A (zh) * | 2014-06-27 | 2014-09-24 | 深圳市赛为智能股份有限公司 | 基于深度卷积网络的行人检测方法及装置 |
| CN105701460A (zh) * | 2016-01-07 | 2016-06-22 | 王跃明 | 一种基于视频的篮球进球检测方法和装置 |
| CN105808709A (zh) * | 2016-03-04 | 2016-07-27 | 北京智慧眼科技股份有限公司 | 人脸识别快速检索方法及装置 |
| CN106485235A (zh) * | 2016-10-24 | 2017-03-08 | 厦门美图之家科技有限公司 | 一种卷积神经网络生成方法、年龄识别方法及相关装置 |
Non-Patent Citations (1)
| Title |
|---|
| 马海军: ""监控场景中人数统计算法的研究与应用"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107895378A (zh) * | 2017-10-12 | 2018-04-10 | 西安天和防务技术股份有限公司 | 目标检测方法和装置、存储介质、电子设备 |
| CN107705805A (zh) * | 2017-10-25 | 2018-02-16 | 北京奇虎科技有限公司 | 音频查重的方法及装置 |
| CN107705805B (zh) * | 2017-10-25 | 2021-01-29 | 北京奇虎科技有限公司 | 音频查重的方法及装置 |
| CN111512178A (zh) * | 2017-12-08 | 2020-08-07 | 认知系统公司 | 基于无线信号属性的机器学习的运动检测 |
| CN108470190A (zh) * | 2018-03-09 | 2018-08-31 | 北京大学 | 基于fpga定制脉冲神经网络的图像识别方法 |
| CN108470190B (zh) * | 2018-03-09 | 2019-01-29 | 北京大学 | 基于fpga定制脉冲神经网络的图像识别方法 |
| CN108647045A (zh) * | 2018-03-20 | 2018-10-12 | 科大讯飞股份有限公司 | 激活函数的实现方法及装置、存储介质、电子设备 |
| CN108647045B (zh) * | 2018-03-20 | 2021-10-01 | 科大讯飞股份有限公司 | 激活函数的实现方法及装置、存储介质、电子设备 |
| CN108681690A (zh) * | 2018-04-04 | 2018-10-19 | 浙江大学 | 一种基于深度学习的流水线人员规范操作检测系统 |
| CN108710875A (zh) * | 2018-09-11 | 2018-10-26 | 湖南鲲鹏智汇无人机技术有限公司 | 一种基于深度学习的航拍公路车辆计数方法及装置 |
| CN109684943A (zh) * | 2018-12-07 | 2019-04-26 | 北京首钢自动化信息技术有限公司 | 一种运动员辅助训练数据获取方法、装置及电子设备 |
| CN109583419A (zh) * | 2018-12-13 | 2019-04-05 | 深圳市淘米科技有限公司 | 一种基于深度卷积网络的情绪预测系统 |
| CN109444141A (zh) * | 2018-12-24 | 2019-03-08 | 安徽高哲信息技术有限公司 | 一种基于深度学习的粮食籽粒检测与计数的方法及装置 |
| CN109444141B (zh) * | 2018-12-24 | 2021-07-02 | 安徽高哲信息技术有限公司 | 一种基于深度学习的粮食籽粒检测与计数的方法及装置 |
| CN110020617A (zh) * | 2019-03-27 | 2019-07-16 | 五邑大学 | 一种基于生物特征的身份识别方法、装置和存储介质 |
| CN110516636A (zh) * | 2019-08-30 | 2019-11-29 | 盈盛智创科技(广州)有限公司 | 一种工序的监测方法、装置、计算机设备和存储介质 |
| CN111368791A (zh) * | 2020-03-18 | 2020-07-03 | 南通大学 | 基于Quick-OpenPose模型的引体向上测试计数方法及系统 |
| CN111368791B (zh) * | 2020-03-18 | 2020-09-29 | 南通大学 | 基于Quick-OpenPose模型的引体向上测试计数方法及系统 |
| CN111401260B (zh) * | 2020-03-18 | 2020-09-29 | 南通大学 | 基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统 |
| CN111401260A (zh) * | 2020-03-18 | 2020-07-10 | 南通大学 | 基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统 |
| CN111553276A (zh) * | 2020-04-28 | 2020-08-18 | 北京邮电大学 | 一种基于自适应特征选择与信号趋势去除的动作计数方法 |
| CN111553276B (zh) * | 2020-04-28 | 2023-06-20 | 北京邮电大学 | 一种基于自适应特征选择与信号趋势去除的动作计数方法 |
| WO2022032652A1 (en) * | 2020-08-14 | 2022-02-17 | Intel Corporation | Method and system of image processing for action classification |
| CN113011344A (zh) * | 2021-03-23 | 2021-06-22 | 安徽一视科技有限公司 | 一种基于机器视觉的引体向上数量计算方法 |
| CN113516030A (zh) * | 2021-04-28 | 2021-10-19 | 上海科技大学 | 一种动作序列验证方法、装置、存储介质及终端 |
| CN113516030B (zh) * | 2021-04-28 | 2024-03-26 | 上海科技大学 | 一种动作序列验证方法、装置、存储介质及终端 |
| CN113376172A (zh) * | 2021-07-05 | 2021-09-10 | 四川大学 | 一种基于视觉与涡流的焊缝缺陷检测系统及其检测方法 |
| CN113673318A (zh) * | 2021-07-12 | 2021-11-19 | 浙江大华技术股份有限公司 | 一种动作检测方法、装置、计算机设备和存储介质 |
| CN113673318B (zh) * | 2021-07-12 | 2024-05-03 | 浙江大华技术股份有限公司 | 一种动作检测方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107122798A (zh) | 基于深度卷积网络的引体向上计数检测方法及装置 | |
| CN111259930B (zh) | 自适应注意力指导机制的一般性目标检测方法 | |
| CN110210563B (zh) | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 | |
| CN109583322B (zh) | 一种人脸识别深度网络训练方法和系统 | |
| CN105046277B (zh) | 特征显著性在图像质量评价中的鲁棒机理研究方法 | |
| CN108510194A (zh) | 风控模型训练方法、风险识别方法、装置、设备及介质 | |
| CN105095833B (zh) | 用于人脸识别的网络构建方法、识别方法及系统 | |
| CN104573669B (zh) | 图像物体检测方法 | |
| CN107818302A (zh) | 基于卷积神经网络的非刚性多尺度物体检测方法 | |
| CN108133188A (zh) | 一种基于运动历史图像与卷积神经网络的行为识别方法 | |
| CN109508655A (zh) | 基于孪生网络的不完备训练集的sar目标识别方法 | |
| CN109961034A (zh) | 基于卷积门控循环神经单元的视频目标检测方法 | |
| CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
| CN106651915B (zh) | 基于卷积神经网络的多尺度表达的目标跟踪方法 | |
| CN106023220A (zh) | 一种基于深度学习的车辆外观部件图像分割方法 | |
| CN107085733A (zh) | 基于cnn深度学习的近岸红外舰船识别方法 | |
| CN108090447A (zh) | 双分支深层结构下的高光谱图像分类方法及装置 | |
| CN107529650A (zh) | 网络模型的构建和闭环检测方法、相应装置及计算机设备 | |
| CN106874956A (zh) | 图像分类卷积神经网络结构的构建方法 | |
| CN108921107A (zh) | 基于排序损失和Siamese网络的行人再识别方法 | |
| CN107657204A (zh) | 深层网络模型的构建方法及人脸表情识别方法和系统 | |
| CN108665005A (zh) | 一种利用dcgan提高基于cnn图像识别性能的方法 | |
| CN109817276A (zh) | 一种基于深度神经网络的蛋白质二级结构预测方法 | |
| CN108021947A (zh) | 一种基于视觉的分层极限学习机目标识别方法 | |
| CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20210702 |
|
| AD01 | Patent right deemed abandoned |