CN109829443A - 基于图像增强与3d卷积神经网络的视频行为识别方法 - Google Patents
基于图像增强与3d卷积神经网络的视频行为识别方法 Download PDFInfo
- Publication number
- CN109829443A CN109829443A CN201910134439.6A CN201910134439A CN109829443A CN 109829443 A CN109829443 A CN 109829443A CN 201910134439 A CN201910134439 A CN 201910134439A CN 109829443 A CN109829443 A CN 109829443A
- Authority
- CN
- China
- Prior art keywords
- convolutional neural
- neural networks
- picture
- training
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于图像处理技术领域，具体涉及基于图像增强和3D卷积神经网络的视频行为识别方法，包括将输入的原始视频序列切分成帧，对各个帧图片进行预处理，并将其分别划分至训练集与测试集；将训练集图片输入行为区域增强网络进行训练，获得相应的掩码处理后图片；使用掩码处理后的图片序列训练3D卷积神经网络；输入测试集图片，获得该分支网络的测试集分类概率；将训练集图片输入3D卷积神经网络进行训练；输入测试集图片，得到该分支网络的测试集分类概率；将两分支网络的分类概率进行支持向量机模型训练，并得到最终的测试集检测结果。本发明能够准确并实时识别出视频中人物的行为，且更加充分的利用图像信息，提高视频中行为识别的准确率。
Description
技术领域
本发明属于多媒体与计算机视觉技术领域，涉及一种基于图像增强与3D卷积神经网络的视频行为识别方法。
背景技术
行为识别是近年来计算机视觉和多媒体领域的研究热点和基石，在安防，人机交互，智能家居和虚拟现实等领域均有广泛的应用前景。在实际情况中，行为识别往往是以实时的视频或监控为载体，提供实时的人物行为的识别检测，这在给人们带来便捷的同时，也对识别的精确度和实时性速率提出了更高的要求。目前，行为识别的难点主要有两个：光流计算复杂导致实时性较差，行为识别的精确度有待提高。
目前，行为识别技术的主流方法有两种，分别是双流法和3D卷积神经网络方法。其中，双流法需要计算复杂的光流信息作为预先训练的数据样本，往往需要长达一天的计算时间和大量的硬盘存储空间，同时还需要提取视频的红R、绿G、蓝B的RGB信息。因此，双流法的计算需求导致不能达成实时性的识别需要。而3D卷积神经网络的方法在直接使用视频的RGB信息进行训练的前提下，往往效果会比双流法差一点。原始的视频所携带的RGB信息在未经处理的情况下，可能会导致无法采集行为识别所需要的部分显著性特征，一些行为实体的细粒度纹理信息不能很好的进行提取利用。
发明内容
有鉴于此，由于输入的视频同时具有时间和空间信息，经过神经网络和计算之后，特征会分别得到不同的增强。因此，同样的原始视频，在经过光流法提取后和直接使用原始视频进行训练的效果是不同的。因此，视频的细节信息和色彩信息对于行为识别技术是极为关键的特征。因而，申请人提供了一种基于图像增强与3D卷积神经网络的视频行为识别方法，图像增强过后的视频可以很好地描述人物实体行为特征，局部色彩特征信息是识别人物动作重要纹理特征；结合图像增强方法和3D卷积神经网络来达到高准确性，实时地实现行为识别。
为达到上述目的，本发明提供如下技术方案：
基于图像增强与3D卷积神经网络视频行为识别方法，包括以下步骤：
S1：将输入的原始视频序列切分成帧，对各个帧图片进行预处理，并将其分别划分至训练集与测试集；
S2：将训练集图片输入行为区域增强网络进行训练，获得相应的掩码处理后图片，从而得到人物行为信息增强的图像；
S3：使用掩码处理后的图片序列训练3D卷积神经网络；输入测试集图片，获得该分支网络的测试集分类概率；
S4：将训练集图片输入3D卷积神经网络进行训练；输入测试集图片，得到该分支网络的测试集分类概率；
S5：将所得到的两分支网络的分类概率进行支持向量机模型训练，并得到最终的测试集检测结果。
进一步的，步骤S1所述视频或图像预处理，具体包括：
将原始视频序列按照时间顺序切分成帧，即切分为时间上连续分布的图片序列；将切分好的图片序列调整为适合3D卷积神经网络训练的统一图片格式。
进一步的，步骤S2训练特征提取卷积神经网络，具体包括：
对图片序列中的人物行为区域进行掩码处理，增强图片中的行为动作信息；将图片序列当中的动作区域进行识别，并进行像素级标注处理，利用图像处理方法得到目标图片；将切分完成的原始视频帧图片序列输入行为区域增强网络进行训练，以最小化行为区域增强网络的损失函数为目标，进行像素级的分类和掩码处理，获得相应的掩码处理后图片，从而得到人物行为信息增强的图像。
所述行为区域增强网络的损失函数计算包括：
Loss＝Lcls+Lseg
其中，Loss表示总损失函数，Lcls表示分类的损失函数，Lseg表示切分的损失函数，CE(θ)表示交叉熵损失函数，yi表示第i个训练集图片的标签，N表示训练集图像的总数；表示估计值，即预测出的标签。
进一步的，步骤S3训练3D卷积神经网络，具体包括：
输入的掩码图片序列色彩空间为红R、绿G、蓝B，其中掩码部分的颜色为统一的颜色。将掩码图片序列按照输入格式统一标准化处理，并输入到3D卷积神经网络中，进行训练，获取该图片序列在时间序列上和空间序列的双重信息。通过3D卷积与3D池化，经过全连接层和Softmax层，搭建得到分类网络，从而得到各行为分类概率。
进一步的，训练另一支3D卷积神经网络，步骤S4具体包括：
将训练集图片直接输入进3D卷积神经网络并训练该卷积神经网络，依次经过3D卷积，3D池化，全连接层和Softmax层，得到其特征图和在时间序列上和空间序列的双重信息；输入测试集图片，得到测试集的分类概率；其中，该3D卷积神经网络中第I层卷积核表示为WI×HI×XI，XI为第I层中输入的图片序列数，WI×HI对应为第I层空间中的长宽大小。
进一步的，步骤S5具体包括：
步骤S5具体包括获取两分支神经网络的训练后测试集分类概率，总神经网络的两分支依次为经过图像增强的3D卷积神经网络和原始图片训练而得的3D卷积神经网络；将分类的概率进行支持向量机模型的训练；支持向量机模型通过各个分类概率与对应标签进行学习，得到最优权重，最终识别概率计算方式包括：
其中：P为样本的最终预测概率，为第I个样本在第一分支上的概率，为第I个样本在第二分支上的概率，w1和w2分别为训练支持向量机模型得到的最优权重；取输出概率最大的类别作为每个样本的最终识别结果。
可选的，所述最优权重的获取方式还包括根据权重融合获取最终概率，其中，权重融合的方法包括最大值融合，最小值融合和平均值融合。
通过上述方法，取输出概率最大的类别作为每个样本图像的最终识别结果。
本发明的有益效果在于：
1)本发明提出一种基于图像增强和3D卷积神经网络的视频行为识别算法，该方法能够准确并实时识别出视频中人物的行为。
2)本方法同时对原始视频的图像色彩特征进行增强并提取行为信息，更加充分的利用图像信息，提高视频中行为识别的准确率。
3)本发明通过采用支持向量机模型，对各个分类概率与对应标签进行学习，得到最优权重，从而获取最终的识别结果；该过程具有良好的鲁棒性。
附图说明
图1为本发明整体流程示意图；
图2为本发明中行为区域增强网络结构示意图；
图3为本发明中采用的3D卷积神经网络结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
如图1所示，本发明基于图像增强和3D卷积神经网络的视频行为识别方法具体包括以下步骤：
S1：将输入的原始视频序列切分成帧，对各个帧图片进行预处理，并将其分别划分至训练集与测试集；
S2：将训练集图片输入行为区域增强网络进行训练，获得相应的掩码处理后图片，从而得到人物行为信息增强的图像；
S3：使用掩码处理后的图片序列训练3D卷积神经网络；输入测试集图片，获得该分支网络的测试集分类概率；
S4：将训练集图片输入3D卷积神经网络进行训练；输入测试集图片，得到该分支网络的测试集分类概率；
S5：将所得到的两分支网络的分类概率进行支持向量机模型训练，并得到最终的测试集检测结果。
实施例1
本实施例将结合具体数据对本发明进行进一步的说明，本实施例使用的数据集共有133200段视频，包含共计101种动作，视频总时长达数十小时，每段视频的长度在10s左右。
S11：对所有输入的133200段视频进行切分成帧，按照输入规格进行图片格式预处理，并划分训练集与测试集；
所述预处理是指从133200段视频序列中按时间顺序对视频逐帧进行切分，并按照输入格式的长宽进行重新规范化处理，例如要求每一帧图片均为“jpg”格式，其长宽为128乘以171；裁剪出每一帧的图片。
S21：对将切分完成的原始视频帧图片序列输入行为区域增强网络进行训练，获得相应的掩码处理后图片，从而得到人物行为信息增强的图像；
图像掩码主要用于对图片或视频当中局部信息进行特殊化处理，可以实现对图像信息的局部增强或屏蔽。本发明中使用掩码信息来对视频中的人物实体动作进行局部的信息增强，并提取不规则的感兴趣区域。
进一步的，作为一种优选方式，本实施例中所采用的是二值掩码图，一种8位的单通道图像。其中，在掩码图片的编码中某个位置被编码为0，则在此位置的操作将会被屏蔽，被编码为1的部分则会被增强。
进一步的，本实施例中使用的行为区域增强网络模型如图2所示，共有14个卷积层，5个全连接层，1个上采样层以及6个池化层和1个反池化层。行为区域增强网络能很好的提取行为部分的特征，对于行为识别信息的细纹理特征有很好的辅助作用。
S31：使用处理后的掩码视频帧图片序列训练3D卷积神经网络，获得该分支网络的测试集分类概率；
输入的掩码图片序列色彩空间为红R、绿G、蓝B，其中掩码部分的颜色为统一的颜色。将掩码图片序列按照输入格式统一处理，并输入到3D卷积神经网络中，进行训练，获取图片序列在时间序列上和空间的双重信息。通过3D卷积与3D池化，经过全连接层和Softmax层，构建分类网络，从而得到各行为分类的概率。
作为一种可选方式，本实施例使用的3D卷积神经网络模型如图3所示，共有8个卷积层，6个池化层和1个全连接层以及Softmax层。该网络模型的输入为处理后的视频帧序列，输出为行为识别的分类概率。
S41：将切分完成的原始视频帧图片序列输入3D卷积神经网络进行训练，并得到该分支网络的测试集分类概率；
将原始的图片序列直接输入进3D卷积神经网络并训练该神经网络，依次经过卷积，池化，全连接层和Softmax层，得到特征图和时间空间信息，并得到测试集的分类概率。该3D卷积神经网络中第I层卷积核表示为WI×HI×XI，XI为第I层中输入的图片序列数，WI×HI对应为第I层空间中的长宽大小。此处的3D卷积神经网络模型具体结构见图3。
S51：将所得到的两分支网络的分类概率进行SVM模型训练，并得到最终的测试集检测结果。
获取两分支神经网络的训练后测试集分类概率，总神经网络的两分支依次为经过图像增强的3D卷积神经网络和原始训练集图片训练而得的3D卷积神经网络。将分类的概率进行SVM模型的训练或权重融合来获取最终概率，其中，权重融合的方法类似有最大融合，最小融合和平均值融合等。
本实施例中，通过采用SVM模型的训练，获得最终概率；SVM模型法通过分类概率与对应标签进行学习，得到最优权重，最终识别概率计算方式为：
其中：P为样本的最终预测概率，为第I个样本在第一分支上的概率，为第I个样本在第二分支上的概率，w1和w2分别为训练SVM模型得到的最优权重。通过上述方法，取输出概率最大的类别作为每个样本的最终识别结果。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.基于图像增强和3D卷积神经网络的视频行为识别方法，其特征在于，包括以下步骤：
S1：将输入的原始视频序列切分成帧，对各个帧图片进行预处理，并将其分别划分至训练集与测试集；
S2：将训练集图片输入行为区域增强网络进行训练，获得相应的掩码处理后图片，从而得到人物行为信息增强的图像；
S3：使用掩码处理后的图片序列训练3D卷积神经网络；输入测试集图片，获得该分支网络的测试集分类概率；
S4：将训练集图片输入3D卷积神经网络进行训练；输入测试集图片，得到该分支网络的测试集分类概率；
S5：将所得到的两分支网络的分类概率进行支持向量机模型训练，并得到最终的测试集检测结果。
2.根据权利要求1所述的基于图像增强和3D卷积神经网络的视频行为识别方法，其特征在于：步骤S1包括将原始视频序列按照时间顺序切分成帧，即切分为时间上连续分布的图片序列；将切分好的图片序列调整为适合3D卷积神经网络训练的统一图片格式。
3.根据权利要求1所述的基于图像增强和3D卷积神经网络的视频行为识别方法，其特征在于：步骤S2具体包括对图片序列中的人物行为区域进行掩码处理，增强图片中的行为动作信息；将图片序列当中的动作区域进行识别，并进行像素级标注处理，利用图像处理方法得到目标图片；将切分完成的原始视频帧图片序列输入行为区域增强网络进行训练，以最小化行为区域增强网络的损失函数为目标，进行像素级的分类和掩码处理，获得相应的掩码处理后图片，从而得到人物行为信息增强的图像。
4.根据权利要求3所述的基于图像增强和3D卷积神经网络的视频行为识别方法，其特征在于：所述行为区域增强网络的损失函数计算包括：
Loss＝Lcls+Lseg
其中，Loss表示总损失函数，Lcls表示分类的损失函数，Lseg表示切分的损失函数，CE(θ)表示交叉熵损失函数，yi表示第i个训练集图片的标签，N表示训练集图像的总数；表示估计值，即预测出的标签。
5.根据权利要求1所述的基于图像增强和3D卷积神经网络的视频行为识别方法，其特征在于：步骤S3具体包括输入的掩码图片序列色彩空间为红R、绿G、蓝B，其中掩码部分的颜色为统一的颜色；将掩码图片序列按照输入格式统一标准化处理，并输入到3D卷积神经网络中，进行训练，获取该图片序列在时间序列上和空间序列的双重信息；通过3D卷积与3D池化，经过全连接层和Softmax层，构建分类网络，从而得到各行为分类的概率。
6.根据权利要求1所述的基于图像增强和3D卷积神经网络的视频行为识别方法，其特征在于：步骤S4具体包括将训练集图片直接输入进3D卷积神经网络并训练该卷积神经网络，依次经过3D卷积，3D池化，全连接层和Softmax层，得到其特征图和在时间序列上和空间序列的双重信息；输入测试集图片，得到测试集的分类概率；其中，该3D卷积神经网络中第I层卷积核表示为WI×HI×XI，XI为第I层中输入的图片序列数，WI×HI对应为第I层空间中的长宽大小。
7.根据权利要求1所述的基于图像增强和3D卷积神经网络的视频行为识别方法，其特征在于：步骤S5具体包括获取两分支神经网络训练后的测试集分类概率，总神经网络的两分支依次为经过图像增强的3D卷积神经网络和原始图片训练而得的3D卷积神经网络；将分类的概率进行支持向量机模型的训练或根据权重融合来获取最终概率；所述权重融合的方法包括最大值融合，最小值融合和平均值融合；支持向量机模型法通过各个分类概率与对应标签进行学习，得到最优权重，最终识别概率计算方式包括为：
其中，P为样本的最终预测概率，为第I个样本在第一分支上的概率，即使用掩码处理后的图片序列训练3D卷积神经网络分支；为第I个样本在第二分支上的概率，即使用训练集图片训练3D卷积神经网络分支；w1和w2分别为训练支持向量机模型得到的最优权重；取输出概率最大的类别作为每个样本的最终识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910134439.6A CN109829443B (zh) | 2019-02-23 | 2019-02-23 | 基于图像增强与3d卷积神经网络的视频行为识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910134439.6A CN109829443B (zh) | 2019-02-23 | 2019-02-23 | 基于图像增强与3d卷积神经网络的视频行为识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109829443A true CN109829443A (zh) | 2019-05-31 |
| CN109829443B CN109829443B (zh) | 2020-08-14 |
Family
ID=66864265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910134439.6A Active CN109829443B (zh) | 2019-02-23 | 2019-02-23 | 基于图像增强与3d卷积神经网络的视频行为识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109829443B (zh) |
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110152301A (zh) * | 2019-06-18 | 2019-08-23 | 金陵科技学院 | 一种电子竞技游戏数据获取方法 |
| CN110348322A (zh) * | 2019-06-19 | 2019-10-18 | 西华师范大学 | 基于多特征融合的人脸活体检测方法及设备 |
| CN110991219A (zh) * | 2019-10-11 | 2020-04-10 | 东南大学 | 一种基于双路3d卷积网络的行为识别方法 |
| CN111047532A (zh) * | 2019-12-06 | 2020-04-21 | 广东启迪图卫科技股份有限公司 | 一种基于3d卷积神经网络的低照度视频增强方法 |
| CN111310050A (zh) * | 2020-02-27 | 2020-06-19 | 深圳大学 | 一种基于多层注意力的推荐方法 |
| CN111325140A (zh) * | 2020-02-18 | 2020-06-23 | 南京航空航天大学 | 一种红外视频序列行为识别方法及装置 |
| CN111339892A (zh) * | 2020-02-21 | 2020-06-26 | 青岛联合创智科技有限公司 | 一种基于端到端3d卷积神经网络的泳池溺水检测方法 |
| CN111476727A (zh) * | 2020-03-26 | 2020-07-31 | 南京信息工程大学 | 一种面向换脸视频检测的视频运动增强方法 |
| CN111553209A (zh) * | 2020-04-15 | 2020-08-18 | 同济大学 | 一种基于卷积神经网络和时间序列图的司机行为识别方法 |
| CN112115876A (zh) * | 2020-09-21 | 2020-12-22 | 四川弘和通讯有限公司 | 一种基于3d卷积神经网络的水溶法实验过程识别方法 |
| CN112132089A (zh) * | 2020-09-28 | 2020-12-25 | 天津天地伟业智能安全防范科技有限公司 | 一种基于3d卷积和光流的挖掘机行为分析方法 |
| CN112199564A (zh) * | 2019-07-08 | 2021-01-08 | Tcl集团股份有限公司 | 一种信息过滤方法、装置及终端设备 |
| CN112257643A (zh) * | 2020-10-30 | 2021-01-22 | 天津天地伟业智能安全防范科技有限公司 | 一种基于视频流的抽烟行为和打电话行为识别方法 |
| CN112507760A (zh) * | 2019-09-16 | 2021-03-16 | 杭州海康威视数字技术股份有限公司 | 暴力分拣行为的检测方法、装置及设备 |
| CN112580523A (zh) * | 2020-12-22 | 2021-03-30 | 平安国际智慧城市科技股份有限公司 | 行为识别方法、装置、设备及存储介质 |
| CN112613428A (zh) * | 2020-12-28 | 2021-04-06 | 杭州电子科技大学 | 基于平衡损失的Resnet-3D卷积牛视频目标检测方法 |
| CN112634147A (zh) * | 2020-12-09 | 2021-04-09 | 上海健康医学院 | 自监督学习的pet图像降噪方法、系统、装置及介质 |
| CN112669452A (zh) * | 2021-01-08 | 2021-04-16 | 天津大学 | 一种基于卷积神经网络多分支结构的物体定位方法 |
| CN112699786A (zh) * | 2020-12-29 | 2021-04-23 | 华南理工大学 | 一种基于空间增强模块的视频行为识别方法及系统 |
| CN112712126A (zh) * | 2021-01-05 | 2021-04-27 | 南京大学 | 一种图片识别方法 |
| CN112966541A (zh) * | 2020-09-23 | 2021-06-15 | 北京豆牛网络科技有限公司 | 果蔬自动验货方法、系统、电子设备以及计算机可读介质 |
| CN113033276A (zh) * | 2020-12-01 | 2021-06-25 | 神思电子技术股份有限公司 | 一种基于转换模块的行为识别方法 |
| CN113095359A (zh) * | 2021-03-05 | 2021-07-09 | 西安交通大学 | 一种射线图像标记信息检测方法及系统 |
| CN113298248A (zh) * | 2020-07-20 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 一种针对神经网络模型的处理方法、装置以及电子设备 |
| CN113536032A (zh) * | 2020-04-10 | 2021-10-22 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种视频序列信息挖掘系统、方法及其应用 |
| CN113627460A (zh) * | 2021-06-18 | 2021-11-09 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于时间切片卷积神经网络的目标识别系统与方法 |
| CN113627221A (zh) * | 2020-05-09 | 2021-11-09 | 阿里巴巴集团控股有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN113642429A (zh) * | 2021-07-29 | 2021-11-12 | 海南大学 | 一种基于tpp-tccnn的海洋鱼类识别方法 |
| CN113807194A (zh) * | 2021-08-24 | 2021-12-17 | 哈尔滨工程大学 | 一种增强性电力传输线故障图像识别方法 |
| CN114249244A (zh) * | 2022-03-02 | 2022-03-29 | 聚时科技(江苏)有限公司 | 一种用于自动行车闭环控制的无标靶吊具定位方法 |
| WO2022067455A1 (en) * | 2020-09-29 | 2022-04-07 | Huawei Technologies Co., Ltd. | Solid state imaging device |
| CN114973061A (zh) * | 2022-04-24 | 2022-08-30 | 哈尔滨工程大学 | 基于深度学习方法的辅助抗沉决策模型生成方法及系统 |
| CN115242454A (zh) * | 2022-06-27 | 2022-10-25 | 中国电子科技集团公司第三十研究所 | 一种实时视频数据完整性保护方法及系统 |
| CN116705252A (zh) * | 2023-06-16 | 2023-09-05 | 脉得智能科技(无锡)有限公司 | 前列腺癌诊断模型的构建方法、图像分类方法、设备、介质 |
| CN117038055A (zh) * | 2023-07-05 | 2023-11-10 | 广州市妇女儿童医疗中心 | 一种基于多专家模型的疼痛评估方法、系统、装置及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8886283B1 (en) * | 2011-06-21 | 2014-11-11 | Stc.Unm | 3D and 4D magnetic susceptibility tomography based on complex MR images |
| CN105160310A (zh) * | 2015-08-25 | 2015-12-16 | 西安电子科技大学 | 基于3d卷积神经网络的人体行为识别方法 |
| CN108510535A (zh) * | 2018-03-14 | 2018-09-07 | 大连理工大学 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
| CN108780519A (zh) * | 2016-03-11 | 2018-11-09 | 奇跃公司 | 卷积神经网络中的结构学习 |
| CN108986050A (zh) * | 2018-07-20 | 2018-12-11 | 北京航空航天大学 | 一种基于多分支卷积神经网络的图像和视频增强方法 |
| CN109242860A (zh) * | 2018-08-21 | 2019-01-18 | 电子科技大学 | 基于深度学习及权重空间集成的脑肿瘤图像分割方法 |
| CN109284720A (zh) * | 2018-09-28 | 2019-01-29 | 大连民族大学 | 度量视频连续帧与其卷积特征图间差异在视频行为识别中的应用 |
-
2019
- 2019-02-23 CN CN201910134439.6A patent/CN109829443B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8886283B1 (en) * | 2011-06-21 | 2014-11-11 | Stc.Unm | 3D and 4D magnetic susceptibility tomography based on complex MR images |
| CN105160310A (zh) * | 2015-08-25 | 2015-12-16 | 西安电子科技大学 | 基于3d卷积神经网络的人体行为识别方法 |
| CN108780519A (zh) * | 2016-03-11 | 2018-11-09 | 奇跃公司 | 卷积神经网络中的结构学习 |
| CN108510535A (zh) * | 2018-03-14 | 2018-09-07 | 大连理工大学 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
| CN108986050A (zh) * | 2018-07-20 | 2018-12-11 | 北京航空航天大学 | 一种基于多分支卷积神经网络的图像和视频增强方法 |
| CN109242860A (zh) * | 2018-08-21 | 2019-01-18 | 电子科技大学 | 基于深度学习及权重空间集成的脑肿瘤图像分割方法 |
| CN109284720A (zh) * | 2018-09-28 | 2019-01-29 | 大连民族大学 | 度量视频连续帧与其卷积特征图间差异在视频行为识别中的应用 |
Non-Patent Citations (3)
| Title |
|---|
| MAJD LATAH ET AL: "Human action recognition using support vector machines and 3D convolutional neural networks", 《INTERNATIONAL JOURNAL OF ADVANCES IN INTELLIGENT INFORMATICS》 * |
| THOMAS WOLF ET AL.: "Multi-view gait recogniton using 3D convolutional neural networks", 《IEEE》 * |
| 张颖: "基于３Ｄ卷积神经网络的人体行为识别方法", 《软件导刊》 * |
Cited By (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110152301A (zh) * | 2019-06-18 | 2019-08-23 | 金陵科技学院 | 一种电子竞技游戏数据获取方法 |
| CN110152301B (zh) * | 2019-06-18 | 2022-12-16 | 金陵科技学院 | 一种电子竞技游戏数据获取方法 |
| CN110348322A (zh) * | 2019-06-19 | 2019-10-18 | 西华师范大学 | 基于多特征融合的人脸活体检测方法及设备 |
| CN112199564A (zh) * | 2019-07-08 | 2021-01-08 | Tcl集团股份有限公司 | 一种信息过滤方法、装置及终端设备 |
| CN112507760B (zh) * | 2019-09-16 | 2024-05-31 | 杭州海康威视数字技术股份有限公司 | 暴力分拣行为的检测方法、装置及设备 |
| CN112507760A (zh) * | 2019-09-16 | 2021-03-16 | 杭州海康威视数字技术股份有限公司 | 暴力分拣行为的检测方法、装置及设备 |
| CN110991219A (zh) * | 2019-10-11 | 2020-04-10 | 东南大学 | 一种基于双路3d卷积网络的行为识别方法 |
| CN110991219B (zh) * | 2019-10-11 | 2024-02-06 | 东南大学 | 一种基于双路3d卷积网络的行为识别方法 |
| CN111047532A (zh) * | 2019-12-06 | 2020-04-21 | 广东启迪图卫科技股份有限公司 | 一种基于3d卷积神经网络的低照度视频增强方法 |
| CN111325140A (zh) * | 2020-02-18 | 2020-06-23 | 南京航空航天大学 | 一种红外视频序列行为识别方法及装置 |
| CN111339892B (zh) * | 2020-02-21 | 2023-04-18 | 青岛联合创智科技有限公司 | 一种基于端到端3d卷积神经网络的泳池溺水检测方法 |
| CN111339892A (zh) * | 2020-02-21 | 2020-06-26 | 青岛联合创智科技有限公司 | 一种基于端到端3d卷积神经网络的泳池溺水检测方法 |
| CN111310050B (zh) * | 2020-02-27 | 2023-04-18 | 深圳大学 | 一种基于多层注意力的推荐方法 |
| CN111310050A (zh) * | 2020-02-27 | 2020-06-19 | 深圳大学 | 一种基于多层注意力的推荐方法 |
| CN111476727A (zh) * | 2020-03-26 | 2020-07-31 | 南京信息工程大学 | 一种面向换脸视频检测的视频运动增强方法 |
| CN113536032A (zh) * | 2020-04-10 | 2021-10-22 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种视频序列信息挖掘系统、方法及其应用 |
| CN111553209B (zh) * | 2020-04-15 | 2023-05-12 | 同济大学 | 一种基于卷积神经网络和时间序列图的司机行为识别方法 |
| CN111553209A (zh) * | 2020-04-15 | 2020-08-18 | 同济大学 | 一种基于卷积神经网络和时间序列图的司机行为识别方法 |
| CN113627221A (zh) * | 2020-05-09 | 2021-11-09 | 阿里巴巴集团控股有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN113298248A (zh) * | 2020-07-20 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 一种针对神经网络模型的处理方法、装置以及电子设备 |
| CN112115876A (zh) * | 2020-09-21 | 2020-12-22 | 四川弘和通讯有限公司 | 一种基于3d卷积神经网络的水溶法实验过程识别方法 |
| CN112966541B (zh) * | 2020-09-23 | 2023-12-05 | 北京豆牛网络科技有限公司 | 果蔬自动验货方法、系统、电子设备以及计算机可读介质 |
| CN112966541A (zh) * | 2020-09-23 | 2021-06-15 | 北京豆牛网络科技有限公司 | 果蔬自动验货方法、系统、电子设备以及计算机可读介质 |
| CN112132089A (zh) * | 2020-09-28 | 2020-12-25 | 天津天地伟业智能安全防范科技有限公司 | 一种基于3d卷积和光流的挖掘机行为分析方法 |
| WO2022067455A1 (en) * | 2020-09-29 | 2022-04-07 | Huawei Technologies Co., Ltd. | Solid state imaging device |
| CN112257643A (zh) * | 2020-10-30 | 2021-01-22 | 天津天地伟业智能安全防范科技有限公司 | 一种基于视频流的抽烟行为和打电话行为识别方法 |
| CN113033276A (zh) * | 2020-12-01 | 2021-06-25 | 神思电子技术股份有限公司 | 一种基于转换模块的行为识别方法 |
| CN113033276B (zh) * | 2020-12-01 | 2022-05-17 | 神思电子技术股份有限公司 | 一种基于转换模块的行为识别方法 |
| WO2022116616A1 (zh) * | 2020-12-01 | 2022-06-09 | 神思电子技术股份有限公司 | 一种基于转换模块的行为识别方法 |
| CN112634147A (zh) * | 2020-12-09 | 2021-04-09 | 上海健康医学院 | 自监督学习的pet图像降噪方法、系统、装置及介质 |
| CN112634147B (zh) * | 2020-12-09 | 2024-03-29 | 上海健康医学院 | 自监督学习的pet图像降噪方法、系统、装置及介质 |
| CN112580523A (zh) * | 2020-12-22 | 2021-03-30 | 平安国际智慧城市科技股份有限公司 | 行为识别方法、装置、设备及存储介质 |
| CN112613428B (zh) * | 2020-12-28 | 2024-03-22 | 易采天成(郑州)信息技术有限公司 | 基于平衡损失的Resnet-3D卷积牛视频目标检测方法 |
| CN112613428A (zh) * | 2020-12-28 | 2021-04-06 | 杭州电子科技大学 | 基于平衡损失的Resnet-3D卷积牛视频目标检测方法 |
| CN112699786A (zh) * | 2020-12-29 | 2021-04-23 | 华南理工大学 | 一种基于空间增强模块的视频行为识别方法及系统 |
| CN112699786B (zh) * | 2020-12-29 | 2022-03-29 | 华南理工大学 | 一种基于空间增强模块的视频行为识别方法及系统 |
| CN112712126B (zh) * | 2021-01-05 | 2024-03-19 | 南京大学 | 一种图片识别方法 |
| CN112712126A (zh) * | 2021-01-05 | 2021-04-27 | 南京大学 | 一种图片识别方法 |
| CN112669452A (zh) * | 2021-01-08 | 2021-04-16 | 天津大学 | 一种基于卷积神经网络多分支结构的物体定位方法 |
| CN113095359A (zh) * | 2021-03-05 | 2021-07-09 | 西安交通大学 | 一种射线图像标记信息检测方法及系统 |
| CN113095359B (zh) * | 2021-03-05 | 2023-09-12 | 西安交通大学 | 一种射线图像标记信息检测方法及系统 |
| CN113627460A (zh) * | 2021-06-18 | 2021-11-09 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于时间切片卷积神经网络的目标识别系统与方法 |
| CN113627460B (zh) * | 2021-06-18 | 2023-08-18 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于时间切片卷积神经网络的目标识别系统与方法 |
| CN113642429A (zh) * | 2021-07-29 | 2021-11-12 | 海南大学 | 一种基于tpp-tccnn的海洋鱼类识别方法 |
| CN113642429B (zh) * | 2021-07-29 | 2023-07-14 | 海南大学 | 一种基于tpp-tccnn的海洋鱼类识别方法 |
| CN113807194B (zh) * | 2021-08-24 | 2023-10-10 | 哈尔滨工程大学 | 一种增强性电力传输线故障图像识别方法 |
| CN113807194A (zh) * | 2021-08-24 | 2021-12-17 | 哈尔滨工程大学 | 一种增强性电力传输线故障图像识别方法 |
| CN114249244B (zh) * | 2022-03-02 | 2022-07-05 | 聚时科技(江苏)有限公司 | 一种用于自动行车闭环控制的无标靶吊具定位方法 |
| CN114249244A (zh) * | 2022-03-02 | 2022-03-29 | 聚时科技(江苏)有限公司 | 一种用于自动行车闭环控制的无标靶吊具定位方法 |
| CN114973061A (zh) * | 2022-04-24 | 2022-08-30 | 哈尔滨工程大学 | 基于深度学习方法的辅助抗沉决策模型生成方法及系统 |
| CN115242454B (zh) * | 2022-06-27 | 2023-05-12 | 中国电子科技集团公司第三十研究所 | 一种实时视频数据完整性保护方法及系统 |
| CN115242454A (zh) * | 2022-06-27 | 2022-10-25 | 中国电子科技集团公司第三十研究所 | 一种实时视频数据完整性保护方法及系统 |
| CN116705252A (zh) * | 2023-06-16 | 2023-09-05 | 脉得智能科技(无锡)有限公司 | 前列腺癌诊断模型的构建方法、图像分类方法、设备、介质 |
| CN116705252B (zh) * | 2023-06-16 | 2024-05-31 | 脉得智能科技(无锡)有限公司 | 前列腺癌诊断模型的构建方法、图像分类方法、设备、介质 |
| CN117038055A (zh) * | 2023-07-05 | 2023-11-10 | 广州市妇女儿童医疗中心 | 一种基于多专家模型的疼痛评估方法、系统、装置及介质 |
| CN117038055B (zh) * | 2023-07-05 | 2024-04-02 | 广州市妇女儿童医疗中心 | 一种基于多专家模型的疼痛评估方法、系统、装置及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109829443B (zh) | 2020-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829443A (zh) | 基于图像增强与3d卷积神经网络的视频行为识别方法 | |
| Jia et al. | Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot | |
| CN110097131B (zh) | 一种基于对抗协同训练的半监督医疗图像分割方法 | |
| CN103578119B (zh) | 基于超像素的Codebook动态场景中目标检测方法 | |
| CN104050471B (zh) | 一种自然场景文字检测方法及系统 | |
| CN106845415B (zh) | 一种基于深度学习的行人精细化识别方法及装置 | |
| CN105740773A (zh) | 基于深度学习和多尺度信息的行为识别方法 | |
| CN109815867A (zh) | 一种人群密度估计和人流量统计方法 | |
| CN108986050A (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
| CN103237201B (zh) | 一种基于社会化标注的案件视频研判方法 | |
| CN108830252A (zh) | 一种融合全局时空特征的卷积神经网络人体动作识别方法 | |
| CN106682108A (zh) | 一种基于多模态卷积神经网络的视频检索方法 | |
| CN108090403A (zh) | 一种基于3d卷积神经网络的人脸动态识别方法及系统 | |
| CN104281853A (zh) | 一种基于3d卷积神经网络的行为识别方法 | |
| CN108647599B (zh) | 结合3d跃层连接和循环神经网络的人体行为识别方法 | |
| CN111027377B (zh) | 一种双流神经网络时序动作定位方法 | |
| CN110599502B (zh) | 一种基于深度学习的皮肤病变分割方法 | |
| CN107844780A (zh) | 一种融合zed视觉的人体健康特征大数据智慧计算方法与装置 | |
| CN103729620B (zh) | 一种基于多视角贝叶斯网络的多视角行人检测方法 | |
| CN110008793A (zh) | 人脸识别方法、装置及设备 | |
| CN109034184A (zh) | 一种基于深度学习的均压环检测识别方法 | |
| CN109902613A (zh) | 一种基于迁移学习和图像增强的人体特征提取方法 | |
| CN105139421A (zh) | 电力系统基于互信息量的视频关键帧提取方法 | |
| CN114120093A (zh) | 一种基于改进YOLOv5算法的煤矸目标检测方法 | |
| CN110363114A (zh) | 一种人员工作状态检测方法、装置及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |