CN114463667A - 基于视频识别的小样本学习方法 - Google Patents
基于视频识别的小样本学习方法 Download PDFInfo
- Publication number
- CN114463667A CN114463667A CN202111629047.0A CN202111629047A CN114463667A CN 114463667 A CN114463667 A CN 114463667A CN 202111629047 A CN202111629047 A CN 202111629047A CN 114463667 A CN114463667 A CN 114463667A
- Authority
- CN
- China
- Prior art keywords
- video
- image
- neural network
- deep neural
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于视频识别的小样本学习方法，包括如下步骤：采集多帧连续的视频图像，并生成预处理图像；切割预处理图像，在所采集的多帧连续的视频图像中检测被识别对象的目标区域；将被识别对象的目标区域，传输至SSD算法模块，利用SSD算法提取各帧视频图像中被识别对象目标区域的特点；根据提取的被识别对象目标区域的特点，构建用于学习的深度神经网络模型；基于公用数据库训练深度神经网络模型，并对采集多帧连续的视频图像进行识别测试；选取少量未识别的视频图像建立训练样本库。本发明针对小样本数据集的特征提取方法能通过网络模型的特征提取性能，可以实现视频图像数据的小样本学习，节省大量的视频识别时间。
Description
技术领域
本发明涉及视频图像处理技术领域，尤其涉及基于视频识别的小样本学习方法。
背景技术
随着深度学习在图像领域内的飞速发展，计算机对图像的识别已经接近甚至超越人类的表现。近几年来大数据技术、卷积神经网络和计算及性能都在飞速发展，大规模数据的图像任务，例如图像分类、目标检测、图像分割等都已经发展的非常成熟。然而目前主流的深度学习网络模型都针对样本数量较大的任务提出，而忽略了现实生活中大多数任务场景下数据量稀缺的问题，大数据样本训练费时、耗力，业界已开始探索小样本机器学习方法。
发明内容
基于背景技术存在的技术问题，本发明提出了基于视频识别的小样本学习方法。
本发明提出的基于视频识别的小样本学习方法，包括如下步骤：
S1采集多帧连续的视频图像，并生成预处理图像；
S2切割预处理图像，在所采集的多帧连续的视频图像中检测被识别对象的目标区域；
S3将被识别对象的目标区域，传输至SSD算法模块，利用SSD算法提取各帧视频图像中被识别对象目标区域的特点；
S4根据提取的被识别对象目标区域的特点，构建用于学习的深度神经网络模型；
S5基于公用数据库训练深度神经网络模型，并对采集多帧连续的视频图像进行识别测试；
S6选取少量未识别的视频图像建立训练样本库；
S7用建立训练样本库继续训练深度神经网络；
S8用训练好的深度神经网络对采集多帧连续的视频图像进行识别测试。
优选的，所述视频图像通过卷积块进行特征提取，得到图像投融资，通过池化层对提取后的图像特征进行全局特征提取，得到全局特征标量。
优选的，根据所提取的各帧视频图像中被识别对象目标区域的特征，分析被识别对象的目标区域有否出现持续时间位于最小阈值与最大阈值之间的动作，并将目标区域出现了持续时间位于最小阈值与最大阈值之间的动作的被识别对象确定为被识别对象，最小阈值为0.1秒，最大阈值为0.5秒。
优选的，所述步骤S6选取少量未识别的视频图像，是指选取的图像占图像总数的比例小，这个比例需要小于10％。
优选的，所述步骤S7训练样本库，需要对每一个样本图像进行标注。
优选的，所述的深度神经网络模型，主要用于对目标进行检测，深度神经网络模型为R-CNN系列模型。
优选的，所述深度神经网络模型进行优化，根据深度神经网络模型输出的特征向量计算总损失函数，利用随机梯度下降法优化总损失函数，得到优化后的深度神经网络模型。
优选的，所述步骤S2具体为切割视频图像，并将切割后的预处理图像传输至SSD算法模块，生成基于运动物体的预处理图像块，利用SSD算法提取并识别运动目标的生物特征，完成对目标区域特点的提取。
本发明中，所述基于视频识别的小样本学习方法，针对小样本数据集的特征提取方法能通过网络模型的特征提取性能，可以实现视频图像数据的小样本学习，节省大量的视频识别时间。
附图说明
图1为本发明提出的基于视频识别的小样本学习方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1，基于视频识别的小样本学习方法，包括如下步骤：
S1采集多帧连续的视频图像，并生成预处理图像；
S2切割预处理图像，在所采集的多帧连续的视频图像中检测被识别对象的目标区域；
S3将被识别对象的目标区域，传输至SSD算法模块，利用SSD算法提取各帧视频图像中被识别对象目标区域的特点；
S4根据提取的被识别对象目标区域的特点，构建用于学习的深度神经网络模型；
S5基于公用数据库训练深度神经网络模型，并对采集多帧连续的视频图像进行识别测试；
S6选取少量未识别的视频图像建立训练样本库；
S7用建立训练样本库继续训练深度神经网络；
S8用训练好的深度神经网络对采集多帧连续的视频图像进行识别测试。
本发明中，视频图像通过卷积块进行特征提取，得到图像投融资，通过池化层对提取后的图像特征进行全局特征提取，得到全局特征标量。
本发明中，根据所提取的各帧视频图像中被识别对象目标区域的特征，分析被识别对象的目标区域有否出现持续时间位于最小阈值与最大阈值之间的动作，并将目标区域出现了持续时间位于最小阈值与最大阈值之间的动作的被识别对象确定为被识别对象，最小阈值为0.1秒，最大阈值为0.5秒。
本发明中，步骤S6选取少量未识别的视频图像，是指选取的图像占图像总数的比例小，这个比例需要小于10％。
本发明中，步骤S7训练样本库，需要对每一个样本图像进行标注。
本发明中，深度神经网络模型，主要用于对目标进行检测，深度神经网络模型为R-CNN系列模型。
本发明中，深度神经网络模型进行优化，根据深度神经网络模型输出的特征向量计算总损失函数，利用随机梯度下降法优化总损失函数，得到优化后的深度神经网络模型。
本发明中，步骤S2具体为切割视频图像，并将切割后的预处理图像传输至SSD算法模块，生成基于运动物体的预处理图像块，利用SSD算法提取并识别运动目标的生物特征，完成对目标区域特点的提取。
本发明：采集多帧连续的视频图像，并生成预处理图像；切割预处理图像，在所采集的多帧连续的视频图像中检测被识别对象的目标区域；将被识别对象的目标区域，传输至SSD算法模块，利用SSD算法提取各帧视频图像中被识别对象目标区域的特点；根据提取的被识别对象目标区域的特点，构建用于学习的深度神经网络模型；基于公用数据库训练深度神经网络模型，并对采集多帧连续的视频图像进行识别测试；选取少量未识别的视频图像建立训练样本库；用建立训练样本库继续训练深度神经网络；用训练好的深度神经网络对采集多帧连续的视频图像进行识别测试。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (8)
1.基于视频识别的小样本学习方法，其特征在于，包括如下步骤：
S1采集多帧连续的视频图像，并生成预处理图像；
S2切割预处理图像，在所采集的多帧连续的视频图像中检测被识别对象的目标区域；
S3将被识别对象的目标区域，传输至SSD算法模块，利用SSD算法提取各帧视频图像中被识别对象目标区域的特点；
S4根据提取的被识别对象目标区域的特点，构建用于学习的深度神经网络模型；
S5基于公用数据库训练深度神经网络模型，并对采集多帧连续的视频图像进行识别测试；
S6选取少量未识别的视频图像建立训练样本库；
S7用建立训练样本库继续训练深度神经网络；
S8用训练好的深度神经网络对采集多帧连续的视频图像进行识别测试。
2.根据权利要求1所述的基于视频识别的小样本学习方法，其特征在于，所述视频图像通过卷积块进行特征提取，得到图像投融资，通过池化层对提取后的图像特征进行全局特征提取，得到全局特征标量。
3.根据权利要求1所述的基于视频识别的小样本学习方法，其特征在于，根据所提取的各帧视频图像中被识别对象目标区域的特征，分析被识别对象的目标区域有否出现持续时间位于最小阈值与最大阈值之间的动作，并将目标区域出现了持续时间位于最小阈值与最大阈值之间的动作的被识别对象确定为被识别对象，最小阈值为0.1秒，最大阈值为0.5秒。
4.根据权利要求1所述的基于视频识别的小样本学习方法，其特征在于，所述步骤S6选取少量未识别的视频图像，是指选取的图像占图像总数的比例小，这个比例需要小于10％。
5.根据权利要求1所述的基于视频识别的小样本学习方法，其特征在于，所述步骤S7训练样本库，需要对每一个样本图像进行标注。
6.根据权利要求1所述的基于视频识别的小样本学习方法，其特征在于，所述的深度神经网络模型，主要用于对目标进行检测，深度神经网络模型为R-CNN系列模型。
7.根据权利要求1所述的基于视频识别的小样本学习方法，其特征在于，所述深度神经网络模型进行优化，根据深度神经网络模型输出的特征向量计算总损失函数，利用随机梯度下降法优化总损失函数，得到优化后的深度神经网络模型。
8.根据权利要求1所述的基于视频识别的小样本学习方法，其特征在于，所述步骤S2具体为切割视频图像，并将切割后的预处理图像传输至SSD算法模块，生成基于运动物体的预处理图像块，利用SSD算法提取并识别运动目标的生物特征，完成对目标区域特点的提取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111629047.0A CN114463667A (zh) | 2021-12-29 | 2021-12-29 | 基于视频识别的小样本学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111629047.0A CN114463667A (zh) | 2021-12-29 | 2021-12-29 | 基于视频识别的小样本学习方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114463667A true CN114463667A (zh) | 2022-05-10 |
Family
ID=81407717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111629047.0A Withdrawn CN114463667A (zh) | 2021-12-29 | 2021-12-29 | 基于视频识别的小样本学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114463667A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998810A (zh) * | 2022-07-11 | 2022-09-02 | 北京烽火万家科技有限公司 | 一种基于神经网络的ai视频深度学习系统 |
-
2021
- 2021-12-29 CN CN202111629047.0A patent/CN114463667A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998810A (zh) * | 2022-07-11 | 2022-09-02 | 北京烽火万家科技有限公司 | 一种基于神经网络的ai视频深度学习系统 |
| CN114998810B (zh) * | 2022-07-11 | 2023-07-18 | 北京烽火万家科技有限公司 | 一种基于神经网络的ai视频深度学习系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111259850B (zh) | 一种融合随机批掩膜和多尺度表征学习的行人重识别方法 | |
| CN111259930B (zh) | 自适应注意力指导机制的一般性目标检测方法 | |
| CN111259786B (zh) | 一种基于视频的外观和运动信息同步增强的行人重识别方法 | |
| CN112541503B (zh) | 基于上下文注意力机制和信息融合的实时语义分割方法 | |
| CN111709311B (zh) | 一种基于多尺度卷积特征融合的行人重识别方法 | |
| Salimi et al. | Visual-based trash detection and classification system for smart trash bin robot | |
| CN112241762B (zh) | 一种用于病虫害图像分类的细粒度识别方法 | |
| CN110969166A (zh) | 一种巡检场景下小目标识别方法和系统 | |
| CN111027377B (zh) | 一种双流神经网络时序动作定位方法 | |
| CN108416288A (zh) | 基于全局与局部网络融合的第一视角交互动作识别方法 | |
| CN111401149B (zh) | 基于长短期时域建模算法的轻量级视频行为识别方法 | |
| CN114782737A (zh) | 一种基于改进残差网络的图像分类方法、设备和存储介质 | |
| CN114898466A (zh) | 一种面向智慧工厂的视频动作识别方法及系统 | |
| CN114842238A (zh) | 一种嵌入式乳腺超声影像的识别方法 | |
| CN111339967B (zh) | 一种基于多视域图卷积网络的行人检测方法 | |
| CN112669343A (zh) | 一种基于深度学习的壮族少数民族服饰分割方法 | |
| CN104778699A (zh) | 一种自适应对象特征的跟踪方法 | |
| Narayan et al. | An optimal feature subset selection using GA for leaf classification | |
| CN115880529A (zh) | 基于注意力和解耦知识蒸馏的鸟类细粒度分类方法及系统 | |
| CN114463667A (zh) | 基于视频识别的小样本学习方法 | |
| CN113869412A (zh) | 一种联合轻量级注意力机制和YOLOv3网络的图像目标检测方法 | |
| CN116935411A (zh) | 一种基于字符分解和重构的部首级古文字识别方法 | |
| CN116311357A (zh) | 基于MBN-Transformer模型的不平衡牛身数据的双边识别方法 | |
| CN116168438A (zh) | 关键点检测方法、装置及电子设备 | |
| CN112800946B (zh) | 一种污损发票识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220510 |