CN114373145A - 基于orb算法的关键帧获取的监控视频场景分类方法 - Google Patents

基于orb算法的关键帧获取的监控视频场景分类方法 Download PDF

Info

Publication number
CN114373145A
CN114373145A CN202111537475.0A CN202111537475A CN114373145A CN 114373145 A CN114373145 A CN 114373145A CN 202111537475 A CN202111537475 A CN 202111537475A CN 114373145 A CN114373145 A CN 114373145A
Authority
CN
China
Prior art keywords
video
orb
algorithm
feature
scene classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111537475.0A
Other languages
English (en)
Inventor
贾萌
岳子鑫
白佳伟
蔡卓
王九春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202111537475.0A priority Critical patent/CN114373145A/zh
Publication of CN114373145A publication Critical patent/CN114373145A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于ORB算法的关键帧获取的监控视频场景分类方法，具体包括如下步骤：步骤1，采用帧差法处理监控视频，删除未变化片段；步骤2，使用ORB特征检测与匹配算法计算相似度，并将该计算结果作为标准切割步骤1处理后的视频；步骤3，使用预先获取的数据训练VGG‑16网络模型；步骤4，提取步骤2所获取视频的关键帧，并使用步骤3训练好的模型进行预测得到视频对应的标签；步骤5，系统及时推送需求的特定视频。本发明解决了当前人为地去搜索并利用视频剪辑工具手动的截取需要的视频片段所产生的耗时耗力问题。

Description

基于ORB算法的关键帧获取的监控视频场景分类方法
技术领域
本发明属于视频分析技术领域，涉及基于ORB算法的关键帧获取的监控视频场景分类方法。
背景技术
随着国民经济的迅速发展以及信息技术、网络技术的不断进步，视频监控系统在各行业的应用日渐广泛，它不单单应用在通信、交通、安全等行业，而且逐步向其他行业和公众方向发展。现如今计算机、网络以及图像处理、传输技术的日益成熟使得视频监控技术也有了长足的发展。近年来社会治安状况的日趋复杂，公共安全问题不断凸显，城市犯罪突出，加之科学教育事业的发展，社会各界对于青少年的成长尤为重视，尤其是新生父母对于幼儿园中孩子的成长问题。虽然父母、家庭、社会对此的关注度日益增长，但仍然有恶性事件发生于幼儿园。
这些都迫切要求加快发展以主动预防为主的视频监控系统，然而视频监控系统的普及面临的就是海量视频数据的处理，如何有效地从中获得符合需求的信息仍然是一件耗时耗力的事情，而该发明拟针对该问题制定一套切实可行的解决方案，它可以将感兴趣的视频场景(如：含有特定孩子的视频频段)剪辑出来，以此完整记录孩子在学校中的生活学习状况，并推送给家长。通过该方法，不但可以有效地遏制恶性事件的发生，而且家长可以便捷地获得自己孩子的视频，使家长在忙碌时仍然不会错过孩子的成长历程，也把老师从给每位家长发送孩子视频的繁重任务解放出来，有更多的精力去关心孩子。
现有的视频监控系统仅仅局限于被动地提供视频画面，系统本身没有足够的智能，不能够有效识别不同物体，进而发现监控画面中的异常情况，以最快和最佳的方式发出警报并提供有用信息，在协助安全人员处理危机时最大限度地降低误报和漏报现象等方面地能力不足。现有的视频片段获取大部分需要人为地去搜索并利用视频剪辑工具手动的截取需要的视频片段，这种方式效率低下，不能满足现代快节奏的生活需求，且在处理海量的数据面前有十分明显的缺陷。
发明内容
本发明的目的是提供一种基于ORB算法的关键帧获取的监控视频场景分类方法，解决了当前人为地去搜索并利用视频剪辑工具手动的截取需要的视频片段所产生的耗时耗力问题。
本发明所采用的技术方案是，基于ORB算法的关键帧获取的监控视频场景分类方法，具体包括如下步骤：
步骤1，采用帧差法处理监控视频，删除未变化片段；
步骤2，使用ORB特征检测与匹配算法计算相似度，并将该计算结果作为标准切割步骤1处理后的视频；
步骤3，使用预先获取的数据训练VGG-16网络模型；
步骤4，提取步骤2所获取视频的关键帧，并使用步骤3训练好的模型进行预测得到视频对应的标签；
步骤5，系统及时推送需求的特定视频。
本发明的特点还在于：
步骤2的具体过程为：
步骤2.1，使用FAST算法检测特征点；
步骤2.2，采用BRIEF算法将将步骤1检测到的特征点转化为特征点的二元特征向量；
步骤2.3，通过步骤2.2获得的二元特征向量进行特征点的检测与匹配，进而得出不同帧之间的相似度，根据相似度的差异将原始的视频分为若干个小视频。
步骤2.1的具体过程为：
设阈值为h，对于任意一点p，令该点像素为lp，以半径r画圆，若圆上存在连续的各点灰度值大于lp+h或者小于lp-h，且数量大于总数的一半，将此点视为特征点。
步骤2.2的具体过程为：取关键点p为圆心，以半径为r画圆，对于字符串长度为n位的向量，在圆内取n对特征点，以任意特征对(p,q)为例，当p的亮度大于q的亮度，二元特征向量相应位置取1，反之取0，最终得到特征点的二元特征向量。
步骤3中，VGG-16网络模型包含了13个隐藏层和3个全连接层，层与层之间使用max-pooling分开，所有隐藏层的激活单元都采用ReLU函数。
本发明的有益效果如下：
1.对于监控视频中处于未变化状态下的无效信息片段进行智能删除。
2.使用ORB特征检测与匹配算法对监控视频进行无监督切割。
3.解决了当前人为地去搜索并利用视频剪辑工具手动的截取需要的视频片段所产生的耗时耗力问题。
附图说明
图1是发明基于ORB算法的关键帧获取的监控视频场景分类方法的整体流程图；
图2(a)～(d)是自行收集的数据集。图2-a是数据集的人物A在教室场景下的图片，图2-b是人物A在楼梯场景下的图片，图2-c是人物B在教室1场景下的图片，图2-d是人物C在楼梯场景下的图片。
图3是同一人物A在教室和楼梯两个不同场景下的特征匹配结果，由图中连线可见，匹配的特征点主要属于人物本身特征(图中连线代表匹配过程中相似度较高的特征点)；
图4是不同人物A和B在同一场景教室内的特征匹配结果，由图可见，匹配的特征点大部分属于场景特征；
图5(a)、(b)是VGG-16在训练场景分类模型的训练损失以及训练准确率示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于ORB算法的关键帧获取的监控视频场景分类方法，如图1所示，具体包括如下步骤：
步骤1，帧差法处理监控视频，删除未变化片段；
步骤1的具体过程：
考虑到在监控拍摄过程中，存在夜晚、节假日等无人员活动的情况，在此期间，监控无差别拍摄会产生海量无意义视频数据，本发明使用帧差法检测视频中未变化片段，将这些无效数据剔除，方便接下来的处理过程。
步骤2，使用Oriented FAST and Rotated BRIEF(ORB)特征检测与匹配算法计算相似度，并以此作为标准切割步骤1处理后的视频；
步骤2的具体过程：
首先，使用Features From Accelerated Segment Test(FAST)算法检测特征点。设阈值为h(本发明中取值为0.6)，对于任意一点p，令其像素为lp，以半径r画圆，如果圆上存在连续的各点灰度值大于lp+h或者灰度值小于lp-h的像素点，且其数量大于一半，将此点视为特征点。为了提高检测的效率，ORB算法只考虑特征点周围4个像素作为评判特征点的标准。
接着采用Binary Robust Independent Elementary Features(BRIEF)计算特征点的描述子，描述特征点的属性。取关键点p为圆心，r为半径画圆，在圆内取N对特征点，以某一特征对(p，q)为例，当p>q时,描述符相应位置取1，反之取0。逐步对N对特征点操作，最终得到特征点的二元特征向量；
最后，通过获得的特征向量进行特征点的检测与匹配，进而得出不同帧之间的相似度，根据相似度的差异将原始的视频分为多个小视频。理想情况下，视频内各帧之间有较高的相似性，视频间有较低的相似性。
步骤3，使用预先获取的数据训练VGG-16网络模型；
步骤3的具体过程：
本发明考虑到数据集特性以及处理结果的要求选择了VGG-16网络模型。其中，VGG-16包含了13个隐藏层和3个全连接层，层与层之间使用max-pooling(最大池化)分开，所有隐藏层的激活单元都采用ReLU函数，是提取CNN特征的首选算法。本实验的数据集全部来自团队成员的采集，通过拍摄在不同场景下特定人物的状态以及不含特定人物的场景将数据集分为两类，每一类共有1500张训练图片，每一张图片的尺寸是224*224。将训练数据输入到VGG-16中训练场景分类模型。
步骤4，对于步骤2获得的小视频使用无差别提取的方式获得关键帧，将其输入步骤3的场景分类模型中获得预测标签。
步骤5，系统及时推送需求的特定视频。根据用户绑定的信息，以及关注的人物，系统推送其视频。
实施例
本发明的效果可以通过仿真实验具体说明：
1.实验条件
实验所用的处理器为Intel(R)Core(TM)i5-9300H 2.40GHz，内存为8GB，用于实验的数据是实验团队成员在不同场景下自行拍摄所得。
2.实验内容
首先通过帧差法对监控视频预处理，删除监控中未变化视频片段。接着使用Oriented FAST and Rotated BRIEF(ORB)特征检测与匹配算法计算视频帧之间的相似度作为切割标准，将原始视频切割为多段小视频。理想情况下，视频内各帧之间有较高的相似度，视频间有较低的相似度。考虑到处理的海量视频数据以及极短时间内视频帧之间极高的相似度，使用ORB特征检测与匹配算法所获得的相似度无法作为切割视频的标准，所以本实验提取关键帧并计算其相似度作为切割标准。下一步使用处理好的数据集训练VGG-16网络模型。然后，提取小视频中关键帧在场景分类模型中检测并得到对应的的标签。最后，系统智能推送特定视频片段。
3.实验结果
图2是本团队成员在不同场景下收集的实验数据(图2(a)是数据集的人物A在教室场景下的图片，图2(b)是人物A在楼梯场景下的图片，图2(c)是人物B在教室1场景下的图片，图2(d)是人物C在楼梯场景下的图片)，图3是对于同一人物在不同场景下的ORB算法的特征匹配结果，图4是对于不同人物在同一场景下的ORB算法的特征检测与匹配结果，图5是对于不同人物在不同场景下的ORB算法的特征检测与匹配结果。从三幅图片匹配结果可见(注：细线连接的是占据更高匹配比重的特征点)：ORB算法提取不同场景的特征中，同一人物，匹配度较高的特征点中人物本身特征点占据主导地位，不同人物，匹配度较高的特征点中环境特征占较高地位。所以，使用ORB特征检测与匹配算法适合本发明计算视频帧之间的相似度。图5是训练场景分类模型中的训练损失和分类准确率(图5(a)表示训练损失，图5(b)表示训练准确率，图5(b)显示训练的准确率可以达到1)。实验结果表明理想情况下，本发明最终分类的准确率可以达到百分之百。
本发明提出的方法将ORB特征检测与匹配算法引入视频处理中，可以在无监督的情况下对监控视频进行有效切割，然后通过场景分类模型对视频进行分类推送。而且该发明能够处理在海量视频数据情况下，智能提取特定人物视频片段，能合理的应用在幼儿园小孩的看护、警方抓捕等方面。

Claims (5)

1.基于ORB算法的关键帧获取的监控视频场景分类方法，其特征在于：具体包括如下步骤：
步骤1，采用帧差法处理监控视频，删除未变化片段；
步骤2，使用ORB特征检测与匹配算法计算相似度，并将该计算结果作为标准切割步骤1处理后的视频；
步骤3，使用预先获取的数据训练VGG-16网络模型；
步骤4，提取步骤2所获取视频的关键帧，并使用步骤3训练好的模型进行预测得到视频对应的标签；
步骤5，系统及时推送需求的特定视频。
2.根据权利要求1所述的基于ORB算法的关键帧获取的监控视频场景分类方法，其特征在于：所述步骤2的具体过程为：
步骤2.1，使用FAST算法检测特征点；
步骤2.2，采用BRIEF算法将步骤1检测到的特征点转化为特征点的二元特征向量；
步骤2.3，通过步骤2.2获得的二元特征向量进行特征点的检测与匹配，进而得出不同帧之间的相似度，根据相似度的差异将原始的视频分为若干个小视频。
3.根据权利要求2所述的基于ORB算法的关键帧获取的监控视频场景分类方法，其特征在于：所述步骤2.1的具体过程为：
设阈值为h，对于任意一点p，令该点像素为lp，以半径r画圆，若圆上存在连续的各点灰度值大于lp+h或者小于lp-h，且数量大于总数的一半，将此点视为特征点。
4.根据权利要求2所述的基于ORB算法的关键帧获取的监控视频场景分类方法，其特征在于：所述步骤2.2的具体过程为：取关键点p为圆心，以半径为r画圆，对于字符串长度为n位的向量，在圆内取n对特征点，以任意特征对(p,q)为例，当p的亮度大于q的亮度，二元特征向量相应位置取1，反之取0，最终得到特征点的二元特征向量。
5.根据权利要求1所述的基于ORB算法的关键帧获取的监控视频场景分类方法，其特征在于：所述步骤3中，VGG-16网络模型包含了13个隐藏层和3个全连接层，层与层之间使用max-pooling分开，所有隐藏层的激活单元都采用ReLU函数。
CN202111537475.0A 2021-12-15 2021-12-15 基于orb算法的关键帧获取的监控视频场景分类方法 Pending CN114373145A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111537475.0A CN114373145A (zh) 2021-12-15 2021-12-15 基于orb算法的关键帧获取的监控视频场景分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111537475.0A CN114373145A (zh) 2021-12-15 2021-12-15 基于orb算法的关键帧获取的监控视频场景分类方法

Publications (1)

Publication Number Publication Date
CN114373145A true CN114373145A (zh) 2022-04-19

Family

ID=81140176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111537475.0A Pending CN114373145A (zh) 2021-12-15 2021-12-15 基于orb算法的关键帧获取的监控视频场景分类方法

Country Status (1)

Country Link
CN (1) CN114373145A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115408557A (zh) * 2022-11-01 2022-11-29 吉林信息安全测评中心 一种基于大数据的安全监控系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115408557A (zh) * 2022-11-01 2022-11-29 吉林信息安全测评中心 一种基于大数据的安全监控系统

Similar Documents

Publication Publication Date Title
CN109829443B (zh) 基于图像增强与3d卷积神经网络的视频行为识别方法
Qin et al. Applying the convolutional neural network deep learning technology to behavioural recognition in intelligent video
CN108564052A (zh) 基于mtcnn的多摄像头动态人脸识别系统与方法
CN105574506A (zh) 基于深度学习和大规模集群的智能人脸追逃系统及方法
CN107169106B (zh) 视频检索方法、装置、存储介质及处理器
CN111506773B (zh) 一种基于无监督深度孪生网络的视频去重方法
CN110097026B (zh) 一种基于多维要素视频分割的段落关联规则评判方法
CN103347167A (zh) 一种基于分段的监控视频内容描述方法
CN112819065B (zh) 基于多重聚类信息的无监督行人难样本挖掘方法和系统
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN111738218B (zh) 人体异常行为识别系统及方法
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
Li et al. Improved YOLOv4 network using infrared images for personnel detection in coal mines
Hu et al. Parallel spatial-temporal convolutional neural networks for anomaly detection and location in crowded scenes
CN108363771B (zh) 一种面向公安侦查应用的图像检索方法
CN112766119A (zh) 一种基于多维度人脸分析精准识别陌生人构建社区安防的方法
CN113642403A (zh) 基于边缘计算的人群异动智能安全检测系统
CN114373145A (zh) 基于orb算法的关键帧获取的监控视频场景分类方法
CN111445442A (zh) 基于神经网络的人群计数方法、装置、服务器及存储介质
CN109002808B (zh) 一种人体行为识别方法及系统
CN114222163A (zh) 一种营业厅智能视频分析系统
Huo et al. 3DVSD: An end-to-end 3D convolutional object detection network for video smoke detection
Qin et al. Application of video scene semantic recognition technology in smart video
CN112417989A (zh) 一种监考人员违规行为识别方法及系统
Chen Semantic Analysis of Multimodal Sports Video Based on the Support Vector Machine and Mobile Edge Computing.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination