CN111160107B - 一种基于特征匹配的动态区域检测方法 - Google Patents
一种基于特征匹配的动态区域检测方法 Download PDFInfo
- Publication number
- CN111160107B CN111160107B CN201911236350.7A CN201911236350A CN111160107B CN 111160107 B CN111160107 B CN 111160107B CN 201911236350 A CN201911236350 A CN 201911236350A CN 111160107 B CN111160107 B CN 111160107B
- Authority
- CN
- China
- Prior art keywords
- grid
- image
- dynamic
- matching
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种基于特征匹配的动态区域检测方法。包括如下步骤：提取7张时间戳连续的RGB图像；用64*48的网格划分RGB图像；对图像进行ORB特征点提取并提取每个特征点的描述子；对连续两帧图像提取的特征点进行GMS特征匹配；通过滑动窗模型对每个网格中未匹配的特征点进行记录；对所有记录的数据进行聚类，根据未匹配特征点的数量，将图像分为动态区域和静态区域，实现动态区域检测分割的目的。本发明首次提出用未匹配的特征点的个数作为动态区域和静态区域分类的依据，避免使用卷积神经网络，在一定程度上大大提高了系统的实时性。本发明采用动态区域分割而不是动态目标分割，有效的利用了动态目标中静态部分，为后续相机位姿估计提供了更多可靠的特征点。
Description
技术领域
本发明涉及动态区域检测领域，适用于复杂环境中动态区域提取和检测，特别是涉及一种基于特征匹配的动态区域检测方法。
背景技术
随着计算机视觉的发展，计算机视觉的使用场景日益宽泛，在复杂场景下使用计算机视觉进行定位、建图的需求逐渐增加，这就需要计算机可以自动识别复杂场景下的静态区域和动态区域。现在的技术，在移动区域检测方面，大多引入了新兴的卷积神经网络进行区域检测，如YOLO v3区域检测框架，再针对检测出的区域进行分类，剔除人为定义的动态区域，采用深度学习框架的区域检测方法虽精度高，但受训练集的限制，在使用场景和实时性上都存在一定程度上的受限。
基于卷积神经网络的区域检测提取方法，无法满足高实时性的需求，而且由于是人为定义动态区域种类，会在动态区域检测时出现误分类的现象。基于特征匹配的动态区域检测恰恰解决了这个问题，基于特征的检测过程可有效降低误分类的概率，并一定程度上提高了系统的实时性。
发明内容
随着计算机视觉的发展，计算机视觉的应用场景也有了更多选择，在区分动态区域和静态区域的过程中，时下流行的卷积神经网络方法，由于受训练集的约束，无法应对各种场景，且实时性低。为了解决这一问题，本发明通过特征匹配分类动态静态区域的方法，提出一种基于特征匹配的动态区域检测方法，目的是降低区域检测计算量以及增强实时性，减少误分类的概率，极大提升了动态区域检测准确率，为达此目的，本发明提供一种基于特征匹配的动态区域检测方法，包括如下步骤：
S1：读取连续7帧图像序列；
S2：对S1步骤读取的7帧图像进行64*48均匀网格划分；
S3：对S2进行网格划分的图像进行ORB特征点检测，并提取每个特征点对应的描述子；
S4：根据S3提取出的特征点和描述子，对连续的两帧图像进行GMS特征点匹配；
S5：根据S4的匹配结果，通过滑动窗模型对每个网格进行记录，记录每帧图像中，每个网格中的未匹配特征点数量；
S6：针对S5记录的未匹配特征点数量按网格进行统计，通过聚类的方法将图像划分为动态区域和静态区域。
本发明的进一步改进，所述的步骤S2中采用均匀网格划分图像，先进行图像大小读取，再确定网格缩放比例，确保图像每个像素值都可被检测。
本发明的进一步改进，所述步骤S4中采用的GMS算法进行图像特征点匹配,通过网格划分，运动统计的方法可快速剔除错误匹配，一定程度上减小了特征匹配的计算量和增加了匹配的稳定性。
本发明的进一步改进，所述GMS算法主要流程如下：
（1）检测两幅图像特征点和计算描述子；
（2）通过BF暴力匹配算法进行匹配；
（3）将图像划分为G个网格；
（4）通过计算BF匹配好的特征点附近的正确匹配个数N与阈值来判断是否该点被正确匹配。
本发明的进一步改进，步骤S5中所述的滑动窗模型，根据网格大小，自定义滑动步长，一定程度上有利于计算量的缩减。
本发明的进一步改进，步骤S5中所述的记录每个网格中未匹配的特征点数量，特征点匹配在动态场景和静态场景中的匹配成功率差异较大，动态区域中的未匹配数量明显多于静态区域的数量，利用这一特性，可有效区分动态区域和静态区域，统计网格中的未匹配点个数时，当未匹配点在网格边界时，统一遵循每个网格只统计网格内的数量和网格上边缘的数量以及网格左边缘的数量，以确保不存在重复性统计。
本发明的进一步改进，步骤S6中用K-means算法对统计的未匹配的特征点数量进行聚类，将图像按网格分为动态区域和静态区域，有效的利用了动态目标中静态部分，为后续相机位姿估计提供了更多可靠的特征点。
本发明在对图像进行特征匹配前，提出以均匀网格划分图像，很大程度上减少了统计未匹配点的计算量，并采用多张图像统计的方法，提高动态区域检测的准确性。本发明首次提出用未匹配的特征点的个数作为动态区域和静态区域分类的依据，避免使用卷积神经网络，在一定程度上大大提高了系统的实时性。本发明采用动态区域分割而不是动态目标分割，有效的利用了动态目标中静态部分，为后续相机位姿估计提供了更多可靠的特征点。
附图说明
图1为本发明的基于特征匹配的动态区域检测方法流程图；
图2 为用网格划分图像后的效果图；
图3 为ORB算法检测出的特征点和GMS未匹配出的特征点；
图4 为动态区域剔除前和剔除后的对比图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明通过特征匹配分类动态静态区域的方法，提出一种基于特征匹配的动态区域检测方法，目的是降低区域检测计算量以及增强实时性，减少误分类的概率，极大提升了动态区域检测准确率。
请参考图1。图1为本发明的基于特征匹配的动态区域检测方法流程图。
本发明首先提供一种基于特征匹配的动态区域检测方法，其步骤如下：
S1：读取连续7帧图像序列；
通过RGB-D相机、双目相机或单目相机捕捉RGB图像，并读取图像的时间戳，选取时间戳连续的7帧图像；
S2：对S1步骤读取的7帧图像进行64*48均匀网格划分，用网格划分图像后的效果图如图2所示；
针对输入的图像，进行图像大小的读取，如640*480，划分64*48共100个网格，每个网格尺寸大小一致。将图像进行网格划分，以图像块的方式进行处理，每个网格看作一个单元，避免计算每个像素，有效降低计算量；
S3：对S2进行网格划分的图像进行ORB特征点检测，并提取每个特征点对应的描述子；
ORB特征点提取算法是目前最快速稳定的特征点检测和提取算法，ORB特征由关键点和描述子两部分组成，ORB特征使用改进的FAST算法进行角点提取，并针对每个关键点提取周围特征信息即BRIEF描述子，提取出的特征点均匀分布在网格，由于图像部分区域纹理特征较差等，少数网格中并无特征点分布，在此，称无特征点的区域为无关区域；
S4：根据S3提取出的特征点和描述子，对连续的两帧图像进行GMS特征点匹配；
GMS特征匹配是基于运动统计的方法，极大降低无匹配率，并有效提高了匹配的稳定性和匹配速度。GMS算法流程如下：1、检测两帧图像特征点和计算描述子，2、通过BF暴力匹配算法进行匹配，3、将图像划分为G个网格，4、通过计算BF匹配好的特征点
X i 附近的正确匹配个数n与阈值来判断是否该点被正确匹配；
S5：根据S4的匹配结果，通过滑动窗模型对每个网格进行记录，记录每帧图像中，每个网格中的未匹配特征点数量；
由于动态特征移动距离与静态特征不同，以及在不同视场中同一目标的特征点不同，动态特征比静态特征的漏匹配率更高，通过构建滑动窗模型，自定义滑动步长，遵循“取上不取下，取左不取右”的规则统计每个网格中未得到匹配的特征点的数量，即统计网格中的未匹配点个数时，当未匹配点在网格边界时，统一遵循每个网格只统计网格内的数量和网格上边缘的数量以及网格左边缘的数量，以保证统计数量的非重复性，ORB算法检测出的特征点和GMS未匹配出的特征点如图3所示，白色标记为所有ORB算法检测到的特征点，黑色标记为GMS匹配未匹配出的特征点；
S6：针对S5记录的未匹配特征点数量按网格进行统计，未匹配特征点数目超过阈值的网格区域划分为动态区域，不进行后续建图操作。
对7帧图像两两有序进行统计网格，根据统计结果设定阈值，超过阈值的网格区域分类为动态区域，未超过阈值的网格区域视为静态区域，剔除动态区域的特征点，只留下视为静态区域的特征点，得到剔除动态区域的图像，动态区域剔除前和剔除后的对比图如图4所示，左图为动态区域点剔出前，右图为动态区域点剔除后。
本发明在处理图像信息时，采取先进行图像网格划分的方法，将数量多的数据减少，方便计算与操作。
本发明在进行动态区域选取时，首次选用特征匹配数量为标准分类静态区域和动态区域。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。
Claims (7)
1.一种基于特征匹配的动态区域检测方法，其特征在于，包括如下步骤：
S1：读取连续7帧图像序列；
S2：对S1步骤读取的7帧图像进行64*48均匀网格划分
S3：对S2进行网格划分的图像进行ORB特征点检测，并提取每个特征点对应的描述子；
S4：根据S3提取出的特征点和描述子，对连续的两帧图像进行GMS特征点匹配
S5：根据S4的匹配结果，通过滑动窗模型对每个网格进行记录，记录每帧图像中，每个网格中的未匹配特征点数量；
S6：针对S5记录的未匹配特征点数量按网格进行统计，通过聚类的方法将图像划分为动态区域和静态区域。
2.根据权利要求1所述的一种基于特征匹配的动态区域检测方法，其特征在于：所述的步骤S2中采用均匀网格划分图像，先进行图像大小读取，再确定网格缩放比例，确保图像每个像素值都可被检测。
3.根据权利要求1所述的一种基于特征匹配的动态区域检测方法，其特征在于：所述步骤S4中采用的GMS算法进行图像特征点匹配,通过网格划分，运动统计的方法可快速剔除错误匹配。
4.根据权利要求3所述的一种基于特征匹配的动态区域检测方法，其特征在于：所述GMS算法主要流程如下：
（1）检测两幅图像特征点和计算描述子；
（2）通过BF暴力匹配算法进行匹配；
（3）将图像划分为G个网格；
（4）通过计算BF匹配好的特征点附近的正确匹配个数N与阈值来判断是否该点被正确匹配。
5.根据权利要求1所述的一种基于特征匹配的动态区域检测方法，其特征在于：步骤S5中所述的滑动窗模型，根据网格大小，自定义滑动步长。
6.根据权利要求1所述的一种基于特征匹配的动态区域检测方法，其特征在于：步骤S5中，特征点匹配在动态场景和静态场景中的匹配成功率差异较大，动态区域中的未匹配数量明显多于静态区域的数量，利用这一特性，可有效区分动态区域和静态区域，统计网格中的未匹配点个数时，当未匹配点在网格边界时，统一遵循每个网格只统计网格内的数量和网格上边缘的数量以及网格左边缘的数量，以确保不存在重复性统计。
7.根据权利要求1所述的一种基于特征匹配的动态区域检测方法，其特征在于：步骤S6中用K-means算法对统计的未匹配的特征点数量进行聚类，将图像按网格分为动态区域和静态区域，有效的利用了动态目标中静态部分，为后续相机位姿估计提供了更多可靠的特征点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911236350.7A CN111160107B (zh) | 2019-12-05 | 2019-12-05 | 一种基于特征匹配的动态区域检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911236350.7A CN111160107B (zh) | 2019-12-05 | 2019-12-05 | 一种基于特征匹配的动态区域检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111160107A CN111160107A (zh) | 2020-05-15 |
| CN111160107B true CN111160107B (zh) | 2023-04-18 |
Family
ID=70556497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911236350.7A Active CN111160107B (zh) | 2019-12-05 | 2019-12-05 | 一种基于特征匹配的动态区域检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111160107B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862508B (zh) * | 2020-06-22 | 2022-08-30 | 深圳中兴网信科技有限公司 | 监控方法、监控设备和计算机可读存储介质 |
| CN112884831B (zh) * | 2021-02-02 | 2022-10-04 | 清华大学 | 一种基于概率掩膜提取室内停车场长期静态特征的方法 |
| CN113111973A (zh) * | 2021-05-10 | 2021-07-13 | 北京华捷艾米科技有限公司 | 一种基于深度相机的动态场景处理方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102118561B (zh) * | 2010-05-27 | 2013-09-11 | 周渝斌 | 监控系统中相机移动检测系统及方法 |
| CN102495998B (zh) * | 2011-11-10 | 2013-11-06 | 西安电子科技大学 | 基于视觉选择性注意计算模型的静态目标检测方法 |
| CN109117851A (zh) * | 2018-07-06 | 2019-01-01 | 航天星图科技（北京）有限公司 | 一种基于网格统计约束的视频图像匹配方法 |
| CN109387204B (zh) * | 2018-09-26 | 2020-08-28 | 东北大学 | 面向室内动态环境的移动机器人同步定位与构图方法 |
| CN110298884B (zh) * | 2019-05-27 | 2023-05-30 | 重庆高开清芯科技产业发展有限公司 | 一种适于动态环境中单目视觉相机的位姿估计方法 |
| CN110349250B (zh) * | 2019-06-28 | 2020-12-22 | 浙江大学 | 一种基于rgbd相机的室内动态场景的三维重建方法 |
-
2019
- 2019-12-05 CN CN201911236350.7A patent/CN111160107B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111160107A (zh) | 2020-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107622258B (zh) | 一种结合静态底层特征和运动信息的快速行人检测方法 | |
| CN107153817B (zh) | 行人重识别数据标注方法和装置 | |
| CN111160107B (zh) | 一种基于特征匹配的动态区域检测方法 | |
| CN111241975B (zh) | 一种基于移动端边缘计算的人脸识别检测方法及系统 | |
| CN107665351B (zh) | 基于难样本挖掘的机场检测方法 | |
| CN108764041B (zh) | 用于下部遮挡人脸图像的人脸识别方法 | |
| CN111445459B (zh) | 一种基于深度孪生网络的图像缺陷检测方法及系统 | |
| CN110930411B (zh) | 一种基于深度相机的人体分割方法及系统 | |
| CN109325507B (zh) | 结合超像素显著性特征与hog特征图像分类方法和系统 | |
| CN109886978B (zh) | 一种基于深度学习的端到端告警信息识别方法 | |
| CN113095263B (zh) | 遮挡下行人重识别模型训练方法、装置及遮挡下行人重识别方法、装置 | |
| CN104537381B (zh) | 一种基于模糊不变特征的模糊图像识别方法 | |
| CN107578011A (zh) | 视频关键帧的判定方法及装置 | |
| CN116030396B (zh) | 一种用于视频结构化提取的精确分割方法 | |
| CN110555439A (zh) | 标识识别方法及其模型的训练方法、装置和电子系统 | |
| CN111723773A (zh) | 遗留物检测方法、装置、电子设备及可读存储介质 | |
| CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN116311215B (zh) | 一种车牌识别方法 | |
| CN111414938B (zh) | 一种板式换热器内气泡的目标检测方法 | |
| CN110969164A (zh) | 基于深度学习端对端的低照度成像车牌识别方法及装置 | |
| CN108876810A (zh) | 视频摘要中利用图割算法进行运动目标检测的方法 | |
| CN106682669A (zh) | 一种图像处理方法及移动终端 | |
| CN116704490B (zh) | 车牌识别方法、装置和计算机设备 | |
| CN110135382B (zh) | 一种人体检测方法和装置 | |
| CN108564020B (zh) | 基于全景3d图像的微手势识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |