CN110503093A - 基于视差图dbscan聚类的感兴趣区域提取方法 - Google Patents
基于视差图dbscan聚类的感兴趣区域提取方法 Download PDFInfo
- Publication number
- CN110503093A CN110503093A CN201910670332.3A CN201910670332A CN110503093A CN 110503093 A CN110503093 A CN 110503093A CN 201910670332 A CN201910670332 A CN 201910670332A CN 110503093 A CN110503093 A CN 110503093A
- Authority
- CN
- China
- Prior art keywords
- cluster
- area
- dbscan
- interest
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视差图DBSCAN聚类的感兴趣区域提取方法,包括如下步骤:步骤1:对双目视图进行匹配计算,得出视差图像;步骤2:将视差图像变形为1行N列向量的图像矩阵;其中,N为图像宽W与高H的乘积;步骤3:以视差的绝对值距离作为DBSCAN样本距离,利用DBSCAN聚类算法对图像矩阵进行聚类分析;步骤4:将聚类结果映射回原双目视图中的某一路,并根据聚类结果获取感兴趣区域。本发明无需人工交互和样本集训练,可以自动提取各深度下的感兴趣区域,不受复杂背景的影响,有利于图像的进一步分析和处理。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于视差图DBSCAN聚类的感兴趣区域提取方法。
背景技术
感兴趣区域(Region of Interest,ROI)是指从被处理的图像中以某种形式选择的一个图像区域,此区域作为图像后续分析所关注的重点。一般而言,感兴趣区域为图像中目标物体所在区域,而非背景区域。采用感兴趣区域提取技术,可以减少图像处理时间,提高处理精度。
现有的感兴趣区域提取多基于单目图像,通常采用人工交互手段或图像阈值分割方法,寻找相应的目标区域并视作感兴趣区域,其精度受图像本身影响较大,如光照不均、前背景差异较小均会造成提取的困难。目标检测技术也可作为感兴趣区域提取的一种手段,检测输出的目标框作为后续处理的感兴趣区,但是其需要大量的样本作为离线训练数据,对于样本获取及标注成本较大的场合难以适用。
双目立体视觉融合双路图像,通过建立图像特征间的对应关系,将同一空间物理点在不同图像中的映像点对应起来,形成视差图像,为图像处理提供距离向信息。单纯的视差图可简单理解为单通道图像,图像上每个像素点的值代表不同的视差,距离越近,视差越大。视差值的分布代表了空间上物体的分布情况。因此,基于视差图进行感兴趣区域提取可以极大地简化感兴趣区域提取的难度,避免对样本数据的依赖。
发明内容
本发明的主要目的在于提供了一种基于视差图DBSCAN聚类的感兴趣区域提取方法,该方法通过对视差图进行DBSCAN聚类,获取原始视图的感兴趣区域。该方法无需人工交互和样本集训练,可以自动提取各深度下的感兴趣区域,不受复杂背景的影响,有利于图像的进一步分析和处理。
本发明的发明目的采用以下技术方案实现:
一种基于视差图DBSCAN聚类的感兴趣区域提取方法,包括如下步骤:
步骤1:对双目视图进行匹配计算,得出视差图像;
步骤2:对视差图像进行预处理,将视差图像变形为1行N列向量的图像矩阵;其中,N为图像宽W与高H的乘积;
步骤3:以视差的绝对值距离作为DBSCAN样本距离,利用DBSCAN聚类算法对步骤2所得图像矩阵进行聚类分析;
步骤4:将聚类结果映射回原双目视图中的某一路,并根据聚类结果获取感兴趣区域。
优选地,步骤1采用稀疏视差图方法或稠密视差图计算方法从双目视图中得出视差图像。
优选地,步骤2的具体过程为:
首先,采用形态学膨胀和腐蚀操作,进行空洞填充并去除孤立的噪声点;
然后,设定阈值T,将腐蚀后的图像中小于T的视差设为0;
最后,将处理后的视差图像变形为1行N列向量的图像矩阵。
优选地,步骤3中,聚类时忽略视差为0的点。
本发明具有以下技术效果:
1、本发明提供的基于视差图DBSCAN聚类的感兴趣区域提取方法,无需人工交互和样本集训练,能够自动提取图像的感兴趣区域。
2、本发明提供的基于视差图DBSCAN聚类的感兴趣区域提取方法,可以自动提取各深度下的感兴趣区域,不受复杂背景的影响。
附图说明
图1是本发明基于视差图DBSCAN聚类的感兴趣区域提取方法的整体框图。
图2是本发明中DBSCAN聚类算法的模型图。
图3是本发明实施案例中的双目图像。
图4是本发明实施案例中的视差图。
图5是本发明实施例中的聚类结果。
图6是本发明实施案例中基于视差图DBSCAN聚类的感兴趣区域提取方法进行感兴趣区域提取的结果图。
具体实施方式
为进一步说明本发明的技术内容,以下结合附图及实施案例对本发明详细说明。
参见图1所示,一种基于视差图DBSCAN聚类的感兴趣区域提取方法,包括如下步骤:
步骤1:对双目视图进行匹配计算,得出视差图像。视差图像可以来自采用基于SAD匹配的稀疏视差图方法,也可以来自基于SGM、图割、深度学习等稠密视差图计算方法。视差图应量化至0~255的像素值区间。
步骤2:对步骤1输入的视差图像进行预处理,将视差图像变形为1行N列向量的图像矩阵;其中,N为图像宽W与高H的乘积,视差图像中的背景在图像矩阵中用0表示。
所述步骤2中预处理的具体过程为:
首先,采用形态学膨胀和腐蚀操作,进行空洞填充并去除孤立的噪声点。数学形态学操作采用结构元素element对图像进行卷积,并求取局部极值:
其中,dilate表示膨胀后的图像,src表示原视差图,erode表示腐蚀后的图像,element为形态学操作的结构元素。
形态学操作的迭代次数视视差图实际情况而定,一般1~3次即可。
然后,设定阈值T,将腐蚀后的图像中小于T的视差设为0,作为背景以达到减小计算量的目的。实际聚类时对于视差为0的元素,不进行操作。阈值T根据实际使用场景设置,一般不宜太大。
最后,将处理后的视差图像变形为1行N列向量,以方便处理。N为图像宽W与高H的乘积。
步骤3:以视差的绝对值距离作为DBSCAN样本距离,利用DBSCAN聚类算法对步骤2所得图像矩阵进行聚类分析;
用于DBSCAN聚类的输入数据为1行N列向量,聚类时忽略视差为0的点。DBSCAN样本距离Eps以视差的绝对值距离计算,而非欧式距离等空间距离。
如图2所示,展示了DBSCAN算法的一般思想(图中并未展示所有的聚类簇)。图2中取Eps=1,且设定对于某个特定的点,在Eps的距离范围内有0~1个近邻点,则这个点为离群点;有2个近邻点,则这个点是边界点;有3个及以上近邻点,则这个点为核心点。
核心点对应稠密区域内部的点,边界点对应稠密区域边缘的点,而离群点对应稀疏区域中的点。
聚类过程按照以下流程进行:
输入:长度为N的视差图向量v(v1,v2,...,vN),邻域参数(Eps,MinPts),距离度量方式。
输出:聚类簇C。
1)初始化核心点集合初始化聚类簇数k为0,初始化未访问的点集Γ为D,簇划分
2)对于j=1,2,...,N,按下面的步骤找出所有的核心点:
a)通过视差值绝对值距离度量方式,找到样本vj的∈-邻域子点集Nε(vj);
b)如果子点集点的个数满足|Nò(vj)|≥MinPts,将点vj加入核心点集合:Ω=Ω∪{vj};
3)如果核心点集台则算法结束,否则转入步骤4);
4)在核心点集合Ω中,随机选择一个核心点o,初始化当前簇核心点队列Ωcur={o},初始化类别序号k=k+1,初始化当前簇点集合Ck={o},更新未访问的点集合Γ=Γ-{o};
5)如果当前簇核心点队列则当前聚类簇Ck生成完毕,更新簇划分C={C1,C2,...,Ck},更新核心点集合Ω=Ω-Ck,转入步骤3);
6)在当前簇核心点队列Ωcur中取出一个核心点o′,通过邻域距离阈值Eps找出所有的∈-邻域子点集Nò(o′),令Δ=Nò(o′)∩Γ,更新当前簇点集合Ck=Ck∪Δ,更新未访问的点集合Γ=Γ-Δ,更新Ωcur=Ωcur∪(Δ∩Ω)-o′,转入步骤5);
输出结果为:簇划分C={C1,C2,...,Ck}。
以上,阈值Eps及MinPts需指定,MinPts为同一簇内满足距离度量的点的个数。
步骤4:将聚类结果映射回原双目视图中的某一路,并根据聚类结果获取感兴趣区域。
视差图对应回原双目视图按照像素位置映射,左视差图对应左图,右视差图对应右图。获取聚类点的最小外接矩形作为最终的感兴趣区域。
为验证本发明提供的一种基于视差图DBSCAN聚类的感兴趣区域提取方法的功效,以两张双目图像进行实验,实验所用左右视图如图3所示,视差图如图4所示。图5为基于改进DBSCAN聚类后的标记图。图6为聚类结果映射回原图提取得到的感兴趣区域。
可以看出,除背景外共提取得到4个感兴趣区域,分别对应原图中雕塑、台灯、桌子及三脚架4个明显目标区域。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于视差图DBSCAN聚类的感兴趣区域提取方法,包括如下步骤:
步骤1:对双目视图进行匹配计算,得出视差图像;
步骤2:对视差图像进行预处理,将视差图像变形为1行N列向量的图像矩阵;其中,N为图像宽W与高H的乘积;
步骤3:以视差的绝对值距离作为DBSCAN样本距离,利用DBSCAN聚类算法对步骤2所得图像矩阵进行聚类分析;
步骤4:将聚类结果映射回原双目视图中的某一路,并根据聚类结果获取感兴趣区域。
2.根据权利要求1所述的一种基于视差图DBSCAN聚类的感兴趣区域提取方法,其特征在于步骤1采用稀疏视差图方法或稠密视差图计算方法从双目视图中得出视差图像。
3.根据权利要求1所述的一种基于视差图DBSCAN聚类的感兴趣区域提取方法,其特征在于步骤2的具体过程为:
首先,采用形态学膨胀和腐蚀操作,进行空洞填充并去除孤立的噪声点;
然后,设定阈值T,将腐蚀后的图像中小于T的视差设为0;
最后,将处理后的视差图像变形为1行N列向量的图像矩阵。
4.根据权利要求3述的一种基于视差图DBSCAN聚类的感兴趣区域提取方法,其特征在于步骤3中,聚类时忽略视差为0的点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910670332.3A CN110503093B (zh) | 2019-07-24 | 2019-07-24 | 基于视差图dbscan聚类的感兴趣区域提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910670332.3A CN110503093B (zh) | 2019-07-24 | 2019-07-24 | 基于视差图dbscan聚类的感兴趣区域提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110503093A true CN110503093A (zh) | 2019-11-26 |
CN110503093B CN110503093B (zh) | 2022-11-04 |
Family
ID=68586789
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910670332.3A Active CN110503093B (zh) | 2019-07-24 | 2019-07-24 | 基于视差图dbscan聚类的感兴趣区域提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110503093B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110991543A (zh) * | 2019-12-09 | 2020-04-10 | 腾讯科技(深圳)有限公司 | 图像感兴趣区聚类方法和装置、计算设备、和存储介质 |
CN111382741A (zh) * | 2020-03-13 | 2020-07-07 | 广东工业大学 | 一种自然场景图片中文本检测方法、系统及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103077521A (zh) * | 2013-01-08 | 2013-05-01 | 天津大学 | 一种用于视频监控的感兴趣区域提取方法 |
EP2772883A2 (en) * | 2013-02-28 | 2014-09-03 | Ricoh Company, Ltd. | Road-surface height shape estimation method and system |
CN105404886A (zh) * | 2014-09-16 | 2016-03-16 | 株式会社理光 | 特征模型生成方法和特征模型生成装置 |
CN109100741A (zh) * | 2018-06-11 | 2018-12-28 | 长安大学 | 一种基于3d激光雷达及图像数据的目标检测方法 |
-
2019
- 2019-07-24 CN CN201910670332.3A patent/CN110503093B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103077521A (zh) * | 2013-01-08 | 2013-05-01 | 天津大学 | 一种用于视频监控的感兴趣区域提取方法 |
EP2772883A2 (en) * | 2013-02-28 | 2014-09-03 | Ricoh Company, Ltd. | Road-surface height shape estimation method and system |
CN105404886A (zh) * | 2014-09-16 | 2016-03-16 | 株式会社理光 | 特征模型生成方法和特征模型生成装置 |
CN109100741A (zh) * | 2018-06-11 | 2018-12-28 | 长安大学 | 一种基于3d激光雷达及图像数据的目标检测方法 |
Non-Patent Citations (2)
Title |
---|
应光林: "基于双目视觉感兴趣区域的行人检测", 《信息通信》 * |
王鹏达等: "基于DBSCAN技术的SAR图像感兴趣区域鉴别", 《信息技术》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110991543A (zh) * | 2019-12-09 | 2020-04-10 | 腾讯科技(深圳)有限公司 | 图像感兴趣区聚类方法和装置、计算设备、和存储介质 |
CN110991543B (zh) * | 2019-12-09 | 2023-07-18 | 腾讯科技(深圳)有限公司 | 图像感兴趣区聚类方法和装置、计算设备、和存储介质 |
CN111382741A (zh) * | 2020-03-13 | 2020-07-07 | 广东工业大学 | 一种自然场景图片中文本检测方法、系统及设备 |
CN111382741B (zh) * | 2020-03-13 | 2023-05-09 | 广东工业大学 | 一种自然场景图片中文本检测方法、系统及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110503093B (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106157319B (zh) | 基于卷积神经网络的区域和像素级融合的显著性检测方法 | |
CN109299274B (zh) | 一种基于全卷积神经网络的自然场景文本检测方法 | |
US10353271B2 (en) | Depth estimation method for monocular image based on multi-scale CNN and continuous CRF | |
CN107274419B (zh) | 一种基于全局先验和局部上下文的深度学习显著性检测方法 | |
CN111340814B (zh) | 一种基于多模态自适应卷积的rgb-d图像语义分割方法 | |
CN111274921B (zh) | 一种利用姿态掩模进行人体行为识别的方法 | |
CN109086777B (zh) | 一种基于全局像素特征的显著图精细化方法 | |
CN104966286A (zh) | 一种3d视频显著性检测方法 | |
CN109685045B (zh) | 一种运动目标视频跟踪方法及系统 | |
CN109377555B (zh) | 自主水下机器人前景视场三维重建目标特征提取识别方法 | |
CN113240691A (zh) | 一种基于u型网络的医学图像分割方法 | |
CN109509156B (zh) | 一种基于生成对抗模型的图像去雾处理方法 | |
CN110956681B (zh) | 一种结合卷积网络和邻域相似性的人像背景自动替换方法 | |
CN110335299B (zh) | 一种基于对抗网络的单目深度估计系统实现方法 | |
CN112465021B (zh) | 基于图像插帧法的位姿轨迹估计方法 | |
Xue et al. | Boundary-induced and scene-aggregated network for monocular depth prediction | |
CN113344932A (zh) | 一种半监督的单目标视频分割方法 | |
CN109584355A (zh) | 基于手机gpu的三维模型快速重建方法 | |
CN110070574A (zh) | 一种基于改进PSMNet的双目视觉立体匹配算法 | |
CN110503093A (zh) | 基于视差图dbscan聚类的感兴趣区域提取方法 | |
CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
CN107944350A (zh) | 一种基于外观和几何信息融合的单目视觉道路识别算法 | |
CN114782714A (zh) | 一种基于上下文信息融合的图像匹配方法及装置 | |
CN117541652A (zh) | 一种基于深度lk光流法与d-prosac采样策略的动态slam方法 | |
CN112541930A (zh) | 基于级联式的图像超像素目标行人分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |