CN110047093B - 高精度边缘保护型rgbd场景流估计方法 - Google Patents
高精度边缘保护型rgbd场景流估计方法 Download PDFInfo
- Publication number
- CN110047093B CN110047093B CN201910326176.9A CN201910326176A CN110047093B CN 110047093 B CN110047093 B CN 110047093B CN 201910326176 A CN201910326176 A CN 201910326176A CN 110047093 B CN110047093 B CN 110047093B
- Authority
- CN
- China
- Prior art keywords
- depth
- image
- formula
- segmentation
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种高精度边缘保护型RGBD场景流估计方法,通过模糊聚类算法对优化后的光流图像进行聚类分割得到初始分割图像,计算各分割层中像素点深度值与其所属层深度值均值之间的差值;计算前后帧图像间像素点对应关系,计算各分层的旋转矩阵和平移矩阵;分别计算各分割层水平方向、垂直方向和深度方向上的运动分量,获得初始场景流;根据变形技术优化光流,然后通过优化后的光流与深度信息求解场景流模型得到最终场景流。有效避免了场景流计算结果中局部过度平滑和边缘模糊现象,提高了场景流估计的精度。
Description
技术领域
本发明涉及图像分割技术,特别涉及一种高精度边缘保护型RGBD场景流估计方法。
背景技术
3D场景流是空间场景或物体移动所形成的三维运动矢量,其不仅包含场景或物体的三维运动参数,还体现了丰富的三维结构信息,通过计算连续帧图像序列3D场景流能够有效恢复场景与物体的三维运动与结构。因此,3D场景流计算技术是图像处理、计算机视觉与人工智能等领域的研究热点,研究成果被广泛应用于无人机避障、目标追踪、气象预测、无人驾驶、智能交通检测指挥、智能机器人等领域。
近年来,随着场景流估计方法的不断发展,针对简单场景的图像序列场景流估计技术取得了显著的成果。但是在具有大位移、弱纹理或者局部非刚性运动等困难场景下,传统场景流分层策略会造成边缘分割不明显和局部过度平滑的问题,会将具有明显差异运动模式的像素点划分到一起,直接影响了场景流估计算法的鲁棒性和准确性。
发明内容
本发明的目的是提供一种高精度边缘保护型RGBD场景流估计方法,能准确地对图像中具有相似运动区域进行分割,并计算得到准确性更高,边缘保护效果更好的场景流结果。
为了解决上述技术问题,本发明采取以下技术方案。高精度边缘保护型RGBD场景流估计方法,其步骤如下:
1)计算连续两帧图像序列间的光流;
2)利用形态重建算法优化光流图像,剔除干扰噪声点;
3)根据模糊聚类算法对优化后的光流图像进行聚类分割,得到初始分割图像;
式中:ukl代表的是图像灰度值l相对于第k个聚类中心得到模糊隶属度,υk表示聚类中心的位置,c表示聚类中心个数,m为模糊参数,ξl是像素点的灰度值,γl代表灰度值为l的像素点个数;
4)计算各分割层中像素点的深度值Dε和各分割层深度均值Dξ;
5)遍历各层像素点,计算像素点深度值与其所属层深度值均值之间的差值Δi,
Δi=|Dε-Dξ| (1)
6)根据Δi和分割阈值σ比较结果对各像素点的位置进行判断,并提取出所有分割层中的误分割像素点,其判断标准如下:
7)遍历所有误分割像素点,计算像素点与所属分割层深度值均值之间的差值,将该点分配到与其差值最小的分割层中,得到优化后的分割图像;
ω(X)=argmin{Δ1,Δ2,...,Δk} (3)
式中:X表示像素点的坐标,Δk表示各点深度值与第k分割层深度值均值之间的差值,ω(X)表示计算后新的隶属层号;
8)根据光流信息和优化后的分割结果,计算前后帧图像间像素点对应关系,并由四元数法求解各层运动的旋转矩阵和平移矩阵;
式中:Αi和Bi分别表示前后帧的对应像素点,R和τ分别表示旋转矩阵和平移矩阵;
(X1,Y1,Z1)=ψtk·α (5)
式(5)中,α=(x0,y0)T表示第一帧图像中的像素点,其对应的像素点为z0,ψtk表示在t时刻、第k层的变换参数矩阵;
式(6)中,cx和cy表示相机的中心,fx和fy表示相机在水平和垂直方向上的焦距;
10)根据变形技术优化光流,然后通过优化后的光流与深度信息求解得到最终场景流结果(u,v,w)T,优化的能量函数模型为:
式(7)中,Edata和Edepth分别表示RGB数据项与深度图数据项:
式(8)中,stk(x)由像分割结果得到的分层函数,0表示该数据无效,1代表该数据有效,I(x)和Z(x)分别表示灰度特征和深度值,ρc和ρd是鲁棒性参数;
式(7)中,Espa-u、Espa-v、Espa-w为水平方向、垂直方向和深度方向上的运动约束项,λmotion为运动约束项的权重系数;
式(9)中,ηb和ηu为鲁棒性惩罚函数;其中ψtk=(Rtk,τtk)T表示第t帧图像,k分割层中像素的变换矩阵参数,Nx表示像素点x=(x,y)T周围毗邻的四个像素点;
式(7)中,Etime是时间约束项,λtime为其对应的权重系数;Espa-g为空间约束项,λsupport为其对应的权重系数;
式(10)中,x=(x+utk(x),y+vtk(x))T表示在时刻t、第k层的像素点x在下一时刻的对应点,其中{utk,vtk}表示RGB图像平面的光流;
式(11)中,Nx表示像素点x=(x,y)T周围毗邻的四个像素点,常量ω0=0.1为空间平衡系数,避免图像中局部区域产生亮度突变的情况。
本发明通过结合光流以及深度信息提取图像序列中的一致运动区域,准确分割运动目标与背景,进而显著提高了场景流计算精度并有效保护了运动边缘,有效避免了场景流计算结果中局部过度平滑和边缘模糊现象,提高了场景流估计的精度。
附图说明
图1a和图1b是Alley_1图像序列连续两帧彩色图像;
(其中:图1a是第一帧图像,图1b是第二帧图像)
图2a和图2b是Alley_1图像序列连续两帧深度图像;
(其中:图2a是第一帧图像,图2b是第二帧图像)
图3是计算得到的Alley_1图像序列光流图像;
图4是对光流图像模糊聚类得到的初始分割图
图5是通过深度信息优化计算得到的最终分割图像;
图6是本发明计算得到的最终场景流结果图。
具体实施方式
以下结合实施例对本发明作进一步说明。一种高精度边缘保护型RGBD场景流估计方法及系统,使用Alley_1图像序列图像进行实验说明:
1)图1a和图1b是Alley_1图像序列连续两帧彩色图像;(其中:图1a是第一帧图像,图1b是第二帧图像;)
图2a和图2b是Alley_1图像序列连续两帧深度图像;(其中:图2a是第一帧图像,图2b是第二帧图像;)
2)计算图像序列连续两帧间的光流,如图3所示;
3)利用形态重建算法优化光流图像,剔除干扰噪声点;
4)根据模糊聚类算法对优化后的光流图像进行聚类分割,得到初始分割图像(参见图4);
式中:ukl代表的是图像灰度值l相对于第k个聚类中心得到模糊隶属度,υk表示聚类中心的位置,c表示聚类中心个数,m为模糊参数,ξl是像素点的灰度值,,γl代表灰度值为l的像素点个数。
5)计算各分割层中像素点的深度值Dε和各分割层深度均值Dξ;
6)遍历各层像素点,计算像素点深度值与其所属层深度值均值之间的差值Δi,
Δi=|Dε-Dξ| (1)
7)根据Δi和分割阈值σ(σ=10)比较结果对各像素点的位置进行判断,并提取出所有分割层中的误分割像素点,其判断标准如下:
8)遍历所有误分割像素点,计算像素点与所有分割层深度值均值之间的差值,将该点分配到与其差值最小的分割层中,得到优化后的分割图像(参见图5):
ω(X)=argmin{Δ1,Δ2,...,Δk} (3)
式(3)中:X表示像素点的坐标,Δk表示各点深度值与第k分割层深度均值之间的差值,ω(X)表示计算后新的隶属层号;
9)根据光流信息和优化后的分割结果,计算前后帧图像间像素点对应关系,并由四元数法求解各分割层运动的旋转矩阵和平移矩阵。
式(4)中:Αi和Bi分别表示前后帧的对应像素点,R和τ分别表示旋转矩阵和平移矩阵;
(X1,Y1,Z1)=ψtk·α (5)
式(5)中,α=(x0,y0)T表示第一帧图像中的像素点,其对应的像素点为z0,ψtk表示在t时刻、第k层的变换参数矩阵。
式(6)中,cx和cy表示相机的中心,fx和fy表示相机在水平和垂直方向上的焦距。
11)根据变形技术优化光流,然后通过优化后的光流与深度信息求解得到最终场景流结果(u,v,w)T,优化的能量函数模型(参见图6)为:
式(7)中,Edata和Edepth分别表示RGB数据项与深度图数据项:
式(8)中,stk(x)由像分割结果得到的分层函数项,I(x)和Z(x)分别表示灰度特征和深度值,ρc和ρd是鲁棒性参数。
式(7)中,Espa-u、Espa-v、Espa-w为水平方向、垂直方向和深度方向上的运动约束项,λmotion为运动约束项的权重系数。
式(9)中,ηb和ηu为鲁棒性惩罚函数。其中ψtk=(Rtk,τtk)T表示第t帧图像,k分割层中像素的变换矩阵参数,Nx表示像素点x=(x,y)T周围毗邻的四个像素点。
式(7)中,Etime时间约束项,λtime为其对应的权重系数。Espa-g为空间约束项,λsupport为其对应的权重系数。
式(10)中,x=(x+utk(x),y+vtk(x))T表示在时刻t、第k层的像素点x在下一时刻的对应点,其中{utk,vtk}表示RGB图像平面的光流。
式(11)中,Nx表示像素点x=(x,y)T周围毗邻的四个像素点,常量ω0=0.1为空间平衡系数,是为了避免图像中局部区域产生亮度突变的情况。
Claims (1)
1.高精度边缘保护型RGBD场景流估计方法,其特征在于,其步骤如下:
1)计算连续两帧图像序列间的光流;
2)利用形态重建算法优化光流图像,剔除干扰噪声点;
3)根据模糊聚类算法对优化后的光流图像进行聚类分割,得到初始分割图像;
式中:ukl代表的是图像灰度值l相对于第k个聚类中心得到模糊隶属度,υk表示聚类中心的位置,υj表示第k个聚类中心的灰度,c表示聚类中心个数,m为模糊参数,ξl是像素点的灰度值,γl代表灰度值为l的像素点个数;
4)计算各分割层中像素点的深度值Dε和各分割层深度均值Dξ;
5)遍历各层像素点,计算像素点深度值与其所属层深度值均值之间的差值Δi,
Δi=|Dε-Dξ| (1)
6)根据Δi和分割阈值σ比较结果对各像素点的位置进行判断,并提取出所有分割层中的误分割像素点,其判断标准如下:
7)遍历所有误分割像素点,计算像素点与所属分割层深度值均值之间的差值,将该点分配到与其差值最小的分割层中,得到优化后的分割图像;
ω(X)=argmin{Δ1,Δ2,...,Δk} (3)
式中:X表示像素点的坐标,Δk表示各点深度值与第k分割层深度值均值之间的差值,ω(X)表示计算后新的隶属层号;
8)根据光流信息和优化后的分割结果,计算前后帧图像间像素点对应关系,并由四元数法求解各层运动的旋转矩阵和平移矩阵;
式中:Ω表示图像区域,Ai和Βi分别表示前后帧的对应像素点,R和τ分别表示旋转矩阵和平移矩阵;
(X1,Y1,Z1)=ψtk·α (5)
式(5)中,α=(x0,y0)T表示第一帧图像中的像素点,其对应的像素点为z0,ψtk表示在t时刻、第k层的变换参数矩阵;
式(6)中,cx和cy表示相机的中心,fx和fy表示相机在水平和垂直方向上的焦距;
10)根据变形技术优化光流,然后通过优化后的光流与深度信息求解得到最终场景流结果(u,v,w)T,优化的能量函数模型为:
式(7)中,Edata和Edepth分别表示RGB数据项与深度图数据项:
式(8)中,stk(x)由像分割结果得到的分层函数,0表示该数据无效,1代表该数据有效,I(x)和Z(x)分别表示灰度特征和深度值,ρc和ρd是鲁棒性参数;
式(7)中,Espa-u、Espa-v、Espa-w为水平方向、垂直方向和深度方向上的运动约束项,λmotion为运动约束项的权重系数;
式(9)中,ηb和ηu为鲁棒性惩罚函数;其中ψtk=(Rtk,τtk)T表示第t帧图像,k分割层中像素的变换矩阵参数,Nx表示像素点x=(x,y)T周围毗邻的四个像素点;
式(7)中,Etime是时间约束项,λtime为其对应的权重系数;Espa-g为空间约束项,λsupport为其对应的权重系数;
式(11)中,Nx表示像素点x=(x,y)T周围毗邻的四个像素点,常量ω0=0.1为空间平衡系数,避免图像中局部区域产生亮度突变的情况。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910326176.9A CN110047093B (zh) | 2019-04-23 | 2019-04-23 | 高精度边缘保护型rgbd场景流估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910326176.9A CN110047093B (zh) | 2019-04-23 | 2019-04-23 | 高精度边缘保护型rgbd场景流估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110047093A CN110047093A (zh) | 2019-07-23 |
CN110047093B true CN110047093B (zh) | 2021-04-27 |
Family
ID=67278571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910326176.9A Active CN110047093B (zh) | 2019-04-23 | 2019-04-23 | 高精度边缘保护型rgbd场景流估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110047093B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112184757A (zh) * | 2020-09-28 | 2021-01-05 | 浙江大华技术股份有限公司 | 运动轨迹的确定方法及装置、存储介质、电子装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101763512A (zh) * | 2009-12-11 | 2010-06-30 | 西安电子科技大学 | 高分辨率遥感图像中道路目标的半自动检测方法 |
CN101881615A (zh) * | 2010-05-28 | 2010-11-10 | 清华大学 | 用于驾驶安全的视觉障碍物检测方法 |
CN103236063A (zh) * | 2013-05-03 | 2013-08-07 | 河海大学 | 基于多尺度谱聚类及决策级融合的sar图像溢油检测方法 |
CN104156932A (zh) * | 2013-05-13 | 2014-11-19 | 哈尔滨点石仿真科技有限公司 | 一种基于光流场聚类的运动目标分割方法 |
CN105006016A (zh) * | 2015-05-21 | 2015-10-28 | 北京航空航天大学 | 一种贝叶斯网络约束的部件级三维模型构建方法 |
CN108986150A (zh) * | 2018-07-17 | 2018-12-11 | 南昌航空大学 | 一种基于非刚性稠密匹配的图像光流估计方法及系统 |
CN108986136A (zh) * | 2018-07-23 | 2018-12-11 | 南昌航空大学 | 一种基于语义分割的双目场景流确定方法及系统 |
CN109344813A (zh) * | 2018-11-28 | 2019-02-15 | 北醒(北京)光子科技有限公司 | 一种基于rgbd的目标识别和场景建模方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI636395B (zh) * | 2016-11-10 | 2018-09-21 | 財團法人金屬工業研究發展中心 | 基於深度值之手勢操作方法及其系統 |
CN106952266B (zh) * | 2017-03-17 | 2019-04-30 | 南昌航空大学 | Rgbd序列场景流计算中深度图像优化方法 |
US10929987B2 (en) * | 2017-08-16 | 2021-02-23 | Nvidia Corporation | Learning rigidity of dynamic scenes for three-dimensional scene flow estimation |
CN107767393B (zh) * | 2017-09-07 | 2021-05-25 | 南京信息工程大学 | 一种面向移动硬件的场景流估计方法 |
-
2019
- 2019-04-23 CN CN201910326176.9A patent/CN110047093B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101763512A (zh) * | 2009-12-11 | 2010-06-30 | 西安电子科技大学 | 高分辨率遥感图像中道路目标的半自动检测方法 |
CN101881615A (zh) * | 2010-05-28 | 2010-11-10 | 清华大学 | 用于驾驶安全的视觉障碍物检测方法 |
CN103236063A (zh) * | 2013-05-03 | 2013-08-07 | 河海大学 | 基于多尺度谱聚类及决策级融合的sar图像溢油检测方法 |
CN104156932A (zh) * | 2013-05-13 | 2014-11-19 | 哈尔滨点石仿真科技有限公司 | 一种基于光流场聚类的运动目标分割方法 |
CN105006016A (zh) * | 2015-05-21 | 2015-10-28 | 北京航空航天大学 | 一种贝叶斯网络约束的部件级三维模型构建方法 |
CN108986150A (zh) * | 2018-07-17 | 2018-12-11 | 南昌航空大学 | 一种基于非刚性稠密匹配的图像光流估计方法及系统 |
CN108986136A (zh) * | 2018-07-23 | 2018-12-11 | 南昌航空大学 | 一种基于语义分割的双目场景流确定方法及系统 |
CN109344813A (zh) * | 2018-11-28 | 2019-02-15 | 北醒(北京)光子科技有限公司 | 一种基于rgbd的目标识别和场景建模方法及装置 |
Non-Patent Citations (2)
Title |
---|
Robust Non-Local TV-L1 Optical Flow Estimation With Occlusion Detection;Congxuan Zhang 等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20170831;第4055-4067页 * |
深度图像优化分层分割的3D场景流估计;葛利跃 等;《南昌航空大学学报:自然科学版》;20180630;第32卷(第2期);第17-25页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110047093A (zh) | 2019-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mehra et al. | ReViewNet: A fast and resource optimized network for enabling safe autonomous driving in hazy weather conditions | |
CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
CN110111338B (zh) | 一种基于超像素时空显著性分割的视觉跟踪方法 | |
CN113506318B (zh) | 一种车载边缘场景下的三维目标感知方法 | |
CN109859249B (zh) | Rgbd序列中基于自动分层的场景流估计方法 | |
CN106952291B (zh) | 基于3维结构张量各向异性流驱动的场景流车流量统计与测速方法 | |
CN113744315B (zh) | 一种基于双目视觉的半直接视觉里程计 | |
CN112215925A (zh) | 自适应采煤机随动跟踪多摄像头视频拼接方法 | |
CN115375733A (zh) | 基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法 | |
CN116229359A (zh) | 一种基于改进经典光流法模型的烟雾识别方法 | |
CN110047093B (zh) | 高精度边缘保护型rgbd场景流估计方法 | |
CN110533692B (zh) | 一种面向无人机航拍视频中移动目标的自动跟踪方法 | |
CN104159098B (zh) | 一种视频的时域一致性半透明边缘提取方法 | |
CN109903322B (zh) | 一种深度摄像头深度图像修复方法 | |
CN108090920B (zh) | 一种光场图像深度流估计方法 | |
Roy et al. | A comprehensive survey on computer vision based approaches for moving object detection | |
CN111950599B (zh) | 一种动态环境下融合边缘信息的稠密视觉里程计方法 | |
CN112634305B (zh) | 一种基于边缘特征匹配的红外视觉里程计实现方法 | |
CN107944350B (zh) | 一种基于外观和几何信息融合的单目视觉道路识别方法 | |
CN110473228B (zh) | Rgbd视频中基于局部刚性假设的场景流估计方法 | |
Schulz et al. | Object-class segmentation using deep convolutional neural networks | |
CN112802053B (zh) | 一种面向动态环境稠密建图的动态物体检测方法 | |
Hirata et al. | Real-time dense depth estimation using semantically-guided LIDAR data propagation and motion stereo | |
CN113192133B (zh) | 基于语义平面的单目即时定位与致密语义地图构建方法 | |
CN115330874A (zh) | 基于超像素处理遮挡的单目深度估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |