CN106412560A - 一种基于深度图的立体图像生成方法 - Google Patents
一种基于深度图的立体图像生成方法 Download PDFInfo
- Publication number
- CN106412560A CN106412560A CN201610860331.1A CN201610860331A CN106412560A CN 106412560 A CN106412560 A CN 106412560A CN 201610860331 A CN201610860331 A CN 201610860331A CN 106412560 A CN106412560 A CN 106412560A
- Authority
- CN
- China
- Prior art keywords
- view
- image
- depth
- pixel
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
针对传统平行双目立体视觉传输过程中,直接传输左视图和右视图信息量大,占用传输带宽资源多,传输效率低等问题。本发明公开了一种基于深度图的立体图像生成方法,首先采用形态学与双边滤波对深度图像进行预处理,减少深度图像中的空洞;然后根据双目平行立体成像系统的原理结合深度图和给出视点图还原出另一视点图像;最后对还原出的视图根据深度信息和原视图信息对空洞点进行填补,得到最终的左右视图立体图像对。比起传统方法中直接传输左视图和右视图,本发明中的深度图像的信息量要比普通视图小得多,深度图像的传输在速度和效率上都要更高,且占用传输带宽小,既能节约资源又能提高效率。
Description
技术领域
本发明涉及计算机视觉领域,特指一种基于深度图的立体图像生成方法。
背景技术
随着计算机视觉领域技术的进步,立体影像技术变得越来越热门。立体影像能够增强影像中场景的真实感和沉浸感,在文化娱乐、医疗、军事仿真、工程展览、教育领域得到了广泛应用,已成为各国科研和产业界关注的热点领域。
立体影像相关技术主要涉及立体影像生成、立体影像显示和立体影像感知三个方面。在传统的平行双目立体影像成像系统中,是通过同时传送拍摄的左视图和右视图生成立体影像,这种方法在影像数据量小的情况下是可行的,但在影像数据量大的情况下不太适用。
虽然近年来计算机芯片的处理能力得到了很大的提高,通信信道的带宽得到了增加,通信速度得到了加快,但是仍然难以处理信息量越来越大的影像文件。
发明内容
针对传统平行双目立体视觉传输过程中,直接传输左视图和右视图信息量大,占用传输带宽资源多,传输效率低等问题,本发明提出了一种基于深度图的立体图像生成方法。本发明提出的立体成像方法只需要传输左视图或右视图的任意一幅视图以及相应的深度图即可,在影像接收端通过深度图像分析恢复出另一视图,得到立体图像。比起直接传输左视图和右视图,深度图像的信息量要比普通视图小得多,深度图像的传输在速度和效率上都要更高,且占用传输带宽小,既能节约资源又能提高效率。
本发明采用的技术方案是:
一种基于深度图的立体图像生成方法,包括以下步骤:
S1给定平行双目立体成像系统采集的左视图或右视图及其对应的深度图像,并对给定的这一幅深度图像进行预处理。
S2根据平行双目立体成像原理,通过左视图及其对应的深度图像还原出右视图,或者通过右视图及其对应的深度图像还原出左视图。
S3检测S2中还原得到的视图上的空洞像素点,并根据空洞像素点对应的深度信息和给定视图信息对还原出的视图进行空洞填补。
步骤S1中,利用形态学滤波和双边滤波对深度图像进行预处理,包括以下步骤:
(1)搜索深度图像上的空洞像素点,计算待处理空洞水平方向上最长的行所占的像素点个数,并将其记为s像素长度;
(2)根据s构造n×1的可变直线型形态学结构元素b;
可变直线型形态学结构元素b可表示为矩阵其中n是根据s的变化而变化的,s为深度图像上待处理空洞水平方向上最长的行所占的像素点个数,结构元素b的原点位于其中心;
(3)用结构元素b对深度图像进行膨胀运算,得到图像A;
膨胀运算公式为:
其中f为待处理图像函数(此处即为图像A),b是结构元素,Df、Db分别表示f、b的定义域,(t,m)为f的像素点坐标,(x,y)为b的像素点坐标。
(4)用结构元素b对图像A进行腐蚀运算,得到图像B;
腐蚀运算公式为:
(f⊙b)(t,m)=min{f(t+x,m+y)-b(x,y)|(t+x),(m+y)∈Df且(x,y)∈Db}
其中f为待处理图像函数(此处即为图像B),b是结构元素,Df、Db分别表示f、b的定义域,(t,m)为f的像素点坐标,(x,y)为b的像素点坐标。
(5)用双边滤波对图像B进行滤波,得到预处理后深度图像C。
步骤S2中,平行双目立体成像系统中,左摄像机与右摄像机的参数一致,两摄像机光轴平行且垂直于基线,构成一共极结构,两摄像机拍摄的左视图和右视图只有水平视差,设h为基线,k为相机焦距。对于空间同一特征点P(x,y,z),在左视图和右视图上的成像坐标分别为p(xl,yl,zl),p(xr,yr,zr),由几何三角知识有:于是可以得到视差d为d=xl-xr,从而可以得到特征点P在相机坐标系下的三维坐标计算公式为:其中Z即为特征点P的深度值。
由于h和k是已知的,由深度图像可以得到像素点的深度值Z,如果步骤S1中给出的是左视图,则可以得到左视图上像素点坐标xl,由公式和d=xl-xr便可求得右视图上对应的像素点坐标xr,还原出右视图;同理如果步骤S1中给出的是右视图,则可以得到右视图上像素点坐标xr,由公式和d=xl-xr便可求得左视图上对应的像素点坐标xl,还原出左视图。
步骤S3中,空洞填补的具体方法为:
S31首先对还原得到的视图上每一个像素点从左到右从上至下进行遍历,搜索还原得到的视图上的空洞像素点,其坐标记为(x,y).
S32根据空洞像素点的深度信息Z,相机参数h和k以及公式计算出视差值d.
S33根据步骤(2)中求出的视差值d,找到S1中采集的原始左视图或右视图中的坐标为((x,y-d),(x,y+d))的像素点,并将其像素值赋值给还原得到的视图中坐标为(x,y)的像素点,得到空洞修复视图.
S34将空洞修复后的视图进行中值滤波,进一步减少噪点,得到最终视图。
综上所述,本发明提出的一种基于深度图的立体图像生成方法主要包括以下三个步骤:深度图像预处理、视图还原、还原视图空洞修补。深度图像预处理以及还原视图空洞修补都是针对深度图像绘制技术会产生空洞的缺点提出的解决方法,深度图像预处理能减少还原视图中洞的产生,还原试图空洞修补能够进一步修复产生的空洞,得到质量更高的还原视图。本发明中使用的一种基于可变型结构元素的形态学滤波方法以及基于深度信息修复空洞的方法能有效地解决还原视图中的空洞问题,实用性强。
附图说明
图1是平行双目立体视觉系统的原理图;
图2基于深度图像的立体图像生成方法示意图;
图3深度图像预处理方法流程图;
图4还原视图空洞填补方法流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明。
本发明提出的一种基于深度图的立体图像生成方法是以平行双目立体视觉模型为基础的。
首先给定平行双目立体成像系统采集的左视图或右视图及其对应的深度图像,并对给定的这一幅深度图像进行预处理。
深度图像在采集过程中由于设备自身以及周围环境等影响,通常含有大量空洞和噪声,如果直接使用会影响到后续效果,故需要对深度图像进行预处理操作。其具体过程是先用形态学滤波对深度图像进行一次滤波,然后对一次滤波后的深度图像采用双边滤波进行二次滤波。
形态学滤波是基于数学形态学的一种非线性滤波,它的基本运算有4个:膨胀运算、俯视运算、开运算和闭运算。灰度膨胀实际上是一个求局部最大值的操作,膨胀操作能够扩充物体的边缘部分,使物体范围增大;灰度腐蚀实际上是一个求局部最小值的操作,腐蚀操作会缩减物体的边缘部分,减小物体范围。
灰度膨胀公式为:
灰度腐蚀公式为:
(f⊙b)(t,m)=min{f(t+x,m+y)-b(x,y)|(t+x),(m+y)∈Df且(x,y)∈Db}
其中f为待处理图像函数,b是结构元素,Df、Db分别表示f、b的定义域,(t,m)为f的像素点坐标,(x,y)为b的像素点坐标。
双目视觉系统中的两部摄像机位于同一水平线上,所拍摄的左右视图之间只存在水平方向上的视差,通过深度图像还原出的视图中出现黑洞是由于深度图中水平方向的深度值突变引起的,深度值的水平突变处即为深度图的水平边缘处,若要减少还原视图中的洞需要对深度图水平边沿做平滑滤波处理。针对这种情况本发明提出了一种可变直线型形态学结构元素对空洞处进行滤波处理,填补黑洞。设该可变直线型形态学结构元素为b,可表示为矩阵其大小为n×1,其中n是根据s的变化而变化的,s为深度图像上待处理空洞水平方向上最长的行所占的像素点个数,结构元素b的原点位于其中心。
本发明首先利用形态学滤波和双边滤波对深度图像进行一次滤波,具体步骤为:
(1)搜索深度图像上的空洞像素点,计算待处理空洞水平方向上最长的行所占的像素点个数,并将其记为s像素长度;
(2)根据s构造n×1的可变直线型形态学结构元素b;
可变直线型形态学结构元素b可表示为矩阵其中n是根据s的变化而变化的,s为深度图像上待处理空洞水平方向上最长的行所占的像素点个数,结构元素b的原点位于其中心;
(3)用结构元素b对深度图像进行膨胀运算,得到图像A;
膨胀运算公式为:
其中f为待处理图像函数(此处即为图像A),b是结构元素,Df、Db分别表示f、b的定义域,(t,m)为f的像素点坐标,(x,y)为b的像素点坐标;
(4)用结构元素b对图像A进行腐蚀运算,得到图像B;
腐蚀运算公式为:
(f⊙b)(t,m)=min{f(t+x,m+y)-b(x,y)|(t+x),(m+y)∈Df且(x,y)∈Db}
其中f为待处理图像函数(此处即为图像B),b是结构元素,Df、Db分别表示f、b的定义域,(t,m)为f的像素点坐标,(x,y)为b的像素点坐标。
图像B即为一次滤波得到的图像。通过形态学进行一次滤波后的图像会出现毛糙现象,故需要对图像B进行二次滤波,平滑毛糙。本发明采用的是双边滤波器,因为双边滤波器由两个核函数组成,滤波时同时参考了空间域上的相关性和像素值的相似程度,在滤波的同时考虑到了图像的边缘信息,使图像能在边缘信息保持较好的情况下得到平滑。
通过双边滤波,得到预处理深度图像后,进行第二步操作,通过给出的左(右)视图和预处理后深度图还原出右(左)视图。平行双目立体视觉模型如图1所示,图中左摄像机与右摄像机的参数一致,光轴平行,且垂直于基线,构成一共极结构,两相机拍摄的左视图和右视图只有水平视差,图中h为基线,k为相机焦距。对于空间同一特征点P(x,y,z),在左视图和右视图上的成像坐标分别为p(xl,yl,zl),p(xr,yr,zr),由几何三角知识有:于是可以得到视差d为d=xl-xr,从而可以得到特征点P在相机坐标系下的三维坐标计算公式为:其中Z即为特征点P的深度值。由于h和k是已知的,由深度图像可以得到像素点的深度值Z,给出的左(右)视图可以得到像素点坐标xl(xr),由公式和d=xl-xr便可求得右(左)视图的xr(xl)坐标像素点,还原出右(左)视图。
最后,通过空洞像素点的深度信息对还原出的视图进行空洞填补。其具体过程为:
(1)首先对还原出的视图上每一个像素点从左到右从上至下进行遍历,搜索图像空洞像素点,其坐标记为(x,y);
(2)根据空洞像素点的深度信息Z,相机参数h和k以及上面所述的公式计算出视差值d;
(3)根据步骤(2)中求出的视差d,找到原始拍摄到的左视图(右视图)中的坐标为(x,y-d)((x,y+d))的像素点,并将其像素值赋值给还原出的视图中坐标为(x,y)的像素点,得到空洞修复视图;
(4)将空洞修复后的视图进行中值滤波,进一步减少噪点,得到最终视图。
Claims (5)
1.一种基于深度图的立体图像生成方法,其特征在于,包括以下步骤:
S1给定平行双目立体成像系统采集的左视图或右视图及其对应的深度图像,并对给定的这一幅深度图像进行预处理;
S2根据平行双目立体成像原理,通过左视图及其对应的深度图像还原出右视图,或者通过右视图及其对应的深度图像还原出左视图;
S3检测S2中还原得到的视图上的空洞像素点,并根据空洞像素点的深度信息和给定视图信息对还原出的视图进行空洞填补。
2.根据权利要求1所述的基于深度图的立体图像生成方法,其特征在于,步骤S1中,利用形态学滤波和双边滤波对深度图像进行预处理,包括以下步骤:
(1)搜索深度图像上的空洞像素点,计算待处理空洞水平方向上最长的行所占的像素点个数,并将其记为s像素长度;
(2)根据s构造n×1的可变直线型形态学结构元素b;
可变直线型形态学结构元素b可表示为矩阵其中n是根据s的变化而变化的,s为深度图像上待处理空洞水平方向上最长的行所占的像素点个数,结构元素b的原点位于其中心;
(3)用结构元素b对深度图像进行膨胀运算,得到图像A;
膨胀运算公式为:
其中f为待处理图像函数(此处即为图像A),b是结构元素,Df、Db分别表示f、b的定义域,(t,m)为f的像素点坐标,(x,y)为b的像素点坐标;
(4)用结构元素b对图像A进行腐蚀运算,得到图像B;
腐蚀运算公式为:
(f⊙b)(t,m)=min{f(t+x,m+y)-b(x,y)|(t+x),(m+y)∈Df且(x,y)∈Db}
其中f为待处理图像函数(此处即为图像B),b是结构元素,Df、Db分别表示f、b的定义域,(t,m)为f的像素点坐标,(x,y)为b的像素点坐标;
(5)用双边滤波对图像B进行滤波,得到预处理后深度图像C。
3.根据权利要求1或2所述的基于深度图的立体图像生成方法,其特征在于,步骤S2中,在平行双目立体成像系统中,左摄像机与右摄像机的参数一致,两摄像机光轴平行且垂直于基线,构成一共极结构,两摄像机拍摄的左视图和右视图只有水平视差,设h为基线,k为相机焦距;
对于空间同一特征点P(x,y,z),在左视图和右视图上的成像坐标分别为p(xl,yl,zl),p(xr,yr,zr),由几何三角知识有:于是可以得到视差d为d=xl-xr,从而可以得到特征点P在相机坐标系下的三维坐标计算公式为:其中Z即为特征点P的深度值;
由于h和k是已知的,由深度图像可以得到像素点的深度值Z,如果步骤S1中给出的是左视图,则可以得到左视图上像素点坐标xl,由公式和d=xl-xr便可求得右视图上对应的像素点坐标xr,还原出右视图;同理如果步骤S1中给出的是右视图,则可以得到右视图上像素点坐标xr,由公式和d=xl-xr便可求得左视图上对应的像素点坐标xl,还原出左视图。
4.根据权利要求3所述的基于深度图的立体图像生成方法,其特征在于,步骤S3的方法为:
S31首先对还原得到的视图上每一个像素点从左到右从上至下进行遍历,搜索还原得到的视图上的空洞像素点,其坐标记为(x,y);
S32根据空洞像素点的深度信息Z,相机参数b和f以及公式计算出视差值d;
S33根据步骤(2)中求出的视差值d,找到S1中采集的原始左视图或右视图中的坐标为((x,y-d),(x,y+d))的像素点,并将其像素值赋值给还原得到的视图中坐标为(x,y)的像素点,得到空洞修复视图。
5.根据权利要求4所述的基于深度图的立体图像生成方法,其特征在于,步骤S3还包括步骤S34,将空洞修复后的空洞修复视图进行中值滤波,进一步减少噪点,得到最终视图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610860331.1A CN106412560B (zh) | 2016-09-28 | 2016-09-28 | 一种基于深度图的立体图像生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610860331.1A CN106412560B (zh) | 2016-09-28 | 2016-09-28 | 一种基于深度图的立体图像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106412560A true CN106412560A (zh) | 2017-02-15 |
CN106412560B CN106412560B (zh) | 2018-08-24 |
Family
ID=58015754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610860331.1A Active CN106412560B (zh) | 2016-09-28 | 2016-09-28 | 一种基于深度图的立体图像生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106412560B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109218706A (zh) * | 2018-11-06 | 2019-01-15 | 浙江大学 | 一种由单张图像生成立体视觉图像的方法 |
CN109961406A (zh) * | 2017-12-25 | 2019-07-02 | 深圳市优必选科技有限公司 | 一种图像处理的方法、装置及终端设备 |
CN110111244A (zh) * | 2019-05-08 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 图像转换、深度图预测和模型训练方法、装置及电子设备 |
CN111553850A (zh) * | 2020-03-30 | 2020-08-18 | 深圳一清创新科技有限公司 | 基于双目立体视觉的三维信息获取方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012096530A2 (en) * | 2011-01-13 | 2012-07-19 | Samsung Electronics Co., Ltd. | Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching |
CN103581648A (zh) * | 2013-10-18 | 2014-02-12 | 清华大学深圳研究生院 | 绘制新视点中的空洞填补方法 |
CN105825482A (zh) * | 2016-03-15 | 2016-08-03 | 四川用联信息技术有限公司 | 一种深度图像的修复算法 |
-
2016
- 2016-09-28 CN CN201610860331.1A patent/CN106412560B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012096530A2 (en) * | 2011-01-13 | 2012-07-19 | Samsung Electronics Co., Ltd. | Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching |
CN103581648A (zh) * | 2013-10-18 | 2014-02-12 | 清华大学深圳研究生院 | 绘制新视点中的空洞填补方法 |
CN105825482A (zh) * | 2016-03-15 | 2016-08-03 | 四川用联信息技术有限公司 | 一种深度图像的修复算法 |
Non-Patent Citations (1)
Title |
---|
王欣等: "基于运动恢复的双目视觉三维重建系统设计", 《光学精密工程》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109961406A (zh) * | 2017-12-25 | 2019-07-02 | 深圳市优必选科技有限公司 | 一种图像处理的方法、装置及终端设备 |
CN109961406B (zh) * | 2017-12-25 | 2021-06-25 | 深圳市优必选科技有限公司 | 一种图像处理的方法、装置及终端设备 |
CN109218706A (zh) * | 2018-11-06 | 2019-01-15 | 浙江大学 | 一种由单张图像生成立体视觉图像的方法 |
CN110111244A (zh) * | 2019-05-08 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 图像转换、深度图预测和模型训练方法、装置及电子设备 |
CN110111244B (zh) * | 2019-05-08 | 2024-01-26 | 北京奇艺世纪科技有限公司 | 图像转换、深度图预测和模型训练方法、装置及电子设备 |
CN111553850A (zh) * | 2020-03-30 | 2020-08-18 | 深圳一清创新科技有限公司 | 基于双目立体视觉的三维信息获取方法和装置 |
CN111553850B (zh) * | 2020-03-30 | 2023-10-24 | 深圳一清创新科技有限公司 | 基于双目立体视觉的三维信息获取方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106412560B (zh) | 2018-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shih et al. | 3d photography using context-aware layered depth inpainting | |
CN106412560B (zh) | 一种基于深度图的立体图像生成方法 | |
US20220148297A1 (en) | Image fusion method based on fourier spectrum extraction | |
CN110853151A (zh) | 一种基于视频的三维立体点集恢复方法 | |
CN102905145B (zh) | 立体影像系统、影像产生方法、影像调整装置及其方法 | |
CN110120049B (zh) | 由单张图像联合估计场景深度与语义的方法 | |
CN102254348A (zh) | 一种基于块匹配视差估计的中间视图合成方法 | |
CN107301662A (zh) | 深度图像的压缩恢复方法、装置、设备及存储介质 | |
CN104506872A (zh) | 一种平面视频转立体视频的方法及装置 | |
CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
CN116385305A (zh) | 基于跨区域Transformer的神经辐射场的图像去阴影方法及系统 | |
CN114170290A (zh) | 图像的处理方法及相关设备 | |
Liu et al. | Two-stream refinement network for RGB-D saliency detection | |
CN107155100A (zh) | 一种基于图像的立体匹配方法及装置 | |
Suzuki et al. | Disparity estimation from light fields using sheared EPI analysis | |
Dong et al. | Cycle-CNN for colorization towards real monochrome-color camera systems | |
Lei et al. | Deep Gradual-Conversion and Cycle Network for Single-View Synthesis | |
CN112102504A (zh) | 一种基于混合现实的三维场景和二维图像混合方法 | |
Akin et al. | Real-time free viewpoint synthesis using three-camera disparity estimation hardware | |
CN102708570A (zh) | 获取深度图的方法及装置 | |
CN115619974A (zh) | 基于改进PatchMatch网络的大型场景三维重建方法、重建装置、设备及存储介质 | |
Gao et al. | Free viewpoint video synthesis based on DIBR | |
Egan et al. | Light field style transfer with local angular consistency | |
CN109934863B (zh) | 一种基于密集连接型卷积神经网络的光场深度信息估计方法 | |
Lu et al. | 2d-to-stereo panorama conversion using gan and concentric mosaics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |