CN102547350A - 一种基于梯度光流算法合成虚拟视点方法及立体显示装置 - Google Patents
一种基于梯度光流算法合成虚拟视点方法及立体显示装置 Download PDFInfo
- Publication number
- CN102547350A CN102547350A CN2012100230818A CN201210023081A CN102547350A CN 102547350 A CN102547350 A CN 102547350A CN 2012100230818 A CN2012100230818 A CN 2012100230818A CN 201210023081 A CN201210023081 A CN 201210023081A CN 102547350 A CN102547350 A CN 102547350A
- Authority
- CN
- China
- Prior art keywords
- optical flow
- virtual view
- view
- images
- view picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于梯度光流算法合成虚拟视点方法,包括以下步骤:开始步骤;用双目视差立体相机采集左视图像和右视图像,将左视图像作为初始图像,右视图像作为目标图像,虚拟视点看成相机在由左到右运动的过程中,等间隔地拍摄而成;利用一阶梯度光流估计,估计图像中各个像素点在由左视图像到右视图像的运动过程中产生的瞬时速度,即光流场;合成虚拟视点;结束步骤。还公开了一种基于以上合成虚拟视点方法的立体显示装置。本发明可用于立体显示技术领域,在满足人眼流畅地裸视观看三维视频的前提下,合成的虚拟视点图像平滑、自然,质量较好,能够满足基本三维显示器输入图像的要求。
Description
技术领域
本发明涉及图像显示技术领域,尤其涉及一种基于梯度光流算法合成虚拟视点方法及立体显示装置。
背景技术
根据目前国内外调研的文献,裸视3D图像显示技术正逐步成为研究热点。利用视差相机拍摄的图像合成裸视三维显示器所需的虚拟视点合成图像算法,是裸视三维显示处理的关键技术。
目前,国内外针对虚拟视点合成算法的研究主要集中在两个方面:1)基于模型绘制法;2)基于图像绘制法。两种方法各有优缺点。基于模型绘制的方法合成的图像质量好,但由于该种方法是采用对三维场景进行建模来完成虚拟视点的合成,运算量大,所以合成速度较慢,往往满足不了实时的要求。基于图像绘制的方法合成速度较快,能够满足实时性要求,但在合成图像之前,需要对知道三维场景的几何信息及摄像机的精确物理模型参数,往往在校准过程中会产生较大误差,所以合成图像的质量较差。
发明内容
本发明解决的技术问题在于提出即能合成具有较好质量的图像,又能满足系统实时性要求的虚拟视点合成算法。
为了解决以上问题,本发明提供一种基于梯度光流算法合成虚拟视点方法,包括以下步骤:
开始步骤;
用双目视差立体相机采集左视图像和右视图像,将左视图像作为初始图像,右视图像作为目标图像,虚拟视点看成相机在由左到右运动的过程中,等间隔地拍摄而成;
利用一阶梯度光流估计,估计图像中各个像素点在由左视图像到右视图像的运动过程中产生的瞬时速度,即光流场;
合成虚拟视点;
结束步骤。
进一步,作为一种优选方案,在所述合成虚拟视点步骤之前,包括:对求出的光流场进行光流聚类,插值得到像素在均匀运动的假设下在任意虚拟视点中的位置。
本发明还公开了一种立体显示装置,包括:
图像采集处理模块,用双目视差立体相机采集左视图像和右视图像,将左视图像作为初始图像,右视图像作为目标图像,虚拟视点看成相机在由左到右运动的过程中,等间隔地拍摄而成;
梯度光流算法模块,利用一阶梯度光流估计,估计图像中各个像素点在由左视图像到右视图像的运动过程中产生的瞬时速度,即光流场;
虚拟视点合成模块,对求出的光流场进行光流聚类,插值得到像素在均匀运动的假设下在任意虚拟视点中的位置,合成虚拟视点;
基于多视点的渲染交织模块,用于立体显示前的交织;
三维显示模块,用于显示三维立体图像。
本发明实由于采用基于梯度光流算法来合成虚拟视点,在满足人眼流畅地裸视观看三维视频的前提下,合成的虚拟视点图像平滑、自然,质量较好,能够满足基本三维显示器输入图像的要求。
附图说明
当结合附图考虑时,通过参照下面的详细描述,能够更完整更好地理解本发明以及容易得知其中许多伴随的优点,但此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定,其中:
图1梯度光流算法合成虚拟视点流程图;
图2裸视三维视频系统结构图;
图3虚拟视点合成原理示意图。
具体实施方式
以下参照图1-3对本发明的实施例进行说明。
为使上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
基本的裸视立体显示装置包括:采集、处理、传输和显示等模块。首先是采集模块,使用不同空间排列方式的多摄像机阵列采集得到三维视频信息,这时需对各摄像机进行标定与同步操作。为提高采集得到的信号质量,使其有利于后续的三维重建与显示,通常需要对采集得到的视频信息进行各种预处理操作,如自动曝光、自动聚焦和自动白平衡等。通常,为了减少视频的数据量,达到实时传输的目的。在视频的采集端,往往只采集所需视频的其中几路。那么,就需要通过已有的视点视频信息,利用虚拟视点合成算法,生成其他未拍摄的视点视频信息,从而进行三维场景重建等操作。最后,将处理后得到的多路视频信号表示为具有预先设定数据格式或交织方式的视频信号,通过裸视立体显示装置呈现给观看者进行观看。
一个具体的裸视立体显示装置如附图2所示,包括:图像采集处理模块1,用双目视差立体相机采集左视图像和右视图像,将左视图像作为初始图像,右视图像作为目标图像,虚拟视点看成相机在由左到右运动的过程中,等间隔地拍摄而成;梯度光流算法模块2,利用一阶梯度光流估计,估计图像中各个像素点在由左视图像到右视图像的运动过程中产生的瞬时速度,即光流场;虚拟视点合成模块3,对求出的光流场进行光流聚类,插值得到像素在均匀运动的假设下在任意虚拟视点中的位置,合成虚拟视点;基于多视点的渲染交织模块4,用于立体显示前的交织;三维显示模块5,用于显示三维立体图像。为了减少摄像机标定和同步操作带来的误差,图像采集处理模块1采用一种较新颖的视频获取方案——立体视觉系统(双目视差相机)。该系统集成了已经进行了标定操作的双摄像机,可以获得同步的左右两路视频信号。另外,基于裸视立体显示装置的要求,需要将9个来自不同视点的视频信息输入到三维显示模块5,经过交织处理后才能完成最终的三维显示,原理如附图3所示,其中左视图像7和右视图像9分别是从左右观看三维物体6的图像,虚拟视点图像8是来自不同视点的视频信号。所以,需要将采集得到的左右图像(7,9),利用虚拟视点合成模块3合成出其他7个中间的虚拟视点。就目前国内外在虚拟视点合成模块3算法上的研究进展来看,基于模型绘制法和基于图像绘制法是主要的两种方法。基于模型绘制的方法合成的图像质量好,但运算量大,合成速度较慢,往往满足不了裸视三维显示系统实时性的要求。而基于图像绘制的方法合成速度较快,能够满足实时性要求,但这也是以损失图像的质量作为代价的。
正是基于以上分析,本发明提出了一种梯度光流算法,合成所需的7个虚拟视点。该算法能够弥补上述两种算法在效率和质量方面的不足,达到即能满足实时性要求,又能合成较好质量图像的目的。算法原理如附图3所示。需要合成的中间7个虚拟视点图像8可以看作是相机在由左到右运动的过程中,在不同的位置等间隔地拍摄而成的图像,那么通过估计像素在不同时刻的速度,就可求出在匀速运动的前提下像素的位置,进而合成虚拟视点。而光流是运动物体在观测成像面上像素运动的瞬时速度,所以,通过求出成像面上的光流场就可实现上述目标,流程见附图1。下面对梯度光流法合成虚拟视点方法的原理作简要介绍。
一种基于梯度光流算法合成虚拟视点方法,包括以下步骤:
在S11步骤,开始;
在S12、S13步骤,用双目视差立体相机采集左视图像和右视图像,将左视图像作为初始图像,右视图像作为目标图像,虚拟视点看成相机在由左到右运动的过程中,等间隔地拍摄而成;
在S14步骤,利用一阶梯度光流估计,估计图像中各个像素点在由左视图像到右视图像的运动过程中产生的瞬时速度,即光流场;
在S16步骤,合成虚拟视点;
在S17步骤,结束。
运动可以用运动场描述,运动场由图像中每个点的运动(速度)矢量构成。在某一特定的时刻,图像中一点对应目标表面的某个点,这两个点靠投影关系联系起来。假定物点相对于摄像机存在一定的运动,则这个运动会导致对应像点也产生速度,每个象素点的速度矢量构成运动场。
所谓光流是这图像中灰度模式运动速度,它是景物中可见点的三维速度矢量在成像平面上的投影,它表示了景物表面点在图像中位置的瞬间变换。根据视觉感知原理,客观物体在空间上一般是相对连续运动的,在运动过程中,投射到传感器平面上的图像实际上也是连续变化的。根据这一特性,可以得到基本的光流约束方程(optical flow constraint equation),它表示灰度对时间的变化率等于灰度的空间梯度与光流速度的点积。
(Ex,Ey)g(u,v)=-Et (2-1)
E表示图像上的点(x,y)在时刻t的灰度,u和v表示光流在该点的水平和垂直移动分量。光流约束方程表明,如果一个固定的观察者观察一幅活动的场景,那么所得到的图像上某一点的灰度(一阶)时间变化率是场景亮度变化率与该点运动速度的乘积。
在图像上存在着大量的连续性、平滑性等性质,Horn和Schunck[3]所采用的方法的基本思想是在求解光流时,光流本身尽可能的平滑,即引入平滑性约束条件。将研究对象看作无变形刚体,其上面各相邻点具有相同的运动速度,这个条件可以用来帮助求解光流约束方程。根据相邻点具有相同运动速度的条件可知速度的变化率为零,得到欧拉方程。对欧拉方程进行一些变形,并对其求解,就要得到所要求出的光流场:
为了加快运算速度,在估计出每个像素点的光流后,对图像中不同的目标进行光流聚类S15,插值得到像素在均匀运动的假设下在任意虚拟视点中的位置。然后再根据左图像合成中间的虚拟视点。
如上所述,对本发明的实施例进行了详细地说明,但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形,这对本领域的技术人员来说是显而易见的。因此,这样的变形例也全部包含在本发明的保护范围之内。
Claims (6)
1.一种基于梯度光流算法合成虚拟视点方法,其特征在于:包括以下步骤:
开始步骤;
用双目视差立体相机采集左视图像和右视图像,将左视图像作为初始图像,右视图像作为目标图像,虚拟视点看成相机在由左到右运动的过程中,等间隔地拍摄而成;
利用一阶梯度光流估计,估计图像中各个像素点在由左视图像到右视图像的运动过程中产生的瞬时速度,即光流场;
合成虚拟视点;
结束步骤。
2.如权利要求1所述一种基于梯度光流算法合成虚拟视点方法,其特征在于:在所述合成虚拟视点步骤之前,还包括:对求出的光流场进行光流聚类,插值得到像素在均匀运动的假设下在任意虚拟视点中的位置。
3.如权利要求1所述一种基于梯度光流算法合成虚拟视点方法,其特征在于:合成虚拟视点为7幅虚拟图像。
4.一种使用方法1至3之一的立体显示装置,其特征在于,包括:图像采集处理模块,用双目视差立体相机采集左视图像和右视图像,将左视图像作为初始图像,右视图像作为目标图像,虚拟视点看成相机在由左到右运动的过程中,等间隔地拍摄而成;
梯度光流算法模块,利用一阶梯度光流估计,估计图像中各个像素点在由左视图像到右视图像的运动过程中产生的瞬时速度,即光流场;
虚拟视点合成模块,对求出的光流场进行光流聚类,插值得到像素在均匀运动的假设下在任意虚拟视点中的位置,合成虚拟视点;
基于多视点的渲染交织模块,用于立体显示前的交织;
三维显示模块,用于显示三维立体图像。
5.如权利要求4所述立体显示装置,其特征在于:所述梯度光流算法模块、虚拟视点合成模块和基于多视点的渲染交织模块由一台计算机工作站实现。
6.如权利要求4所述立体显示装置,其特征在于:所述计算机工作站为双CPU。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210023081.8A CN102547350B (zh) | 2012-02-02 | 2012-02-02 | 一种基于梯度光流算法合成虚拟视点方法及立体显示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210023081.8A CN102547350B (zh) | 2012-02-02 | 2012-02-02 | 一种基于梯度光流算法合成虚拟视点方法及立体显示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102547350A true CN102547350A (zh) | 2012-07-04 |
CN102547350B CN102547350B (zh) | 2014-04-16 |
Family
ID=46353116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210023081.8A Active CN102547350B (zh) | 2012-02-02 | 2012-02-02 | 一种基于梯度光流算法合成虚拟视点方法及立体显示装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102547350B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104869387A (zh) * | 2015-04-19 | 2015-08-26 | 中国传媒大学 | 基于光流法的双目图像最大视差获取方法 |
CN106210696A (zh) * | 2016-07-22 | 2016-12-07 | 北京大学深圳研究生院 | 一种实时虚拟视点合成的方法及装置 |
CN107396133A (zh) * | 2017-07-20 | 2017-11-24 | 深圳市佳创视讯技术股份有限公司 | 自由视点视频导播方法及系统 |
CN107801017A (zh) * | 2017-10-30 | 2018-03-13 | 北京都是科技有限公司 | 一种多目3d摄像机及其3d图像建模方法 |
CN107958464A (zh) * | 2017-12-05 | 2018-04-24 | 大连大学 | 噪声环境下光流场快速稳健估计方法 |
CN109314753A (zh) * | 2016-04-06 | 2019-02-05 | 脸谱公司 | 使用光流生成中间视图 |
CN109741375A (zh) * | 2018-11-06 | 2019-05-10 | 三亚中科遥感研究所 | 一种裸眼3d模型光场生成方法及其装置 |
WO2021031455A1 (zh) * | 2019-08-21 | 2021-02-25 | 佳都新太科技股份有限公司 | 实现多路视频融合的三维增强现实的系统、方法及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1196545A (zh) * | 1995-02-28 | 1998-10-21 | 伊斯曼柯达公司 | 由立体图像构成深度图像的中间图像的方法和装置 |
CN101087437A (zh) * | 2007-06-21 | 2007-12-12 | 清华大学 | 基于光流场的平面视频转立体视频的方法 |
CN101702781A (zh) * | 2009-09-07 | 2010-05-05 | 无锡景象数字技术有限公司 | 基于光流法的2d转3d方法 |
CN102325259A (zh) * | 2011-09-09 | 2012-01-18 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 多视点视频中虚拟视点合成方法及装置 |
-
2012
- 2012-02-02 CN CN201210023081.8A patent/CN102547350B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1196545A (zh) * | 1995-02-28 | 1998-10-21 | 伊斯曼柯达公司 | 由立体图像构成深度图像的中间图像的方法和装置 |
CN101087437A (zh) * | 2007-06-21 | 2007-12-12 | 清华大学 | 基于光流场的平面视频转立体视频的方法 |
CN101702781A (zh) * | 2009-09-07 | 2010-05-05 | 无锡景象数字技术有限公司 | 基于光流法的2d转3d方法 |
CN102325259A (zh) * | 2011-09-09 | 2012-01-18 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 多视点视频中虚拟视点合成方法及装置 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104869387A (zh) * | 2015-04-19 | 2015-08-26 | 中国传媒大学 | 基于光流法的双目图像最大视差获取方法 |
CN109314753B (zh) * | 2016-04-06 | 2020-05-26 | 脸谱公司 | 使用光流生成中间视图的方法和计算机可读存储介质 |
CN109314753A (zh) * | 2016-04-06 | 2019-02-05 | 脸谱公司 | 使用光流生成中间视图 |
CN106210696B (zh) * | 2016-07-22 | 2018-07-06 | 北京大学深圳研究生院 | 一种实时虚拟视点合成的方法及装置 |
CN106210696A (zh) * | 2016-07-22 | 2016-12-07 | 北京大学深圳研究生院 | 一种实时虚拟视点合成的方法及装置 |
CN107396133A (zh) * | 2017-07-20 | 2017-11-24 | 深圳市佳创视讯技术股份有限公司 | 自由视点视频导播方法及系统 |
CN107396133B (zh) * | 2017-07-20 | 2020-05-22 | 深圳市佳创视讯技术股份有限公司 | 自由视点视频导播方法及系统 |
CN107801017A (zh) * | 2017-10-30 | 2018-03-13 | 北京都是科技有限公司 | 一种多目3d摄像机及其3d图像建模方法 |
CN107958464A (zh) * | 2017-12-05 | 2018-04-24 | 大连大学 | 噪声环境下光流场快速稳健估计方法 |
CN107958464B (zh) * | 2017-12-05 | 2021-04-02 | 大连大学 | 噪声环境下光流场快速稳健估计方法 |
CN109741375A (zh) * | 2018-11-06 | 2019-05-10 | 三亚中科遥感研究所 | 一种裸眼3d模型光场生成方法及其装置 |
CN109741375B (zh) * | 2018-11-06 | 2020-12-04 | 三亚中科遥感研究所 | 一种裸眼3d模型光场生成方法及其装置 |
WO2021031455A1 (zh) * | 2019-08-21 | 2021-02-25 | 佳都新太科技股份有限公司 | 实现多路视频融合的三维增强现实的系统、方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN102547350B (zh) | 2014-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102547350B (zh) | 一种基于梯度光流算法合成虚拟视点方法及立体显示装置 | |
US7616885B2 (en) | Single lens auto focus system for stereo image generation and method thereof | |
US9270977B2 (en) | 3D photo creation system and method | |
EP1836859B1 (en) | Automatic conversion from monoscopic video to stereoscopic video | |
CN102957937B (zh) | 处理三维立体影像的系统与方法 | |
CN102254348B (zh) | 一种基于自适应视差估计的虚拟视点绘制方法 | |
CN101247530A (zh) | 增强图像的立体效果的三维图像显示设备和方法 | |
US9154765B2 (en) | Image processing device and method, and stereoscopic image display device | |
US20140055580A1 (en) | Depth Of Field Maintaining Apparatus, 3D Display System And Display Method | |
CN106254854A (zh) | 三维图像的获得方法、装置及系统 | |
US20120194905A1 (en) | Image display apparatus and image display method | |
JP5852093B2 (ja) | 映像処理装置、映像処理方法、プログラム | |
CN103747236A (zh) | 结合人眼跟踪的立体视频处理系统及方法 | |
CN102026012B (zh) | 平面视频立体化转换深度图生成方法和装置 | |
US9082210B2 (en) | Method and apparatus for adjusting image depth | |
KR101960577B1 (ko) | 뷰 공간에 관한 스테레오 정보를 송수신하는 방법 | |
JP5464129B2 (ja) | 画像処理装置および視差情報生成装置 | |
KR101302431B1 (ko) | 2차원 영상을 스테레오 영상으로 변환하는 방법 | |
CN110149508A (zh) | 一种基于一维集成成像系统的阵列图生成及填补方法 | |
CN101908233A (zh) | 产生用于三维影像重建的复数视点图的方法及系统 | |
KR101207862B1 (ko) | 2차원 영상을 스테레오 영상으로 변환하는 방법 | |
JP5871113B2 (ja) | 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム | |
KR101046580B1 (ko) | 영상처리장치 및 그 제어방법 | |
CN113382225B (zh) | 一种基于全息沙盘的双目全息展示方法及装置 | |
CN106657964A (zh) | 伪立体gif动画自动合成系统及其图像处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |