CN103269435A - 双目转多目虚拟视点合成方法 - Google Patents

双目转多目虚拟视点合成方法 Download PDF

Info

Publication number
CN103269435A
CN103269435A CN2013101367850A CN201310136785A CN103269435A CN 103269435 A CN103269435 A CN 103269435A CN 2013101367850 A CN2013101367850 A CN 2013101367850A CN 201310136785 A CN201310136785 A CN 201310136785A CN 103269435 A CN103269435 A CN 103269435A
Authority
CN
China
Prior art keywords
parameter
gray scale
virtual
binocular
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013101367850A
Other languages
English (en)
Inventor
仇鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN2013101367850A priority Critical patent/CN103269435A/zh
Publication of CN103269435A publication Critical patent/CN103269435A/zh
Pending legal-status Critical Current

Links

Abstract

本发明为一种双目转多目虚拟视点合成方法，该方法通过计算原有的输入左右路图像,找出匹配信息,视差关系,结合深度图,进行零平面,视差,深度图分层,物体分割计算.得到与原摄像机参数一致,位置偏移正确的虚拟摄像机，进而生成虚拟视点图像；这种方法生成的虚拟视点图片,由于摄像机位置,参数与视差参数计算准确.能从双目图片得到摆放正确的多目摄像机摆放时应生成的视点图片；通过裸眼电视播放，由于对于场景的描述更加真实,最大化消除观看重影，3D效果突出,使观众在观看时舒适度上升,减少头晕,昏眩,眼睛胀痛等不适。

Description

双目转多目虚拟视点合成方法
技术领域
本发明涉及图片处理领域，特别是涉及一种双目转多目虚拟视点合成方法。
背景技术
在目前的流行3D播放中,通常是以眼镜式3D为主流，裸眼3D电视对片源的要求过高,要求多台摄像机同时拍摄,当前这种拍摄条件无法达到,因而双目摄像机拍摄的图片进行转换为多目图片是当前裸眼3D电视机片源的主要来源。
发明内容
为克服上述现有问题，提出了一种双目转多目虚拟视点合成方法，该方法可靠、高效。
本发明采用如下技术方案：一种双目转多目虚拟视点合成方法，该方法包括以下步骤：
步骤一：准备左右两路图片，读入BUFFER中；
步骤二：利用特征点匹配算法，分别找出左右路图像中的特征点；
步骤三：进行特征点匹配,删除错误对，保存匹配对的视差信息；
步骤四：结合视差信息，并根据人为参数设置,结合算法渲染出深度信息图；
步骤五：对深度信息图按照灰度级进行层次划分
步骤六：对所有的匹配对的视差差值进行排序,根据特征点在原图的坐标和视差差值，计算出摄像机的方位以及参数,确定零平面所在的灰度级，以及深度图中每一级灰度级对应视差系数；
步骤七：根据已知深度图中每一级灰度的区域,对原始两路图片进行物体分割,并以已知的摄像机的位置和参数来计算虚拟摄像机的位置和参数；
步骤八：原始图片中每一级灰度级对应物体根据新得到的虚拟摄像机的位置和参数来进行相应的位移,位移后的空洞由智能算法填补,进而得到虚拟视点图片。
在上述技术方案中，所述的特征点匹配算法为sift算法。
本发明的优点在于：对于图片的视点合成，该方法可靠、有效，可以避免因现实条件不足的情况下提供3D电视机片源，该方法对于场景的描述更加真实,最大化消除观看重影，使观众在观看时舒适度上升,减少头晕,昏眩,眼睛胀痛等不适。
具体实施方式
下面本发明做进一步的说明。
在图片处理初始，准备好左右两路图片，提取出图片的颜色信息,图片格式为BMP格式，分别载入BUFFER。
利用特征点匹配算法,分别找出左右路图像中的特征点，这里的特征点匹配算法为sift算法（局部特征提取算法）。
此算法相对于其他算法有以下几点好处：
稳定性：SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；
独特性：信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；
多量性：即使少数的几个物体也可以产生大量SIFT特征向量；
高速性：经优化的SIFT匹配算法甚至可以达到实时的要求；
可扩展性：可以很方便的与其他形式的特征向量进行联合。
在这里选用SIFT算法，主要是考虑到其稳定性和独特性，多量性能满足结合Bp(置信度反馈)算法生成较为准确的深度信息图和视差向量；
具体分为四步：检测尺度空间极值点；精确定位极值点；为每个关键点指定方向参数；关键点描述子的生成。
 进行特征点匹配,删除错误对,保存匹配对的视差信息；由于在sift算法中寻找图片中的特征点以后，每个特征点都拥有由数学方法描述的特征向量，然后根据左右路图片中的特征点的特征向量进行匹配。在匹配过程中可能会出现错误的配对，常用到的数学方法有RANSAC随机抽样一致性算法和极线约束算法，在本案中，因为其生成虚拟试点的特殊性，还可以将特征点的水平位置来作为评判特征点的标准之一。
结合视差信息,并根据人为参数设置,结合算法渲染出深度信息图；根据获得的特征向量信息,结合BP(置信度反馈)算法,给与一定深度阀值,描绘出深度信息图。
对深度信息图按照灰度级进行层次划分；对深度图按照灰度级进行层次划分的主要目的是，由于以现在技术(摄像机在不同方位对同一物体的聚合拍摄)和图片的未知性以及复杂性，很难精确的求出高精度，无误差的深度信息图。而此项发明虚拟视点出图的效果对于深度图的依赖性很高，所以对深度图进行层次划分，使图片中各物体的景深关系更为明确，同时也可以消除一定程度上虚拟视点物体的扭曲和提高位移物体的准确性。通常深图灰度级由0-255，可划分为10级，每25个灰度归为一级。
对所有的匹配对的视差差值进行排序,根据特征点在原图的坐标和视差差值,推算出摄像机的方位以及参数,确定零平面所在的灰度级,以及深度图中每一级灰度级对应视差系数；由上述所得的所有合格的特征点对，计算出相同特征点在左右两路图片中的距离差值和方向，在本实施例中灰度分为25级。
对其进行排序；差值最小的特征点就在大致的零平面上，然后根据此点的坐标位置，确认在深度图上面的位置，然后确认所在位置的灰度级是否左右路一致，如不一致则删除计算下一对，如一致则作为零平面候选值，在零平面上物体的位移为0。
计算前景和后景时，由于已经得到零平面位置。将每一灰度级上面的特征点归为一类，进行计算，求出大致的正偏移位置（前景）和负偏移位置（后景）。根据上面的视差形状图进行推算，虚拟出正确的虚拟摄像机位置，例如可以由左右两路深度信息图的各物体位置求出左2的虚拟视点的深度图位置，产生虚拟的深度图。
根据两路实际的摄像机位置所求得的虚拟摄像机的正确位移量，通过这个位移量能准确算出摆放位置。使用这个摆放位置所合成出来的虚拟视点图片，通过裸眼电视机播放后，能更加准确的还原真实场景，降低闪烁和观众移动观看时的图像跳跃和失真。
在得到虚拟视点的深度图位置后，根据深度图各深度对应的物体根据深度值对其进行虚拟视点的物体进行位移，得到由于信息确失而造成空洞的虚拟视点图片，用空洞填补算法（像素位移，智能生长）结合空域，时域，频率域信息对其进行空洞填补，最终形成完整的虚拟视点图片。
本说明书中公开的所有特征，除了互相排斥的特征以外，均可以以任何方式组合。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。 

Claims (2)

1.一种双目转多目虚拟视点合成方法，其特征为该方法包括以下步骤：
步骤一：准备左右两路图片，读入BUFFER中；
步骤二：利用特征点匹配算法，分别找出左右路图像中的特征点；
步骤三：进行特征点匹配,删除错误对，保存匹配对的视差信息；
步骤四：结合视差信息，并根据人为参数设置,结合算法渲染出深度信息图；
步骤五：对深度信息图按照灰度级进行层次划分
步骤六：对所有的匹配对的视差差值进行排序,根据特征点在原图的坐标和视差差值，计算出摄像机的方位以及参数,确定零平面所在的灰度级，以及深度图中每一级灰度级对应视差系数；
步骤七：根据已知深度图中每一级灰度的区域,对原始两路图片进行物体分割,并以已知的摄像机的位置和参数来计算虚拟摄像机的位置和参数；
步骤八：原始图片中每一级灰度级对应物体根据新得到的虚拟摄像机的位置和参数来进行相应的位移,位移后的空洞由智能算法填补,进而得到虚拟视点图片。
2.根据权利要求1所述的一种双目转多目虚拟视点合成方法，其特征为所述的特征点匹配算法为sift算法。
CN2013101367850A 2013-04-19 2013-04-19 双目转多目虚拟视点合成方法 Pending CN103269435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013101367850A CN103269435A (zh) 2013-04-19 2013-04-19 双目转多目虚拟视点合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013101367850A CN103269435A (zh) 2013-04-19 2013-04-19 双目转多目虚拟视点合成方法

Publications (1)

Publication Number Publication Date
CN103269435A true CN103269435A (zh) 2013-08-28

Family

ID=49013040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013101367850A Pending CN103269435A (zh) 2013-04-19 2013-04-19 双目转多目虚拟视点合成方法

Country Status (1)

Country Link
CN (1) CN103269435A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581650A (zh) * 2013-10-21 2014-02-12 四川长虹电器股份有限公司 双目3d视频转多目3d视频的方法
CN103888749A (zh) * 2014-04-03 2014-06-25 清华大学深圳研究生院 一种双目视频转换多目视频的方法
CN104301706A (zh) * 2014-10-11 2015-01-21 成都斯斐德科技有限公司 一种增强裸眼立体显示效果的合成方法
CN104811679A (zh) * 2014-01-29 2015-07-29 宏达国际电子股份有限公司 立体图像的调整方法与图像处理装置
CN104869386A (zh) * 2015-04-09 2015-08-26 东南大学 一种基于分层处理虚拟视点合成方法
CN105007405A (zh) * 2014-04-18 2015-10-28 佳能株式会社 图像处理方法、图像处理设备和摄像设备
CN105791803A (zh) * 2016-03-16 2016-07-20 深圳创维－Rgb电子有限公司 一种将二维图像转化为多视点图像的显示方法及系统
CN106060511A (zh) * 2016-06-17 2016-10-26 浙江工商大学 基于深度图的立体视频补全方法及系统
CN109286807A (zh) * 2017-07-21 2019-01-29 特亚有限公司 多视角裸眼式立体影像的生成方法、显示方法及电子装置
CN109714587A (zh) * 2017-10-25 2019-05-03 杭州海康威视数字技术股份有限公司 一种多视点图像产生方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771893A (zh) * 2010-01-05 2010-07-07 浙江大学 一种基于视频序列背景建模的虚拟视点绘制方法
CN101883291A (zh) * 2010-06-29 2010-11-10 上海大学 感兴趣区域增强的视点绘制方法
CN101902657A (zh) * 2010-07-16 2010-12-01 浙江大学 一种基于深度图分层的虚拟多视点图像的生成方法
CN101986347A (zh) * 2010-10-28 2011-03-16 浙江工业大学 一种立体视觉的序列重构方法
CN102368826A (zh) * 2011-11-07 2012-03-07 天津大学 双视点视频到多视点视频的实时自适应生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771893A (zh) * 2010-01-05 2010-07-07 浙江大学 一种基于视频序列背景建模的虚拟视点绘制方法
CN101883291A (zh) * 2010-06-29 2010-11-10 上海大学 感兴趣区域增强的视点绘制方法
CN101902657A (zh) * 2010-07-16 2010-12-01 浙江大学 一种基于深度图分层的虚拟多视点图像的生成方法
CN101986347A (zh) * 2010-10-28 2011-03-16 浙江工业大学 一种立体视觉的序列重构方法
CN102368826A (zh) * 2011-11-07 2012-03-07 天津大学 双视点视频到多视点视频的实时自适应生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张超等: "基于SIFT匹配算法的多视点自由立体显示视差图像的生成", 《光学学报》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581650A (zh) * 2013-10-21 2014-02-12 四川长虹电器股份有限公司 双目3d视频转多目3d视频的方法
CN104811679A (zh) * 2014-01-29 2015-07-29 宏达国际电子股份有限公司 立体图像的调整方法与图像处理装置
CN103888749B (zh) * 2014-04-03 2016-07-27 清华大学深圳研究生院 一种双目视频转换多目视频的方法
CN103888749A (zh) * 2014-04-03 2014-06-25 清华大学深圳研究生院 一种双目视频转换多目视频的方法
CN105007405B (zh) * 2014-04-18 2018-07-06 佳能株式会社 图像处理方法、图像处理设备和摄像设备
CN105007405A (zh) * 2014-04-18 2015-10-28 佳能株式会社 图像处理方法、图像处理设备和摄像设备
CN104301706B (zh) * 2014-10-11 2017-03-15 成都斯斐德科技有限公司 一种增强裸眼立体显示效果的合成方法
CN104301706A (zh) * 2014-10-11 2015-01-21 成都斯斐德科技有限公司 一种增强裸眼立体显示效果的合成方法
CN104869386A (zh) * 2015-04-09 2015-08-26 东南大学 一种基于分层处理虚拟视点合成方法
CN105791803A (zh) * 2016-03-16 2016-07-20 深圳创维－Rgb电子有限公司 一种将二维图像转化为多视点图像的显示方法及系统
CN105791803B (zh) * 2016-03-16 2018-05-18 深圳创维－Rgb电子有限公司 一种将二维图像转化为多视点图像的显示方法及系统
CN106060511A (zh) * 2016-06-17 2016-10-26 浙江工商大学 基于深度图的立体视频补全方法及系统
CN106060511B (zh) * 2016-06-17 2018-11-16 浙江工商大学 基于深度图的立体视频补全方法及系统
CN109286807A (zh) * 2017-07-21 2019-01-29 特亚有限公司 多视角裸眼式立体影像的生成方法、显示方法及电子装置
CN109714587A (zh) * 2017-10-25 2019-05-03 杭州海康威视数字技术股份有限公司 一种多视点图像产生方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN103269435A (zh) 双目转多目虚拟视点合成方法
US20190158813A1 (en) Real Time Re-Calibration of Stereo Cameras
CN109308719B (zh) 一种基于三维卷积的双目视差估计方法
CN102665086B (zh) 利用基于区域的局部立体匹配获取视差的方法
JP2016100899A (ja) 映像補正方法及び装置
CN102136136B (zh) 基于自适应Census变换的光度不敏感立体匹配方法
Cheng et al. Spatio-temporally consistent novel view synthesis algorithm from video-plus-depth sequences for autostereoscopic displays
CN103337094A (zh) 一种应用双目摄像机实现运动三维重建的方法
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
CN103345736A (zh) 一种虚拟视点绘制方法
CN102026013A (zh) 基于仿射变换的立体视频匹配方法
CN105100771A (zh) 一种基于场景分类和几何标注的单视点视频深度获取方法
CN111027415B (zh) 一种基于偏振图像的车辆检测方法
CN104639933A (zh) 一种立体视图的深度图实时获取方法及系统
CN104079800A (zh) 一种视频监控中视频图像的抗抖动方法
Bleyer et al. Temporally consistent disparity maps from uncalibrated stereo videos
CN103679739A (zh) 基于遮挡区域检测的虚拟视图生成方法
CN111047636B (zh) 基于主动红外双目视觉的避障系统和避障方法
US20130194385A1 (en) Stereoscopic image generation apparatus and stereoscopic image generation method
KR101103511B1 (ko) 평면 영상을 입체 영상으로 변환하는 방법
KR101960577B1 (ko) 뷰 공간에 관한 스테레오 정보를 송수신하는 방법
Yang et al. Depth map generation using local depth hypothesis for 2D-to-3D conversion
CN104284177A (zh) 会聚立体图像视差控制方法
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
Knorr et al. From 2D-to stereo-to multi-view video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130828