CN106355611A - 一种基于时空间关联的裸眼3d超解像滤波方法 - Google Patents

一种基于时空间关联的裸眼3d超解像滤波方法 Download PDF

Info

Publication number
CN106355611A
CN106355611A CN201610820935.3A CN201610820935A CN106355611A CN 106355611 A CN106355611 A CN 106355611A CN 201610820935 A CN201610820935 A CN 201610820935A CN 106355611 A CN106355611 A CN 106355611A
Authority
CN
China
Prior art keywords
area
video
video area
frame image
filtering method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610820935.3A
Other languages
English (en)
Other versions
CN106355611B (zh
Inventor
凌涛
陈敏
袁博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Austen Photoelectric Polytron Technologies Inc
Original Assignee
Jiangsu Austen Photoelectric Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Austen Photoelectric Polytron Technologies Inc filed Critical Jiangsu Austen Photoelectric Polytron Technologies Inc
Priority to CN201610820935.3A priority Critical patent/CN106355611B/zh
Publication of CN106355611A publication Critical patent/CN106355611A/zh
Application granted granted Critical
Publication of CN106355611B publication Critical patent/CN106355611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于时空间关联的裸眼3D超解像滤波方法，步骤包括：空间维度区域标记、小区域筛选、时间维度区域配对以及深度滤波。该裸眼3D超解像滤波方法计算速度和效果的平衡是通过小区域筛选中的面积比例阈值、时间维度区域配对中的相似度阈值两个阈值进行控制的，在整个计算过程中，很少有大量的浮点数计算，基本都是加减计算，所以计算量比较少，也比较适合于没有大量计算资源的电视机下进行工作。

Description

一种基于时空间关联的裸眼3D超解像滤波方法
技术领域
本发明涉及一种滤波方法，具体来讲是一种应用在裸眼3D视频上的、基于时空间关联的滤波方法。
背景技术
裸眼3D电视已经成为一种电视机的重要的发展方向，其展示的视频质量是其展示效果的重要指标。它的主要特点就是能够展示出原有电视机所不能展示的深度信息，即人眼所感受到的各个区域的远近，例如视频中近处正在对话的人、远方的山，这些远近的感受都是靠深度信息展现的。这些视频上不同区域的不同深度信息使得人们观测到一种空间上的层次感，从而展示出3D的效果。但是很多视频在拍摄时，原始视频就是2D的，那么就需要把2D的视频升维到3D的效果。这就需要一类专用的升维的算法，即计算出2D视频中的每个区域应有的深度信息。在这些2D视频转化为3D视频的算法中，核心是在2D的视频中进行自动计算的深度获取方法，它们现有的算法包括有例如基于机器学习的获取方法、基于运动信息的获取方法、基于纹理的获取方法、基于聚焦的获取方法。
以上这些算法在其他正常的2D视频转化为3D视频的过程中，即把2D图像的各个区域进行计算出深度信息的过程中，其视频内容的各个部分的边界是自动切割的，然后各个部分的深度是自动生成的。由于这种边界的自动切割、深度的自动生成，那么就会带来一些小部分模块边界及深度的不确定性，从而出现在展示的一些空间上小区域上、在时间上的深度的差距较大的效果，从而出现了一种时空间上的区域噪声的效果。而对于这种问题的处理方法，是采用人工手动的方法，在一些软件中进行手动修正。这极大的增加了处理的人员负担。
面对这种在深度上的噪声，如果想不增加计算的硬件成本，直接由电视机实现的话，由于电视机没有强大的计算资源，所以不能用复杂的滤波算法。在这种条件下，如果存在一种针对这种时空间上的区域噪声、且对计算资源不高的算法，那么就会比较好的解决这种问题。
发明内容
本方法要解决的技术问题是现有方法在深度上存在噪声，且对计算资源要求较高。
为了解决上述技术问题，本发明提供了一种基于时空间关联的裸眼3D超解像滤波方法，包括如下步骤：
步骤1，空间维度区域标记，导入2D视频转化为3D视频过程中视频帧自动切割后的各个视频区域，再对切割后的各个视频区域进行标记；
步骤2，小区域筛选，根据用户设定的性能调节要求，去除各个视频区域中面积小于用户设定的面积比例的视频区域；
步骤3，时间维度区域配对，在前后多帧的时间轴上，根据视频区域的重心坐标以及面积特征将满足相似度要求的视频区域进行配对；
步骤4，深度滤波，对每组配对后的视频区域进行深度滤波，并作为当前帧下的视频区域输出。
采用小区域筛选去除一定量根据用户设定的要求进行性能调节的视频区域，能够有效提高计算速度；采用时间维度区域配对能够去除掉在时间轴上的深度变化较大的视频区域，确保视频区域的深度效果，同时也进一步提高了计算速度。
作为本发明的进一步限定方案，步骤1中的视频帧包括前一帧图像T1、当前帧图像T2以及后一帧图像T3；前一帧图像T1在空间维度上包括q1-1和q1-2两组被切割标记的视频区域；当前帧图像T2在空间维度上包括q2-1和q2-2两组被切割标记的视频区域；后一帧图像T3在空间维度上包括q3-1和q3-2两组被切割标记的视频区域。采用前一帧图像T1、当前帧图像T2以及后一帧图像T3这三帧图像作为计算依据，能够有效控制计算量，确保计算速度。
作为本发明的进一步限定方案，步骤2中用户设定的面积比例为1％，计算前一帧图像T1、当前帧图像T2以及后一帧图像T3中各个视频区域的面积为m(q1-1)、m(q1-2)、m(q2-1)、m(q2-2)、m(q3-1)以及m(q3-2)，若某个视频区域的面积低于一帧图像面积的1％，则去掉该视频区域。
作为本发明的进一步限定方案，步骤3中根据视频区域的重心坐标以及面积特征将满足相似度要求的视频区域进行配对的具体步骤为：
步骤3.1，计算出各个视频区域重心的横坐标和纵坐标，并计算出每两个视频区域重心的横坐标差值和纵坐标的差值；
步骤3.2，计算出每两个视频区域的面积差值；
步骤3.3，将每两个视频区域的横坐标差值、纵坐标的差值以及面积差值的和来计算两个视频区域配对的相似度，若相似度小于10，则表明该两个视频区域满足配对要求。
在进行差值和相似度计算时，均采用加减计算运算，而避免浮点数计算，计算量比较少，比较适合于没有大量计算资源的电视机进行运算工作。
作为本发明的进一步限定方案，步骤1中的深度滤波采用的是中值滤波。
本发明的有益效果在于：(1)采用小区域筛选去除一定量根据用户设定的要求进行性能调节的视频区域，能够有效提高计算速度；(2)采用时间维度区域配对能够去除掉在时间轴上的深度变化较大的视频区域，确保视频区域的深度效果，同时也进一步提高了计算速度。
附图说明
图1为本发明的方法流程图；
图2为本发明的视频区域示意图。
具体实施方式
如图1和2所示，本发明公开了一种基于时空间关联的裸眼3D超解像滤波方法，包括如下步骤：
步骤1，空间维度区域标记，导入2D视频转化为3D视频过程中视频帧自动切割后的各个视频区域，再对切割后的各个视频区域进行标记，其中，视频帧包括前一帧图像T1、当前帧图像T2以及后一帧图像T3；前一帧图像T1在空间维度上包括q1-1和q1-2两组被切割标记的视频区域；当前帧图像T2在空间维度上包括q2-1和q2-2两组被切割标记的视频区域；后一帧图像T3在空间维度上包括q3-1和q3-2两组被切割标记的视频区域，本发明采用的是三帧图像的滤波功能，但是不仅限于包括用这三帧图像滤波；
步骤2，小区域筛选，根据用户设定的性能调节要求，去除各个视频区域中面积小于用户设定的面积比例的视频区域，其中，用户设定的面积比例为1％，计算前一帧图像T1、当前帧图像T2以及后一帧图像T3中各个视频区域的面积为m(q1-1)、m(q1-2)、m(q2-1)、m(q2-2)、m(q3-1)以及m(q3-2)，若某个视频区域的面积低于一帧图像面积的1％，则去掉这些不影响整体效果的的视频区域不进入下一步处理；
步骤3，时间维度区域配对，在前后多帧的时间轴上，根据视频区域的重心坐标以及面积特征将满足相似度要求的视频区域进行配对，具体步骤为：
步骤3.1，计算出各个视频区域重心的横坐标和纵坐标，并计算出每两个视频区域重心的横坐标差值和纵坐标的差值，本实施例以图像T1的两个视频区域q1-1和q1-2与图像T2的两个视频区域q2-1和q2-2为例：
首先计算出各个视频区域重心的横坐标为：x(q1-1)、x(q1-2)、x(q2-1)、x(q2-2)、x(q3-1)、x(q3-2)，计算出的纵坐标为：y(q1-1)、y(q1-2)、y(q2-1)、y(q2-2)、y(q3-1)、y(q3-2)；再分别求差值为：
deltaX(q1-1\q2-1)＝x(q1-1)-x(q2-1)；
deltaX(q1-2\q2-1)＝x(q1-2)-x(q2-1)；
deltaX(q1-1\q2-2)＝x(q1-1)-x(q2-2)；
deltaX(q1-2\q2-2)＝x(q1-2)-x(q2-2)；
deltaY(q1-1\q2-1)＝y(q1-1)-y(q2-1)；
deltaY(q1-2\q2-1)＝y(q1-2)-y(q2-1)；
deltaY(q1-1\q2-2)＝y(q1-1)-y(q2-2)；
deltaY(q1-2\q2-2)＝y(q1-2)-y(q2-2)；
步骤3.2，计算出每两个视频区域的面积差值为：
deltaM(q1-1\q2-1)＝10*(m(q1-1)-m(q2-1))/m(q1-1)；
deltaM(q1-2\q2-1)＝10*(m(q1-2)-m(q2-1))/m(q1-2)；
deltaM(q1-1\q2-2)＝10*(m(q1-1)-m(q2-2))/m(q1-1)；
deltaM(q1-2\q2-2)＝10*(m(q1-2)-m(q2-2))/m(q1-2)；
步骤3.3，将每两个视频区域的横坐标差值、纵坐标的差值以及面积差值的和来计算两个视频区域配对的相似度，若相似度小于10，则表明该两个视频区域满足配对要求，以q1-1、q1-2、q2-1、q2-2之间的配对关系为例，计算相似度为：
Sim(q1-1\q2-1)＝deltaX(q1-1\q2-1)+deltaY(q1-1\q2-1)+deltaM(q1-1\q2-1)；
Sim(q1-2\q2-1)＝deltaX(q1-2\q2-1)+deltaY(q1-2\q2-1)+deltaM(q1-2\q2-1)；
Sim(q1-1\q2-2)＝deltaX(q1-1\q2-2)+deltaY(q1-1\q2-2)+deltaM(q1-1\q2-2)；
Sim(q1-2\q2-2)＝deltaX(q1-2\q2-2)+deltaY(q1-2\q2-2)+deltaM(q1-2\q2-2)；
若计算的相似度的值小于10的阈值，那么就认为这两组就是配对的，从而可以推导出T1和T2上的q1-1、q1-2、q2-1、q2-2之间的配对关系。
通过述的计算方法可以继续再推导计算，推导出T2和T3上的q2-1、q2-2、q3-1、q3-2之间的配对关系，从而得到两组配对的区域为：
组1：q(1-1)、q(2-1)、q(3-1)；
组2：q(1-2)、q(2-2)、q(3-2)；
步骤4，深度滤波，对每组配对后的视频区域进行深度滤波，并作为当前帧下的视频区域输出，本实施例是采用的中值滤波，但不仅限于中值算法作为深度信息滤波，计算出每个配对组的深度上的中值作为时间轴上图像T2、空间轴上当前区域q(2-1)、q(2-2)的深度输出为：
newq2-1＝median(q(1-1)、q(2-1)、q(3-1))；
newq2-2＝median(q(1-1)、q(2-1)、q(3-1))；
上式中，median表示中值计算。
在本发明方法的计算过程中，计算速度和效果的平衡是通过小区域筛选中的面积比例阈值、时间维度区域配对中的相似度阈值两个阈值进行控制的，在整个计算过程中，很少有大量的浮点数计算，基本都是加减计算，所以计算量比较少，也比较适合于没有大量计算资源的电视机下进行工作。所以，本算法是完全可以满足滤除一些在空间上是小区域、在时间上的深度的变化较大的不好的效果，从而获得一种时空间上较好的区域噪声效果。

Claims (5)

1.一种基于时空间关联的裸眼3D超解像滤波方法，其特征在于，包括如下步骤：
步骤1，空间维度区域标记，导入2D视频转化为3D视频过程中视频帧自动切割后的各个视频区域，再对切割后的各个视频区域进行标记；
步骤2，小区域筛选，根据用户设定的性能调节要求，去除各个视频区域中面积小于用户设定的面积比例的视频区域；
步骤3，时间维度区域配对，在前后多帧的时间轴上，根据视频区域的重心坐标以及面积特征将满足相似度要求的视频区域进行配对；
步骤4，深度滤波，对每组配对后的视频区域进行深度滤波，并作为当前帧下的视频区域输出。
2.根据权利要求1所述的基于时空间关联的裸眼3D超解像滤波方法，其特征在于，步骤1中的视频帧包括前一帧图像T1、当前帧图像T2以及后一帧图像T3；前一帧图像T1在空间维度上包括q1-1和q1-2两组被切割标记的视频区域；当前帧图像T2在空间维度上包括q2-1和q2-2两组被切割标记的视频区域；后一帧图像T3在空间维度上包括q3-1和q3-2两组被切割标记的视频区域。
3.根据权利要求2所述的基于时空间关联的裸眼3D超解像滤波方法，其特征在于，步骤2中用户设定的面积比例为1％，计算前一帧图像T1、当前帧图像T2以及后一帧图像T3中各个视频区域的面积为m(q1-1)、m(q1-2)、m(q2-1)、m(q2-2)、m(q3-1)以及m(q3-2)，若某个视频区域的面积低于一帧图像面积的1％，则去掉该视频区域。
4.根据权利要求3所述的基于时空间关联的裸眼3D超解像滤波方法，其特征在于，步骤3中根据视频区域的重心坐标以及面积特征将满足相似度要求的视频区域进行配对的具体步骤为：
步骤3.1，计算出各个视频区域重心的横坐标和纵坐标，并计算出每两个视频区域重心的横坐标差值和纵坐标的差值；
步骤3.2，计算出每两个视频区域的面积差值；
步骤3.3，将每两个视频区域的横坐标差值、纵坐标的差值以及面积差值的和来计算两个视频区域配对的相似度，若相似度小于10，则表明该两个视频区域满足配对要求。
5.根据权利要求4所述的基于时空间关联的裸眼3D超解像滤波方法，其特征在于，步骤1中的深度滤波采用的是中值滤波。
CN201610820935.3A 2016-09-13 2016-09-13 一种基于时空间关联的裸眼3d超解像滤波方法 Active CN106355611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610820935.3A CN106355611B (zh) 2016-09-13 2016-09-13 一种基于时空间关联的裸眼3d超解像滤波方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610820935.3A CN106355611B (zh) 2016-09-13 2016-09-13 一种基于时空间关联的裸眼3d超解像滤波方法

Publications (2)

Publication Number Publication Date
CN106355611A true CN106355611A (zh) 2017-01-25
CN106355611B CN106355611B (zh) 2019-03-22

Family

ID=57859949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610820935.3A Active CN106355611B (zh) 2016-09-13 2016-09-13 一种基于时空间关联的裸眼3d超解像滤波方法

Country Status (1)

Country Link
CN (1) CN106355611B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635859A (zh) * 2009-08-21 2010-01-27 清华大学 一种实现平面视频转立体视频的方法和装置
CN102196292A (zh) * 2011-06-24 2011-09-21 清华大学 基于人机交互生成视频深度图序列的方法及系统
CN103561258A (zh) * 2013-09-25 2014-02-05 同济大学 一种Kinect深度视频时空联合修复方法
CN104616286A (zh) * 2014-12-17 2015-05-13 浙江大学 快速的半自动多视图深度修复方法
US20150181195A1 (en) * 2012-07-20 2015-06-25 Koninklijke Philips N.V. Metadata for depth filtering
CN104796684A (zh) * 2015-03-24 2015-07-22 深圳市广之爱文化传播有限公司 裸眼3d视频处理方法
EP2541496B1 (en) * 2009-01-21 2015-08-12 Samsung Electronics Co., Ltd. Method, medium, and apparatus of filtering depth noise using depth information

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2541496B1 (en) * 2009-01-21 2015-08-12 Samsung Electronics Co., Ltd. Method, medium, and apparatus of filtering depth noise using depth information
CN101635859A (zh) * 2009-08-21 2010-01-27 清华大学 一种实现平面视频转立体视频的方法和装置
CN102196292A (zh) * 2011-06-24 2011-09-21 清华大学 基于人机交互生成视频深度图序列的方法及系统
US20150181195A1 (en) * 2012-07-20 2015-06-25 Koninklijke Philips N.V. Metadata for depth filtering
CN103561258A (zh) * 2013-09-25 2014-02-05 同济大学 一种Kinect深度视频时空联合修复方法
CN104616286A (zh) * 2014-12-17 2015-05-13 浙江大学 快速的半自动多视图深度修复方法
CN104796684A (zh) * 2015-03-24 2015-07-22 深圳市广之爱文化传播有限公司 裸眼3d视频处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李可宏 等: "2维至3维图像/视频转换的深度图提取方法综述", 《中国图象图形学报》 *
黄冬冬 等: "基于运动估计的2D转3D视频深度滤波", 《厦门大学学报（自然科学版）》 *

Also Published As

Publication number Publication date
CN106355611B (zh) 2019-03-22

Similar Documents

Publication Publication Date Title
CN101282492B (zh) 三维影像显示深度调整方法
CN101287143B (zh) 基于实时人机对话的平面视频转立体视频的方法
US20140009462A1 (en) Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
CN102665086B (zh) 利用基于区域的局部立体匹配获取视差的方法
CN101287142A (zh) 基于双向跟踪和特征点修正的平面视频转立体视频的方法
CN104754322B (zh) 一种立体视频舒适度评价方法及装置
CN103248906B (zh) 一种双目立体视频序列的深度图获取方法与系统
CN102892021B (zh) 一种合成虚拟视点图像的新方法
CN103260081A (zh) 一种视频图像缩放处理方法及装置
US10154242B1 (en) Conversion of 2D image to 3D video
CN102905145B (zh) 立体影像系统、影像产生方法、影像调整装置及其方法
CN105898138A (zh) 全景视频播放方法及装置
CN106530282B (zh) 基于空域特征的无参考立体图像质量客观评价方法
US10127714B1 (en) Spherical three-dimensional video rendering for virtual reality
US10091484B2 (en) Method for acquiring comfort degree of motion-sensing binocular stereoscopic video
CN102547350B (zh) 一种基于梯度光流算法合成虚拟视点方法及立体显示装置
RU2012135485A (ru) Устройство, способ и программа обработки стереоскопического видеоизображения
CN103761734A (zh) 一种时域一致性保持的双目立体视频场景融合方法
Bleyer et al. Temporally consistent disparity maps from uncalibrated stereo videos
CN102026012B (zh) 平面视频立体化转换深度图生成方法和装置
CN104898954B (zh) 一种基于增强现实技术的互动阅览方法
CN103945206A (zh) 一种基于相似帧比较的立体图像合成系统
CN106355611A (zh) 一种基于时空间关联的裸眼3d超解像滤波方法
CN104796684A (zh) 裸眼3d视频处理方法
CN102780900B (zh) 一种多人多视角立体显示器影像显示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant