CN104077796A - 一种将二维图像转换为三维图像的方法和装置 - Google Patents
一种将二维图像转换为三维图像的方法和装置 Download PDFInfo
- Publication number
- CN104077796A CN104077796A CN201310105607.1A CN201310105607A CN104077796A CN 104077796 A CN104077796 A CN 104077796A CN 201310105607 A CN201310105607 A CN 201310105607A CN 104077796 A CN104077796 A CN 104077796A
- Authority
- CN
- China
- Prior art keywords
- coordinate
- current frame
- frequency component
- frame
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000013598 vector Substances 0.000 claims abstract description 59
- 238000001914 filtration Methods 0.000 claims abstract description 33
- 230000009466 transformation Effects 0.000 claims description 21
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000003780 insertion Methods 0.000 claims description 6
- 230000037431 insertion Effects 0.000 claims description 6
- 238000009432 framing Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种二维视频图像转换为三维视频图像的方法,包括:获取当前帧的高频分量和低频分量、以及参考帧的高频分量;建立水平、垂直和对角三个方向的三角形几何模型;从水平、垂直和对角三个方向对参考帧的高频分量进行运动搜索,得到对应方向的运动矢量,并根据所述运动矢量计算对应方向的深度变化量;根据深度变化量,对水平、垂直和对角三个方向的三角形几何模型分别进行插值运算,得到对应方向的高频深度图;将水平、垂直、对角三个方向的高频深度图分别与当前帧的低频分量采用小波反变换进行滤波重构,形成三维视频图像。通过本发明,可以实现二维图像到三维图像的转换。
Description
技术领域
本发明涉及图像转换技术,特别是指一种将二维图像转换为三维图像的方法和装置。
背景技术
二维技术,也称为2D技术,属于平面技术的一种。在一个平面上的内容就是二维,只存在上下、左右两个方向,不存在前后方向。
三维技术,也称为3D技术。三维是指在平面二维中又加入了一个方向向量构成的空间系,三维既是坐标轴的三个轴:x轴、y轴和z轴,其中x表示左右空间,y表示上下空间,z表示前后空间,这样就形成了视觉立体效果。
近几年三维技术飞速发展,业界多方也在试图制定三维电视内容、编码和传输的标准,但是,用于三维图像的放映设备及摄像成本较大,普及性差。目前,二维图像的发展已经非常成熟,且有一套完善的、低成本的应用体系。
如果能将二维图像实时的转换为三维图像,再通过二维图像的放映设备立体的播放出来,那么就可以解决上述问题。但是,现有技术中并未提出一种二维图像到三维图像的转换,并通过二维图像的放映设备播放三维图像的方案。
发明内容
有鉴于此,本发明的主要目的在于提供一种将二维图像转换为三维图像的方法和装置,以实现二维图像到三维图像的转换。
为达到上述目的,本发明的技术方案是这样实现的:
本发明提供了一种将二维视频图像转换为三维视频图像的方法,该方法包括:
步骤A、对二维视频图像信号的当前帧和参考帧分别进行提升小波变换, 得到当前帧的高频分量和低频分量、以及参考帧的高频分量;所述高频分量包括水平、垂直和对角三个方向的高频分量;
步骤B、依据所述当前帧的高频分量分别建立水平、垂直和对角三个方向的三角形几何模型;
步骤C、使用当前帧的三角形几何模型,分别从水平、垂直和对角三个方向对参考帧的高频分量进行运动搜索,得到对应方向的运动矢量,并根据运动矢量计算对应方向的深度变化量;
步骤D、根据所述深度变化量,对水平、垂直和对角三个方向的三角形几何模型分别进行插值运算,得到对应方向的高频深度图;
步骤E、将水平、垂直、对角三个方向的高频深度图分别与当前帧的低频分量采用小波反变换进行滤波重构,形成三维视频图像。
优选地,所述步骤A包括:
设置所述当前帧或参考帧为二维视频图像信号的第i个数据帧xi(n);
将数据帧xi(n)分解为奇序列 和偶序列
利用奇序列和偶序列的相关性,使用偶序列预测得到的奇序列 为:所述pi为第i个数据帧的偶序列预测奇序列的预测算子,所述k为缩放系数;
对所述预测得到的奇序列进行滤波,并用偶序列减去滤波结果,得到第i个数据帧的偶序列为:所述 即为滤波结果,所述Ui(k)为更新算子;
将所述乘以缩放系数1/k、将乘以缩放系数k,得到数据帧xi(n)的近似细节: 所述为第i个数据帧的低频分量,为第i个数据帧的高频分量;
对所述分别从水平、垂直和对角三个方向进行滤波,获得第i个数据帧在三个方向的高频分量。
优选地,所述步骤B包括:
设置三角形几何模型的三个顶点坐标为(x,y,z),所述x为水平方向坐标,所述y为垂直方向坐标,所述z为对角方向坐标;
在y坐标不变、x坐标增加的基础上,根据z坐标的变化建立水平方向的三角形几何模型;
在x坐标不变、y坐标增加的基础上,根据z坐标的变化建立垂直方向的三角形几何模型;
在x、y坐标均有变化的基础上,根据z坐标的变化建立对角方向的三角形几何模型。
优选地,所述步骤C包括:
水平方向运动矢量为
垂直方向运动矢量为
对角方向运动矢量为
所述MVx为当前帧与参考帧的x坐标之差,MVy为当前帧与参考帧的y坐标之差,MVz为当前帧与参考帧的z坐标之差;Wp为常数量;
通过公式计算深度变化量;所述MVmin为运动矢量的最小值,所述MVmax为运动矢量的最大值。
优选地,所述步骤D包括:将所述深度变化量d(Z)的1/2作为插入值,对对应方向的三角形几何模型的深度值z进行插值,得到z’=z+d(Z)/2,将所述z'在对应方向所在的高频分量作为对应方向的高频深度图。
本发明还提供了一种将二维视频图像转换为三维视频图像的装置,包括:
提升小波变换模块,用于对二维视频图像信号的当前帧和参考帧分别进行提升小波变换,得到当前帧的高频分量和低频分量、以及参考帧的高频分量;所述高频分量包括水平、垂直和对角三个方向的高频分量;
几何模型建立模块,用于依据所述当前帧的高频分量分别建立水平、垂直 和对角三个方向的三角形几何模型;
运动搜索模块,用于使用当前帧的三角形几何模型,分别从水平、垂直和对角三个方向对参考帧的高频分量进行运动搜索,得到对应方向的运动矢量,并根据运动矢量计算对应方向的深度变化量;
插值运算模块,用于根据所述深度变化量,对水平、垂直和对角三个方向的三角形几何模型分别进行插值运算,得到对应方向的高频深度图;
重构模块,用于将水平、垂直、对角三个方向的高频深度图分别与当前帧的低频分量采用小波反变换进行滤波重构,形成三维视频图像。
优选地,所述提升小波变换模块,还用于设置所述当前帧或参考帧为二维视频图像信号的第i个数据帧xi(n);
还用于将数据帧xi(n)分解为奇序列 和偶序列
还用于利用奇序列和偶序列的相关性,使用偶序列预测得到的奇序列为:所述pi为第i个数据帧的偶序列预测奇序列的预测算子,所述k为缩放系数;
还用于对所述预测得到的奇序列进行滤波,并用偶序列减去滤波结果,得到第i个数据帧的偶序列为:所述即为滤波结果,所述Ui(k)为更新算子;
还用于将所述乘以缩放系数1/k、将乘以缩放系数k,得到数据帧xi(n)的近似细节: 所述为第i个数据帧的低频分量,为第i个数据帧的高频分量;
还用于对所述分别从水平、垂直和对角三个方向进行滤波,获得第i个数据帧在三个方向的高频分量。
优选地,所述几何模型建立模块,还用于设置三角形几何模型的三个顶点坐标为(x,y,z),所述x为水平方向坐标,所述y为垂直方向坐标,所述z为对角方向坐标;还用于在y坐标不变、x坐标增加的基础上,根据z坐标的 变化建立水平方向的三角形几何模型;还用于在x坐标不变、y坐标增加的基础上,根据z坐标的变化建立垂直方向的三角形几何模型;还用于在x、y坐标均有变化的基础上,根据z坐标的变化建立对角方向的三角形几何模型。
优选地,所述运动搜索模块,还用于计算得到的水平方向运动矢量为 垂直方向运动矢量为 对角方向运动矢量为 所述MVx为当前帧与参考帧的x坐标之差,MVy为当前帧与参考帧的y坐标之差,MVz为当前帧与参考帧的z坐标之差;Wp为常数量;
还用于通过公式计算深度变化量;所述MVmin为运动矢量的最小值,所述MVmax为运动矢量的最大值。
优选地,所述插值运算模块,还用于将所述深度变化量d(Z)的1/2作为插入值,对对应方向的三角形几何模型的深度值z进行插值,得到z'=z+d(Z)/2,将所述z'在对应方向所在的高频分量作为对应方向的高频深度图。
本发明二维视频图像转换为三维视频图像的方法和装置,对二维视频图像信号的当前帧和参考帧分别进行提升小波变换,得到当前帧的高频分量和低频分量、以及参考帧的高频分量,当前帧的高频分量和参考帧的高频分量分别包括水平、垂直和对角三个方向的高频分量;对当前帧的所述三个方向的高频分量建立对应的三角形几何模型;在相同的方向上使用当前帧的三角形几何模型对参考帧的高频分量进行运动搜索,计算对应方向的运动矢量,并根据运动矢量计算对应方向的深度变化量;根据各个方向的深度变化量对对应方向的三角形几何模型进行插值,形成相应的颜色空间和深度空间,得到高频深度图;将高频深度图与当前帧的低频分量用小波反变换进行滤波重构,形成三维视频图像,以此来实现二维图像到三维图像的转换。
附图说明
图1为本发明二维图像转换为三维图像的过程示意图;
图2为本发明对信号进行提升小波变化的过程示意图;
图3为本发明三角形几何模型建立示意图;
图4为本发明实施例中采用三级提升小波变换时三角形几何模型建立示意图;
图5为本发明实施例将二维视频图像转换为三维视频图像的装置结构示意图。
具体实施方式
本发明二维图像转换为三维图像的过程如图1所示:
步骤1、对二维视频图像信号的当前帧(current frame)和参考帧(Reference frame)分别进行提升小波变换,得到当前帧的高频分量和低频分量、以及参考帧的高频分量。
当前帧的高频分量和参考帧的高频分量分别包括水平、垂直和对角三个方向的高频分量。
其中,参考帧是指与当前帧在时间和空间上相关性较强的帧,为了减少相关性的计算,较佳地,本发明实施例将与当前帧时间上相邻的帧作为参考帧。与当前帧时间上相邻的帧有两个,较佳地,本发明实施例采用当前帧的下一帧作为参考帧。
对数据帧(当前帧或参考帧)进行提升小波变换的过程如图2所示,包括:
第一步分裂过程:将第i个数据帧xi(n)分解为奇序列和偶序列
第二步预测过程:利用奇序列和偶序列的相关性,使用偶序列来预测奇序列,得到一个预测值然后从奇序列中减去该预测值,得到第i个数据帧的奇序列为:
其中,pi为第i个数据帧的偶序列预测奇序列的预测算子;k为缩放系数。
第三步更新过程:对奇序列进行滤波,然后,再用偶序列减去滤波结果,得到第i个数据帧的偶序列为:
其中,即为对滤波的结果,Ui(k)为更新算子。
最后,将乘以缩放系数1/k、将乘以缩放系数k,得到数据帧xi(n)的近似细节: 其中,为第i个数据帧的低频分量,为第i个数据帧的高频分量。
优选地,对高频分量分别从水平、垂直和对角三个方向进行滤波,从而获取水平、垂直和对角三个方向对应的高频分量。
步骤2、依据当前帧的高频分量分别建立水平、垂直和对角三个方向的三角形几何模型。
三角形是最简单的平面多边形,沿着扫描线方向,一个屏幕空间三角形内部各点的颜色(r、g、b)和深度(z)的变化是线性的,即相临象素点的这些值仅相差一个固定的常数,并且,与其它多边形相比三角形更简单,其他形状也可以被分割成三角形,所以选择三角形模型来建立几何模型。
提升小波变换后,高频分量的三角形几何模型建立如下:
设置三角形几何模型的三个顶点坐标为(x,y,z),x为水平方向坐标,y为垂直方向坐标,z为对角方向坐标(表示深度)。那么,三角形几何模型由其三个顶点坐标(x,y,z)及顶点颜色(r,g,b)来定义,z与颜色r,g,b在扫描方向上呈线性关系。
如图3所示,对于水平方向:在y坐标不变、x坐标增加的基础上,根据z坐标的变化建立水平方向的三角形几何模型;对于垂直方向:在x坐标不变、y坐标增加的基础上,根据z坐标的变化建立垂直方向的三角形几何模型;对于对角方向:假设为45度对角,x、y坐标均有变化,根据z坐标变化建立对角方向的三角形几何模型。
如图4所示为以三级提升小波变换为例,分别在水平、垂直、对角三个方向建立的三角型几何模型。所谓的n级提升小波变换是指:一级是对原始图像做一次滤波,n级指的是对n-1级滤波后的高频分量继续滤波。
图4中,HL1、LH1、HH1分别指的是一级提升小波变换后的水平方向、垂直方向、对角方向的高频分量;HL2、LH2、HH2分别指的是二级提升小波 变换后的水平方向、垂直方向、对角方向的高频分量;HL3、LH3、HH3分别指的是二级提升小波变换后的水平方向、垂直方向、对角方向的高频分量。图4中的小方格所组成的图形表示图像大小,从图中可知,每一级提升小波变换后图像根据缩放系数K进行了缩放。
步骤3、使用当前帧的三角形几何模型,分别从水平、垂直和对角三个方向对参考帧的高频分量进行运动搜索,得到对应方向的运动矢量,并根据运动矢量计算对应方向的深度变化量。
通过步骤2分别建立了当前帧在水平、垂直和对角三个方向的三角形几何模型。将建立的三角形几何模型作为一个模块,分别在参考帧提升小波变换后相应方向的高频分量中进行运动搜索。
例如,使用当前帧水平方向的三角形几何模型对参考帧水平方向的高频分量进行运动搜索;
使用当前帧垂直方向的三角形几何模型对参考帧垂直方向的高频分量进行运动搜索;
使用当前帧对角方向的三角形几何模型对参考帧对角方向的高频分量进行运动搜索。
根据公式(1)计算运动矢量:
其中,MVx为当前帧与参考帧的x坐标之差,MVy为当前帧与参考帧的y坐标之差,MVz为当前帧与参考帧的z坐标之差。Wp是一个常数量,可设为1。
x方向、即水平方向的运动矢量,为深度z随x坐标的变化而变化的矢量,计算水平方向的运动矢量时,使则公式(1)演变为
y方向、即垂直方向的运动矢量,为深度z随y坐标的变化而变化的矢量,计算垂直方向的运动矢量时,使则公式(1)演变为
z方向、即对角方向的运动矢量,为深度z随x,y坐标的变化而变化的矢量,根据公式(1)即可计算出对角方向的运动矢量。
通过上述公式(1)可分别得到水平方向运动矢量、垂直方向运动矢量、对角方向运动矢量。
通过公式(2)可获得深度变化量d(z):
计算某个方向的深度变化量时需要先计算该方向运动矢量的最大值MVmax和最小值MVmin。运动矢量的最大值和最小值均采用公式(1)计算,只是对应的参考帧不同。
通过公式(2)最终可得到水平、垂直、对角三个方向的深度变化量。
步骤4、根据水平、垂直和对角三个方向的深度变化量,对相应方向的三角形几何模型进行插值运算,得到相应方向的高频深度图。
为了表示深度的差异,需要深度变化量d(Z)对对应方向的三角形几何模型进行插值运算,具体的:将深度变化量d(Z)的1/2作为插入值,对对应方向的三角形几何模型的深度值z(深度值z为每个像素的图像深度,是已知的,指的是当前像素对应的灰度级数)进行插值,得到z'=z+d(Z)/2,最终形成相应的颜色空间和深度空间,得到高频深度图。高频深度图即为z'在对应方向所在的高频分量。
步骤5,将水平、垂直、对角三个方向的高频深度图分别与当前帧的低频分量用提升小波反变换进行滤波重构,形成三维视频图像。
该步骤为提升小波变换的反变换(即将处理后的小波子带进行反变换得到新的图像),反变换过程即对得到的高频深度图和低频分量进行重构。
为实现上述方法,本发明还提供了一种将二维视频图像转换为三维视频图像的装置,如图5所示,包括:
提升小波变换模块10,用于对二维视频图像信号的当前帧和参考帧分别进行提升小波变换,得到当前帧的高频分量和低频分量、以及参考帧的高频分量;高频分量包括水平、垂直和对角三个方向的高频分量;
几何模型建立模块20,用于依据当前帧的高频分量分别建立水平、垂直和 对角三个方向的三角形几何模型;
运动搜索模块30,用于使用当前帧的三角形几何模型,分别从水平、垂直和对角三个方向对参考帧的高频分量进行运动搜索,得到对应方向的运动矢量,并根据运动矢量计算对应方向的深度变化量;
插值运算模块40,用于根据深度变化量,对水平、垂直和对角三个方向的三角形几何模型分别进行插值运算,得到对应方向的高频深度图;
重构模块50,用于将水平、垂直、对角三个方向的高频深度图分别与当前帧的低频分量采用小波反变换进行滤波重构,形成三维视频图像。
其中,提升小波变换模块10,还用于设置当前帧或参考帧为二维视频图像信号的第i个数据帧xi(n);
还用于将数据帧xi(n)分解为奇序列 和偶序列
还用于利用奇序列和偶序列的相关性,使用偶序列预测得到的奇序列为:pi为第i个数据帧的偶序列预测奇序列的预测算子,k为缩放系数;
还用于对预测得到的奇序列进行滤波,并用偶序列减去滤波结果,得到第i个数据帧的偶序列为: 即为滤波结果,Ui(k)为更新算子;
还用于将乘以缩放系数1/k、将乘以缩放系数k,得到数据帧xi(n)的近似细节: 为第i个数据帧的低频分量,为第i个数据帧的高频分量;
还用于对分别从水平、垂直和对角三个方向进行滤波,获得第i个数据帧在三个方向的高频分量。
几何模型建立模块20,还用于设置三角形几何模型的三个顶点坐标为(x,y,z),x为水平方向坐标,y为垂直方向坐标,z为对角方向坐标;还用于在y坐标不变、x坐标增加的基础上,根据z坐标的变化建立水平方向的三角形几 何模型;还用于在x坐标不变、y坐标增加的基础上,根据z坐标的变化建立垂直方向的三角形几何模型;还用于在x、y坐标均有变化的基础上,根据z坐标的变化建立对角方向的三角形几何模型。
运动搜索模块30,还用于计算得到的水平方向运动矢量为 垂直方向运动矢量为 对角方向运动矢量为 MVx为当前帧与参考帧的x坐标之差,MVy为当前帧与参考帧的y坐标之差,MVz为当前帧与参考帧的z坐标之差;Wp为常数量;
还用于通过公式计算深度变化量;MVmin为相应方向运动矢量的最小值,MVmax为相应方向运动矢量的最大值。
插值运算模块40,还用于将深度变化量d(Z)的1/2作为插入值,对对应方向的三角形几何模型的深度值z进行插值,得到z'=z+d(Z)/2,将z'在对应方向所在的高频分量作为对应方向的高频深度图。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (10)
1.一种将二维视频图像转换为三维视频图像的方法,其特征在于,该方法包括:
步骤A、对二维视频图像信号的当前帧和参考帧分别进行提升小波变换,得到当前帧的高频分量和低频分量、以及参考帧的高频分量;所述高频分量包括水平、垂直和对角三个方向的高频分量;
步骤B、依据所述当前帧的高频分量分别建立水平、垂直和对角三个方向的三角形几何模型;
步骤C、使用当前帧的三角形几何模型,分别从水平、垂直和对角三个方向对参考帧的高频分量进行运动搜索,得到对应方向的运动矢量,并根据运动矢量计算对应方向的深度变化量;
步骤D、根据所述深度变化量,对水平、垂直和对角三个方向的三角形几何模型分别进行插值运算,得到对应方向的高频深度图;
步骤E、将水平、垂直、对角三个方向的高频深度图分别与当前帧的低频分量采用小波反变换进行滤波重构,形成三维视频图像。
2.根据权利要求1所述将二维视频图像转换为三维视频图像的方法,其特征在于,所述步骤A包括:
设置所述当前帧或参考帧为二维视频图像信号的第i个数据帧xi(n);
将数据帧xi(n)分解为奇序列 和偶序列
利用奇序列和偶序列的相关性,使用偶序列预测得到的奇序列为:所述pi为第i个数据帧的偶序列预测奇序列的预测算子,所述k为缩放系数;
对所述预测得到的奇序列进行滤波,并用偶序列减去滤波结果,得到第i个数据帧的偶序列为:所述即为滤波结果,所述Ui(k)为更新算子;
将所述乘以缩放系数1/k、将乘以缩放系数k,得到数据帧的近似细节: 所述为第i个数据帧的低频分量,为第i个数据帧的高频分量;
对所述分别从水平、垂直和对角三个方向进行滤波,获得第i个数据帧在三个方向的高频分量。
3.根据权利要求2所述将二维视频图像转换为三维视频图像的方法,其特征在于,所述步骤B包括:
设置三角形几何模型的三个顶点坐标为(x,y,z),所述x为水平方向坐标,所述y为垂直方向坐标,所述z为对角方向坐标;
在y坐标不变、x坐标增加的基础上,根据z坐标的变化建立水平方向的三角形几何模型;
在x坐标不变、y坐标增加的基础上,根据z坐标的变化建立垂直方向的三角形几何模型;
在x、y坐标均有变化的基础上,根据z坐标的变化建立对角方向的三角形几何模型。
4.根据权利要求3所述将二维视频图像转换为三维视频图像的方法,其特征在于,所述步骤C包括:
水平方向运动矢量为
垂直方向运动矢量为
对角方向运动矢量为
所述MVx为当前帧与参考帧的x坐标之差,MVy为当前帧与参考帧的y坐标之差,MVz为当前帧与参考帧的z坐标之差;Wp为常数量;
通过公式计算深度变化量;所述MVmin为运动矢量的最小值,所述MVmax为运动矢量的最大值。
5.根据权利要求4所述将二维视频图像转换为三维视频图像的方法,其特征在于,所述步骤D包括:将所述深度变化量d(Z)的1/2作为插入值,对对应方向的三角形几何模型的深度值z进行插值,得到z'=z+d(Z)/2,将所述z'在对应方向所在的高频分量作为对应方向的高频深度图。
6.一种将二维视频图像转换为三维视频图像的装置,其特征在于,包括:
提升小波变换模块,用于对二维视频图像信号的当前帧和参考帧分别进行提升小波变换,得到当前帧的高频分量和低频分量、以及参考帧的高频分量;所述高频分量包括水平、垂直和对角三个方向的高频分量;
几何模型建立模块,用于依据所述当前帧的高频分量分别建立水平、垂直和对角三个方向的三角形几何模型;
运动搜索模块,用于使用当前帧的三角形几何模型,分别从水平、垂直和对角三个方向对参考帧的高频分量进行运动搜索,得到对应方向的运动矢量,并根据运动矢量计算对应方向的深度变化量;
插值运算模块,用于根据所述深度变化量,对水平、垂直和对角三个方向的三角形几何模型分别进行插值运算,得到对应方向的高频深度图;
重构模块,用于将水平、垂直、对角三个方向的高频深度图分别与当前帧的低频分量采用小波反变换进行滤波重构,形成三维视频图像。
7.根据权利要求6所述将二维视频图像转换为三维视频图像的装置,其特征在于,所述提升小波变换模块,还用于设置所述当前帧或参考帧为二维视频图像信号的第i个数据帧xi(n);
还用于将数据帧分解为奇序列 和偶序列
还用于利用奇序列和偶序列的相关性,使用偶序列预测得到的奇序列为:所述pi为第i个数据帧的偶序列预测奇序列的预测算子,所述k为缩放系数;
还用于对所述预测得到的奇序列进行滤波,并用偶序列减去滤波结果,得到第i个数据帧的偶序列为:所述即为滤波结果,所述为更新算子;
还用于将所述乘以缩放系数1/k、将乘以缩放系数k,得到数据帧xi(n)的近似细节: 所述为第i个数据帧的低频分量,为第i个数据帧的高频分量;
还用于对所述分别从水平、垂直和对角三个方向进行滤波,获得第i个数据帧在三个方向的高频分量。
8.根据权利要求7所述将二维视频图像转换为三维视频图像的装置,其特征在于,所述几何模型建立模块,还用于设置三角形几何模型的三个顶点坐标为(x,y,z),所述x为水平方向坐标,所述y为垂直方向坐标,所述z为对角方向坐标;还用于在y坐标不变、x坐标增加的基础上,根据z坐标的变化建立水平方向的三角形几何模型;还用于在x坐标不变、y坐标增加的基础上,根据z坐标的变化建立垂直方向的三角形几何模型;还用于在x、y坐标均有变化的基础上,根据z坐标的变化建立对角方向的三角形几何模型。
9.根据权利要求8所述将二维视频图像转换为三维视频图像的装置,其特征在于,所述运动搜索模块,还用于计算得到的水平方向运动矢量为 垂直方向运动矢量为 对角方向运动矢量为所述MVx为当前帧与参考帧的x坐标之差,MVy为当前帧与参考帧的y坐标之差,MVz为当前帧与参考帧的z坐标之差;Wp为常数量;
还用于通过公式计算深度变化量;所述MVmin为运动矢量的最小值,所述MVmax为运动矢量的最大值。
10.根据权利要求9所述将二维视频图像转换为三维视频图像的装置,其特征在于,所述插值运算模块,还用于将所述深度变化量d(Z)的1/2作为插入值,对对应方向的三角形几何模型的深度值z进行插值,得到z'=z+d(Z)/2,将所述z'在对应方向所在的高频分量作为对应方向的高频深度图。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310105607.1A CN104077796B (zh) | 2013-03-28 | 2013-03-28 | 一种将二维图像转换为三维图像的方法和装置 |
US14/359,207 US9514569B2 (en) | 2013-03-28 | 2013-08-07 | Method and apparatus for converting two-dimensional image into three-dimensional image |
PCT/CN2013/080956 WO2014153910A1 (zh) | 2013-03-28 | 2013-08-07 | 将二维图像转换为三维图像的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310105607.1A CN104077796B (zh) | 2013-03-28 | 2013-03-28 | 一种将二维图像转换为三维图像的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104077796A true CN104077796A (zh) | 2014-10-01 |
CN104077796B CN104077796B (zh) | 2017-01-18 |
Family
ID=51599037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310105607.1A Expired - Fee Related CN104077796B (zh) | 2013-03-28 | 2013-03-28 | 一种将二维图像转换为三维图像的方法和装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9514569B2 (zh) |
CN (1) | CN104077796B (zh) |
WO (1) | WO2014153910A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104768018A (zh) * | 2015-02-04 | 2015-07-08 | 浙江工商大学 | 一种基于深度图的快速视点预测方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101448162B (zh) | 2001-12-17 | 2013-01-02 | 微软公司 | 处理视频图像的方法 |
US10554985B2 (en) | 2003-07-18 | 2020-02-04 | Microsoft Technology Licensing, Llc | DC coefficient signaling at small quantization step sizes |
US9667948B2 (en) * | 2013-10-28 | 2017-05-30 | Ray Wang | Method and system for providing three-dimensional (3D) display of two-dimensional (2D) information |
GB2548767B (en) * | 2015-12-31 | 2018-06-13 | Shanghai United Imaging Healthcare Co Ltd | Methods and systems for image processing |
CN114222136B (zh) * | 2019-06-25 | 2024-10-01 | Oppo广东移动通信有限公司 | 运动补偿的处理方法、编码器、解码器以及存储介质 |
CN112561843B (zh) * | 2020-12-11 | 2024-07-02 | 上饶市纯白数字科技有限公司 | 用于处理图像的方法、装置、设备以及存储介质 |
CN114125346B (zh) * | 2021-12-24 | 2023-08-29 | 成都索贝数码科技股份有限公司 | 视频转换方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070279412A1 (en) * | 2006-06-01 | 2007-12-06 | Colin Davidson | Infilling for 2D to 3D image conversion |
CN102124745A (zh) * | 2008-08-26 | 2011-07-13 | 升级芯片技术公司 | 用于将二维图像信号转换为三维图像信号的装置及方法 |
CN102496138A (zh) * | 2011-11-15 | 2012-06-13 | 华东师范大学 | 一种二维图像转换为三维图像的方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6944225B2 (en) * | 2001-07-24 | 2005-09-13 | Sharp Laboratories Of America, Inc. | Resolution-scalable video compression |
CN101448162B (zh) * | 2001-12-17 | 2013-01-02 | 微软公司 | 处理视频图像的方法 |
US7995649B2 (en) * | 2006-04-07 | 2011-08-09 | Microsoft Corporation | Quantization adjustment based on texture level |
US8095745B1 (en) * | 2006-08-07 | 2012-01-10 | Marvell International Ltd. | Non-sequential transfer of data from a memory |
US8160149B2 (en) * | 2007-04-03 | 2012-04-17 | Gary Demos | Flowfield motion compensation for video compression |
EP2509315B1 (en) * | 2011-04-04 | 2016-08-17 | Nxp B.V. | Video decoding switchable between two modes of inverse motion compensation |
CN102905141A (zh) * | 2011-07-28 | 2013-01-30 | 联咏科技股份有限公司 | 二维转三维转换装置及其方法 |
-
2013
- 2013-03-28 CN CN201310105607.1A patent/CN104077796B/zh not_active Expired - Fee Related
- 2013-08-07 WO PCT/CN2013/080956 patent/WO2014153910A1/zh active Application Filing
- 2013-08-07 US US14/359,207 patent/US9514569B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070279412A1 (en) * | 2006-06-01 | 2007-12-06 | Colin Davidson | Infilling for 2D to 3D image conversion |
CN102124745A (zh) * | 2008-08-26 | 2011-07-13 | 升级芯片技术公司 | 用于将二维图像信号转换为三维图像信号的装置及方法 |
CN102496138A (zh) * | 2011-11-15 | 2012-06-13 | 华东师范大学 | 一种二维图像转换为三维图像的方法 |
Non-Patent Citations (1)
Title |
---|
陈铭: "基于运动信息的二维到三维视频转换技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104768018A (zh) * | 2015-02-04 | 2015-07-08 | 浙江工商大学 | 一种基于深度图的快速视点预测方法 |
CN104768018B (zh) * | 2015-02-04 | 2016-09-21 | 浙江工商大学 | 一种基于深度图的快速视点预测方法 |
Also Published As
Publication number | Publication date |
---|---|
US9514569B2 (en) | 2016-12-06 |
CN104077796B (zh) | 2017-01-18 |
WO2014153910A1 (zh) | 2014-10-02 |
US20150235414A1 (en) | 2015-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104077796B (zh) | 一种将二维图像转换为三维图像的方法和装置 | |
CN102682446B (zh) | 使用自适应联合双边滤波器生成稠密深度图的设备和方法 | |
CN111325693B (zh) | 一种基于单视点rgb-d图像的大尺度全景视点合成方法 | |
CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
CN101765022A (zh) | 一种基于光流与图像分割的深度表示方法 | |
CN104010180B (zh) | 三维视频滤波方法和装置 | |
CN101557534B (zh) | 一种从视频相近帧中生成视差图的方法 | |
CN107360416A (zh) | 基于局部多元高斯描述子的立体图像质量评价方法 | |
CN106791768A (zh) | 一种基于图割优化的深度图帧率提升方法 | |
CN102438167A (zh) | 一种基于深度图像绘制的立体视频编码方法 | |
CN110415169B (zh) | 一种深度图超分辨率重建方法、系统及电子设备 | |
CN104980726B (zh) | 一种联合运动向量的双目视频立体匹配方法 | |
Agrawal et al. | Image resolution enhancement using lifting wavelet and stationary wavelet transform | |
CN102769749B (zh) | 一种深度图像的后处理方法 | |
CN115359173A (zh) | 虚拟多视点视频生成方法、装置、电子设备和存储介质 | |
US20130027513A1 (en) | Apparatus and Method for Adjusting the Perceived Depth of 3D Visual Content | |
CN103745457A (zh) | 一种立体图像客观质量评价方法 | |
CN109257591A (zh) | 基于稀疏表示的无参考立体视频质量客观评价方法 | |
KR101341617B1 (ko) | 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법 | |
CN103903259A (zh) | 一种基于结构纹理分离的立体图像质量客观评价方法 | |
CN103826135B (zh) | 基于恰可识别视差错误估计的三维视频深度图编码方法 | |
CN105915886B (zh) | 一种基于视频压缩域的深度图推理算法 | |
CN103813149B (zh) | 一种编解码系统的图像与视频重构方法 | |
CN105096352A (zh) | 一种显著度驱动的深度图像压缩方法 | |
CN112037313A (zh) | 基于隧道视野的vr场景优化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170118 |