CN104077796A - 一种将二维图像转换为三维图像的方法和装置 - Google Patents

一种将二维图像转换为三维图像的方法和装置 Download PDF

Info

Publication number
CN104077796A
CN104077796A CN201310105607.1A CN201310105607A CN104077796A CN 104077796 A CN104077796 A CN 104077796A CN 201310105607 A CN201310105607 A CN 201310105607A CN 104077796 A CN104077796 A CN 104077796A
Authority
CN
China
Prior art keywords
frame
coordinate
vertical
fdrequency component
high fdrequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310105607.1A
Other languages
English (en)
Other versions
CN104077796B (zh
Inventor
郑义
于尧
时凌云
李鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing BOE Optoelectronics Technology Co Ltd filed Critical Beijing BOE Optoelectronics Technology Co Ltd
Priority to CN201310105607.1A priority Critical patent/CN104077796B/zh
Priority to PCT/CN2013/080956 priority patent/WO2014153910A1/zh
Priority to US14/359,207 priority patent/US9514569B2/en
Publication of CN104077796A publication Critical patent/CN104077796A/zh
Application granted granted Critical
Publication of CN104077796B publication Critical patent/CN104077796B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种二维视频图像转换为三维视频图像的方法，包括：获取当前帧的高频分量和低频分量、以及参考帧的高频分量；建立水平、垂直和对角三个方向的三角形几何模型；从水平、垂直和对角三个方向对参考帧的高频分量进行运动搜索，得到对应方向的运动矢量，并根据所述运动矢量计算对应方向的深度变化量；根据深度变化量，对水平、垂直和对角三个方向的三角形几何模型分别进行插值运算，得到对应方向的高频深度图；将水平、垂直、对角三个方向的高频深度图分别与当前帧的低频分量采用小波反变换进行滤波重构，形成三维视频图像。通过本发明，可以实现二维图像到三维图像的转换。

Description

一种将二维图像转换为三维图像的方法和装置
技术领域
本发明涉及图像转换技术，特别是指一种将二维图像转换为三维图像的方法和装置。 
背景技术
二维技术，也称为2D技术，属于平面技术的一种。在一个平面上的内容就是二维，只存在上下、左右两个方向，不存在前后方向。 
三维技术，也称为3D技术。三维是指在平面二维中又加入了一个方向向量构成的空间系，三维既是坐标轴的三个轴：x轴、y轴和z轴，其中x表示左右空间，y表示上下空间，z表示前后空间，这样就形成了视觉立体效果。 
近几年三维技术飞速发展，业界多方也在试图制定三维电视内容、编码和传输的标准，但是，用于三维图像的放映设备及摄像成本较大，普及性差。目前，二维图像的发展已经非常成熟，且有一套完善的、低成本的应用体系。 
如果能将二维图像实时的转换为三维图像，再通过二维图像的放映设备立体的播放出来，那么就可以解决上述问题。但是，现有技术中并未提出一种二维图像到三维图像的转换，并通过二维图像的放映设备播放三维图像的方案。 
发明内容
有鉴于此，本发明的主要目的在于提供一种将二维图像转换为三维图像的方法和装置，以实现二维图像到三维图像的转换。 
为达到上述目的，本发明的技术方案是这样实现的： 
本发明提供了一种将二维视频图像转换为三维视频图像的方法，该方法包括： 
步骤A、对二维视频图像信号的当前帧和参考帧分别进行提升小波变换， 得到当前帧的高频分量和低频分量、以及参考帧的高频分量；所述高频分量包括水平、垂直和对角三个方向的高频分量； 
步骤B、依据所述当前帧的高频分量分别建立水平、垂直和对角三个方向的三角形几何模型； 
步骤C、使用当前帧的三角形几何模型，分别从水平、垂直和对角三个方向对参考帧的高频分量进行运动搜索，得到对应方向的运动矢量，并根据运动矢量计算对应方向的深度变化量； 
步骤D、根据所述深度变化量，对水平、垂直和对角三个方向的三角形几何模型分别进行插值运算，得到对应方向的高频深度图； 
步骤E、将水平、垂直、对角三个方向的高频深度图分别与当前帧的低频分量采用小波反变换进行滤波重构，形成三维视频图像。 
优选地，所述步骤A包括： 
设置所述当前帧或参考帧为二维视频图像信号的第i个数据帧xi(n)； 
将数据帧xi(n)分解为奇序列 x o i ( n ) = x ( 2 n + 1 ) 和偶序列 x e i ( n ) = x ( 2 n ) ;
利用奇序列和偶序列的相关性，使用偶序列预测得到的奇序列 为：所述pi为第i个数据帧的偶序列预测奇序列的预测算子，所述k为缩放系数； 
对所述预测得到的奇序列进行滤波，并用偶序列减去滤波结果，得到第i个数据帧的偶序列为：所述 即为滤波结果，所述Ui(k)为更新算子； 
将所述乘以缩放系数1/k、将乘以缩放系数k，得到数据帧xi(n)的近似细节： x low i ( n ) = X e i ( n ) / k , x high i ( n ) = X o i ( n ) · k ; 所述为第i个数据帧的低频分量，为第i个数据帧的高频分量； 
对所述分别从水平、垂直和对角三个方向进行滤波，获得第i个数据帧在三个方向的高频分量。 
优选地，所述步骤B包括： 
设置三角形几何模型的三个顶点坐标为（x，y，z），所述x为水平方向坐标，所述y为垂直方向坐标，所述z为对角方向坐标； 
在y坐标不变、x坐标增加的基础上，根据z坐标的变化建立水平方向的三角形几何模型； 
在x坐标不变、y坐标增加的基础上，根据z坐标的变化建立垂直方向的三角形几何模型； 
在x、y坐标均有变化的基础上，根据z坐标的变化建立对角方向的三角形几何模型。 
优选地，所述步骤C包括： 
水平方向运动矢量为 MV = W p MV x 2 + MV z 2 ;
垂直方向运动矢量为 MV = W p MV y 2 + MV z 2 ;
对角方向运动矢量为 MV = W p MV x 2 + MV y 2 + MV z 2 ;
所述MVx为当前帧与参考帧的x坐标之差，MVy为当前帧与参考帧的y坐标之差，MVz为当前帧与参考帧的z坐标之差；Wp为常数量； 
通过公式计算深度变化量；所述MVmin为运动矢量的最小值，所述MVmax为运动矢量的最大值。 
优选地，所述步骤D包括：将所述深度变化量d(Z)的1/2作为插入值，对对应方向的三角形几何模型的深度值z进行插值，得到z’=z+d(Z)/2，将所述z'在对应方向所在的高频分量作为对应方向的高频深度图。 
本发明还提供了一种将二维视频图像转换为三维视频图像的装置，包括： 
提升小波变换模块，用于对二维视频图像信号的当前帧和参考帧分别进行提升小波变换，得到当前帧的高频分量和低频分量、以及参考帧的高频分量；所述高频分量包括水平、垂直和对角三个方向的高频分量； 
几何模型建立模块，用于依据所述当前帧的高频分量分别建立水平、垂直 和对角三个方向的三角形几何模型； 
运动搜索模块，用于使用当前帧的三角形几何模型，分别从水平、垂直和对角三个方向对参考帧的高频分量进行运动搜索，得到对应方向的运动矢量，并根据运动矢量计算对应方向的深度变化量； 
插值运算模块，用于根据所述深度变化量，对水平、垂直和对角三个方向的三角形几何模型分别进行插值运算，得到对应方向的高频深度图； 
重构模块，用于将水平、垂直、对角三个方向的高频深度图分别与当前帧的低频分量采用小波反变换进行滤波重构，形成三维视频图像。 
优选地，所述提升小波变换模块，还用于设置所述当前帧或参考帧为二维视频图像信号的第i个数据帧xi(n)； 
还用于将数据帧xi(n)分解为奇序列 x o i ( n ) = x ( 2 n + 1 ) 和偶序列 x e i ( n ) = x ( 2 n ) ;
还用于利用奇序列和偶序列的相关性，使用偶序列预测得到的奇序列为：所述pi为第i个数据帧的偶序列预测奇序列的预测算子，所述k为缩放系数； 
还用于对所述预测得到的奇序列进行滤波，并用偶序列减去滤波结果，得到第i个数据帧的偶序列为：所述即为滤波结果，所述Ui(k)为更新算子； 
还用于将所述乘以缩放系数1/k、将乘以缩放系数k，得到数据帧xi(n)的近似细节： x low i ( n ) = X e i ( n ) / k , x high i ( n ) = X o i ( n ) · k ; 所述为第i个数据帧的低频分量，为第i个数据帧的高频分量； 
还用于对所述分别从水平、垂直和对角三个方向进行滤波，获得第i个数据帧在三个方向的高频分量。 
优选地，所述几何模型建立模块，还用于设置三角形几何模型的三个顶点坐标为（x，y，z），所述x为水平方向坐标，所述y为垂直方向坐标，所述z为对角方向坐标；还用于在y坐标不变、x坐标增加的基础上，根据z坐标的 变化建立水平方向的三角形几何模型；还用于在x坐标不变、y坐标增加的基础上，根据z坐标的变化建立垂直方向的三角形几何模型；还用于在x、y坐标均有变化的基础上，根据z坐标的变化建立对角方向的三角形几何模型。 
优选地，所述运动搜索模块，还用于计算得到的水平方向运动矢量为  MV = W p MV x 2 + MV z 2 ; 垂直方向运动矢量为 MV = W p MV y 2 + MV z 2 ; 对角方向运动矢量为 所述MVx为当前帧与参考帧的x坐标之差，MVy为当前帧与参考帧的y坐标之差，MVz为当前帧与参考帧的z坐标之差；Wp为常数量； 
还用于通过公式计算深度变化量；所述MVmin为运动矢量的最小值，所述MVmax为运动矢量的最大值。 
优选地，所述插值运算模块，还用于将所述深度变化量d(Z)的1/2作为插入值，对对应方向的三角形几何模型的深度值z进行插值，得到z'=z+d(Z)/2，将所述z'在对应方向所在的高频分量作为对应方向的高频深度图。 
本发明二维视频图像转换为三维视频图像的方法和装置，对二维视频图像信号的当前帧和参考帧分别进行提升小波变换，得到当前帧的高频分量和低频分量、以及参考帧的高频分量，当前帧的高频分量和参考帧的高频分量分别包括水平、垂直和对角三个方向的高频分量；对当前帧的所述三个方向的高频分量建立对应的三角形几何模型；在相同的方向上使用当前帧的三角形几何模型对参考帧的高频分量进行运动搜索，计算对应方向的运动矢量，并根据运动矢量计算对应方向的深度变化量；根据各个方向的深度变化量对对应方向的三角形几何模型进行插值，形成相应的颜色空间和深度空间，得到高频深度图；将高频深度图与当前帧的低频分量用小波反变换进行滤波重构，形成三维视频图像，以此来实现二维图像到三维图像的转换。 
附图说明
图1为本发明二维图像转换为三维图像的过程示意图； 
图2为本发明对信号进行提升小波变化的过程示意图； 
图3为本发明三角形几何模型建立示意图； 
图4为本发明实施例中采用三级提升小波变换时三角形几何模型建立示意图； 
图5为本发明实施例将二维视频图像转换为三维视频图像的装置结构示意图。 
具体实施方式
本发明二维图像转换为三维图像的过程如图1所示： 
步骤1、对二维视频图像信号的当前帧（current frame）和参考帧（Reference frame）分别进行提升小波变换，得到当前帧的高频分量和低频分量、以及参考帧的高频分量。 
当前帧的高频分量和参考帧的高频分量分别包括水平、垂直和对角三个方向的高频分量。 
其中，参考帧是指与当前帧在时间和空间上相关性较强的帧，为了减少相关性的计算，较佳地，本发明实施例将与当前帧时间上相邻的帧作为参考帧。与当前帧时间上相邻的帧有两个，较佳地，本发明实施例采用当前帧的下一帧作为参考帧。 
对数据帧（当前帧或参考帧）进行提升小波变换的过程如图2所示，包括： 
第一步分裂过程：将第i个数据帧xi(n)分解为奇序列和偶序列 x e i ( n ) = x ( 2 n ) .
第二步预测过程：利用奇序列和偶序列的相关性，使用偶序列来预测奇序列，得到一个预测值然后从奇序列中减去该预测值，得到第i个数据帧的奇序列为：
其中，pi为第i个数据帧的偶序列预测奇序列的预测算子；k为缩放系数。 
第三步更新过程：对奇序列进行滤波，然后，再用偶序列减去滤波结果，得到第i个数据帧的偶序列为：
其中，即为对滤波的结果，Ui(k)为更新算子。 
最后，将乘以缩放系数1/k、将乘以缩放系数k，得到数据帧xi(n)的近似细节： x low i ( n ) = X e i ( n ) / k , x high i ( n ) = X o i ( n ) · k . 其中，为第i个数据帧的低频分量，为第i个数据帧的高频分量。 
优选地，对高频分量分别从水平、垂直和对角三个方向进行滤波，从而获取水平、垂直和对角三个方向对应的高频分量。 
步骤2、依据当前帧的高频分量分别建立水平、垂直和对角三个方向的三角形几何模型。 
三角形是最简单的平面多边形，沿着扫描线方向，一个屏幕空间三角形内部各点的颜色（r、g、b）和深度（z）的变化是线性的，即相临象素点的这些值仅相差一个固定的常数，并且，与其它多边形相比三角形更简单，其他形状也可以被分割成三角形，所以选择三角形模型来建立几何模型。 
提升小波变换后，高频分量的三角形几何模型建立如下： 
设置三角形几何模型的三个顶点坐标为（x，y，z），x为水平方向坐标，y为垂直方向坐标，z为对角方向坐标（表示深度）。那么，三角形几何模型由其三个顶点坐标（x，y，z）及顶点颜色（r，g，b）来定义，z与颜色r，g，b在扫描方向上呈线性关系。 
如图3所示，对于水平方向：在y坐标不变、x坐标增加的基础上，根据z坐标的变化建立水平方向的三角形几何模型；对于垂直方向：在x坐标不变、y坐标增加的基础上，根据z坐标的变化建立垂直方向的三角形几何模型；对于对角方向：假设为45度对角，x、y坐标均有变化，根据z坐标变化建立对角方向的三角形几何模型。 
如图4所示为以三级提升小波变换为例，分别在水平、垂直、对角三个方向建立的三角型几何模型。所谓的n级提升小波变换是指：一级是对原始图像做一次滤波，n级指的是对n-1级滤波后的高频分量继续滤波。 
图4中，HL1、LH1、HH1分别指的是一级提升小波变换后的水平方向、垂直方向、对角方向的高频分量；HL2、LH2、HH2分别指的是二级提升小波 变换后的水平方向、垂直方向、对角方向的高频分量；HL3、LH3、HH3分别指的是二级提升小波变换后的水平方向、垂直方向、对角方向的高频分量。图4中的小方格所组成的图形表示图像大小，从图中可知，每一级提升小波变换后图像根据缩放系数K进行了缩放。 
步骤3、使用当前帧的三角形几何模型，分别从水平、垂直和对角三个方向对参考帧的高频分量进行运动搜索，得到对应方向的运动矢量，并根据运动矢量计算对应方向的深度变化量。 
通过步骤2分别建立了当前帧在水平、垂直和对角三个方向的三角形几何模型。将建立的三角形几何模型作为一个模块，分别在参考帧提升小波变换后相应方向的高频分量中进行运动搜索。 
例如，使用当前帧水平方向的三角形几何模型对参考帧水平方向的高频分量进行运动搜索； 
使用当前帧垂直方向的三角形几何模型对参考帧垂直方向的高频分量进行运动搜索； 
使用当前帧对角方向的三角形几何模型对参考帧对角方向的高频分量进行运动搜索。 
根据公式（1）计算运动矢量： 
MV = W p MV x 2 + MV y 2 + MV z 2 - - - ( 1 )
其中，MVx为当前帧与参考帧的x坐标之差，MVy为当前帧与参考帧的y坐标之差，MVz为当前帧与参考帧的z坐标之差。Wp是一个常数量，可设为1。 
x方向、即水平方向的运动矢量，为深度z随x坐标的变化而变化的矢量,计算水平方向的运动矢量时，使则公式（1）演变为
y方向、即垂直方向的运动矢量,为深度z随y坐标的变化而变化的矢量，计算垂直方向的运动矢量时，使则公式（1）演变为
z方向、即对角方向的运动矢量，为深度z随x，y坐标的变化而变化的矢量，根据公式（1）即可计算出对角方向的运动矢量。 
通过上述公式（1）可分别得到水平方向运动矢量、垂直方向运动矢量、对角方向运动矢量。 
通过公式（2）可获得深度变化量d(z)： 
d ( z ) = 255 × ( MV - MV min ) MV max - MV min - - - ( 2 )
计算某个方向的深度变化量时需要先计算该方向运动矢量的最大值MVmax和最小值MVmin。运动矢量的最大值和最小值均采用公式（1）计算，只是对应的参考帧不同。 
通过公式（2）最终可得到水平、垂直、对角三个方向的深度变化量。 
步骤4、根据水平、垂直和对角三个方向的深度变化量，对相应方向的三角形几何模型进行插值运算，得到相应方向的高频深度图。 
为了表示深度的差异，需要深度变化量d(Z)对对应方向的三角形几何模型进行插值运算，具体的：将深度变化量d(Z)的1/2作为插入值，对对应方向的三角形几何模型的深度值z（深度值z为每个像素的图像深度，是已知的，指的是当前像素对应的灰度级数）进行插值，得到z'=z+d(Z)/2，最终形成相应的颜色空间和深度空间，得到高频深度图。高频深度图即为z'在对应方向所在的高频分量。 
步骤5，将水平、垂直、对角三个方向的高频深度图分别与当前帧的低频分量用提升小波反变换进行滤波重构，形成三维视频图像。 
该步骤为提升小波变换的反变换（即将处理后的小波子带进行反变换得到新的图像），反变换过程即对得到的高频深度图和低频分量进行重构。 
为实现上述方法，本发明还提供了一种将二维视频图像转换为三维视频图像的装置，如图5所示，包括： 
提升小波变换模块10，用于对二维视频图像信号的当前帧和参考帧分别进行提升小波变换，得到当前帧的高频分量和低频分量、以及参考帧的高频分量；高频分量包括水平、垂直和对角三个方向的高频分量； 
几何模型建立模块20，用于依据当前帧的高频分量分别建立水平、垂直和 对角三个方向的三角形几何模型； 
运动搜索模块30，用于使用当前帧的三角形几何模型，分别从水平、垂直和对角三个方向对参考帧的高频分量进行运动搜索，得到对应方向的运动矢量，并根据运动矢量计算对应方向的深度变化量； 
插值运算模块40，用于根据深度变化量，对水平、垂直和对角三个方向的三角形几何模型分别进行插值运算，得到对应方向的高频深度图； 
重构模块50，用于将水平、垂直、对角三个方向的高频深度图分别与当前帧的低频分量采用小波反变换进行滤波重构，形成三维视频图像。 
其中，提升小波变换模块10，还用于设置当前帧或参考帧为二维视频图像信号的第i个数据帧xi(n)； 
还用于将数据帧xi(n)分解为奇序列 x o i ( n ) = x ( 2 n + 1 ) 和偶序列 x e i ( n ) = x ( 2 n ) ;
还用于利用奇序列和偶序列的相关性，使用偶序列预测得到的奇序列为：pi为第i个数据帧的偶序列预测奇序列的预测算子，k为缩放系数； 
还用于对预测得到的奇序列进行滤波，并用偶序列减去滤波结果，得到第i个数据帧的偶序列为： 即为滤波结果，Ui(k)为更新算子； 
还用于将乘以缩放系数1/k、将乘以缩放系数k，得到数据帧xi(n)的近似细节： x low i ( n ) = X e i ( n ) / k , x high i ( n ) = X o i ( n ) · k ; 为第i个数据帧的低频分量，为第i个数据帧的高频分量； 
还用于对分别从水平、垂直和对角三个方向进行滤波，获得第i个数据帧在三个方向的高频分量。 
几何模型建立模块20，还用于设置三角形几何模型的三个顶点坐标为（x，y，z），x为水平方向坐标，y为垂直方向坐标，z为对角方向坐标；还用于在y坐标不变、x坐标增加的基础上，根据z坐标的变化建立水平方向的三角形几 何模型；还用于在x坐标不变、y坐标增加的基础上，根据z坐标的变化建立垂直方向的三角形几何模型；还用于在x、y坐标均有变化的基础上，根据z坐标的变化建立对角方向的三角形几何模型。 
运动搜索模块30，还用于计算得到的水平方向运动矢量为  MV = W p MV x 2 + MV z 2 ; 垂直方向运动矢量为 MV = W p MV y 2 + MV z 2 ; 对角方向运动矢量为 MVx为当前帧与参考帧的x坐标之差，MVy为当前帧与参考帧的y坐标之差，MVz为当前帧与参考帧的z坐标之差；Wp为常数量； 
还用于通过公式计算深度变化量；MVmin为相应方向运动矢量的最小值，MVmax为相应方向运动矢量的最大值。 
插值运算模块40，还用于将深度变化量d(Z)的1/2作为插入值，对对应方向的三角形几何模型的深度值z进行插值，得到z'=z+d(Z)/2，将z'在对应方向所在的高频分量作为对应方向的高频深度图。 
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。 

Claims (10)

1.一种将二维视频图像转换为三维视频图像的方法，其特征在于，该方法包括：
步骤A、对二维视频图像信号的当前帧和参考帧分别进行提升小波变换，得到当前帧的高频分量和低频分量、以及参考帧的高频分量；所述高频分量包括水平、垂直和对角三个方向的高频分量；
步骤B、依据所述当前帧的高频分量分别建立水平、垂直和对角三个方向的三角形几何模型；
步骤C、使用当前帧的三角形几何模型，分别从水平、垂直和对角三个方向对参考帧的高频分量进行运动搜索，得到对应方向的运动矢量，并根据运动矢量计算对应方向的深度变化量；
步骤D、根据所述深度变化量，对水平、垂直和对角三个方向的三角形几何模型分别进行插值运算，得到对应方向的高频深度图；
步骤E、将水平、垂直、对角三个方向的高频深度图分别与当前帧的低频分量采用小波反变换进行滤波重构，形成三维视频图像。
2.根据权利要求1所述将二维视频图像转换为三维视频图像的方法，其特征在于，所述步骤A包括：
设置所述当前帧或参考帧为二维视频图像信号的第i个数据帧xi(n)；
将数据帧xi(n)分解为奇序列 x o i ( n ) = x ( 2 n + 1 ) 和偶序列 x e i ( n ) = x ( 2 n ) ;
利用奇序列和偶序列的相关性，使用偶序列预测得到的奇序列为：所述pi为第i个数据帧的偶序列预测奇序列的预测算子，所述k为缩放系数；
对所述预测得到的奇序列进行滤波，并用偶序列减去滤波结果，得到第i个数据帧的偶序列为：所述即为滤波结果，所述Ui(k)为更新算子；
将所述乘以缩放系数1/k、将乘以缩放系数k，得到数据帧的近似细节： x low i ( n ) = X e i ( n ) / k , x high i ( n ) = X o i ( n ) · k ; 所述为第i个数据帧的低频分量，为第i个数据帧的高频分量；
对所述分别从水平、垂直和对角三个方向进行滤波，获得第i个数据帧在三个方向的高频分量。
3.根据权利要求2所述将二维视频图像转换为三维视频图像的方法，其特征在于，所述步骤B包括：
设置三角形几何模型的三个顶点坐标为（x，y，z），所述x为水平方向坐标，所述y为垂直方向坐标，所述z为对角方向坐标；
在y坐标不变、x坐标增加的基础上，根据z坐标的变化建立水平方向的三角形几何模型；
在x坐标不变、y坐标增加的基础上，根据z坐标的变化建立垂直方向的三角形几何模型；
在x、y坐标均有变化的基础上，根据z坐标的变化建立对角方向的三角形几何模型。
4.根据权利要求3所述将二维视频图像转换为三维视频图像的方法，其特征在于，所述步骤C包括：
水平方向运动矢量为 MV = W p MV x 2 + MV z 2 ;
垂直方向运动矢量为 MV = W p MV y 2 + MV z 2 ;
对角方向运动矢量为 MV = W p MV x 2 + MV y 2 + MV z 2 ;
所述MVx为当前帧与参考帧的x坐标之差，MVy为当前帧与参考帧的y坐标之差，MVz为当前帧与参考帧的z坐标之差；Wp为常数量；
通过公式计算深度变化量；所述MVmin为运动矢量的最小值，所述MVmax为运动矢量的最大值。
5.根据权利要求4所述将二维视频图像转换为三维视频图像的方法，其特征在于，所述步骤D包括：将所述深度变化量d(Z)的1/2作为插入值，对对应方向的三角形几何模型的深度值z进行插值，得到z'=z+d(Z)/2，将所述z'在对应方向所在的高频分量作为对应方向的高频深度图。
6.一种将二维视频图像转换为三维视频图像的装置，其特征在于，包括：
提升小波变换模块，用于对二维视频图像信号的当前帧和参考帧分别进行提升小波变换，得到当前帧的高频分量和低频分量、以及参考帧的高频分量；所述高频分量包括水平、垂直和对角三个方向的高频分量；
几何模型建立模块，用于依据所述当前帧的高频分量分别建立水平、垂直和对角三个方向的三角形几何模型；
运动搜索模块，用于使用当前帧的三角形几何模型，分别从水平、垂直和对角三个方向对参考帧的高频分量进行运动搜索，得到对应方向的运动矢量，并根据运动矢量计算对应方向的深度变化量；
插值运算模块，用于根据所述深度变化量，对水平、垂直和对角三个方向的三角形几何模型分别进行插值运算，得到对应方向的高频深度图；
重构模块，用于将水平、垂直、对角三个方向的高频深度图分别与当前帧的低频分量采用小波反变换进行滤波重构，形成三维视频图像。
7.根据权利要求6所述将二维视频图像转换为三维视频图像的装置，其特征在于，所述提升小波变换模块，还用于设置所述当前帧或参考帧为二维视频图像信号的第i个数据帧xi(n)；
还用于将数据帧分解为奇序列 x o i ( n ) = x ( 2 n + 1 ) 和偶序列 x e i ( n ) = x ( 2 n ) ;
还用于利用奇序列和偶序列的相关性，使用偶序列预测得到的奇序列为：所述pi为第i个数据帧的偶序列预测奇序列的预测算子，所述k为缩放系数；
还用于对所述预测得到的奇序列进行滤波，并用偶序列减去滤波结果，得到第i个数据帧的偶序列为：所述即为滤波结果，所述为更新算子；
还用于将所述乘以缩放系数1/k、将乘以缩放系数k，得到数据帧xi(n)的近似细节： x low i ( n ) = X e i ( n ) / k , x high i ( n ) = X o i ( n ) · k ; 所述为第i个数据帧的低频分量，为第i个数据帧的高频分量；
还用于对所述分别从水平、垂直和对角三个方向进行滤波，获得第i个数据帧在三个方向的高频分量。
8.根据权利要求7所述将二维视频图像转换为三维视频图像的装置，其特征在于，所述几何模型建立模块，还用于设置三角形几何模型的三个顶点坐标为（x，y，z），所述x为水平方向坐标，所述y为垂直方向坐标，所述z为对角方向坐标；还用于在y坐标不变、x坐标增加的基础上，根据z坐标的变化建立水平方向的三角形几何模型；还用于在x坐标不变、y坐标增加的基础上，根据z坐标的变化建立垂直方向的三角形几何模型；还用于在x、y坐标均有变化的基础上，根据z坐标的变化建立对角方向的三角形几何模型。
9.根据权利要求8所述将二维视频图像转换为三维视频图像的装置，其特征在于，所述运动搜索模块，还用于计算得到的水平方向运动矢量为 MV = W p MV x 2 + MV z 2 ; 垂直方向运动矢量为 MV = W p MV y 2 + MV z 2 ; 对角方向运动矢量为所述MVx为当前帧与参考帧的x坐标之差，MVy为当前帧与参考帧的y坐标之差，MVz为当前帧与参考帧的z坐标之差；Wp为常数量；
还用于通过公式计算深度变化量；所述MVmin为运动矢量的最小值，所述MVmax为运动矢量的最大值。
10.根据权利要求9所述将二维视频图像转换为三维视频图像的装置，其特征在于，所述插值运算模块，还用于将所述深度变化量d(Z)的1/2作为插入值，对对应方向的三角形几何模型的深度值z进行插值，得到z'=z+d(Z)/2，将所述z'在对应方向所在的高频分量作为对应方向的高频深度图。
CN201310105607.1A 2013-03-28 2013-03-28 一种将二维图像转换为三维图像的方法和装置 Expired - Fee Related CN104077796B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310105607.1A CN104077796B (zh) 2013-03-28 2013-03-28 一种将二维图像转换为三维图像的方法和装置
PCT/CN2013/080956 WO2014153910A1 (zh) 2013-03-28 2013-08-07 将二维图像转换为三维图像的方法和装置
US14/359,207 US9514569B2 (en) 2013-03-28 2013-08-07 Method and apparatus for converting two-dimensional image into three-dimensional image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310105607.1A CN104077796B (zh) 2013-03-28 2013-03-28 一种将二维图像转换为三维图像的方法和装置

Publications (2)

Publication Number Publication Date
CN104077796A true CN104077796A (zh) 2014-10-01
CN104077796B CN104077796B (zh) 2017-01-18

Family

ID=51599037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310105607.1A Expired - Fee Related CN104077796B (zh) 2013-03-28 2013-03-28 一种将二维图像转换为三维图像的方法和装置

Country Status (3)

Country Link
US (1) US9514569B2 (zh)
CN (1) CN104077796B (zh)
WO (1) WO2014153910A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104768018A (zh) * 2015-02-04 2015-07-08 浙江工商大学 一种基于深度图的快速视点预测方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US9667948B2 (en) * 2013-10-28 2017-05-30 Ray Wang Method and system for providing three-dimensional (3D) display of two-dimensional (2D) information
RU2705014C1 (ru) * 2015-12-31 2019-11-01 Шанхай Юнайтид Имиджинг Хелскеа Ко., Лтд. Способы и системы для обработки изображений
CN113785592A (zh) * 2019-06-25 2021-12-10 Oppo广东移动通信有限公司 运动补偿的处理方法、编码器、解码器以及存储介质
CN112561843A (zh) * 2020-12-11 2021-03-26 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备以及存储介质
CN114125346B (zh) * 2021-12-24 2023-08-29 成都索贝数码科技股份有限公司 视频转换方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070279412A1 (en) * 2006-06-01 2007-12-06 Colin Davidson Infilling for 2D to 3D image conversion
CN102124745A (zh) * 2008-08-26 2011-07-13 升级芯片技术公司 用于将二维图像信号转换为三维图像信号的装置及方法
CN102496138A (zh) * 2011-11-15 2012-06-13 华东师范大学 一种二维图像转换为三维图像的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6944225B2 (en) * 2001-07-24 2005-09-13 Sharp Laboratories Of America, Inc. Resolution-scalable video compression
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7995649B2 (en) * 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8095745B1 (en) * 2006-08-07 2012-01-10 Marvell International Ltd. Non-sequential transfer of data from a memory
US8160149B2 (en) * 2007-04-03 2012-04-17 Gary Demos Flowfield motion compensation for video compression
EP2509315B1 (en) * 2011-04-04 2016-08-17 Nxp B.V. Video decoding switchable between two modes of inverse motion compensation
CN102905141A (zh) * 2011-07-28 2013-01-30 联咏科技股份有限公司 二维转三维转换装置及其方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070279412A1 (en) * 2006-06-01 2007-12-06 Colin Davidson Infilling for 2D to 3D image conversion
CN102124745A (zh) * 2008-08-26 2011-07-13 升级芯片技术公司 用于将二维图像信号转换为三维图像信号的装置及方法
CN102496138A (zh) * 2011-11-15 2012-06-13 华东师范大学 一种二维图像转换为三维图像的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈铭: "基于运动信息的二维到三维视频转换技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104768018A (zh) * 2015-02-04 2015-07-08 浙江工商大学 一种基于深度图的快速视点预测方法
CN104768018B (zh) * 2015-02-04 2016-09-21 浙江工商大学 一种基于深度图的快速视点预测方法

Also Published As

Publication number Publication date
CN104077796B (zh) 2017-01-18
US20150235414A1 (en) 2015-08-20
WO2014153910A1 (zh) 2014-10-02
US9514569B2 (en) 2016-12-06

Similar Documents

Publication Publication Date Title
CN104077796A (zh) 一种将二维图像转换为三维图像的方法和装置
CN102708576B (zh) 基于结构字典的分块图像压缩感知重建方法
US8126279B2 (en) Lifting-based view compensated compression and remote visualization of volume rendered images
US9135744B2 (en) Method for filling hole-region and three-dimensional video system using the same
CN102438167B (zh) 一种基于深度图像绘制的立体视频编码方法
CN103778606B (zh) 一种图像的处理方法及相关装置
CN102843572B (zh) 一种基于相位的立体图像质量客观评价方法
KR20130079819A (ko) 절차적 방법에 의해 생성된 지형 데이터를 편집하는 방법
CN105141940B (zh) 一种分区域的3d视频编码方法
KR20190021394A (ko) 프로젝션 이미지 구성 방법 및 디바이스
CN101790069A (zh) 一种基于图像边缘方向的尺度变换方法
CN113192185A (zh) 一种动态光场重建方法、装置及设备
CN110415169B (zh) 一种深度图超分辨率重建方法、系统及电子设备
DE102007021518A1 (de) Verfahren zum Verarbeiten eines Videodatensatzes
CN115359173A (zh) 虚拟多视点视频生成方法、装置、电子设备和存储介质
CN116071484B (zh) 十亿像素级大场景光场智能重建方法及装置
KR101341617B1 (ko) 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법
CN103258318B (zh) 一种图像降噪处理方法及系统
CN103903240A (zh) 基于多输出最小二乘支持向量回归的图像超分辨方法
CN103281556B (zh) 一种基于图像分解的立体图像质量客观评价方法
Maleki et al. Rate-distortion analysis of directional wavelets
JP2007316693A (ja) 画像符号化方法および画像符号化装置
CN103813149B (zh) 一种编解码系统的图像与视频重构方法
CN103065277A (zh) 数字图像信息处理方法及装置
CN104021526B (zh) Ar边界条件下图像模糊矩阵与矢量乘积的替代计算方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170118