CN103810685B - 一种深度图的超分辨率处理方法 - Google Patents

一种深度图的超分辨率处理方法 Download PDF

Info

Publication number
CN103810685B
CN103810685B CN201410065631.1A CN201410065631A CN103810685B CN 103810685 B CN103810685 B CN 103810685B CN 201410065631 A CN201410065631 A CN 201410065631A CN 103810685 B CN103810685 B CN 103810685B
Authority
CN
China
Prior art keywords
image
piece
resolution
depth
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410065631.1A
Other languages
English (en)
Other versions
CN103810685A (zh
Inventor
张磊
李阳光
张永兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Tsinghua University
Original Assignee
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Tsinghua University filed Critical Shenzhen Graduate School Tsinghua University
Priority to CN201410065631.1A priority Critical patent/CN103810685B/zh
Publication of CN103810685A publication Critical patent/CN103810685A/zh
Priority to PCT/CN2015/072180 priority patent/WO2015127847A1/zh
Application granted granted Critical
Publication of CN103810685B publication Critical patent/CN103810685B/zh
Priority to US15/216,332 priority patent/US10115182B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种深度图的超分辨率处理方法，首先，分别获取第一原始图像（S1）、第二原始图像（S2）以及第一原始图像（S1）的低分辨率深度图（d），其次，1）将低分辨率深度图（d）划分为多个深度图像块；2）对步骤1）得到的各个深度图像块分别进行如下处理：21）采用多种超分辨率处理方法分别对当前块进行超分辨率处理，得到多个高分辨率深度图像块；22）采用图像合成技术得到新的合成图像块；23）匹配判断，确定最终的高分辨率深度图像块；3）按照各个深度图像块在低分辨率深度图（d）中的位置，将各个深度图像块的高分辨率深度图像块整合成一幅图像。本发明的深度图的超分辨率处理方法，得到的高分辨率深度图的深度信息更精确。

Description

一种深度图的超分辨率处理方法
【技术领域】
本发明涉及计算机图像处理领域，特别是涉及一种基于图像匹配的深度图的超分辨率处理方法。
【背景技术】
超分辨率处理技术是当前计算机视觉、图像视频处理等学科领域的研究热点之一，用于对分辨率比较低、细节信息较少的自然图像进行处理，生成含有更多细节信息的高分辨率图像，是一种提高原有图像分辨率的技术。超分辨率处理技术已广泛应用于高清影视、图像压缩、医学成像、视频监控、卫星图像分析等领域。尤其是近30年来，超分辨率技术更是得到广泛和深入的研究。深度图包含着场景中物体的三维深度信息，在三维视觉场景构建中有着重要作用。一张良好的高分辨率深度图，能够使对应的彩色图像像素点投影到三维立体场景中显示出清晰完整的效果，是对高效优质的立体场景构建的有力支持。因此，获取高质量的高分辨率深度图在立体视觉中有着十分重要的意义。
现有获取深度图的方法中，有通过激光深度扫描方法来获取，该方法能获取高质量高分辨率的深度图，但该获取方法对设备和技术的要求较高，导致成本代价高昂，并且大部分都是一次只扫描一个点，获取的速度很慢，难以满足实时要求。也有通过深度相机，如时间飞行(time-of-flight，简称TOF)相机等，直接对场景进行拍摄采集，实时快速获得深度图，但是该方法只能获得低分辨率深度图，要得到高分辨率深度图还需进一步处理。现有的处理方法中，有采用超分辨率方法直接对深度图进行超分辨率处理，处理后无法保证得到的高分辨率深度图在实际的场景渲染中的质量，因此没有多大的实际意义。
【发明内容】
本发明所要解决的技术问题是：弥补上述现有技术的不足，提出一种深度图的超分辨率处理方法，处理得到的高分辨率深度图的深度信息更精确。
本发明的技术问题通过以下的技术方案予以解决：
一种深度图的超分辨率处理方法，包括以下步骤：首先，在第一位置和第二位置对同一场景进行图像采集，分别获取第一原始图像(S1)和第二原始图像(S2)；获取所述第一原始图像(S1)的低分辨率深度图(d)；其次，进行如下处理：1)将所述低分辨率深度图(d)划分为多个深度图像块；2)对步骤1)得到的各个深度图像块分别进行如下处理：21)采用多种超分辨率处理方法分别对当前块进行超分辨率处理，得到多个与所述第一原始图像(S1)相同分辨率的初始的高分辨率深度图像块；22)遍历步骤21)得到的多个高分辨率深度图像块，分别结合所述第一原始图像(S1)中对应当前块的相应图像块，采用图像合成技术，根据所述第一位置和所述第二位置的相对位置关系，合成得到多个对应所述第二原始图像(S2)的图像块，定义为多个合成图像块；23)遍历步骤22)中得到的多个合成图像块，分别计算各个合成图像块与所述第二原始图像(S2)中对应当前块的相应块的匹配程度，确定匹配程度最高的合成图像块，将所述匹配程度最高的合成图像块对应的高分辨率深度图像块确定为当前块的最终的高分辨率深度图像块；3)按照各个深度图像块在所述低分辨率深度图(d)中的位置，将各个深度图像块的高分辨率深度图像块整合成一幅图像，得到所述低分辨率深度图(d)的超分辨率处理图像。
本发明与现有技术对比的有益效果是：
本发明的深度图的超分辨率处理方法，通过采用已有的多种超分辨率方法分别对深度图各块进行超分辨率，根据生成的高分辨率深度图结果分别结合相应的第一原始图像块，生成对应于第二原始图像的合成图像块，利用生成的合成图像块分别和已知的第二原始图像块进行匹配，通过最匹配的合成图像块得出要找的高分辨率深度图像块。方法中基于合成图像与实际图像的匹配程度，确定出高分辨率深度图，则确定的高分辨率深度图与实际情形更匹配，更接近，即高分辨率深度图的深度信息更精确，从而处理得到的高分辨率深度图更有实际意义和使用价值。
【附图说明】
图1是本发明具体实施方式的深度图的超分辨率处理方法的流程图；
图2是本发明具体实施方式的深度图的超分辨率处理方法中的投影和还原成像的原理示意图。
【具体实施方式】
下面结合具体实施方式并对照附图对本发明做进一步详细说明。
本发明的构思是：通过对超分辨率技术和基于深度图像绘图(Depth-Image-Based-Rendering，简称DIBR)技术的研究，利用合成图像块和原始图像块匹配的结果，来反向验证由超分辨率技术恢复出的高分辨率深度图的质量。本具体实施方式中，首先对图像进行分块处理，通过多种已有的超分辨率技术将深度图像块恢复到和相应的彩色图像相同的分辨率水平，然后利用恢复的深度图像块和相应的图像块信息投影到三维空间，再通过虚拟相机和三维场景获得新的合成图像块，将合成的图像块和采集的初始图像进行匹配，通过匹配效果最好的合成图像块，找到需要的其对应的高分辨率深度图像块。对低分辨率深度图中的各块均进行上述处理，即得到各块的高分辨率深度图像块，最后将各高分辨率深度图像块进行整合即得到超分辨率处理后高分辨率深度图。
本具体实施方式中，提供一种深度图的超分辨率处理方法，对第一原始图像S1的低分辨率深度图进行超分辨率处理。分别在两个不同的位置，第一位置和第二位置对同一场景进行图像采集，即分别获取第一原始图像S1和第二原始图像S2，进而获取第一原始图像S1的低分辨率深度图d。获取低分辨率深度图d时，可采用深度相机，例如(不限于)时间飞行(time-of-flight，简称TOF)相机，在所述第一位置对所述场景进行图像采集，即直接获取到第一原始图像S1的低分辨率深度图d。得到上述处理对象后，进入如图1所示的处理步骤：
P1)将低分辨率深度图d划分为多个深度图像块。该步骤中，考虑深度图的不同区域有着不同的特征(如梯度情况等)，则各区域最适应的超分辨率方法也会有所不同，故对深度图进行分块处理，分别寻找各块最适应的超分辨率处理方法。分块处理方法有多种实现方式，均可适用于本具体实施方式中，在此不具体说明。
P2)对各个深度图像块分别进行如下处理：
P21)采用多种超分辨率处理方法分别对当前块进行超分辨率处理，得到多个与所述第一原始图像S1相同分辨率的初始的高分辨率深度图像块。
该步骤中，已有的多种超分辨率处理方法包括双立方插值，新边缘方向插值，K邻域嵌入法和稀疏表示法等，上述处理方法各有特点，均可应用于此。例如，利用r种已有的超分辨率方法分别对当前的深度图像块进行超分辨率处理，处理成与第一原始图像S1相同分辨率的高分辨率图像，得到r个相应的高分辨率深度图像块。将得到的多个高分辨率深度图像块定义为集合ID，设ΔD为其中任意一个高分辨率深度图像块。
P22)采用图像合成技术得到新的合成图像块，具体为：遍历集合ID，分别结合第一原始图像S1中对应当前块的相应图像块，采用图像合成技术，根据所述第一位置和所述第二位置的相对位置关系，合成得到多个对应第二原始图像S2的图像块，定义为多个合成图像块，设为集合IS。
该步骤中，采用图像合成技术时，先投影到三维空间，再基于三维场景生成新的图像块。具体包括以下步骤：a)采用基于深度图像绘图方法，即DIBR方法，根据高分辨率深度图像块的深度信息，使用参考相机将所述第一原始图像S1中所述相应图像块投影到三维空间；b)以参考相机的中心对应所述第一位置，按照所述第二位置相对于所述第一位置的相对位置关系设置虚拟相机的中心，采用所述虚拟相机将步骤a)得到的三维空间的场景成像到二维平面，从而得到合成图像块。还原二维平面过程中，根据第二位置与第一位置的相对位置关系，设置参考相机和虚拟相机的相对位置。第二位置处对应的是第二原始图像，因此合成的图像块是对应于第二原始图像的图像块。
如图2所示，为图像合成时投影以及还原成像的原理示意图。参考相机的中心位于点O，虚拟相机位于点O1，点O1相对于点O的相对位置关系相当于第二位置相对于第一位置的相对位置关系。如箭头A所示，为投影成三维空间的示意图，参考相机将第一原始图像S1的图像块中的像素点p1投影到三维空间中，对应点Pw。如箭头B所示，为还原成像为二维平面的示意图，虚拟相机将三维空间中的点Pw还原到二维平面，对应像素点p2点。
本具体方式中，具体地，步骤a)中进行投影时，按照如下方程投影到三维空间：
(Xw，Yw，Zw)T＝K1 -1d1p1
其中，以参考相机的中心为世界坐标系中心，即参考相机的中心的坐标为(0,0,0)T，从参考相机观察的方向为坐标系的z轴方向。p1表示第一原始图像S1中相应图像块中的像素点p1的位置信息，取齐次形式，即将第三维度的值取为1。例如像素点p1在第一原始图像S1中的位置为(x1，y1)，则方程中p1为(x1，y1，1)。d1为所述高分辨率深度图像块中对应像素点p1的深度信息，K1为参考相机的内置参数矩阵，(Xw,Yw,Zw)是像素点p1投影到三维空间中的点的坐标，如图2中所示即为三维场景中Pw点的坐标。当然，DIBR方法中有多种具体方式实现二维图像到三维场景的投影，上述方程仅为列举的一种，其它投影方式也可适用于步骤a)中。
具体地，步骤b)中还原成像到二维平面时，按照如下方程成像到二维平面：
d2p2＝K2R2Pw-K2R2C2
其中，以参考相机的中心为世界坐标系中心，即参考相机的中心的坐标为(0,0,0)T，从参考相机观察的方向为坐标系的z轴方向。C2为虚拟相机的中心的坐标，R2为虚拟相机的旋转矩阵，K2为虚拟相机的内置参数矩阵，Pw为步骤a)中得到的三维空间中的点的坐标，p2和d2分别为成像到二维平面得到的合成图像块中相应像素点的位置和深度信息；将方程式右边的运算结果转化成齐次形式：m(x，y，1)，p2即为(x，y)，d2即为系数m。上述方程中，获取第二原始图像S2的第二位置相对于第一位置的相对位置关系，影响参数C2和R2的具体取值，最终还原成像的图像块即对应第二原始图像S2。同样地，从三维场景中还原出二维图像也有多种实现方式，上述方程也仅为列举的一种，其它还原方式也可适用于步骤b)中。
经过步骤P22)的图像合成，即针对各个高分辨率图像块，均合成了相应的新的合成图像块，构成集合IS。
P23)匹配判断，确定最终的高分辨率深度图像块。具体为：遍历集合IS，分别计算各个合成图像块与第二原始图像S2中对应当前块的相应块的匹配程度，确定匹配程度最高的合成图像块，将所述匹配程度最高的合成图像块对应的高分辨率深度图像块确定为当前块的最终的高分辨率深度图像块。
该步骤中，基于新的合成图像块和原有的图像块的匹配结果，判断步骤P1)中得到多个高分辨率图像块中哪一高分辨率图像块是与实际情形最接近的超分辨率处理结果。合成图像块ΔS与原有的图像块最匹配，则合成图像块ΔS对应的高分辨率图像块即是与实际情形最接近的超分辨率处理结果，从而确定出与实际情形最接近的超分辨率处理后高分辨率图像块。其中计算图像匹配程度的方法，可以用(但不限于)最小均方误差(MinimumMeanSquareError)的匹配方法。
经过步骤P22)和步骤P23)，利用DIBR方法将第一原始图像S1通过生成的相同分辨率的深度图像信息投影到三维空间，然后利用此三维场景获得的新的合成图像块和已采集的第二原始图像进行匹配，以这个匹配结果作为对深度图超分辨率的先验知识，从而得到合理的有使用价值的高分辨率深度图像。
P3)按照各个深度图像块在低分辨率深度图d中的位置，将各个深度图像块的高分辨率深度图像块整合成一幅图像，得到所述低分辨率深度图d的超分辨率处理图像。
该步骤，即是将步骤P2)中处理得到的各块的高分辨深度图像块整合成一幅完整的图像，得到低分辨率深度图d的高分辨率深度图。优选地，整合后还包括对完整的高分辨深度图像进行平滑性处理。进行平滑处理主要是考虑如有图像重叠区域。平滑性处理时可以(但不限于)使用常用的均值方法。
本具体实施方式的深度图的超分辨率处理方法，通过上述步骤，即最终得到处理结果，高分辨率深度图。方法中基于新的合成图像块和原有的图像块的匹配结果，是和处理得到的高分辨率深度图和实际情形的高分辨率深度图的匹配结果正相关的前提，从而确定出多种超分辨率处理方法得到的多个高分辨率深度图像块中哪一图像块最准确，与实际情形最接近。即本具体实施方式的处理方法，相对于现有的对低分辨率深度图直接超分辨率处理的方法，得到的高分辨率深度图与实际情形更接近，高分辨率深度图的深度信息更准确，更具有实际意义和使用价值。另外，利用不同的超分辨率方法的优势和特点，分别对低分辨深度图中的各块进行处理，充分保证具有不同特征的深度图像块能够得到最适合自身图像特性的超分辨率处理方法，确保多个处理结果中涵盖有与实际情形最接近的一个处理结果。本具体实施方式的处理方法，充分发挥多种超分辨率方法的特点和优势，很好地将已有的超分辨率方法的优点融合到深度图像的超分辨率处理之中，能够恢复出具有实际意义和使用价值的高分辨率深度图。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (3)

1.一种深度图的超分辨率处理方法，其特征在于：包括以下步骤：首先，在第一位置和第二位置对同一场景进行图像采集，分别获取第一原始图像(S1)和第二原始图像(S2)；获取所述第一原始图像(S1)的低分辨率深度图(d)；其次，进行如下处理：
1)将所述低分辨率深度图(d)划分为多个深度图像块；
2)对步骤1)得到的各个深度图像块分别进行如下处理：
21)采用多种超分辨率处理方法分别对当前块进行超分辨率处理，得到多个与所述第一原始图像(S1)相同分辨率的初始的高分辨率深度图像块；
22)遍历步骤21)得到的多个高分辨率深度图像块，分别结合所述第一原始图像(S1)中对应当前块的相应图像块，采用图像合成技术，根据所述第一位置和所述第二位置的相对位置关系，合成得到多个对应所述第二原始图像(S2)的图像块，定义为多个合成图像块；
23)遍历步骤22)中得到的多个合成图像块，分别计算各个合成图像块与所述第二原始图像(S2)中对应当前块的相应块的匹配程度，确定匹配程度最高的合成图像块，将所述匹配程度最高的合成图像块对应的高分辨率深度图像块确定为当前块的最终的高分辨率深度图像块；
3)按照各个深度图像块在所述低分辨率深度图(d)中的位置，将各个深度图像块的高分辨率深度图像块整合成一幅图像，得到所述低分辨率深度图(d)的超分辨率处理图像；
其中，所述步骤22)中采用图像合成技术时，包括以下步骤：
a)采用基于深度图像绘图方法，根据高分辨率深度图像块的深度信息，使用参考相机将所述第一原始图像(S1)中所述相应图像块投影到三维空间；投影时，按照如下方程投影到三维空间：(Xw，Yw，Zw)T＝K1 -1d1p1，其中，以参考相机的中心为世界坐标系中心，从参考相机观察的方向为坐标系的z轴方向；p1表示所述第一原始图像(S1)中所述相应图像块中的像素点p1的位置信息，取齐次形式；d1为所述高分辨率深度图像块中对应像素点p1的深度信息，K1为参考相机的内置参数矩阵，(Xw,Yw,Zw)是像素点p1投影到三维空间中的点的坐标；
b)以参考相机的中心对应所述第一位置，按照所述第二位置相对于所述第一位置的相对位置关系设置虚拟相机的中心，采用所述虚拟相机将步骤a)得到的三维空间的场景成像到二维平面，从而得到合成图像块；将三维空间的场景成像到二维平面时，按照如下方程成像到二维平面：d2p2＝K2R2Pw-K2R2C2，其中，以参考相机的中心为世界坐标系中心，从参考相机观察的方向为坐标系的z轴方向；C2为虚拟相机的中心的坐标，R2为虚拟相机的旋转矩阵，K2为虚拟相机的内置参数矩阵，Pw为步骤a)中得到的三维空间中的点的坐标，p2和d2分别为成像到二维平面得到的合成图像块中相应像素点的位置和深度信息；将方程式右边的运算结果转化成齐次形式：m(x，y，1)，p2即为(x，y)，d2即为系数m。
2.根据权利要求1所述的深度图的超分辨率处理方法，其特征在于：所述步骤3)中整合成一幅图像之后，还包括对所述图像进行平滑性处理。
3.根据权利要求1所述的深度图的超分辨率处理方法，其特征在于：获取所述低分辨率深度图(d)时，采用深度相机在所述第一位置对所述场景进行图像采集，从而获取所述低分辨率深度图(d)。
CN201410065631.1A 2014-02-25 2014-02-25 一种深度图的超分辨率处理方法 Active CN103810685B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410065631.1A CN103810685B (zh) 2014-02-25 2014-02-25 一种深度图的超分辨率处理方法
PCT/CN2015/072180 WO2015127847A1 (zh) 2014-02-25 2015-02-03 一种深度图的超分辨率处理方法
US15/216,332 US10115182B2 (en) 2014-02-25 2016-07-21 Depth map super-resolution processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410065631.1A CN103810685B (zh) 2014-02-25 2014-02-25 一种深度图的超分辨率处理方法

Publications (2)

Publication Number Publication Date
CN103810685A CN103810685A (zh) 2014-05-21
CN103810685B true CN103810685B (zh) 2016-05-25

Family

ID=50707406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410065631.1A Active CN103810685B (zh) 2014-02-25 2014-02-25 一种深度图的超分辨率处理方法

Country Status (3)

Country Link
US (1) US10115182B2 (zh)
CN (1) CN103810685B (zh)
WO (1) WO2015127847A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810685B (zh) 2014-02-25 2016-05-25 清华大学深圳研究生院 一种深度图的超分辨率处理方法
KR101882931B1 (ko) 2014-07-10 2018-07-30 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그의 디스패리티 측정 방법
DE102014011821A1 (de) * 2014-08-08 2016-02-11 Cargometer Gmbh Vorrichtung und Verfahren zur Volumenbestimmung eines durch ein Flurförderzeug bewegten Objekts
CN104935909B (zh) * 2015-05-14 2017-02-22 清华大学深圳研究生院 一种基于深度信息的多幅图超分辨方法
CN104899830B (zh) * 2015-05-29 2017-09-29 清华大学深圳研究生院 一种图像超分辨方法
CN104867106B (zh) * 2015-05-29 2017-09-15 清华大学深圳研究生院 一种深度图超分辨率方法
CN105427253B (zh) * 2015-11-06 2019-03-29 北京航空航天大学 基于非局部回归和总差分的多视点rgb-d图像超分辨率方法
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
CN105869115B (zh) * 2016-03-25 2019-02-22 浙江大学 一种基于kinect2.0的深度图像超分辨率方法
CN106548449A (zh) * 2016-09-18 2017-03-29 北京市商汤科技开发有限公司 生成超分辨率深度图的方法、装置及系统
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US10178370B2 (en) 2016-12-19 2019-01-08 Sony Corporation Using multiple cameras to stitch a consolidated 3D depth map
US10181089B2 (en) 2016-12-19 2019-01-15 Sony Corporation Using pattern recognition to reduce noise in a 3D map
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US10979687B2 (en) * 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
CN110537369B (zh) * 2017-04-21 2021-07-13 株式会社半导体能源研究所 图像处理方法及图像接收装置
CN107392852B (zh) * 2017-07-10 2020-07-07 深圳大学 深度图像的超分辨率重建方法、装置、设备及存储介质
WO2019061064A1 (zh) * 2017-09-27 2019-04-04 深圳市大疆创新科技有限公司 图像处理方法和设备
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
CN110349083A (zh) * 2018-04-08 2019-10-18 清华大学 一种基于深度相机旋转的图像超分辨方法和装置
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
CN109191554B (zh) * 2018-09-04 2021-01-01 清华-伯克利深圳学院筹备办公室 一种超分辨图像重建方法、装置、终端和存储介质
US11055866B2 (en) 2018-10-29 2021-07-06 Samsung Electronics Co., Ltd System and method for disparity estimation using cameras with different fields of view
CN110428366B (zh) * 2019-07-26 2023-10-13 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110599400B (zh) * 2019-08-19 2022-10-04 西安理工大学 一种基于epi的光场图像超分辨的方法
WO2021147316A1 (zh) * 2020-01-21 2021-07-29 华为技术有限公司 物体识别方法及装置
US11503266B2 (en) * 2020-03-06 2022-11-15 Samsung Electronics Co., Ltd. Super-resolution depth map generation for multi-camera or other environments
CN111724303A (zh) * 2020-05-12 2020-09-29 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种具有图像类型适应性的超分辨率图像处理方法与系统
CN113920010A (zh) * 2020-07-10 2022-01-11 华为技术有限公司 图像帧的超分辨率实现方法和装置
TWI772102B (zh) * 2020-07-14 2022-07-21 宏達國際電子股份有限公司 用於傳輸縮減的深度資訊的方法和電子系統
CN112188183B (zh) * 2020-09-30 2023-01-17 绍兴埃瓦科技有限公司 双目立体匹配方法
CN112907443B (zh) * 2021-02-05 2023-06-16 深圳市优象计算技术有限公司 一种面向卫星相机的视频超分辨率重建方法及系统
CN112804512B (zh) * 2021-04-13 2021-06-29 深圳阜时科技有限公司 3d深度成像方法、主控装置、以及3d成像设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663712A (zh) * 2012-04-16 2012-09-12 天津大学 基于飞行时间tof相机的深度计算成像方法
CN102722863A (zh) * 2012-04-16 2012-10-10 天津大学 采用自回归模型对深度图进行超分辨率重建的方法
CN103218776A (zh) * 2013-03-07 2013-07-24 天津大学 基于最小生成树的非局部的深度图超分辨率重建方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344646A (zh) * 2008-06-12 2009-01-14 上海海事大学 一种高分辨率图像成像方法
US8665258B2 (en) * 2008-09-16 2014-03-04 Adobe Systems Incorporated Generating a depth map based on a single image
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
DE102011080180B4 (de) * 2011-08-01 2013-05-02 Sirona Dental Systems Gmbh Verfahren zur Registrierung mehrerer dreidimensionaler Aufnahmen eines dentalen Objektes
US8660362B2 (en) * 2011-11-21 2014-02-25 Microsoft Corporation Combined depth filtering and super resolution
CN102831581A (zh) * 2012-07-27 2012-12-19 中山大学 一种超分辨率图像重构的方法
US8923622B2 (en) * 2012-12-10 2014-12-30 Symbol Technologies, Inc. Orientation compensation using a mobile device camera and a reference marker
US9052746B2 (en) * 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
CN103279933B (zh) * 2013-06-07 2016-10-26 重庆大学 一种基于双层模型的单幅图像超分辨率重建方法
CN103810685B (zh) * 2014-02-25 2016-05-25 清华大学深圳研究生院 一种深度图的超分辨率处理方法
US9417058B1 (en) * 2014-10-24 2016-08-16 Matrox Electronic Systems Ltd. Detecting a position of a sheet of light in an image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663712A (zh) * 2012-04-16 2012-09-12 天津大学 基于飞行时间tof相机的深度计算成像方法
CN102722863A (zh) * 2012-04-16 2012-10-10 天津大学 采用自回归模型对深度图进行超分辨率重建的方法
CN103218776A (zh) * 2013-03-07 2013-07-24 天津大学 基于最小生成树的非局部的深度图超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ToF Depth Map guided Passive Stereo based on KNN;Liwei Liu et al;《CIG2013》;20131231;附图1 *
TOF Depth Map Super-Resolution Using Compressive Sensing;Liwei Liu et al;《2013 Seventh International Conference on Image and Graphics》;20131231;第2部分第4段，附图1 *

Also Published As

Publication number Publication date
CN103810685A (zh) 2014-05-21
US20160328828A1 (en) 2016-11-10
WO2015127847A1 (zh) 2015-09-03
US10115182B2 (en) 2018-10-30

Similar Documents

Publication Publication Date Title
CN103810685B (zh) 一种深度图的超分辨率处理方法
CN107292965B (zh) 一种基于深度图像数据流的虚实遮挡处理方法
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
CN103345736B (zh) 一种虚拟视点绘制方法
US20130095920A1 (en) Generating free viewpoint video using stereo imaging
CN110490916A (zh) 三维对象建模方法与设备、图像处理装置及介质
CN104504671A (zh) 一种用于立体显示的虚实融合图像生成方法
CN104361628A (zh) 一种基于航空倾斜摄影测量的三维实景建模系统
KR102152436B1 (ko) 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법
CN106780629A (zh) 一种三维全景数据采集、建模方法
CN113362247A (zh) 一种激光融合多目相机的语义实景三维重建方法及系统
CN105913488B (zh) 一种基于三维映射表的三维点云快速重建方法
CN109791704A (zh) 用于自由运行fvv应用的基于多层uv映射的纹理渲染
TW200828182A (en) Method of utilizing multi-view images to solve occlusion problem for photorealistic model reconstruction
CN106251357A (zh) 基于虚拟现实与视觉定位系统
WO2018056802A1 (en) A method for estimating three-dimensional depth value from two-dimensional images
Knorr et al. Stereoscopic 3D from 2D video with super-resolution capability
JP2004220312A (ja) 多視点カメラシステム
CN106408654B (zh) 一种三维地图的创建方法及系统
JP2002032741A (ja) ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体
CN112102504A (zh) 一种基于混合现实的三维场景和二维图像混合方法
CN111914790A (zh) 基于双摄像头的不同场景下实时人体转动角度识别方法
CN114935316B (zh) 基于光学跟踪与单目视觉的标准深度图像生成方法
CN109003294A (zh) 一种虚实空间位置注册与精准匹配方法
CN111899293B (zh) Ar应用中的虚实遮挡处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant