CN101754040B - 用于估计深度和将2d视频转换为3d视频的方法和设备 - Google Patents

用于估计深度和将2d视频转换为3d视频的方法和设备 Download PDF

Info

Publication number
CN101754040B
CN101754040B CN200910252846.3A CN200910252846A CN101754040B CN 101754040 B CN101754040 B CN 101754040B CN 200910252846 A CN200910252846 A CN 200910252846A CN 101754040 B CN101754040 B CN 101754040B
Authority
CN
China
Prior art keywords
depth
degree
input picture
information
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200910252846.3A
Other languages
English (en)
Other versions
CN101754040A (zh
Inventor
白艾伦
郑用柱
金智元
朴斗植
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101754040A publication Critical patent/CN101754040A/zh
Application granted granted Critical
Publication of CN101754040B publication Critical patent/CN101754040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Abstract

提供了一种用于估计深度和将2D视频转换为3D视频的方法和设备。可通过从输入视频提取特征信息来估计视频的深度，并基于提取的特征信息估计输入视频的深度。

Description

用于估计深度和将2D视频转换为3D视频的方法和设备
本申请要求于2008年12月4日在韩国知识产权局提交的10-2008-122655号韩国专利申请的利益，该申请全部公开于此以资参考。
技术领域
一个或多个实施例涉及一种当没有提供深度信息时能够提供深度信息的深度估计设备和深度估计方法，所述深度信息用于将二维(2D)单目视频转换为立体视频(以下称为“3D视频”)，更具体地，涉及一种作为3D视频转换设备的深度建立设备和3D视频转换方法的深度建立方法。
背景技术
随着对3D视频的兴趣的显著增加，正在对3D视频进行各种研究和学习。
通常，众所周知人类感知3D效果主要由于两眼之间感知的双目视差。因此，可利用人类的这个感知来实现3D视频。作为示例，为了在3D视频中显示对象，相应地同时显示分别经由左眼和右眼观看的图像，从而使观看者能够以3D体验该对象。因此，可通过制作双目视频(即，分别具有左图像和右图像的视频)并显示该双目视频来实现3D视频。
发明内容
一个或多个实施例提供一种用于深度测量和/或单目2D视频到3D视频的转换的方法和设备，该方法和设备不提供深度信息，通过产生用于2D视频的深度信息的渲染处理来完成深度测量。
一个或多个实施例可提供一种用于估计深度的设备，该设备包括：特征信息提取单元，从输入视频提取至少一条特征信息，所述特征信息独立于输入视频的任何预建立的深度值；深度建立单元，基于关于部分输入视频的所述至少一条特征信息来建立部分输入视频的深度。
一个或多个实施例可提供一种3D视频转换设备，该设备包括：提取单元，从输入视频提取至少一条特征信息，所述特征信息独立于输入视频的任何预建立的深度值；深度建立单元，基于关于部分输入视频的所述至少一条特征信息建立部分输入视频的深度；渲染单元，使用建立的部分输入视频的深度将输入视频渲染为3D视频。
一个或多个实施例可提供一种深度估计方法，该方法包括：从输入视频提取至少一条特征信息，所述特征信息独立于输入视频的预建立的深度值；基于关于部分输入视频的所述至少一条特征信息建立部分输入视频的深度。
一个或多个实施例可提供一种3D视频转换方法，该方法包括：从输入视频提取至少一条特征信息，所述特征信息独立于输入视频的任何预建立的深度值；基于关于部分输入视频的所述至少一条特征信息来建立部分输入视频的深度；使用建立的部分输入视频的深度将输入视频渲染为3D视频。
一个或多个实施例可提供一种用于估计深度的设备，该设备包括：特征信息提取单元，从输入图像提取至少一条特征信息，所述特征信息独立于输入图像的任何预建立的深度值；深度建立单元，基于关于部分输入图像的所述至少一条特征信息建立部分输入图像的深度。
一个或多个实施例可提供一种深度估计方法，该方法包括：从输入图像提取至少一条特征信息，所述特征信息独立于输入图像的预建立的深度值；基于关于部分输入图像的所述至少一条特征信息来建立部分输入图像的深度。
通过使用深度估计设备和深度估计方法、3D视频转换装置和3D视频转换方法，可将2D视频转换为3D视频，所述深度估计设备和深度估计方法基于至少一条特征信息来估计用于将输入2D视频转换为3D视频的深度，所述3D视频转换装置和3D视频转换方法使用所述深度估计设备和深度估计方法。
将在接下来的描述中部分阐述另外的方面、特点和/或优点，还有一部分通过描述将是清楚的，或者可以经过本公开的实施而得知。
附图说明
通过下面结合附图进行的描述，这些和/或其它方面、特点和优点将会变得更加清楚和容易，其中：
图1是示出根据一个或多个实施例的深度估计设备的结构的示图；
图2是示出根据一个或多个其它实施例的深度估计设备的结构的示图；
图3是示出根据一个或多个其它实施例的深度估计设备的结构的示图；
图4是示出根据一个或多个其它实施例的深度估计设备的结构的示图；
图5是示出根据一个或多个实施例的3D视频转换设备的结构的示图；
图6是示出根据一个或多个其它实施例的3D视频转换设备的结构的示图；
图7是示出根据一个或多个其它实施例的3D视频转换设备的结构的示图；
图8是示出根据一个或多个其它实施例的3D视频转换设备的结构的示图；
图9是示出根据一个或多个实施例的深度估计方法的流程图；
图10是示出根据一个或多个其它实施例的深度估计方法的流程图；
图11是示出根据一个或多个其它实施例的深度估计方法的流程图；
图12是示出根据一个或多个其它实施例的深度估计方法的流程图；
图13是示出根据一个或多个实施例的3D视频转换方法的流程图；
图14是示出根据一个或多个其它实施例的3D视频转换方法的流程图；
图15是示出根据一个或多个其它实施例的3D视频转换方法的流程图；
图16是示出根据一个或多个其它实施例的3D视频转换方法的流程图。
具体实施方式
现在，具体地参照本发明的实施例，其示例在附图中表示，其中，相同的标号始终表示相同的部件。在这方面，本发明的实施例可被以多种不同的形式实现，不应被认为限于在此列出的实施例。因此，以下通过参考附图仅仅描述实施例以解释本发明的各方面。
图1是示出根据一个或多个实施例的深度估计设备120的结构的示图。这里，深度估计设备120可包括例如特征信息提取单元121和深度建立单元122。这里，贯穿以下描述，术语设备应被认为与物理系统的元件同义，而不局限于所有实施例中的单个附件或在各个单个附件中实现的所有描述的元件，而根据实施例，通过不同元件以不同附件和/或位置一起或单独实现是开放的。仅作为另一示例，各个设备/系统或方法还可通过一个或多个处理元件/装置被控制或通过分布的网络实施，注意附加和替代实施例是平等可用的。
当输入视频110被提供到深度估计设备120时，特征信息提取单元121可获得输入视频110的至少一条特征信息，并将提取的输入视频110的至少一条特征信息提供给深度建立单元122。
根据一个或多个实施例，输入视频110可以是没有深度信息的单目视频。作为另一示例，输入视频110可以是空间交织的立体视频、时间交织的立体视频和具有深度信息的单目视频。另外，根据一个或多个实施例，在特征信息提取单元121中提取的特征信息可以是边缘信息、颜色信息、亮度信息、运动信息和/或直方图信息中的至少一个，注意替代物是平等可用的。特征信息可关于图像(诸如帧或视频)，或可关于多个图像或帧，以及关于视频。
深度建立单元122可基于从特征信息提取单元121提取的至少一条特征信息来建立输入视频110的深度。
因此，深度估计单元120可基于输入视频110的特征信息通过建立输入视频110的深度将二维(2D)输入视频转换为立体视频(以下称为“3D视频”)。如果已经存在用于输入视频的一个或多个像素的深度信息，则深度估计单元120随后可基于提取的特征信息来转换或修改输入视频以估计用于输入视频的一个或多个像素的深度，所述提取的特征信息具有独立于一个或多个像素的这些潜在预存在或预建立的深度值的至少一个特征信息。这里，可基于预存在或预建立的深度值和提取的特征信息两者或单独基于提取的特征信息来估计用于一个或多个像素的深度。或者，例如，如果不存在任何或所有用于输入视频的预存在或预建立的深度值，则输入视频可以仅是不具有任何先前深度信息的2D视频；由于任何预存在或预建立的深度值不存在，故提取的至少一个特征信息可固有地独立于任何预存在或预建立的深度值。在实施例中，也可存在任何预建立的深度数据的评论，如果被认为是准确和明确的，则例如仅预建立的深度数据可被使用，而不需要深度的进一步估计。
根据一个或多个实施例，诸如图1中示出的深度估计设备120的实施例可被以替代和/或附加实施例实现。参照图2到图4来描述关于深度估计设备120的各种实施例，再次注意替代实施例是平等可用的。
图2是示出根据一个或多个其它实施例的深度估计设备220的结构的示图。这里，深度估计设备220可包括例如特征信息提取单元223和深度建立单元226。根据实施例，深度建立单元226还可包括用于进一步示例的深度图初始化单元222和深度更新单元225。
当输入视频210被提供到深度估计单元220时，深度图初始化单元222可建立输入视频210的至少一个像素的初始深度，并将建立的至少一个像素的初始深度存储到深度图224。至少一个像素可关于单个图像(例如输入视频210的单个帧)或者关于输入视频210的多个图像或帧。例如，与识别的对象相应的一个帧的部分的深度可仅被应用于其它帧中的相同对象。
根据一个或多个实施例，输入视频210可以是单目视频。另外，根据一个或多个实施例，深度图初始化单元222可建立用于输入视频210的序列的每个帧的初始深度，并将用于输入视频210的序列的每个帧的初始深度存储到深度图224。
另外，根据实施例，深度图初始化单元222可通过例如以下等式1来建立初始深度，
等式1：
z(x，y)＝y/N
这里，(x，y)表示输入视频210内(例如，输入视频的帧内)的图像坐标，z表示各自的深度。在这种情况下，z可以是取决于在观察点与输入视频210中呈现的对象的距离的例如0到1之间的值。作为示例，当对象位于距观看者相对较远的位置时，对象的深度可被认为较大或“较深”，在这种情况下，z可以是接近于1的值。相反，同样作为示例，当对象位于距观看者相对较近的位置时，对象的深度可被认为较小或“较浅”，在这种情况下，z可以是接近于0的值。这里，N表示输入视频210的图像的水平线的数量。
参照等式1，初始深度取决于输入视频210的图像的y坐标。通常，在输入视频210中呈现的对象的情况下，位于输入视频210的上部的对象可被认为比位于输入视频210的下部的对象定位得更远。
因此，使用这些特征(即，帧内的对象的垂直位置)，可通过确定位于输入视频210的上部的对象的深度深于位于输入视频210的下部的对象的深度来建立用于对象的初始深度。简要地说，注意包括任何提取的特征信息的替代特征可被用于这样的初始深度建立。此外，即使在实现这样的垂直位置特征的情况下，本发明的实施例也不限于使用等式1。
当深度估计设备220例如通过深度图初始化单元222建立初始深度并存储所述初始深度时，用户可通过使用估计的深度图信息执行用于将2D输入视频210转换为3D视频的渲染处理来将输入视频210转换为3D视频。
然而，由于在深度图初始化单元222中建立的初始深度不是平滑的深度映射(例如，由于初始深度可仅基于输入视频210的各个像素或对象的各自的二维位置，而不是关于视频的特征信息)，故使用初始深度转换的3D视频可能具有不准确的深度。
因此，根据一个或多个实施例，深度估计设备220还可基于深度图初始化单元222建立的初始深度，通过使用输入视频210的至少一个像素的特征信息适当地调节深度来将相对更准确的深度信息分配给输入视频210。
为此，特征信息提取单元223可提取输入视频210的至少一条特征信息，并将提取的信息提供到深度更新单元225。
根据一个或多个实施例，在特征信息提取单元223中提取的特征信息可以是诸如边缘信息、颜色信息、亮度信息、运动信息和直方图信息中的至少一个的至少一个具体特征信息，注意替代物是平等可用的。如另一示例，这里，可通过深度感知(诸如，单目线索)来完成来自特定特征的深度估计。深度感知可包括基于相机聚焦模糊、消失线和闭塞区域(例如，来自T连接)的评论。
深度更新单元225可基于至少一条具体特征信息和初始深度通过执行滤波来计算输入视频210的最终深度，并基于计算的深度来更新深度图224。
根据一个或多个实施例，特征信息提取单元223可基于至少一条具体特征信息来计算输入视频210的至少一个像素与相邻像素之间的权重。
这里，根据一个或多个实施例，特征信息提取单元223可计算权重，从而依靠至少一个像素与相邻像素之间的特征信息的相似度。
另外，根据一个或多个实施例，深度更新单元225可基于在特征信息提取单元223中计算的权重来执行滤波。
在相关上下文中，以下将详细描述特征信息提取单元223的操作和深度更新单元225的示例操作。
如果假设特征信息提取单元223提取输入视频210的亮度信息，则随后基于亮度信息计算权重。
特征信息提取可基于亮度信息的相似度来计算输入视频210的至少一个像素与相邻像素之间的权重。
作为示例，可计算像素“a”与相邻于像素“a”的像素“x”、像素“y”、像素“z”和像素“w”中的每一个之间的权重。当像素“x”、像素“y”、像素“z”和像素“w”的亮度以像素“x”、像素“y”、像素“z”和像素“w”的顺序与像素“a”的亮度相似时，可以以像素“x”、像素“y”、像素“z”和像素“w”的顺序确定权重。
深度更新单元225可通过计算像素“a”的第一深度“a”来将存储在深度图224中的像素“a”的初始深度更新为第一深度“a”，根据在特征信息提取单元223中计算的权重通过应用存储在深度图224中的像素“x”、像素“y”、像素“z”和像素“w”的初始深度来计算第一深度“a”。
同时，以与像素“a”相同的方式，深度更新单元225可通过考虑像素“x”、像素“y”、像素“z”和像素“w”中的每一个与相邻像素之间的权重来计算像素“x”、像素“y”、像素“z”和像素“w”中的每一个的第一深度“b”，并可将存储在深度图224中的像素“x”、像素“y”、像素“z”和像素“w”的初始深度更新为第一深度“b”。
当像素“x”、像素“y”、像素“z”和像素“w”的初始深度被更新为第一深度“b”时，深度更新单元225可通过计算像素“a”的第二深度“a”来将存储在深度图224中的像素“a”的第一深度“a”更新为第二深度“a”，根据权重通过应用存储在深度图224中的像素“x”、像素“y”、像素“z”和像素“w”的第一深度“b”来计算第二深度“a”。
在这种情况下，以与像素“a”相同的方式，深度更新单元225可基于像素“x”、像素“y”、像素“z”和像素“w”中的每一个的第一深度“b”与每个相邻像素之间的权重来将存储在深度图224中的像素“x”、像素“y”、像素“z”和像素“w”中的每一个的第一深度“b”更新为第二深度“b”。
如上所述，深度更新单元225可通过重复执行上述的更新操作来对存储在深度图224中的深度进行滤波。
因此，深度估计设备220可基于输入视频210的至少一个像素与相邻像素之间的特征信息通过适当地调节深度来将输入视频210转换为具有精确深度的3D视频。
在相关上下文中，特征信息提取单元223可通过例如以下等式2来计算权重，
等式2：
ω ( x , y , x ′ , y ′ ) = exp ( - ( Y ( x ′ , y ′ ) - Y ( x , y ) ) 2 2 σ 2 )
这里，ω表示权重，(x，y)表示输入视频210的至少一个像素的坐标，(x′，y′)表示与所述至少一个像素相邻的像素的坐标，Y表示输入视频210的至少一条具体特征信息，σ表示滤波参数，可根据例如以下等式3来计算深度，
等式3：
z ( x , y ) = 1 k Σ x ′ , y ′ ∈ η ω ( x , y , x ′ , y ′ ) z ( x ′ , y ′ )
这里，z(x，y)表示输入视频210的至少一个像素的深度，z(x′，y′)表示与所述至少一个像素相邻的相邻像素的深度，ω表示权重，k表示标准化因子。
如上所述，深度更新单元225可根据例如等式3来更新存储在深度图224中的深度。
根据一个或多个实施例，深度图初始化单元222可使用至少一条具体特征信息建立初始深度，并将建立的初始深度存储在深度图224中。
因此，深度图初始化单元222可建立已经在其中执行平滑的初始深度。
深度估计设备220可通过经由深度图初始化单元222建立可在其中执行平滑的初始深度来减小迭代操作的复杂性，执行所述迭代操作用于深度更新单元225平滑存储在深度图224中的深度。
在这种情况下，根据一个或多个实施例，除了特征信息提取单元223之外，深度估计设备220还可包括其它特征信息提取单元。
这里，深度图初始化单元222可通过从另一特征信息提取单元接收至少一条具体特征信息来建立初始深度。
根据一个或多个实施例，深度估计设备220还可包括后处理单元，所述后处理单元后处理深度图224以将输入视频210转换为具有较平滑的深度的3D视频。
另外，根据一个或多个实施例，深度估计设备220还可包括预处理单元221。
预处理单元221可转换输入视频210的颜色空间，或当输入视频210是被编码为预定的视频流的视频时，通过解码输入视频210来提取输入视频210的运动矢量。
当预处理单元221执行转换输入视频210的颜色空间的功能时，特征信息提取单元223可提取输入视频210的更准确的特征信息。
作为示例，当输入视频210是包括YCbCr颜色空间或红、绿、蓝颜色空间的视频时，预处理单元221可将输入视频210的颜色空间转换为例如L*U*V颜色空间，从而特征信息提取单元223可提取输入视频210的更准确的特征信息。
另外，当预处理单元221通过解码输入视频210来执行提取输入视频210的运动矢量的功能时，特征信息提取单元223可使用所述运动矢量来提取输入视频210的特征信息。
图3是示出根据一个或多个其它实施例的深度估计设备320的结构的示图。深度估计设备320可包括例如特征信息提取单元322、放大单元325和深度建立单元326。此外，根据一个或多个实施例，深度建立单元326还可包括深度图初始化单元321和深度更新单元324。
深度图初始化单元321可将输入视频310的多个像素划分为至少一个块，建立至少一个块的初始深度，并将所述至少一个块的初始深度存储在深度图323中。
作为示例，当输入视频310的多个像素是a、b、c、d、e、f时，深度图初始化单元321可将多个像素的相邻像素划分为至少一个块(诸如(a，b)、(c，d)或(e，f))，建立至少一个块的初始深度，并将所述初始深度存储在深度图323中。
根据一个或多个实施例，输入视频310可以是单目视频。另外，根据一个或多个实施例，深度图初始化单元321可根据例如上述等式1建立初始深度或其它特征，其中，(x，y)表示至少一个块的坐标。
特征信息提取单元322可提取输入视频310的至少一条具体特征信息并将提取的输入视频310的至少一条具体特征信息提供到深度更新单元324。
根据一个或多个实施例，在特征信息提取单元322中提取的输入视频310的至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个，注意替代实施例是平等可用的。
深度更新单元324可基于至少一个具体特征信息和初始深度通过执行滤波来计算至少一个块的第二深度，并使用所述第二深度来更新深度图323。
根据一个或多个实施例，特征信息提取单元322可基于至少一条具体特征信息来计算至少一个块与每个相邻块之间的权重。
这里，根据一个或多个实施例，特征信息提取单元322可计算权重，从而依靠至少一个块与每个相邻块之间的特征信息的相似度。
在这种情况下，根据一个或多个实施例，特征信息提取单元322可根据例如等式2计算权重。这里，(x，y)表示至少一个块的坐标，(x′，y′)表示与至少一个块相邻的块的坐标。
另外，根据一个或多个实施例，深度更新单元324可基于在特征信息提取单元322中计算的权重来执行滤波。
在这种情况下，根据一个或多个实施例，深度更新单元324可根据例如等式3执行滤波。这里，(x，y)表示至少一个块的坐标，(x′，y′)表示与至少一个块相邻的块的坐标。
在实施例中，放大单元325还可基于多个像素来放大更新的深度图323。
因此，根据一个或多个实施例的深度估计设备320将输入视频310的多个像素划分为至少一个块，产生深度图323，放大产生的深度图323，从而通过相对简单的操作产生用于将输入视频310转换为3D视频的深度图。
根据一个或多个实施例，深度图初始化单元321可基于从特征信息提取单元322中提取的至少一条具体特征信息来建立初始深度，并将所述初始深度存储在深度图323中。
因此，深度图初始化单元321可建立可在其中执行平滑的初始深度。
因此，深度估计设备320可通过经由深度图初始化单元321建立可在其中执行平滑的初始深度来减小迭代操作的复杂性，执行所述迭代操作可被执行用于深度更新单元324平滑存储在深度图323中的深度。
在这种情况下，根据一个或多个实施例，除了特征信息提取单元322之外，深度估计设备320还可包括另一特征信息提取单元。
这里，深度图初始化单元321可通过从另一特征信息提取单元接收至少一条具体特征信息来建立初始深度。
根据一个或多个实施例，深度估计设备220还可包括后处理单元，例如，所述后处理单元后处理放大的深度图以将输入视频310转换为具有较平滑的深度的3D视频。
另外，根据一个或多个实施例，深度估计设备320还可包括预处理单元。
预处理单元可转换输入视频310的颜色空间，或例如当输入视频310是编码预定的视频流的视频时通过解码输入视频310来提取输入视频310的运动矢量。
当预处理单元转换输入视频310的颜色空间时，特征信息提取单元322还可提取输入视频310的更精确的特征信息。
作为示例，当输入视频310是由YCbCr颜色空间或红、绿、蓝颜色空间构成的视频时，预处理单元可将输入视频310的颜色空间转换为例如L*U*V颜色空间，从而特征信息提取单元322可提取输入视频310的更精确的特征信息。
另外，当预处理单元通过解码输入视频310执行提取输入视频310的运动矢量的操作时，特征信息提取单元322可使用例如所述运动矢量提取输入视频310的特征信息。
图4是示出根据一个或多个实施例的深度估计设备430的结构的示图。深度估计设备430可包括例如特征信息提取单元438和深度建立单元442。此外，根据一个或多个实施例，深度建立单元442还可包括深度图初始化单元437和深度更新单元440。
深度图初始化单元437可建立输入视频410的至少一个像素的初始深度，并将建立的初始深度存储在深度图439中。
根据一个或多个实施例，输入视频410可以是单目视频。
特征信息提取单元438可提取输入视频410的至少一条具体特征信息并将提取的至少一条具体特征信息提供到深度更新单元440。
根据一个或多个实施例，在特征信息提取单元438中提取的输入视频410的至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。
深度更新单元440可基于至少一条具体特征信息和初始深度通过执行滤波来计算输入视频410的最终深度，并基于计算的深度来更新深度图439。
根据一个或多个实施例，特征信息提取单元438可基于至少一条具体特征信息来计算输入视频410的至少一个像素与每个相邻像素之间的权重。
在这种情况下，根据一个或多个实施例，特征信息提取单元438可计算权重，从而依靠至少一个像素与相邻像素之间的特征信息的相似度。
这里，根据一个或多个实施例，特征信息提取单元438可根据例如前述的等式2来计算权重。
另外，根据一个或多个实施例，深度更新单元440可基于权重执行滤波。
在这种情况下，根据一个或多个实施例，深度更新单元440可根据例如前述的等式3来执行滤波。
如上所述，当深度图初始化单元437建立初始深度时，深度估计设备430可使用至少一条具体特征信息建立输入视频410的深度，从而引起深度更新单元440更新深度图439的结果。
深度估计设备430可通过例如缩小输入视频410、估计缩小的输入视频的第二深度并使用所述第二深度作为初始深度来简化用于估计输入视频410的深度的操作。
在相关上下文中，深度估计设备430还可包括例如缩小单元431、第二特征信息提取单元433、第二深度建立单元441和放大单元436。
这里，根据一个或多个实施例，第二深度建立单元441可包括例如第二深度图初始化单元432和第二深度更新单元435。
缩小单元431可将在深度估计设备430中接收的输入视频410缩小为预定的分辨率。
作为示例，当输入视频的分辨率是1024×768时，缩小单元431可将输入视频410的分辨率缩小为800×600。
第二深度图初始化单元432可建立由缩小单元431缩小的输入视频420的至少一个像素的第二初始深度，并将所述第二初始深度存储在第二深度图434中。
根据一个或多个实施例，第二深度图初始化单元432可根据例如前述的等式1或其它特征计算第二初始深度。
第二特征信息提取单元433可提取缩小的输入视频420的至少一条具体第二特征信息，并将提取的缩小的输入视频420的至少一条具体第二特征信息提供给第二深度更新单元435。
根据一个或多个实施例，在第二特征信息提取单元433中提取的至少一条具体第二特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。
第二深度更新单元435可基于至少一条具体第二特征信息和第二初始深度通过执行滤波来计算缩小的输入视频420的第二深度，并使用所述第二深度来更新第二深度图434。
根据一个或多个实施例，第二特征信息提取单元433可基于至少一条具体第二特征信息来计算缩小的输入视频420的至少一个像素与每个相邻像素之间的第二权重。
根据一个或多个实施例，第二特征信息提取单元433可计算第二权重，从而依靠至少一个像素与相邻像素之间的特征信息的相似度。
这里，根据一个或多个实施例，第二特征信息提取单元433可根据例如前述的等式2来计算第二权重。
另外，根据一个或多个实施例，第二深度更新单元435可基于第二权重来执行滤波。
这里，根据一个或多个实施例，第二深度更新单元435可根据例如前述的等式3来执行滤波。
放大单元436可基于输入视频410的分辨率来放大更新的第二深度图434，并将放大的深度图434提供给深度图初始化单元437。
这里，根据一个或多个实施例，放大单元436可基于至少一条具体第二特征信息和至少一条具体特征信息来放大第二深度图434。
当放大单元436放大第二深度图434时，深度图初始化单元437建立存储在放大的第二深度图中的深度作为输入视频410的至少一个像素的初始深度，并将所述至少一个像素的初始深度存储在深度图439中。
如上所述，深度估计设备430可建立可在其中执行滤波的深度作为初始深度，从而减小可被执行用于深度更新单元440通过滤波输入视频410的深度来更新深度图439的操作的复杂性。
因此，深度估计设备430可通过缩小输入视频410并使用产生初始深度图的访问方法的组合产生深度图来减小用于估计输入视频410的深度的全部操作。
这里，在图4中示出深度估计设备430通过缩小输入视频410一次来产生深度图，然而，实施例不限于此。
也就是说，根据一个或多个实施例，深度估计设备430将输入视频410缩小n次，从第n次缩小的输入视频产生深度图并放大产生的深度图，从而用作用于产生第(n-1)次缩小的输入视频的深度图的初始深度图。另外，在第(n-1)次缩小的输入视频的深度图的情况下，放大第(n-1)次缩小的输入视频的深度图，从而用作用于产生第(n-2)次缩小的输入视频的深度图的初始深度图，这仅为示例。
因此，深度估计设备430可通过使用通过重复执行上述的操作而产生的深度图作为用于产生输入视频410的深度图的初始深度图来简化用于估计输入视频410的深度的操作。
以上已经参照图1到图4描述了关于深度估计设备的各种实施例。以下，将参照图5到图8描述关于使用深度估计设备将输入视频转换为3D视频的3D转换设备的各种实施例。
图5是示出根据一个或多个实施例的3D视频转换设备520的结构的示图。3D视频转换设备520可包括例如特征信息提取单元521、深度建立单元522和渲染单元523。
当输入视频510被提供给3D视频转换设备520时，特征信息提取单元521可提取输入视频510的至少一条具体特征信息并将提取的至少一条特征信息提供给深度建立单元522。
根据一个或多个实施例，输入视频可以是单目视频。
另外，根据一个或多个实施例，特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息和直方图信息中的至少一个。
深度建立单元522可基于从特征信息提取单元521接收的至少一条具体特征信息来建立输入视频510的深度。
3D视频转换设备520可基于输入视频510的至少一条具体特征信息通过建立输入视频510的深度并使用所述深度渲染2D输入视频510来将输入视频510转换为3D视频。
根据一个或多个实施例，除了在图5中示出的实施例，3D视频转换设备520还可被扩展为各种实施例。参照图6到图8描述3D视频转换设备520的各种示例实施例，注意替代物是平等可用的。
图6是示出根据一个或多个其它实施例的3D视频转换设备620的结构的示图。3D视频转换设备620可包括例如特征信息提取单元622、渲染单元625和深度建立单元626。根据一个或多个实施例，深度建立单元626还可包括例如深度图初始化单元621和深度更新单元624。
当输入视频610被提供到3D视频转换设备620时，深度图初始化单元621可建立输入视频610的至少一个像素的初始深度，并将所述初始深度存储在深度图623中。
根据一个或多个实施例，输入视频610可以是单目视频。
另外，根据一个或多个实施例，深度图初始化单元621可建立输入视频610的序列的每一帧的初始深度，并将所述初始深度存储在深度图623中。
另外，根据一个或多个实施例，深度图初始化单元621可根据例如前述的等式1或其它特征建立初始深度。
特征信息提取单元622可提取输入视频610的至少一条具体特征信息，并将提取的输入视频610的至少一条具体特征信息提供给深度更新单元624。
根据一个或多个实施例，至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息和直方图信息中的至少一个。
深度更新单元624可基于至少一条具体特征信息和初始深度通过执行滤波来计算输入视频610的最终深度，并使用计算的深度来更新深度图623。
根据一个或多个实施例，特征信息提取单元622可基于至少一条具体特征信息来计算输入视频610的至少一个像素与相邻像素之间的权重。
另外，根据一个或多个实施例，特征信息提取单元622可计算权重，从而依靠至少一个像素与相邻像素之间的特征信息的相似度。
这里，根据一个或多个实施例，特征信息提取单元622可根据例如前述的等式2计算权重。
另外，根据一个或多个实施例，深度更新单元624可基于权重执行滤波。
这里，根据一个或多个实施例，深度更新单元624可根据例如前述的等式3执行滤波。
渲染单元625可使用由深度更新单元624更新的深度图623来将输入视频610渲染为3D视频。
根据一个或多个实施例，深度图初始化单元621可使用至少一条具体特征信息建立初始深度，并将所述初始深度存储在深度图623中。
因此，深度图初始化单元621可建立可在其中执行平滑的初始深度。
因此，3D视频转换设备620可经由深度图初始化单元621通过建立可在其中执行平滑的初始深度来减小迭代操作的复杂性，执行所述迭代操作用于深度更新单元624平滑存储在深度图623中的深度。
在这种情况下，根据一个或多个实施例，除了特征信息提取单元622之外，3D视频转换设备620还可包括附加特征信息提取单元。
这里，深度图初始化单元621可通过从另一特征信息提取单元接收至少一条具体特征信息来建立初始深度。
根据一个或多个实施例，3D视频转换设备620还可包括后处理单元，所述后处理单元后处理将被转换为具有较平滑的深度的3D视频的输入视频610。
另外，根据一个或多个实施例，3D视频转换设备620还可包括预处理单元。
预处理单元可转换输入视频610的颜色空间，或当输入视频610是被编码为预定的视频流的视频时通过解码输入视频610来提取输入视频610的运动矢量。
当预处理单元执行转换输入视频610的颜色空间的功能时，特征信息提取单元622可提取输入视频610的更精确的特征信息。
作为示例，当输入视频610是由YCbCr颜色空间或红、绿、蓝颜色空间构成的视频时，预处理单元可将输入视频610的颜色空间转换为L*U*V颜色空间，从而特征信息提取单元622可提取输入视频610的更精确的特征信息。
另外，当预处理单元通过解码输入视频610来执行提取输入视频610的运动矢量的功能时，特征信息提取单元622可使用例如所述运动矢量提取输入视频610的特征信息。
图7是示出根据一个或多个其它实施例的3D视频转换设备720的结构的示图。
3D视频转换设备720可包括例如特征信息提取单元722、放大单元725、渲染单元726和深度建立单元727。
根据一个或多个实施例，深度建立单元727可包括例如深度图初始化单元721和深度更新单元724。
深度图初始化单元721可通过将输入视频710的多个像素划分为至少一个块来建立至少一个块的初始深度，并将所述初始深度存储到深度图723。
作为示例，当输入视频710的多个像素是a、b、c、d、e、f时，深度图初始化单元721可将多个像素的相邻像素划分为至少一个块(诸如(a，b)、(c，d)或(e，f))，建立至少一个块的初始深度，并将所述初始深度存储在深度图723中。
根据一个或多个实施例，输入视频710可以是单目视频。
另外，根据一个或多个实施例，深度图初始化单元721可根据例如前述的等式1或其它特征建立初始深度。
这里，(x，y)表示至少一个块的坐标。
特征信息提取单元722可提取输入视频710的至少一条具体特征信息并将提取的输入视频710的至少一条具体特征信息提供到深度更新单元724。
根据一个或多个实施例，在特征信息提取单元722中提取的输入视频710的至少一条特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。
深度更新单元724可基于至少一条具体特征信息和初始深度通过执行滤波来计算至少一个块的第二深度，并使用所述第二深度来更新深度图723。
根据一个或多个实施例，特征信息提取单元722可基于至少一条具体特征信息来计算至少一个块与每个相邻块之间的权重。
这里，根据一个或多个实施例，特征信息提取单元722可计算权重，从而依靠至少一个块与每个相邻块之间的特征信息的相似度。
在这种情况下，根据一个或多个实施例，特征信息提取单元722可根据例如前述的等式2计算权重。
这里，(x，y)表示至少一个块的坐标，(x′，y′)表示与所述至少一个块相邻的块的坐标。
另外，根据一个或多个实施例，深度更新单元724可基于权重来执行滤波。
在这种情况下，根据一个或多个实施例，深度更新单元724可根据例如前述的等式3执行滤波。
这里，(x，y)表示至少一个块的坐标，(x′，y′)表示与至少一个块相邻的块的坐标。
放大单元725可基于多个像素放大更新的深度图723。
渲染单元726可使用放大的深度图将输入视频710渲染为3D视频。
因此，3D视频转换设备720将输入视频710的多个像素划分为至少一个块，产生深度图723，放大产生的深度图723，从而通过相对简单的操作将输入视频710转换为3D视频。
根据一个或多个实施例，深度图初始化单元721可基于至少一条具体特征信息来建立初始深度，并将所述初始深度存储在深度图723中。
因此，深度图初始化单元721可建立可在其中执行平滑的初始深度。
因此，3D视频转换设备720可经由深度图初始化单元721通过建立可在其中执行平滑的初始深度来减小迭代操作的复杂性，执行所述迭代操作用于深度更新单元724平滑存储在深度图723中的深度。
在这种情况下，根据一个或多个实施例，除了特征信息提取单元722之外，3D视频转换设备720还可包括附加特征信息提取单元。
这里，深度图初始化单元721可通过从另一特征信息提取单元接收至少一条具体特征信息来建立初始深度。
根据一个或多个实施例，3D视频转换设备720还可包括后处理单元，所述后处理单元后处理放大的深度图以将输入视频710转换为具有较平滑的深度的3D视频。
另外，根据一个或多个实施例，3D视频转换设备720还可包括预处理单元。
预处理单元可转换输入视频710的颜色空间，或当输入视频710是被编码为预定的视频流的视频时通过解码输入视频710来提取输入视频710的运动矢量。
当预处理单元221执行转换输入视频210的颜色空间的功能时，特征信息提取单元223可提取输入视频210的更精确的特征信息。
当预处理单元执行转换输入视频710的颜色空间的功能时，特征信息提取单元722可提取输入视频710的更精确的特征信息。
作为示例，当输入视频710是由YCbCr颜色空间或红、绿、蓝颜色空间构成的视频时，预处理单元可将输入视频710的颜色空间转换为L*U*V颜色空间，从而特征信息提取单元722可提取输入视频710的更精确的特征信息。
另外，当预处理单元通过解码输入视频710执行提取输入视频710的运动矢量的功能时，特征信息提取单元722可使用所述运动矢量来提取输入视频710的特征信息。
图8是示出根据一个或多个其它实施例的3D视频转换设备830的结构的示图。3D视频转换设备830可包括例如特征信息提取单元838、深度建立单元843和渲染单元841。根据一个或多个实施例，深度建立单元843还可包括例如深度图初始化单元837和深度更新单元840。
深度图初始化单元837可建立输入视频810的至少一个像素的初始深度，并将输入视频810的至少一个像素的初始深度存储在深度图839中。
根据一个或多个实施例，输入视频810可以是单目视频。
特征信息提取单元838可提取输入视频810的至少一条具体特征信息并将输入视频810的至少一条具体特征信息提供到深度更新单元840。
根据一个或多个实施例，输入视频810的至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。
深度更新单元840可基于至少一条具体特征信息和初始深度通过执行滤波来计算输入视频810的深度，并使用所述深度来更新深度图839。
根据一个或多个实施例，特征信息提取单元838可基于至少一条具体特征信息来计算输入视频810的至少一个像素与每个相邻像素之间的权重。
这里，根据一个或多个实施例，特征信息提取单元838可计算权重，从而依靠至少一个像素与每个相邻像素之间的特征信息的相似度。
在这种情况下，根据一个或多个实施例，特征信息提取单元838可根据例如等式2计算权重。
另外，根据一个或多个实施例，深度更新单元840可基于权重执行滤波。
这里，根据一个或多个实施例，深度更新单元840可根据例如前述的等式3执行滤波。
渲染单元841可使用更新的深度图839将输入视频810渲染为3D视频。
如上所述，当深度图初始化单元837建立初始深度时，深度估计设备830可使用至少一条具体特征信息通过更新深度图839来估计输入视频810的深度。
另外，根据一个或多个实施例，深度估计设备830可通过缩小输入视频810、估计缩小的输入视频的第二深度并使用所述第二深度作为初始深度来简化用于估计输入视频810的深度的操作。
在相关上下文中，深度估计设备830还可包括例如缩小单元831、第二特征信息提取单元833、第二深度建立单元842和放大单元836。
根据一个或多个实施例，第二深度建立单元842可包括例如第二深度图初始化单元832和第二深度更新单元835。
缩小单元831可将在3D视频转换设备830中接收的输入视频810缩小为预定的分辨率。
作为示例，当输入视频的分辨率是1024×768时，缩小单元831可将输入视频810的分辨率缩小为800×600。
根据一个或多个实施例，输入视频810可以是单目视频。
第二深度图初始化单元832可建立由缩小单元831缩小的输入视频820的至少一个像素的第二初始深度，并将所述第二初始深度存储在第二深度图834中。
根据一个或多个实施例，第二深度图初始化单元832可根据例如前述的等式1或其它特征计算第二初始深度。
第二特征信息提取单元833可提取缩小的输入视频820的至少一条具体第二特征信息，并将提取的缩小的输入视频820的至少一条具体第二特征信息提供给第二深度更新单元835。
根据一个或多个实施例，第二特征信息提取单元833提取的至少一条具体第二特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。
第二深度更新单元835可基于至少一条具体第二特征信息和第二初始深度通过执行滤波来计算缩小的输入视频820的第二深度，并使用所述第二深度更新第二深度图834。
根据一个或多个实施例，第二特征信息提取单元833可基于至少一条具体第二特征信息来计算缩小的输入视频820的至少一个像素与每个相邻像素之间的第二权重。
根据一个或多个实施例，第二特征信息提取单元833可计算第二权重，从而依靠至少一个像素与相邻像素之间的特征信息的相似度。
这里，根据一个或多个实施例，第二特征信息提取单元833可根据例如前述的等式2计算第二权重。
另外，根据一个或多个实施例，第二深度更新单元835可基于第二权重执行滤波。
这里，根据一个或多个实施例，第二深度更新单元835可根据例如前述的等式3执行滤波。
放大单元836可基于输入视频810的分辨率来放大更新的第二深度图834，并将放大的深度图834提供给深度图初始化单元837。
这里，根据一个或多个实施例，放大单元836可基于至少一条具体第二特征信息和至少一条具体特征信息来放大第二深度图834，并将放大的第二深度图提供给深度图初始化单元837。
当放大单元836放大并提供第二深度图834时，深度图初始化单元837可建立存储在放大的第二深度图中的深度作为输入视频810的至少一个像素的初始深度，并将所述初始深度存储在深度图839中。
如上所述，通过建立可在其中执行滤波的深度作为初始深度，可减小可被执行用于深度更新单元840通过滤波输入视频810的深度来更新深度图839的操作的复杂性。
因此，3D视频转换设备830可通过缩小输入视频810并使用产生初始深度图的访问方法的组合产生最终深度图来减小用于估计输入视频810的深度的全部操作。
这里，在图8中示出3D视频转换设备830通过缩小输入视频810一次来产生深度图，然而，实施例不限于此。
也就是说，根据一个或多个实施例，3D视频转换设备830将输入视频810缩小n次，从第n次缩小的输入视频产生深度图并放大产生的深度图，从而例如被用作用于产生第(n-1)次缩小的输入视频的深度图的初始深度图。另外，在第(n-1)次缩小的输入视频的深度图的情况下，放大第(n-1)次缩小的输入视频的深度图，从而例如被用作用于产生第(n-2)次缩小的输入视频的深度图的初始深度图。
因此，3D视频转换设备830可通过使用通过重复执行上述的操作而产生的深度图作为用于产生输入视频810的深度图的初始深度图来简化用于估计输入视频810的深度的操作。
图9是示出根据一个或多个实施例的深度估计方法的流程图。
在操作S910，提取输入视频的至少一条具体特征信息。
根据一个或多个实施例，至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。
在操作S920，基于在操作S910中提取的至少一条具体特征信息建立输入视频的深度。
根据一个或多个实施例，除了图9中示出的方法，深度估计方法可扩展为各种实施例。因此，参照图10到图12描述关于深度估计方法的各种实施例，注意附加实施例是平等可用的。
图10是示出根据一个或多个其它实施例的深度估计方法的流程图。
在操作S1010，提取输入视频的至少一条具体特征信息。
输入视频的至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。
在操作S1020，建立至少一个像素的初始深度并将所述初始深度存储在深度图中。
根据一个或多个实施例，在操作S1020可根据例如前述的等式1或其它特征建立初始深度。
在操作S1030，基于至少一条具体特征信息和初始深度通过执行滤波来计算输入视频的最终深度，使用所述深度更新深度图。
根据一个或多个实施例，操作S1020可包括操作：在操作S1010中基于至少一条具体特征信息计算至少一个像素与相邻像素之间的权重。
这里，根据一个或多个实施例，可根据例如前述的等式2计算权重。
另外，根据一个或多个实施例，在操作S1030中基于权重执行滤波。
这里，根据一个或多个实施例，在操作S1030中可根据例如前述的等式3执行滤波。
图11是示出根据一个或多个其它实施例的深度估计方法的流程图。
在操作S1110，将输入视频的多个像素划分为至少一个块，建立至少一个块的初始深度，将所述初始深度存储在深度图中。
根据一个或多个实施例，在操作S1110可根据例如前述的等式1或其它特征建立初始深度。
这里，(x，y)表示至少一个块的坐标。
在操作S1120，提取至少一个块的至少一条具体特征信息。
根据一个或多个实施例，至少一个块的至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。
在操作S1130，基于至少一条具体特征信息和初始深度通过执行滤波来计算至少一个块的第二深度，并使用所述第二深度更新深度图。
根据一个或多个实施例，操作S1120可包括基于至少一条具体特征信息来计算至少一个块与相邻块之间的权重的操作。
在这种情况下，根据一个或多个实施例，可根据例如前述的等式2计算权重。
这里，(x，y)表示至少一个块的坐标，(x′，y′)表示与至少一个块相邻的块的坐标。
另外，根据一个或多个实施例，在操作S 1130可基于权重来执行滤波。
在这种情况下，根据一个或多个实施例，在操作S1130可根据例如前述的等式3执行滤波。
这里，(x，y)表示至少一个块的坐标，(x′，y′)表示与至少一个块相邻的块的坐标。
在操作S1140，基于多个像素放大更新的深度图。
图12是示出根据一个或多个其它实施例的深度估计方法的流程图。
在操作S1210，将输入视频缩小为预定的分辨率。
在操作S1220，建立缩小的输入视频的至少一个像素的第二初始深度，并将所述第二初始深度存储在第二深度图中。
根据一个或多个实施例，在操作S1220可根据例如前述的等式1或其它特征建立第二初始深度。
在操作S1230，提取缩小的输入视频的至少一条第二具体特征信息。
根据一个或多个实施例，至少一条具体第二特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。
在操作S1240，基于至少一条具体第二特征信息和第二初始深度通过执行滤波来计算缩小的输入视频的第二深度，并使用所述第二深度更新第二深度图。
根据一个或多个实施例，操作S1230可包括基于至少一条具体第二特征信息来计算至少一个像素与相邻像素之间的第二权重的操作。
在这种情况下，根据一个或多个实施例，可根据例如前述的等式2计算第二权重。
另外，根据一个或多个实施例，在操作S1240可基于第二权重执行滤波。
在这种情况下，根据一个或多个实施例，在操作S1240可根据例如前述的等式3执行滤波。
在操作S1250，基于输入视频的分辨率放大更新的第二深度图。
在操作S1260，提取输入视频的至少一条具体特征信息。
根据一个或多个实施例，至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。
在操作S1270，建立存储在放大的第二深度图中的深度作为输入视频的至少一个像素的初始深度，并将所述至少一个像素的初始深度存储在深度图中。
在操作S1280，基于至少一条具体特征信息和初始深度通过执行滤波来计算输入视频的最终深度，并使用所述深度更新深度图。
根据一个或多个实施例，操作S1260可包括基于至少一条特征信息来计算至少一个像素与相邻像素之间的权重的操作。
在这种情况下，根据一个或多个实施例，可根据例如前述的等式2计算权重。
另外，根据一个或多个实施例，在操作S1280可基于权重执行滤波。
在这种情况下，根据一个或多个实施例，在操作S1280可根据例如前述的等式3执行滤波。
以上已经参照图9到图12描述了关于深度估计方法的各种实施例。以下，将参照图13到图16描述关于使用深度估计方法将输入视频转换为3D视频的3D转换方法的各种实施例，注意附加实施例是平等可用的。
图13是示出根据一个或多个实施例的3D视频转换方法的流程图。
在操作S1310，提取输入视频的至少一条具体特征信息。
根据一个或多个实施例，至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息和直方图信息中的至少一个。
在操作S1320，基于在操作S1310中提取的至少一条具体特征信息建立输入视频的深度。
在操作S1330，使用滤波的深度将输入视频渲染为3D视频。
根据一个或多个实施例，除了在图13中示出的方法，3D视频转换方法还可被扩展。以下，参照图14到图16描述3D视频转换方法的各种示例实施例，注意可选实施例是平等可用的。
图14是示出根据一个或多个其它实施例的3D视频转换方法的流程图。
在操作S1410，提取输入视频的至少一条具体特征信息。
根据一个或多个实施例，输入视频的至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。
在操作S1420，建立输入视频的至少一个像素的初始深度并将所述初始深度存储在深度图中。
在操作S1430，基于至少一条具体特征信息和初始深度通过执行滤波来计算输入视频的最终深度，并使用所述深度更新深度图。
根据一个或多个实施例，操作S1410可包括基于至少一条具体特征信息来计算至少一个像素与相邻像素之间的权重的操作。
这里，根据一个或多个实施例，可根据例如前述的等式2计算权重。
另外，根据一个或多个实施例，在操作S1430可基于权重执行滤波。
这里，根据一个或多个实施例，可根据例如前述的等式3执行滤波。
在操作S1440，使用更新的深度图将输入视频渲染为3D视频。
图15是示出根据一个或多个其它实施例的3D视频转换方法的流程图。
在操作S1510，将输入视频的多个像素划分为至少一个块，建立至少一个块的初始深度，将所述初始深度存储在深度图中。
根据一个或多个实施例，在操作S1510可根据例如前述的等式1或其它特征建立初始深度。
这里，(x，y)表示至少一个块的坐标。
在操作S1520，提取至少一个块的至少一条具体特征信息。
根据一个或多个实施例，至少一个块的至少一条具体特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。
在操作S1530，基于至少一个条具体特征信息和初始深度通过执行滤波来计算至少一个块的第二深度，并使用所述第二深度更新深度图。
根据一个或多个实施例，操作S1520可包括基于至少一条具体特征信息来计算至少一个块与相邻块之间的权重的操作。
这里，根据一个或多个实施例，可根据例如前述的等式2计算权重。
这里，(x，y)表示至少一个块的坐标，(x′，y′)表示与至少一个块相邻的块的坐标。
另外，根据一个或多个实施例，在操作S1530可基于权重来执行滤波。
这里，根据一个或多个实施例，在操作S1530可根据例如前述的等式3执行滤波。
这里，(x，y)表示至少一个块的坐标，(x′，y′)表示与至少一个块相邻的块的坐标。
在操作S1540，基于多个像素放大更新的深度图。
在操作S1550，使用放大的深度图将输入视频渲染为3D视频。
图16是示出根据一个或多个其它实施例的3D视频转换方法的流程图。
在操作S1610，将输入视频缩小为预定的分辨率。
在操作S1620，建立缩小的输入视频的至少一个像素的第二初始深度，并将所述第二初始深度存储在第二深度图中。
根据一个或多个实施例，在操作S1620可根据例如前述的等式1或其它特征建立第二初始深度。
在操作S1630，提取缩小的输入视频的至少一条具体第二特征信息。
根据一个或多个实施例，至少一条具体第二特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息或直方图信息中的至少一个。
在操作S1640，基于至少一条具体第二特征信息和第二初始深度通过执行滤波来计算缩小的输入视频的第二深度，并使用所述第二深度更新第二深度图。
根据一个或多个实施例，操作S1630可包括基于至少一条具体第二特征信息来计算至少一个像素与相邻像素之间的第二权重的操作。
在这种情况下，根据一个或多个实施例，可根据例如前述的等式2计算第二权重。
另外，根据一个或多个实施例，在操作S1640可基于第二权重执行滤波。
根据一个或多个实施例，在操作S1640可根据例如前述的等式3执行滤波。
在操作S1650，基于输入视频的分辨率放大更新的第二深度图。
在操作S1660，提取输入视频的至少一条具体特征信息。
根据一个或多个实施例，至少一条特征信息可以是例如边缘信息、颜色信息、亮度信息、运动信息和直方图信息中的至少一个。
在操作S1670，建立存储在放大的第二深度图中的深度作为输入视频的至少一个像素的初始深度，并将所述至少一个像素的初始深度存储在深度图中。
在操作S1680，基于至少一条具体特征信息和初始深度通过执行滤波来计算输入视频的最终深度，并使用所述深度更新深度图。
根据一个或多个实施例，操作S1660可包括基于至少一条具体特征信息来计算至少一个像素与相邻像素之间的权重的操作。
这里，根据一个或多个实施例，可根据例如前述的等式2计算权重。
另外，根据一个或多个实施例，在操作S1680可基于第二权重执行滤波。
这里，根据一个或多个实施例，可根据例如前述的等式3执行滤波。
在操作S1690，使用更新的深度图将输入视频渲染为3D视频。
除了如上所述，一个或多个实施例可包括例如实现相同内容的产品(诸如，3D显示器(例如，电视、监视器、移动装置等))和演播室后生产系统。估计的深度可等同地对其它装置(诸如，在增强传统图像处理系统和帧速率转换装置中)有益。估计的深度还可对例如用于计算机版本应用(包括对象检测、识别，甚至优选地在编码器中对其它分片或对象之前的图像或帧的分片或对象进行编码)的算法附加可变。
根据上述一个或多个实施例的深度估计方法和3D视频转换方法可被记录到包括用于实现计算机实施的各种操作的计算机可读代码或指令的计算机可读介质，或者可被一个或多个处理装置执行。所述介质还可包括计算机可读代码、数据文件、数据结构等的组合。计算机可读介质的例子包括磁性介质(例如，硬盘、软盘和磁带)、光学介质(例如，CD-ROM盘和DVD)、磁光介质(例如，光盘)和专门配置以存储和执行指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。所述代码和指令的例子包括可由诸如编译器产生的机器码和包括可由计算机或者一个或多个处理装置使用解析器执行的更高级代码的文件。
虽然已经参照不同的实施例具体示出和描述了本发明的各方面，但是应该理解，这些示例性实施例仅被认为是描述的目的，而不是限制的目的。每个实施例中的特征或方面的描述应被典型地认为对于其它实施例中的其它相似特征或方面是可用的。
因此，虽然已经示出和描述了几个实施例，但是本领域的技术人员应该理解，在不脱离由权利要求及其等同物限定的本发明的原理和精神的情况下，可以对这些实施例进行改变。

Claims (34)

1.一种用于估计深度的设备，该设备包括：
特征信息提取单元，从单个输入图像提取至少一条特征信息，所述特征信息独立于输入图像的任何预建立的深度值；和
深度建立单元，基于关于部分输入图像的所述至少一条特征信息建立部分输入图像的深度，
其中，深度建立单元基于所述至少一条特征信息计算输入图像的至少一个像素与输入图像内的相邻像素之间的权重，
其中，所述深度建立单元包括：深度图初始化单元，基于输入图像中的部分输入图像的位置特性来建立部分输入图像的初始深度，从而具有不同位置特性的部分输入图像被建立为具有不同初始深度，
其中，所述深度建立单元确定位于输入图像的上部的对象的深度深于位于输入图像的下部的另一对象的深度。
2.如权利要求1所述的设备，其中，所述至少一条特征信息是边缘信息、颜色信息、亮度信息、运动信息和直方图信息中的至少一个。
3.如权利要求1所述的设备，其中，所述深度建立单元包括：
深度图初始化单元，建立输入图像的至少一个像素的初始深度，并将建立的初始深度存储到深度图；和
深度更新单元，基于所述初始深度通过执行滤波来计算部分输入图像的深度，并基于计算的深度更新深度图。
4.如权利要求3所述的设备，其中，所述特征信息提取单元基于所述至少一条特征信息计算所述至少一个像素与相邻像素之间的权重，所述深度更新单元基于所述权重执行滤波。
5.如权利要求3所述的设备，其中，所述深度图初始化单元基于所述至少一条特征信息建立初始深度，并将初始深度存储到深度图。
6.如权利要求3所述的设备，还包括：
预处理单元，转换输入图像的颜色空间或当输入图像是被编码为预定的视频流的图像时通过解码输入图像来提取输入图像的运动矢量。
7.如权利要求3所述的设备，还包括：
缩小单元，将输入图像缩小为预定的分辨率；
第二深度图初始化单元，建立缩小的输入图像的至少一个像素的第二初始深度，并将所述第二初始深度存储到第二深度图；
第二特征信息提取单元，从缩小的输入图像提取至少一条第二特征信息；
第二深度更新单元，基于所述至少一条第二特征信息和第二初始深度通过执行滤波来计算缩小的输入图像的第二深度，并使用所述第二深度更新第二深度图；和
放大单元，基于输入图像的分辨率放大更新的第二深度图，
其中，所述深度图初始化单元基于存储在放大的第二深度图中的深度建立初始深度。
8.如权利要求1所述的设备，其中，所述深度建立单元包括：
深度图初始化单元，根据将输入图像的多个像素分组为至少一个块的各个分组来建立输入图像的所述至少一个块的初始深度，并将所述初始深度存储到深度图；和
深度更新单元，基于所述初始深度通过执行滤波来计算所述至少一个块的第二深度，并基于所述第二深度更新深度图。
9.如权利要求8所述的设备，还包括：
放大单元，基于多个像素放大更新的深度图。
10.如权利要求1所述的设备，其中，输入图像的任何预存在和预建立的深度值是未知或不存在的，深度建立单元仅基于所述至少一条特征信息来初始建立部分输入图像的深度。
11.一种3D视频转换设备，该设备包括：
提取单元，从单个输入图像提取至少一条特征信息，所述特征信息独立于输入图像的任何预建立的深度值；
深度建立单元，基于关于部分输入图像的所述至少一条特征信息来建立部分输入图像的深度；和
渲染单元，使用建立的部分输入图像的深度将输入图像渲染为3D视频，
其中，深度建立单元基于所述至少一条特征信息计算输入图像的至少一个像素与输入图像内的相邻像素之间的权重，
所述深度建立单元包括：深度图初始化单元，基于输入图像中的部分输入图像的位置特性来建立部分输入图像的初始深度，从而具有不同位置特性的部分输入图像被建立为具有不同初始深度，
其中，所述深度建立单元确定位于输入图像的上部的对象的深度深于位于输入图像的下部的另一对象的深度。
12.如权利要求11所述的设备，其中，所述深度建立单元包括：
深度图初始化单元，建立输入图像的至少一个像素的初始深度，并将建立的所述至少一个像素的初始深度存储到深度图；和
深度更新单元，基于所述初始深度通过执行滤波来计算部分输入图像的深度，并基于计算的深度更新深度图，
其中，所述渲染单元使用更新的深度图将输入图像渲染为3D视频。
13.如权利要求12所述的设备，其中，所述特征信息提取单元基于所述至少一条特征信息计算所述至少一个像素与相邻像素之间的权重，所述深度更新单元基于所述权重执行滤波。
14.如权利要求12所述的设备，还包括：
缩小单元，将输入图像缩小为预定的分辨率；
第二深度图初始化单元，建立缩小的输入图像的至少一个像素的第二初始深度，并将所述第二初始深度存储到第二深度图；
第二特征信息提取单元，从缩小的输入图像提取至少一条第二特征信息；
第二深度更新单元，基于所述至少一条第二特征信息和第二初始深度通过执行滤波来计算缩小的输入图像的第二深度，并使用所述第二深度更新第二深度图；和
放大单元，基于输入图像的分辨率放大更新的第二深度图，
其中，所述深度图初始化单元基于存储在放大的第二深度图中的深度建立初始深度。
15.如权利要求11所述的设备，其中，所述至少一条特征信息是边缘信息、颜色信息、亮度信息、运动信息和直方图信息中的至少一个。
16.如权利要求11所述的设备，其中，所述深度建立单元包括：
深度图初始化单元，根据将输入图像的多个像素分组为至少一个块的各个分组来建立输入图像的所述至少一个块的初始深度，并将所述初始深度存储到深度图；和
深度更新单元，基于所述初始深度通过执行滤波来计算所述至少一个块的第二深度，并基于所述第二深度更新深度图。
17.如权利要求16所述的设备，还包括：
放大单元，基于多个像素放大更新的深度图，
其中，渲染单元使用放大的深度图将输入图像渲染为3D视频。
18.如权利要求11所述的设备，其中，输入图像的任何预存在和预建立的深度值是未知或不存在的，深度建立单元仅基于所述至少一条特征信息来初始建立部分输入图像的深度。
19.一种深度估计方法，该方法包括：
从单个输入图像提取至少一条特征信息，所述特征信息独立于输入图像的预建立的深度值；以及
基于关于部分输入图像的所述至少一条特征信息来建立部分输入图像的深度，
其中，建立部分输入图像的深度的步骤包括基于所述至少一条特征信息计算输入图像的至少一个像素与输入图像内的相邻像素之间的权重，
其中，所述建立部分输入图像的深度的步骤还包括：基于输入图像中的部分输入图像的位置特性来建立部分输入图像的初始深度，从而具有不同位置特性的部分输入图像被建立为具有不同初始深度，
其中，所述建立部分输入图像的深度的步骤还包括确定位于输入图像的上部的对象的深度深于位于输入图像的下部的另一对象的深度。
20.如权利要求19所述的方法，其中，所述建立深度的步骤包括：
建立输入图像的至少一个像素的初始深度，并将初始深度存储到深度图；以及
基于所述初始深度通过执行滤波来计算部分输入图像的深度，并基于计算的深度更新深度图。
21.如权利要求20所述的方法，其中，所述提取至少一条特征信息的步骤包括：
其中，所述更新深度图的步骤基于所述权重执行滤波。
22.如权利要求20所述的方法，还包括：
将输入图像缩小为预定的分辨率；
建立缩小的输入图像的至少一个像素的第二初始深度，并将所述第二初始深度存储到第二深度图；
从缩小的输入图像提取至少一条第二特征信息；
基于所述至少一条第二特征信息和第二初始深度通过执行滤波来计算缩小的输入图像的第二深度，并使用所述第二深度更新第二深度图；以及
基于输入图像的分辨率放大更新的第二深度图，
其中，所述建立至少一个像素的初始深度的步骤还包括基于存储在放大的第二深度图中的深度建立初始深度。
23.如权利要求19所述的方法，其中，所述至少一条特征信息是边缘信息、颜色信息、亮度信息、运动信息和直方图信息中的至少一个。
24.如权利要求19所述的方法，其中，所述建立深度的步骤包括：
根据将输入图像的多个像素分组为至少一个块的各个分组来建立输入图像的所述至少一个块的初始深度，并将所述初始深度存储到深度图；和
基于所述初始深度通过执行滤波来计算所述至少一个块的第二深度，并基于所述第二深度更新深度图。
25.如权利要求24所述的方法，还包括：
基于多个像素放大更新的深度图。
26.如权利要求19所述的方法，其中，输入图像的任何预存在和预建立的深度值是未知或不存在的，仅基于所述至少一条特征信息来初始建立部分输入图像的深度。
27.一种3D视频转换方法，该方法包括：
从单个输入图像提取至少一条特征信息，所述特征信息独立于输入图像的预建立的深度值；
基于关于部分输入图像的所述至少一条特征信息建立部分输入图像的深度；以及
使用建立的部分输入图像的深度将输入图像渲染为3D视频，
其中，建立部分输入图像的深度的步骤包括基于所述至少一条特征信息计算输入图像的至少一个像素与输入图像内的相邻像素之间的权重，
其中，所述建立部分输入图像的深度的步骤还包括：基于输入图像中的部分输入图像的位置特性来建立部分输入图像的初始深度，从而具有不同位置特性的部分输入图像被建立为具有不同初始深度，
其中，所述建立部分输入图像的深度的步骤还包括确定位于输入图像的上部的对象的深度深于位于输入图像的下部的另一对象的深度。
28.如权利要求27所述的方法，其中，所述建立深度的步骤包括：
建立输入图像的至少一个像素的初始深度，并将建立的所述至少一个像素的初始深度存储到深度图；以及
基于所述初始深度通过执行滤波来计算部分输入图像的深度，并基于计算的深度更新深度图，
其中，所述将输入图像渲染为3D视频的步骤使用更新的深度图将输入图像渲染为3D视频。
29.如权利要求28所述的方法，其中，所述提取至少一条特征信息的步骤包括：
其中，所述更新深度图的步骤基于所述权重执行滤波。
30.如权利要求28所述的方法，还包括：
将输入图像缩小为预定的分辨率；
建立缩小的输入图像的至少一个像素的第二初始深度，并将所述第二初始深度存储到第二深度图；
从缩小的输入图像提取至少一条第二特征信息；
基于所述至少一条第二特征信息和第二初始深度通过执行滤波来计算缩小的输入图像的第二深度，并使用所述第二深度更新第二深度图；以及
基于输入图像的分辨率放大更新的第二深度图，
其中，所述建立至少一个像素的初始深度的步骤包括基于存储在放大的第二深度图中的深度建立初始深度。
31.如权利要求27所述的方法，其中，所述至少一条特征信息是边缘信息、颜色信息、亮度信息、运动信息和直方图信息中的至少一个。
32.如权利要求27所述的方法，其中，所述建立深度的步骤包括：
根据将输入图像的多个像素分组为至少一个块的各个分组来建立输入图像的所述至少一个块的初始深度，并将所述初始深度存储到深度图；和
基于所述初始深度通过执行滤波来计算所述至少一个块的第二深度，并基于所述第二深度更新深度图。
33.如权利要求32所述的方法，还包括：
基于多个像素放大更新的深度图，
其中，所述将输入图像渲染为3D视频的步骤使用放大的深度图将输入图像渲染为3D视频。
34.如权利要求27所述的方法，其中，输入图像的任何预存在和预建立的深度值是未知或不存在的，仅基于所述至少一条特征信息来初始建立部分输入图像的深度。
CN200910252846.3A 2008-12-04 2009-12-04 用于估计深度和将2d视频转换为3d视频的方法和设备 Active CN101754040B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080122655A KR101506926B1 (ko) 2008-12-04 2008-12-04 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
KR10-2008-0122655 2008-12-04

Publications (2)

Publication Number Publication Date
CN101754040A CN101754040A (zh) 2010-06-23
CN101754040B true CN101754040B (zh) 2015-04-22

Family

ID=41381830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910252846.3A Active CN101754040B (zh) 2008-12-04 2009-12-04 用于估计深度和将2d视频转换为3d视频的方法和设备

Country Status (5)

Country Link
US (2) US9137512B2 (zh)
EP (1) EP2194726A1 (zh)
JP (1) JP5579422B2 (zh)
KR (1) KR101506926B1 (zh)
CN (1) CN101754040B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493590A (zh) * 2018-05-15 2019-11-22 纬创资通股份有限公司 产生深度图的方法及其影像处理装置与系统

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101491556B1 (ko) * 2008-12-02 2015-02-09 삼성전자주식회사 깊이 추정 장치 및 방법
CN102428501A (zh) * 2009-09-18 2012-04-25 株式会社东芝 图像处理装置
US8659592B2 (en) * 2009-09-24 2014-02-25 Shenzhen Tcl New Technology Ltd 2D to 3D video conversion
KR101054043B1 (ko) * 2010-05-23 2011-08-10 강원대학교산학협력단 2차원 의료영상으로부터 3차원 영상을 생성하는 방법
JP4773588B1 (ja) 2010-06-15 2011-09-14 日本碍子株式会社 燃料電池セル
US8593574B2 (en) 2010-06-30 2013-11-26 At&T Intellectual Property I, L.P. Apparatus and method for providing dimensional media content based on detected display capability
CN103026387B (zh) * 2010-07-26 2019-08-13 香港城市大学 用于从单一的图像生成多视图像的方法
US10134150B2 (en) * 2010-08-10 2018-11-20 Monotype Imaging Inc. Displaying graphics in multi-view scenes
KR20120018906A (ko) * 2010-08-24 2012-03-06 삼성전자주식회사 컬러 영상과 깊이 영상의 모션 벡터 공유를 이용한 부호화/복호화 장치 및 방법
CN102387374B (zh) * 2010-08-30 2015-07-29 三星电子株式会社 用于获得高精度深度图的设备和方法
US8571314B2 (en) * 2010-09-02 2013-10-29 Samsung Electronics Co., Ltd. Three-dimensional display system with depth map mechanism and method of operation thereof
KR20120023431A (ko) * 2010-09-03 2012-03-13 삼성전자주식회사 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치
JP5058316B2 (ja) * 2010-09-03 2012-10-24 株式会社東芝 電子機器、画像処理方法、及び画像処理プログラム
US20120188334A1 (en) * 2010-09-22 2012-07-26 Berfort Management Inc. Generating 3D stereoscopic content from monoscopic video content
US9305398B2 (en) 2010-10-08 2016-04-05 City University Of Hong Kong Methods for creating and displaying two and three dimensional images on a digital canvas
KR20120049997A (ko) * 2010-11-10 2012-05-18 삼성전자주식회사 영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들
JP5132754B2 (ja) * 2010-11-10 2013-01-30 株式会社東芝 画像処理装置、方法およびそのプログラム
KR101669819B1 (ko) * 2010-11-11 2016-10-27 삼성전자주식회사 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법
CN102006493A (zh) * 2010-11-26 2011-04-06 北京新岸线网络技术有限公司 一种3d视频图像的视差调节方法及装置
CN102480621B (zh) * 2010-11-29 2015-07-22 扬智科技股份有限公司 用来将二维影片转换为三维影片的方法与装置
CN102036090B (zh) * 2010-12-16 2012-05-02 清华大学 一种用于数字电视终端的电视信号转换装置
KR101119941B1 (ko) * 2010-12-17 2012-03-16 강원대학교 산학협력단 입체영상의 화질 개선 장치 및 방법
KR101763944B1 (ko) * 2011-02-18 2017-08-01 엘지디스플레이 주식회사 영상표시장치
MX2013009234A (es) * 2011-02-18 2013-08-29 Sony Corp Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes.
JP2012186781A (ja) 2011-02-18 2012-09-27 Sony Corp 画像処理装置および画像処理方法
US20120274626A1 (en) * 2011-04-29 2012-11-01 Himax Media Solutions, Inc. Stereoscopic Image Generating Apparatus and Method
EP2525581A3 (en) * 2011-05-17 2013-10-23 Samsung Electronics Co., Ltd. Apparatus and Method for Converting 2D Content into 3D Content, and Computer-Readable Storage Medium Thereof
JP2012247891A (ja) * 2011-05-26 2012-12-13 Sony Corp 画像処理装置、画像処理方法、およびプログラム
KR101231661B1 (ko) * 2011-06-24 2013-02-08 동서대학교산학협력단 컬러세그먼트 추출과 깊이지도를 활용한 입체영상 제작 방법
US20130050415A1 (en) * 2011-08-30 2013-02-28 Himax Technologies Limited System and Method of Handling Data Frames for Stereoscopic Display
KR101680186B1 (ko) * 2011-08-30 2016-11-28 삼성전자주식회사 영상 촬영 장치 및 그 제어 방법
US8837816B2 (en) * 2011-09-27 2014-09-16 Mediatek Inc. Method and apparatus for generating final depth information related map that is reconstructed from coarse depth information related map through guided interpolation
CN102447939A (zh) * 2011-10-12 2012-05-09 绍兴南加大多媒体通信技术研发有限公司 一种影视作品2d转3d的优化方法
KR101660808B1 (ko) * 2011-11-24 2016-09-29 에스케이플래닛 주식회사 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
KR101978172B1 (ko) * 2011-11-29 2019-05-15 삼성전자주식회사 깊이 영상을 고해상도로 변환하는 방법 및 장치
CN103152586B (zh) * 2011-12-06 2016-01-13 北京大学深圳研究生院 一种基于深度模板的2d视频转3d视频传输及重建方法
CN103152587B (zh) * 2011-12-06 2016-08-03 北京大学深圳研究生院 一种基于视频压缩码流中辅助增强信息的2d视频转3d视频方法
US9137519B1 (en) 2012-01-04 2015-09-15 Google Inc. Generation of a stereo video from a mono video
US8824778B2 (en) 2012-01-13 2014-09-02 Cyberlink Corp. Systems and methods for depth map generation
CN103220539B (zh) * 2012-01-21 2017-08-15 瑞昱半导体股份有限公司 图像深度产生装置及其方法
WO2013115463A1 (ko) * 2012-02-01 2013-08-08 에스케이플래닛 주식회사 영상 처리 장치 및 방법
KR101332638B1 (ko) * 2012-02-10 2013-11-25 시모스 미디어텍(주) 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
KR101306608B1 (ko) * 2012-02-24 2013-09-11 국민대학교산학협력단 스마트 단말과 로봇장치를 이용하여 3차원 영상을 제공하는 방법 및 이를 이용하는 3차원 영상제공 시스템
US9210405B2 (en) 2012-03-22 2015-12-08 Qualcomm Technologies, Inc. System and method for real time 2D to 3D conversion of video in a digital camera
KR20130114420A (ko) 2012-04-09 2013-10-18 한국전자통신연구원 2차원 동영상의 3차원 동영상으로의 변환 방법 및 장치
CN103493482B (zh) * 2012-05-08 2016-01-20 青岛海信信芯科技有限公司 一种提取及优化图像深度图的方法与装置
KR101957873B1 (ko) * 2012-06-04 2019-03-13 삼성전자주식회사 3차원 영상을 위한 영상 처리 장치 및 방법
CN102724527B (zh) * 2012-06-19 2014-07-16 清华大学 可配置多场景模型的深度估计方法及使用该方法的系统
CN103778598B (zh) * 2012-10-17 2016-08-03 株式会社理光 视差图改善方法和装置
US9098911B2 (en) * 2012-11-01 2015-08-04 Google Inc. Depth map generation from a monoscopic image based on combined depth cues
US9299152B2 (en) * 2012-12-20 2016-03-29 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Systems and methods for image depth map generation
US10257506B2 (en) 2012-12-28 2019-04-09 Samsung Electronics Co., Ltd. Method of obtaining depth information and display apparatus
US20140198098A1 (en) * 2013-01-16 2014-07-17 Tae Joo Experience Enhancement Environment
US9619884B2 (en) * 2013-10-03 2017-04-11 Amlogic Co., Limited 2D to 3D image conversion device and method
CN104660900B (zh) * 2013-10-30 2018-03-02 株式会社摩如富 图像处理装置及图像处理方法
KR101694522B1 (ko) * 2014-02-11 2017-01-10 한국전자통신연구원 2차원 동영상을 3차원 동영상으로 변환하는 방법 및 장치
CN103945205B (zh) * 2014-04-04 2015-11-11 西安交通大学 兼容2d与多视点裸眼3d显示的视频处理装置及方法
US9369727B2 (en) * 2014-07-10 2016-06-14 Intel Corporation Storage of depth information in a digital image file
US9507995B2 (en) * 2014-08-29 2016-11-29 X Development Llc Combination of stereo and structured-light processing
US9803985B2 (en) * 2014-12-26 2017-10-31 Here Global B.V. Selecting feature geometries for localization of a device
EP3236657A1 (en) * 2016-04-21 2017-10-25 Ultra-D Coöperatief U.A. Dual mode depth estimator
KR101720161B1 (ko) * 2016-07-11 2017-03-27 에스케이플래닛 주식회사 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
KR101947782B1 (ko) 2017-02-22 2019-02-13 한국과학기술원 열화상 영상 기반의 거리 추정 장치 및 방법. 그리고 이를 위한 신경망 학습 방법
US10735707B2 (en) 2017-08-15 2020-08-04 International Business Machines Corporation Generating three-dimensional imagery
CN108062741B (zh) * 2017-12-15 2021-08-06 上海兴芯微电子科技有限公司 双目图像处理方法、成像装置和电子设备
CN110400344B (zh) * 2019-07-11 2021-06-18 Oppo广东移动通信有限公司 深度图处理方法和装置
WO2023224326A1 (ko) * 2022-05-18 2023-11-23 삼성전자 주식회사 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법
CN117241104B (zh) * 2023-11-07 2024-01-16 中南大学 一种dibr-3d视频版权保护的零水印方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6504569B1 (en) * 1998-04-22 2003-01-07 Grass Valley (U.S.), Inc. 2-D extended image generation from 3-D data extracted from a video sequence

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3309324B2 (ja) 1992-09-17 2002-07-29 富士通株式会社 画像データ前処理フィルタ装置
KR100358021B1 (ko) 1994-02-01 2003-01-24 산요 덴키 가부시키가이샤 2차원영상을3차원영상으로변환시키는방법및입체영상표시시스템
JPH07296165A (ja) 1994-04-28 1995-11-10 Canon Inc ３次元画像撮影用カメラ
KR100414629B1 (ko) * 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
US6266072B1 (en) * 1995-04-05 2001-07-24 Hitachi, Ltd Graphics system
JPH0937301A (ja) 1995-07-17 1997-02-07 Sanyo Electric Co Ltd 立体映像変換回路
JP3957343B2 (ja) 1996-07-18 2007-08-15 三洋電機株式会社 ２次元映像を３次元映像に変換する装置および方法
JPH1069543A (ja) * 1996-08-29 1998-03-10 Oki Electric Ind Co Ltd 被写体の曲面再構成方法及び被写体の曲面再構成装置
JPH1198531A (ja) 1997-09-24 1999-04-09 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する装置及び方法
JP2000261828A (ja) 1999-03-04 2000-09-22 Toshiba Corp 立体映像生成方法
JP2003106812A (ja) 2001-06-21 2003-04-09 Sega Corp 画像情報処理方法、その方法を利用したシステム及びプログラム
CN1675937B (zh) 2002-08-20 2011-08-24 江良一成 生成立体图像的方法和装置
KR100505334B1 (ko) 2003-03-28 2005-08-04 (주)플렛디스 운동 시차를 이용한 입체 영상 변환 장치
WO2005013623A1 (en) 2003-08-05 2005-02-10 Koninklijke Philips Electronics N.V. Multi-view image generation
JP4214976B2 (ja) 2003-09-24 2009-01-28 日本ビクター株式会社 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
US7262767B2 (en) * 2004-09-21 2007-08-28 Victor Company Of Japan, Limited Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system
KR100757259B1 (ko) 2004-10-25 2007-09-11 전자부품연구원 압축 동영상의 움직임 벡터를 이용하여 2차원 영상을3차원 영상으로 변환하는 방법
CA2553473A1 (en) * 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
JP5085059B2 (ja) * 2006-06-28 2012-11-28 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
US20080205791A1 (en) * 2006-11-13 2008-08-28 Ramot At Tel-Aviv University Ltd. Methods and systems for use in 3d video generation, storage and compression
EP2087466B1 (en) 2006-11-21 2020-06-17 Koninklijke Philips N.V. Generation of depth map for an image
KR20080047673A (ko) * 2006-11-27 2008-05-30 (주)플렛디스 입체영상 변환 장치 및 그 방법
KR100931311B1 (ko) 2006-12-04 2009-12-11 한국전자통신연구원 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
US8488868B2 (en) * 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US20080252652A1 (en) * 2007-04-13 2008-10-16 Guofang Jiao Programmable graphics processing element
US7889949B2 (en) * 2007-04-30 2011-02-15 Microsoft Corporation Joint bilateral upsampling
JP4878330B2 (ja) 2007-05-09 2012-02-15 国立大学法人 東京大学 対象物の関節構造の取得方法及び装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6504569B1 (en) * 1998-04-22 2003-01-07 Grass Valley (U.S.), Inc. 2-D extended image generation from 3-D data extracted from a video sequence

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493590A (zh) * 2018-05-15 2019-11-22 纬创资通股份有限公司 产生深度图的方法及其影像处理装置与系统
CN110493590B (zh) * 2018-05-15 2021-07-23 纬创资通股份有限公司 产生深度图的方法及其影像处理装置与系统

Also Published As

Publication number Publication date
KR20100064196A (ko) 2010-06-14
CN101754040A (zh) 2010-06-23
US20100141757A1 (en) 2010-06-10
US9137512B2 (en) 2015-09-15
EP2194726A1 (en) 2010-06-09
JP5579422B2 (ja) 2014-08-27
KR101506926B1 (ko) 2015-03-30
US20130235153A1 (en) 2013-09-12
JP2010136371A (ja) 2010-06-17

Similar Documents

Publication Publication Date Title
CN101754040B (zh) 用于估计深度和将2d视频转换为3d视频的方法和设备
US9041819B2 (en) Method for stabilizing a digital video
CN105100770B (zh) 立体源图像校准方法和设备
CN101945295B (zh) 生成深度图的方法和设备
CN102196292B (zh) 基于人机交互生成视频深度图序列的方法及系统
US20130127988A1 (en) Modifying the viewpoint of a digital image
US8611642B2 (en) Forming a steroscopic image using range map
EP2595116A1 (en) Method for generating depth maps for converting moving 2d images to 3d
US8406524B2 (en) Apparatus, method, and medium of generating visual attention map
US20130129192A1 (en) Range map determination for a video frame
CN101689299A (zh) 用于图像的立体匹配的系统和方法
CN103702098A (zh) 一种时空域联合约束的三视点立体视频深度提取方法
US9661307B1 (en) Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
KR101173559B1 (ko) 비디오 동영상의 움직이는 다중 객체 자동 분할 장치 및 방법
KR101511315B1 (ko) 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템
CN104243956A (zh) 一种立体图像视觉显著图提取方法
RU2669470C1 (ru) Устройство для удаления логотипов и субтитров с видеопоследовательностей
WO2008152607A1 (en) Method, apparatus, system and computer program product for depth-related information propagation
Li et al. A novel method for 2D-to-3D video conversion using bi-directional motion estimation
CN107592538A (zh) 一种降低立体视频深度图编码复杂度的方法
CN106028022A (zh) 一种立体图像制作方法和设备
CN105100768B (zh) 用于立体匹配的方法和用于上采样的方法
Liu et al. Stereoscopic view synthesis based on region-wise rendering and sparse representation
Wang et al. Depth propagation based on depth consistency
Zhang et al. An enhanced non local mean method for hole filling in the depth image-based rendering system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant