CN103198517A - 生成目标透视模型的方法及其透视模型估计装置 - Google Patents

生成目标透视模型的方法及其透视模型估计装置 Download PDF

Info

Publication number
CN103198517A
CN103198517A CN2012103935878A CN201210393587A CN103198517A CN 103198517 A CN103198517 A CN 103198517A CN 2012103935878 A CN2012103935878 A CN 2012103935878A CN 201210393587 A CN201210393587 A CN 201210393587A CN 103198517 A CN103198517 A CN 103198517A
Authority
CN
China
Prior art keywords
perspective model
perspective
model
target
generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012103935878A
Other languages
English (en)
Inventor
张毓麟
郑朝钟
张德浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN103198517A publication Critical patent/CN103198517A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/536Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

几种生成目标透视模型的方法及其透视模型估计装置,其中一种生成目标透视模型的方法包含:接收第一输入图像;利用基于区域分析单元分析该第一输入图像中的多个区域以提取该多个区域的图像特征;以及至少根据该图像特征确定该目标透视模型。本发明的生成目标透视模型的方法及其透视模型估计装置可在生成目标透视模型时具有较低的计算复杂度并且避免了深度图像的颤动。

Description

生成目标透视模型的方法及其透视模型估计装置
技术领域
本发明有关于深度图像产生(depth map generation),并且特别有关于利用基于区域分析(region-based analysis)及/或时间平滑(temporalsmoothing)确定透视模型(perspective model)的方法及其装置。
背景技术
由于三维立体(three-dimensional,3D)电影的成功(例如《阿凡达》),3D播放变得越来越受欢迎。几乎所有的电视制机(television,TV)制造商都将3D功能加入到其高端TV产品中。一个重要的所需3D技术是2D至3D(2D-to-3D)的转换技术,其将传统的2D视频转换为3D视频。说其重要是因为现在大部分的内容仍为传统的2D格式。对于2D单目视频输入(monocular video input),首先估计物体以及其几何透视信息并对其建模,然后生成深度图像(depth map)。根据生成的深度图像,可利用基于深度图像绘制(depth image based rendering,DIBR)以将原始2D单目视频转换为分别对应左右眼的立体视频。在上述传统的处理过程中,最重要的问题是如何生成深度图像。
为了正确地生成输入2D视频的深度图像,可利用各种线索来估计深度信息。许多传统的深度图像生成方法是利用深度线索的不同组合来取得上述深度图像。透视信息被认为产生初始透视/全局深度图像。大部分传统方法需要表示场景的透视视角的初始透视/全局深度图像。然而,传统的初始深度图像通常只提供由下至上(bottom-top)的透视,其不总是代表整个环境的透视,因此需要灭线(vanishing line)或特征点(feature point)来建立整个环境的更复杂的透视模型。一个传统的算法是通过霍夫变换(Hough transform)实施上述灭线/特征点的检测。然而,上述检测的实施也需要较多时间以及全帧像素的计算操作。其他的传统算法通常产生不稳定的在帧之间跳变的灭线/特征点,其将导致观察深度图像时感觉到颤动(judder)。
发明内容
有鉴于此,本发明提供生成目标透视模型的方法及其透视模型估计装置。
一种生成目标透视模型的方法,其中生成深度图像参考该目标透视模型,该生成目标透视模型的方法包含:接收第一输入图像;利用基于区域分析单元分析该第一输入图像中的多个区域以提取该多个区域的图像特征;以及至少根据该图像特征确定该目标透视模型。
一种生成目标透视模型的透视模型估计装置,其中生成深度图像参考该目标透视模型,该生成目标透视模型的透视模型估计装置包含:基于区域分析单元,安排以接收第一输入图像,以及分析该第一输入图像中的多个区域以提取该多个区域的图像特征;以及透视模型生成单元,安排以至少根据该图像特征确定该目标透视模型。
一种生成目标透视模型的方法,其中生成深度图像参考该目标透视模型,该生成目标透视模型的方法包含:接收第一输入图像;确定第一透视模型以响应该第一输入图像;以及根据该第一透视模型与至少一个第二透视模型的加权和,利用透视模型生成单元生成该目标透视模型。
本发明的生成目标透视模型的方法及其透视模型估计装置可在生成目标透视模型时具有较低的计算复杂度并且避免了深度图像的颤动。
附图说明
图1是根据本发明第一实施例描述的深度图像生成器示意图。
图2是基于区域分析单元执行的基于区域分析的结果示意图。
图3是根据本发明实施例描述的目标透视模型示意图。
图4是根据本发明第二实施例描述的深度图像生成器示意图。
图5是描述时间平滑单元执行的时间平滑操作示意图。
图6是描述透视模型生成单元的可选择设计示意图。
图7是描述另一时间平滑操作示意图。
图8是描述透视模型生成单元的另一可选择设计示意图。
图9是描述透视模型生成单元800利用类施密特触发器滤波器的示意图。
图10是根据本发明实施例描述的深度图像参考的生成目标透视模型的方法流程图。
具体实施方式
在说明书及权利要求书当中使用了某些词汇来指称特定的元件。所属技术领域的技术人员应可理解,硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异作为区分元件的方式,而是以元件在功能上的差异作为区分的准则。在通篇说明书及权利要求项中所提及的“包含”为一开放式的用语,故应解释成“包含但不限定于”。此外,“耦接”一词在此包含任何直接及间接的电气连接手段。因此,若文中描述第一装置耦接于第二装置,则代表第一装置可直接电气连接于第二装置,或透过其它装置或连接手段间接地电气连接至第二装置。
接下来的描述是实现本发明的较佳实施例,其是为了描述本发明原理的目的,并非对本发明的限制。可以理解地是,本发明实施例可由软件、硬件、固件或其任意组合来实现。
本发明的主要目的是利用基于区域分析及/或时间平滑以生成深度图像参考的透视/全局模型。因此,本发明是利用快速且有效的透视/全局模型估计方法来生成表示场景透视的深度图像。此外,本发明利用简化算法输出稳定的透视/全局模型。由于上述方法利用基于区域分析,所以透视/全局模型的生成具有较低的计算复杂度。另外,应用于上述透视/全局模型的时间平滑能够改善透视/全局模型从而避免深度图像的颤动。详细的内容将在下面段落中进行描述。
图1是根据本发明第一实施例描述的深度图像生成器示意图。深度图像生成器100包含透视模型估计装置102以及与其耦接的深度图像绘制单元104。可安排透视模型估计装置102为输入图像IMG1生成目标/最终透视模型Gfinal,以及安排深度图像绘制单元104参照目标透视模型Gfinal产生输入图像IMG1的相应深度图像MAPdepth。如图1所示,透视模型估计装置102包含基于区域分析单元112以及与其耦接的透视模型生成单元113,其中本实施例的透视模型生成单元113可利用透视映射单元114来简化实施。可安排基于区域分析单元112接收输入图像IMG1,并且分析输入图像IMG1的多个区域以提取多个区域的图像特征(即局部特征)。
请参考图2,图2是基于区域分析单元112执行的基于区域分析的结果示意图。在本实施例中,基于区域分析单元112将整个输入图像IMG1划分为多个区域201。按照本示例的方式(但不局限于此),每个区域201的尺寸可自动设定为一个宏块(macroblock)的大小。可替换地,用户可手动设定每个区域201的大小。例如,待分析的输入图像IMG1中的区域可由用户自定蒙版设置或用户自定兴趣区域设置来决定。在确定完区域201后,基于区域分析单元112分析区域201以提取区域201的图像特征N11-N58。例如,每个图像特征可为在每个区域中找到的边缘数量。因此,在一个示例设计中,可配置基于区域分析单元112来在每个区域201中执行边缘检测,并且统计每个区域201中边缘的数量以设定每个区域的图像特征。
在取得区域201的图像特征N11-N58后,透视模型生成单元113的透视映射单元114根据图像特征N11-N58确定目标透视模型Gfinal。在本实施例中,透视映射单元114从输入图像IMG1的区域201中选择具有特定图像特征的特定区域,并且参考上述已选择的特定区域确定目标透视模型Gfinal。例如,已选择的特定区域的特定图像特征是区域图像特征中的最大图像特征。特别地,在每个图像特征为每个区域中边缘的数量时,透视映射单元114选择具有最多边缘的区域R35(即具有最大图像特征N35),并且根据已选择的区域R35设定特征点VP。图3是根据本发明实施例描述的目标透视模型示意图。例如,图3所示,可利用区域R35的中心充当特征点VP。因此,透视映射单元114将已确定的特征点VP映射至透视模型,从而产生目标透视模型Gfinal。在本发明的某些或全部实施例中,特征点可被看作灭点(vanishingpoint)。然而,这只是为了说明的目的,并不是对本发明的限制。例如,特征点可被看作具有预设图像特征的点。
在取得目标透视模型Gfinal后,深度图像绘制单元104绘制深度图像MAPdepth以响应目标透视模型Gfinal。例如,深度图像绘制单元104可参考输入图像IMG1的边缘描述以及从区域R35的中心取得的特征点VP来绘制深度图像MAPdepth,其中特征点VP可具有最小深度值以表示在深度图像MAPdepth中的最远距离。
在累积水平边缘元件的值大于累积垂直边缘元件的值的情况下,可利用传统水平模式绘制深度图像MAPdepth,因此深度图像MAPdepth可在垂直方向上具有梯度的图像。在累积水平边缘元件的值小于累积垂直边缘元件的值的情况下,可利用传统垂直模式绘制深度图像MAPdepth,因此深度图像MAPdepth可在水平方向上具有梯度的图像。在累积水平边缘元件的值近似于/等于累积垂直边缘元件的值的情况下,可利用传统圆周/透视模式绘制深度图像MAPdepth,因此深度图像MAPdepth可为在径向方向上具有梯度的图像。因为本发明的重点在于生成深度图像参考的透视/全局模型的取得,所以为了简略的目的,省略关于深度图像绘制单元104的描述。
可利用图1所示的透视模型估计装置102为单个输入图像产生透视模型。换句话说,透视模型估计装置102可在不参考前面/后面图像信息的情况下为每个输入图像生成透视模型。虽然基于区域分析能够很快找出具有低计算复杂度的特征点,但是上述特征点可在图像之间跳变并且导致观察深度图像时感觉到颤动。为了产生更稳定的特征点,本发明进一步对透视模型应用时间平滑。
请参考图4,图4是根据本发明第二实施例描述的深度图像生成器示意图。深度图像生成器400包含透视模型估计装置402与上述的深度图像绘制单元104。可安排透视模型估计装置402为输入图像IMG1生成目标透视模型Gfinal,以及可安排深度图像绘制单元104参考目标透视模型Gfinal产生输入图像IMG1的相应深度图像MAPdepth。如图4所示,透视模型估计装置402包含上述基于区域分析单元112以及与其耦接的透视模型生成单元413,其中本实施例的透视模型生成单元413包含透视映射单元414与时间平滑单元416。
透视模型估计装置102与402之间的主要区别在于支持时间平滑的透视模型生成单元413。对透视映射单元414的操作类似于透视映射单元114。然而,透视映射单元114的输出直接充当透视映射单元114的目标/最终透视模型Gfinal,透视映射单元414的输出充当接下来时间平滑单元416进一步执行的初始透视模型Ginit
例如,来自于基于区域分析单元112取得的图像特征的特征点VP可充当初始特征点,并且透视映射单元414将初始特征点映射至初始透视模型Ginit。接着,时间平滑单元416通过初始透视模型Ginit与至少一个预设透视模型Gpred的加权和产生目标/最终透视模型Gfinal。例如,如图4所示,至少一个预设透视模型Gpred为透视模型估计装置402通过处理另一输入图像IMG2产生的目标/最终透视模型,其中输入图像IMG2可依据实际设计位于输入图像IMG1的前面或后面。然而,以上描述仅是为了说明的目的,并非对本发明的限制。例如,在可选择的设计中,至少一个预设透视模型Gpred可利用另一传统透视模型生成算法取得。
在本实施例中,时间平滑单元416可利用从前面或后面输入图像取得的信息以将初始透视模型Ginit改善为目标透视模型Gfinal,从而避免由目标透视模型Gfinal引起的深度图像MAPdepth颤动。例如,时间平滑单元416可利用平滑滤波器(smoothing filter)实施从而使得特征点在不同图像平缓转换,其中可通过常量设定或者为响应图像内容(例如边缘数量)/用户偏好调整平滑滤波器的系数(例如权重因子)。时间平滑单元416执行的示例时间平滑操作可用下面的公式表示。
Gfinal(t1)=Wcurr×Ginit(t1)+Wprev×Gfinal(t0)    (1)
在上述的公式(1)中,Gfinal(t1)代表时间平滑单元416在时刻t1生成的最终透视模型,Ginit(t1)代表透视映射单元414在时刻t1生成的初始透视模型,Gfinal(t0)代表时间平滑单元416在时刻t0生成的另一预设透视模型Gpred,Wcurr与Wprev是权重因子。
因为特征点映射至透视模型,所以特征点的位置遵照下列的公式。
P1’=Wcurr×P1+Wprev×P0’    (2)
在上述的公式(2)中,P1’代表在时刻t1的最终特征点,P1代表在时刻t1的初始特征点,P0’代表在时刻t0的最终特征点。请参考图5,图5是描述时间平滑单元416执行的时间平滑操作示意图。如图5所示,先前透视模型(例如Gfinal(t0))以及当前透视模型(例如Ginit(t1))之间的时间平滑使得特征点从P0’平滑切换到P1,从而避免不稳定的特征点。这样,可确保透视模型的平滑度避免在做2D至3D切换时的视觉疲劳。
上述的时间平滑操作仅是为了说明的目的,并不是对本发明的限制。也就是说,利用另一权重函数来实现上述时间平滑操作也是可行的。例如,时间平滑单元416执行的另一示例时间平滑操作可用下面的公式表示。
Gfinal(t1)=Wcurr×Ginit(t1)+Wadj×Gadj(t1)+Wprev×Gfinal(t0)  (3)
在上述的公式(3)中,Gadj(t1)代表在时刻t1的调整透视模型,并且Wadj代表权重因子。上述可实现通过时间平滑生成目标/最终透视模型的相同目标。
在一示例设计中,时间平滑利用的权重因子(例如Wcurr、Wprev及/或Wadj)可为常数。可选择地,可根据图像特征/图像内容设定时间平滑利用的权重因子(例如Wcurr、Wprev及/或Wadj)。图6是描述透视模型生成单元的可选择设计示意图。如图6所示,透视模型生成单元600包含透视改进单元602、前述的透视映射单元414以及时间平滑单元416。透视改进单元602耦接至时间平滑单元416,并且可安排透视改进单元602根据输入图像IMG1的图像特征设定初始透视模型Ginit与至少一个预设透视模型Gpred的权重因子。
例如,透视改进单元602设定初始透视模型Ginit与至少一个预设透视模型Gpred的权重因子以使得目标透视模型Gfinal与输入图像IMG1的边缘界限相匹配。其中在一示例设计中,透视改进单元602可通过利用双边权重函数(bilateral based weighting function)或引导图像滤波器(guided image filter)设定权重因子。图7是描述另一时间平滑操作示意图。如图7所示,根据合适的权重因子(例如Wcurr、Wprev及/或Wadj),可将最终特征点P1’改善到边缘界限以适应输入图像IMG1的像素水平图像细节。这样,目标透视模型Gfinal可具有较高的精度。
另外,也可利用类施密特触发器滤波器(Schmitt trigger-like filter)实施时间平滑以避免初始透视模型的瞬间噪声。请参考图8,图8是描述透视模型生成单元的另一可选择设计示意图。如图8所示,透视模型生成单元800包含控制单元802、前述的透视映射单元414以及时间平滑单元416。控制单元802耦接至时间平滑单元416,并且可安排控制单元802检测连续目标透视模型的相似度,其中连续目标透视模型先于当前输入图像的当前透视模型。
例如,可利用类施密特触发器滤波器执行控制单元802以积累一定数量的先前产生的连续相同/相似目标透视模型。当控制单元802指示相似度满足预设规则(例如数量大于预设阈值)时,允许时间平滑单元416利用前述时间平滑(即初始透视模型Ginit与至少一个检测透视模型Gpred的加权和)产生目标透视模型Gfinal。当控制单元802指示相似度未满足预设规则(例如数量未大于预设阈值)时,透视模型生成单元800可直接利用先前目标透视模型(例如Gpred)作为目标透视模型Gfinal。图9是描述透视模型生成单元800利用类施密特触发器滤波器的示意图。为简化起见,可在时间平滑之前使用计数进程。计数进程检测已经产生的连续的相同/相似透视模型,然后再开启时间平滑。
值得注意的是,由于实际的设计需要不同,在示例透视模型生成单元413、600、800中提到的部分或所有技术特征可用在一个透视模型生成单元中。
图10是根据本发明实施例描述的深度图像参考的生成目标透视模型的方法流程图。如果所得结果本质上是相同的,则可不必按照图10的顺序来执行方法流程图中的步骤。可利用前述透视模型估计装置执行上述方法,并且概括如下。
步骤1000:开始。
步骤1002:接收第一输入图像(例如IMG1)。
步骤1004:分析第一输入图像中的多个区域以提取多个区域的图像特征。
步骤1006:根据参考图像特征从区域中选择的特定区域确定特征点。例如,选择具有最多边缘的区域,并且以选择区域的中心作为特征点。
步骤1008:是否启动时间平滑?如果是,则进入步骤1010;否则进入步骤1014。
步骤1010:将特征点映射到第一透视模型(例如Ginit)。
步骤1012:由第一透视模型以及至少一个第二透视模型(例如Gpred)的加权和产生目标透视模型(例如Gfinal)。例如,可从处理第二输入图像(例如IMG2)中取得至少一个第二透视模型,其中上述第二输入图像领先或者落后于第一输入图像。进入步骤1016。
步骤1014:直接将特征点映射到目标透视模型(例如Gfinal)。
步骤1016:结束。
本领域技术人员可在理解图10所示每个操作步骤的情况下进一步进行省略操作。
像“第一”、“第二”、“第三”等在权利要求书中修饰元件的序词并不意味着自身具有任何较佳权、较佳级或者一个元件的等级高于另一个元件或者方法执行的时间顺序,而仅仅作为标号用于区分一个具有确切名称的元件与具有相同名称(除了修饰序词)的另一元件。
本发明通过较佳实施例进行描述,但可以理解其并不仅限于此。任何熟悉此项技术者,在不脱离本发明的精神和范围内,做均等的变化与修饰,皆属于本发明的涵盖范围。

Claims (29)

1.一种生成目标透视模型的方法,其中生成深度图像参考该目标透视模型,该生成目标透视模型的方法包含:
接收第一输入图像;
利用基于区域分析单元分析该第一输入图像中的多个区域以提取该多个区域的图像特征;以及
至少根据该图像特征确定该目标透视模型。
2.如权利要求1所述的生成目标透视模型的方法,其特征在于,该分析该第一输入图像中的该多个区域的步骤包含:
执行该多个区域的每个区域的边缘检测;以及
在检测的该每个区域统计边缘数量以设定该每个区域图像特征。
3.如权利要求1所述的生成目标透视模型的方法,其特征在于,该至少根据该图像特征确定该目标透视模型的步骤包含:
从该第一输入图像的该多个区域中选择具有特定图像特征的特定区域;以及
至少参照该特定区域以确定该目标透视模型。
4.如权利要求3所述的生成目标透视模型的方法,其特征在于,已选择的该特定区域的该特定图像特征是该多个区域的该图像特征中的最大图像特征。
5.如权利要求3所述的生成目标透视模型的方法,其特征在于,该至少参照该特定区域以确定该目标透视模型的步骤包含:
根据该特定区域设定初始特征点;以及
至少根据该初始特征点确定该目标透视模型。
6.如权利要求5所述的生成目标透视模型的方法,其特征在于,该至少根据该初始特征点确定该目标透视模型的步骤包含:
将该初始特征点映射到第一透视模型;以及
根据该第一透视模型与至少一个第二透视模型的加权和产生该目标透视模型。
7.如权利要求6所述的生成目标透视模型的方法,其特征在于,通过处理该第一输入图像之前或之后的第二输入图像预测该至少一个第二透视模型。
8.如权利要求6所述的生成目标透视模型的方法,其特征在于,根据该第一输入图像的图像特征配置该第一透视模型与该至少一个第二透视模型的权重因子。
9.如权利要求6所述的生成目标透视模型的方法,其特征在于,配置该第一透视模型与该至少一个第二透视模型的权重因子以将该目标透视模型与该第一输入图像中的边缘界限相匹配。
10.如权利要求6所述的生成目标透视模型的方法,其特征在于,利用双边权重函数或引导图像滤波器配置该第一透视模型与该至少一个第二透视模型的权重因子。
11.如权利要求5所述的生成目标透视模型的方法,其特征在于,该至少根据该初始特征点确定该目标透视模型的步骤包含:
将该初始特征点映射到第一透视模型;
确定以前产生的连续目标透视模型的相似度;以及
当该相似度满足预设规则时,根据该第一透视模型与至少一个第二透视模型的加权和产生该目标透视模型。
12.如权利要求11所述的生成目标透视模型的方法,其特征在于,该至少根据该初始特征点确定该目标透视模型的步骤进一步包含:
当该相似度不满足该预设规则时,直接利用先前透视模型作为该目标透视模型。
13.一种生成目标透视模型的透视模型估计装置,其中生成深度图像参考该目标透视模型,该生成目标透视模型的透视模型估计装置包含:
基于区域分析单元,安排以接收第一输入图像,以及分析该第一输入图像中的多个区域以提取该多个区域的图像特征;以及
透视模型生成单元,安排以至少根据该图像特征确定该目标透视模型。
14.如权利要求13所述的生成目标透视模型的透视模型估计装置,其特征在于,该基于区域分析单元执行该多个区域的每个区域的边缘检测;以及在检测的该每个区域统计边缘数量以设定该每个区域图像特征。
15.如权利要求13所述的生成目标透视模型的透视模型估计装置,其特征在于,该透视模型生成单元从该第一输入图像的该多个区域中选择具有特定图像特征的特定区域,以及至少参照该特定区域以确定该目标透视模型。
16.如权利要求15所述的生成目标透视模型的透视模型估计装置,其特征在于,已选择的该特定区域的该特定图像特征是该多个区域的该图像特征中的最大图像特征。
17.如权利要求15所述的生成目标透视模型的透视模型估计装置,其特征在于,该透视模型生成单元根据该特定区域设定初始特征点;以及至少根据该初始特征点确定该目标透视模型。
18.如权利要求17所述的生成目标透视模型的透视模型估计装置,其特征在于,该透视模型生成单元包含:
透视映射单元,安排以将该初始特征点映射到第一透视模型;以及
时间平滑单元,安排以根据该第一透视模型与至少一个第二透视模型的加权和产生该目标透视模型。
19.如权利要求18所述的生成目标透视模型的透视模型估计装置,其特征在于,该透视模型估计装置通过处理该第一输入图像之前或之后的第二输入图像预测该至少一个第二透视模型。
20.如权利要求18所述的生成目标透视模型的透视模型估计装置,其特征在于,该透视模型生成单元进一步包含:
透视改进单元,安排以根据该第一输入图像的图像特征设定该第一透视模型与该至少一个第二透视模型的权重因子。
21.如权利要求18所述的生成目标透视模型的透视模型估计装置,其特征在于,该透视模型生成单元进一步包含:
透视改进单元,安排以设定该第一透视模型与该至少一个第二透视模型的权重因子以将该目标透视模型与该第一输入图像中的边缘界限相匹配。
22.如权利要求18所述的生成目标透视模型的透视模型估计装置,其特征在于,该透视模型生成单元进一步包含:
透视改进单元,安排以利用双边权重函数或引导图像滤波器设定该第一透视模型与该至少一个第二透视模型的权重因子。
23.如权利要求17所述的生成目标透视模型的透视模型估计装置,其特征在于,该透视模型生成单元包含:
透视映射单元,安排将该初始特征点映射到第一透视模型;
控制单元,安排以确定以前产生的连续目标透视模型的相似度;以及
时间平滑单元,当该控制单元指示该相似度满足预设规则时,安排该事件平滑单元以根据该第一透视模型与至少一个第二透视模型的加权和产生该目标透视模型。
24.如权利要求23所述的生成目标透视模型的透视模型估计装置,其特征在于,当该控制单元指示该相似度不满足该预设规则时,直接利用先前透视模型作为该目标透视模型。
25.一种生成目标透视模型的方法,其中生成深度图像参考该目标透视模型,该生成目标透视模型的方法包含:
接收第一输入图像;
确定第一透视模型以响应该第一输入图像;以及
根据该第一透视模型与至少一个第二透视模型的加权和,利用透视模型生成单元生成该目标透视模型。
26.如权利要求25所述的生成目标透视模型的方法,其特征在于,通过处理该第一输入图像之前或之后的第二输入图像预测该至少一个第二透视模型。
27.如权利要求25所述的生成目标透视模型的方法,其特征在于,根据该第一输入图像的图像特征配置该第一透视模型与该至少一个第二透视模型的权重因子。
28.如权利要求25所述的生成目标透视模型的方法,其特征在于,配置该第一透视模型与该至少一个第二透视模型的权重因子以将该目标透视模型与该第一输入图像中的边缘界限相匹配。
29.如权利要求25所述的生成目标透视模型的方法,其特征在于,利用双边权重函数或引导图像滤波器配置该第一透视模型与该至少一个第二透视模型的权重因子。
CN2012103935878A 2011-12-23 2012-10-16 生成目标透视模型的方法及其透视模型估计装置 Pending CN103198517A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161579669P 2011-12-23 2011-12-23
US61/579,669 2011-12-23
US13/587,917 2012-08-16
US13/587,917 US9571810B2 (en) 2011-12-23 2012-08-16 Method and apparatus of determining perspective model for depth map generation by utilizing region-based analysis and/or temporal smoothing

Publications (1)

Publication Number Publication Date
CN103198517A true CN103198517A (zh) 2013-07-10

Family

ID=47602728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012103935878A Pending CN103198517A (zh) 2011-12-23 2012-10-16 生成目标透视模型的方法及其透视模型估计装置

Country Status (3)

Country Link
US (1) US9571810B2 (zh)
EP (1) EP2608554B1 (zh)
CN (1) CN103198517A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107576731A (zh) * 2017-08-30 2018-01-12 天津大学 基于混合现实的模型实验结构裂纹扩展过程实时透视方法
WO2023029475A1 (zh) * 2021-09-06 2023-03-09 广州中望龙腾软件股份有限公司 模型透视方法、智能终端以及存储装置
CN117456076A (zh) * 2023-10-30 2024-01-26 神力视界(深圳)文化科技有限公司 一种材质贴图生成方法及相关设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428866B1 (ko) * 2012-10-26 2014-08-12 한국과학기술원 스테레오 영상의 깊이감 조절 장치 및 방법
GB2553782B (en) * 2016-09-12 2021-10-20 Niantic Inc Predicting depth from image data using a statistical model
JP2019078582A (ja) * 2017-10-23 2019-05-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN107798654B (zh) * 2017-11-13 2022-04-26 北京小米移动软件有限公司 图像磨皮方法及装置、存储介质
CN108737810B (zh) * 2018-05-23 2019-08-06 苏州新光维医疗科技有限公司 图像处理方法、装置及三维成像系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1495676A (zh) * 2002-09-24 2004-05-12 ������������ʽ���� 图像显示方法及图像显示装置
US20070159476A1 (en) * 2003-09-15 2007-07-12 Armin Grasnick Method for creating a stereoscopic image master for imaging methods with three-dimensional depth rendition and device for displaying a steroscopic image master
US20100080448A1 (en) * 2007-04-03 2010-04-01 Wa James Tam Method and graphical user interface for modifying depth maps
US20110044531A1 (en) * 2007-11-09 2011-02-24 Thomson Licensing System and method for depth map extraction using region-based filtering
US20110096832A1 (en) * 2009-10-23 2011-04-28 Qualcomm Incorporated Depth map generation techniques for conversion of 2d video data to 3d video data

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917937A (en) 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
US6584219B1 (en) * 1997-09-18 2003-06-24 Sanyo Electric Co., Ltd. 2D/3D image conversion system
ITRM20030345A1 (it) 2003-07-15 2005-01-16 St Microelectronics Srl Metodo per ricavare una mappa di profondita'
KR101420681B1 (ko) * 2008-02-01 2014-07-17 한국과학기술원 비디오 영상의 깊이 지도 생성 방법 및 장치
WO2011017310A1 (en) 2009-08-04 2011-02-10 Shenzhen Tcl New Technology Ltd. Systems and methods for three-dimensional video generation
JP5387377B2 (ja) 2009-12-14 2014-01-15 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR101637491B1 (ko) 2009-12-30 2016-07-08 삼성전자주식회사 3차원 영상 데이터 생성 방법 및 장치
WO2011097306A1 (en) 2010-02-04 2011-08-11 Sony Corporation 2d to 3d image conversion based on image content
JP5387856B2 (ja) 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US9142026B2 (en) 2010-02-26 2015-09-22 Thomson Licensing Confidence map, method for generating the same and method for refining a disparity map
US8428342B2 (en) 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
TW201227606A (en) * 2010-12-30 2012-07-01 Hon Hai Prec Ind Co Ltd Electronic device and method for designing a specified scene using the electronic device
CN102098526B (zh) 2011-01-28 2012-08-22 清华大学 一种深度图求取方法及装置
US20130095920A1 (en) 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1495676A (zh) * 2002-09-24 2004-05-12 ������������ʽ���� 图像显示方法及图像显示装置
US20070159476A1 (en) * 2003-09-15 2007-07-12 Armin Grasnick Method for creating a stereoscopic image master for imaging methods with three-dimensional depth rendition and device for displaying a steroscopic image master
US20100080448A1 (en) * 2007-04-03 2010-04-01 Wa James Tam Method and graphical user interface for modifying depth maps
US20110044531A1 (en) * 2007-11-09 2011-02-24 Thomson Licensing System and method for depth map extraction using region-based filtering
US20110096832A1 (en) * 2009-10-23 2011-04-28 Qualcomm Incorporated Depth map generation techniques for conversion of 2d video data to 3d video data

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107576731A (zh) * 2017-08-30 2018-01-12 天津大学 基于混合现实的模型实验结构裂纹扩展过程实时透视方法
WO2023029475A1 (zh) * 2021-09-06 2023-03-09 广州中望龙腾软件股份有限公司 模型透视方法、智能终端以及存储装置
CN117456076A (zh) * 2023-10-30 2024-01-26 神力视界(深圳)文化科技有限公司 一种材质贴图生成方法及相关设备

Also Published As

Publication number Publication date
US20130162631A1 (en) 2013-06-27
EP2608554A3 (en) 2015-09-23
EP2608554B1 (en) 2018-01-24
EP2608554A2 (en) 2013-06-26
US9571810B2 (en) 2017-02-14

Similar Documents

Publication Publication Date Title
CN103198517A (zh) 生成目标透视模型的方法及其透视模型估计装置
JP5587894B2 (ja) 深さマップを生成するための方法及び装置
US8565512B2 (en) Method, medium, and system generating depth map of video image
EP3311361B1 (en) Method and apparatus for determining a depth map for an image
US9167232B2 (en) System for converting 2D video into 3D video
CN103260039A (zh) 图像处理设备、图像处理方法以及程序
CN104754322B (zh) 一种立体视频舒适度评价方法及装置
CN104756491A (zh) 基于组合的深度提示从单视场图像生成深度图
CN101322155A (zh) 立体图像显示方法和设备、从2d图像数据输入产生3d图像数据的方法以及从2d图像数据输入产生3d图像数据的设备
US20120013604A1 (en) Display apparatus and method for setting sense of depth thereof
WO2009008864A1 (en) System and method for three-dimensional object reconstruction from two-dimensional images
CN102822621A (zh) 校准数据选择装置、选择方法、选择程序以及三维位置测量设备
EP2367352B1 (en) Imaging apparatus and method
CN101840574A (zh) 基于边缘象素特征的深度估计方法
WO2012084277A1 (en) Apparatus and method for determining a disparity estimate
CN109068118A (zh) 双摄模组的基线距离调整方法、装置及双摄模组
WO2013124312A1 (en) Object-aligned filtering method and apparatus
CN104185012A (zh) 三维视频格式自动检测方法及装置
CN104185023B (zh) 三维视频格式自动检测方法及装置
EP2680224B1 (en) Method and device for determining a depth image
Zhang et al. Stereoscopic learning for disparity estimation
CN109961422A (zh) 数字图像的对比度值的确定
CN104125446A (zh) 一种视频图像2d转3d中优化处理深度图的方法和装置
CN106534825B (zh) 基于中线边缘特征投影的自动检测全景视频、图片的方法
CN102487447B (zh) 调整物件三维深度的方法与装置、以及检测物件三维深度的方法与装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130710