CN102685523B - 深度信息产生器、深度信息产生方法及深度调整装置 - Google Patents

深度信息产生器、深度信息产生方法及深度调整装置 Download PDF

Info

Publication number
CN102685523B
CN102685523B CN201210012429.3A CN201210012429A CN102685523B CN 102685523 B CN102685523 B CN 102685523B CN 201210012429 A CN201210012429 A CN 201210012429A CN 102685523 B CN102685523 B CN 102685523B
Authority
CN
China
Prior art keywords
depth information
multiple raw
raw video
order
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210012429.3A
Other languages
English (en)
Other versions
CN102685523A (zh
Inventor
張德浩
方弘吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN102685523A publication Critical patent/CN102685523A/zh
Application granted granted Critical
Publication of CN102685523B publication Critical patent/CN102685523B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Abstract

本发明公开一种深度信息产生器、深度信息产生方法及深度调整装置。所述深度信息产生器包括接收电路及具有第一深度信息产生电路的深度信息产生块。所述接收电路用以接收多视角视频流,所述多视角视频流传输分别对应于不同视角的多个影像。所述第一深度信息产生电路耦接于所述接收电路,用以通过对所接收到的所述多个影像的一部份进行处理,来产生第一深度信息输出。本发明的深度信息输出并未采用传统三维视频深度调整设计所使用的立体匹配技术,因此,提供了一种具有较少的存储器频宽耗费、较低的硬件成本及/或较低的计算复杂度的深度信息产生机制。

Description

深度信息产生器、深度信息产生方法及深度调整装置
技术领域
本发明有关于产生深度信息,特别是有关于一种仅通过处理所接收到的具有不同视角的影像的一部份来产生深度信息输出的深度信息产生器,以及相关深度信息产生方法及其深度调整装置。
背景技术
随着科技发展,使用者所追求的是立体(stereo)/三维(three-dimensional)及更真实的影像显示(image display),已不再是高画质的影像。呈现立体影像显示的技术有两种,一种是使用搭配眼镜(例如,红绿眼镜(anaglyph glasses)、偏光眼镜(polarization glasses)及快门眼镜(shutter glasses))的视频(video)输出装置,而另一种则是直接使用不需搭配任何眼镜的视频输出装置。无论所使用的技术是哪一种,立体影像显示的主要原理在于使左眼与右眼看到不同的影像,因此,人脑会将此两眼所看到的不同影像视为立体影像。
图1为人类深度知觉(human depth perception)如何创造出三维视觉(three-dimensional vision,3D vision)的示意图。想要产生立体感的视觉,需要两眼以重叠视场(overlapping visual field)来观看景物。举例来说,如图1所示,两眼以稍微不同的角度来观看同一影像点(image point),并将所述影像点聚焦至视网膜(retina),接着,人脑会将上述的位于视网膜的二维影像(two-dimensional,2D)加以合并以形成三维视觉。所述影像点的视差(disparity)D与由左眼及右眼所看到影像点的影像位置的差异(来自于特定的两眼间距(eyeseparation))有关,以及人脑会将其解读为与所述影像点相关的深度(depth),换言之,当所述影像点距离眼睛很近时,视差D会比较大;然而,当所述影像点距离眼睛很远时,视差D则会比较小。更具体地说,视差D反比于人脑所解读的深度,即
当使用者观看利用显示立体视频流中的左眼影像及右眼影像所呈现的三维视频内容时,使用者可能会想调整所接收到的深度以满足他/她的观看偏好(viewing preference),因此,左眼影像及右眼影像应被适当地调整以改变使用者的深度知觉。可采用传统三维视频深度调整机制(3D video depth adjustmentscheme)来达成此目标,举例来说,传统三维视频深度调整机制通过对一对左眼影像及右眼影像进行立体匹配操作(stereo matching operation)以取得深度/视差图(depth/disparity map),依据原始左眼影像(original left-eye image)及所得到的深度/视差图来进行视角合成/影像绘图操作(view synthesis/imagerendering operation),以产生调整后的左眼影像(adjusted left-eye image),以及依据原始右眼影像(original right-eye image)及所得到的深度/视差图来进行视角合成/影像绘图操作,以产生调整后的右眼影像(adjusted right-eye image)。基于上述的调整后的左眼影像及调整后的右眼影像,深度调整后的三维视频输出便呈现给使用者。
一般来说,立体匹配操作需要同时从存储装置(memory device)(例如,动态随机存取存储器(dynamic random access memory,DRAM))取得左眼影像及右眼影像,故会耗费大量的存储器频宽(memory bandwidth),此外,立体匹配操作需要执行基于像素(pixel-based)或基于块(block-based)的匹配,因而导致较高的硬件成本(hardware cost)以及计算复杂度(computational complexity)。因此,需要一种创新的设计,其可耗费较少的存储器频宽、较低的硬件成本及/或较低的计算复杂度,来取得深度信息(depth information)(例如,深度图或视差图)。
发明内容
由此,本发明的目的为提供一种仅处理所接收到的具有不同视角的影像的一部份来产生深度信息输出的深度信息产生器,以及相关深度信息产生方法及其深度调整装置,来解决上述问题。
一种深度信息产生器的范例实施方式,包括:接收电路及具有第一深度信息产生电路的深度信息产生块。所述接收电路用以接收多视角视频流,其中所述多视角视频流传输分别对应于不同视角的多个影像。所述第一深度信息产生电路耦接于所述接收电路,用以通过对所接收到的所述多个影像的一部份进行处理来产生第一深度信息输出。
一种深度信息产生方法的范例实施方式,包括下列步骤:接收多视角视频流,其中所述多视角视频流传输分别对应于不同视角的多个影像;以及通过对所接收到的所述多个影像的一部份进行处理来产生第一深度信息输出。
一种深度信息产生器的另一范例实施方式,包括:接收电路、深度信息产生块以及混合电路。所述接收电路用以接收多视角视频流,其中所述多视角视频流传输分别对应于不同视角的多个影像。所述深度信息产生块耦接于所述接收电路,用以针对所接收到的所述多个影像进行处理来产生多个深度信息输出。所述混合电路耦接于所述深度信息产生块,用以将所述多个深度信息输出加以混合,来产生混合深度信息输出。
一种深度调整装置的范例实施方式,包括深度信息产生器以及视角合成块。所述深度信息产生器包括接收电路以及深度信息产生块。所述接收电路用以接收多视角视频流,其中所述多视角视频流传输分别对应于不同视角的多个影像。所述深度信息产生块包括第一深度信息产生电路,所述第一深度信息产生电路耦接于所述接收电路,用以通过对所接收到的所述多个影像的一部份进行处理来产生第一深度信息输出。所述视角合成块用以依据所述多个影像以及由至少所述第一深度信息输出所得到的至少一目标深度信息输出,来执行视角合成/影像绘图操作以产生调整后影像。
本发明的深度信息输出并未采用传统三维视频深度调整设计所使用的立体匹配技术,因此,提供了一种具有较少的存储器频宽耗费、较低的硬件成本及/或较低的计算复杂度的深度信息产生机制。
对于已经阅读后续由各附图及内容所显示的较佳实施方式的本领域的技术人员来说,本发明的各目的是明显的。
附图说明
图1为人类深度知觉如何创造出三维视觉的示意图。
图2为本发明广义的深度调整装置的一实施例的示意图。
图3为本发明深度信息产生器的第一实施例的示意图。
图4为本发明深度信息产生器的第二实施例的示意图。
图5为本发明深度信息产生器的第三实施例的示意图。
图6为本发明深度信息产生器的第四实施例的示意图。
图7为本发明深度信息产生器的第五实施例的示意图。
具体实施方式
在权利要求书及说明书中使用了某些词汇来指称特定的组件。所属领域中的技术人员应可理解,硬件制造商可能会用不同的名词来称呼同样的组件。本权利要求书及说明书并不以名称的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。在权利要求书及说明书中所提及的「包括」为开放式的用语,故应解释成「包括但不限定于」。另外,「耦接」一词在此包括任何直接及间接的电气连接手段。因此,若文中描述第一装置耦接于第二装置,则代表所述第一装置可直接电气连接于所述第二装置,或通过其他装置或连接手段间接地电气连接至所述第二装置。
图2为本发明广义的深度调整装置(depth adjustment apparatus)的一实施例的示意图。深度调整装置200包括深度信息产生器(depth informationgenerator)202以及视角合成块(view synthesizing block)204,其中深度信息产生器202包括(但并不局限于)接收电路(receiving circuit)206以及深度信息产生块(depth infprmation generating block)208。接收电路206用以接收多视角视频流(multi-view video stream)S_IN(例如,立体视频流(stereo video stream)),举例来说,多视角视频流S_IN传输分别对应于不同视角(view)的多个影像F_1、F_2、...及F_M。当多视角视频流S_IN为立体视频流时,上述不同视角的视角个数等于2,以及具有不同视角的多个影像F_1、F_2、...及F M因而会包括左眼影像以及右眼影像。举例来说(但本发明并不局限于此),接收电路206可包括缓冲装置(buffer device)(例如,动态随机存取存储装置)以缓冲由多视角视频流S_IN所传输的多个影像,并传输已缓冲的多个影像至下一处理级(例如,深度信息产生块208)以供进一步的处理。
深度信息产生块208用以依据所接收到的多个影像F_1~F_M,来产生多个深度信息输出(depth information output)DI_1~DI_N至视角合成块204。在本实施例中,深度信息产生块208并不会通过同时参照所接收到的具有不同视角的多个影像F_1~F_M的全部影像来产生深度信息输出,反而是多个深度信息输出DI_1~DI_N之中的至少一个深度信息输出通过仅处理所接收到的所述多个影像F_1~F_M的一部份来产生。举例来说,多个深度信息输出DI_1~DI_N其中之一通过仅对所接收到的所述多个影像F_1~F_M的一部份来进行处理所产生,以及多个深度信息输出DI_1~DI_N其中之另一则是通过仅对所接收到的所述多个影像F_1~F_M的另一部份来进行处理所产生。在一实施范例中,深度信息产生块208可采用单一视角(single-view)深度信息产生机制,以通过处理所接收到的影像F_1~F_M中的每一个影像来产生深度信息输出DI_1~DI_N中的每一个深度信息输出,其中具有不同视角的所接收到的多个影像F_1~F_M的个数等于多个深度信息输出DI_1~DI_N的个数。在多视角视频流S_IN为挟带左眼影像及右眼影像的立体视频流的情形下,由于所提出的多个深度信息输出DI_1~DI_N并未采用传统三维视频深度调整设计所使用的立体匹配技术,因此,可实现一种具有较少的存储器频宽耗费、较低的硬件成本及/或较低的计算复杂度的深度信息产生机制。
视角合成块204用以依据多个原始影像F_1~F_M及多个深度信息输出DI_1~DI_N来执行视角合成/影像绘图操作,并据以产生多个调整后影像(adjusted image)F_1’~F_M’,以进行具有调整后的使用者感知深度的视频播放。如图2所示,视角合成块204另接收深度调整参数(depth adjustmentparameter)P_ADJ,其用来对施加于使用者所感知到的深度的调整进行控制/调校。在多视角视频流S_IN为挟带左眼影像及右眼影像的立体视频流的情形下,当使用者观看利用显示左眼影像及右眼影像所呈现的三维视频输出时,使用者可通过他/她的观看偏好来适当地设定深度调整参数P_ADJ,以看到所要的三维视频深度,因此,当显示由视角合成块204所产生的调整后左眼影像及调整后右眼影像时,会产生具有所要的三维视频深度的调整后三维视频输出。请注意,视角合成块204可采用任何可用的视角合成/影像绘图机制来产生调整后影像F_1’~F_M’,举例来说,视角合成块204可参照深度/视差图以及影像来产生调整后影像;而在设计变化中,视角合成块204可参照多个深度/视差图以及影像来产生调整后影像。由于本发明着重于深度信息产生而不是视角合成/影像绘图,因此,关于视角合成块204的进一步说明,在此便不再赘述,以求简洁。
以下提供图2所示的深度信息产生器202的多个实施方式,以便更清楚地绘示出本发明的技术特征。为求清楚及简明,在此假设上述的多视角视频流S_IN为挟带交错的左眼影像及右眼影像的立体视频流(即左眼影像与右眼影像经由所述立体视频流来轮流传送出),因此,具有不同视角的多个影像F_1~F_M的个数等于2,以及多个影像F_1~F_M包括左眼影像FL以及右眼影像FR,然而,以上仅作为说明用,并非用来作为本发明的限制。
如图3所示,图3为本发明深度信息产生器的第一实施例。图2所示的深度信息产生器202可由图3所示的深度信息产生器300来加以实施。在本实施例中,深度信息产生器300包括接收电路302以及具有第一深度信息产生电路(depth information generating circuit)306的深度信息产生块304。如图3所示,接收电路302依序地接收左眼影像FL(作为所接收到的具有不同视角的多个影像的一部份)以及右眼影像FR(作为所接收到具有不同视角的多个影像的另一部份),以及依序地将所接收到的左眼影像FL及右眼影像FR输出至第一深度信息产生电路306。在本实施例中,第一深度信息产生电路306采用单一视角深度信息产生机制,其中所述单一视角深度信息产生机制可能会使用物件切割技术(object segmentation technique)、基于对比(contrast)/色彩信息、纹理/边缘(texture/edge)信息及/或移动(motion)信息的深度线索提取技术(depth cueextraction technique)或者前景/背景检测技术(foreground/background detectiontechnique)。此外,第一深度信息产生电路306以分时多工(time sharing)的方式来产生两个深度信息输出DI_R及DI_L,换言之,在接收左眼影像FL之后,第一深度信息产生电路306针对单一左眼影像FL进行单一视角深度信息产生操作,因而产生并输出深度信息输出DI_L;相似地,在接收右眼影像FR(紧接着左眼影像FL)之后,第一深度信息产生电路306针对单一右眼影像FR进行单一视角深度信息产生操作,因而产生并输出深度信息输出DI_R,其中深度信息输出DI_L及深度信息输出DI_R提供给后续的视角合成块204用。接着,视角合成块204可依据深度信息输出DI_L及左眼影像FL来产生调整后左眼影像(例如,多个调整后影像F_1’~F_M’其中之一),以及依据深度信息输出DI_R及右眼影像FR来产生调整后右眼影像(例如,多个调整后影像F_1’~F_M’其中之另一)。
如图4所示,图4为本发明深度信息产生器的第二实施例。图2所示的深度信息产生器202可由图4所示的深度信息产生器400来加以实施。在本实施例中,深度信息产生器400包括接收电路402以及深度信息产生块404,其中深度信息产生块404包括具有第一深度信息产生单元(depth information generatingunit)407_1及第二深度信息产生单元407_2的第一深度信息产生电路406。如图4所示,接收电路402依序地接收左眼影像FL(作为所接收到具有不同视角的多个影像的一部份)以及右眼影像FR(作为所接收到具有不同视角的多个影像的另一部份),接着,接收电路402分别将左眼影像FL输出至第一深度信息产生单元407_1,以及将右眼影像FR输出至第二深度信息产生单元407_2。在本实施范例中,第一深度信息产生单元407_1及第二深度信息产生单元407_2均采用单一视角深度信息产生机制,其中所述单一视角深度信息产生机制可能会使用物件切割技术、基于对比/色彩信息、纹理/边缘信息及/或移动信息的深度线索提取技术或者前景/背景检测技术。在接收左眼影像FL之后,第一深度信息产生单元407_1针对单一左眼影像FL进行单一视角深度信息产生操作,因而产生并输出深度信息输出DI_L;相似地,在接收右眼影像FR之后,第二深度信息产生单元407_2针对单一右眼影像FR进行单一视角深度信息产生操作,因而产生并输出深度信息输出DI_R。举例来说(但本发明并不局限于此),接收电路402可同时将所接收到的左眼影像FL传输至第一深度信息产生单元407_1以及将所接收到的右眼影像FR传输至第二深度信息产生单元407_2,因此,第一深度信息产生电路406允许以平行处理(parallel processing)的方式来处理左眼影像FL及右眼影像FR。此外,深度信息输出DI_L及深度信息输出DI_R提供给图2所示的后续视角合成块204用。接下来,视角合成块204可依据深度信息输出DI_L及左眼影像FL来产生调整后左眼影像(例如,多个调整后影像F_1’~F_M’其中之一),以及依据深度信息输出DI_R及右眼影像FR来产生调整后右眼影像(例如,多个调整后影像F_1’~F_M’其中之另一)。
如图5所示,图5为本发明深度信息产生器的第三实施例。图2所示的深度信息产生器可由图5所示的深度信息产生器500来加以实施出。深度信息产生器300与深度信息产生器500之间主要的差别在于:深度信息产生块504具有混合电路(blending circuit)506。在深度信息输出DI_L及DI_R由第一深度信息产生电路306依序地产生之后,混合电路506通过将深度信息输出DI_L及DI_R加以混合,来产生混合深度信息输出(blended depth information output)DI_LR。举例来说,混合深度信息输出DI_LR可以是深度信息输出DI_L及DI_R的平均值。然而,以上仅作为说明用,也就是说,在一设计变化中,将深度信息输出DI_L及DI_R加以混合所得到不同的混合结果,也可用来当作混合深度信息输出DI_LR。混合深度信息输出DI_LR提供给图2所示的后续的视角合成块204用。接下来,视角合成块204可依据混合深度信息输出DI_LR及左眼影像FL来产生调整后左眼影像(例如,多个调整后影像F_1’~F_M’其中之一),以及依据混合深度信息输出DI_LR及右眼影像FR来产生调整后右眼影像(例如,多个调整后影像F_1’~F_M’其中之另一)。
如图6所示,图6为本发明深度信息产生器的第四实施例。图2所示的深度信息产生器202可由图6所示的深度信息产生器600来加以实施。深度信息产生器400与深度信息产生器600之间主要的差别在于:深度信息产生块604具有混合电路606。在深度信息输出DI_L及DI_R分别由第一深度信息产生单元407_1及第二深度信息产生单元407_2产生之后,混合电路606通过将深度信息输出DI_L及DI_R加以混合,来产生混合深度信息输出DI_LR。举例来说,混合深度信息输出DI_LR可以是深度信息输出DI_L及DI_R的平均值,然而,以上仅作为说明用,也就是说,在一设计变化中,将深度信息输出DI_L及DI_R加以混合所得到不同的混合结果,也可用来当作混合深度信息输出DI_LR。混合深度信息输出DI_LR提供给图2所示的后续的视角合成块204用。接下来,视角合成块204可依据混合深度信息输出DI_LR及左眼影像FL来产生调整后左眼影像(例如,多个调整后影像F_1’~F_M’其中之一),以及依据混合深度信息输出DI_LR及右眼影像FR来产生调整后右眼影像(例如,多个调整后影像F_1’~F_M’其中之另一)。
如图7所示,图7为本发明深度信息产生器的第五实施例。图2所示的深度信息产生器202可由图7所示的深度信息产生器700来加以实施。深度信息产生器700包括接收电路702以及深度信息产生块704,其中深度信息产生块704包括上述的第一深度信息产生电路306/406、第二深度信息产生电路705以及混合电路706。除了提供所接收到的左眼影像FL及右眼影像FR给第一深度信息产生电路306/406之外,接收电路702同时将所接收到的左眼影像FL及右眼影像FR传输至第二深度信息产生电路705。在本实施例中,第二深度信息产生电路705通过处理所接收到具有不同视角的多个影像(即左眼影像FL及右眼影像FR)的全部影像,来产生深度信息输出DI_S,举例来说,第二深度信息产生电路705可采用传统的立体匹配技术来产生深度信息输出DI_S。
对于混合电路706来说,其用以依据由上述的第一深度信息产生电路306/406及第二深度信息产生电路705所产生的多个深度信息输出,来产生一个或多个混合深度信息输出。在第一设计范例中,混合电路706可通过将深度信息输出DI_L、DI_R及DI_S加以混合,来产生单一混合深度信息输出DI_SLR。在第二设计范例中,混合电路706可通过将深度信息输出DI_L及DI_S加以混合,来产生混合深度信息输出DI_SL,以及另将深度信息输出DI_R及DI_S加以混合,来产生另一混合深度信息输出DI_SR。在第三设计范例中,混合电路706可通过将深度信息输出DI_L及DI_S加以混合,来产生单一混合深度信息输出DI_SL。在第四设计范例中,混合电路706可通过将深度信息输出DI_R及DI_S加以混合,来产生单一混合深度信息输出DI_SR。
此外,混合深度信息输出提供给图2所示的后续的视角合成块204用。接下来,视角合成块204可依据混合深度信息输出、左眼影像FL及右眼影像FR来产生调整后左眼影像(例如,多个调整后影像F_1’~F_M’其中之一)以及调整后右眼影像(例如,多个调整后影像F_1’~F_M’其中之另一)。
在图3~图7所示的实施例中,第一深度信息产生电路306/406得以针对单一影像执行单一视角深度图产生(single-view depth map generation)操作来产生深度信息输出,因此,当视频输入为单一视角视频流(例如,二维视频流)而不是多视角视频流时,本发明所揭示的深度信息产生器也可用于二维至三维的转换(2D-to-3D conversion)。换言之,二维影像及由第一深度信息产生电路306/406通过处理所述二维影像所得到的深度信息输出,可被传输至后续的视角合成块204,接着,视角合成块204可产生对应于所述二维影像的左眼影像及右眼影像。因此,通过硬件共享技术(hardware sharing technique)来使本案所提出的深度信息产生器共享于三维视频深度调整电路(3D video depth adjustmentcircuit)与二维至三维转换电路(2D-to-3D conversion circuit)之间,有成本效益的设计(cost-efficient design)便得以实现。
以上所述仅为本发明的较佳实施方式,凡依本发明权利要求所做的均等变化和修饰,均应属本发明的涵盖范围。

Claims (23)

1.一种深度信息产生器,其特征在于,包括:
接收电路,用以接收多视角视频流,其中所述多视角视频流传输分别对应于不同视角的多个原始影像;以及
深度信息产生块,包括:
第一深度信息产生电路,耦接于所述接收电路,用以通过对所接收到的所述多个原始影像的一部份进行处理,来产生第一深度信息输出,以及用以通过对所接收到的所述多个原始影像的另一部份进行处理,来产生第二深度信息输出;以及
混合电路,耦接于所述第一深度信息产生电路,用以通过将至少所述第一深度信息输出及所述第二深度信息输出加以混合,来产生混合深度信息输出。
2.如权利要求1所述的深度信息产生器,其特征在于,所接收到的所述多个原始影像的所述部份仅包括对应单一视角的单一影像。
3.如权利要求1所述的深度信息产生器,其特征在于,所接收到的所述多个原始影像的所述部份仅包括对应第一视角的第一影像,以及所接收到的所述多个原始影像的所述另一部份仅包括对应第二视角的第二影像。
4.如权利要求1所述的深度信息产生器,其特征在于,所述接收电路依序地接收所述多个原始影像,并依序地将所接收到的所述多个原始影像的所述部份及所接收到的所述多个原始影像的所述另一部份输出至所述第一深度信息产生电路;以及所述第一深度信息产生电路以分时多工的方式来依序地产生所述第一深度信息输出及所述第二深度信息输出。
5.如权利要求1所述的深度信息产生器,其特征在于,所述第一深度信息产生电路包括:
第一深度信息产生单元,用以从所述接收电路接收所述多个原始影像的所述部份,并依据所接收到的所述多个原始影像的所述部份来产生所述第一深度信息输出;以及
第二深度信息产生单元,用以从所述接收电路接收所述多个原始影像的所述另一部份,并依据所接收到的所述多个原始影像的所述另一部份来产生所述第二深度信息输出。
6.如权利要求1所述的深度信息产生器,其特征在于,所述多视角视频流为立体视频流,以及所述多个原始影像包括左眼影像及右眼影像。
7.一种深度信息产生方法,其特征在于,包括:
接收多视角视频流,其中所述多视角视频流传输分别对应于不同视角的多个原始影像;
通过对所接收到的所述多个原始影像的一部份进行处理,来产生第一深度信息输出;
通过对所接收到的所述多个原始影像的另一部份进行处理,来产生第二深度信息输出;以及
通过将至少所述第一深度信息输出及所述第二深度信息输出加以混合,来产生混合深度信息输出。
8.如权利要求7所述的深度信息产生方法,其特征在于,所接收到的所述多个原始影像的所述部份仅包括对应单一视角的单一影像。
9.如权利要求7所述的深度信息产生方法,其特征在于,所接收到的所述多个原始影像的所述部份仅包括对应第一视角的第一影像,以及所接收到的所述多个原始影像的所述另一部份仅包括对应第二视角的第二影像。
10.如权利要求7所述的深度信息产生方法,其特征在于,接收所述多视角视频流的步骤包括:
依序地接收所述多个原始影像;以及
依序地输出所接收到的所述多个原始影像的所述部份及所接收到的所述多个原始影像的所述另一部份;
其中所述第一深度信息输出及所述第二深度信息输出为依序地产生。
11.如权利要求7所述的深度信息产生方法,其特征在于,
所述产生第一深度信息输出的步骤包括:
利用第一深度信息产生单元,从接收电路接收所述多个原始影像的所述部份,并依据所接收到的所述多个原始影像的所述一部份来产生所述第一深度信息输出;以及
所述产生第二深度信息输出的步骤包括:
利用第二深度信息产生单元,从所述接收电路接收所述多个原始影像的所述另一部份,并依据所接收到的所述多个原始影像的所述另一部份来产生所述第二深度信息输出。
12.如权利要求7所述的深度信息产生方法,其特征在于,所述多视角视频流为立体视频流,以及所述多个原始影像包括左眼影像及右眼影像。
13.一种深度信息产生器,其特征在于,包括:
接收电路,用以接收多视角视频流,其中所述多视角视频流传输分别对应于不同视角的多个原始影像;
深度信息产生块,耦接于所述接收电路,用以通过对所接收到的所述多个原始影像进行处理,来产生多个深度信息输出;以及
混合电路,耦接于所述深度信息产生块,用以通过将所述多个深度信息输出加以混合,来产生混合深度信息输出。
14.如权利要求13所述的深度信息产生器,其特征在于,所述多视角视频流为立体视频流,以及所述多个原始影像包括左眼影像及右眼影像。
15.一种深度调整装置,其特征在于,包括深度信息产生器和视角合成块,所述深度信息产生器包括接收电路以及深度信息产生块,
所述接收电路,用以接收多视角视频流,其中所述多视角视频流传输分别对应于不同视角的多个原始影像;
所述深度信息产生块包括第一深度信息产生电路以及混合电路,所述第一深度信息产生电路耦接于所述接收电路,用以对所接收到的所述多个原始影像的一部份进行处理,来产生第一深度信息输出,以及用以通过对所接收到的所述多个原始影像的另一部份进行处理,来产生第二深度信息输出;所述混合电路耦接于所述第一深度信息产生电路,用以通过将至少所述第一深度信息输出及所述第二深度信息输出加以混合,来产生混合深度信息输出;以及
所述视角合成块,用以依据所述多个原始影像及所述混合深度信息执行视角合成/影像绘图操作,以产生调整后影像。
16.如权利要求15所述的深度调整装置,其特征在于,所接收到的所述多个原始影像的所述部份仅包括对应单一视角的单一影像。
17.如权利要求15所述的深度调整装置,其特征在于,所接收到的所述多个原始影像的所述部份仅包括对应第一视角的第一影像,以及所接收到的所述多个原始影像的所述另一部份仅包括对应第二视角的第二影像。
18.如权利要求15所述的深度调整装置,其特征在于,所述接收电路依序地接收所述多个原始影像,并依序地将所接收到的所述多个原始影像的所述部份及所接收到的所述多个原始影像的所述另一部份,输出至所述第一深度信息产生电路;以及所述第一深度信息产生电路以分时多工的方式来依序地产生所述第一深度信息输出及所述第二深度信息输出。
19.如权利要求15所述的深度调整装置,其特征在于,所述第一深度信息产生电路包括:
第一深度信息产生单元,用以从所述接收电路接收所述多个原始影像的所述部份,并依据所接收到的所述多个原始影像的所述部份来产生所述第一深度信息输出;以及
第二深度信息产生单元,用以从所述接收电路接收所述多个原始影像的所述另一部份,并依据所接收到的所述多个原始影像的所述另一部份来产生所述第二深度信息输出。
20.如权利要求15所述的深度调整装置,其特征在于,所述多视角视频流为立体视频流,所述多个原始影像包括左眼影像及右眼影像,以及所述调整后影像包括调整后左眼影像及调整后右眼影像。
21.一种深度信息产生器,其特征在于,包括:
接收电路,用以接收多视角视频流,其中所述多视角视频流传输分别对应于不同视角的多个原始影像;以及
深度信息产生块,包括:
第一深度信息产生电路,耦接于所述接收电路,用以通过对所接收到的所述多个原始影像的一部份进行处理,来产生第一深度信息输出;
第二深度信息产生电路,耦接于所述接收电路,用以通过对所接收到的所述多个原始影像的全部影像进行处理,来产生第二深度信息输出;以及
混合电路,耦接于所述第一深度信息产生电路及所述第二深度信息产生电路,用以通过将至少所述第一深度信息输出及所述第二深度信息输出加以混合,来产生混合深度信息输出。
22.一种深度信息产生方法,其特征在于,包括:
接收多视角视频流,其中所述多视角视频流传输分别对应于不同视角的多个原始影像;
通过对所接收到的所述多个原始影像的一部份进行处理,来产生第一深度信息输出;
通过对所接收到的所述多个原始影像的全部影像进行处理,来产生第二深度信息输出;以及
通过将至少所述第一深度信息输出及所述第二深度信息输出加以混合,来产生混合深度信息输出。
23.一种深度调整装置,其特征在于,包括深度信息产生器和视角合成块,所述深度信息产生器包括接收电路以及深度信息产生块,
所述接收电路,用以接收多视角视频流,其中所述多视角视频流传输分别对应于不同视角的多个原始影像;
所述深度信息产生块包括:
第一深度信息产生电路,耦接于所述接收电路,用以对所接收到的所述多个原始影像的一部份进行处理,来产生第一深度信息输出;
第二深度信息产生电路,耦接于所述接收电路,用以通过对所接收到的所述多个原始影像的全部影像进行处理,来产生第二深度信息输出;以及
混合电路,耦接于所述第一深度信息产生电路及所述第二深度信息产生电路,用以通过将至少所述第一深度信息输出及所述第二深度信息输出加以混合,来产生混合深度信息输出;以及
所述视角合成块,用以依据所述多个原始影像及所述混合深度信息执行视角合成/影像绘图操作,以产生调整后影像。
CN201210012429.3A 2011-03-18 2012-01-16 深度信息产生器、深度信息产生方法及深度调整装置 Expired - Fee Related CN102685523B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161454068P 2011-03-18 2011-03-18
US61/454,068 2011-03-18
US13/237,949 2011-09-21
US13/237,949 US20120236114A1 (en) 2011-03-18 2011-09-21 Depth information generator for generating depth information output by only processing part of received images having different views, and related depth information generating method and depth adjusting apparatus thereof

Publications (2)

Publication Number Publication Date
CN102685523A CN102685523A (zh) 2012-09-19
CN102685523B true CN102685523B (zh) 2015-01-21

Family

ID=46828127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210012429.3A Expired - Fee Related CN102685523B (zh) 2011-03-18 2012-01-16 深度信息产生器、深度信息产生方法及深度调整装置

Country Status (3)

Country Link
US (1) US20120236114A1 (zh)
CN (1) CN102685523B (zh)
TW (1) TWI520569B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103986923B (zh) * 2013-02-07 2016-05-04 财团法人成大研究发展基金会 影像立体匹配系统
US9177245B2 (en) 2013-02-08 2015-11-03 Qualcomm Technologies Inc. Spiking network apparatus and method with bimodal spike-timing dependent plasticity
CN103543835B (zh) * 2013-11-01 2016-06-29 英华达(南京)科技有限公司 一种lcd显示视角的调节方法、装置和系统
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9848112B2 (en) 2014-07-01 2017-12-19 Brain Corporation Optical detection apparatus and methods
US10057593B2 (en) * 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US10032280B2 (en) 2014-09-19 2018-07-24 Brain Corporation Apparatus and methods for tracking salient features
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
WO2017101108A1 (en) * 2015-12-18 2017-06-22 Boe Technology Group Co., Ltd. Method, apparatus, and non-transitory computer readable medium for generating depth maps
US10902556B2 (en) * 2018-07-16 2021-01-26 Nvidia Corporation Compensating for disparity variation when viewing captured multi video image streams
TWI784482B (zh) * 2020-04-16 2022-11-21 鈺立微電子股份有限公司 多深度資訊之處理方法與處理系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101330632A (zh) * 2008-07-25 2008-12-24 浙江大学 一种立体电视系统中虚拟视点图像绘制的方法
CN101697597A (zh) * 2009-11-07 2010-04-21 福州华映视讯有限公司 产生3d影像的方法
CN101945295A (zh) * 2009-07-06 2011-01-12 三星电子株式会社 生成深度图的方法和设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE382919T1 (de) * 2004-02-17 2008-01-15 Koninkl Philips Electronics Nv Erzeugen einer tiefenkarte
ATE510668T1 (de) * 2005-01-18 2011-06-15 M & G Polimeri Italia Spa Unterteiltes pellet für verbesserte kontaminantenentfernung
JP4283785B2 (ja) * 2005-05-10 2009-06-24 株式会社マーキュリーシステム 立体視画像生成装置およびプログラム
WO2009011492A1 (en) * 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
KR101420681B1 (ko) * 2008-02-01 2014-07-17 한국과학기술원 비디오 영상의 깊이 지도 생성 방법 및 장치
US8855199B2 (en) * 2008-04-21 2014-10-07 Nokia Corporation Method and device for video coding and decoding
WO2010048632A1 (en) * 2008-10-24 2010-04-29 Real D Stereoscopic image format with depth information
WO2010070568A1 (en) * 2008-12-19 2010-06-24 Koninklijke Philips Electronics N.V. Creation of depth maps from images
KR20110126518A (ko) * 2009-02-19 2011-11-23 파나소닉 주식회사 기록매체, 재생장치 및 집적회로
EP2416581A4 (en) * 2009-03-30 2014-03-12 Panasonic Corp RECORDING MEDIUM, PLAYING DEVICE AND INTEGRATED CIRCUIT
WO2011036761A1 (ja) * 2009-09-25 2011-03-31 株式会社東芝 多視点画像生成方法および装置
US20110211634A1 (en) * 2010-02-22 2011-09-01 Richard Edwin Goedeken Method and apparatus for offset metadata insertion in multi-view coded view
WO2011105814A2 (ko) * 2010-02-23 2011-09-01 삼성전자 주식회사 다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치
JP5227993B2 (ja) * 2010-03-31 2013-07-03 株式会社東芝 視差画像生成装置、及びその方法
JP5682149B2 (ja) * 2010-06-10 2015-03-11 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
GB2483434A (en) * 2010-08-31 2012-03-14 Sony Corp Detecting stereoscopic disparity by comparison with subset of pixel change points
CN102404583A (zh) * 2010-09-09 2012-04-04 承景科技股份有限公司 三维影像的深度加强系统及方法
KR20120042313A (ko) * 2010-10-25 2012-05-03 삼성전자주식회사 입체영상표시장치 및 그 영상표시방법
EP2661881A4 (en) * 2010-12-29 2016-10-12 Nokia Technologies Oy CODING OF DISPARITY CARD
US20140184744A1 (en) * 2011-08-26 2014-07-03 Thomson Licensing Depth coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101330632A (zh) * 2008-07-25 2008-12-24 浙江大学 一种立体电视系统中虚拟视点图像绘制的方法
CN101945295A (zh) * 2009-07-06 2011-01-12 三星电子株式会社 生成深度图的方法和设备
CN101697597A (zh) * 2009-11-07 2010-04-21 福州华映视讯有限公司 产生3d影像的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
图1-2,4. *
图4. *
说明书第2页第7段,第3页第7段 *

Also Published As

Publication number Publication date
CN102685523A (zh) 2012-09-19
TWI520569B (zh) 2016-02-01
TW201240440A (en) 2012-10-01
US20120236114A1 (en) 2012-09-20

Similar Documents

Publication Publication Date Title
CN102685523B (zh) 深度信息产生器、深度信息产生方法及深度调整装置
US8780111B2 (en) 3D display apparatus and method for processing image using the same
CN101651841B (zh) 一种立体视频通讯的实现方法、系统和设备
WO2012176431A1 (ja) 多視点画像生成装置、多視点画像生成方法
KR20110044573A (ko) 디스플레이장치 및 그 영상표시방법
KR20120049997A (ko) 영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들
US20130182078A1 (en) Stereoscopic image data creating device, stereoscopic image data reproducing device, and file management method
KR20140041489A (ko) 스테레오스코픽 이미지의 동시적인 스테레오스코픽 및 모노스코픽 디스플레이를 가능하게 하기 위한 스테레오스코픽 이미지의 자동 컨버전
CN102932662A (zh) 单目转多目的立体视频生成方法、求解深度信息图以及生成视差图的方法
CN102970561A (zh) 视频处理装置以及视频处理方法
US9258546B2 (en) Three-dimensional imaging system and image reproducing method thereof
KR20170055930A (ko) 3d 디스플레이 시스템에서 입체 이미지 디스플레이 방법 및 장치
CN103167311A (zh) 视频处理装置、视频处理方法和记录介质
JP6207640B2 (ja) 2次元映像の立体映像化表示装置
CN104168469A (zh) 立体影像预览装置以及立体影像预览方法
US20120163700A1 (en) Image processing device and image processing method
CN103813148A (zh) 三维立体显示装置及其方法
CN102932663B (zh) 一种立体显示方法、系统及立体显示设备
CN102780900A (zh) 一种多人多视角立体显示器影像显示方法
JP2012134885A (ja) 画像処理装置及び画像処理方法
Salman et al. Overview: 3D Video from capture to Display
CN103974054A (zh) 一种单设备输出双通道视音频的方法
KR20130112679A (ko) 3d 디스플레이 장치 및 그 영상 처리 방법
JP2014053782A (ja) 立体画像データ処理装置、および、立体画像データ処理方法
KR101433082B1 (ko) 2차원 영상과 3차원 영상의 중간 정도 느낌을 주는 영상 변환 및 재생 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150121

Termination date: 20200116