CN104871533A - 用于显示立体影像的装置和方法 - Google Patents

用于显示立体影像的装置和方法 Download PDF

Info

Publication number
CN104871533A
CN104871533A CN201280077922.1A CN201280077922A CN104871533A CN 104871533 A CN104871533 A CN 104871533A CN 201280077922 A CN201280077922 A CN 201280077922A CN 104871533 A CN104871533 A CN 104871533A
Authority
CN
China
Prior art keywords
image
depth
stereopsis
border
borderline region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280077922.1A
Other languages
English (en)
Inventor
宋建平
杜琳
许延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN104871533A publication Critical patent/CN104871533A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

所公开的本发明的一个方面与立体显示装置相关,所述立体显示装置包括:立体影像获取单元,该立体影像获取单元被配置为获取针对第一影像的第一立体影像和针对第二影像的第二立体影像;边界生成单元,该边界生成单元被配置为生成用于将第一影像与第二影像分离的边界;以及显示单元,该显示单元被配置为将第二立体影像和所生成的边界与第一立体影像进行组合,并显示所组合的立体影像。

Description

用于显示立体影像的装置和方法
技术领域
所公开的发明一般地涉及显示内容,并且更具体地,涉及能够同时在显示器上展示多个三维影像的画中画显示技术。
背景技术
在具有二维(2D)的画中画(picture in picture)(在下文中简称为PIP)功能的传统显示装置中,来自于多个源的输入信号被分别输出至显示装置的多个区域,或者被处理为PIP信号,该PIP信号随后被输出至显示装置,通过该显示装置用户能够在单个屏幕上同时观看多个影像。
例如,当用户在他的大屏幕电视机(TV)上观看篮球比赛时,他可能同时需要知道另一场足球比赛的进度。然后电视机系统可以在电视机的单个屏幕上显示这两个节目。然而,篮球比赛的视图占用了屏幕的较大部分或者甚至整个屏幕,以致用户能够观看更多细节,同时足球比赛显示于屏幕右下角上的较小窗口中,该窗口位于篮球比赛的显示区域的旁边或内部。这里,篮球比赛的视图为主影像,而足球比赛的视图为次影像(sub-image)。
图1示出了由电视机以2D PIP模式提供的影像。在图1中,主影像102和次影像103以2D PIP模式被同时显示的电视机101上。这一PIP功能可以满足用户在单个屏幕上同时观看多个影像的需求。
为了追求更为逼真的视觉效果,最近已经开发了各种立体显示技术,诸如空间复用偏振类型的立体显示技术(需要偏振眼镜)、时间复用光阀类型的立体显示技术(需要光阀眼镜)、不需要任何立体眼镜的多视点立体显示技术等。前面提到的立体显示技术都基于人类眼睛的立体视觉原理,且作出努力以提高显示硬件和影像处理软件,以致用于通过左眼观看的影像进入观看者的左眼,并且用于通过右眼观看的影像进入观看者的右眼,从而在观看者的大脑中生成立体图像。
3D立体显示的基本思想出现于19世纪。因为我们的两个眼睛在我们的头部相距大约6.5cm,每只眼睛看到我们正观看的场景的视图的略微不同的角度,且提供了不同的视角。基于通过我们的眼睛观察到的两个视图,我们的大脑然后能够创建处于场景内部的深度的感觉。
图2示出了3D立体显示的示例性的概念图解。在这一图解中,Z代表被感知的物体的深度方向,且D代表到屏幕的距离。存在四个物体,汽车、柱子、树和盒子。汽车被感知为在屏幕的前面,柱子被感知为在屏幕上,树被感知为在屏幕的后面,且盒子被感知为在无穷远的距离处。大部分现代的3D显示基于3D立体概念而被建立,最大的不同在于如何将两个视图分别分离至左眼和右眼。
然而,如果观看者在观看3D显示器上的3D内容时向前或向后移动,给定点的被感知的深度将变小或变大,如图3中所感知的点P1和P2所示,其中,点P1和P2与针对3D显示器上被相同显示的立体点PL和PR的观看位置1和2相对应。因此,在许多技术文档中,为了更加准确的描述,视差(即,PL和PR之间的距离)被用来代替深度。然而,为了更容易理解,在许多情形下,仍然使用深度。
对相关技术,查阅Marco Accame和Francesco De Natale的“基于自适应大小分层块匹配的用于立体序列的视差估计(Disparity estimation forstereo sequences based on adaptive size hierarchical block matching)”(Proceedings of the 8th International Conference,ICIAP’95San Remo,Italy,9月13-15,1995),与Hongshi Yan和Jian Guo Liu的“基于鲁棒相位相关的亚像素的视差估计(robust phase correlation based sub-pixel disparityestimation)”(4th SEAS DTC Technical Conference-Edinburgh 2009)。
发明内容
当直接地将传统的2D PIP技术应用于立体显示装置时,存在一些问题。一个问题是观看者易于混淆主影像的内容和次影像的内容,尤其对于邻近于这两个影像之间的边界的内容。另一个问题是观看者不能观看到邻近于这两个影像之间的边界的一些内容的立体视图。
为了克服上面提到的问题,本发明的一个目标是提供用于在2D PIP模式中显示立体视图的一些技术。
被公开的本发明的一个方面与立体显示装置相关,该装置包括:立体影像获取单元,该立体影像获取单元被配置为获取对于第一影像的第一立体影像和对于第二影像的第二立体影像;边界生成单元,该边界生成单元被配置为生成用于将第一影像与第一影像分离的边界;以及显示单元,该显示单元被配置为将第二立体影像和生成的边界与第一立体影像进行组合,并显示被组合的立体影像。
被公开的本发明的另一方面与用于显示立体影像的方法相关,该方法包括:获取对于第一影像的第一立体影像和对于第二影像的第二立体影像;生成用于将第一影像与第一影像分离的边界;将第二立体影像和生成的边界与第一立体影像进行组合,并显示被组合的立体影像。
简要附图说明
图1示出了由电视机以2D PIP模式提供的影像;
图2示出了3D立体显示的示例性概念图解;
图3示出了从不同距离观看的不同的3D深度值的示例性图解;
图4A和图4B示出了主影像和次影像的示例性布置;
图5A和图5B示出了在主影像和次影像之间所提供的示例性边界;
图6示出了根据本发明的一个实施例的立体显示装置的示例性布置;
图7示出了根据本发明的一个实施例,示出用于显示立体影像的示例性方法的流程图;
图8示出了根据本发明的一个实施例,示出用于显示立体影像的示例性方法的流程图;
图9示出了在像素的深度和其坐标之间的示例性线性映射;
图10A和图10B示出了边界的部分水平地分离两个图像的示例性情形;
图11示出了根据本发明的一个实施例,示出用于显示立体影像的示例性方法的流程图;
图12示出了根据本发明的一个实施例的示例性立体视图;
图13A和图13B示出了根据本发明的一个实施例的立体视图的左视图和右视图;
图14A-图14D示出了根据本发明的一个一个实施例的立体视图的左视图和右视图;以及
图15示出了根据本发明的一个实施例,示出用于显示立体影像的示例性方法的流程图。
实施本发明的实施例
现将参考附图,对本发明的某些示例性实施例进行更加详细的描述。接下来的描述不被采用为限制性的意义,而是仅用于描述示例性实施例的一般原理的目的。
在接下来的描述中,相同的参考标号被用于相同的元件,即使在不同的附图中。描述中被定义的主题(诸如详细的结构和元件)被提供以有助于对本发明的全面理解。因此,显然本发明的示例性实施例可以无需具体定义的题材而被执行。同样,公知的结构、材料或操作不被详细示出或描述,以避免使本发明的方面变得晦涩。
贯穿这一说明书的指代“一个实施例”、“实施例”或类似的语言,意指结合实施例所描述的特定特征、结构或特性被包括于本发明的至少一个实施例中。因此,贯穿于这一说明书的短语“在一个实施例中”、“在实施例中”以及类似的语言的出现可以,但不一定,都指代相同的实施例。
在传统的2D PIP应用中,多个图像被显示为画中画或者画邻画(picture by picture),如图4所示。在图4A中,次影像202被显示于主影像201的显示区域内,且次影像203被显示于主影像201的显示区域的右下角。在图4B中,主影像211、次影像212和次影像213被并肩(sideby side)地显示。
当直接地将这样的传统2D PIP技术应用于立体显示装置时,存在一些问题。一个问题是,对观看者而言,区分3D空间中主影像和次影像之间的内容是困难的,尤其对于这两个影像的边界处的内容。
在本发明的一个实施例中,附加边界被添加以分离这两个影像。如图5A中所示,附加边界312被用于分离主影像301和次影像302。该边界应当足够宽,以使得观看者能够容易地区分次影像302中的内容与主影像301中的内容。边界312可以为任意颜色,或者颜色的组合,或者一条图片。
在本发明的一个实施例中,2D边界可以被使用。在本发明的其它实施例中,3D边界可以被使用。在一个实施例中,3D边界的深度可以为常数。在本发明的一个实施例中,3D边界的深度可以根据邻近于该边界的内容的深度而动态地改变。
下面对根据本发明的实施例的立体显示装置进行详细描述。在以下的实施例中,附加边界被添加以分离两个影像(第一影像和第二影像),以使得观看者可以容易地区分3D空间中的第一影像和第二影像之间的内容。第一影像可以作为主影像,且第二影像可以作为PIP显示模式中的次影像。立体显示装置可以为电视机、个人计算机、智能手机、平板计算机或包括用于显示数据或信息的显示设备的任何其他装置。
图6示出了根据本发明的一个实施例的立体显示装置的示例性布置。
参考图6,立体显示装置100包括立体影像获取单元110、边界生成单元120和显示单元130。
立体影像获取单元110从内部源或外部源115获取针对第一影像的第一立体影像和针对第二影像的第二立体影像。典型地,第一影像和第二影像可以分别作为PIP模式中的主影像和次影像。在3D显示中,立体影像获取单元110可以进一步地一并获取针对这些立体影像的深度信息或深度图(map)。
边界生成单元120生成用于将第一影像与第二影像分离的边界。在一个实施例中,边界生成单元120包括边界区域确定单元121和边界深度确定单元122。
边界区域确定单元121确定包括邻近于边界的内容的边界区域。边界区域具有边界周围的像素的宽度。例如,边界区域可以包括第一立体影像和第二立体影像中邻近于该边界的预定数目的像素。换言之,边界区域包括第一立体影像中的一些像素、边界本身和第二立体影像中的一些像素。
边界深度确定单元122基于各个像素的坐标和边界区域中的像素的深度范围,通过确定边界区域中的像素的深度,生成具有深度信息的边界区域。通过利用具有深度信息的边界区域,立体显示装置100可以(例如,通过显示像具有深度和高度的墙的边界)三维地显示边界。
显示单元130将第二立体影像和所生成的边界与第一立体影像进行组合,并在显示设备135上显示被组合的立体影像。
图7示出了根据本发明的一个实施例,描述用于显示立体影像的示例性方法的流程图。
参考图7,在步骤101,立体影像获取单元110从内部或外部源获取针对第一影像的第一立体影像。
在步骤102,立体影像获取单元110从内部或外部源获取针对第二影像的第二立体影像。
在步骤103,边界生成单元120在PIP模式中生成用于将第二影像与第一影像分离的边界。该边界可以是边界本身,或者可以包括如上所述的边界区域。
在步骤104,显示单元130将第一影像、第二影像与边界或边界区域进行组合。例如,显示单元130可以将第二影像和边界或边界区域添加至第一影像中的预定位置上。
在步骤105,显示单元130在显示设备上显示被组合的立体影像。
参照图8-图10对根据本发明的另一实施例的立体显示装置进行描述。在这一实施例中,使用具有基于第一影像和第二影像中的邻近内容的深度而动态改变的深度的3D边界。
图8为示出了根据本发明的一个实施例,用于动态改变3D边界的深度的示例性方法的流程图。
在步骤401,针对主影像和次影像二者的立体影像被获取。对影像内容,它们可以是用于左眼视图和右眼视图的影像对。对计算机图形,3D模式和渲染方法(包括相机间隔和焦距)被获取。然后,邻近于主影像和次影像之间的边界的内容被确定。如图5B中所示,在邻近于边界312的主影像301中的内容311和次影像302中的内容313之间的窄或宽的区域被确定。例如,内容311可以被确定为主影像301中离边界312预定数目的像素的厚度向外环绕边界312的外侧区域。内容313可以被确定为次影像302中离边界312预定数目的像素的厚度向内环绕边界312的内侧区域。在这种情形下,狭窄区域可以被确定为由内容311、边界312、和内容313组成的区域。同样,例如,依赖于显示器的大小和/或内容311和313的相似度,内容311和313的厚度可以被动态确定。同样,内容311和313的厚度可以通过用户的操作而被调整。如果用户不能成功地区分主影像301和次影像302,则内容311和313的厚度可以被设置为更大。然而,根据本发明确定狭窄区域不限于此,且可以应用任何其他适当的确定方法。
在步骤402,在主影像301和次影像302二者中邻近于边界312的内容311和313的深度图被获取。深度图可以以任何适当的传统方法来获取。对影像的内容,可以在捕获的时候记录每一个像素的深度。如果立体影像对已被获取且缺少深度信息,则在现有技术中存在几种已有的方法来获取这一深度图,包括块匹配和相位相关。对于利用计算机图形生成的内容,基于3D模型和渲染方法的知识,深度图可以通过解析计算被获取。
在步骤403,邻近于边界的内容311和313的深度范围被计算。如图9中所示,该深度范围指示了邻近于边界312的内容311和313的最小深度dmin和最大深度dmax
在步骤404,基于该深度范围,边界312的深度图被确定。存在许多确定边界312的深度图的方法。图9示出了在像素的坐标和深度之间的线性映射的示例。图10A和图10B示出了边界610的部分水平地分离了两个影像的情形。对将主影像601和次影像602水平地分离的边界610上的像素620,像素620的深度d可以通过它的x坐标x被计算,如下述公式:
d - d min d max - d min = x - x min x max - x min - - - ( 1 )
这里,xmin和xmax分别为水平线630上的像素的最小x坐标和最大x坐标,且dmin和dmax分别为在步骤403获取的深度范围中最小深度值和最大深度值。在立体显示中,如图10B所示,边界610的部分将看起来像是两个影像之间的墙,这将避免观看者将主影像601的内容与次影像602的内容混淆。
在步骤405,根据在步骤404获得的深度图,渲染和显示对观看者而言看起来像墙的附加边界。
参照图11-图12对根据本发明的另一实施例的立体显示装置进行描述。在这一实施例中,次影像的深度被动态调整,以确保在次影像周围的主影像的所有像素总是在邻近于边界的次影像的像素的后面或前面。结果,这两个影像的边界上存在明显的深度改变,以使得观看者不会将一个影像的内容与另一个影像的内容相混淆。
在该实施例中,不是提供这样的附加边界来将两个图像分离,而是在本发明的一些实施例中,次影像602的深度被动态调整,以确保次影像602周围的主影像601的所有像素总是在邻近于边界610的次影像602的像素的后面或前面。结果,这两个影像的边界610上存在明显的深度改变,以使得观看者不会将一个影像的内容与另一个影像的内容相混淆。
图11示出了根据本发明的另一个实施例,用于动态改变3D边界的深度的示例性方法的流程图。
参考图11,在步骤701,针对主影像和次影像二者的立体影像分别被获取。对影像的内容,它们可以为针对左眼视图和右眼视图的影像对。针对计算机图形,3D模型和渲染方法(包括相机间隔和焦距)被获取。然后,邻近于主影像和次影像之间的边界的内容被分别确定。如图12中所示,主影像801中的内容811和次影像802中的内容813的狭窄区域被确定。
在步骤702,用于两个影像的边界区域的内容811和813的深度图被分别获取。对影像的内容,每一个像素的深度可以在捕获的时候被记录。如果立体影像对已被捕捉且缺少深度信息,在现有技术中存在多种现有方法来获取深度图,包括块匹配和相位相关。对利用计算机图形生成的内容,基于3D模型和渲染方法的知识,深度图可以通过解析计算被获取。
在步骤703,两个影像的边界区域的内容811和813的深度范围分别被计算。主影像801的边界区域的深度范围由最小深度dmain_min和最大深度dmain_max来定义,且次影像801的边界区域的深度范围由最小深度dsub_min和最大深度dsub_max来定义。
然后,在步骤704,基于深度差值的阈值dthreshold,深度调整量δ被确定。深度差值的阈值dthreshold确保次影像802在一定程度上位于主影像801的前面或后面。深度差值的阈值dthreshold可以由用户输入或由系统预先定义。
在次影像802被设计为位于主影像801的前面的情形中,深度调整量δ可以通过以下公式来计算:
δ=dmain_max+dthreshold-dsub_min(如果dmain_max+dthreshold>dsub_min)
或者δ=0   (如果dmain-max+dthreshold<dsub_min)
在次影像802被设计为位于主影像801的后面的情形中,深度调整量δ可以通过以下公式来计算:
δ=dsub_max-dmain_min+dthreshold(如果dmain_min-dthreshold≤dsub-max)
或者δ=0   (如果dmain_min-dthreshold>dsub_max)
在步骤705,次影像802的深度被调整。在次影像802被设计为位于主影像801的前面的情形中,次影像802的每一个像素的深度将被增加深度调整量δ。在次影像802被设计为位于主影像801的后面的情形中,次影像802的每一个像素的深度将被增加深度调整量δ。
然后,在步骤706,主影像801和被调整的次影像802将被渲染和显示。
参照图13-图15对根据本发明的另一个实施例的立体显示装置进行描述。在这一实施例中,次影像中的一些像素被主影像中的像素隐藏,以致通过将邻近于两个影像之间的边界的内容的更为立体的视图提供给观看者来改善视觉效果。当直接地将传统的2D PIP技术应用于立体显示装置时,另一个主要问题是观看者不能观看邻近于两个影像的边界的一些内容的立体视图。
图13A和图13B分别示出了3D场景的左眼影像和右眼影像。主影像901中的矩形物体的左视图911在左眼影像中被示出。然而,主影像901中的矩形物体的右视图912在右眼影像中的次影像902的显示区域内部。在无次影像902时,矩形物体的左视图911和右视图912将分别由观看者的左眼和右眼进行观看。结果是,矩形物体的立体视图将在观看者的大脑中生成,且观看者将看到矩形物体沉入屏幕中。当次影像902被显示时,观看者仅能够通过他的左眼观看矩形物体的左视图。因此,观看者不能看到矩形物体的立体视图。观看者将看到矩形物体只是在屏幕上,而非陷入屏幕中。
当物体的左视图被次影像901遮挡时,相同的问题将会发生。如图13A所示,圆形物体的左视图921在次影像902的显示区域内。在无次影像902时,圆形物体的左视图921和右视图922将分别被观看者的左眼和右眼观看到。结果是,圆形物体的立体视图将在观看者的大脑中生成,且观看者将观看到圆形物体位于屏幕外。当次影像被显示时,观看者仅能够通过他的右眼观看到圆形物体的右视图。因此,观看者将不能看到圆形物体的立体视图。观看者将看到圆形物体只是在屏幕上,而非位于屏幕外。
为了追求更为逼真的视觉效果,在本发明的这一实施例中,使用降低邻近于边界的主影像的内容的立体视觉损失的方法。该方法对邻近于主影像和次影像之间的边界的内容进行处理,且决定每一个像素的哪一个视图应当被忽略并且将不被显示。
如图14B所示,主影像1001中的矩形物体的右视图1012被次影像1002遮挡,且在图14C中,次影像1002中的三角形物体的左视图1021在捕获或预处理过程中被删除,因为其在范围以外。因此,观看者将不会看到矩形物体和三角形物体二者的立体视图。然而,如果系统发现主影像1001的矩形物体的右视图1012被显示于与次影像1002的三角形物体的右视图1022相同的屏幕位置,则系统在次影像1002的显示区域内显示主影像1001的矩形物体的右视图1012的同时,将忽略次影像1002的三角形物体的右视图1022。因此,观看者将不会看到三角形物体的任何视图。然而,观看者能够看到矩形物体的左视图和右视图二者。结果,三角形物体被隐藏,而矩形物体的立体视图被观看者观看到。三角形物体位于次影像1002的边缘处,且次影像1002的解析度通常很低。因此,三角形物体的丢失对观看者的视觉效果影像很小。然而,矩形物体位于主影像1001的中心处,这里通常被定位为感兴趣区域(ROI),且主影像1001的解析度通常很高。因此,对矩形物体的立体视觉进行修复将显著提升观看者的视觉效果。
图15为根据本发明的一个实施例的示例性方法的流程图。
参考图15,在步骤1101,对主影像1001的左视图和右视图中的每一个,邻近于主影像1001和次影像1002之间的边界的像素pm1被获取。
然后,在步骤1102,在主影像1001的第二视图中,系统查找像素pm1的匹配像素pm2。在现有技术中,存在多种搜索匹配像素pm2的方法。如果匹配像素pm2未被发现,则系统继续处理邻近于边界的主影像1001的其它像素。另外,系统将检查这两个像素的一个是否位于次影像1002的显示区域内,而另一个不在次影像1002的显示区域内。如果系统在步骤1103发现在第一视图内的像素pm1不在次影像1002的显示区域内,同时第二视图内的匹配像素pm2位于其内,则在步骤1104,次影像1002的第二视图中位于与像素pm2相同位置的像素ps2将被获取。
然后,在步骤1105,系统将在次影像1002的第一视图中查找像素ps2的匹配像素ps1。如果次影像1002的第一视图中不存在像素ps2的匹配像素ps1,那么在步骤1106,系统在显示像素pm2的同时,将忽略像素ps2。换言之,像素ps2被像素pm2隐藏。
在另一方面,如果系统在步骤1107发现第一视图中的像素pm1在次影像1002的显示区域内,而第二视图中的匹配像素pm2不在其内,则在步骤1108,则在次影像1102的第一视图中位于与像素pm1相同位置的像素ps1将被获取。
然后,在步骤1109,系统将在次影像1002的第二视图中查找像素ps1的匹配像素ps2。如果次影像的第二视图中不存在像素ps1的匹配像素ps2,则在步骤1110,系统在显示像素pm1的同时,将忽略像素ps1。换言之,像素ps1被像素pm1隐藏。
本发明已针对具体的实施例进行了描述,但是实施例为简单的说明性,且变形、修改、改变和替换可以被本领域的那些技术人员实现。在上面的说明书中,一些具体的数字值被用于更好地理解本发明。然而,除非具体指示,这些数字值为简单的说明性,且任何其它适当的值可以被使用。实施例或项目的分离对本发明并非是必要的,且必要时,两个或更多个实施例或项目可以被组合。替代地,项目可以被应用于另一个项目(如果并非不一致)。为了便于解释,根据实施例的立体显示装置已参考功能性框图进行了描述,但是立体显示装置可以被实现于硬件、软件、或它们的组合中。软件可以被存储于任何适当的存储介质中,诸如RAM(随机访问存储器)、闪速存储器、ROM(只读存储器)、EPROM、EEPROM、寄存器、硬盘驱动器(HDD)、可移除盘、CD-ROM、数据库和服务器。
本发明不限于上述实施例,且变形、修改、改变和替换可以被本领域的那些技术人员在不脱离本发明的精神的情况下作出。

Claims (11)

1.一种立体显示装置,包括:
立体影像获取单元,该立体影像获取单元被配置为获取针对第一影像的第一立体影像和针对第二影像的第二立体影像;
边界生成单元,该边界生成单元被配置为生成用于将所述第一影像与所述第二影像分离的边界;以及
显示单元,该显示单元被配置为将所述第二立体影像和生成的所述边界与所述第一立体影像进行组合,并显示所组合的立体影像。
2.如权利要求1所述的立体显示装置,其中所述边界生成单元还包括边界区域确定单元,该边界区域确定单元被配置为确定边界区域,所述边界区域包括邻近于所述边界的内容,所述边界区域包括邻近于所述边界的所述第一立体影像和所述第二立体影像中的预定数目的像素。
3.如权利要求2所述的立体显示装置,其中所述边界生成单元还包括边界深度确定单元,该边界深度确定单元被配置为:基于所述边界区域中的所述像素的深度范围和所述各个像素的坐标,通过确定所述边界区域中的像素的深度来生成具有深度信息的所述边界区域。
4.如权利要求3所述的立体显示装置,其中所述边界深度确定单元根据如下公式来确定像素的所述深度:
d - d m i n d m a x - d min = x - x min x m a x - x m i n ,
其中,xmin和xmax分别为所述像素的最小x坐标和最大x坐标,且dmin和dmax分别为所述深度范围中最小深度值和最大深度值。
5.如权利要求2所述的立体显示装置,其中所述边界生成单元还包括边界深度确定单元,该边界深度确定单元被配置为:通过调整所述边界区域中的像素的深度以使得所述第二影像看起来处于所述第一影像的前面或后面来生成具有深度信息的所述边界区域。
6.如权利要求5所述的立体显示装置,其中所述边界深度确定单元将所述第二影像中的所述边界区域中的所述像素的深度增加深度调整量,从而将所述第二影像置于所述第一影像的前面,所述深度调整量由所述第一影像中的所述边界区域中的最大深度和所述第二影像中的所述边界区域中的最小深度导出。
7.如权利要求5所述的立体显示装置,其中所述边界深度确定单元将所述第二影像中的所述边界区域中的所述像素的深度减小深度调整量,从而将所述第二影像置于所述第一影像的后面,所述深度调整量由所述第一影像中的所述边界区域中的最小深度和所述第二影像中的所述边界区域中的最大深度导出。
8.如权利要求2所述的立体显示装置,其中所述显示单元基于匹配内容的位置关系来确定所述边界区域中的所述像素中的哪些像素将被显示于所述第一立体影像或所述第二立体影像中。
9.一种用于显示立体影像的方法,该方法包括:
获取针对第一影像的第一立体影像和针对第二影像的第二立体影像;
生成用于将所述第一影像与所述第二影像分离的边界;
将所述第二立体影像和生成的所述边界与所述第一立体影像进行组合;以及
显示所组合的立体影像。
10.如权利要求9所述的用于显示立体影像的方法,其中生成边界的步骤还包括确定边界区域,所述边界区域包括邻近于所述边界的内容,所述边界区域包括邻近于所述边界的所述第一立体影像和所述第二立体影像中的预定数目的像素。
11.如权利要求9所述的用于显示立体影像的方法,其中生成边界的步骤还包括:基于所述边界区域中的所述像素的深度范围和所述各个像素的坐标,通过确定所述边界区域中的像素的深度来生成具有深度信息的所述边界区域。
CN201280077922.1A 2012-12-24 2012-12-24 用于显示立体影像的装置和方法 Pending CN104871533A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/087346 WO2014100959A1 (en) 2012-12-24 2012-12-24 Apparatus and method for displaying stereoscopic images

Publications (1)

Publication Number Publication Date
CN104871533A true CN104871533A (zh) 2015-08-26

Family

ID=51019645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280077922.1A Pending CN104871533A (zh) 2012-12-24 2012-12-24 用于显示立体影像的装置和方法

Country Status (6)

Country Link
US (1) US10091495B2 (zh)
EP (1) EP2936805A4 (zh)
JP (1) JP6085688B2 (zh)
KR (1) KR20150102014A (zh)
CN (1) CN104871533A (zh)
WO (1) WO2014100959A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090141024A1 (en) * 2007-12-04 2009-06-04 Samsung Electronics Co., Ltd. Image apparatus for providing three-dimensional (3d) pip image and image display method thereof
CN101742172A (zh) * 2008-11-06 2010-06-16 纬创资通股份有限公司 具有立体显示功能的子母画面显示装置及画面显示方法
WO2012055892A1 (en) * 2010-10-29 2012-05-03 Thomson Licensing Method for generation of three-dimensional images encrusting a graphic object in the image and an associated display device
CN102598677A (zh) * 2009-11-12 2012-07-18 Lg电子株式会社 图像显示设备及其图像显示方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120167136A1 (en) * 1994-08-31 2012-06-28 Gemstar Development Corporation Method and apparatus for displaying television programs and related text
MX2011002553A (es) 2008-09-18 2011-04-04 Panasonic Corp Dispositivo de reproduccion de video estereoscopico y dispositivo de presentacion visual de video estereoscopico.
WO2010070567A1 (en) 2008-12-19 2010-06-24 Koninklijke Philips Electronics N.V. Method and device for overlaying 3d graphics over 3d video
AU2010215135B2 (en) * 2009-02-17 2016-05-12 Koninklijke Philips Electronics N.V. Combining 3D image and graphical data
US9185328B2 (en) * 2009-06-08 2015-11-10 Lg Electronics Inc. Device and method for displaying a three-dimensional PIP image
GB2473282B (en) 2009-09-08 2011-10-12 Nds Ltd Recommended depth value
KR20110053159A (ko) 2009-11-13 2011-05-19 삼성전자주식회사 비디오 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치
KR101631451B1 (ko) * 2009-11-16 2016-06-20 엘지전자 주식회사 영상표시장치 및 그 동작방법
EP2561676A1 (en) * 2010-04-20 2013-02-27 Entropic Communications Inc. System and method to display a user interface in a three-dimensional display
US8537201B2 (en) * 2010-10-18 2013-09-17 Silicon Image, Inc. Combining video data streams of differing dimensionality for concurrent display
JP2012186652A (ja) * 2011-03-04 2012-09-27 Toshiba Corp 電子機器、画像処理方法及び画像処理プログラム
JP5081316B1 (ja) * 2011-06-08 2012-11-28 シャープ株式会社 立体映像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090141024A1 (en) * 2007-12-04 2009-06-04 Samsung Electronics Co., Ltd. Image apparatus for providing three-dimensional (3d) pip image and image display method thereof
CN101742172A (zh) * 2008-11-06 2010-06-16 纬创资通股份有限公司 具有立体显示功能的子母画面显示装置及画面显示方法
CN102598677A (zh) * 2009-11-12 2012-07-18 Lg电子株式会社 图像显示设备及其图像显示方法
WO2012055892A1 (en) * 2010-10-29 2012-05-03 Thomson Licensing Method for generation of three-dimensional images encrusting a graphic object in the image and an associated display device

Also Published As

Publication number Publication date
US20150341622A1 (en) 2015-11-26
EP2936805A4 (en) 2016-07-20
KR20150102014A (ko) 2015-09-04
JP2016507936A (ja) 2016-03-10
JP6085688B2 (ja) 2017-02-22
US10091495B2 (en) 2018-10-02
EP2936805A1 (en) 2015-10-28
WO2014100959A1 (en) 2014-07-03

Similar Documents

Publication Publication Date Title
US9215452B2 (en) Stereoscopic video display apparatus and stereoscopic video display method
US9007442B2 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
US9710955B2 (en) Image processing device, image processing method, and program for correcting depth image based on positional information
US20140333739A1 (en) 3d image display device and method
JPWO2012176431A1 (ja) 多視点画像生成装置、多視点画像生成方法
US11050997B2 (en) Dynamic display system capable of generating images corresponding to positions of users
CN102939764A (zh) 图像处理器、图像显示装置和图像拍摄装置
US9167223B2 (en) Stereoscopic video processing device and method, and program
JP2011135458A (ja) 画像処理装置および方法、並びにプログラム
US20130071013A1 (en) Video processing device, video processing method, program
US20170257614A1 (en) Three-dimensional auto-focusing display method and system thereof
KR102143463B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
KR101228916B1 (ko) 멀티 비젼의 3차원 영상 표시 장치 및 방법
US9113140B2 (en) Stereoscopic image processing device and method for generating interpolated frame with parallax and motion vector
CN104871533A (zh) 用于显示立体影像的装置和方法
JP5323222B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US9888222B2 (en) Method and device for generating stereoscopic video pair
US20140292748A1 (en) System and method for providing stereoscopic image by adjusting depth value
TWI826033B (zh) 影像顯示方法與3d顯示系統
JP5032694B1 (ja) 映像処理装置および映像処理方法
CN103475831A (zh) 应用于显示装置的字幕控制方法与元件
JP5395934B1 (ja) 映像処理装置および映像処理方法
JP2011180779A (ja) 立体画像データ生成装置、立体画像データ生成方法、および立体画像データ生成プログラム
US20130307941A1 (en) Video processing device and video processing method
RU123278U1 (ru) Телевизионный приемник, устройство обработки изображений с преобразованием двумерного изображения в псевдотрехмерное изображение на основе технологии deep diving technology

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150826