CN102326398B - 在立体显示设备上定位主图像和次图像的方法和系统 - Google Patents
在立体显示设备上定位主图像和次图像的方法和系统 Download PDFInfo
- Publication number
- CN102326398B CN102326398B CN201080008693.9A CN201080008693A CN102326398B CN 102326398 B CN102326398 B CN 102326398B CN 201080008693 A CN201080008693 A CN 201080008693A CN 102326398 B CN102326398 B CN 102326398B
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- time
- view data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000009432 framing Methods 0.000 claims description 19
- 230000008447 perception Effects 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 14
- 230000004048 modification Effects 0.000 claims description 13
- 238000012986 modification Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 abstract 2
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 244000287680 Garcinia dulcis Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种在立体显示设备上定位主图像和次图像的方法包含确定主图像和次图像的感知深度；通过压缩主图像数据和次图像数据中的至少一个的感知深度来转换主图像数据和次图像数据中的至少一个的感知深度；以及转换主图像数据和次图像数据中的至少一个，以便将所感知的次图像定位于当在立体显示器上被观看时将被观看者感知为位于一深度处的位置，使得所述次图像当被立体地观看时看起来完全位于所述主图像和所述观看者之间。本摘要不应被认为是限制性的，因为其他实施例可从在该摘要中所描述的特征中导出。
Description
相关文献的交叉引用
本申请与Jean-Pierre Guillou在2009年2月19日递交的美国临时专利申请61/153720相关并要求其优先权，上述申请通过引用被结合于此。
著作权和商标公告
本专利文献的一部分公开包含受著作权保护的素材。著作权所有人不反对任何人对出现在专利商标局专利文件或记录中的本专利文献或专利公开进行复制再现，但除此之外保留一切著作权权利。商标是其各自所有人的财产。
背景技术
存在多种已知方式使用户界面(UI)与在显示器(诸如，电视显示器)上的视觉内容交互。例如，UI可以是有点透明的，以允许观看者观看在UI之下的东西，或者，UI可被布置在覆盖屏幕的窗口或盒子中。一般而言，当出现UI时，其将具有透明区域，该透明区域允许用户看到UI和内容二者。但是，关于当电视显示器等正显示立体显示时如何处理UI的问题还未被探索到任何已知的程度。
附图说明
某些图示出组织和操作方法以及目的和优点的例示性实施例通过参考结合附图来理解的以下详细描述可得到最佳理解，在附图中：
图1呈现了按照与本发明某些实施例一致的方式显示在立体显示面板上的立体图像的俯视图。
图2呈现了与二维次图像一起显示在立体显示面板上的立体主图像的俯视图。
图3呈现了按照与本发明某些实施例一致的方式、与二维次图像一起显示在立体显示面板上的立体主图像的俯视图，其中二维次图像被布置得比主图像更靠近观看者。
图4呈现了按照与本发明某些实施例一致的方式、与二维次图像一起显示在立体显示面板上的立体主图像的俯视图，其中二维次图像被布置得比主图像更靠近观看者并且主图像被以远离观看者的方式缩放。
图5呈现了按照与本发明某些实施例一致的方式、与二维次图像一起显示在立体显示面板上的二维主图像的俯视图，其中二维次图像被布置得比主图像更靠近观看者。
图6呈现了按照与本发明某些实施例一致的方式、与三维次图像一起显示在立体显示面板上的二维主图像的俯视图，其中三维次图像被布置得比主图像更靠近观看者。
图7是与本发明某些实施例一致的处理的示例实现方式的流程图。
具体实施方式
本发明允许有许多不同形式的实施例，在附图中示出了并将在此处详细地描述具体的实施例，应当理解，这种实施例的本公开应当被认为是原理的示例，并且，并不意欲将本发明限制到所示出并描述的具体的实施例。在以下的描述中，相似的参考标号被用于描述附图的多个示图中的相同的、类似的或对应的部件。
此处所使用的术语“一”或“一个”被定义为一个或多于一个。此处所使用的术语“多个”被定义为两个或多于两个。此处所使用的术语“另一个”被定义为至少第二个或更多个。此处所使用的术语“包括”和/或“具有”被定义为包含(即，开放式语言)。此处所使用的术语“耦合的”被定义为相连接的，虽然并不一定是直接地连接，并且，也不一定是机械地连接。此处所使用的术语“程序”或“计算机程序”被定义为设计用于在计算机系统上执行的指令序列。“程序”或“计算机程序”可包括可执行应用中、小程序、服务器小程序、源码、对象代码、共享库/动态载入库中的子例程、功能、流程、对象方法、对象实现和/或其他用于在计算 机系统上执行所设计的指令序列。
此处所使用的术语“程序”还可被用于第二上下文(以上的定义针对第一上下文)中。在第二上下文中，术语被用于“电视节目”。在该上下文中，术语被用于意味音频视频内容的任意相干序列，诸如在电子节目指南(EPG)中将被解释并报道为单个电视节目的那些，而不管内容是否为电影、体育事件、多部系列剧的片段、新闻播报等。术语还可被解释为包括商业广告(commercial spots)和其他在电子节目指南中可能未被报道为节目的类似节目的内容。
整个该文档中对“一个实施例”、“某些实施例”、“一个实施例”、“一个示例”、“一个实现方式”或类似术语的提及意味着与该实施例、示例或实现方式一同描述的具体特征、结构或特性被包括在本发明的至少一个实施例、示例或实现方式中。因此，这种短语在整个说明书各处的出现并不一定全部指代相同的实施例、示例或实现方式。另外，在一个或多个实施例、示例或实现方式中，具体的特征、结构或特性可以以任意合适的方式被组合，而不受限制。
此处所使用的术语“或”被解释为包含性的，或者，意味着任一个或任意组合。因此，“A、B或C”意味着“以下各项中的任一个：A；B；C；A和B；A和C；B和C；A、B和C”。该定义的例外仅当元件、功能、步骤或动作的组合在某些方面固有地互斥时才出现。
如之前所述，关于当电视显示器等正显示立体显示时如何处理UI的问题还未被探索到任何已知的程度。图1描绘了从上方观看的任意合适设计的立体显示面板100。示图示出了通过利用立体技术可造成幻觉，其中，人能够似乎看到位于屏幕100的平面后方的带有可变深度-ve的对象(诸如对象104)，或者可似乎看到位于屏幕前方的带有可变深度+ve的对象(诸如对象108)，或者可跨越(straddle)屏幕100的平面(诸如对象112)以便似乎具有跨越从-ve刻度的某处到+ve刻度的某处的距离的深度。在所描绘的刻度中，-ve表示相对于观看者的位置、在屏幕100的平面后面的空间，而+ve表示相对于观看者的位置、在屏幕100前面的空间。
为了解决上面指出的问题，UI被布置在不干扰内容的深度平面上。为了实现这点，应当知晓内容中的对象的深度。如稍后将讨论的，至少存在两种获取该深度信息的方法。
鉴于由立体显示所造成的三维幻觉，当一个人将用户界面插入所显示的图像中时，在用户与立体显示上的UI和内容进行舒适交互方面可存在问题。参照图2，现考虑如果二维UI图像120在所指示的点处被并列到三维图像中将发生什么。在该情形中，对象108和112的深度可能覆盖或者底衬(underlay)或者横跨二维UI 120在图像中的视在位置的界限。这可导致用户不能适当地利用UI、UI被部分或全部模糊、或在二维图像和三维图像之间的不方便的或不舒适的交互，以及用户的不满意。
根据与本发明的实现方式大体一致的实施例，问题可通过如下方式来解决：如图3所描述的，在所有时刻，保证输入图像被转换为其中UI 120位于所显示的图像的视在三维深度内的位置处的图像，该位置比三维图像的任何部分更靠近观看者(具有更大的+ve值)。这可通过多种方式实现。如图3中所描绘的，UI 120的平面被并列在比三维图像中的图像更靠近的位置处，而无需改变三维图像。但是，对观看者而言，这可能不总是可行或者舒适的。
如图4所示，该问题的一种解决方案是将二维UI的平面置于对观看者的一般观看而言舒适的深度位置处，同时在箭头的方向上使三维对象的相对位置进一步向后移动(更加负的-ve)。作为该处理的一部分，从距离观看者的最近对象到最远对象的跨度可按需被保持或者压缩/缩放，以便将图像转换成可如所述被定位的图像。在一种实现方式中，缩放可通过使最后面的位置保持不变并且使在最后面部分前面的图像元素成比例地向后移动来实施。在该情形中，最前面的位置被布置得足够靠后，以允许在前面插入次图像(UI)，并且中间对象的相对位置被成比例地缩放。但是，考虑到本教导，本领域技术人员可想到其他缩放和压缩方法。
如图5所示，该处理还可被延伸到对与二维UI一起显示在立体显示上的二维图像的应用。在该情形中，如在三维内容的情形中，二维UI 120的相对位置可被布置在三维幻觉中比二维图像130更靠近用户的位置处。 虽然该描述示出了二维图像130在-ve深度中且UI在+ve深度中，但是，这仅将被认为是例示性的。该仅有的考虑是UI在幻觉中被布置得比视频图像更靠近观看者。
作为另一示例，UI可以被表示为如图6所示的三维对象(对象140)，该三维对象具有可变的深度并且被定位在立体显示面板100上显示的二维图像130前面。很明显，还可以将三维UI(诸如140)布置在三维图像(诸如包括104、108和112的图像)前面。
为了实现该解决方案，应当知晓内容中的对象的深度。至少存在两种获取该深度信息的方法，但是，出于实现与本发明相一致的实施例的目的，任意合适的方法是令人满意的。
根据第一种方法，深度信息可作为元数据与表示三维内容的数据一起被嵌入。在该情形中，显示系统仅必须读取元数据(其可以是深度的全局范围，或者可基于逐个场景、逐个段或者逐个帧)并选择比最接近的对象更靠近观看者的深度值以用于定位UI。
根据第二种方法，系统在合适的位置，该系统利用随着内容被播放而实时地分析内容的深度或作为离线处理来确定内容的深度的基于硬件或基于软件的系统。
通过这种方式，诸如UI信息之类的次内容可被布置为使得其深度平面不干扰主内容的最前面的深度平面。如上所述，主内容可以是2D或立体的，而次内容(例如，UI)也可以是2D或立体的。主内容和次内容可以是但不限于视频、静止图像或用户界面(UI)。
由此，对在立体显示上的内容或UI的相对深度的这种布置可通过如下方式被完成：不存在各种内容源之间的深度平面干扰。通过上述实施例，对深度元数据或所计算的深度信息的使用可被用于做出关于对立体显示上的内容或UI的相对深度布置的决定，并且可被用于确定对压缩主内容的深度的需要。在转换中(开/关或选择)，深度变化可以是动态变化。
还预期到，在每个情形中，UI可被用于多源观看的画中画(PIP)图像所替代。还可以修改立体内容的深度特性，以允许内容在深度上向后移动，从而允许将其他内容安全地布置在它前面，如上面提到。
现参照图7，描绘了在204处开始的处理200，其预期到上述两种实现中的一者或二者。在208和212处，主内容和次内容被分别接收。这可以是对内容或者连续且实质上并行的流的预先接收。在UI的情形中，次内容在显示设备或者相关联的硬件(例如，个人录像机(PVR)、A/V接收机、盘播放器等)处被生成。在任意情形中，在216处，确定主内容的深度特性。如果主内容是二维的，确定可以是近乎微不足道的，但是否则，主内容的深度可通过在220处仅读取与主内容相关联的元数据的处理或通过实施对主内容的分析以在224处确定其深度而被确定。
立体显示中的任意内容的深度可通过对显示的图像的特征的分析而被确定。用于造成立体幻觉的图像被以这种方式布置在显示器上，使得右眼图像和左眼图像是类似的，但是被与深度相关的空间所分开。图像的颜色或极化被用于保持左眼图像和右眼图像之间的差异，对应的颜色或极化被与观看眼镜一起使用，以便使图像在观看者的眼中保持分开。因此，该深度分析与在创建三维图像时将会使用的用来将那些图像布置在显示器上的深度分析是类似的。当图像被布置在屏幕上的相对位置中，但是具有相反的极性或颜色过滤时，这可被检测到，并且，相反的计算被实施，以找到主内容中最前面的图像。
通过类似的方式，在228处，次内容的深度可被确定(如果不是微不足道的或是在显示器处被生成使得深度可被知晓或控制的话)。在该点处，主内容和次内容的相对深度是已知的，并且显示器仅使次内容移动到被认为是在主内容前面的位置处。但是，如果由于主内容和次内容中的一者或二者的过量深度而仍旧存在重叠，或者如果在232处次内容将必须被布置在将被认为对观看或者舒适使用而言是不舒适的深度处，则主内容和次内容中的一者或二者在236处可在深度上被缩放，使得转换后的图像可被定位为消除重叠。在232或236处，一旦在内容中不存在重叠，则在240处，内容被呈现以供在显示器上显示，然后随着新内容被208接收，处理循环回到208。
现参照图8，描绘了用于实现之前所描述的处理的系统300的简化功能框图。在该系统中，从电缆、卫星、网络会议、视频光盘或其他一个或 多个源接收的传输流302被示出为302，并且被提供给解复用器306，该解复用器根据观看者的调谐命令将内容挑选出来。经由302接收的内容可仅包括主内容，或者可包括次内容，其中任何一种可利用立体显示面板来呈现。如之前所述的，内容(主和/或次)可包括定义内容的深度信息的元数据。如果是这样，则该元数据被存储在元数据数据库310中。主内容(和次内容，如果存在的话)被发送到3D深度分析器314，其实施确定深度信息的分析或根据存储在数据库310中的元数据来确定信息。如果次内容是UI信息，则UI信息(如果UI被表示为三维的，则很可能包括深度信息)在深度分析器314处被从UI图形引擎318接收。3D深度分析器确定图像的相对深度，并且将图像和相关联的深度传递给3D深度缩放器/压缩器322，在322处，如果有必要避免图像重叠，则主图像和次图像中的一个或另一个或二者可被压缩或缩放，以占据更少的感知深度(perceived depth)，以便将图像呈现转换成可如所述地被定位的图像。然后，图像被传递给主/次定位器(图像定位器)326，在326处，图像的相对位置被转换，使得次图像在3D图像的感知深度中被定位在主图像前面(在主图像和观看者之间)。然后，该组合后的图像可被传递给显示驱动器330，以供在立体显示器310上显示。
在300中示出的功能框旨在表示可被实施为硬件功能或者运行在一个或多个已编程处理器上的软件功能的处理，以将主图像和次图像转换成彼此不干扰的图像，使得次图像在感知深度中总是被布置在主图像和观看者之间。所描述的各种功能可在所示的布置中被实施，或者可以被重新布置，各种功能以产生该所希望的输出的任意方式被组合但不限于此。
除了以上之外，应注意，当对象以三维方式被观看时，除了由立体线索所获得的那些以外，观看者获得对对象的深度的线索。因此，除了利用将对象立体地布置在另一对象前面来获得上面讨论的期望结果之外，其他非立体的视觉线索可被用来修改前方或后方的图像，以确保在前面的对象或者最重要的对象(例如，来自GUI的菜单选择)被强调。这种线索包括但不限于：后方图像的去饱和；后方图像的散焦；以及减少后方图像的亮度。相反的效果可被添加到前方图像，以增强其显著性。考虑到本教导， 其他的这种视觉线索对本领域技术人员而言将是显而易见的。
因此，一种在立体显示设备上定位主图像和次图像的方法包含：接收表示主图像和次图像的主图像数据和次图像数据以供在立体显示面板上同时显示，其中，主图像数据和次图像数据中的至少一个表示三维立体图像数据；确定主图像的感知深度；确定次图像的感知深度；其中确定主图像和次图像中的至少一个的感知深度是通过读取与主图像和次图像中的至少一个相关联的元数据或通过实施对主图像数据和次图像数据中的至少一个的深度分析而被实施的；通过压缩主图像数据和次图像数据中的至少一个的感知深度来转换主图像数据和次图像数据中的至少一个的感知深度；以及转换主图像数据和次图像数据中的至少一个，以便将所感知的次图像定位于当在立体显示器上被观看时将被观看者感知为位于一深度处的位置，使得次图像当被立体地观看时看起来完全位于主图像和观看者之间。
在某些实现方式中，次图像包括用户界面图形。在某些实现方式中，该方法还包括将主图像数据转换为使所感知的主图像的图像更加远离观看者位置的位置。在某些实现方式中，该方法还包括将次图像数据转换为使所感知的次图像的图像更加靠近观看者位置的位置。在某些实现方式中，该方法还包括向主图像和次图像中的一个应用非立体视觉修改。在某些实现方式中，非立体视觉修改包括如下中的至少一个：对主图像和次图像中的一个进行散焦、去饱和，以及减少亮度。
另一种在立体显示设备上定位主图像和次图像的方法涉及：接收表示主图像和次图像的主图像数据和次图像数据以供在立体显示面板上同时显示；确定主图像的感知深度；确定次图像的感知深度；转换主图像数据和次图像数据中的至少一个，以便将所感知的次图像定位于当在立体显示器上被观看时将被观看者感知为位于一深度处的位置，使得所述次图像当被立体地观看时看起来完全位于所述主图像和所述观看者之间。
在某些实现方式中，主图像数据和次图像数据中的至少一个表示三维立体图像数据。在某些实现方式中，确定主图像和次图像中的至少一个的感知深度是通过读取与主图像和次图像中的至少一个相关联的元数据而被实施的。在某些实现方式中，确定主图像和次图像中的至少一个的感知深 度是通过实施对主图像数据和次图像数据中的至少一个的深度分析而被实施的。在某些实现方式中，次图像包括用户界面图形。在某些实现方式中，该方法还包括通过压缩主图像数据和次图像数据中的至少一个的感知深度来转换主图像数据和次图像数据中的至少一个的感知深度。在某些实现方式中，该方法还包括将主图像数据转换为使所感知的主图像的图像更加远离观看者位置的位置。在某些实现方式中，该方法还包括将次图像数据转换为使所感知的次图像的图像更加靠近观看者位置的位置。在某些实现方式中，该方法还包括向主图像和次图像中的一个应用非立体视觉修改。在某些实现方式中，非立体视觉修改包括如下中的至少一个：对主图像和次图像中的一个进行散焦、去饱和，以及减少亮度。
上述方法中的任一个可利用存储指令的计算机可读电子存储介质实现，当这些指令在一个或多个已编程处理器上被执行时，执行这种方法。
一种用于在立体显示设备上定位主图像和次图像的系统，具有：解复用器，表示主图像和次图像的主图像数据和次图像数据以供在立体显示面板上同时显示，其中，主图像数据和次图像数据中的至少一个表示三维立体图像数据；3D深度分析器，该3D深度分析器确定主图像的感知深度并确定次图像的感知深度，确定主图像和次图像中的至少一个的感知深度是通过读取与主图像和次图像中的至少一个相关联的元数据或通过实施对主图像数据和次图像数据中的至少一个的深度分析而被实施的；3D深度缩放器，该3D深度缩放器通过压缩主图像数据和次图像数据中的至少一个的感知深度来转换主图像数据和次图像数据中的至少一个的感知深度；以及图像定位器，该图像定位器转换主图像数据和次图像数据中的至少一个，以便将所感知的次图像定位于当在立体显示器上被观看时将被观看者感知为位于一深度处的位置，使得所述次图像当被立体地观看时看起来完全位于所述主图像和所述观看者之间。
在某些实现方式中，次图像包括用户界面图形。在某些实现方式中，图像定位器还将主图像数据转换为使所感知的主图像的图像更加远离观看者位置的位置。在某些实现方式中，图像定位器还将次图像数据转换为使所感知的次图像的图像更加靠近观看者位置的位置。在某些实现方式中， 将非立体视觉修改应用到主图像，以在视觉上不强调主图像。在某些实现方式中，非立体视觉修改包括如下中的至少一个：对主图像进行散焦、去饱和，以及减少亮度。
一种用于在立体显示设备上定位主图像和次图像的系统具有：解复用器，该解复用器接收表示主图像和次图像的主图像数据和次图像数据以供在立体显示面板上同时显示；3D深度分析器，该3D深度分析器确定主图像的感知深度并确定次图像的感知深度；图像定位器，该图像定位器转换主图像数据和次图像数据中的至少一个，以便将所感知的次图像定位于当在立体显示器上被观看时将被观看者感知为位于一深度处的位置，使得所述次图像当被立体地观看时看起来完全位于所述主图像和所述观看者之间。
在某些实现方式中，主图像数据和次图像数据中的至少一个表示三维立体图像数据。在某些实现方式中，3D深度分析器通过读取与主图像和次图像中的至少一个相关联的元数据来确定主图像和次图像中的至少一个的感知深度。在某些实现方式中，3D深度分析器通过对主图像数据和次图像数据中的至少一个实施深度分析来确定主图像和次图像中的至少一个的感知深度。在某些实现方式中，次图像包括用户界面图形。在某些实现方式中，3D深度缩放器通过压缩主图像数据和次图像数据中的至少一个的感知深度来转换主图像数据和次图像数据中的至少一个的感知深度。在某些实现方式中，图像定位器将主图像数据转换为使所感知的主图像的图像更加远离观看者位置的位置。在某些实现方式中，图像定位器还将次图像数据转换为使所感知的次图像的图像更加靠近观看者位置的位置。在某些实现方式中，对主图像应用非立体视觉修改。在某些实现方式中，非立体视觉修改包括如下中的至少一个：对主图像进行散焦、去饱和，以及减少亮度。
本领域技术人员将认识到，考虑到以上的教导，以上某些示例性实施例可基于以编程处理器的使用。但是，发明并不限于这种示例性实施例，因为可利用诸如专用硬件和/或专用处理器之类的硬件组件等同物来实现其他实施例。类似地，可利用通用计算机、基于计算机的微处理器、微控制 器、光计算机、模拟计算机、专用处理器、专用电路和/或专用硬件接线逻辑来构建替代等同实施例。
此处描述的某些实施例是执行编程指令的已编程处理器，或者可利用执行编程指令的已编程处理器实现，该编程指令在以上用流程图的形式广泛地描述，其可存储在任意合适的电子或计算机可读存储介质上。但是，本领域技术人员将认识到，考虑到本教导，在不脱离本发明实施例的情况下，可以以任意数量的变更和许多合适的编程语言来实现上述处理。例如，在不脱离本发明某些实施例的情况下，所实施的某些操作的次序通常是可变的，可添加额外的操作，或可删除操作。在不脱离本发明某些实施例的情况下，可添加和/或加强错误捕获，并且可变更用户界面和信息呈现。这种变更被预期到并且被认为是等同的。
虽然已描述的某些例示性实施例，但是鉴于前述描述，显然许多可替换例、修改例、置换例和变化例将对本领域技术人员而言将变得显而易见。
Claims (12)
1.一种在立体显示设备上定位主图像和次图像的方法，包括：
接收表示主图像和次图像的主图像数据和次图像数据以供在立体显示面板上同时显示，其中，所述主图像数据和次图像数据中的至少一个表示三维立体图像数据；
确定所述主图像的感知深度；
确定所述次图像的感知深度；
其中确定所述主图像的感知深度和确定所述次图像的感知深度中的至少一个是通过读取与所述主图像和次图像中的至少一个相关联的元数据或通过实施对所述主图像数据和次图像数据中的至少一个的深度分析而被实施的；
仅在所述主图像数据和次图像数据存在深度重叠的情况下，通过压缩所述主图像数据和次图像数据中的至少一个的感知深度来转换所述主图像数据和次图像数据中的至少一个的感知深度；以及
转换所述主图像数据和次图像数据中的至少一个，以便将所感知的次图像定位于当在立体显示器上被观看时将被观看者感知为位于一深度处的位置，使得所述次图像当被立体地观看时看起来完全位于所述主图像和所述观看者之间。
2.如权利要求1所述的方法，其中，所述次图像包括用户界面图形。
3.如权利要求1所述的方法，还包括将所述主图像数据转换为使所感知的所述主图像的图像更加远离观看者位置的位置。
4.如权利要求1所述的方法，还包括将所述次图像数据转换为使所感知的所述次图像的图像更加接近观看者位置的位置。
5.如权利要求1所述的方法，还包括向所述主图像和次图像中的一个应用非立体视觉修改。
6.如权利要求5所述的方法，其中，所述非立体视觉修改包括以下各项中的至少一种：对所述主图像和次图像中的一个进行散焦、去饱和，以及减少亮度。
7.一种用于在立体显示设备上定位主图像和次图像的系统，包括：
解复用器，该解复用器接收表示主图像和次图像的主图像数据和次图像数据以供在立体显示面板上同时显示，其中，所述主图像数据和次图像数据中的至少一个表示三维立体图像数据；
3D深度分析器，该3D深度分析器确定所述主图像的感知深度并确定所述次图像的感知深度，其中确定所述主图像的感知深度和确定所述次图像的感知深度中的至少一个是通过读取与所述主图像和次图像中的至少一个相关联的元数据或通过实施对所述主图像数据和次图像数据中的至少一个的深度分析而被实施的；
3D深度缩放器，仅在所述主图像数据和次图像数据存在深度重叠的情况下，该3D深度缩放器通过压缩所述主图像数据和次图像数据中的至少一个的感知深度来转换所述主图像数据和次图像数据中的至少一个的感知深度；以及
图像定位器，该图像定位器转换所述主图像数据和次图像数据中的至少一个，以便将所感知的次图像定位于当在立体显示器上被观看时将被观看者感知为位于一深度处的位置，使得所述次图像当被立体地观看时看起来完全位于所述主图像和所述观看者之间。
8.如权利要求7所述的系统，其中，所述次图像包括用户界面图形。
9.如权利要求7所述的系统，其中，所述图像定位器还将所述主图像数据转换为使所感知的所述主图像的图像更加远离观看者位置的位置。
10.如权利要求7所述的系统，其中，所述图像定位器还将所述次图像数据转换为使所感知的所述次图像的图像更加靠近观看者位置的位置。
11.如权利要求7所述的系统，其中，将非立体视觉修改应用到所述主图像，以在视觉上不强调所述主图像。
12.如权利要求11所述的系统，其中，所述非立体视觉修改包括以下各项中的至少一个：对所述主图像进行散焦、去饱和，以及减少亮度。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15372009P | 2009-02-19 | 2009-02-19 | |
| US61/153,720 | 2009-02-19 | ||
| US12/589,837 US8284236B2 (en) | 2009-02-19 | 2009-10-29 | Preventing interference between primary and secondary content in a stereoscopic display |
| US12/589,837 | 2009-10-29 | ||
| PCT/US2010/023200 WO2010096281A2 (en) | 2009-02-19 | 2010-02-04 | Preventing interference between primary and secondary content in a stereoscopic display |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102326398A CN102326398A (zh) | 2012-01-18 |
| CN102326398B true CN102326398B (zh) | 2015-04-08 |
Family
ID=42559534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201080008693.9A Expired - Fee Related CN102326398B (zh) | 2009-02-19 | 2010-02-04 | 在立体显示设备上定位主图像和次图像的方法和系统 |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US8284236B2 (zh) |
| EP (1) | EP2387852A4 (zh) |
| JP (1) | JP2012518368A (zh) |
| KR (1) | KR101247033B1 (zh) |
| CN (1) | CN102326398B (zh) |
| CA (1) | CA2752497C (zh) |
| MX (1) | MX2011007518A (zh) |
| WO (1) | WO2010096281A2 (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100428011B1 (ko) * | 2000-06-20 | 2004-04-30 | 김형석 | 파파야 장아찌 및 그의 제조 방법 |
| RU2554465C2 (ru) * | 2009-07-27 | 2015-06-27 | Конинклейке Филипс Электроникс Н.В. | Комбинирование 3d видео и вспомогательных данных |
| US8970669B2 (en) * | 2009-09-30 | 2015-03-03 | Rovi Guides, Inc. | Systems and methods for generating a three-dimensional media guidance application |
| KR20110057629A (ko) * | 2009-11-24 | 2011-06-01 | 엘지전자 주식회사 | Ｕｉ 제공 방법 및 디지털 방송 수신기 |
| US9426441B2 (en) | 2010-03-08 | 2016-08-23 | Dolby Laboratories Licensing Corporation | Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning |
| JP5668385B2 (ja) * | 2010-09-17 | 2015-02-12 | ソニー株式会社 | 情報処理装置、プログラムおよび情報処理方法 |
| KR20120037858A (ko) * | 2010-10-12 | 2012-04-20 | 삼성전자주식회사 | 입체영상표시장치 및 그 ｕｉ 제공 방법 |
| KR20120042313A (ko) * | 2010-10-25 | 2012-05-03 | 삼성전자주식회사 | 입체영상표시장치 및 그 영상표시방법 |
| JP5678643B2 (ja) * | 2010-12-21 | 2015-03-04 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| EP2472878A1 (en) | 2010-12-31 | 2012-07-04 | Advanced Digital Broadcast S.A. | Method and apparatus for combining images of a graphic user interface with a stereoscopic video |
| EP2495979A1 (en) * | 2011-03-01 | 2012-09-05 | Thomson Licensing | Method, reproduction apparatus and system for display of stereoscopic 3D video information |
| JP4960517B1 (ja) * | 2011-03-25 | 2012-06-27 | 株式会社東芝 | 映像表示装置及び映像表示方法 |
| US9519994B2 (en) | 2011-04-15 | 2016-12-13 | Dolby Laboratories Licensing Corporation | Systems and methods for rendering 3D image independent of display size and viewing distance |
| WO2012150100A1 (en) * | 2011-05-02 | 2012-11-08 | Thomson Licensing | Smart stereo graphics inserter for consumer devices |
| KR101899458B1 (ko) * | 2012-01-11 | 2018-09-18 | 삼성전자주식회사 | 3ｄ 디스플레이 장치 및 그 방법 |
| CN104137537B (zh) * | 2012-02-27 | 2016-12-14 | 索尼公司 | 图像处理装置及图像处理方法 |
| JP6092525B2 (ja) * | 2012-05-14 | 2017-03-08 | サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ | 画像処理装置、情報処理システム、画像処理方法およびプログラム |
| US20130321572A1 (en) * | 2012-05-31 | 2013-12-05 | Cheng-Tsai Ho | Method and apparatus for referring to disparity range setting to separate at least a portion of 3d image data from auxiliary graphical data in disparity domain |
| CN104010181B (zh) * | 2013-02-25 | 2016-10-05 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| KR20200013453A (ko) * | 2018-07-30 | 2020-02-07 | 삼성전자주식회사 | 3차원 영상 표시 장치 및 영상 처리 방법 |
| US10957101B2 (en) * | 2018-09-07 | 2021-03-23 | Geomni, Inc. | Computer vision systems and methods for end to end image inspection |
| EP3687166A1 (en) * | 2019-01-23 | 2020-07-29 | Ultra-D Coöperatief U.A. | Interoperable 3d image content handling |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1894728A (zh) * | 2003-12-19 | 2007-01-10 | 皇家飞利浦电子股份有限公司 | 缩放三维模型的方法和缩放单元 |
| WO2008038205A2 (en) * | 2006-09-28 | 2008-04-03 | Koninklijke Philips Electronics N.V. | 3 menu display |
| CN101299331A (zh) * | 2007-04-30 | 2008-11-05 | 晨星半导体股份有限公司 | 多视窗显示控制器及相关方法 |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6310733B1 (en) * | 1996-08-16 | 2001-10-30 | Eugene Dolgoff | Optical elements and methods for their manufacture |
| JPH11113028A (ja) * | 1997-09-30 | 1999-04-23 | Toshiba Corp | ３次元映像表示装置 |
| US6714672B1 (en) * | 1999-10-27 | 2004-03-30 | Canon Kabushiki Kaisha | Automated stereo fundus evaluation |
| US6911975B2 (en) | 2000-09-11 | 2005-06-28 | Canon Kabushiki Kaisha | Stereo image display apparatus and method, and storage medium |
| JP3673217B2 (ja) * | 2001-12-20 | 2005-07-20 | オリンパス株式会社 | 映像表示装置 |
| US8369607B2 (en) * | 2002-03-27 | 2013-02-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
| US20050207486A1 (en) * | 2004-03-18 | 2005-09-22 | Sony Corporation | Three dimensional acquisition and visualization system for personal electronic devices |
| US20050285853A1 (en) | 2004-06-29 | 2005-12-29 | Ge Medical Systems Information Technologies, Inc. | 3D display system and method |
| WO2006106522A2 (en) * | 2005-04-07 | 2006-10-12 | Visionsense Ltd. | Method for reconstructing a three- dimensional surface of an object |
| KR100727940B1 (ko) * | 2005-06-22 | 2007-06-14 | 삼성전자주식회사 | 통신 채널을 이용한 3ｄ 입체 영상의 화질 조정 방법 |
| KR100649523B1 (ko) | 2005-06-30 | 2006-11-27 | 삼성에스디아이 주식회사 | 입체 영상 표시 장치 |
| US7477777B2 (en) * | 2005-10-28 | 2009-01-13 | Aepx Animation, Inc. | Automatic compositing of 3D objects in a still frame or series of frames |
| CN101322418B (zh) * | 2005-12-02 | 2010-09-01 | 皇家飞利浦电子股份有限公司 | 图像信号的深度相关的滤波 |
| JP2007317050A (ja) | 2006-05-29 | 2007-12-06 | Nippon Telegr & Teleph Corp <Ntt> | ３次元表示を用いたユーザインタフェースシステム |
| US8711203B2 (en) * | 2006-10-11 | 2014-04-29 | Koninklijke Philips N.V. | Creating three dimensional graphics data |
| KR101342987B1 (ko) * | 2006-11-21 | 2013-12-18 | 톰슨 라이센싱 | 3ｄ 이미지의 컬러 보정을 위한 방법 및 시스템 |
| MX2009009871A (es) * | 2007-03-16 | 2010-05-19 | Thomson Licensing | Sistema y metodo para combinar texto con un contenido tri-dimensional. |
| US8077964B2 (en) * | 2007-03-19 | 2011-12-13 | Sony Corporation | Two dimensional/three dimensional digital information acquisition and display device |
| EP1976278A1 (en) | 2007-03-31 | 2008-10-01 | Sony Deutschland Gmbh | Method and device for displaying a message on a television screen |
| CA2627999C (en) * | 2007-04-03 | 2011-11-15 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada | Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images |
| JP4886898B2 (ja) * | 2007-07-26 | 2012-02-29 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 深さ関連情報伝達のための方法及び装置 |
| US8280149B2 (en) * | 2007-09-11 | 2012-10-02 | Motorola Solutions, Inc. | Method and apparatus to facilitate processing a stereoscopic image using first and second images to facilitate computing a depth/disparity image |
| JP2009135686A (ja) * | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置 |
| EP2232885A1 (en) * | 2007-12-14 | 2010-09-29 | Koninklijke Philips Electronics N.V. | 3d mode selection mechanism for video playback |
| WO2010019926A1 (en) * | 2008-08-14 | 2010-02-18 | Real D | Stereoscopic depth mapping |
| US9251621B2 (en) * | 2008-08-14 | 2016-02-02 | Reald Inc. | Point reposition depth mapping |
| MY151243A (en) * | 2008-09-30 | 2014-04-30 | Panasonic Corp | Recording medium, playback device, system lsi, playback method, glasses, and display device for 3d images |
| WO2010048632A1 (en) * | 2008-10-24 | 2010-04-29 | Real D | Stereoscopic image format with depth information |
| RU2554465C2 (ru) * | 2009-07-27 | 2015-06-27 | Конинклейке Филипс Электроникс Н.В. | Комбинирование 3d видео и вспомогательных данных |
| RU2535443C2 (ru) * | 2009-09-25 | 2014-12-10 | Панасоник Корпорэйшн | Носитель записи, устройство воспроизведения и интегральная схема |
-
2009
- 2009-10-29 US US12/589,837 patent/US8284236B2/en active Active
-
2010
- 2010-02-04 CN CN201080008693.9A patent/CN102326398B/zh not_active Expired - Fee Related
- 2010-02-04 CA CA 2752497 patent/CA2752497C/en active Active
- 2010-02-04 EP EP20100744132 patent/EP2387852A4/en not_active Ceased
- 2010-02-04 JP JP2011551108A patent/JP2012518368A/ja active Pending
- 2010-02-04 WO PCT/US2010/023200 patent/WO2010096281A2/en active Application Filing
- 2010-02-04 MX MX2011007518A patent/MX2011007518A/es active IP Right Grant
- 2010-02-04 KR KR1020117019187A patent/KR101247033B1/ko active IP Right Grant
-
2012
- 2012-07-11 US US13/546,152 patent/US9060166B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1894728A (zh) * | 2003-12-19 | 2007-01-10 | 皇家飞利浦电子股份有限公司 | 缩放三维模型的方法和缩放单元 |
| WO2008038205A2 (en) * | 2006-09-28 | 2008-04-03 | Koninklijke Philips Electronics N.V. | 3 menu display |
| CN101299331A (zh) * | 2007-04-30 | 2008-11-05 | 晨星半导体股份有限公司 | 多视窗显示控制器及相关方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9060166B2 (en) | 2015-06-16 |
| WO2010096281A2 (en) | 2010-08-26 |
| CA2752497C (en) | 2015-03-24 |
| EP2387852A4 (en) | 2012-07-25 |
| KR101247033B1 (ko) | 2013-03-25 |
| US20100208040A1 (en) | 2010-08-19 |
| WO2010096281A3 (en) | 2010-11-18 |
| MX2011007518A (es) | 2011-08-15 |
| JP2012518368A (ja) | 2012-08-09 |
| EP2387852A2 (en) | 2011-11-23 |
| CA2752497A1 (en) | 2010-08-26 |
| KR20110114672A (ko) | 2011-10-19 |
| CN102326398A (zh) | 2012-01-18 |
| US20120274635A1 (en) | 2012-11-01 |
| US8284236B2 (en) | 2012-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102326398B (zh) | 在立体显示设备上定位主图像和次图像的方法和系统 | |
| US8294754B2 (en) | Metadata generating method and apparatus and image processing method and apparatus using metadata | |
| US9565415B2 (en) | Method of presenting three-dimensional content with disparity adjustments | |
| TWI444036B (zh) | ２ｄ至３ｄ使用者介面內容資料轉換 | |
| JP4755565B2 (ja) | 立体画像処理装置 | |
| CN102474638B (zh) | 组合3d视频与辅助数据 | |
| EP2462736B1 (en) | Recommended depth value for overlaying a graphics object on three-dimensional video | |
| JP5429034B2 (ja) | 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 | |
| US7660472B2 (en) | System and method for managing stereoscopic viewing | |
| US20100091012A1 (en) | 3 menu display | |
| JP2012518314A (ja) | ３ｄ画像及びグラフィカル・データの結合 | |
| CN102204261A (zh) | 用于处理输入的三维视频信号的方法和系统 | |
| CN101180658A (zh) | 深度感 | |
| EP2524510B1 (en) | System and method for combining 3d text with 3d content | |
| CN103262547B (zh) | 3d图像数据的转移 | |
| US11044456B2 (en) | Image processing method and image player using thereof | |
| US8964000B2 (en) | Apparatus and method for processing digital signal | |
| CN115665461B (zh) | 一种视频录制方法及虚拟现实设备 | |
| JP6391629B2 (ja) | ３ｄテキストを３ｄコンテンツと合成するシステムおよび方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150408 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |