CN116195246A - 使用自适应背景的多视图显示系统及方法 - Google Patents
使用自适应背景的多视图显示系统及方法 Download PDFInfo
- Publication number
- CN116195246A CN116195246A CN202080105391.7A CN202080105391A CN116195246A CN 116195246 A CN116195246 A CN 116195246A CN 202080105391 A CN202080105391 A CN 202080105391A CN 116195246 A CN116195246 A CN 116195246A
- Authority
- CN
- China
- Prior art keywords
- image
- crosstalk
- view
- background
- subject image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 20
- 230000000007 visual effect Effects 0.000 claims description 61
- 230000000694 effects Effects 0.000 claims description 56
- 125000001475 halogen functional group Chemical group 0.000 claims description 16
- 230000006978 adaptation Effects 0.000 claims 2
- 238000013507 mapping Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 9
- 230000004044 response Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- KJLLKLRVCJAFRY-UHFFFAOYSA-N mebutizide Chemical compound ClC1=C(S(N)(=O)=O)C=C2S(=O)(=O)NC(C(C)C(C)CC)NC2=C1 KJLLKLRVCJAFRY-UHFFFAOYSA-N 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
- H04N13/125—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/324—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
- H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一种自适应背景多视图图像显示系统和方法提供改进的多视图图像质量。系统和方法可以涉及生成减少主体图像的第一视图与主体图像的第二视图之间的串扰的串扰数据。主体图像可以是要覆盖在背景图像上的多视图图像。可以基于串扰数据在主体图像中检测串扰违例。根据串扰违例的程度确定背景图像的颜色值或亮度值中的至少一个,以生成背景图像。然后,主体图像可以被覆盖在所生成的背景图像上。
Description
对相关申请的交叉引用
本申请要求2020年9月21日提交的美国临时专利申请序列号63/081274的优先权,该申请整体通过引用并入本文。
关于联邦政府赞助的研究或开发的声明
无
背景技术
取决于观看角度,可以从多个视角观察三维(3D)空间中的对象。另外,当由具有立体视觉的用户观看时,表示对象的不同视角的多个视图可以被同时感知,从而有效地创建可被用户感知的深度感。多视图显示器呈现具有多个视图的图像,以表示对象在3D世界中是被如何感知的。多视图显示器同时呈现不同的视图,以向用户提供真实的体验。然而,通过同时呈现不同的视图,可能在沿着显示器的某些点处,两个或多个视图的部分会相互干扰,导致不太理想的观看体验。具体地,一个视图的一部分可能泄漏到第二个视图上。这种现象被称为‘串扰’,并且表示试图使用多视图显示器呈现对象或3D空间的多个视图的潜在不希望的结果。
附图说明
参照下面结合附图的详细描述,可以更容易地理解根据本文描述的原理的示例和实施例的各种特征,其中相似的附图标记表示相似的结构元素,并且其中:
图1示出了根据与本文描述的原理一致的实施例的示例中的多视图图像。
图2示出了与本文描述的原理一致的串扰的示例。
图3示出了与本文描述的原理一致的串扰消除过程的示例。
图4示出了与本文描述的原理一致的由串扰消除操作产生的视觉伪影的示例。
图5示出了根据与本文描述的原理一致的实施例的分析串扰违例(violation)的示例。
图6示出了根据与本文描述的原理一致的实施例的适应多视图图像的背景的示例。
图7A和图7B示出了根据与本文描述的原理一致的实施例的示例中具有光晕效果的自适应背景。
图8A和图8B示出了根据与本文描述的原理一致的实施例的示例中具有颜色梯度效果的自适应背景。
图9示出了根据与本文描述的原理一致的实施例的适应背景以减轻多视图图像中的视图串扰的系统和方法的流程图。
图10示出了描绘根据本公开的各种实施例的提供多视图显示的计算设备的一个示例图示的示意性框图。
某些示例和实施例具有除了上述附图中所示的特征之外和作为其替代之一的其他特征。下面参照上述附图详细说明这些和其他特征。
具体实施方式
根据本文描述的原理的示例和实施例通过适应背景以遮蔽或隐藏可能存在于多视图图像中的视觉伪像,来提供用户感知的多视图图像的改进质量。具体地,根据一些实施例,可以通过串扰消除操作来处理多视图图像,该串扰消除操作虽然减少了不期望的串扰,但是可能引入视觉伪像,例如沿着多视图图像中的对象的边缘的重影。通过跟踪由执行串扰消除操作导致的串扰违例,背景图像可以具有基于串扰违例的存在、程度或位置而修改的视觉参数(例如,颜色、亮度)。结果,背景图像的整体颜色、色调、亮度或强度可以被修改,以遮蔽或隐藏由串扰消除操作导致的任何重影效果。在其他实施例中,可以基于多视图图像的哪些部分对应于串扰违例而在特定位置处修改背景图像。诸如光晕、颜色梯度或其他颜色/亮度效果的视觉效果可以被应用于背景图像,以在多视图图像被覆盖在背景图像上之后改进所感知的该多视图图像的图像质量。因此,背景图像是‘自适应的’,使得其视觉属性被修改以改善前景、多视图图像的观看体验。
图1示出了根据与本文描述的原理一致的实施例的示例中的多视图图像103。多视图图像103具有多个视图,诸如第一视图106a、第二视图106b、第三视图106c以及第四视图106d。视图106a至视图106d中的每一个对应于不同的视图方向。图1所示的多视图图像103是具有特定深度的多边形。在第一视图106a中,多视图图像103被示出为使得其大部分深度被隐藏。然而,当用户将视角从第二视图106b改变到第三视图106c并且继续改变到第四视图106d时,多视图图像的深度变得越来越可感知。虽然示出了四个视图106a至106d,但是本公开针对任何数量的多个视图。另外,图1的多视图图像103被可视化为具有不同视图106a至106d的可感知图像,然而,当被处理用于显示时,多视图图像103被存储为以记录图像的不同视角的格式的数据。
多视图图像103可以被称为表示用户感兴趣的项的主体图像。主体图像可以是待售物品、人工制品、模型或表示物理对象的任何其他项。主体图像可以覆盖在背景图像109上,其中背景旨在不分散用户对主体图像的注意力。在这方面,背景图像109是旨在将用户的注意力引导到主体图像的图像。
覆盖在背景上的多视图图像103形成由多视图显示器112呈现的最终图像。用户可以通过相对于多视图显示器以不同角度物理地移动他或她的眼睛来感知多视图图像103的不同视图。在其他示例中,用户可以通过触摸、滑动或移动光标或控制器来指令多视图显示器112旋转多视图图像103,来感知多视图图像103的不同视图。多视图图像103的不同视图106a至106d可以由多视图显示器112同时呈现。每个视图106a至106d由多视图显示器112以不同的、对应的主角方向呈现。当呈现多视图图像103以供显示时,视图106a至106d实际上出现在多视图显示器112上或附近。2D显示器可以基本上类似于多视图显示器112,除了2D显示器通常被配置为提供与多视图图像103的不同视图106a至106d相反的单个视图(例如,仅视图106a至106d中的一个)。
在此,‘二维显示器’或‘2D显示器’被定义为被配置为不管从哪个方向观看图像(即,在2D显示器的预定义观看角度或范围内)都提供基本上相同的图像视图的显示器。在很多智能电话和计算机监视器中发现的传统液晶显示器(LCD)是2D显示器的示例。与此相反,‘多视图显示器’被定义为被配置为从用户的视角在不同的视图方向上或从不同的视图方向同时提供多视图图像的不同视图的电子显示器或显示系统。具体地,不同视图106a至106d可以表示多视图图像103的不同视角视图。
多视图显示器112可以使用各种技术来实现,这些技术适应不同图像视图的呈现,使得它们被同时感知。多视图显示器的一个示例是采用衍射光栅来控制不同视图106a至106d的主角方向的显示器。在本文中,‘衍射光栅’通常被定义为多个特征(即,衍射特征),其被排列成提供入射到衍射光栅上的光的衍射。在一些示例中,多个特征可以以周期性或准周期性的方式排列。例如,衍射光栅可以包括排列成一维(1D)阵列的多个特征(例如,在材料表面中的多个沟槽或背脊)。在其他示例中,衍射光栅可以是二维(2D)特征阵列。例如,衍射光栅可以是材料表面上的凸起或孔的2D阵列。应当理解,多视图显示器112可以使用除衍射光栅以外的结构来实现。
根据一些实施例,多视图显示器112可以是光场显示器,其是呈现对应于不同视图的不同颜色和不同方向的多个光束的显示器。在一些示例中,光场显示器是所谓的‘无眼镜’三维(3-D)显示器,其可以使用衍射光栅来提供多视图图像的自动立体表示,而不需要特殊的眼睛佩戴来感知深度。
如图1所示,多视图显示器112包括用于显示覆盖在背景图像109上的多视图图像103的屏幕。例如,屏幕可以是电话(例如,移动电话、智能电话等)、平板计算机、膝上型计算机、台式计算机的计算机监视器、相机显示器或基本上任何其他设备的电子显示器的显示屏。
图2示出了根据与本文描述的原理一致的实施例的串扰的示例。在此,‘串扰’被定义为多视图图像的至少两个视图的混合。例如,在旨在显示第一视图106a的特定观看视角,在呈现第二视图106b的模糊表示的地方可能发生串扰。为此,串扰可能是在显示多视图图像103时的不期望的效果。
图2描绘了在特定观看角度(例如,视角)下的多视图图像103的呈现。在该示例中,多视图图像的第一视图106a旨在呈现给用户。同样,其他视图106b至106d并不旨在以该特定观看角度呈现给用户。还示出了多视图图像103的一部分204。该部分204包括由多视图图像103的一个或多个像素组成的区域。图2的示例示出了沿着多视图图像103的边缘的部分204。被包含在部分204内的视觉内容可以在颜色空间207中以图形方式表示。图2所示的颜色空间207图形化地表示由多视图图像103的部分204的边界定义的物理范围内的(一个或多个)特定颜色的亮度或强度。每个视图106a至106d的颜色的亮度在颜色空间207中以图形方式示出。具体地,关于以特定观看角度观看部分204,第一视图106a具有第一亮度级别210a(如实线所示),第二视图106b具有第二亮度级别210b(如细虚线所示),第三视图106c具有第三亮度级别210c(如虚线所示),并且第四视图106d具有第四亮度级别210d(如粗虚线所示)。
如果不存在串扰,则只有单个视图的亮度会存在,而其他视图的亮度可以忽略不计。然而,在图2的示例中,当以特定角度观看部分204时,第一视图106a被感知为最亮的级别,而其他视图106b至106d泄漏到第一视图106a中。将关于图3进一步详细讨论降低这种串扰。在该示例中,第一视图106a是预期视图,其具有相对最高亮度级别的第一亮度级别210a。其他视图106b至106d被认为是非预期视图,并且可以具有泄漏到第一视图106a中的对应亮度级别210b至210d。
图3示出了根据与本文描述的原理一致的实施例的串扰消除的示例。在此,串扰消除可以被称为反串扰(ACT)操作。串扰消除开始于接收多视图图像并转换成主体图像数据302。主体图像数据302可以是多视图图像的每个视图106a至106d的像素值的矩阵。像素值可以是表示给定颜色通道的像素的颜色的数值。例如,多视图图像103可以被格式化为RGB类型的格式,使得它被表示为红色(R)通道中的红色像素值、绿色(G)通道中的绿色像素值以及蓝色(B)通道中的蓝色像素值。RGB类型格式是由包括但不限于红色、绿色和蓝色的多个颜色通道定义的图像格式的示例。为了说明,纯红色图像可以具有大的红色像素值,同时具有可忽略的绿色像素值和可忽略的蓝色像素值。在某些图像格式中,像素值的范围从零到二百五十五(0-255)。特定颜色的像素值为零意味着该颜色在像素中完全不存在(例如,该特定颜色具有零强度或亮度),而像素值为二百五十五表示该特定颜色的最大强度或亮度。在一些实施例中,主体图像数据302可以表示覆盖在默认背景上的多视图图像103。默认背景可以是纯黑色背景,其中每个颜色通道的像素值为零。如图3所示,当在特定部分(例如,图2的部分204)的特定视图处图形化地表示主体图像数据302时,第一视图106a的第一亮度级别210a是主导的,而不同视图106b至106d的其他亮度级别210b至210d可能泄漏到第一视图106a中并干扰第一视图106a。
对主体图像数据302执行串扰消除操作305。串扰消除操作305可以包括实现执行矩阵算术运算的算法。例如,串扰消除操作305可以包括执行矩阵减法操作,其中从总的对应像素值中减去非预期视图(例如,第二视图106b、第三视图106c、第四视图106d)的像素值。为了举例说明,第一像素可以具有特定颜色通道的特定像素值。该像素可以被引导以产生用于第一视图106a的光束。可以从该特定像素值中减去与第一视图106a之外的视图相关的该颜色通道的像素值。换句话说,特定像素值是不同视图106a至106d的组分像素值的和。通过移除对应于非预期视图的所有组分像素值(例如,通过执行减法运算),结果产生预期视图的像素值。
对主体图像数据302应用串扰消除操作305得到经处理的主体图像数据308。经处理的主体图像数据308表示串扰减少的多视图图像103。当在颜色空间中以图形表示时,第一视图106a(例如,特定视角的预期视图)的第一亮度级别210a可以被稍微修改,而其他视图106b至106d(例如,特定视角的非预期视图)的亮度级别210b至210d被抑制或以其他方式衰减,以减少串扰。图3示出了如何响应于执行串扰消除操作305而隔离第一亮度级别210a。应当注意,串扰消除操作305通过隔离不同视图106a至106d来修改多视图图像103以减少串扰。在执行串扰消除操作305之后,经处理的主体图像数据308可以被格式化为表示多视图图像103的不同颜色通道处的像素值的一个或多个矩阵。
图4示出了根据与本文描述的原理一致的实施例的由串扰消除操作305产生的视觉伪影的示例。串扰消除操作305可以包括减去非预期视图(视图106b至106d)的像素值以隔离预期视图(例如,第一视图106a)的像素值的矩阵运算。串扰消除操作305可能引入降低多视图图像103质量的无意的视觉伪影。图4示出了在串扰消除操作305之后,多视图图像103的特定部分401如何可能具有‘重影’效果415。该部分401可以根据沿着显示器的坐标(示为X[i],Y[i])来识别。这些坐标允许识别和参考部分401的位置。
重影效果415可以在视觉上表现为沿着多视图图像103的边界或边缘的模糊或锐度。重影效果415可能降低图像的质量,并阻碍用户的观看体验而无法感知在多视图显示器112上呈现的清晰、锐利的多视图图像103。
如本文所定义的‘重影效果’(例如,重影效果415)是可能通过执行导致‘负像素’的矩阵减法运算而造成的视觉伪影。‘负像素’被定义为响应于执行像素操作(例如串扰消除操作305)而具有负像素值的像素。负像素在物理上是不可能的,因此在渲染像素以供显示时可以被视为像素值为零的像素。换句话说,图像格式(诸如RGB类型格式)在每个颜色通道内具有预定义的像素值范围。像素值被计算为负(或低于范围),并被自动渲染为位于范围的最小端(例如,零)。
当多视图图像103覆盖在黑色背景上时,重影效果415可能发生在多视图图像103的边缘处或边缘附近。从黑色或深色像素中减去颜色的操作可能会导致负像素。这可能导致重影效果415。如本文所讨论的,生成自适应背景可以减少重影效果415的出现。实施例旨在通过生成主体图像的自适应背景来改进多视图显示器112上的主体图像的视觉质量。通过响应于串扰消除操作305跟踪负像素,可以通过修改不同的视觉参数(例如,颜色、色调、亮度)而不改变主体图像来生成背景。结果,可以在多视图显示器112上呈现视觉愉悦的、无串扰的多视图图像103。如本文所定义的,‘无串扰’指的是已经通过串扰消除操作来从多视图图像中移除串扰的多视图图像。
此外,如本文所使用的,冠词‘一个(a)’旨在具有其在专利领域中的普通含义,即‘一个或多个’。例如,‘处理器’意为一个或多个处理器,并且因此,‘存储器’在本文意为‘一个或多个存储器组件’。
根据本文描述的原理的一些实施例,提供了适应多视图图像103的背景。图5示出了根据与本文描述的原理一致的实施例的在示例中的分析串扰违例的示例。响应于执行串扰消除操作305来跟踪串扰违例。可以关于串扰违例在坐标系中的位置、违例程度或两者来跟踪它们。根据各种实施例,串扰违例然后被用于生成背景图像109,该背景图像109遮蔽由执行串扰消除操作305产生的潜在重影效果415。
图5提供了其中已经接收到主体图像的示例。如图5所示,主体图像是多视图图像103。在一些实施例中,通过在生成自适应背景之前从其原始背景分割出前景图像(例如,主体)来生成作为多视图图像103的主体图像。例如,基于视差的分割过程可以从图像中提取主体以生成主体图像。保持主体图像的不同视图以确保其继续作为多视图图像103被处理。
根据串扰消除操作305处理作为图5中所示的多视图图像103的主体图像,以生成经处理的主体图像数据308。如上所述,串扰消除操作305考虑主体图像的不同视图106a至106d,并使这些不同视图106a至106d之间的泄漏最小化。经处理的主体图像数据308可以被表示为主体图像的每个颜色通道的像素值的矩阵。在这方面,针对主体图像的每个颜色通道执行串扰消除操作305。串扰消除操作305中包含至少两条信息。首先,生成主体图像的新像素值以减少主体图像中的串扰。这用于最终以最小化串扰的方式在多视图显示器112上呈现主体图像。第二,存在串扰违例,例如,图5所示的串扰违例507。在对主体图像执行串扰消除操作305之后,基于主体图像中的负像素值来确定串扰违例。换句话说,负像素的存在可以指示串扰违例。
图5示出了针对每个颜色通道生成的串扰数据509a至509n。可以存在范围从红色通道串扰数据509a至蓝色通道串扰数据509n。每个颜色通道的串扰数据509a至509n构成用于生成无串扰的、多视图主体图像的经处理的主体图像数据308。图5还示出了在主体图像的特定部分401处的每个颜色通道的像素值。例如,像素值被排列成二维矩阵,其中每个像素值对应于特定部分401内的像素。每个像素可以具有相对于图像整体定位像素的对应坐标。在该示例中,特定部分401包含跨越六个像素并向下给出像素的区域,从而构成三十个像素的矩阵,每个像素具有每个颜色通道的像素值。最右上角的像素具有红色像素值一百一(101)和蓝色像素值二十一(21)。例如,最右上角像素的这些像素值可能已经响应于使用原始主体图像执行串扰消除操作305而被修改。虽然图5示出了包含多个像素的特定部分401,但是应当理解,在一些实施例中,特定部分401可以包含单个像素。
如图5所示,串扰消除操作305可能已经对特定颜色通道处的特定像素生成串扰违例。可以通过将特定颜色通道处的像素值与阈值像素值(例如,零)进行比较来确定串扰违例。在该示例中,具有低于零的像素值的所有像素被认为是对应于串扰违例的像素。这在图5中被示为像素值周围有较粗框的像素。应当注意,一些像素对应于特定颜色通道的串扰违例。例如,如图所示,部分401中的最左下角像素在红色通道中具有串扰违例(例如,像素值为负七十七(-77)),而它不对应于蓝色通道中的串扰违例(例如,像素值为三(3))。
根据各种实施例,可以跟踪串扰违例(例如,串扰违例507)。跟踪串扰违例可以涉及识别和记录串扰违例的位置、分析串扰违例的程度或以其他方式量化串扰违例的限度。下面将进一步详细讨论这一点。当串扰违例被跟踪时,经处理的主体图像数据308可以使对应于该串扰违例的像素值被设置为零,以允许在没有负像素的情况下呈现主体图像。然而,通过跟踪串扰违例,生成自适应背景以减轻或甚至模糊在执行串扰消除操作305之后可由主体图像感知的重影效果415。
图6示出了根据与本文描述的原理一致的实施例的适应多视图图像103的背景的示例。可以在主体图像的各个位置处识别串扰违例(例如,图5中示出的串扰违例507)。图6示出了包含对应于串扰违例的至少一个像素的主体图像(被引用为多视图图像103)的部分401的示例。应当理解,可能存在可以对应于串扰违例的分散在主体图像周围的几个像素或部分像素。
基于对一个或多个串扰违例的跟踪,可以生成自适应的背景图像109(即,自适应背景图像)。背景图像109可以从默认背景生成,该默认背景被修改以遮蔽或以其他方式视觉地隐藏由串扰消除操作305造成的重影效果415。例如,包含主体图像的一个或多个像素的部分401可以被映射到背景图像109上的对应位置。例如,主体图像的部分401的坐标可以被映射到背景图像109的对应部分605。
在识别背景图像109的对应部分605的位置时,可以确定一个或多个视觉参数609,然后应用该视觉参数609来修改背景图像109。视觉参数609可以对应于特定颜色通道的色调、亮度、强度、像素值。在一个实施例中,根据串扰违例的位置和程度,为对应于串扰违例(例如,串扰违例507)的每个像素设置背景图像109的像素值。例如,假设在对主体图像执行串扰消除操作305之后,特定像素在主体图像内具有负七十(-70)的红色通道像素值。这意味着特定像素比黑色更黑,这在物理上是不可能的,并且因此是串扰违例。当显示经历串扰消除的主体图像时,特定像素可以具有为零的红色像素值,以指示在特定像素中不存在红色。在这方面,将负像素值设置为零有效地将颜色引入到无串扰的主体图像中。当生成背景图像109时,特定像素的位置可以被映射到背景图像109,以识别对应的背景图像像素。对应的背景图像像素可以使其红色像素值增加,以减轻或补偿串扰违例的移除。例如,上面的特定像素可以使其红色像素增加七十(70),以有效地重新引入作为串扰消除操作305的结果而引入的红色。通过选择性地增加背景图像的颜色或亮度值,背景的增加的颜色或亮度补偿并匹配由主体图像的串扰违例移除导致的增加的颜色或亮度。
根据一些实施例,对于对应于串扰违例的每个像素,可以逐像素地应用像素值的增加。结果,背景图像109的各个像素可以使其不同颜色通道的像素值基于主体图像的串扰违例的位置或程度而被修改。
在其他实施例中,部分401可以包括多个像素。可以针对每个颜色通道计算部分401的平均像素值。如果部分401包含高度串扰违例,则平均像素值可能是负值。部分401可以被映射到背景图像109的对应部分605。可以基于平均像素值将视觉参数609应用于背景图像109的对应部分605。根据一些实施例,应用视觉参数609可以包括将背景图像109的像素值增加部分401的平均像素值。此外,可将视觉参数609应用于每个颜色通道的背景图像109。
在一些实施例中,串扰违例的程度被量化,并且视觉参数609可以全局地应用于背景图像109,而不考虑(一个或多个)串扰违例的(一个或多个)特定位置。例如,对于给定的颜色通道,可以计算所有负像素的平均像素值。背景图像109的颜色通道可以使其像素值在全局级别上增加该平均像素值。因此,可以通过整体地调整背景图像109的颜色、色调或亮度来全局地应用视觉参数609。
图7A和图7B示出了根据与本文描述的原理一致的实施例的示例中具有光晕效果703的自适应背景。光晕效果703是通过从沿径向向外的点修改视觉参数609而生成的。向外修改视觉参数609的结果是具有变化的颜色、色调、亮度或强度的圆形或类似圆形的图案。例如,光晕效果703的中心可以从绿色色调开始并径向延伸,从而产生朝向深绿色色调的梯度。光晕效果703可以是完全圆形、半圆形或以其他方式的部分圆形。光晕效果703可以由内部视觉参数609和外部视觉参数609定义,其中视觉参数609在内部和外部视觉参数609之间的值增加或减少。根据各种实施例,视觉参数609的增加或减少的速率可以是线性的或指数的。
为了生成光晕效果703,可以识别主体图像中包含串扰违例的部分。主体图像的这一部分可以被映射到背景图像109的对应部分605。一旦识别了对应部分605的位置,就生成光晕效果703使得对应部分605的位置形成光晕的中心或外边缘。基于对应部分605的位置,调整背景图像109的视觉参数609以创建光晕效果703。可以针对每个颜色通道确定光晕效果703的颜色、亮度、色调或强度。此外,光晕效果703的颜色、亮度、色调或强度可以基于对应于串扰违例的像素的负像素值。可以沿径向修改不同像素的像素值以形成光晕效果。
图7B示出了将作为多视图图像103的无串扰的(例如,根据串扰消除操作305处理的)主体图像叠加在背景图像109上,背景图像109被适应以模糊由串扰消除操作305造成的任何重影效果(例如,重影效果415)。如图7B所示,背景图像109被适应有光晕效果703,该光晕效果被选择性地定位以遮蔽、隐藏或模糊出现在主体图像边缘的潜在重影效果。结果,由重影效果造成的模糊度在视觉上与光晕效果703匹配,以在不修改主体图像的情况下向无串扰主体图像提供整体锐度。
图8A和图8B示出了根据与本文描述的原理一致的实施例的示例中具有颜色梯度效果808的自适应背景。颜色梯度效果808类似于图7A中描述的光晕效果703,但是可以使梯度沿着单一方向延伸,而不是径向延伸。颜色梯度效果808可以具有朝向终点变化(例如,增加、减少)的开始视觉参数。颜色梯度效果808可以开始于基于背景图像109的对应部分605的位置的位置,该对应部分605映射到主体图像的包含串扰违例的部分401。可以沿特定方向修改不同像素的像素值以形成梯度效果。
在一些实施例中,通过检测由对应于与串扰违例相关联的像素值的像素集形成的边缘来识别主体图像的包含串扰违例的部分401的位置。可以通过确定是否存在对应于在特定方向(例如,水平、垂直、对角线、弯曲等)上排列或对齐的串扰违例的一系列像素来检测边缘。可以基于沿着特定方向对应于阈值违例的像素数量是否超过阈值数量来检测边缘。例如,假设阈值是二十个像素,如果沿着特定方向有至少二十个连续像素对应于阈值违例,则这可以构成边缘。
一旦检测到对应于阈值违例的像素的边缘时,可以记录该边缘的位置。该位置可以存储为像素坐标。在图8A的示例中,对应部分605被确定为使得其包含主体图像的串扰违例的边缘。当生成背景图像109时,对应部分605的位置和取向可以被用于创建颜色梯度效果808。例如,颜色梯度效果808可以被生成为使得它沿着边缘开始并远离对应于背景图像109的边界的位置的主体图像的位置前进。
图8B示出了将作为多视图图像103的无串扰的(例如,根据串扰消除操作305处理的)主体图像叠加在背景图像109上,背景图像109被适应以模糊由串扰消除操作造成的任何重影效果。如图8B所示,背景图像109适应有颜色梯度效果808,该颜色梯度效果808被选择性地定位以遮蔽、隐藏或模糊出现在主体图像边缘的潜在重影效果415。由重影效果造成的模糊度可以在视觉上与颜色梯度效果808匹配,以在不修改主体图像的情况下向无串扰主体图像提供整体锐度。
图9是示出根据各种实施例的适应多视图图像的背景的功能的示例的流程图。图9的流程图提供了由应用或可由计算设备执行的其他指令集实现的不同类型的功能的一个示例。作为替代,图9的流程图可以被视为描绘了根据一个或多个实施例的在计算设备中实现的方法的元素的示例。
在项904处,计算设备接收主体图像,其中主体图像被配置为覆盖在背景图像(例如,背景图像109)上。主体图像可以是由两个或更多个视图组成的多视图图像103。主体图像可以被格式化为由多个颜色通道定义的图像格式。例如,图像格式可以是记录不同颜色通道的像素值的类似格式的RGB格式(红绿蓝格式)。
可以通过从初始图像中提取主体的内容来生成主体图像。在这方面,所得到的主体图像可以没有背景或否则是默认背景(例如,纯黑色背景)。例如,主体图像可以是从初始图像中提取的并覆盖在默认背景上,其中默认背景针对每个颜色通道将像素值设置为零。
在项907处,计算设备执行串扰消除操作以生成串扰数据。例如,上述串扰消除操作305可以用于生成串扰数据509a至509n。根据各种实施例,可以对主体图像的每个颜色通道执行串扰消除操作,从而得到为每个颜色通道单独生成的串扰数据。例如,如果以RGB格式格式化的主体图像有三个颜色通道,则计算设备可以生成红色通道串扰数据、绿色通道串扰数据和蓝色通道串扰数据。串扰数据被用于最小化主体图像中的串扰。如上所述,串扰消除操作305可以包括矩阵减法运算,以移除泄漏到预期视图中的非预期视图。例如,可以从特定位置处的主体图像的像素值中减去第一视图(例如,第一视图106a)的像素值,以强调第二视图(例如,第二视图106b)。因此,串扰消除操作可以从主体图像移除红色、绿色和蓝色像素值,以隔离特定视角的单个视图。
在项910处,计算设备识别串扰违例。串扰数据可以包括一个或多个串扰违例。可以基于主体图像中的负像素值来确定串扰违例。这将应用零像素值的阈值。在一些实施例中,在确定像素是否对应于串扰违例时,可以考虑像素值的负值程度。例如,如果像素值比负十(-10)更负值,则可以检测到串扰违例507。
在一些实施例中,串扰违例507基于由多个像素组成的部分(例如,部分401)上的像素值的平均值(例如,平均值、中值、模值)来确定。如果平均像素值低于阈值(例如零),则该部分像素可以被认为包含串扰违例。可以根据基于像素的坐标系来定位、参考和识别主体图像的包含串扰违例的部分。
串扰违例可以被量化以便确定串扰违例的程度。例如,可以针对对应于负像素的所有像素确定平均像素值。如果串扰违例被定义为负像素,则串扰违例的平均程度可以通过仅对负像素的像素值求平均来确定。
因此,实施例旨在识别串扰数据内的串扰违例。可以记录串扰违例的位置(例如,存储对应于串扰违例的像素的像素坐标),可以记录串扰违例的程度(例如,基于对应于串扰违例的像素的像素值来存储像素值或其他统计数据)或者它们的组合。
因为串扰违例(例如,负像素的存在)可能够通过串扰消除过程引入,所以串扰违例可以通过将负像素值设置为零或由图像格式定义的某个其他最小值来移除。例如,图像格式可以将像素值定义为在0与255之间。如果串扰消除操作导致像素值低于该范围(例如,负像素值),则这导致串扰违例。可以通过将像素值设置为最小值(例如0),同时还跟踪串扰违例以生成自适应背景来移除这种串扰违例。
在项913处,计算设备修改背景图像(例如,背景图像109)的视觉参数(例如,视觉参数609)。视觉参数可以是颜色值或亮度值。视觉参数可以影响背景图像的颜色、色调、亮度或强度。视觉参数可以是特定颜色通道(例如,红色通道、绿色通道、蓝色通道等)的像素值。根据各种实施例,可以基于串扰违例的检测来确定视觉参数。如果移除串扰违例导致从主体图像添加一定量的红色和绿色,则可以将相似量的红色和绿色添加到背景图像,以匹配由移除串扰违例导致的颜色。例如,串扰消除操作可能导致像素具有负七十(-70)的红色通道像素值、负一百(-100)的绿色通道像素值和正八十(80)的蓝色通道。由于负像素的存在,该特定像素可以被识别为关于红色和绿色通道而不是蓝色通道具有串扰违例的像素。当串扰被从主体图像移除时,串扰违例可以通过将负像素值设置为零从而增加颜色值来移除。在该示例中,像素可以将其红色和绿色通道像素值设置为零,而其蓝色通道像素值保持在八十(80)。通过将负像素值转换为零,串扰违例的移除造成主体图像中像素的红色和绿色像素值的增加。
为了创建减轻重影效果的自适应背景,修改背景图像的视觉参数以补偿或匹配串扰违例的移除。这创建了通过增加背景图像的颜色和/或亮度值使背景适于与重影效果混合的一种视觉效果。使用上面的示例,对于红色通道,背景图像的像素值可以增加七十(70),对于绿色通道,背景图像的像素值可以增加一百(100)。这些值的增加可以在主体图像的串扰违例的位置处或附近,或者可以全局应用。如果背景图像以默认的黑色图像开始,则至少一些像素可以被设置为红色通道七十(70)以及绿色通道一百(100)的值。
根据各种实施例,串扰违例可以针对特定像素、包含多个像素的部分或针对整个主体图像进行量化。在一些实施例中,当覆盖多个像素时,串扰违例可以被量化为每个颜色通道的平均像素值。
在确定视觉参数之后,将视觉参数应用于背景图像,以使背景图像自适应,从而遮蔽或隐藏由串扰消除操作产生的无意视觉伪影。背景图像可以以诸如具有统一颜色的背景的默认图像开始。在一些实施例中,背景图像以默认黑色图像开始,其中所有颜色值都设置为零。然后,视觉参数被应用于默认背景图像。在一些实施例中,默认背景图像的颜色值基于串扰违例的程度均匀地增加。增加默认背景图像的颜色值可以包括将特定颜色或色调添加到默认背景图像,其中通过跟踪串扰违例的程度来确定颜色色调的颜色值。
在一些实施例中,与串扰违例相关联的部分的位置被用于调整在背景图像中具有对应位置的对应部分的视觉属性。例如,如果主体图像的左上部在蓝色通道中包含大程度的串扰违例,则类似程度的蓝色(例如,蓝色像素值)可以被添加到背景图像的左上部。
在一些实施例中,识别与串扰违例相关联的部分的位置并将其映射到背景图像的对应部分。可以基于背景图像的对应部分来应用光晕效果(例如,光晕效果703)、梯度效果(例如,颜色梯度效果808)或其他视觉效果。可以改变视觉参数以通过添加反映由于串扰消除操作而丢失的颜色的颜色或亮度来达到视觉效果。
在项917处,计算设备将主体图像覆盖在生成的背景图像上。主体图像是可能已经被串扰消除操作修改的多视图图像。在这方面,主体图像被认为是‘无串扰’的,使得串扰被减少或最小化。另外,当这样时,通过执行串扰消除操作、跟踪串扰违例、移除串扰违例以及修改背景图像的视觉参数以补偿由于移除串扰违例而导致的颜色增加来生成自适应背景。这导致背景图像是自适应的,使得它与串扰消除操作引入的视觉伪影混合。
在项917处,无串扰主体图像被覆盖在背景图像上。覆盖无串扰主体图像可以包括将来自背景图像的像素值与主体图像的对应像素值相加。然后可以渲染最终图像以在多视图显示器(例如,多视图显示器112)上显示,该最终图像是其中主体图像(无串扰)覆盖在背景图像(基于智能地应用视觉参数是自适应的)上的最终图像。
虽然实施例针对要过载在被适应以补偿通过串扰消除引入的视觉伪影的背景图像上的主体图像,但其他实施例针对以主体图像和背景图像两者的组合开始的多视角图像上的操作。可以从多视图图像中识别主体图像。例如,用户可以选择多视图图像的区域来指定为主体图像。在其他实施例中,计算机图像识别技术可以自动识别多视图图像中的主体图像。边缘检测操作可以自动识别多视图图像内的主体图像。在识别主体图像之后,多视图图像的剩余部分可以被指定为背景图像。可以对主体图像执行串扰消除操作。可以识别、跟踪和移除串扰违例。基于串扰违例的位置、程度或两者,可以修改背景图像的视觉参数以补偿由于移除串扰违例而导致的颜色增加。得到的图像是多视图图像,其中所识别的主体是无串扰的,并且其中背景被适应以模糊由串扰消除造成的任何重影效果。
上面讨论的图9的流程图可以示出具有指令集实现的功能和操作的适应背景图像的系统或方法。如果体现在软件中,每个框可以表示包括实现指定逻辑功能的指令的代码的模块、段或部分。指令可以以包括用编程语言编写的人类可读语句的源代码、从源代码编译出的目标代码或包括可由适当的执行系统(诸如处理器计算设备)识别的数字指令的机器码的形式来体现。机器码可以从源代码等转换而来。如果体现在硬件中,则每个块可以表示一个电路或多个互连电路来实现指定的逻辑功能。
尽管图9的流程图示出了特定的执行顺序,但是应当理解,执行顺序可以不同于所描绘的顺序。例如,两个或多个框的执行顺序可以相对于所示的顺序被打乱。而且,所示的两个或多个框可以同时执行或部分同时执行。此外,在一些实施例中,可以跳过或省略一个或多个框。
图10是描绘根据本公开的各种实施例的提供多视图显示的计算设备1000的示例图示的示意性框图。计算设备1000可以包括为计算设备1000的用户执行各种计算操作的组件系统。计算设备1000可以是膝上型计算机、平板电脑、智能电话、触摸屏系统、智能显示系统或其他客户端设备。计算设备1000可以包括各种组件,诸如处理器1003、存储器1006、输入/输出(I/O)组件1009、显示器1012以及潜在的其他组件。这些组件可以耦合到用作本地接口的总线1015,以允许计算设备1000的组件彼此通信。尽管计算设备1000的组件被示出为包含在计算设备1000内,但是应当理解,至少一些组件可以通过外部连接耦合到计算设备1000。例如,组件可以经由外部端口、插座、插头或连接器从外部插入计算设备1000或以其他方式与计算设备1000连接。
处理器1003可以是中央处理单元(CPU)、图形处理单元(GPU)或执行计算处理操作的任何其他集成电路。处理器1003可以包括一个或多个处理核心。处理器1003包括执行指令的电路。指令包括例如由处理器1003接收并执行的计算机代码、程序、逻辑或其他机器可读指令,以执行指令中体现的计算功能。处理器1003可以执行指令来对数据进行操作。例如,处理器1003可以接收输入数据(例如,图像),根据指令集处理输入数据,并生成输出数据(例如,经处理的图像)。作为另一个示例,处理器1003可以接收指令并生成用于后续执行的新指令。
存储器1006可以包括一个或多个存储器组件。在本文中,存储器1006被定义为包括易失性存储器和非易失性存储器之一或两者。易失性存储器组件是那些在断电时不保留信息的组件。易失性存储器可以包括例如随机存取存储器(RAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、磁性随机存取存储器(MRAM)或其他易失性存储器结构。系统存储器(例如,主存储器、高速缓存等)可以使用易失性存储器来实现。系统存储器是指可以临时存储用于快速读写访问的数据或指令以辅助处理器1003的快速存储器。
非易失性存储器组件是那些在断电时保留信息的组件。非易失性存储器包括只读存储器(ROM)、硬盘驱动器、固态驱动器、USB闪存驱动器、经由存储卡读卡器访问的存储卡、经由相关联的软盘驱动器访问的软盘、经由光盘驱动器访问的光盘、经由适当的磁带驱动器访问的磁带。ROM可以包括例如可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或其他类似存储器设备。存储存储器可以使用非易失性存储器来实现,以提供数据和指令的长期保持。
存储器1006可以指用于存储指令以及数据的易失性和非易失性存储器的组合。例如,数据和指令可以存储在非易失性存储器中,并加载到易失性存储器中,以便由处理器1003进行处理。指令的执行可以包括,例如,被翻译成机器码然后由处理器1003运行的编译程序,其格式可以从非易失性存储器加载到易失性存储器中,被转换成合适格式的源代码,诸如能够被加载到易失性存储器中以由处理器1003执行的目标代码,或者由另一可执行程序解释以在易失性存储器中生成指令并由处理器1003执行的源代码,等等。指令可以存储或加载在存储器1006的任何部分或组件中,包括例如RAM、ROM、系统存储器、存储器或其任何组合。
尽管存储器1006被示出为与计算设备1000的其他组件分离,但是应当理解,存储器1006可以至少部分地嵌入或以其他方式集成到一个或多个组件中。例如,处理器1003可以包括板载存储器寄存器或高速缓存以执行处理操作。
I/O组件1009包括例如触摸屏、扬声器、麦克风、按钮、开关、拨号盘、相机、传感器、加速度计或接收用户输入或生成指向用户的输出的其他组件。I/O组件1009可以接收用户输入并将其转换成数据以存储在存储器1006中或由处理器1003处理。I/O组件1009可以接收由存储器1006或处理器1003输出的数据,并将它们转换成用户可感知的格式(例如,声音、触觉响应、视觉信息等)。
特定类型的I/O组件1009是显示器1012。显示器1012可以包括多视图显示器、与2D显示器组合的多视图显示器或呈现图像的任何其他显示器。用作I/O组件1009的电容式触摸屏层可以在显示器内分层,以允许用户在同时感知视觉输出的同时提供输入。处理器1003可以生成被格式化为用于在显示器1012上呈现的图像的数据。处理器1003可以执行指令以在显示器上呈现图像供用户感知。
总线1015有助于处理器1003、存储器1006、I/O组件1009、显示器1012与计算设备1000的任何其他组件之间的指令和数据的通信。总线1015可以包括地址转换器、地址解码器、纤维(fabric)、导电迹线、导线、端口、插头、插座和其他连接器,以允许数据和指令的通信。
存储器1006内的指令可以以实现软件栈的至少一部分的方式以各种形式实现。例如,指令可以体现为操作系统1031、应用程序1034、设备驱动程序(例如,显示驱动程序1037)、固件(例如,显示固件1040)或其他软件组件。操作系统1031是支持计算设备1000的基本功能(诸如调度任务、控制I/O组件1009、提供对硬件资源的访问、管理功率和支持应用1034)的软件平台。
应用程序1034在操作系统1031上执行,并且可以经由操作系统1031获得对计算设备1000的硬件资源的访问。在这方面,应用程序1034的执行至少部分地由操作系统1031控制。应用程序1034可以是向用户提供高级功能、服务和其他功能的用户级软件程序。在一些实施例中,应用程序1034可以是用户在计算设备1000上可下载或以其他方式可访问的专用‘应用(app)’。用户可以经由操作系统1031提供的用户界面启动应用程序1034。应用程序1034可以由开发者开发并以各种源代码格式定义。应用程序1034可以使用许多编程或脚本语言来开发,例如C、C++、C#、Objective C、Swift、/>Perl、PHP、VisualRuby、Go或其他编程语言。应用程序1034可以由编译器编译成目标代码或由解释器解释以供处理器1003执行。
诸如显示驱动程序1037的设备驱动程序包括允许操作系统1031与各种I/O组件1009通信的指令。每个I/O组件1009可以具有其自己的设备驱动程序。可以安装设备驱动程序,使得它们存储在存储器中并加载到系统存储器中。例如,在安装时,显示驱动程序1037将从操作系统1031接收的高级显示指令翻译成由显示器1012实现的低级指令以显示图像。
诸如例如显示固件1040的固件可以包括允许I/O组件1009或显示器1012执行低级操作的机器码或汇编码。固件可以将特定组件电信号转换成更高级别的指令或数据。例如,显示固件1040可以通过调节电压或电流信号来控制显示器1012如何在低级别激活各个像素。固件可以被存储在非易失性存储器中并直接从非易失性存储器执行。例如,显示固件1040可以体现在耦合到显示器1012的ROM芯片中,使得ROM芯片与计算设备1000的其他存储器和系统存储器分离。显示器1012可以包括用于执行显示固件1040的处理电路。
操作系统1031、应用程序1034、驱动程序(例如,显示驱动程序1037)、固件(例如,显示固件1040)、以及潜在的其他指令集可以各自包括可由计算设备1000的处理器1003或其他处理电路执行以执行上述功能和操作的指令。尽管本文描述的指令可以如上所述体现在由处理器1003执行的软件或代码中,但是作为替代,指令也可以体现在专用硬件或软件和专用硬件的组合中。例如,由上面讨论的指令执行的功能和操作可以被实现为采用多种技术中的任何一种或多种技术的组合的电路或状态机。这些技术可以包括但不限于具有用于在应用一个或多个数据信号时实现各种逻辑功能的逻辑门的分立逻辑电路、具有适当逻辑门的专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他组件等。
在一些实施例中,执行上述功能和操作的指令可以体现在非暂时性的计算机可读存储介质中。计算机可读存储介质可以是或可以不是计算设备1000的一部分。指令可以包括例如可以从计算机可读介质获取并由处理电路(例如,一个或多个处理器1003)执行的语句、代码或声明。在本公开的上下文中,‘计算机可读介质’可以是可以包含、存储或维护本文描述的指令以供指令执行系统(例如计算设备1000)使用或与指令执行系统结合使用的任何介质。
计算机可读介质可以包括诸如磁性、光学或半导体介质的很多物理介质中的任何一种。合适的计算机可读介质的更具体的示例可以包括但不限于磁带、磁性软盘、磁性硬盘驱动器、存储卡、固态驱动器、USB闪存驱动器或光盘。而且,计算机可读介质可以是随机存取存储器(RAM),包括例如静态随机存取存储器(SRAM)和动态随机存取存储器(DRAM),或者磁性随机存取存储器(MRAM)。另外,计算机可读介质可以是只读存储器
(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或其他类型的存储器设备。
计算设备1000可以执行上述任何操作或实现上述功能。例如,上面讨论的流程图和处理流程可以由执行指令和处理数据的计算设备1000来执行。尽管计算设备1000被示出为单个设备,但是本公开不限于此。在一些实施例中,计算设备1000可以以分布式方式卸载指令的处理,使得多个计算设备1000一起操作以执行可以以分布式布置存储或加载的指令。例如,至少一些指令或数据可以在与计算设备1000协同操作的基于云的系统中存储、加载或执行。
因此,已经描述了适应多视图图像的背景、跟踪串扰违例、以及调整背景图像109的视觉参数以遮蔽或隐藏由串扰消除操作产生的重影效果和其他不期望的视觉伪像的示例和实施例。应当理解,上述示例仅仅是表示本文所述原理的很多具体示例中的一些示例。显然,本领域技术人员可以在不脱离由所附权利要求书限定的范围的前提下容易地设计出很多其他布置。
Claims (20)
1.一种适应多视图图像的背景的计算机实现的方法,所述方法包括:
生成串扰数据以减少主体图像的第一视图与所述主体图像的第二视图之间的串扰,所述主体图像包括要覆盖在背景图像上的多视图图像,其中所述串扰数据的部分包括串扰违例;
基于所述串扰违例的位置或程度中的至少一个来修改所述背景图像的视觉参数,以补偿移除所述主体图像中的所述串扰违例;以及
将所述主体图像覆盖在所述背景图像上,所述主体图像和背景图像被呈现在多视图显示器上。
2.根据权利要求1所述的适应多视图图像的背景的方法,其中,生成所述串扰数据包括分别为所述主体图像的所述第一视图和所述主体图像的所述第二视图的每个颜色通道生成所述串扰数据。
3.根据权利要求1所述的适应多视图图像的背景的方法,其中,基于所述主体图像的像素值低于阈值像素值来确定所述串扰违例。
4.根据权利要求1所述的适应多视图图像的背景的方法,其中,确定所述视觉参数包括基于所述串扰违例的所述位置来增加所述背景图像的颜色值或亮度值中的至少一个。
5.根据权利要求1所述的适应多视图图像的背景的方法,其中,所述背景图像包括根据所述串扰违例的所述位置而定位的光晕或颜色梯度中的至少一个。
6.根据权利要求1所述的适应多视图图像的背景的方法,其中,通过将对应于所述串扰违例的像素值设置为零,来从所述主体图像中移除所述串扰违例。
7.根据权利要求1所述的适应多视图图像的背景的方法,还包括通过检测由对应于与所述串扰违例相关联的像素值的像素集合形成的边缘来识别所述串扰违例的所述位置。
8.一种采用自适应背景的多视图图像显示系统,所述系统包括:
处理器;以及
存储器,存储多个指令,所述多个指令在被执行时使所述处理器:
接收被配置为覆盖在背景图像上的主体图像,所述主体图像是多视图图像;
执行串扰消除操作以基于所述主体图像的第一视图和所述主体图像的第二视图生成串扰数据;
基于所述串扰数据来识别所述主体图像的与串扰违例相关联的部分;以及
在对应于所述主体图像的所识别出的部分的位置处修改所述背景图像的视觉参数,所述主体图像和背景图像被配置为在多视图显示器上呈现。
9.根据权利要求8所述的用于适应多视图图像的背景的系统,其中,基于所述主体图像中的负像素值来确定所述串扰违例。
10.根据权利要求8所述的用于适应多视图图像的背景的系统,其中,所述主体图像能够以由多个颜色通道定义的格式被格式化。
11.根据权利要求10所述的用于适应多视图图像的背景的系统,其中,针对所述多个颜色通道中的每个颜色通道分别生成所述串扰数据。
12.根据权利要求8所述的用于适应多视图图像的背景的系统,其中,所述视觉参数包括颜色像素值或亮度像素值中的至少一个。
13.根据权利要求8所述的用于适应多视图图像的背景的系统,其中,所述多个指令在被执行时还使所述处理器:确定所述视觉参数,以基于识别所述主体图像的所述部分的位置、并将所述位置映射到所述背景图像上的所述位置,来生成光晕效果或颜色梯度中的至少一个。
14.根据权利要求8所述的用于适应多视图图像的背景的系统,其中,通过将对应于所述串扰违例的像素值设置为零,来从所述主体图像中移除所述串扰违例,所述视觉参数被修改以补偿移除所述串扰违例。
15.根据权利要求8所述的用于适应多视图图像的背景的系统,其中,所述多个指令在被执行时还使所述处理器:通过识别具有低于阈值像素值的平均像素值的像素组来识别所述部分的位置。
16.一种存储可执行指令的非暂时性计算机可读存储介质,所述指令在由计算机系统的处理器执行时,实现对背景图像的适应,包括:
生成串扰数据以减少主体图像的第一视图与所述主体图像的第二视图之间的串扰,所述主体图像包括多视图图像;
基于所述串扰数据来检测所述主体图像中的串扰违例;
根据所述串扰违例的程度在所述背景图像的像素值处进行修改;以及
将所述主体图像覆盖在所述背景图像上,所述主体图像和背景图像被配置为呈现在多视图显示器上。
17.根据权利要求16所述的非暂时性计算机可读存储介质,其中,所述可执行指令在由所述计算机系统的所述处理器执行时,进一步实现对所述背景图像的适应,包括:
确定所述主体图像的对应于所述串扰违例的部分的位置;以及
根据所确定的位置来设置所述背景图像的所述像素值。
18.根据权利要求17所述的非暂时性计算机可读存储介质,其中,所述背景图像的所述像素值包括被设置为形成根据所述部分的所述位置而定位的光晕的不同像素的像素值。
19.根据权利要求17所述的非暂时性计算机可读存储介质,其中,所述背景图像的所述像素值包括被设置为基于所述部分的所述位置形成颜色梯度的多个不同像素值。
20.根据权利要求16所述的非暂时性计算机可读存储介质,其中,生成所述串扰数据包括分别为所述主体图像的所述第一视图和所述主体图像的所述第二视图的每个颜色通道生成串扰数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063081274P | 2020-09-21 | 2020-09-21 | |
US63/081,274 | 2020-09-21 | ||
PCT/US2020/055946 WO2022060387A1 (en) | 2020-09-21 | 2020-10-16 | Multiview display system and method with adaptive background |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116195246A true CN116195246A (zh) | 2023-05-30 |
Family
ID=80777022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080105391.7A Pending CN116195246A (zh) | 2020-09-21 | 2020-10-16 | 使用自适应背景的多视图显示系统及方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20230217000A1 (zh) |
EP (1) | EP4214924A4 (zh) |
JP (1) | JP2023545634A (zh) |
KR (1) | KR20230061492A (zh) |
CN (1) | CN116195246A (zh) |
CA (1) | CA3193491A1 (zh) |
TW (1) | TWI830056B (zh) |
WO (1) | WO2022060387A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11719930B2 (en) * | 2020-09-07 | 2023-08-08 | Samsung Electronics Co., Ltd. | Method and apparatus with crosstalk correction |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2336963A (en) * | 1998-05-02 | 1999-11-03 | Sharp Kk | Controller for three dimensional display and method of reducing crosstalk |
EP1851727A4 (en) * | 2005-02-23 | 2008-12-03 | Craig Summers | AUTOMATIC SCENES MODELING FOR 3D CAMERA AND 3D VIDEO |
US8000005B2 (en) * | 2006-03-31 | 2011-08-16 | Prysm, Inc. | Multilayered fluorescent screens for scanning beam display systems |
US8085217B2 (en) * | 2006-08-08 | 2011-12-27 | Nvidia Corporation | System, method, and computer program product for compensating for crosstalk during the display of stereo content |
US20090244266A1 (en) * | 2008-03-26 | 2009-10-01 | Thomas Carl Brigham | Enhanced Three Dimensional Television |
JP5761522B2 (ja) * | 2009-12-04 | 2015-08-12 | Nltテクノロジー株式会社 | 立体表示装置、立体表示用画像データ生成方法、及びそのプログラム |
JP2011244079A (ja) * | 2010-05-14 | 2011-12-01 | Canon Inc | 立体映像制御装置及び立体映像制御方法 |
US20140192170A1 (en) * | 2011-08-25 | 2014-07-10 | Ramin Samadani | Model-Based Stereoscopic and Multiview Cross-Talk Reduction |
EP2624569B1 (en) * | 2012-02-06 | 2016-09-28 | Harvest Imaging bvba | Method for correcting image data from an image sensor having image pixels and non-image pixels, and image sensor implementing the same |
US9509970B2 (en) * | 2012-07-18 | 2016-11-29 | Qualcomm Incorporated | Crosstalk reduction with location-based adjustment in multiview video processing |
US20140085432A1 (en) * | 2012-09-27 | 2014-03-27 | 3M Innovative Properties Company | Method to store and retrieve crosstalk profiles of 3d stereoscopic displays |
CN103974055B (zh) * | 2013-02-06 | 2016-06-08 | 城市图像科技有限公司 | 3d照片生成系统及方法 |
KR101966152B1 (ko) * | 2014-08-07 | 2019-04-05 | 삼성전자주식회사 | 다시점 영상 디스플레이 장치 및 그 제어 방법 |
US10539806B2 (en) * | 2017-03-02 | 2020-01-21 | SK Commercial Construction, Inc. | Enhanced transparent display screen for mobile device and methods of operation |
-
2020
- 2020-10-16 JP JP2023518114A patent/JP2023545634A/ja active Pending
- 2020-10-16 CN CN202080105391.7A patent/CN116195246A/zh active Pending
- 2020-10-16 KR KR1020237011296A patent/KR20230061492A/ko not_active Application Discontinuation
- 2020-10-16 EP EP20954310.7A patent/EP4214924A4/en active Pending
- 2020-10-16 CA CA3193491A patent/CA3193491A1/en active Pending
- 2020-10-16 WO PCT/US2020/055946 patent/WO2022060387A1/en unknown
-
2021
- 2021-08-27 TW TW110131899A patent/TWI830056B/zh active
-
2023
- 2023-03-15 US US18/122,037 patent/US20230217000A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4214924A1 (en) | 2023-07-26 |
WO2022060387A1 (en) | 2022-03-24 |
TW202220439A (zh) | 2022-05-16 |
CA3193491A1 (en) | 2022-03-24 |
JP2023545634A (ja) | 2023-10-31 |
KR20230061492A (ko) | 2023-05-08 |
TWI830056B (zh) | 2024-01-21 |
EP4214924A4 (en) | 2024-08-14 |
US20230217000A1 (en) | 2023-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10636125B2 (en) | Image processing apparatus and method | |
CN106462986A (zh) | 用于数字图像的颜色处理的方法和系统 | |
KR101710966B1 (ko) | 이미지 안티 에일리어싱 방법 및 장치 | |
US20230217000A1 (en) | Multiview display system and method with adaptive background | |
CN117036571B (zh) | 图像数据生成、视觉算法模型训练、评测方法及装置 | |
US20230290046A1 (en) | Multiview display system and method employing multiview image convergence plane tilt | |
US10114447B2 (en) | Image processing method and apparatus for operating in low-power mode | |
JP2021532470A (ja) | 視覚的ノイズ低減のための深度レイ層 | |
CN112567430A (zh) | 图像生成装置、图像生成方法和程序 | |
Rößing et al. | Real‐Time Disparity Map‐Based Pictorial Depth Cue Enhancement | |
US20240153200A1 (en) | View synthesis system and method using depth map | |
TWI852053B (zh) | 使用深度圖的視像合成系統和方法 | |
US7724253B1 (en) | System and method for dithering depth values | |
US20230412789A1 (en) | Multiview image creation system and method | |
GB2573593A (en) | Augmented reality rendering method and apparatus | |
KR102214439B1 (ko) | 저전력 모드를 위한 영상 처리 방법 및 장치 | |
WO2022173611A1 (en) | Light field camera system and method of setting baseline and convergence distance | |
CN116888957A (zh) | 检测多视图文件格式的系统和方法 | |
JP2010226443A (ja) | 立体画像描画装置および描画方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40088146 Country of ref document: HK |