CN104471931B

CN104471931B - 多视图视频处理中的串扰降低

Info

Publication number: CN104471931B
Application number: CN201380037549.1A
Authority: CN
Inventors: 格克切·戴恩; 瓦苏德弗·巴斯卡兰
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2012-07-18
Filing date: 2013-06-18
Publication date: 2016-08-17
Anticipated expiration: 2033-06-18
Also published as: US9083948B2; WO2014014601A1; CN104471931A; US20140022339A1

Abstract

在一个实例中，一种方法包含识别在多视图图像帧的对应对中的在相同位置对中的像素的第一集合，其中所述相同位置对具有大于选定视差阈值的在所述像素之间的视差。所述方法进一步包含识别在大于选定强度转变阈值的强度转变的选定距离内的所述图像帧中的至少一者中的像素的第二集合。所述方法进一步包含对经识别为在所述第一集合及所述第二集合中的至少一者中的像素应用串扰校正。

Description

多视图视频处理中的串扰降低

技术领域

本发明涉及用于视频处理的技术，且更具体来说，涉及用于多视图视频处理的技术。

背景技术

数字视频能力可并入到广泛范围的装置中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其类似物。数字视频装置实施视频压缩技术，例如通过MPEG-2、MPEG-4、ITU-T H.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)、目前正在开发的高效率视频译码(HEVC)标准和此些标准的扩展部分定义的标准中描述的技术，以便更有效地发射、接收和存储数字视频信息。

前述标准中的一些的扩展(包含H.264/AVC)提供用于进行多视图视频译码以便产生立体声或三维(“3D”)视频的技术。确切地说，已将用于多视图译码的技术用于可缩放视频译码(SVC)标准(其为对H.264/AVC的可缩放扩展)及多视图视频译码(MVC)标准(其变为对H.264/AVC的多视图扩展)。对于HEVC标准，也可开发SVC及MVC扩展。

通常，使用两个视图(例如，左视图及右视图)达成立体声视频。左视图的图片实质上可与右视图的图片同时显示以达成三维视频效果。举例来说，用户可佩戴偏光被动式眼镜，其将左视图从右视图中过滤掉。或者，可快速连续展示两个视图的图片，且用户可佩戴主动式眼镜，其以相同频率快速遮光左眼及右眼，但其中相位移位90度。

发明内容

一股来说，本发明描述用于多视图视频处理的技术。确切地说，本发明涉及多视图视频译码中的串扰及重像降低。

在本发明的一个实例中，一种处理多视图视频的方法包含识别在多视图图像帧的对应对中的在相同位置对中的像素的第一集合，其中所述相同位置对具有大于选定视差阈值的在所述像素之间的视差。所述方法进一步包含识别在大于选定强度转变阈值的强度转变的选定距离内的所述图像帧中的至少一者中的像素的第二集合。所述方法进一步包含对经识别为在所述第一集合及所述第二集合中的至少一者中的像素应用串扰校正。

在本发明的另一实例中，一种计算机可读媒体存储用于致使处理器执行多视图视频处理的可执行指令。这包含用于致使处理器识别在多视图图像帧的对应对中的在相同位置对中的像素的第一集合的可执行指令，其中所述相同位置对具有大于选定视差阈值的在所述像素之间的视差。这进一步包含用于致使处理器识别在大于选定强度转变阈值的强度转变的选定距离内的所述图像帧中的至少一者中的像素的第二集合的可执行指令。这进一步包含用于致使处理器对经识别为在所述第一集合及所述第二集合中的至少一者中的像素应用串扰校正的可执行指令。

在本发明的另一实例中，一种设备包含用于识别在多视图图像帧的对应对中的在相同位置对中的像素的第一集合的装置，其中所述相同位置对具有大于选定视差阈值的在所述像素之间的视差。所述设备进一步包含用于识别在大于选定强度转变阈值的强度转变的选定距离内的所述图像帧中的至少一者中的像素的第二集合的装置。所述设备进一步包含用于对经识别为在所述第一集合及所述第二集合中的至少一者中的像素应用串扰校正的装置。

一或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述及附图和从权利要求书中显而易见。

附图说明

图1为说明实例多视图视频处理系统的框图。

图2描绘能够播放视频及/或呈现图像的实例装置。

图3及4说明可在多视图视频中的不同视图中同时显示的一对对应图像帧。

图5描绘用于多视图视频处理的实例过程的流程图。

图6及7在概念上描绘可在多视图视频中的不同视图中同时显示的一对对应图像帧的处理阶段/图6及图7描绘右视图图像帧及左视图图像帧的匹配对的串扰降低候选者(CRC)映射的中间阶段的实例。

图8及图9描绘在视差映射及强度转变映射两者之后在右视图图像帧及左视图图像帧的匹配对中的串扰降低候选者(CRC)映射的简化说明。

图10及图11描绘在视差映射及强度转变映射两者之后在右视图图像帧及左视图图像帧的匹配对中的串扰降低候选者(CRC)映射的额外说明。

图12描绘在串扰降低过程的说明性实例中的基于2D查找表的串扰处理块。

图13描绘可用以模型化串扰降低参数及对图像帧应用串扰降低以用于多视图视频处理的拟合曲线的各种实例的曲线集合。

图14展示被划分成不同区的阵列的图像帧的实例，其中可执行不同的基于位置的调整以用于多视图视频处理。

图15为说明根据本发明的实例的可经配置以利用用于多视图视频处理的技术的实例视频编码及解码系统的框图。

具体实施方式

一股来说，本发明描述用于处理多视图视频数据(例如，用以产生三维(3D)效果的视频数据)的技术。确切地说，本发明涉及用以降低多视图视频处理中的串扰及重像的技术。本发明的技术包含在多视图视频处理中，识别图像帧中的像素对之间的强度的差，及识别所述图像帧及用于3D显示的一对图像帧(例如，左视图及右视图)中的对应图像帧中的像素的相同位置对之间的显著视差，以及基于所述识别应用串扰校正参数。本发明的技术还包含识别为用于串扰校正的候选者的像素，及应用串扰校正参数，所述串扰校正参数至少部分基于所述像素是在图像帧的两个或两个以上部分中的哪一者中。

一股来说，为了产生视频中的立体视图或三维(3D)效果，可同时或几乎同时展示场景的两个视图(例如，左眼视图及右眼视图)。可从略微不同的水平位置捕捉对应于场景的左眼视图及右眼视图的同一场景的两个图片，所述略微不同的水平位置表示观察者的左眼及右眼之间的水平视差。通过同时或几乎同时显示这两个图片，以使得左眼视图图片被观察者的左眼感知到，及右眼视图图片被观察者的右眼感知到，观察者可体验到三维视频效果。也可执行其它多视图译码，以便提供不同透视图(例如，左、中、右、虫眼、鸟眼等)，或提供适合于不同大小或分辨率的显示屏的不同深度水平(例如，其中若干对左及右图像帧是用于这些不同多视图视角或深度水平中的每一者)。

串扰是3D或其它多视图视频系统中的左及右图像通道的发光输出的不完全隔离，其致使专用于两个图像通道中的一者的明度泄漏到其它图像通道中。重像为用于感知串扰的主观术语。取决于多视图图像的内容，重像可不同于串扰。如由观察者感知到的重像或串扰为系统串扰、图像的两个视图之间的视差及图像对比度的函数。这两个可被一起称作串扰/重像，其中串扰及重像皆为适用的。

举例来说，观察者可在两个对应多视图图像帧中的区的对应像素之间存在相对较高视差(结合两个对应图像帧的所述区中的强度的相对较高转变)时感知到多视图图像的区中的重像。两个对应多视图图像帧中的区的两个状态之间的视差与多视图图像中的深度的转变(即，明显特写物体与明显远处背景之间的转变)相关联，而强度的转变为亮度(即，图像的明亮区域与黑暗区域之间的对比度)的转变。重像的可见度因此随着深度的增加(即左-右视差的增加)而增加，且随亮度的转变的增加(邻近亮及暗区域之间的鲜明对比)而增加。重像的可见度还随背光水平的增加而增加，其中背光水平越高会导致背景黑色的水平越低。

串扰/重像为影响3D视频/电影及3D游戏两者中的3D图片质量的最重要质量属性中的一者。串扰/重像的副作用可包含3D效果的丢失、深度分辨率的丢失、图像对比度的丢失及观察者的不适。一些报告指出，3D视觉质量的可感知重像效果及降级通常在系统串扰达到在2％到6％的范围内的水平时开始出现。

3D显示器上可能存在许多非均一性，以使得对屏幕上所显示的所有像素应用一个串扰方法可能引入串扰而非使其降低。本发明的技术可说明性地包含执行二维、基于位置的串扰调整的显示器处理器。这可提供质量比对屏幕上的所有像素简单地应用均一串扰校正更佳的串扰校正。

预处理模块可通过识别实际上将受益于串扰降低的区域(其可仅包含相对较小比例的图像帧)及仅在那些区域中应用串扰降低来提供质量保护的额外层。在一些实例中，预处理模块识别为串扰降低的目标的此相对较小比例的图像帧可涉及图像帧中的10％到15％的像素。仅对可能相对较小比例的图像帧应用串扰降低可在带宽及处理源上施加低负担，且因此允许在不借助于带宽降低技术的情况下应用串扰降低，所述带宽降低技术可涉及使用较低质量参考帧或使用查找表的错误索引。仅对可能相对较小比例的图像帧应用串扰降低还可需要较少的硬件周期，且可以帮助节约硬件区域。

图1为说明实例多视图视频处理系统100的框图。在图1中的多视图视频处理系统100的高级示意框图中展示本发明的多视图视频处理技术的特定实例，如下参考说明性实例描述所述高级示意框图。在图1的实例中，多视图视频处理方法100包含预处理块110、串扰降低处理块120及后处理块130。“串扰降低”及“串扰校正”遍及本发明可互换地使用，且在任一情况下，可说明性地指代经应用以降低、补偿、去除、消除或校正串扰/重像的效果、测量或参数。

在此实例中，预处理块110包含范围映射模块118及串扰区映射模块112。串扰区映射模块112包含视差映射模块114及强度转变映射模块116。可按任何次序执行视差映射及强度转变映射。后处理块130包含基于位置的调整模块132。在各种实例中，多视图视频处理系统100可以方法、装置、设备、用于执行功能的装置、集成电路或积体电路的集合(例如，芯片组)、计算机可读媒体或其组合的形式来实施。在图1的多视图视频处理系统100的上下文中，“处理块”或“块”或“模块”可指方法中的步骤或步骤的集合，或装置、设备、用于执行功能的装置或执行或处理所指示功能的计算机可读媒体的模块或部分。在以软件来实施模块方面来说，软件执行于一或多个硬件元件上，且将不被视为软件本身。

在预处理块110的串扰区映射模块112中，视差映射模块114可执行在相同时间位置的一对对应左及右多视图图像帧的比较分析，及产生识别具有两个帧之间的相对较高视差(其导致大感知深度转变)的对应左及右多视图图像帧的所述对中的像素或像素区的映射。强度阈值映射模块116可分析在个别帧内的像素对或像素集合或像素区，且产生识别在具有相对较高强度阈值(例如，具有在图像帧中彼此接近的明亮区域及黑暗区域)的帧内的像素对的映射。在8位图像的实例中的强度阈值可例如为相同位置像素之间的10的转变。在其它实例中也可使用其它阈值，例如10位图像中的20、40或80的转变，或12位图像中的80、160或320的转变。这些仅为说明性值，且在其它实例中也可使用其它值。预处理块110还可包含范围映射模块118，所述范围映射模块可识别适用于图像帧的区或像素的背光值或背景黑色的水平。

串扰降低处理块120产生用于图像帧的像素的初始串扰校正参数或值，且可以多种方式实现此情形。在一些实例中，串扰降低处理块120使用2D查找表(LUT)122的选项，其中查找表由显示测量表征。此技术可引起相对较低的处理负担。在一些实例中，串扰降低处理块120使用基于等式的处理124的选项。在一些实施方案中，此技术可使得串扰降低处理块120能够产生具有相对较高精度且需要较少数据存储空间的初始串扰校正。

后处理块130可使用多种技术中的任一者来修改用于图像帧的像素的串扰校正参数。举例来说，后处理块130可依据图像帧中的像素的位置及相应地可呈现图像的屏幕或显示器上的像素的位置来调整串扰降低参数。串扰及重像可在图像帧的部分中不同地出现，或基于屏幕或显示器的哪些部分上呈现图像的一部分而出现。具体来说，后处理块130可修改串扰校正参数以考虑及补偿此基于位置的差分串扰，即，图像帧的不同部分之间的串扰的差别。

下文进一步描述及在对应图中描绘如图1中所示的多视图视频处理系统100的各种方面。

可参考H.264/AVC(高级视频译码)标准的多视图视频译码(MVC)扩展将本发明的技术描述为可如何实施本发明的技术的说明性实例。在JVT-AD007“ITU-T Rec.H.264|ISO/IEC 14496-10高级视频译码的编辑草案修订(Editors′draft revision to ITU-TRec.H.264|ISO/IEC 14496-10Advanced Video Coding)”(瑞士日内瓦第30届JVT会议，2009年1月到2月)中描述MVC的最新联合草案，所述草案可从http：//wftp3.itu.int/av- arch/jvt-site/2009_01_Geneva/JVT-AD007获得，其特此通过引用并入。虽然可在H.264/AVC方面描述本发明的技术，但应理解本发明的技术可适用于其它多视图视频译码过程，或适用于对当前提出的视频译码标准的未来多视图扩展。

也可由MVC支持两个视图的译码。MVC的优势中的一者为MVC编码器可将两个以上视图视为3D视频输入，且MVC解码器可解码此多视图表示。因此，具有MVC解码器的任何呈现器可经配置以处理具有多个视图的3D视频内容。在MVC中，通过允许在相同存取单元中的图片当中的预测(即，在相同时间实例或时间位置内)来实现视图间预测。在对非基本或非参考视图中的一者中的图片进行译码时，如果图片是在不同视图中但在相同时间实例内，那么可将图片添加到参考图片列表中。可将视图间预测参考图片置于参考图片列表的任何位置中，就像任何帧间预测参考图片一样。

图2描绘能够播放视频及/或呈现图像的实例装置200。如图2中所描绘，装置200正显示图像，所述图像可为根据如上文所描述的多种多视图显示技术中的任一者经呈现为一对对应多视图图像帧的3D图像。如图2中所示的装置200可实施如图1中所示的多视图视频处理系统100的全部或部分。呈现于装置200上的图像可为形成3D视频输出的一系列3D图像中的一个3D图像，所述3D视频输出可为电影、视频片段、电视节目插曲、视频游戏输出、视频会议输出或任何其它类型的实时或预先记录的视频。装置200可基于经由无线或硬线网络或传输媒体发射的流式传输输入信号或基于全部内容或多或少可存储于或多或少本地存储媒体上的本地存储的视频文件显示3D视频输出，且先前可能已被下载及写入到存储媒体。装置200可呈例如智能电话、平板计算机、电视、计算机监视器、媒体播放器、视频游戏装置、连接到视频游戏控制台的监视或能够呈现3D视频或多视图视频的任何其它种类的装置等多种装置中的任一者的形式。如图2中所示的装置200提供用于3D视频呈现及处理的上下文，如参考后续图所描述。

考虑如图1中所示的预处理块110的实例，预处理块110可扫描图像帧中的像素的像素强度值(例如，明度值)以产生图像帧的串扰区映射。产生图像帧的串扰区映射包含识别像素，所述像素为用于造成图像帧与多视图图像系统中的对应图像帧(例如，3D视频系统中的对应左及右图像帧)之间的串扰的候选者，且为用于应用串扰消除的候选者。举例来说，在图3及4中展示呈现于图2中的装置200上的图像的两个对应3D图像帧。

图3及4说明可在多视图视频中的不同视图中同时显示的一对对应图像帧210及220。图3展示右视图图像帧210，且图4展示左视图图像帧220，其一起可对应于呈现于图2中的装置200上的3D图像。在右视图图像帧210中，前景人物202的位置与背景物体204、206相比较向左，而在左视图图像帧220中，前景人物202的位置与背景物体204、206相比较向右。因此，在右视图图像帧210暴露于观察者的右眼，同时或在十分接近的时间点内左视图图像帧220暴露于观察者的左眼时，两个帧210、220一起致使观察者从两个图像帧的组合当中感知到三维图像。举例来说，如果与交替观察者的眼睛的视图的主动式3D观察装置协调地快速连续显示图像帧的所述对，以使得观察者在实际上相同时间感知到两个图像帧，那么一对图像帧可被视为实际上同时的一对图像帧，或实际上在相同时间位置发生。在装置200快速连续呈现图像帧的3D对时，观察者可将图像帧的连续对感知为3D视频。

在图像帧210及220中前景人物202相对于背景物体204、206的不同左-右定位可通过比较在图像帧的底部的前景人物202的左下边缘从图像帧的左下角的位移来说明。右视图图像帧210中的此位移203A相对较小，而左视图图像帧220中的此位移203B显著大于右视图图像帧210中的位移203A。图2中所描绘的组合的图像(如由装置200所呈现)展示处于相对中间位置的前景人物202以表示观察者的感知，而在任何单个实像图像帧中前景人物202实际上并不定位于图2中所示的中间位置中。图3及4中所示的实例为简化实例，且在3D图像的其它对中，可呈现各种物体及物体的部分以在深度的连续范围中以任何显而易见深度出现，就如观察实际三维世界时一样。

装置200可包含或存取多视图视频处理系统(例如，如图1中所示的系统100)或其它实施方案。装置200可并有构成全部系统100的硬件及/或软件元件，或系统100的全部或部分可操作或定位于其它位置处，且可与装置200通信连接，以使得系统100可由装置200存取。如下描述实例，其中系统100代表装置200进行操作，其中系统100可并入于装置200中或可由装置200存取。

系统100可在处理右视图图像帧210及左视图图像帧220时(例如在对图像帧进行解码之后)应用串扰降低技术。在呈现图像帧的系统100的实例中，系统100可使用两个准则识别串扰候选者像素。在图像的对应对中的左及右图像之间存在图像间视差时，串扰/重像更加可见(与前景物体与背景之间的深度的转变对应)，因此系统100可将图像间视差评估为第一准则。串扰/重像也在急剧强度转变中(例如，在单个图像帧内的黑暗区域与明亮区域之间的边缘处)更加可见，因此系统100可将强度转变评估为第二准则。系统100可评估明度以及一或多个色度值或某一其它像素强度值的强度转变。系统100可按任何次序评估及/或映射帧间视差及帧内强度转变，例如，系统100可映射帧间视差及接着帧内强度转变，或映射帧内强度转变及接着帧间视差。

图5描绘用于多视图视频处理的实例过程300的流程图。系统100可使用过程300(以软件、硬件或其组合来实施)来产生串扰/重像映射(接下来被称作“串扰映射”)，如图5中所示。由系统100执行的过程300可评估在给定图像帧内的接近像素(即，彼此接近的像素)当中的强度转变(即，帧内强度阈值检测)，以及评估给出图像帧的3D对的左及右视图的两个对应的在时间上匹配的图像帧之间的相同位置中的像素之间的视差(即，帧间视差检测)。过程300帧内强度阈值检测组件可与图1的强度阈值映射块116对应，且过程300的帧间视差检测组件可与图1的视差映射块114对应。可按任何次序执行过程300的帧间视差检测部分及过程300的帧间视差检测，所述次序包含重叠或同时次序。

在图7中所说明的实例中，系统100应用边缘检测滤波器S_H。实例滤波器掩模可对每一像素应用边缘检测滤波器(302)以获得值S_out(304)，所述值为每一像素的强度的转变的测量，其中S_out＝S_H*Input。举例来说，可应用S_H＝[-1 0 1]的边缘检测滤波器。其它实例可使用变化长度及形式的边缘检测滤波器。如果S_out＞Transition_TH，其中Transition_TH为预定或先前选定的转变阈值(306)，那么系统100将像素标记为“大转变”的“LT”(308)。系统100可单独地评估明度、色度或其它像素强度值中的强度的转变。将出于说明的目的描述明度中的转变的评估。系统100可对在给定像素的行长度内的每一像素应用此滤波器，且如果那些像素中的任一者的S_out大于转变阈值，那么系统100可将给定像素标记为LT。

在评估强度转变时，系统100可评估在受到评估的当前或给定像素的选定行长度(以像素的数目来测量)的一维(1-D)邻域内的大转变。举例来说，对于给定像素，系统100可评估在与给定像素相同的行中的在32个像素或64个像素或128个像素或受到评估的给定像素的任一侧上的某一其它长度的像素的选定行长度之外的其它像素。系统100可通过数个测量中的任一者测量给定像素与在给定像素周围的选定行长度内的其它像素之间的强度转变。系统100可通过组合如应用于像素行内的每一像素的在所述行中的强度测量的处理以避免处理的重复及约束算法复杂性，使强度阈值检测过程最佳化。

举例来说，系统100可确定在给定像素的选定行长度内的哪一其它像素具有来自选定像素的明度、色度或其它强度测量的值的最大差，且可将最大差取作用于给定像素的强度增量。系统100接着可比较给定像素的强度增量与选定强度转变阈值，所述选定强度转变阈值可在相同测量中规定为强度增量，例如明度、色度或其它强度测量，且如果用于给定像素的强度增量因为测量而高于选定强度转变阈值，那么系统100可将给定像素标记为大转变的“LT”，即，高强度转变。系统100还可使用多种其它技术以用于将像素指明为具有高强度转变，例如结合像素行距离使用滑动阈值，例如包含应用对于较短像素分离相对较小且对于较大像素分离相对较大(直到选定像素行长度的结束)的变量选定阈值。在结合帧间视差中的差别考虑时，标记为“LT”的像素可被认为是用于串扰校正的候选者。如果像素的S_out超过阈值，或在给定像素的选定行长度内的至少一个其它像素具有超过阈值的S_out，那么可将像素标记为LT。

系统100还可比较每一给定像素与在图像帧的在时间上匹配的左/右对中的其它图像帧中的相同位置中的对应像素(312)。如同强度转变一样，系统100还可评估像素中的明度、色度或一些其它值。系统100可评估对应左及右图像帧中的两个相同位置像素之间的差，且获得值δ(i，j)＝|L(i，j)-R(i，j)|作为像素间视差(314)。在此实例中，L(i，j)指示左视图像素的强度，且R(i，j)指示右视图像素的强度，其中此些像素是在相应视图内的相同位置处。系统100可评估视差是否大于视差阈值Disparity_TH，即δ(i，j)＝|L(i，j)-R(i，j)|＞Disparity_TH(316)，且如果是，那么系统100将对应像素标记为“大视差”的“LD”(318)。也就是说，“视差”可指视图间图像帧之间的相同位置或匹配像素位置中(即，在相同时间点的不同视图的图像帧中的匹配或对应像素位置处)的视图间强度差。

系统100接着可比较被标记为“LT”及“LD”两者的像素(322)，且对于被标记为两者的像素，系统100可将这些像素识别为串扰降低候选者(CRC)，且将这些像素添加到图像帧上的串扰降低候选者的映射(324)。

图6及图7描绘此处标记为210B及220B的右视图图像帧210及左视图图像帧220的匹配对的串扰降低候选者(CRC)映射的中间阶段的实例。确切地说，图6及7展示图像帧的匹配的3D对的图像帧的部分中的像素块的两个图像帧映射之间的视差比较的中间结果的简化视图。这些像素块为其中如上文所描述的串扰区映射/预处理识别LD及LT像素两者(包含在强度转变的选定距离内的像素)的区域。CRC映射的其它实例可仅包含在候选者像素周围的水平行而非整个像素块，但在图6及7中所描绘的实例中，像素块经识别为在被识别为具有大帧间视差的像素周围及接近于所述像素，且因此被标记为“LD”。每一像素块可含有一或多个及可能高达大数目的像素，其被识别为LD及LT两者，且因此被识别为用于串扰降低的目标。每一像素块可说明性地延伸到例如32、64、128或在每一串扰降低候选者像素的任一侧的像素的某一其它数目，且典型串扰降低候选者(CRC)映射可比图6及7的简化描绘更加复杂。帧间视差处理可包含在222及224处展示的检测具有平移非视差(即，平移位移的帧间对比度的非视差或缺乏)的大图像部分的能力，及从视差映射省略那些部分。视差分析处理还检测在226及228处展示的一些图像部分，所述图像部分具有视差但不具有任何急剧强度转变，以使得强度转变分析处理将从针对大强度转变被标记中省略这些图像部分。因此，这些区可被标记为LD但不被标记为LT。在一些实例中，将标记为LD但不被标记为LT的这些像素处理为用于串扰降低的候选者。在其它实例中，仅将标记为LD及LT两者的区处理为用于串扰降低的候选者。

图8及图9描绘在视差映射及强度转变映射两者(其可按任何次序执行，包含并联或重叠次序)之后此处标记为210C及220C的右视图图像帧210及左视图图像帧220的匹配对中的串扰降低候选者(CRC)映射的简化说明。右视图图像帧210C展示经发现具有在图像帧的匹配的3D对的两个匹配的图像帧210C及220C之间的大强度转变及大视差两者图像帧的部分中的代表性像素块。类似地，左视图图像帧220C展示经发现具有在图像帧的匹配的3D对的两个匹配的图像帧210C及220C之间的大强度转变(LT)及大视差(LD)两者的图像帧的部分中的代表性像素块。虽然为了图8及9中的简化视图起见描绘了相对较大代表性像素块，但各种实例可在逐像素基础上应用强度转变阈值及视差阈值滤波器。也可包含额外像素作为用于在强度转变候选者的选定距离内的串扰降低处理候选者，其中在各种实例中，距离可在行或列内为线性的，或在行及列的矩形块内为矩形的，或在被定义为行的平方及列的平方的和的平方根(例如，sqrt(M²xN²))的半径R内为圆形的，或在椭圆函数(例如，PF₁+PF₂＝2a)或任何其它函数内。

图10及图11描绘在更细尺度的逐像素基础(其尺寸相对于图像大小足够小，使得其可以此尺度连续呈现)上在视差映射及强度转变映射两者之后此处标记为210D及220D的右视图图像帧210及左视图图像帧220的匹配对中的串扰降低候选者(CRC)映射的额外说明。像素210D及220D的群组可为已被识别为具有大于选定视差阈值的两个图像帧之间的像素的相同位置对中的像素之间的视差及被识别为在大于选定强度转变阈值的强度转变的选定距离内的那些像素。在此实例中，可在每一像素的圆形范围内评估到强度转变的距离，其例如可被测量为水平像素距离的平方及垂直像素距离的平方的和的平方根。

如上文所指示，CRC映射的其它实例可包含在候选者像素周围的仅水平行而非整个像素块，但在图8及9中所描绘的实例中，识别在被识别为具有大帧内强度转变及大帧间视差两者且因此被标记为“LT”及“LD”两者的像素周围及接近于所述像素的像素块。经发现具有大视差及大强度转变两者的经CRC映射的像素块通常在前景人物202与更远处背景(包含相异背景物体204及206以及更远处及更无特征的背景)之间的边缘周围或接近于所述边缘。取决于用于检测帧间视差的准则，串扰降低处理还可给例如特写人物的眼睛、鼻子及嘴巴等区域加旗标为高于面谈图像帧之间的阈值帧间视差，且因此也是用于串扰校正处理的候选者，例如对于在图10及11中的人物眼睛周围的区域。

串扰预处理模块110因此可通过仅识别需要串扰降低的那些区域以使得可在不会干扰带宽或参考帧的质量的情况下应用串扰降低，来提供质量保护的额外层。预处理阶段还通过识别需要串扰的某些区而使用较少硬件周期。系统仅对帧中的低百分比的像素应用串扰校正，以使得过程达成当前像素的提早终止。在一些实例中，系统可对视频内容中的所有像素的10％到15％应用串扰校正。在其它实例中，系统可对视频内容中的像素的较大或较小百分比应用串扰校正。

一旦系统100已对如图8及9中所示的图像帧应用强度阈值映射及视差映射两者，系统100便可继续进行串扰降低处理，或系统100可在继续进行串扰降低处理之前执行额外预处理分析或步骤(例如，在如图1中所示的预处理块110的范围内)。举例来说，系统100的预处理块110可简单地指明用于串扰降低处理的标记为LD及LT两者的所有像素，或系统100可在指明其用于预处理之前执行用于评估候选者像素的强度转变及视差两者的额外步骤。系统100的预处理块110还可执行图像帧的范围映射(如图1中的范围映射模块118所指示)，及比较串扰降低候选者像素与范围映射。

可在其它预处理步骤之前对每一图像帧中的所有像素应用此范围映射118，或可在其它预处理步骤之后及/或仅对图像帧中的一些像素应用此范围映射。范围映射可例如涉及识别适用于图像帧的区或像素的背光值或背景黑色的水平或明度的下部边界值，进行补偿，其可促使确保完整串扰补偿。举例来说，明度及/或色度的值可在可能值的指定数字范围内，其中所述范围是由指派给所述范围的位的数目“n”来定界的，例如10位允许所述像素的明度、色度或其它值具有由2¹⁰的范围划界的值。然而，总范围可由边界值划界，例如对明度值中的最亮白色及最暗黑色进行译码，其不允许用于串扰的最佳可能降低的足够界限。此n位范围的边界值还可并不完全利用例如装置200等装置或显示器机构物理上能够重现的值范围。

举例来说，系统100的预处理块110可检测被标记为用于大视差及大强度转变的LD及LT两者的帧的在时间上匹配的对中的像素群组，但这些像素及其周围像素作为整体还具有对图像的相对黑暗区域进行译码的值，以使得即使其涉及相对较大强度阈值，仍针对明度的下限(即，针对像素强度协议能够提供的最暗黑色)对所述强度阈值的一侧进行译码。(其它实例可涉及其它边界值，例如明度的上限。)此边界值限制可约束系统100的能力以防止此群组像素中的串扰及重像。在例如此情形的状况下，系统100的预处理块110还可引入用于低于或高于对应n位(例如，10位)范围S(p)的码或额外值，其中S为像素p的范围，其经译码为用于明度及/或色度的源码中的有界的完整范围。预处理块110可应用范围映射以将其边界值之外的10位值S(p)映射到扩展范围中的值，例如[0，1023]x[0，1023]-＞S(p)。可以线性或非线性方式进行范围映射。举例来说，在实例线性状况下，可如下获得在范围映射之后的10位图像的新像素值：

newleftpix＝RangeMap+(leftpix*(1024-RangeMap))＞＞10；

newrightpix＝RangeMap+(rightpix*(1024-RangeMap))＞＞10；

其中值“RangeMap”为可调整参数。

一旦系统100的预处理块110已评估一对图像帧，且将一或多个像素标记为LD及/或LT以将像素识别为串扰候选者，且可能在识别串扰候选者像素之前或之后执行例如范围映射等任何其它预处理步骤，系统100便接着可执行串扰降低，如下文所论述。

系统100可应用各种技术中的任一者来执行串扰降低(例如，使用串扰降低处理块120)。在一些实例中，串扰降低处理块120可使用由显示测量表征的2D查找表(LUT)，此举可引起相对较低的处理负担。在一些实例中，串扰降低处理块120可应用等式，所述等式以更高精确度来处理此函数，且需要较少数据存储空间。下文给出17x17 2D查找表(LUT)的实例：

在各种实例中，其它实例可使用33x33 2D LUT或其它2ⁿ+1 2D LUT。在上文的实例中，行对应于来自左视图的像素值，且列对应于来自右视图的像素值。在给定输入对(L，R)的情况下，此LUT表使L值索引到行且使R值索引到表的列，且提取为经串扰降低的像素的新L值。在一个实施方案中，LUT的数目可为6，即，每一视图一个LUT，且每一颜色分量一个LUT，因为串扰依据颜色分量而变化，且对于左及右视图来说可并不相同。在其它实施方案中，可使用不同颜色空间及不同数目个LUT。另外，除2D LUT之外可使用其它大小的LUT，其例如用于N视图多视图系统中的多视图处理，其中两个以上同时或对应图像帧对应于每一时间点，例如具有不同范围、用于不同屏幕大小或来自不同角度的视图的图像帧。用于两个以上同时图像帧的多视图处理一股来说可被称作N视图多视图处理。对于N视图多视图处理，可使用N维LUT或ND-LUT，其中针对图像帧的N视图多视图集合中的每一者指定查找值。

查找表可特定于任何各种显示装置中的每一者或为定制化的，因为每一显示装置可展现不同串扰特性。可通过使用由极精确光学测量采取的测量数据说明性地导出定制化查找表。测量设置的一个实例可涉及被置于明度测量装置之前的显示装置及定位于到处于暗室条件下的装置距离为3H处(即，显示装置的对角线高度的三倍)的3D眼镜的集合。测量装置可指向屏幕的中心，且经由计算装置进行控制以进行远程测量。媒体播放器可连接到显示装置以显示各种测试图像。测试图像可说明性地由具有变化明度水平的左及右视图图像构成。在一个实例中，测试图像的数目可为33x33，包含33个左水平及33个右水平组合。其它实例可使用较多或较少的测试图像。在进行测量之后，例如，可将测量映射到查找表中。

对于查找表，对于来自对应左及右图像帧的原始像素值对(L，R)，提取查找表中的对应项的端点。对于每一(L，R)对，串扰降低处理块120可从左图像帧的2D LUT提取四个值(P0、P1、P2、P3)，后跟着从四个值(P0、P1、P2、P3)内插用于左图像帧的新像素值作为角点。一旦串扰降低处理块120提取角点(P0、P1、P2、P3)，其便可经由如下及如图12中的210处所示的双线性内插获得用于左图像帧的新像素值：

L*＝((1-u)xP0+uxP1)x(1-v)+((1-u)xP2+uxP3)xv

其中u及v可由下式计算：

u＝(R-P0)/(P1-P0)，v＝(L-P0)/(P2-P0)

其它实例可使用例如双三次或样条等其它类型的内插技术来获得用于串扰降低的新值。类似地，串扰降低处理块120可从用于右图像帧的2D LUT提取四个点(Q0、Q1、Q2、Q3)，且从四个值(Q0、Q1、Q2、Q3)内插用于右图像帧的新像素值作为角点。

串扰降低处理块120还可基于曲线拟合数学处理执行串扰降低处理。对于不同类型的3D显示器及3D眼镜，用于串扰及重像的机制是不同的，且获得数学上准确的串扰模型可引起处理要求大于基于查找表的处理。然而，在一些实例中，存储查找表所需要的硬件区域可能很大。不同实施方案因此可在数学处理与查找表之间施加平衡不同的约束。举例来说，立体显示器可需要典型大小为33x33的六个2D LUT，(即，33行乘33列的查找表)，其中需要六个LUT以提供左及右图像帧两者中的三个颜色分量。其它实例可说明性地使用9x9或17x17或65x65的查找表(或2ⁿ+1行乘2ⁿ+1列的一些其它对值)，在给定显示装置的上下文内，其选择可说明性地涉及图像质量以及处理及存储器要求及负担之间的目标平衡点。

在一些实例中，系统100的串扰降低处理块120可基于曲线拟合数学处理执行串扰降低处理，其可使得能够在用较少参数替换查找表的情况下模型化串扰测量。可模型化拟合曲线的集合以对应于2D LUT的列。系统100可应用稳健拟合算法以导出用于拟合曲线的参数。一些曲线可由简单线表示，而其它曲线可由分段函数、sigmoid或其它函数表示。

图13描绘可用以模型化串扰降低参数及对图像帧应用串扰降低的拟合曲线的各种实例的曲线集合242。曲线图242中的曲线中的每一者对应于查找表的一个列，且可用较少参数替换查找表，且例如可基于明度的给定值。在图13中的曲线图242的实例中，在其它视图固定于特定明度值时，每一曲线表示第一视图中的明度变化。举例来说，在右视图固定于255处时，曲线图242展示对于特定显示器类型，左视图的明度如何变化。如果不存在串扰，那么曲线图242中的曲线将简单地为线性的。作为特定实例，曲线图242展示在值48处的第一视图中的亮度变化的函数252、在值96处的第一视图中的明度变化的函数254、在值160处的第一视图中的明度变化的函数256及在值255处的第一视图中的明度变化的函数258作为左视图的明度可如何相对于右视图的明度变化的说明性实例。

在上文实例及其它实例中，曲线拟合算法可产生用于拟合曲线中的每一者的简化参数集。以相对简化的参数(其表示例如线、分段函数、sigmoid或其它函数等拟合曲线函数)来模型化串扰降低参数可以对处理及数据存储两者的相对受约束的要求实现准确串扰降低。举例来说，曲线可拟合到ax+b，a/(b+c*exp(-x))或其它sigmoid函数中。在其它实例中，可将曲线划分成多个区段，例如分别用于中心、底部及顶部部分的三个不同区段。三个或另一数目个区段中的每一者可拟合到不同类型的曲线中，且每一曲线可由相对较小或紧凑数目个参数(例如，三个或六个参数)表示，例如而不是使所有33个值保持于33x33LUT实例中。

也可由依据屏幕位置变化的串扰的水平使串扰降低处理复杂化。用从屏幕的中心测量的串扰校正值来填充的一个2D LUT可能不足以降低出现于屏幕的不同位置中的所有串扰。系统100可通过基于位置的调整来解决及抵消此复杂化，如图1中的基于位置的调整处理块132所示。可参考图14进一步描述基于位置的调整处理。

图14展示划分成不同区的MxN阵列的图像帧250的实例，其中可执行不同的基于位置的调整以用于多视图视频处理，其中M及N皆为整数。说明性地展示此实例，其将图像帧250划分成具有区62到98的4x4阵列。因此，在此实例中，MxN阵列为其中M＝N＝4的NxN阵列。其它实例可涉及使用在2与8之间的M及/或N的值将图像帧划分成MxN或NxN阵列，或具有M及N的任何数目个不同值的任何其它MxN或NxN阵列。举例来说，又其它实例可涉及以例如圆形、椭圆形或其它形状等非矩形形式应用差分区。这些实例可包含例如定义呈例如圆形、椭圆形或其它形状等非矩形形式的图像帧的部分，及至少部分基于像素是在图像帧的两个或两个以上圆形、椭圆形或其它非矩形部分中的哪一者中而应用基于位置的调整。系统100可修改其对个别区62到98中的每一者所应用的串扰降低，以补偿图像的不同区中的串扰效果的差分量值。例如，4x4阵列可用于实际显示器处理器实施方案，但系统100所应用的阵列的大小可一股化为任何其它大小。系统100可有差异地对左图像帧及右图像帧应用基于位置的调整以补偿在两个匹配的图像帧之间有差异地出现的任何串扰效果。

在一个实例中，可在后处理中对基于查找表或基于等式的串扰降低处理的输出应用基于位置的分数调整因子。举例来说，分数调整因子α可取0到4之间的值以用于调整左图像帧中的像素，且分数调整因子β可取0到4之间的值以用于调整右图像帧中的像素。在其它实例中可使用其它值及范围。对于阵列中的每一区，系统可应用不同调整因子(即，权重)，其表示为用于左视图的α₀、α₁、...、α₁₆及用于右视图的β₀、β₁、...、β₁₆。作为一个实例，区62可具有不同于区94的调整因子。L为左视图中的原始像素值，且L*为由基于查找表或基于等式的串扰降低处理产生的2D经调整值。类似地，R为右视图中的原始像素值，且R*为2D LUT经调整值。在一个实例中，系统100因此可根据以下等式产生经调整像素：

R_adj0＝R+β₀(R*-R)

L_adj0＝L+α₀(L*-L)

此串扰降低系统可使用较少硬件处理周期提供在更佳质量3D显示方面的优势及益处。对屏幕上所显示的所有像素应用一个均一串扰方法实际上可引入更多串扰，而非使其降低。通过执行基于二维位置的串扰调整，此系统通过对屏幕的每一区进行校准的校正降低屏幕上各处的串扰。

如图14中所示，在将图像帧划分成区的阵列时，系统100可应用沿着图像帧的底部的较小区及所述图像帧的上部区域的较大区。这是因为对于某些显示器，串扰中的变化可说明性地变得朝向图像帧的底部更过分，且对于更靠近于图像帧的底部的像素来说，串扰调整可能更大，且图14中所示的区的分配应用朝向图像帧的底部更大的串扰降低的分辨率，其中像素调整较大。因此，区62、64、66及68的最高行是最大的，区72、74、76及78的中上部行是接下来最大的，区82、84、86及88的中下部行是相对较小的，且区92、94、96及98的最低行是最小的。也有可能将帧分裂成区，其中底部或下部区域具有较大区，且对于其它类型的显示装置，顶部或上部区域较小。分裂也可在左与右之间进行(例如，右边较大及左边较小，或反过来)。举例来说，在各种实例中，这可是归因于眼镜与立体显示器中的显示、显示装置中的数个定时控制器或其它显示器特定因素之间的同步问题。在其它实例中，与图像帧的右部分中的区或部分相比较，系统100还可以图像帧的左部分中的不同大小来指派区大小。作为一个实例，区62可比区68大或小，且区92可比区98大或小。

系统100还可使串扰校正参数至少部分基于像素的颜色，且对色度或明度或对颜色译码模型中的不同颜色(对于纯颜色或对于叠加译码色度及明度的颜色模型)应用差分串扰校正参数。图像帧可包含颜色模型中的像素的三个或三个以上颜色，且串扰校正参数基于像素是颜色模型中的哪一颜色而不同。

举例来说，可用RGB颜色模型中的R像素、G像素及B像素来对图像帧进行译码，且串扰校正参数基于像素是R像素、G像素还是B像素而。因为每一颜色通道在RGB颜色模型中传达了其自身的强度，所以可对所有三个RGB颜色通道应用串扰校正。在一些选项中，对于G像素，串扰校正参数可大于R像素或B像素。人类眼睛可对G中的串扰更为敏感，或人类观察者更有可能感知到归因于G中的串扰的重像，因此在一些实施方案中，G中的较高串扰降低可为有利的。在其它实例中，可用Y′CbCr颜色模型中的Y′像素、Cb像素、Cr像素或用YUV颜色模型中的Y、U及V像素来对图像帧进行译码。在这些颜色模型中，一个通道传达明度(Y′或Y)，且通道传达色度(Cb及Cr或U及V)。在这些实例中，可基于像素是Y′像素、Cb像素还是Cr像素，还是Y、U或V像素来不同地应用串扰校正。在一些选项中，明度像素的串扰校正可比色度像素的串扰校正大。人类观察者可对明度中的串扰更为敏感，因此将较高串扰校正应用于明度通道中，或仅将串扰校正应用于明度通道中可在一些实施方案中为有利的。串扰校正也可至少部分基于像素是在3D图像帧的对应对的左图像帧中还是右图像帧中。

装置200或如图1中所示的多视图视频处理系统100或其它实施方案可在处理右视图图像帧210及左视图图像帧220(其可在对图像帧进行解码之后进行)时应用串扰降低技术。

装置200或多视图视频处理系统100还可应用额外技术，例如在最终显示之前在基于查找表的方法的基础上所显示的图像的预失真，增加LCD显示器的响应时间，降低图像或显示器的对比率或增加背光调光时间。增加背光调光时间可涉及增加空行的数目(例如从45到300)，及在此实例中，改变LVDS定时以发送1920x(1080+300)线而不是1920x(1080+45)。

虽然上文的技术是在解码过程之后由装置200执行方面进行描述的，及/或经描述为图像呈现过程的部分，但这些技术可类似地执行于编码、发射、存储、解码、呈现或其它过程中，且可由包含装置、设备、方法、计算机可执行指令、集成电路、集成电路的集合(例如，芯片组)、包含那些包含硬件及软件元件两者的实施方案的编码器及解码器的实施方案等的不同实施方案及/或实施方案层级来执行。

图15为说明根据本发明的实例的可经配置以利用用于多视图视频处理的技术的实例视频编码及解码系统10的框图。如图15中所示，系统10包含经由通信信道16将经编码视频发射到目的地装置14的源装置12。经编码的视频数据也可存储于存储媒体34或文件服务器36上，且在需要时可由目的地装置14存取。当存储到存储媒体或文件服务器时，视频编码器20可将经译码视频数据提供到另一装置，例如网络接口、压缩光盘(CD)、蓝光或数字视频光盘(DVD)烧录机或烫印设施装置，或用于将经译码视频数据存储到存储媒体的其它装置。同样，与视频解码器30分离的装置(例如网络接口、CD或DVD读取器，或其类似者)可从存储媒体检索经译码视频数据，且将所检索数据提供到视频解码器30。

源装置12和目的地装置14可包括任何广泛多种装置，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的智能电话)、电视、相机、显示装置、数字媒体播放器、视频游戏控制台等。在许多情况下，此些装置可经配备用于无线通信。因此，所述通信信道16可包括适合于发射经编码的视频数据的无线信道、有线信道或无线和有线信道的组合。类似地，文件服务器36可以由目的地装置14通过任何标准数据连接(包含因特网连接)来存取。此可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或适合于存取存储于文件服务器上的经编码的视频数据的两者的组合。

根据本发明的实例的用于对多视图视频数据进行译码及处理的技术可以被应用于支持任何多种多媒体应用的视频译码，所述多媒体应用例如是空中电视广播、有线电视发射、卫星电视发射、流式视频发射(例如，经由因特网)，对用于存储于数据存储媒体上的数字视频编码，对存储于数据存储媒体上的数字视频的解码或其它应用。在一些实例中，所述系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。

在图15的实例中，源装置12包含视频源18、视频编码器20、调制器/解调器22及发射器24。在源装置12中，视频源18可包含一个来源，例如视频俘获装置，例如摄像机，包含先前俘获的视频的视频存档，用于从视频内容提供者接收视频的视频馈入接口和/或用于产生计算机图形数据作为源视频的计算机图形系统，或此类来源的组合。作为一个实例，如果视频源18是摄像机，那么源装置12和目的地装置14可能形成所谓的相机电话或视频电话。确切地说，视频源18可为经配置以产生由两个或两个以上视图(例如，左视图及右视图)组成的立体视频数据的任何装置。但是，本发明中描述的技术可以总体上适用于视频译码，并且可以应用于无线和/或有线应用，或其中经编码视频数据存储在本地磁盘上的应用。

可由视频编码器20对所俘获、预俘获或计算机产生的视频进行编码。可由调制解调器22根据例如无线通信协议等通信标准调制经编码视频信息，且经由发射器24将其发射到目的地装置14。调制解调器22可包含各种混频器、滤波器、放大器或其它经设计用于信号调制的组件。发射器24可包含经设计以用于发射数据的电路，包含放大器、滤波器和一或多个天线。

被视频编码器20编码的俘获、预先俘获或计算机产生的视频还可存储到存储媒体34或文件服务器36上以用于日后消耗。存储媒体34可包含蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码视频的任何其它合适的数字存储媒体。目的地装置14可接着存取存储于存储媒体34上的经编码视频以用于解码和回放。

文件服务器36可为任何类型的能够存储经编码视频且将经编码视频发射到目的地装置14的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置、本机磁盘驱动器或任何其它类型的能够存储经编码的视频数据并且将经编码的视频数据发射到目的地装置的装置。经编码的视频数据从文件服务器36的发射可能是流式发射、下载发射或两者的组合。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取文件服务器36。此可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器、以太网、USB等)或两者的组合。

在图15的实例中，目的地装置14包含接收器26、调制解调器28、视频解码器30和显示装置32。目的地装置14的接收器26经由信道16接收信息，并且调制解调器28对所述信息进行解调以产生用于视频解码器30的经解调位流。经由信道16传送的信息可包含由视频编码器20产生用于视频解码器30在对视频数据进行解码时使用的多种语法信息。此类语法还可包含在存储于存储媒体34或文件服务器36上的经编码的视频数据中。视频编码器20和视频解码器30中的每一者可以形成能够对视频数据进行编码或解码的相应编码器-解码器(编解码器)的一部分。

显示装置32可以与目的地装置14集成或者在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，并且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一股来说，显示装置32向用户显示经解码及处理的视频数据，且可包括例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一种类型的显示装置等多种显示装置中的任一者。显示装置32可例如为电视、例如智能电话或平板计算机等移动计算装置，或其它装置，且可包含经组态具有如上文所描述的功能的一或多个集成电路。

在一个实例中，显示装置14可为能够显示两个或两个以上视图以产生三维效果的立体显示器。为了在视频中产生三维效果，可同时或几乎同时展示场景的两个视图(例如，左眼视图及右眼视图)。可从略微不同的水平位置捕捉对应于场景的左眼视图及右眼视图的同一场景的两个图片，所述略微不同的水平位置表示观察者的左眼及右眼之间的水平视差。通过同时或几乎同时显示这两个图片，以使得左眼视图图片被观察者的左眼感知到，及右眼视图图片被观察者的右眼感知到，观察者可体验到三维视频效果。

用户可佩戴主动式眼镜以快速及交替地遮光左及右镜片，以使得显示装置32可与主动式眼镜同步地在左及右视图之间快速切换。或者，显示装置32可同时显示两个视图，且用户可佩戴被动式眼镜(例如，具有偏光镜片)，其对视图进行过滤，从而致使恰当视图进入到用户的眼睛。作为又一实例，显示装置32可包括裸眼式立体显示器，其中不需要眼镜。

在图15的实例中，通信信道16可包含任一无线或有线通信媒体，例如，射频(RF)频谱或一或多个物理传输线、或无线和有线媒体的任一组合。通信信道16可形成例如局域网、广域网或例如因特网的全球网络的基于包的网络的部分。通信信道16大体上表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合，包含有线或无线媒体的任何合适的组合。通信信道16可包含路由器、交换器、基站或可适用于促进从源装置12到目的地装置14的通信的任何其它设备。

视频编码器20和视频解码器30可以根据一种视频压缩标准(例如ITU-T H.264标准，替代地被称作MPEG-4，第10部分，高级视频译码(AVC))操作。视频编码器20及视频解码器30还可根据H.264/AVC的MVC或SVC扩展而操作。或者，视频编码器20及视频编码器30可根据当前在开发下的高效率视频译码(HEVC)标准操作，且可符合HEVC测试模型(HM)。然而，本发明的技术不限于任何特定译码标准。其它实例包含MPEG-2和ITU-T H.263。

尽管图15中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以处理对共同数据流或单独数据流中的音频与视频两者的编码。在一些实例中，如果适用的话，MUX-DEMUX单元可以符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。

视频编码器20可实施用于视频编码过程中的多视图视频译码的本发明的技术中的任一者或全部。同样，视频解码器30可实施用于视频解码过程中的多视图视频译码的本发明的技术中的任一者或全部。如本发明中所描述，视频译码器可以指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样，视频译码可指视频编码或视频解码。

在本发明的一个实例中，源装置12的视频编码器20可经配置以执行包含串扰区映射及范围映射的串扰降低预处理以及串扰降低处理及后处理的任何部分，且基于串扰降低预处理、处理及/或后处理对一对图像帧的呈现进行译码，包含对像素应用串扰校正参数。

在本发明的另一实例中，目的地装置14的视频解码器30可经配置以执行包含串扰区映射及范围映射的串扰降低预处理以及串扰降低处理及后处理的任何部分，且基于串扰降低预处理、处理及/或后处理对一对图像帧的呈现进行译码，包含对像素应用串扰校正参数。

在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么可以Java或例如以C、C++、C#、Objective-C、Python、Ruby、Clojure或任何其它语言编写软件，或者所述软件也可被编译成例如汇编语言或对于硬件装置的一或多个处理器是原生的机器代码。如果用软件实施，那么所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另一处的媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一个或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可以包含计算机可读媒体。

术语“非暂时性”及“有形的”可指示存储媒体不体现于载波或传播信号中。然而，术语“非暂时性”应被解释为意味着一或多个存储装置为不可移动的。作为一个实例，参考图15，可从源装置12、目的地装置14或文件服务器36移除一或多个存储装置，且将其移动到另一装置。作为另一实例，可将存储装置插入到源装置12、目的地装置14或文件服务器36中。非暂时性存储媒体可存储可随时间改变(例如，在RAM中)的数据。数据存储装置还可包含可需要周期性地电刷新以维持存储器中的数据的各种形式的易失性存储器中的任一者，包含以相对较高速率(例如每秒若干次)电刷新的存储器形式，同时所属领域的技术人员将辨识此情形还构成了物理、有形非暂时性计算机可读数据存储装置的实例。在程序代码被载入、存储、中继、缓冲或高速缓冲存储于非暂时性物理媒体或装置上时可将可执行指令存储于非暂时性媒体上，包含要是仅在短持续时间内或仅呈易失性存储器格式的情况。

借助于实例而非限制，此类计算机可读存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或任何其它可用来存储指令或数据结构的形式的期望程序代码并且可由计算机存取的媒体。同样，任何连接可恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包括于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包括紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地复制数据。上文的组合也应包括在计算机可读媒体的范围内。

可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行所述指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可以在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可实施于广泛多种装置或设备中，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件组合在编码解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims

1.一种用于视频处理的方法，其包括：

识别多视图图像帧的对应对中的在相同位置对中的像素的第一集合，其中所述相同位置对具有大于选定视差阈值的在所述像素之间的视差；

识别在大于选定强度转变阈值的强度转变的选定距离内的所述图像帧中的至少一者中的像素的第二集合；

至少部分基于所述像素是在像素的所述第一集合及像素的所述第二集合中的至少一者中的识别确定将应用串扰校正的像素；及

对所述确定的像素应用串扰校正。

2.根据权利要求1所述的方法，其进一步包括仅对经识别为在所述第一集合及所述第二集合两者中的所述确定的像素应用串扰校正。

3.根据权利要求1所述的方法，其中对所述确定的像素应用所述串扰校正包括将所述像素的至少一部分的像素值从在选定位范围内映射到在所述选定位范围之外。

4.根据权利要求3所述的方法，其中所述选定位范围是选自8位范围、10位范围及12位范围当中。

5.根据权利要求1所述的方法，其中识别具有大于所述选定强度转变阈值的强度转变的像素包括对所述图像帧中的所述至少一者中的多个所述像素中的每一者应用边缘检测滤波器。

6.根据权利要求1所述的方法，其中识别在大于选定强度转变阈值的强度转变的选定距离内的像素包括识别在经识别为具有大于所述选定强度转变阈值的强度转变的像素的共同水平行内的在选定距离内的像素。

7.根据权利要求1所述的方法，其中所述选定距离包括选自1与256个像素之间的距离。

8.根据权利要求1所述的方法，其中所述选定距离为64个像素。

9.根据权利要求1所述的方法，其进一步包括至少部分基于所述像素是在所述图像帧的两个或两个以上部分中的哪一者中对应用所述串扰校正的所述确定的像素中的一或多者应用调整。

10.根据权利要求1所述的方法，其中识别具有大于所述选定转变阈值的强度转变的像素包括评估所述像素的明度值中的转变。

11.根据权利要求1所述的方法，其中识别具有大于所述选定转变阈值的强度转变的像素包括评估所述像素的一或多个色度值中的转变。

12.根据权利要求1所述的方法，其进一步包括基于所述串扰校正呈现多视图图像帧的所述对应对。

13.根据权利要求1所述的方法，其中所述串扰校正至少部分基于应用所述串扰校正的相应像素的颜色。

14.根据权利要求13所述的方法，其中所述图像帧包含颜色模型中的像素的三个或三个以上颜色，且所述串扰校正基于所述相应像素是所述颜色模型中的哪一颜色而不同。

15.根据权利要求13所述的方法，其中所述图像帧包含在RGB颜色模型中的R像素、G像素及B像素，且所述串扰校正基于所述相应像素是R像素、G像素还是B像素而不同。

16.根据权利要求13所述的方法，其中所述图像帧包含RGB颜色模型中的R像素、G像素及B像素，且用于G像素的所述串扰校正大于用于R像素或B像素的所述串扰校正。

17.根据权利要求13所述的方法，其中所述图像帧包含Y'CbCr颜色模型中的Y'像素、Cb像素及Cr像素，且所述串扰校正基于像素是Y'像素、Cb像素还是Cr像素而不同。

18.根据权利要求13所述的方法，其中所述图像帧包含在Y'CbCr颜色模型中的Y'像素、Cb像素及Cr像素，且用于Y'像素的所述串扰校正大于用于Cb像素或Cr像素的所述串扰校正。

19.一种用于视频处理的设备，其包括：

用于识别多视图图像帧的对应对中的在相同位置对中的像素的第一集合的装置，其中所述相同位置对具有大于选定视差阈值的在所述像素之间的视差；

用于识别在大于选定强度转变阈值的强度转变的选定距离内的所述图像帧中的至少一者中的像素的第二集合的装置；

用于至少部分基于所述像素是在像素的所述第一集合及像素的所述第二集合中的至少一者中的识别确定将应用串扰校正的像素的装置；及

用于对所述确定的像素应用串扰校正的装置。

20.根据权利要求19所述的设备，其进一步包括用于仅对经识别为在所述第一集合及所述第二集合两者中的所述确定的像素应用串扰校正的装置。

21.根据权利要求19所述的设备，其中对所述确定的像素应用所述串扰校正包括将所述像素的至少一部分的像素值从在选定位范围内映射到在所述选定位范围之外。

22.根据权利要求21所述的设备，其中所述选定位范围是选自8位范围、10位范围及12位范围当中。

23.根据权利要求19所述的设备，其中识别具有大于所述选定强度转变阈值的强度转变的像素包括对所述图像帧中的所述至少一者中的多个所述像素中的每一者应用边缘检测滤波器。

24.根据权利要求19所述的设备，其中识别在大于选定强度转变阈值的强度转变的选定距离内的像素包括识别在经识别为具有大于所述选定强度转变阈值的强度转变的像素的共同水平行内的在选定距离内的像素。

25.根据权利要求19所述的设备，其中所述选定距离包括选自1与256个像素之间的距离。

26.根据权利要求19所述的设备，其中所述选定距离为64个像素。

27.根据权利要求19所述的设备，其进一步包括用于至少部分基于所述像素是在所述图像帧的两个或两个以上部分中的哪一者中对应用所述串扰校正的所述确定的像素中的一或多者应用调整的装置。

28.根据权利要求19所述的设备，其中识别具有大于所述选定转变阈值的强度转变的像素包括评估所述像素的明度值中的转变。

29.根据权利要求19所述的设备，其中识别具有大于所述选定转变阈值的强度转变的像素包括评估所述像素的一或多个色度值中的转变。

30.根据权利要求19所述的设备，其进一步包括用于基于所述串扰校正呈现多视图图像帧的所述对应对的装置。

31.根据权利要求19所述的设备，其中所述串扰校正至少部分基于应用所述串扰校正的相应像素的颜色。

32.根据权利要求31所述的设备，其中所述图像帧包含颜色模型中的像素的三个或三个以上颜色，且所述串扰校正基于所述相应像素是所述颜色模型中的哪一颜色而不同。

33.根据权利要求31所述的设备，其中所述图像帧包含在RGB颜色模型中的R像素、G像素及B像素，且所述串扰校正基于所述相应像素是R像素、G像素还是B像素而不同。

34.根据权利要求31所述的设备，其中所述图像帧包含RGB颜色模型中的R像素、G像素及B像素，且用于G像素的所述串扰校正大于用于R像素或B像素的所述串扰校正。

35.根据权利要求31所述的设备，其中所述图像帧包含Y'CbCr颜色模型中的Y'像素、Cb像素及Cr像素，且所述串扰校正基于像素是Y'像素、Cb像素还是Cr像素而不同。

36.根据权利要求31所述的设备，其中所述图像帧包含在Y'CbCr颜色模型中的Y'像素、Cb像素及Cr像素，且用于Y'像素的所述串扰校正大于用于Cb像素或Cr像素的所述串扰校正。

37.根据权利要求19所述的设备，其中所述设备包括集成电路。

38.根据权利要求19所述的设备，其中所述设备包括移动计算装置。

39.根据权利要求19所述的设备，其中所述设备包括电视。