CN103152588B - 有效测量立体视差以及生成相关失配图像的系统和方法 - Google Patents

Abstract

本发明的实施例包括用于测量三维视频的立体图像的视差和失配的系统和方法，这可指示观众的部分的不适等级。测量这些参数还可用于提供关于某些过程是否已不利地影响感知深度(即，在给定显示器尺寸和观看距离的情况下通过从视差到深度的转换)的指示，检验照相装置设置或2维至3维合成过程。生成指示以及与立体图像有关的其它数据使用允许利用比先前系统中可能存在的少许多的计算资源进行处理的技术。

Description

有效测量立体视差以及生成相关失配图像的系统和方法

相关申请的交叉引用

本申请要求2010年12月28日提交的标题为“SystemandMethodstoEfficientlyMeasureStereoscopicDisparityandtoGenerateRelatedMismatchImages”的美国临时专利申请No.61/427743的权益。

背景技术

三维或立体视频是一种由于用于同时向一对偏移眼睛传递略有不同的图像(称作立体图像)的改进技术而处于复兴中的被证实技术。当左眼和右眼中的每个观看其具有水平视差的立体图像的相应部分时，人脑从视差生成深度感知的幻像。早期立体电影依靠佩戴在各眼之上的不同颜色的滤光片来创建深度感知效果，但是屏幕图像的整体色彩显得柔和。较新技术使用偏振滤光片来分离各眼看到的图像。这类技术由于在电影院中普遍采用数字投影仪——这使得比遗留设备更易于投射立体图像——而影响更多观众。参照图1，观看立体图像的方法如画面10所示。虽然左眼和右眼2、4聚焦在同一屏幕6上，但是滤光片12和14使用诸如以上所述等等过滤技术，使各眼看到略有不同的图像。大脑则在实际上两种对象被投射在同一屏幕6时，将图像中的相同或相似对象的空间视差、特别是水平视差转化为具有深度的对象。相应地，需要准确测量立体图像中的视差以及按照提供信息方式将该测量传送给用户。

虽然存在测量三维图像的空间视差的方法，例如在DanielScharstein和RichardSzeliski的论文“ATaxonomyandEvaluationofDenseTwo-FrameStereoCorrespondenceAlgorithms”(MicrosoftTechnicalReportMSR-TR-2001-81，在www.research.microsoft.com可得到)中所述的方法，将该论文称作“技术报告”，并且通过引用结合到本文中，但是它们通常是复杂的，并且要求大量计算能力，从而因所需处理的大开销而使其不能令人满意地用于实时分析。

本发明的实施例针对现有技术中的这些及其它限制。

发明内容

根据本申请的一个方面，提供了一种从具有左和右图像成分的立体图像来生成差别数据的方法，所述方法包括：将所述左和右图像中的每个垂直缩减取样为缩减取样图像线的集合；通过下列步骤来创建所述缩减取样图像线中的至少一个的反锐化掩模：采用IIR低通滤波器对至少一个缩减取样图像线进行滤波，以便创建经滤波的缩减取样图像线，以及从所述至少一个缩减取样图像线中去除经滤波的缩减取样图像线成分。

在上述的生成差别数据的方法中，还包括：通过将缩减取样图像线与其自己的反锐化掩模进行比较，并且存储该比较，来生成缩减取样图像线中的至少一个的差数据集合。

在上述的方法中，所存储的比较用于左图像，所述方法还包括：通过将缩减取样图像线与其自己的反锐化掩模进行比较，并且存储该比较，来生成所述右图像中的缩减取样图像线中的至少一个的差数据集合；以及把来自所述左图像和所述右图像的所存储的比较数据集合相互比较。

在上述的方法中，将所存储的比较数据集合相互比较包括：量化所存储的比较数据集合之间的差值；以及从所量化的差值来创建局部均值反锐化掩模差幅值集合。

在上述的方法中，还包括：从所述局部均值反锐化掩模差幅值集合来生成失配图像。

在上述的方法中，还包括：从所述局部均值反锐化掩模差幅值集合来生成视差图像。

在上述的方法中，还包括将所述左和右图像中的每个水平缩减取样为缩减取样图像线集合，或者对由垂直缩减取样所创建的所述缩减取样图像线集合进行水平缩减取样。

在上述的方法中，所述IIR低通滤波器具有系数a1＝1-b0。

在上述的方法中，生成差数据集合包括采用具有系数a1＝1-b0的双向IIR滤波器对缩减取样图像线进行滤波。

附图说明

图1是按照现有技术的3D传递系统的框图。

图2A是在说明本发明的实施例中所使用的左眼所看到的测试图像，而图2B是右眼所看到的测试图像。它们共同称作立体图像。

图3是按照本发明的实施例、有效测量立体视差的示例方法的流程图。

图4和图5分别是按照本发明的实施例、来自视频帧的垂直缩减取样立体图像的相应线的平均亮度值的图表。

图6是按照本发明的实施例、图4所示左图像的亮度值的连续局部均值的图表。

图7是按照本发明的实施例、图4所示右图像的亮度值的连续局部均值的图表。

图8是按照本发明的实施例、通过对左和右图像来比较缩减取样图像线(imageline)与其自己的局部均值所创建的差值的图表。

图9是示出通过计算局部均值反锐化掩模值的差幅值所生成的示例输出的二维数据绘图图像。

图10A是示出图9所示垂直子图像的数据绘图的匹配的测量的图表。

图10B是示出图9所示立体图像的特定像素的匹配的测量的图表。

图11是按照本发明的实施例、从所生成差值所创建的失配图像。

图12是按照本发明的实施例、从所生成差值所创建的视差图像。

图13是示出用于执行本发明的实施例的示例系统的原理框图。

具体实施方式

本发明的实施例针对用于确定图像的左-右视差的幅值以及同时注视左和右图像的观众的潜在不适的指示的系统和方法。对于具有极少或者没有水平视差的图像，可沿垂直轴来确定潜在不适。

正如在上面提及的关于左/右图像的对应性算法的“技术报告”中所列举，生成视差测量时的一般处理步骤为：a)以局部为基础来量化指示相应图像的部分的空间匹配的测量；b)合计来自这种量化的局部结果；c)视差计算/优化；以及d)视差精炼(disparityrefinement)。本发明的实施例包括创建对应性以及在使用现有技术方法的资源的一小部分的同时允许更好结果的变化的每个主要步骤。

本发明的实施例可开始于修改将要比较的图像的一个或多个预处理步骤。参照图2A、图2B和图3，在一个优选实施例中，立体图像的左和右图像(图2A和图2B)首先均在过程102中沿垂直方向经过缩减取样。例如，如果原始立体图像如标准HD视频帧那样在垂直方向为1080像素而在水平方向为1920像素，则各图像可缩减取样为10×1920像素图像。这创建一对图像(左和右)，其中各图像正好具有10条水平线，各为1920像素长。在这个示例中，各线代表用于形成该线的原始立体图像的108条线的组合，并且称作垂直缩减取样图像线。虽然示出灰度级图像，但是本发明的实施例在彩色域中也起作用。

各种技术能够用于从108条线来创建垂直缩减取样图像线。在一个实施例中，对于来自一区域中的108条线的每个的第一像素求平均，以便创建单个平均像素值。然后，对所有108条线的第二像素求平均，以便创建该线中的第二像素，依此类推，直到创建1920像素的垂直缩减取样图像线。图4是绘制图2A和图2B的每个中的第一垂直缩减取样图像线的平均亮度值的图表，以及图5是绘制图2A和图2B的第二垂直缩减取样图像线的平均亮度值的图表。图4中，参考20描绘通过将图2A从1080条线垂直缩减取样为10的第一垂直缩减取样图像线的平均亮度值。参考22描绘缩减取样图2B的相同值。同样，在图5中，参考30表示产生于对图2A进行垂直缩减取样的第二垂直缩减取样图像线的平均亮度值，以及参考32表示对图2B的相同值。

在另一个预处理过程中，在这个示例中为1920像素长的垂直缩减取样图像线在过程104(图3)中同样可水平缩减取样为更短线。例如，这在用于评估立体图像的监视器的显示小于1920像素宽时会是适当的。其它实施例可沿水平方向缩减取样，以使得稍后处理对更少像素来执行，这在计算能力受到限制时会是重要的。不是将垂直缩减取样图像线缩减取样为特定数量的像素，而是可根据给定百分比来缩减取样，例如缩减取样成具有原始长度的70％长度。但是，这种缩减取样是系统的计算速度与总测量的精度之间的折衷。在一些实施例中，垂直和水平缩减取样因数可以是用户可控制的输入，用户可能希望改变这类因数直到取得计算速度与精度之间的平衡。

在一些实施例中，可在二次取样之前使用抗混叠滤波器。关于要使用哪一个抗混叠滤波器的选择可通过可用计算资源来确定。例如，如果硬件和软件资源是现成可用的，则可使用诸如美国专利7406493中描述的海鸥滤波器。如果改为计算速度是奇缺可用的(availableatapremium)，则系统可使用下列申请中描述的双向IIR低通滤波器：美国已公开申请2008/0152257，标题为“MeasurementApparatusandMethodofMeasurementofVideoSpatialScale，OffsetandCropping”；以及美国已公开申请2010/0226592，标题为“MethodsandSystemsforImageRegistration”，通过引用将这两者结合到本文中。将在二次取样之前使用这些双向IIR滤波器。可使用的计算效率高的缩减取样的另一种方法包括使用与以上所述相似的方法来求平均。此外，如果没有计算资源可用于抗混叠滤波，则混叠可能是不得已的，并且简单地对来自上述垂直缩减取样的平均代表线进行抽选，而不使用其它值。在所有情况下无需使用全部数据。

随后，在一些实施例中，可通过使用上面提及的专利出版物中所述的双向IIR滤波器但是使用不同技术从每个中减去相应双向IIR低通滤波形式，对左和右图像的每个的所产生垂直缩减取样图像线进行反锐化掩模(unsharpmask)。它们在流程100(图3)中示为106。所使用的双向IIR滤波器的滤波系数可以是a1＝1-b0。这产生垂直缩减取样图像线中的每个的所生成DC(低频)线。图6和图7各包括重叠在单个图表上的两条线。图6的参考线20与图4的参考线20相同，但是图6具有更长的x轴。图6中引用为21的线是如上所述参考线20经过双向IIR低通滤波器之后的输出。类似地，图7中引用为23的线是图4的参考线22经过双向IIR低通滤波器以创建连续局部均值之后的输出。使数据经过双向IIR低通滤波器有效地生成局部均值，这通过将线21、23与20和22的相应原始数据线进行比较而在图6和图7中是显而易见的。

随后，通过修改左和右图像所形成的差值则经过以上“技术报告”中所述的标准四个对应性测量步骤，其中具有一些差别，这些差别进一步降低计算资源，同时仍然产生有效结果。“技术报告”中的视差测量过程的第一步骤称作“匹配成本计算”，其中产生立体图像的部分的空间匹配的测量。“技术报告”规定，可使用左和右图像的差的绝对值、平方差、互相关性、相位或小波相位(waveletphase)来计算差。实际上，以不同相对位移将左和右图像与各位移的局部匹配量化结果进行比较。

在本发明的实施例中，参照图3和图6，如过程110所示，通过生成垂直缩减取样图像线与其相应局部均值之间的差值，来实现这个步骤的第一部分。换言之，将对原始垂直缩减取样图像线所计算的原始亮度值(图4和图6的参考20)与相同参考的IIR滤波形式(图6的参考21)进行比较，以便产生差值，线中每个像素一个差值。这个差值如图8所示，其中曲线40是源自图2A的立体图像的左侧的参考线20和21的差值，以及曲线42是源自图2B的立体图像的右侧的图7的参考线22和23的差值。绘制为图中参考线40和42的这些差值称作相应信号的AC(高频)部分，并且还称作AC线。

在本发明的实施例中，通过将第一部分中计算的差值相互比较，来处理视差测量的第二部分。一些实施例通过不将每一个像素与每一个其它像素进行比较，而是忽略被比较的线中的一定数量的像素，包括另一种计算节省效率。例如，不需要将图8的线40中的各像素与线42中的所有像素进行比较。这相当于上述缩减取样过程的抽选，而无需制作数据的新副本。

“技术报告”中计算对应性的第二步骤是对来自第一步骤的局部结果的合计。通常使用求和或FIR(有限脉冲响应)滤波器、采用诸如平方、高斯以及具有可变大小、相位等的其它等等的窗口所定义的支持区域来计算它们。

呈现提高的计算效率和精度的本发明的实施例通过使以上所生成的差值经过双向IIR低通滤波器来从事(address)合计步骤，所述双向IIR低通滤波器例如是先前结合的专利申请中所述的那些低通滤波器。因此，在这个示例实施例中，合计通过滤波来实现。用于执行这个滤波动作的相同双向IIR滤波系数可与以上所使用的IIR滤波系数相同，a1＝1-b0。这示为图3的过程112。低通滤波器的输出是二维输出，其中各列由表示位移值的数据来形成。示例输出在图9中示为数据绘图200。对于在图3的过程102中缩减取样为10个水平带的1080×1920立体图像，在过程112中产生十个数据绘图200，各垂直缩减取样图像线一个。

更具体来说，参照图9，数据绘图200是示出相对位移值的像素定域误差(pixellocalizederror)的误差图像。例如，在一些实施例中，可通过取左图像的垂直缩减取样图像线，并且将它与右图像的垂直缩减取样图像线进行比较，来形成数据绘图200的顶线。这种比较可以是各像素的绝对值差。图9中，示出图2A和图2B所示的原始立体图像的示例左和右图像部分。以第一位移值将这些左和右图像部分202、204相互比较，并且将每个逐像素比较作为数据绘图200的数据元素来记录。如同比较具有1920像素的线中的典型情况那样，对于数据绘图200中的各线会存在1920-|位移|个(相对位移的像素数量的绝对值)比较。

通过将左和右图像部分202、204相对彼此位移给定值，来创建数据绘图中的第二线。在计算资源现成可用的系统中，左和右图像部分202、204对于比较的各集合可只位移一个像素。但是，更典型的情况是，像素以更大的递增位移来进行位移。在进行所有预期比较并且记录其比较值之后，数据绘图200完成。

“技术报告”中计算对应性的第三步骤是视差计算/优化。这通常能够通过取每个图像部分的最佳匹配来迅速执行。例如，如果以那个密度来测量立体对应性，则可按像素执行视差计算。但是，在计算所有像素位移之后，可评估在一些应用中被认为不可能的该组位移的“平滑性”或间断性。可使用通过噪声、中值(median)或其它滤波器进行的滤波。本发明的实施例假定平滑性对于所有视频是有效的，并且检测立体图像中的不匹配区域比生成没有良好匹配的图像部分的视差值更加有价值。

在这个阶段，本发明的实施例从数据绘图200生成两个图或图像。首先，对于数据绘图200的各列，选择最小误差值，并且将其值编码为失配图像210的像素，如图11所示。这个过程在图3中表现为过程114。失配图像210的顶线通过选择第一数据绘图200的各列中的最小值来形成，并且复制另外107次，以便补偿垂直缩减取样过程102(图3)。也就是说，失配图像210的第一批108条线是相同的。这意味着，在这个实施例中，失配图像210以及图2A和图2B所示的原始立体图像具有相同维(dimension)。类似地，失配图像210中的第二批108条线从第二数据绘图200来形成，这通过将第二垂直缩减取样图像线中的左和右图像相互比较来进行，如上所述。在比较过程中创建的数据绘图200中的每个用于形成失配图像210的对应水平线。在从所有数据绘图200选择所有最小误差值之后，值可经过归一化来用于失配图像的最大图像对比度。例如，最小误差值0可编码成在失配图像210上表现为黑色，而可以是在任何数据绘图200的任何列中发现的最小值的最大一个的最大误差值210可编码成表现为白色。

这个失配图像210用作观众是否将成功生成立体图像的特定部分的三维深度感知的指示。换言之，可表现为亮区域的更高失配等级指示观众可能具有在观众脑中成功融合立体图像的左和右图像的问题。

另外，从图9的数据绘图200来生成视差图像220，如图12所示，并且示为图3的过程116。视差图像220中的各像素代表各像素必须沿其水平线进行位移以形成以上所确定的最小误差的像素的数量。换言之，与通过取每一列中的实际最小比较值来形成图11的失配图像的情况不同，通过在图12的视差图像中绘制与其中出现最小值的各列的线数量对应的位移，来形成图12的视差图像。在这个实施例中，通过位移＝LineNumber×ShiftIncrement+InitialShift，位移与线数量相关。与失配图像210相似，视差图像220通过将线复制另外107次来形成。又与失配图像相似，视差图像的各水平线对应于数据绘图200中单个数据绘图。

图10A是示出图9所示子图像的匹配的测量的图表。在这个图表中，最大值示出最小差幅值，它也是对局部绝对平均差的补充(compliment)。图10A中的顶曲线系列示出如何对匹配(垂直)与像素(水平)的曲线进行匹配，其中每个新曲线代表用于计算的新偏移(视差)。图10B示出单个像素、即图9所示的第二子图像的第550个最左像素的映射的测量。再者，所绘制的值是对局部绝对平均差的补充(compliment)，表示最小差幅值示为最大数。清楚的是存在两个接近相等的幅值峰，它们在需要时可使用已知方法来进一步选择。

“技术报告”中计算对应性的第四步骤是视差计算/优化步骤(步骤3)的精炼。通过在诸如图12的视差图220之类的视差图位置之间的内插，按常规来执行精炼。本发明的实施例执行不同精炼过程。

在本发明的实施例中，精炼的第一选项是在搜索最小值时执行扩展水平搜索。例如，可建立阈值，必须达到该阈值以便成为用于在图3的过程120和130中创建失配和视差图像的最小选择过程的合格最小数。记住，这些搜索在围绕被搜索值的窗口中执行。在扩展搜索中，创建和搜索更大窗口，它可包括垂直以及水平搜索。

精炼的第二选项包括执行子区域搜索。例如，如果在搜索图9的数据绘图200时发现多个相同移动(displacement)，或者如果失配图像生成过程指示不良失配，则特定垂直段可分为两个(例如，各通过对分别54条线求平均来形成，而不是108条)，并且该过程重复进行，直到发现更好的匹配。这可在需要时多次发生，以便满足阈值最小数。特别在原始立体图像包括多个不同深度平面时，这可能发生。

精炼的第三选项包括作为视频的一部分的立体图像的时间自适应搜索。对于视频，连续帧使用先前帧视差信息和差别视差(视差运动)来预测当前帧中的视差，其效果是在开头以较少精炼来创建更好匹配。更具体来说，在处理立体图像的第一左和右帧以获得各像素的匹配(或失配)的位移之后，这个信息用作匹配下一帧的各像素的起始点。这具有的有益效果是能够使用比没有使用预测的系统中更小的搜索范围，而这又允许更好结果，同时降低计算资源需要。范围可限制到与人眼跟踪速率(以视度/秒来测量)和聚散度(vergence)调整跟踪速率对应的范围。例如，除了较小搜索范围之外的技术还可与本发明的实施例结合使用，例如现有技术已知的视频压缩算法中的对象跟踪、线性预测编码和运动补偿方法。

图13是按照本发明的实施例、有效测量立体视差并且进行3D图像的测量的示例系统的原理框图。分析装置300可以是独立装置，或者可以是较大系统的一部分。装置300可在运行商业操作系统并且具有体现为软件进程的各种所示功能的通用计算机上实现。这些进程可以是独立进程，或者全部可以是较大程序的子组件。备选地，装置300可在可编程装置中形成，例如FPGA(现场可编程门阵列)，这是本领域众所周知的。如果生产成本保证，则装置300可包含在ASIC(专用集成电路)中。但是，最典型的情况是，分析装置300由合并成单个装置的这些组件中的若干组件来形成。例如，FPGA可用于大多数处理，而运行于通用计算机硬件上的软件例程可运行允许用户对于要执行的分析装置300进行选择的菜单系统。重要的是要注意，关于如何体现进程的细节是实现特定的，并且一般留待通晓所有这些各种实现方法和每种方法的利弊的系统设计人员处理。

包括左和右图像的立体视频输入被输入到分析装置300。取决于操作细节，缩减取样处理器310构造成执行垂直和/或水平缩减取样处理。经过缩减取样的立体图像越多，则需要越少计算资源来执行分析，但是以降低准确性和精度为代价。垂直和水平缩减取样可以不相似，其中相比水平缩减取样，更多地对图像进行垂直缩减取样。

在缩减取样之后，处理器320通过将缩减取样处理器310的输出与其低通滤波形式进行比较，来生成反锐化掩模图像输出。如上所述，低通滤波器322可包括IIR双向滤波器。然后，将反锐化掩模图像输出传递给差测量器330，差测量器330以各种相对位移来执行左和右图像的反锐化掩模处理图像线之间的差处理。差测量器330可如上所述使用绝对值测量设施332来进行其初始差计算或者多个变化的任一个。然后，差信号经过另一个过程、如另一个IIR低通滤波器334，以便生成局部均值反锐化掩模差幅值的输出。这个输出在以上描述为对每个垂直缩减取样图像线所生成的二维数据绘图。这个数据绘图用作图像创建器340的基础，图像创建器340从数据绘图来形成失配图像和视差图像。更具体来说，视差图像和失配图像指示原始立体图像中的成分相互之间的匹配程度。视差图像向观众提供有关图像的各部分相互之间远离程度的信息，而失配图像提供以这个空间位移与实际最小误差有关的信息，它与左和右图像之间的失配量对应。失配量还能够很好地指示观看图像所遇到的可能视觉不适。将这些图像作为能够显示或存储供分析的图像呈现给用户。

因此，考虑到对本文所述实施例的大量置换，本详细描述和伴随资料意在只是说明性的，而不应当理解为限制本发明的范围。因此，本发明所要求保护的是可落入以下权利要求书及其等效体的范围和精神之内的所有这类修改。

Claims (11)

1.一种图像处理方法，包括：

接受立体图像的左和右图像，其中，所述左和右图像具有高度和宽度；

创建差别数据集合，其中，从所述左和右图像的垂直缩减取样形式来创建所述差别数据集合；以及

通过为失配图像的部分装填指示所述差别数据集合的匹配等级的颜色，来生成失配图像。

2.如权利要求1所述的方法，其中，所述差别数据集合的各组数据对应于所述左和右图像的垂直缩减取样图像线。

3.如权利要求2所述的方法，其中，生成失配图像包括从所述差别数据集合中的一组来生成所述失配图像的线，并且其中垂直扩展所述失配图像的线，以便填充与从其中创建所述线的所述立体图像的区域对应的所述失配图像的区域。

4.一种图像处理装置，包括：

用于接收包括左图像和右图像的立体视频的输入；

差测量器，构造成生成指示所述左图像与所述右图像之间的多个比较的输出，所述比较以所述左图像与右图像之间的多个相对位移来进行；

失配图像创建器，构造成接受所述差测量器的输出作为输入，并且生成具有指示所述左图像与右图像的部分之间的相对视差量的多个图像区域的失配图像。

5.如权利要求4所述的图像处理装置，还包括构造为对所述左图像和所述右图像进行缩减取样的缩减取样器。

6.如权利要求5所述的图像处理装置，其中，所述缩减取样器包括具有第一缩减取样强度输入的垂直缩减取样器以及具有第二缩减取样强度输入的水平缩减取样器。

7.如权利要求4所述的图像处理装置，还包括：

反锐化掩模视频产生器，构造成接受所述左图像和所述右图像作为输入，并且生成作为相应输出的反锐化掩模图像。

8.如权利要求4所述的图像处理装置，其中，反锐化掩模视频产生器包括具有系数al＝1-b0的双向IIR滤波器。

9.如权利要求4所述的图像处理装置，其中，所述失配图像缩放成具有与所述立体视频输入的图像相同的维。

10.如权利要求4所述的图像处理装置，还包括视差图像创建器，所述视差图像创建器构造成接受所述差测量器的输出作为输入，并且生成具有指示所述左图像与右图像的部分之间的相对视差的多个图像区域的视差图像。

11.如权利要求10所述的图像处理装置，其中，所述视差图像创建器包括具有系数al＝1-b0的双向IIR滤波器。