CN105531997B - 二维视频到三维视频的转化方法和系统 - Google Patents

Abstract

一种用于把二维视频转化为三维视频的方法。方法包括下列步骤：比较视频帧x的至少一部分和相应的视频帧y的至少一部分以确定它们之间的运动，根据确定的运动计算运动方向和运动程度，根据运动方向确定观影帧L和观影帧R，以及根据运动方向和运动程度修改观影帧R以生成修改的观影帧R'。一个可选的实施例是一种用于把二维视频转化为三维视频的视频显示装置。另一个可选的实施例包括存储可执行指令的一个或多个装置可读介质，当执行指令时，配置视频显示装置以将二维视频转化为三维视频。

Description

二维视频到三维视频的转化方法和系统

技术领域

本发明涉及一种用于将二维(单视场的)视频转化为三维(立体的)视频的方法和系统，更具体地说，涉及一种用于实时地将二维(单视场的)视频转化为三维(立体的)视频的方法和系统。

背景技术

人类具有使用两个隔开大约2.5英寸(约6.5厘米)的眼睛的双眼视觉系统。每只眼睛从稍微不同的视角观看世界。大脑使用这些视角中的不同来计算或估计距离。这种双眼视觉系统负责以相对好的精度确定对象的距离直到大约20英尺远的能力。视野中多个对象的相对距离也可以被确定。仅利用一只眼睛会大大降低这种距离确定的精度。

传统的三维电影或视频(下文一般地称为“视频”)是利用相距约三英寸(例如与人类双眼分开的距离相同的距离)到八英寸的并行安装的两个视频源(例如摄像机)制作的。这个距离经常被称为视差(interaxial distance)或目间距。两个视频源实际生成了两个视频；一个用于左眼且一个用于右眼。每个视频由一系列的“帧”(被称为“帧”或“视频帧”)组成。

传统上，三维视频的投影或显示已经通过利用例如颜色区分系统或偏振系统投影或显示多个视频来完成。这可以利用每个显示一个视频的投影或显示装置(例如放映机)来完成。这还已利用以重叠或交错的方式显示视频的单一投影或显示装置(例如电脑的数字或模拟显示系统、播放器、VCR、DVD播放器、蓝光播放器、电视)来完成。人类的双眼视觉系统能够自动地使这些重叠的显示相关联，这是因为每只眼睛只能看到重叠或交错显示中的一个。

图1示出用于投影或显示使用颜色区分的三维视频22的示例性的传统的颜色区分系统20。第一视频源24通过第一滤色镜(例如红色)投影，第二视频源26通过第二滤色镜(例如蓝色)投影。该图中的视频22利用夸大的双倍图像来显示。观众带着具有相应颜色的透镜30、32的特殊眼镜28。例如，第一透镜30会是与一个滤色镜的颜色相同的颜色(例如，蓝色-示为平行于绘图页底部的水平线)，第二透镜32会是与另一个滤色镜的颜色相同的颜色(例如，红色-示为平行于绘图页侧的铅垂线)。屏幕显示会具有两种颜色(示为从屏幕投影的箭头)。被第一透镜30覆盖的眼睛能观看由投影或显示相反颜色的视频源24投影或显示的图像。被第二透镜32覆盖的眼睛能观看由投影或显示相反颜色的视频源26投影或显示的图像。生产以相同的基本原理工作的眼镜(使用具有类似的双色技术的微型棱镜)。

图2示出用于投影或显示使用偏振区分的三维视频42的示例性偏振区分系统40。该图中的视频42利用夸大的双倍图像来显示。这个系统利用以下事实：只有当两个偏振光在相同方向偏振时，偏振光才会通过偏振眼镜。因此，第一视频源44投影通过第一偏振滤光片(例如水平的)，第二视频源46投影通过第二偏振滤光片(例如垂直的)。观众带着具有相应偏振透镜50、52的特殊眼镜48。例如，第一透镜50会具有与一个偏振滤光片相同的偏振(例如，如垂直虚线所示)，第二透镜52会具有与另一个偏振滤光片相同的偏振(例如，如水平虚线所示)。在这个示例中，被第一透镜50覆盖的眼睛能观看由水平投影偏振图像的视频源44投影或显示的图片，被第二透镜52覆盖的眼睛能观看由垂直投影偏振图像的视频源46投影或显示的图片.

用于显示三维电影的另一项技术使用LCD快门式眼镜。LCD快门式眼镜具有使用液晶和偏振滤光片的透镜，偏振滤光片是透明的直到施加电压，施加电压时透镜变黑。IR发射器发射IR信号以触发电压使得透镜在透明和变黑之间以交替的方式转换，首先一只眼睛然后另一只眼睛。这种透明/黑暗交替与专门的显示屏的刷新率同步，专门的显示屏使用称为交替帧序列的技术在第一只眼睛的第一视角的显示和第二只眼睛的第二显示之间交替。LCD快门式眼镜和专门的显示屏一起使用生成了三维图像(或者至少图像的三维元素)的幻觉。

三维电影已经存在很长时间。但是在它们的全盛期二十世纪五十年代之后，三维电影作为一种媒介陷入衰退，电影制作者把他们的注意力转到了其他技术上。但是新技术(包括偏振区分系统)已经使得这种媒介更有吸引力，新的电影正在作为三维电影制作并发布。为此的主要原因是三维电影的质量有了明显改善。三维电影变得受欢迎的另一个原因是电影观众呈现愿意为这种特殊的效果付费。

即使电影制作者愿意投资用于制作新的三维电影的新技术，但是使用三维技术拍摄电影明显比使用二维技术昂贵得多。另外，已经制作了成千上万的二维电影。所以需要找到一种用于把二维电影转化为三维电影的系统或者方法。

看到这种需求，发明者们已经尝试生成用于将二维电影转化为三维电影的方法和30系统。例如，有很多专利涉及用于将二维电影转化为三维观影的方法和系统。这些专利中的很多描述了一些类型的分析以“识别”、“删掉”和/或“移动”场景中的一个或多个元素或对象，然后将元素或对象分层以生成深度的幻觉。落入这一类别的专利包括但不限于Richards的专利号为6,477,267的美国专利和Naske的专利号为7,321,374的美国专利。然而，这些把二维电影转化为三维(立体)观影的现有技术方法不再起作用(也就是，理论上它们可以起作用，但是实际上它们不能起作用，因为当前可获得的电脑技术没有强大到足以实施这些计算密集型的方法)、为资源密集型的、和/或不产生可接受的结果(例如硬纸板剪切效果(cardboard cut-out effect))。例如，一些现有技术方法是计算密集型的使得现有的处理器没有强大到足以处理每个给定场景中超过几个要素或对象的计算。

发明内容

本发明的一个优选实施例涉及一种用于将二维视频转化为三维视频的方法。方法包括以下步骤：比较至少部分视频帧x和相应的至少部分视频帧y以确定帧之间的运动，基于确定的运动来计算运动方向和运动程度，基于运动方向确定观影帧L和观影帧R，以及基于运动方向和运动程度修改观影帧R以生成修改的观影帧R'。

在优选实施例中，比较的步骤进一步包括比较视频帧x的预定数量的像素和相应的视频帧y的预定数量的像素以确定它们之间的运动。在可选的优选实施例中，比较的步骤进一步包括以下步骤：比较视频帧x的边缘处的至少一个像素和相应的视频帧y的边缘处的至少一个像素，比较视频帧x的中间的至少一个像素和相应的视频帧y的中间的至少一个像素，和/或比较视频帧x的至少两个角落(corner)处的至少一个像素和相应的视频帧y的至少两个角落处的至少一个像素以确定它们之间的运动。

在优选实施例中，基于运动方向确定观影帧L和观影帧R的步骤进一步包括以下步骤：(1)当运动方向向右时，设置视频帧x为观影帧L，设置视频帧y为观影帧R以及(2)当运动方向向左时，设置视频帧x为观影帧R，设置视频帧y为观影帧L。

在优选实施例中，修改观影帧R的步骤进一步包括数字化地使观影帧R变形(distort)以生成修改的观影帧R'。数字变形可以是数字化地把观影帧R变形为拉伸的梯形以生成修改的观影帧R'。数字变形可以数字化地把观影帧R变形为具有超出裁剪掉的原始帧尺寸的边缘的拉伸的梯形以生成修改的观影帧R'。

本发明还可涉及一种用于把二维视频转化为三维视频的视频显示装置。

本发明还可涉及一种或多种存储可执行指令的装置可读介质，当执行可执行指令时，配置视频显示装置以将二维视频转化为三维视频。

考虑下列结合附图的本发明的详细说明，本发明的上述和其他目标、特征和优点将更加容易理解。

附图说明

包含在部分说明书中并组成部分说明书的附图说明了各种示例性实施例。

图1是示例性的传统颜色区分系统的简化透视图。

图2是示例性的传统偏振区分系统的简化透视图。

图3是示出用于将二维视频转化为三维视频的10方法或系统的示例性优选实施例的流程图。

图4是使用颜色区分系统的示例性优选实施例结合连续视频帧对以生成观影帧的示例性优选实施例的简化框图。

图5是使用偏振区分系统的示例性优选实施例结合连续视频帧对以生成观影帧的示例性优选实施例的简化框图。

图6是一组示例性的视频帧x和y的简化视图，其中，每个视频帧都具有像素(P)阵列和在视频帧x中的示例性的边缘区域、示例性的中间区域和两个示例性的角落的图形显示和在视频帧y中的相应的示例性的边缘区域、相应的示例性的中间区域和两个相应的示例性的角落的图形显示。

图7是如何25一个接一个地连续检查各种区域的示例性优选实施例的流程图。

图8A-8D是动作向右时本发明的示例性优选实施例的一系列的图形表示。

图9A-9D是动作向左时本发明的示例性优选实施例的一系列的图形表示。

图10是具有来自覆盖其上的两个连续帧的元素的像素(P)的阵列的简化视图，元素在两个帧之间5移动一些像素(P)。

图11是具有来自覆盖其上的两个连续帧的元素的像素(P)的阵列的简化视图，元素在两个帧之间移动许多像素(P)。

图12是最初形式的观影帧R的均匀隔开的10元件(X)的阵列的简化屏幕视图。

图13是延伸拉伸变形后的观影帧R的元件(X)的阵列的简化屏幕视图。

图14是梯形拉伸变形后的观影帧R的元件(X)的阵列的简化屏幕视图。

具体实施方式

本发明涉及一种用于把二维(单视场的)视频转化为三维(立体的)视频的方法和系统。本发明使用了最少计算资源使得可实时地发生转化。与使用昂贵资源的分析或场景中的元素或对象的识别、使用昂贵资源的处理来切断识别出的元素或对象、然后使用昂贵资源的处理来仅移动那些元素或对象(有时必须填充空白空间)的现有技术比较，本发明大大节省了资源。这使得本发明可以实时地把二维视频转化为三维视频。

应理解的是，在本文中描述的发明、示例和实施例不限于具体示例的材料、方法，和/或结构。进一步地，在本文中，不管上文或下文引用的所有出版物、专利和专利申请通过引用全文并入本文。

在描述发明和附图之前，一些术语应被阐明。

如上所述，术语“视频”用于描述由一系列“帧”(被称为“帧”或“视频帧”)组成的电影或视频。为了清楚的目的，连续的视频帧将被称为视频帧x和视频帧y。这些术语应该是相关的，因此，视频帧y会将视频帧x变成紧跟其后的视频帧。如将讨论的，显示给左眼的视频帧将被称为观影帧L，显示给右眼的视频帧将被称为观影帧R。然而，应该注意的是，观影帧L和观影帧R中的一个或两个可被修改。如果显示的是修改版本，则显示的观影帧将被描述为“修改的观影帧”。

每个视频帧和/或观影帧显示包含元素或对象的“画面”(通常被称为“元素”)。例如，天空的“画面”中，飞机的“元素”可能飞过屏幕。元素可以是移动元素或静止元素。在数字成像中，术语“像素”通常用于描述图像中的最小项信息。像素通常被设置在二维栅格中。术语“像素”在本发明中主要以像素的形式用于显示装置上，显示装置用于展示其中的画面或元素。也可以用于描述原始视频帧x和y的数字数据。例如，像素(P)在图6、10和11中被示出并讨论。为了理解本发明的目的，画面还可被描述为由表示以阵列排列的画面的小的部分的元件(X)的阵列组成。在数字媒体中，例如，元件(X)可以是电子数据和/或像素。在模拟媒体(例如电影和录像带)中，元件(X)可以是真实的胶片。例如，元件(X)在图12-14中被示出并讨论。虽然在一些情况中它们可能是可互换的，但为了本发明的目的，元件(X)和像素(P)的区别在于元件(X)在变形的过程中被取代。这可以通过观看图12和图14而被更好地理解。在图12中，右上角的元件(X)可以和右上角的像素(P)(未示出)相同，但是图14中所示的帧变形后，右上角的元件(X)将离开帧且将与将与图12中保持相同位置的右上角的像素(P)(未示出)不相同。

应该注意的是，本发明可使用不同类型的技术来实施，不同类型的技术包括但不限于视频显示系统(例如VCR、电影放映机、电视以及其他投影或者显示装置)、计算机(例如工作站、手持技术装置或其他可编程设备)、专用的或通用目的的能够投影或显示视频的装置或几乎任何当前的或未来的能够用于投影或显示视频的技术手段，所有这些在本说明中将被称为“视频显示装置”。视频显示装置可由一个或多个处理单元组成。视频显示装置也可以是诸如与本发明的视频显示装置一起作用的电视和附加“盒子”等装置的组合。而且，本发明的视频显示装置可应用于两种暂时的和/或物理的不同阶段，例如录像阶段(例如刻录或者记录CD、DVD或者磁带)和回放阶段(例如播放CD、DVD或者磁带)。视频显示装置可以是为本发明特制的和/或可以是程序化的或者其它方式适用于本发明的使用。

应该注意的是，本发明的方法可被编码和/或存储在能够被视频显示装置或者与视频显示装置协同工作的装置“读取”的介质上。这种介质包括但不限于存储介质(例如RAM、PROM、EPROM或者FLASH-EPROM)、磁性介质(例如软磁盘、软盘、硬盘或者磁带)、光学介质(例如CDROM和DVD)、物理介质(例如穿孔卡片或者纸带)或者几乎任何当前的或未来的记忆和/或储存方式，所述这些在本说明中被称为“存储器”、“存储方式”和/或“装置可读介质”。存储器可以是易失性的和/或非易失性的。存储器可以与视频显示装置是整体式的和/或不同于视频显示装置。例如，如果视频显示装置是计算机，则存储器可以是其上具有计算机可执行指令的计算机可读介质，当执行指令时，指导视频显示装置根据本发明把二维视频转化为三维视频。

应该注意的是，本发明可以作为用于将二维视频转化为三维视频的方法实施。应该注意的是，本发明可以作为用于将二维视频转化为三维视频的系统实施。应该注意的是，“系统”可以是视频显示装置和/或一个或多个存储可执行指令的装置可读介质，当执行指令时，配置视频显示装置以把二维视频转化为三维视频。

请注意，术语和短语在整个说明中可具有额外的定义和/或示例。当其他方面没有特别定义时，词语、短语和缩写词被给予它们在本领域的通常含义。参照附图可以更好地理解示例性实施例，但是这些实施例并不旨在限制性的性质。相同的参考数字在本文的整个附图和说明中将被用来表示相同或相似部分。最后，如在本说明书和所附的权利要求中所使用的，单数形式“一”、“一个”和“所述”包括复数参照对象，除非上下文明确表示不包括。

图3和7是说明方法和系统的流程图。虽然仅仅描述了方法中的步骤方面，但是应理解的是，这些流程图的每一个框和这些流程图中框的组合可以通过软件(例如程序指令、软件程序和子程序)、硬件(例如处理器和存储器)、固件和/或这些形式的组合来实施。作为示例，在软件的情况下，程序指令可被下载到视频显示装置(或视频显示装置的存储器)上来生产机器，使得在视频显示装置上执行的指令生成用于执行流程图框中说明的功能的结构。这些程序指令也可以存储在可以特定方式指导视频显示装置运行的存储器中，使得存储器中的指令生成制造条款，条款包括执行流程图框中详细说明的功能的指令结构。程序指令也可以被下载到视频显示装置上以引起在视频显示装置上执行或由视频显示装置执行的一系列操作步骤以生成视频显示装置的执行过程，使得在视频显示装置上执行的指令提供用于执行流程图框中详细说明的功能的步骤。因此，流程图中的框支持用于执行详细说明的功能的步骤、结构、和/或模块的组合。还应理解的是，在不影响本发明的范围的情况下，流程图中的每一个框和流程图中框的组合可以被划分和/或与流程图中的其他框组合。

作为初步事项，应该强调的是，本发明开始于单个二维视频。结合图1和图2讨论的现有技术开始于两个二维视频，每个二维视频由两个视频源中的单独一个制成。

图3是示出包括四个基本步骤的用于把二维视频转化为三维视频的方法的流程图。如步骤100中所示，第一步骤是比较视频帧X的至少一部分与相应的视频帧y的至少一部分以确定它们之间的运动。如步骤102所示，第二步骤是根据确定的运动来计算运动方向和运动程度。如步骤104所示，第三步骤是根据运动方向确定观影帧L和观影帧R。如步骤106所示，第四步骤是根据运动方向和运动程度修改观影帧R以生成修改的观影帧R'。这些步骤将会在本文中被更详细地描述。这些步骤(步骤100、102、104和106)可以重复用于多个连续帧。如上面提到的，当情况为具有本说明中的所有流程图时，方法可不仅通过软件执行，而且可以通过使用硬件、固件和/或硬件、固件和/或软件的组合的系统来执行。

图4和图5是可用于解释本发明的两个示例性实施例的简化框图。图4可以用于使用颜色区分系统的示例性优选实施例中，图5可以用于使用示例性偏振区分系统的示例性优选实施例中，偏振区分系统利用可比以前的系统每秒显示更多帧的现代系统。例如，传统的系统每秒钟只能显示24帧，但是更多的现代(和未来的)系统每秒钟可以显示60、120、144或者更多帧。在这两幅图中的顶行方框中，F1-F5用于表示视频中的连续帧。两个连续帧将被指定为视频帧x(第一个)和视频帧y(第二个)。图4中的底行方框表示同时显示的观影帧L和修改的观影帧R'。应该注意的是，观影帧L和修改的观影帧R'可以被修改(观影帧L)或进一步修改(修改的观影帧R')，使得它们只可被单独的眼睛看到(例如它们可以具有应用于其的有色滤镜)。应该注意的是，这种修改或进一步修改可发生在修改的观影帧R'的变形修改之前或之后。图5中的底行方框表示交替显示的观影帧L和修改的观影帧R'。应该注意的是，观影帧L和修改的观影帧R'可以被修改(观影帧L)或进一步修改(修改的观影帧R')，使得它们只可被单独的眼睛看到(例如，如底行方框下面的方向箭头所示，帧可以交替极性(polarity)被显示)。应该注意的是，这种修改或进一步修改可发生在修改的观影帧R'的变形修改之前或之后。

图3中的步骤100是比较视频帧x的至少一部分和相应的视频帧y的至少一部分以确定它们之间的运动。由于本发明的优选实施例只比较视频帧x的一部分和相应的视频帧y的一部分，所以节约了计算资源。相对于比较第一帧中的所有像素和第二帧中的所有像素的传统比较方案，本发明仅使用明显小于比较视频帧x的全部和视频帧y的全部的系统使用的计算资源的1％的资源。

图6示出具有夸大像素(P)的视频帧x和y的简化组。一个示例性屏幕可具有1920x1080的像素(P)阵列。然而，应该注意的是，本发明将使用任意尺寸的像素(P)阵列工作。在可选的优选实施例中，步骤100可使用伪模式识别以确定像素(P)之间的运动来实现。虽然几乎任何模式识别或伪模式识别方案可以用于这个目的，但是为了提供示例和/或实现的目的，可用于这个目的的示例性方案在Kaneko等的第20070217685号的美国专利公开、Nystad等的第20070146380号的美国专利公开、Cavallaro等的第20090028425号的美国专利公开、Florent等的第5,406,501号的美国专利以及Lo等的第5,109,435号的美国专利中被公开。这些参考文献通过引用并入本文。在其他可选的优选实施例中，步骤100可通过比较视频帧x的预定数量的像素(P)和相应的视频帧y的预定数量的像素(P)以确定它们之间的运动来实现。作为示例，对于具有1920x1080像素(P)阵列的示例性显示器，预定数量的像素(P)可介于5到30像素(P)之间。应该注意的是，像素(P)的预定数量可以是简单的预设数量、根据屏幕特征(例如尺寸和/或像素数量)确定的数量或根据例如每秒钟的帧数、屏幕的大小和/或屏幕上的像素数量的计算的数量。应该注意的是，在本发明的优选实施例中，像素(P)的预定数量将少于屏幕的像素总数的10％。应该注意的是，在本发明的可选的优选实施例中，像素(P)的预定数量将少于屏幕的像素总数的1％。

在其他的可选的优选实施例中，步骤100可通过比较视频帧x的边缘的至少一个像素(P)和相应的视频帧y的边缘的至少一个像素(P)以确定它们之间的运动、通过比较视频帧x的中间的至少一个像素(P)和相应的视频帧y的中间的至少一个像素(P)以确定它们之间的运动、和/或通过比较视频帧x的至少两个角落处的至少一个像素(P)和相应的视频帧y的至少两个角落处的至少一个像素(P)以确定它们之间的运动来实现。图6示出具有示例性边缘区域120、示例性中间区域122和两个示例性的角落124a、124b的视频帧x以及具有相应的示例性边缘区域120＇、相应的示例性中间区域122＇和两个相应的示例性的角落124a＇、124b＇的视频帧y。这些示例性区域并不意味着限制本发明的范围。

如上记述的，步骤100可通过下列方式来实现：比较视频帧x的边缘的至少一个像素(P)和相应的视频帧y的边缘的至少一个像素(P)以确定它们之间的运动，比较视频帧x的中间的至少一个像素(P)和相应的视频帧y的中间的至少一个像素(P)以确定它们之间的运动、和/或比较视频帧x的至少两个角落的至少一个像素(P)和相应的视频帧y的至少两个角落的至少一个像素(P)以确定它们之间的运动(后者的比较表示至少一个角落处的至少一个像素，和至少第二个角落处的至少一个像素——当场景放大即变近或缩小即进一步变远时，使用两个角落会特别有效)。这些比较中的任意一种可单独地或以任意组合或顺序来进行。而且，步骤可以使用不同尺寸和/或范围来重复(例如首先比较给定区域的5个像素(P)，然后比较相同的给定区域的10个像素(P)，然后比较相同的给定区域的20个像素(P))。然而，在一个优选实施例中，各种区域被一个接一个地连续检查，尽管应该注意顺序可以改变。图7是示出这可如何工作的示例的流程图。如130所示，视频帧x的边缘的至少一个像素(P)与相应的视频帧y的边缘的至少一个像素(P)比较以确定它们之间的运动。决定132询问是否在130处已经发现运动。如果有，则分析将完成，下一步骤将是图3中的步骤102(根据确定的运动计算运动方向和运动程度)。另一方面，如果没有发现运动，如134所示，则视频帧x的中间的至少一个像素(P)将与相应的视频帧y的中间的至少一个像素(P)比较以确定它们之间的运动。决定136询问是否在134处已经发现运动。如果有，分析将完成，下一步骤将是图3中的步骤102(根据确定的运动计算运动方向和运动程度)。另一方面，如果没有发现运动，如138所示，则视频帧x的至少两个角落处的至少一个像素(P)将与相应的视频帧y的至少两个角落处的至少一个像素(P)比较以确定它们之间的运动。决定140询问是否在138处已发现运动。如果有，分析将完成，下一步骤将是图3的步骤102(根据确定的运动计算运动方向和运动程度)。另一方面，如果没有发现运动，则存在几个可能的情况。在一个优选的示例性实施例中，视频帧x和视频帧y的其他“区域”被比较。在另一个优选的示例性实施例中，视频帧x和视频帧y的所有像素(P)被比较。在另一个优选的示例性实施例中，分析结束且显示视频帧x和视频帧y。

图7中所示的步骤的顺序可以改变。例如，中间区域可总是被优先考虑。进一步地，优先选择哪个区域的决定可能是“智能的”。例如，如果运动没有在步骤130(边缘区域)中被发现，而是在步骤134(中间区域)中被发现，则下一组视频帧可以优先使用步骤134进行比较。这种选择利用了运动在一系列帧中很可能相似的事实。例如，如果电影场景中有人在屏幕的中间移动，则然后系列帧将在那个区域有运动。

如上提到的，图4和图5示出一系列视频帧和连续的视频帧如何使用颜色区分系统(图4)和偏振区分系统(图5)结合以生成观影帧的简化框图。关于视频的视频帧x和y与观影帧L和R'之间的步骤(例如图3中的步骤102、104和106)的更多细节被示出在图8A-8D和图9A-9D中。图8A-8D和图9A-9D之间的最显著的区别是图8A-8D示出向右(左到右)方向的运动而图9A-9D示出向左(右到左)方向的运动。因此，类似项目将使用具有不同修饰符(对于图8A-8D为“a”和而对于图9A-9D为“b”)的相同的参考数字进行描述。没有修饰符的参考数字适用于两组图。应该注意的是，本发明的一些方面在这些图(例如，“变形”的尺寸将是整个屏幕区域的非常小的比例)中被极大地夸大。其他方面被更加清晰地示出在其他图中(例如梯形变形被更清晰地示出在图14中)。

如上面提到的，本发明的示例性过程的优选实施例的第二个步骤102(图3)根据确定的运动来计算运动方向和运动程度。这个步骤使用从步骤100(比较视频帧x的至少一部分和相应的视频帧y的至少一部分以确定它们之间的运动)获得的信息来执行。参见图8A和9A，两个连续的视频帧(标记为x和y)在它们的中间区域(如矩形150a、150b所示)具有运动。在图8A中，矩形150a的运动方向是向右的，其中，视频帧x中的矩形150a在帧的左半边，视频帧y中的矩形150a已经向右移动到帧的更中间的位置。在图9A中，矩形150b的运动方向是向左的，其中，视频帧x中的矩形150b在帧的右半边，视频帧y中的矩形150b已经向左移动到帧的更中间的位置。向左或向右将是运动方向，对于一些优选实施例，其他方向(例如向上和向下)被忽略，但其他方向(例如成一定角度)对于它们向左和向右的元件只是被给予“信用(credit)”。

运动程度是运动已经在视频帧x和视频帧y之间进行了多远。运动程度可以像素(P)为单位进行测量。慢运动(例如云状元素在一系列的许多帧中轻轻地越过画面)将移动“很少”像素(P)并具有小的运动程度。快运动(例如赛车元素在一系列帧中超速通过画面)将移动“许多”像素(P)并将具有大的运动程度。“很少”和“许多”基于预定数量的像素(P)是相对的。这种预定数量的像素(P)将是产生“影子！”效果所必需的“理想”数量的像素(P)。例如，使用有1920x1080像素(P)阵列的示例性屏幕，理想数量的像素(P)可介于10和20像素(P)之间。为了论述本发明的目的，预定数量的像素(P)将被讨论为十五(15)像素(P)。

作为小的运动程度的示例，图10示出带有来自覆盖其上的两个连续的帧的元素152、154的像素(P)的阵列(将只是示例性屏幕的一小部分)。元素152、154显示为其中具有加号的圆(元素154显示为虚线)。使用加号的中心并忽略向上/向下的运动，只有很少像素(P)(显示为四(4))在帧的元素152、154之间。如果元素152是第一元素(观影帧x)，元素154是第二元素(观影帧y)，则运动方向将是向左，运动程度将是四(4)个像素(P)。如果元素154是第一元素(观影帧x)，元素152是第二元素(观影帧y)，则运动方向将是向右，运动程度将仍是四(4)个像素(P)。

作为大的运动程度的示例，图11示出带有来自覆盖其上的两个连续的帧的元素156、158的像素(P)阵列(只是示例性屏幕的一小部分)。元素156、158显示为其中具有加号的圆(元素158显示为虚线)。使用加号的中心并忽略向上/向下的运动，存在许多像素(P)(显示为十一(11))在帧的元素156、158之间。如果元素156是第一元素(观影帧x)，元素158是第二元素(观影帧y)，那么运动方向将向左，运动程度将是十一(11)个像素(P)。如果元素158是第一元素(观影帧x)，元素156是第二元素(观影帧y)，那么运动方向将向右，运动程度将是十一(11)个像素(P)。

如上面提到的，本发明的示例性过程的优选实施例的第三个步骤104(图3)是根据运动方向来确定观影帧L和观影帧R。在优选实施例中，如果运动方向向右，则视频帧x被设定为观影帧L，视频帧y被设定为观影帧R。这如图8A和图8B之间的转换所示。进一步地，在优选实施例中，如果运动方向向左，则视频帧x被设定为观影帧R，视频帧y被设定为观影帧L。这如图9A和图9B之间的转换所示。

如上面提到的，本发明的示例性过程的优选实施例的第四个步骤106(图3)是根据运动方向和运动程度来修改观影帧R以生成修改的观影帧R'。为了理解这一步骤，在它的原始形式中，观影帧R中所示的画面的元件(X)如图12中显示的以阵列的形式均匀隔开。运动方向确定观影帧R在哪个方向被修改以生成观影帧R'。运动程度确定观影帧R被修改多少以生成观影帧R'。

在一个优选实施例中，步骤106包括数字地“变形”观影帧R以生成修改的观影帧R'。运动方向确定帧中所示的画面的“变形”的方向。术语“变形”可以是任意类型的变形，除了如延长拉伸(图13)和梯形拉伸(图14)的示例(下面将讨论)中所示。如从原始画面(图12)到具有延长拉伸变形的修改的观影帧R'画面(图13)的变化所示，因为运动方向向右，所以左边缘保持在适当地方，右边缘被数字地牵引。在图12中，元件(X)以其原始形式大体上均匀隔开。图13示出观影帧被变形(延长拉伸)，使得画面的靠近左边缘的元件(X)将被较少地变形，画面的靠近右侧的元件(X)将被更多地变形。不是被变形的单独的元素(例如图8B的矩形150a)，而是被变形的整个“画面”的元件(虽然单独的元素与画面的其余元件(X)成比例地被变形)。应该注意的是，如果运动方向向左，则右边缘将保持在适当地方，左边缘将被数字地牵引(延长拉伸)，与图9C所示的相似。画面变形多少取决于运动程度。如果运动程度小(例如四(4)个像素(P))，则使用较多的延长拉伸变形。例如，如果像素(P)的“理想”数量是十五(15)，则延长拉伸变形将是十一(11)个(理想数量少于实际数量)。如果运动程度大(例如十一(11)个像素(P))，则使用较少的延长拉伸变形。例如，如果像素(P)的“理想”数量是十五(15)个，则拉长拉伸变形将是四(4)个(理想数量少于实际数量)。如果运动程度大于理想数量，则在优选实施例中，观影帧R可在没有额外变形的情况下被显示为修改的观影帧R'。超出原始帧尺寸(虚线所示)的边缘优选被“剪掉”或另外不作为修改的观影帧R'的部分被显示。

步骤106的另一个优选实施例包括数字地使观影帧R“变形”以生成诸如图14中所示的梯形地延伸修改的观影帧R'。如从原始画面(图12)到具有梯形地拉伸变形的修改的观影帧R'画面(图14)的变化所示，因为运动方向向右，所以左边缘保持在适当地方，右边缘被数字地牵引。在图12中，元件(X)以其原始形式大体上均匀隔开。图14示出观影帧被变形(延长拉伸)，使得画面的靠近左边缘的元件(X)将被较少地变形，画面的靠近右侧的元件(X)将被更多地变形。此外，在帧的右侧有一些垂直变形(均向上和向下)。在一个优选实施例中，垂直变形与水平变形相同或相似(例如，50％-150％)。例如，如果水平变形是10个像素(P)(或等价于10个像素(P)的长度)，则将有10个像素(P)(或等价于10个像素(P)的长度)的垂直变形(例如，向上5个像素(P)，向下5个像素(P))。不是单独的元素(例如图8B的矩形150a)被变形，而是整个“画面”的元件被变形(虽然单独的元素与画面的其余元件(X)成比例地被变形)。这在图8C中可被一定程度地看到，在图8C中，矩形150a已经变形至大体上与其余画面的变形成比例的梯形150a＇。应该注意的是，如果运动方向向左，则如图9C所示，右边缘将保持在适当地方，左边缘将被数字地变形。画面变形多少取决于前述示例中所讨论的运动程度。如果运动程度大于理想数，则在优选实施例中，观影帧R可在没有额外变形或仅有垂直变形的情况下被显示为修改的观影帧R'。超出原始帧尺寸(虚线所示)的边缘可被“剪掉”或另外不作为修改的观影帧R'的部分被显示。

虽然图8D和图9D示出未修改的观影帧L和讨论的用于修改的观影帧R'的主要修改，在本发明的一些优选实施例中，观影帧L和修改的观影帧R'可以具有使得观影帧能够被特定的眼睛可看到的额外的修改。例如，帧L可被修改为通过用户的左眼可见，修改的帧R'可被修改为通过用户的右眼可见。这种修改可以是例如从观影帧L移除第一颜色(例如红色)并且从修改的观影帧R'移除第二颜色(例如蓝色或绿色)。另一个示例是这种修改可以是在观影帧L的第一方向(例如垂直的)偏振并且在观影帧R'的第二方向(例如水平的)偏振。应该认识到的是，观影帧L和修改的观影帧R'可以被修改用于用已知的和还未开发的其他技术(例如使用LCD快门眼镜的那些技术)。

应该注意的是，修改观影帧L和修改的观影帧R'使得它们被特定的眼睛看到的步骤可以在本发明的方法中的几个不同点出现。例如，在一个优选实施例中，这种修改可以在步骤102(根据确定的运动计算运动方向和运动程度)之前、之后或与之同时出现。在其他优选实施例中，这种修改可以在步骤104(根据运动方向确定观影帧L和观影帧R)之前、之后或与之同时出现。在其他优选实施例中，这种修改可以在步骤106(根据运动方向和运动程度修改观影帧R以生成修改的观影帧R')之前、之后或与之同时出现。

本发明的优选实施例优选包括下列步骤：显示观影帧L对用户的左眼可见以及显示修改的观影帧R'对用户的右眼可见。该“显示”可以与结合图4所述的同时发生或与结合图5所讨论的交替发生。可选的技术(如LCD快门眼镜)可具有可选的显示方法。显示的该步骤可以使用投影或显示装置实现。

本发明的另一个优选实施例优选包括下列步骤：存储对用户的左眼可见的观影帧L和对用户的右眼可见的修改的观影帧R'。这将有效表示二维视频可以转化为三维视频然后被存储在存储器(例如存储介质、磁性介质、光学介质)中用于以后显示。例如，新生成的三维视频可以保存至CD、DVD或磁带用于以后显示。

本文中所讨论的方法的优选实施例被设计为在包括用于实施所讨论的步骤的至少一个处理单元的视频显示装置上实现。处理单元包括但不限于CPU(中央处理单元)、GPU(图形处理单元)、数学处理器和/或已知的或尚未被开发的专门适用的处理器。多个处理单元可以组合使用。例如，CPU可将指令和几何数据发送至位于图形卡上的GPU。在一个优选实施例中，GPU的指令的形式是编译的着色语言程序(“着色程序”)。在计算机图形领域的着色程序是主要用于计算具有高程度的灵活性的图形硬件上的渲染效果的软件指令集。示例性类型的着色程序为顶点着色程序、像素着色程序和几何着色程序。着色程序能够一次把转化应用到大量元素，例如，应用到屏幕的区域中的每一个像素(P)，或用于模型的每一个顶点。着色程序例如可以用于梯形拉伸或变形和/或应用滤镜(例如颜色和/或偏振)。

应该注意的是，除非另有说明，否则术语“或”以非排外的形式(例如“A或B”包括A、B、A和B，或它们的任意组合，但是其不必包括所有这些可能)被使用。应该注意的是，除非另有说明，否则“和/或”被相似地(例如“A和/或B”包括A、B、A和B，或它们的任意组合，但是其不必包括所有这些可能)使用。应该注意的是，除非另有说明，否则术语“包括”意思是“包含”(例如包括或包含A和B的装置含有A和B，但可选地可含有C或除了A和B的额外的元件)。应该注意的是，除非另有说明，否则单数形式“一”“一个”和“所述”指的是一个或不止一个，除非上下文明确地表示是其他情况。

前述说明中使用的术语和表达用于说明而不是限制，其不旨在排除所示和所述的特征的等同特征。这种应用旨在覆盖本发明的任何改编或变形。本领域技术人员将理解的是，被计算以实现相同目的的任何设置可以替代所示的具体实施例。还应理解的是，权利要求旨在覆盖本文所述的本发明的全部通用和特定的特征以及由于语言的关系可落入其中的本发明的范围的所有表述。

Claims (11)

1.一种用于将二维视频转化为三维视频的方法，所述二维视频具有一系列视频帧，所述方法包括：

(a)计算视频帧x的一部分和视频帧y的一部分之间的运动的运动方向和运动程度，并不计算视频帧x的其他部分和视频帧y的其他部分；

(b)根据所述运动方向确定观影帧L和观影帧R；以及

(c)根据所述运动方向和所述运动程度修改观影帧R以生成修改的观影帧R'，其中根据所述运动方向修改所述观影帧R包括在所述运动方向上使所述观影帧R变形以根据所述运动方向拉伸元件，当所述运动方向为从第一侧向第二侧时，在修改后的观影帧R'中靠近第一侧的元件与靠近第二侧的元件相比被较少的拉伸，根据所述运动程度修改观影帧R包括在所述运动方向上使所述观影帧R变形以根据所述运动程度拉伸元件，从而使变形后的所述观影帧R中的元件的拉伸程度与所述运动程度成比例，并且其中所述元件被布置成阵列以表示修改后的观影帧R'中的画面并且每个元件表示画面的一部分。

2.根据权利要求1所述的方法，其进一步包括比较视频帧x的所述部分和视频帧y的所述部分以确定所述运动。

3.根据权利要求2所述的方法，其中，比较视频帧x的所述部分和视频帧y的所述部分包括执行伪模式识别。

4.根据权利要求2所述的方法，其中，比较视频帧x的所述部分和视频帧y的所述部分包括比较视频帧x的预定数量的像素和相应的视频帧y的预定数量的像素。

5.根据权利要求2所述的方法，其中，比较视频帧x的所述部分和视频帧y的所述部分包括比较视频帧x的边缘处的至少一个像素和相应的视频帧y的边缘处的至少一个像素。

6.权利要求2所述的方法，其中，比较视频帧x的所述部分和视频帧y的所述部分包括比较大体接近视频帧x的中间的至少一个像素和相应的大体接近视频帧y的中间的至少一个像素。

7.根据权利要求2的方法，其中，比较视频帧x的所述部分和视频帧y的所述部分包括比较视频帧x的两个或多个角落的每个处的至少一个像素和相应的视频帧y的两个或多个角落的每个处的至少一个像素以确定所述运动。

8.根据权利要求2所述的方法，其中，比较视频帧x的所述部分和视频帧y的所述部分包括：

(a)比较视频帧x的边缘处的至少一个像素和相应的视频帧y的边缘处的至少一个像素；

(b)如果在(a)中没有发现运动，则比较大体接近视频帧x的中间的至少一个像素和相应的大体接近视频帧y的中间的至少一个像素；

(c)如果在(a)和(b)中都没有发现运动，则比较视频帧x的两个或多个角落的每个处的至少一个像素和相应的视频帧y的两个或多个角落的每个处的至少一个像素。

9.根据权利要求1所述的方法，其中，根据所述运动方向确定观影帧L和观影帧R包括：

(a)如果运动方向向右，则将视频帧x设定为观影帧L，将视频帧y设定为观影帧R；以及

(b)如果运动方向向左，则将视频帧x设定为观影帧R，将视频帧y设定为观影帧L。

10.根据权利要求1所述的方法，其进一步包括显示观影帧L对用户的左眼可见以及修改的观影帧R'对用户的右眼可见。

11.一种用于把二维视频转化为三维视频的视频显示装置，所述二维视频具有一系列视频帧，所述视频显示装置包括：

(a)处理单元；以及

(b)存储结构，其上具有视频显示装置可执行指令，当执行可执行所述指令时，指导所述处理单元以：

比较视频帧x的至少一部分和相应的视频帧y的至少一部分以确定它们之间的运动，并不计算视频帧x的其他部分和视频帧y的其他部分；

根据确定的运动计算运动方向和运动程度，根据所述运动方向确定观影帧L和观影帧R；以及

根据所述运动方向和所述运动程度修改观影帧R以生成修改的观影帧R'，其中根据所述运动方向修改所述观影帧R包括在所述运动方向上使所述观影帧R变形以根据所述运动方向拉伸元件，当所述运动方向为从第一侧向第二侧时，在修改后的观影帧R'中靠近第一侧的元件与靠近第二侧的元件相比被较少的拉伸，根据所述运动程度修改观影帧R包括在所述运动方向上使所述观影帧R变形以根据所述运动程度拉伸元件，从而使变形后的所述观影帧R中的元件的拉伸程度与所述运动程度成比例，并且其中所述元件被布置成阵列以表示修改后的观影帧R'中的画面并且每个元件表示画面的一部分。