CN103548343A

CN103548343A - 用于将2d内容转换为3d内容的设备和方法及其计算机可读存储介质

Info

Publication number: CN103548343A
Application number: CN201280024045.1A
Authority: CN
Inventors: 权五允
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2011-05-17
Filing date: 2012-05-09
Publication date: 2014-01-29
Also published as: EP2695384A4; KR20140037069A; JP2014515153A; US20120293616A1; WO2012157886A3; CN102789648A; JP2012244622A; EP2525581A2; WO2012157886A2; EP2525581A3; US20140115473A1; EP2695384A2

Abstract

一种通过内容转换设备将二维（2D）内容转换为三维（3D）内容的方法包括：确定将从作为视频内容并包括多个帧的2D内容转换的3D内容的质量；从多个帧中的一个帧提取对象；将深度分配给提取的对象；针对具有分配有深度的对象的帧来执行用于到3D内容的转换的渲染，其中，根据确定的3D内容的质量来执行提取对象、分配深度和执行渲染中的至少一个。

Description

用于将2D内容转换为3D内容的设备和方法及其计算机可读存储介质

技术领域

与示例性实施例一致的设备和方法涉及一种用于转换内容的设备和方法及其计算机可读介质，更具体地，涉及一种用于将二维（2D）内容转换为三维（3D）内容的设备和方法及其计算机可读介质。

背景技术

在电视、个人计算机、智能电话、智能平板、便携式多媒体播放器（PMP）、MP3播放器或能够再现内容的类似显示设备中再现诸如电影、剧集、体育等的视频内容。

随着用于三维（3D）图像的显示技术的最近发展，这样的内容已被制作成为3D内容并由能够显示3D图像的显示设备所再现。

发明内容

技术问题

然而，由于为了制作这样的3D内容需要大规模的设备和开发人力并且花费高消耗和大量的时间，故高质量3D内容存在缺点。

此外，即使在当前正提供3D内容的情况下，仅使用具有预设质量的3D内容，并且具有迎合用户的体验的各种质量的3D内容不可用。

技术方案

因此，一个或多个示例性实施例提供了一种能够提供具有迎合用户的体验的各种质量的3D内容的设备和方法及其计算机可读介质。

根据示例性实施例的一方面，提供了一种通过内容转换设备将二维（2D）内容转换为三维（3D）内容的方法，所述方法包括：确定多个不同转换处理的执行程度；基于确定的执行程度将2D内容的多个帧分类为与多个转换处理相应的多个帧组；执行与多个分类的帧组相应的多个转换处理；以及针对多个帧将多个转换处理的执行结果进行合并。

所述确定步骤可包括：接收关于多个转换处理的执行程度的用户的输入；以及通过接收的用户的输入来确定多个转换处理的执行程度。

所述确定步骤可包括：显示包括用于指定多个转换处理的执行程度的菜单项的图形用户界面（GUI）；以及通过经由菜单项的用户的输入来确定多个转换处理的执行程度。

所述确定步骤还可包括：显示与多个转换处理的执行程度相应的转换质量的信息。

所述确定步骤还可包括：显示包括转换质量的菜单项的GUI；以及通过经由转换质量的菜单项的用户的输入来确定多个转换处理的执行程度。

所述多个转换处理可包括第一转换处理以及与比第一转换处理更低的转换质量相应的第二转换处理。

所述第一转换处理可包括通过用户的输入执行的对象的提取和深度的分配中的至少一个，第二转换处理可包括通过使用第一转换处理的处理结果执行的插值和跟踪中的至少一个。

所述分类步骤可包括：通过以与确定的第一转换处理的执行程度相应的采样率对多个帧进行下采样来确定应用了第一转换处理的帧组。

所述分类步骤可包括：基于与确定的第一转换处理的执行程度相应的重要程度来从多个帧中确定应用了第一转换处理的帧组。

根据另一示例性实施例的一方面，提供了一种用于将2D内容转换为3D内容的设备，所述设备包括：转换器，确定多个不同转换处理的执行程度，基于确定的执行程度将2D内容的多个帧分类为与多个转换处理相应的多个帧组，执行与多个分类的帧组相应的多个转换处理，并针对多个帧组将多个转换处理的执行结果进行合并。

所述设备还可包括：用户输入单元，接收关于多个转换处理的执行程度的用户的输入，其中，转换器通过接收的用户的输入来确定多个转换处理的执行程度。

所述设备还可包括：显示单元，其中，转换器在显示单元上显示包括用于指定多个转换处理的执行程度的菜单项的GUI，并通过经由菜单项的用户的输入来确定多个转换处理的执行程度。

转换器可在显示单元上显示与多个转换处理的执行程度相应的转换质量的信息。

转换器可在显示单元上显示包括转换质量的菜单项的GUI，并通过经由转换质量的菜单项的用户的输入来确定多个转换处理的执行程度。

所述第一转换处理可包括通过用户的输入执行的对象的提取和深度的分配中的至少一个，第二转换处理可包括通过使用第一转换处理的执行结果执行的插值和跟踪中的至少一个。

转换器可通过以与确定的第一转换处理的执行程度相应的采样率对多个帧进行下采样来确定应用了第一转换处理的帧组。

转换器可基于与确定的第一转换处理的执行程度相应的重要程度来从多个帧中确定应用了第一转换处理的帧组。

有益效果

附图说明

通过下面结合附图对示例性实施例的描述，上述和/或其它方面将变得清楚和更易于理解，其中：

图1是示出根据示例性实施例的内容转换设备的配置的框图；

图2是示出根据示例性实施例的内容转换设备的操作的流程图；

图3是示出根据另一示例性实施例的内容转换设备的操作的流程图；

图4是示出根据示例性实施例的内容转换设备中的多质量模式的示例的表；

图5是示出根据另一示例性实施例的内容转换设备的操作的流程图；

图6是示出根据另一示例性实施例的内容转换设备的操作的流程图；

图7示出包括由图1中的内容转换设备提供的菜单项的图形用户界面（GUI）的示例；

图8是示出参照图6和图7解释的内容转换设备的详细操作的流程图；

图9和图10是通过图1中的内容转换设备由用户的输入提取对象并分配深度的示例；

图11是示出参照图6和图7解释的内容转换设备的详细操作的流程图。

具体实施方式

实施本发明的最优模式

以下，将参照附图来详细描述示例性实施例。以下，当诸如“中的至少一个”的表述在一列元素之后时，修饰整列元素而不是修饰一列元素中的单个元素。

图1是示出根据示例性实施例的内容转换设备1的配置的框图。内容转换设备1将二维（2D）内容转换为三维（3D）内容。在本示例性实施例中，所述内容包括运动画面内容，例如，电影、剧集、体育等。

内容转换设备1可从预定的2D内容提供器（未示出）接收将被转换为3D内容的2D内容。内容转换设备1可通过预定的网络（未示出）从2D内容提供器接收2D内容。例如，2D内容提供器可以是存储2D内容并应内容转换设备1的请求将2D内容发送到内容转换设备1的网络服务器。

根据另一示例性实施例，内容转换设备1可通过除了网络之外的数据传送方法或机制从2D内容提供器接收2D内容。例如，2D内容提供器可以是设置有用于存储2D内容的存储单元（诸如，硬盘、闪存等）的装置，该装置本地连接到内容转换设备1并应内容转换设备1的请求将2D内容发送到内容转换设备1。在这种情况下，不存在对将内容转换设备1与2D内容提供器本地连接的方法的限制，只要该方法用于发送2D内容的数据即可。例如，本地连接方法可包括通用串行总线（USB）等。

根据另一示例性实施例，内容转换设备1可从3D内容提供器（未示出）接收2D内容。例如，3D内容提供器可将2D内容发送到内容转换设备1，接收由内容转换设备1转换的内容，并将接收的3D内容提供到预定的用户终端（未示出）。用户终端能够将从内容转换设备1接收的3D内容作为3D图像来显示。例如，用户终端可包括电视（TV）、个人计算机（PC）、智能电话、智能平板、PMP、MP3播放器等。

根据另一示例性实施例，内容转换设备1可将转换的3D内容发送到能够将3D内容作为3D图像来显示的用户终端。例如，内容转换设备1可通过网络将3D内容提供到用户终端。

在根据本示例性实施例的网络中，不存在对诸如有线和/或无线通信方法的网络通信方法的限制，只要该方法用于发送2D内容和3D内容中的至少一个的数据通信即可。网络通信方法包括任何已知的通信方法。

如图1所示，内容转换设备1可包括转换器11和通信单元14。转换器11将2D内容转换为3D内容。2D内容包括多个视频帧（以下，称为“帧”）。3D内容基于观看者的双目视差，3D内容可包括多个左眼帧和多个右眼帧。在所述多个左眼帧和多个右眼帧中，可从2D内容的多个帧中的至少一个相应帧分别转换包括左眼帧和右眼帧的对。以下将详细描述由转换器11执行的从2D内容到3D内容的转换（以下，称为“2D-3D转换”）。

通信单元14可执行以下数据通信中的至少一个：2D内容提供器与内容转换设备1之间的数据通信、3D内容提供器与内容转换设备1之间的数据通信以及用户终端与内容转换设备1之间的数据通信。

转换器11可包括存储单元111、随机存取存储器（RAM）112和中央处理单元（CPU）113。存储单元111可存储用于执行2D-3D转换的转换程序114、将被转换的2D内容115以及从2D内容转换的3D内容116。存储单元111可由诸如硬盘、闪存等的非易失性存储器实现。当转换器11操作时，RAM112加载转换程序114的至少一部分，并且CPU113执行加载到RAM112的转换程序114。转换程序114具有可由CPU113执行的指令。存储单元111是计算机可读存储介质的示例。

图2是示出根据示例性实施例的内容转换设备1的操作的流程图。内容转换设备1的操作（以下，称为“2D-3D转换处理”）可相应于由转换程序114的指令执行的内容转换方法。在本示例性实施例中，2D-3D转换处理可包括3D内容质量确定操作201、对象提取操作202、深度分配操作203和渲染操作204。

首先，在3D内容质量确定操作201中，确定将被转换的3D内容的质量。在本示例性实施例中，可根据3D内容的质量来执行2D-3D转换处理。也就是说，可基于确定的3D内容的质量来执行对象提取操作202、深度分配操作203和渲染操作204中的至少一个。下面将更详细地描述3D内容质量确定操作201。

在对象提取操作202中，针对将被处理的帧的图像来提取将反映3D效果的对象。该对象可以是每个帧的场景中包含的主图像，并且例如可以是主要角色出现的场景中主要角色的图像、车辆移动的场景中车辆的图像等。在对象提取操作202中，将相应帧的图像进行分割，以使得可从分割结果提取对象的边界。

在深度分配操作203中，将深度分配给由对象提取操作202提取的对象。深度是用于实现3D视觉效果的参数，用于在产生的相应的左眼帧和右眼帧中将对象向左和向右移动分配的参数。在深度分配操作203中，可将先前给定的标准化模板用于深度分配。

在渲染操作204中，针对从深度分配操作203得到的左眼帧和右眼帧来执行用于完成3D图像的图像处理。例如，渲染操作204可包括用于填充对象在帧的图像中移动时产生的空白区域的处理（即，修补（inpainting））等。

以下，将详细描述3D内容质量确定操作201。在根据示例性实施例的2D-3D转换处理操作中的至少一个操作可包括根据用户的输入实施的手动操作以及根据预设参考信息实施的自动操作。例如，在对象提取操作202、深度分配操作203等操作中，可通过手动操作来处理一些帧，而通过自动操作来处理其它帧。

在手动操作中，可根据用户（或执行内容转换操作的开发者）的输入来执行转换处理操作。内容转换设备1还可包括用于用户的输入的用户输入单元12，诸如键盘、鼠标、触控板等。另外，内容转换设备1还可包括显示正被转换的图像以使得用户可观察转换处理的过程的显示单元13，诸如监视器等。为了有效地接收用户的输入，内容转换设备1可在显示单元13上显示包含处理的帧的图像、预定的输入菜单等的图形用户界面（GUI，未示出）。用户可在确认在显示单元13上显示的帧的图像时通过GUI的输入菜单等输入用于转换处理的输入。例如，用户可在确认在帧的图像中包含的对象时通过GUI的输入菜单等输入用于提取对象的输入。

在自动操作中，基于预设参考信息来执行操作。例如，在对象提取操作202中，内容转换设备1可分析帧的图像并随着对象被提取而选择对象，所述对象在图像内的特定对象的边界上的像素值的改变等于或高于预定阈值。这里，参考信息可以是在对象的边界上的像素值的改变的阈值，通过该阈值可选择对象以进行提取。

在特定2D-3D转换处理中，3D内容的质量可指示手动操作和自动操作均占多少百分比。例如，在对象提取操作202中，手动操作和自动操作可均构成对象提取操作202的一半。3D内容的质量可被表示为整个特定2D-3D转换处理操作中的自动操作（或手动操作）的比率（以下，称为“组合比率”或“执行程度”）。

图3是示出根据另一示例性实施例的内容转换设备1的操作的流程图。首先，在操作301，内容转换设备1考虑3D内容的质量来确定自动操作（或手动操作）的执行程度。接下来，在特定2D-3D转换处理中，在操作302，基于确定的执行程度来确定执行自动操作还是手动操作。在操作302，可逐帧地确定执行自动操作还是手动操作。如果确定执行自动操作，则在操作303，通过自动操作执行相应的2D-3D转换处理操作。另一方面，如果确定执行手动操作，则在操作304，通过手动操作执行相应的2D-3D转换处理操作。

3D内容的质量可包括多个质量模式。因此，可与多个质量模式中选择的一个相应地执行2D-3D转换处理。图4是示出根据示例性实施例的内容转换设备1中的多质量模式的示例的表。如图4中所示，多个质量模式可按照高质量的顺序而包括简单模式、基本模式、高级模式和专家模式。例如，这些质量模式可在整个相应操作中分别具有多于85%、85%、70%和50%的自动操作的执行百分比。另外，多个质量模式可相应于根据产生3D内容的消耗（在图4的表中称为“非常低”、“低”、“中”和“中+”）。

可根据2D内容的类型或格式来确定3D内容的质量。例如，如果2D内容是最近发布的电影，则可对2D内容确定相对高质量。另一方面，如果2D内容是老电影，则可对2D内容确定相对低质量。根据另一示例性实施例，如果电影是规模宏大的大片，则可对电影确定相对高质量。另一方面，可对故事性电影确定相对低质量。根据另一示例性实施例，可根据内容的类型（诸如，体育、电影、剧集等）来确定3D内容的质量。

可根据用户的输入来确定3D内容的质量。可通过用户输入单元12来接收用于确定3D内容的质量的用户的输入。在这种情况下，用户可以是例如开发相应的内容的转换的开发者。可选择地，显示单元13可将输入菜单显示为GUI以用于确定3D内容的质量。例如，用于确定3D内容的质量的输入菜单可包括具有分别与“简单模式”、“基本模式”、“高级模式”和“专家模式”相应的GUI项的下拉菜单。如果在下拉菜单的多个GUI项中选择了一个，则可在包括在与每个2D-3D转换处理相应的GUI输入菜单中的多个GUI项中仅激活具有用于选择的质量模式的操作的GUI项。

可选择地，可经由通信单元14从例如用户终端的请求将被转换的3D内容的另一装置（未示出）接收用于确定3D内容的质量的用户的输入。在这种情况下，用户可以是例如请求将被转换的相应的内容并使用转换的3D内容的用户。

如上所述，根据示例性实施例，将被转换的3D内容被提供有各种质量，从而可提供具有针对消耗的有效质量的内容并迎合用户的各种体验。

图5是示出根据另一示例性实施例的内容转换设备1的操作的流程图。针对参照图5描述的内容转换设备1，将省略与参照图1到图3描述的内容转换设备1相同或相似的配置。

本示例性实施例中的2D-3D转换处理操作可包括3D内容质量确定操作501、关键帧选择操作502、对象提取操作503、深度分配操作504、跟踪操作505、渲染操作506和3D图像质量操作507。

在3D内容质量确定操作501中，确定将被转换的3D内容的质量。作为关键帧，可从2D内容的多个帧中选择表示图像的内容的帧。例如，关键帧可包括切换场景的帧、场景的主要角色特写的帧等。可基于相应的帧中的图像的运动来选择关键帧。例如，可将图像的运动等于或高于预定值的帧选择为关键帧。

在对象提取操作503中，针对选择的关键帧提取将反映3D效果的对象。在深度分配操作504中，将深度分配给在对象提取操作503中提取的对象。

在跟踪操作505中，与除了关键帧之外的其它帧相应地产生左眼帧和右眼帧。可针对为关键帧302执行的对象提取操作503和深度分配操作504来执行跟踪505。如上所述，针对重要的关键帧执行对象提取操作503和深度分配操作504，并参照关键帧针对其它帧执行跟踪，从而可在保持高质量的同时执行在消耗和时间上有效的转换处理。

在渲染操作506中，针对从深度分配操作504和跟踪操作505获得的左眼帧和右眼帧来执行用于完成的3D图像的图像处理。

在3D图像质量操作507中，针对从渲染操作506获得的帧来执行3D图像质量处理。3D图像质量操作507可包括对比度增强、细节增强等中的至少一个。通过3D图像质量操作507，可当实际显示3D内容时实现图像质量的提高，从而可对显示设备最优化图像质量。

此外，根据本示例性实施例，可基于关于将被处理的帧的场景的内容和发展的信息（以下，称为“讲故事信息”）来执行2D-3D转换处理操作中的至少一个。讲故事信息是将被用于根据内容制作者的意图实现与内容的故事发展相应的3D视觉效果的信息。在本示例性实施例中，可基于讲故事信息来执行对象提取操作503、深度分配操作504或类似操作。作为使用讲故事信息的示例，在两个角色彼此进行对话的场景中，如果另一个主要角色从这两个角色后面通过，则可将该主要角色提取为相应的帧的对象，或者可将深度完全应用到该主要角色的提取的对象。在该示例中，讲故事信息可包括用于提取对象的关于另一主要角色的图像的信息或者用于分配深度的表示关于故事发展的重要程度的值等，可与相关帧相应地先前提供这些讲故事信息并可将这些讲故事信息存储在存储单元111中。转换器11可参照存储在存储单元111中的讲故事信息来执行操作。

图6是示出根据另一示例性实施例的内容转换设备的操作的流程图。将不重复地解释与图1至图5中的内容转换设备1的元件相同或相似的图6中的内容转换设备1的元件。在操作601，内容转换设备1确定将应用于从2D到3D的转换的多个转换处理的执行程度。

根据本示例性实施例的多个转换处理可包括转换的3D内容的质量（以下，称为“转换质量”）相对较高的第一转换处理以及转换质量相对较低的第二转换处理。例如，第一转换处理包括通过用户的输入提取对象或分配深度的处理。第二转换处理包括通过使用第一转换处理的执行结果对帧进行插值或执行跟踪的处理。然而，第一和第二转换处理不限于前述并可包括具有不同转换质量的各种类型的转换处理。此外，多个转换处理可包括三个或更多转换处理，而不限于两个转换处理。在操作601，内容转换设备1可通过用户的输入来确定多个转换处理的执行程度。例如，内容转换设备1可通过用户输入单元12接收关于多个转换处理的执行程度的用户的输入并随后通过接收的用户的输入来确定每个转换处理的执行程度。

内容转换设备1可显示包括用于指定多个转换处理的执行程度的菜单项的图形用户界面（GUI）并通过经由菜单项的用户的输入来确定多个转换处理的执行程度。图7示出包括菜单项的这样的GUI的示例。GUI71包括用于指定每个转换处理（第一转换处理、第二转换处理等）的执行程度的菜单项72和73。如图7中所示，菜单项72和73可形成为类似滑动条。用户可使用菜单项72和73以指定多个转换处理（第一转换处理、第二转换处理等）的执行程度。然而，用于指定多个转换处理的执行程度的界面的形状不限于图7中所示，并可包括可被用于通过用户的输入指定执行程度的各种类型的界面，例如，方向输入、选择图标等。

用户可考虑转换质量来指定多个转换处理（第一转换处理、第二转换处理等）的执行程度。如果第一转换处理与较高的转换质量相应并且第二转换处理与比第一转换质量低的转换质量相应，并且如果用户期望提高转换质量，则用户可将第一转换处理的执行程度指定为高于第二转换处理的执行程度（或将第二转换处理的执行程度指定为低于第一转换处理的执行程度）。例如，用户可将第一转换处理指定为60%并将第二转换处理指定为30%。相反，如果用户期望较低的转换质量，则用户可将第一转换处理的执行程度指定为低于第二转换处理的执行程度（或将第二转换处理的执行程度指定为高于第一转换处理的执行程度）。例如，用户可将第一转换处理的执行程度指定为30%并将第二转换处理的执行程度指定为60%。

内容转换设备1可显示与指定的多个转换处理（第一转换处理、第二转换处理等）的执行程度相应的期望的转换质量的信息。如图7中所示，可将转换质量的信息显示为示出多个质量模式的菜单项74。可按照类似“质量A”、“质量B”等的高质量的顺序来排列多个质量模式。内容转换设备1突出显示与指定的多个转换处理的执行程度相应的期望的转换质量的菜单项74。在图7中，与指定的程度相应的期望的转换质量是作为最高的质量A。

根据另一示例性实施例，内容转换设备1可使用户能够通过他/她的输入选择菜单项74。用户可通过菜单项74而不是通过菜单项72和73来选择转换质量，并且内容转换设备1可确定与选择的转换质量相应的多个转换处理的执行程度。例如，如果用户选择菜单项74落入质量B，则内容转换设备1可确定用户已选择第二最高转换质量，将第一转换处理的执行程度指定为40%并将第二转换处理的执行程度指定为50%。在本示例性实施例中陈述的执行程度的数字是示例，并且这样的数字在实际情况中可改变。

返回图6，如果在操作601确定了多个转换处理的执行程度，则在操作602，内容转换设备1基于确定的执行程度将将被转换的2D内容的多个帧分类为与多个转换处理相应的多个帧组。如果多个转换处理包括第一和第二转换处理，则内容转换设备1可将2D内容的多个帧分类为应用第一转换处理的第一帧组以及应用第二转换处理的第二帧组。在分类2D内容的多个帧的处理中，内容转换设备1考虑在操作601确定的多个转换处理的执行程度。例如，如果第一转换处理的执行程度被确定为70%并且第二转换处理的执行程度被确定为30%，则内容转换设备1可将2D内容全部帧的70%分类为第一帧组并将2D内容全部帧的30%分类为第二帧组。

内容转换设备1执行与多个分类的帧组相应的多个转换处理。也就是说，对第一帧组执行第一转换处理（操作603），并对第二帧组执行第二转换处理（操作604）。

在操作605，内容转换设备1针对每个帧组将转换处理的执行结果进行组合。可通过这样的组合来完成到3D的转换或可执行进一步转换处理。

图8是示出参照图6和图7解释的内容转换设备1的详细操作的流程图。内容转换设备1可根据预定的标准来选择应用了与相对较高的转换质量相应的转换处理的第一帧组。在操作801，内容转换设备1可通过以与确定的第一转换处理的执行程度相应的采样率对多个帧进行下采样来确定第一帧组。可针对全部帧以采样率1/n（n=1，2，3）来执行下采样。例如，如果第一转换处理具有程度50%，则可通过以采样率1/2对帧进行下采样来确定第一帧组。在这种情况下，可将全部帧的一半选择为第一帧组。

在操作802，内容转换设备1可通过用户的输入针对确定的第一帧组来提取对象并分配深度。内容转换设备1可连续地显示被选择为第一帧组的帧，并提供用于提取对象和分配深度的GUI。内容转换设备1可通过经由GUI的用户的输入来提取对象并分配深度。图9示出通过用户的输入提取对象的示例。用户可通过使用GUI92经由用户输入单元12来绘制指示对象93的边界的线94。内容转换设备1可参照由用户的输入绘制的线94并提取具有如线94所示的边界的对象93。图10示出通过用户的输入分配深度的示例。用户可针对帧101内的对象103通过使用GUI102来指定将被分配给对象103的深度的值104。内容转换设备1可通过参照由用户的输入提供的值104来将深度分配给对象103。当已经提取了对象并已经将深度分配给被选择为第一帧组的所有帧内的这样的对象时，内容转换设备1结束操作802。

在操作803，内容转换设备1通过使用第一转换处理的执行结果（操作802）执行插值操作和上采样操作。由于已经对2D内容的一部分帧（第一帧）执行了对象的提取和深度的分配，故应对剩余的帧执行这样的提取和分配。内容转换设备1通过使用在操作802执行的针对第一帧组的对象的提取和深度的分配的结果来提取对象并将深度分配给剩余的帧。以与在操作801中执行的下采样相应的采样率来执行在操作803的上采样。例如，如果已经在操作801以采样率1/2执行了下采样，则在操作803以采样率2执行上采样。通过针对第一帧组的至少一个帧的对象的提取和深度的分配的结果进行插值来执行针对上采样的帧的对象的提取和深度的分配，其中，所述至少一个帧邻近于执行了这样的提取和分配的帧。如果完成了对上采样的帧的插值，则内容转换设备1结束操作803。

在操作804，内容转换设备1将已在操作802执行了对象的提取和深度的分配的第一帧组以及在操作803中已被插值和上采样的帧进行合并。可以以其它方式渲染和处理合并的帧，如以上参照图1到图5所解释的。

图11是示出参照图6和图7解释的内容转换设备1的详细操作的流程图。内容转换设备1可根据应用与相对较高的转换质量相应的第一转换处理的其它标准来选择第一帧组。在操作1101，内容转换设备1可使用与在操作601确定的第一转换处理的执行程度相应的重要程度来从2D内容的多个帧中确定第一帧组。重要程度相应于多个帧中的图像的呈现程度。例如，场景改变的帧、主要角色特写的帧可具有高重要程度。可通过帧中的图像的运动的改变程度来确定重要程度。内容转换设备1可确定相关帧中的图像的运动是在操作601确定的第一转换处理的执行程度的值或高于相应的第一转换处理的执行程度的值的帧是第一帧组。例如，如果第一转换处理的执行程度被指定为50%，则可将按照重要程度的顺序落入全部帧的前1/2的帧确定为第一帧组。

在操作1102，内容转换设备1可通过用户的输入针对确定的第一帧组提取对象并分配深度。内容转换设备1可通过用户的输入顺序地显示被选择为第一帧组的帧，并提取对象和将深度分配给对象。可以与上面已经解释的操作802相似地执行操作1102。如果已经完成了针对被选择为第一帧组的帧的对象的提取和深度的分配，则内容转换设备1结束操作1102。

在操作1103，内容转换设备1通过使用第一转换处理的执行结果来执行跟踪（操作1102）。由于已经对2D内容的部分帧（第一帧）执行了对象的提取和深度的分配，故应对剩余的帧执行这样的提取和分配。内容转换设备1通过使用在操作1102已经对第一帧组执行的提取和分配的结果执行跟踪来针对剩余的帧提取对象并将深度分配给对象。可以与上面已经解释的在操作505的跟踪相似地执行在操作1103的跟踪。如果已经完成了2D内容的除了第一帧组之外的帧的跟踪，则内容转换设备1结束操作1103。

在操作1104，内容转换设备1将在操作1102已经执行了对象的提取和针对对象的深度的分配的第一帧组以及在操作1103已经被跟踪的帧进行合并。可以以其它方式渲染和处理合并的帧，如以上参照图1到图5所解释的。

如上所述，能够提供具有迎合用户的体验的各种质量的3D内容。

虽然不限于此，但是示例性实施例可被实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储其后可被计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器（ROM）、随机访问存储器（RAM）、CD-ROM、磁带、软盘和光数据存储装置。计算机可读记录介质还可分布于联网的计算机系统，从而以分布式方式存储和执行计算机可读代码。另外，示例性实施例可被编写为经由计算机可读传输介质（诸如，载波）发送的计算机程序，并被在执行所述程序的通用或专用数字计算机中接收和实现。此外，内容转换设备1的一个或多个单元可包括执行存储在计算机可读介质中的计算机程序的处理器或微处理器。

虽然已经示出和描述了一些示例性实施例，但是本领域技术人员将理解可在不脱离由权利要求及其等同物限定其范围的本发明构思的原理和精神的情况下对这些示例性实施例作出改变。例如，在前述示例性实施例中，虽然另一示例性实施例不限于此，但是3D内容的质量针对诸如对象提取操作202、深度分配操作203等的操作而改变。例如，根据一个或多个其它示例性实施例，可根据3D内容的质量来执行诸如关键帧选择操作502、渲染操作506等的不同操作。

Claims

1.一种通过内容转换设备将二维（2D）内容转换为三维（3D）内容的方法，所述方法包括：

确定多个不同转换处理的执行程度；

基于确定的执行程度将2D内容的多个帧分类为与多个转换处理相应的多个帧组；

执行与多个分类的帧组相应的多个转换处理；以及

针对多个帧将多个转换处理的执行结果进行合并。

2.如权利要求1所述的方法，其中，所述确定步骤包括：

接收关于多个转换处理的执行程度的用户的输入；以及

通过接收的用户的输入来确定多个转换处理的执行程度。

3.如权利要求2所述的方法，其中，所述确定步骤包括：

显示包括用于指定多个转换处理的执行程度的菜单项的图形用户界面（GUI）；以及

通过经由菜单项的用户的输入来确定多个转换处理的执行程度。

4.如权利要求1所述的方法，其中，所述确定步骤还包括：显示与多个转换处理的执行程度相应的转换质量的信息。

5.如权利要求4所述的方法，其中，所述确定步骤还包括：

显示包括转换质量的菜单项的GUI；以及

通过经由转换质量的菜单项的用户的输入来确定多个转换处理的执行程度。

6.如权利要求1所述的方法，其中，所述多个转换处理包括第一转换处理以及与比第一转换处理更低的转换质量相应的第二转换处理。

7.如权利要求6所述的方法，其中，所述第一转换处理包括通过用户的输入执行的对象的提取和深度的分配中的至少一个，第二转换处理包括通过使用第一转换处理的执行结果执行的插值和跟踪中的至少一个。

8.如权利要求6所述的方法，其中，所述分类步骤包括：通过以与确定的第一转换处理的执行程度相应的采样率对多个帧进行下采样来确定应用了第一转换处理的帧组。

9.如权利要求6所述的方法，其中，所述分类步骤包括：基于与确定的第一转换处理的执行程度相应的重要程度来从多个帧中确定应用了第一转换处理的帧组。

10.一种用于将二维（2D）内容转换为三维（3D）内容的设备，所述设备包括：

转换器，确定多个不同转换处理的执行程度，基于确定的执行程度将2D内容的多个帧分类为与多个转换处理相应的多个帧组，执行与多个分类的帧组相应的多个转换处理，并针对多个帧组将多个转换处理的执行结果进行合并。

11.如权利要求10所述的设备，还包括：用户输入单元，接收关于多个转换处理的执行程度的用户的输入，其中，转换器通过接收的用户的输入来确定多个转换处理的执行程度。

12.如权利要求11所述的设备，还包括：显示单元，其中，转换器在显示单元上显示包括用于指定多个转换处理的执行程度的菜单项的图形用户界面（GUI），并通过经由菜单项的用户的输入来确定多个转换处理的执行程度。

13.如权利要求10所述的设备，其中，转换器在显示单元上显示与多个转换处理的执行程度相应的转换质量的信息。

14.如权利要求13所述的设备，其中，转换器在显示单元上显示包括转换质量的菜单项的GUI，并通过经由转换质量的菜单项的用户的输入来确定多个转换处理的执行程度。

15.如权利要求10所述的设备，其中，所述多个转换处理包括第一转换处理以及与比第一转换处理更低的转换质量相应的第二转换处理。

16.如权利要求15所述的设备，其中，所述第一转换处理包括通过用户的输入执行的对象的提取和深度的分配中的至少一个，第二转换处理包括通过使用第一转换处理的执行结果执行的插值和跟踪中的至少一个。

17.如权利要求15所述的设备，其中，转换器通过以与确定的第一转换处理的执行程度相应的采样率对多个帧进行下采样来确定应用了第一转换处理的帧组。

18.如权利要求15所述的设备，其中，转换器基于与确定的第一转换处理的执行程度相应的重要程度来从多个帧中确定应用了第一转换处理的帧组。