CN103875242A - 基于3d视频的格式类型的识别将3d视频转换为2d视频并且基于显示设备类型的识别提供2d或3d视频 - Google Patents

基于3d视频的格式类型的识别将3d视频转换为2d视频并且基于显示设备类型的识别提供2d或3d视频 Download PDF

Info

Publication number
CN103875242A
CN103875242A CN201280050723.1A CN201280050723A CN103875242A CN 103875242 A CN103875242 A CN 103875242A CN 201280050723 A CN201280050723 A CN 201280050723A CN 103875242 A CN103875242 A CN 103875242A
Authority
CN
China
Prior art keywords
video
frame
equipment
format type
assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280050723.1A
Other languages
English (en)
Inventor
德巴尔加·慕克吉
乔纳森·黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN103875242A publication Critical patent/CN103875242A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/007Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种用于从3D视频提取2D视频的技术。对由源上传的3D视频进行分析以识别其3D格式类型,例如并排、上下或帧交替格式。当识别了3D格式类型时,从该3D视频的帧提取2D视频信息以生成2D视频。该3D视频和2D视频都被存储在数据库中。当设备请求视频时,确定该设备是与3D还是2D显示设备类型相关联,并且基于该确定向该设备提供2D或3D视频。

Description

基于3D视频的格式类型的识别将3D视频转换为2D视频并且基于显示设备类型的识别提供2D或3D视频
相关申请的交叉引用
本申请要求于2011年8月17日提交的题为“CONVERTING3DVIDEO INTO2D VIDEO BASED ON IDENTIFICATION OF FORMATTYPE OF3D VIDEO AND PROVIDING EITHER2D OR3D VIDEOBASED ON IDENTIFICATION OF DISPLAY DEVICE TYPE”的美国临时专利申请号61/524667以及于2012年8月18日提交的题为“CONVERTING3D VIDEO INTO2D VIDEO BASED ONIDENTIFICATION OF FORMAT TYPE OF3D VIDEO ANDPROVIDING EITHER2D OR3D VIDEO BASED ONIDENTIFICATION OF DISPLAY DEVICE TYPE”的美国专利申请序列号13/450413的优先权。这些申请的全文通过引用合并于此。
技术领域
本公开涉及三维视频,更具体地涉及将三维(3D)视频转换为二维(2D)视频并且基于显示设备的能力提供2D或3D视频以便进行呈现。
背景技术
常规地,3D视频通常由主要的运动场景工作室或专业制作单位所创建以便在大型剧院或昂贵的专业设备上进行观看。然而,近年来3D视频的流行已经刺激技术公司创造出供普通消费者录制和观看3D视频的可负担的设备。例如,零售的移动电话、相机、录影机和其它消费者设备现在都能够录制3D视频,3D视频能够在家庭电视或其它消费者3D显示设备上进行观看。这样,流行的社交媒体共享站点接收用户所创建的3D视频的上传以与家人、好友和/或一般大众进行共享。具有支持3D的显示设备的用户能够容易地以其预期3D格式下载并观看所上传的3D视频。然而,绝大多数的显示设备仍然是2D的。因此,尝试在2D显示设备上观看3D视频的用户经常将看到由于在3D视频帧中叠加或者在连续3D视频帧中交替而用来创建3D视觉效果的左和右图像的差异而模糊的图像。
发明内容
这里提供简化的发明内容以助于能够对随后具体实施方式和附图中的示例性的非限制实施例的各个方面进行基本或一般的理解。然而,该发明内容并非意在是扩展或穷举的概述。相反,该发明内容的作用是以简化形式给出与一些示例性非限制实施例相关的一些概念而作为本公开下文中对各个实施例更为详细的描述的前序。
依据一个非限制实施方式,一种格式识别组件识别3D视频的3D格式类型,提取组件基于所识别的3D格式类型从该3D视频提取对应于3D视频帧的2D视频帧。收集组件从所提取的2D视频帧生成2D视频,并且设备识别组件识别与设备相关联的显示设备类型,并且按照所识别的显示设备类型而将2D视频或3D视频递送至该设备。
依据另一个非限制实施方式,识别3D视频的3D格式类型,基于所识别的3D格式类型从3D视频提取对应于3D视频帧的2D视频帧。从所提取的2D视频帧生成2D视频,并识别与设备相关联的显示设备类型,并且按照所识别的显示设备类型而将2D视频或3D视频递送至该设备。
以下对这些和其它实施方式与实施例进行更为详细地描述。
附图说明
图1图示了依据本公开的实施方式的示例性非限制三维3D视频捕捉系统的框图。
图2图示了依据本公开的实施方式的示例性非限制3D视频至2D视频转换和分发系统的框图。
图3A图示了依据本公开的实施方式的示例性非限制2D视频帧。
图3B图示了依据本公开的实施方式的具有并排格式类型的示例性非限制3D视频帧。
图3C图示了依据本公开的实施方式的具有上下格式类型的示例性非限制3D视频帧。
图4A图示了依据本公开的实施方式的用于将3D视频转换为2D视频并且存储3D和2D视频的示例性非限制流程图。
图4B图示了依据本公开的实施方式的用于根据与作为所请求视频的预期接收方的设备相关联的显示设备类型来提供3D或2D视频的示例性非限制流程图。
图5是依据本公开的实施方式的用于将3D视频转换为2D视频的示例性非限制流程图。
图6A和6B图示了依据本公开的实施方式的用于确定3D视频是否包含并排格式类型的示例性方法。
图7是表示能够在其中实施各个实施例的示例性非限制网络环境的框图。
图8是表示能够在其中实施各个实施例的示例性非限制计算系统或操作环境的框图。
具体实施方式
参考附图对本公开的各个方面或特征进行描述,其中通篇中使用同样的附图标记来指代同样的要素。在该说明书中,阐述了多个具体细节以便提供对本公开的全面理解。然而,应当理解的是,本公开的某些方面可以在没有这些具体细节的情况下进行实践,或者利用其它方法、组件和材料等进行实践。在其它情况下,公知结构和设备以框图形式示出以促进对本公开进行描述。
图1图示了用于捕捉3D视频的示例性系统100。3D视频是显示技术的一般性术语,其允许观看者体验具有立体效果的视频内容。3D视频针对通常仅限于高度和宽度(2D)的当前视频显示技术提供了第三维度(例如,深度)的假象。3D设备的工作与影院的3D十分相似。示出3D内容的屏幕同时显示相同对象102的两个独立图像。一个图像(右图像)针对观看者的右眼(R)并且通过使用R相机106来捕捉。另一个图像(左图像)则针对左眼(L)并且通过使用L相机104来捕捉。所要理解的是,左和右图像可以基本上同时捕捉,然而并非要求如此。例如,在场景中存在对象运动的所捕捉场景中,左和右图像可以基本上同时捕捉。在另一个示例中,如果场景中没有运动,则左和右图像可以在不同时间捕捉。
L和R相机104和106所捕捉的两个图像108和110分别包括占据整个场景并且表现为相互混合的3D帧。所要理解的是,图像108和110可以在3D帧中进行压缩或无压缩。具体地,当不借助于特殊3D眼镜观看时,一个图像中的对象通常针对另一个图像中的相对应对象的左(或右)稍有重复或歪斜。当观看者佩戴3D眼镜时,他们由于被称作“融合(fusing)”的过程而将两个图像感知为单个3D图像。这样的(多种)3D系统依赖于被称作立体视觉的视觉感知现象。成年人的眼睛通常分开大约2.5英寸,这使得每只眼睛能够从彼此稍有不同的角度看到对象。3D视频中的左和右图像通过使用L和R相机108和110进行捕捉,它们不仅彼此分开几厘米而且可以从两个不同角度来捕捉对象102。当图像借助于眼镜而在用户意识中合并时,产生了深度的假象。
生成3D视频的设备已经达到了可负担以形成大量3D视频内容的价格点。这样的3D视频频繁地以特定格式从3D相机进行上传,而它们将不会在2D设备上正确显示。2D设备在消费者零售市场中略为普遍,并且因此在3D视频中提供深度假象的格式化会在使用2D设备观看时导致失真(例如模糊、朦胧、表现为两个图像而非一个等等)。通过针具有3D显示设备类型的设备送过3D视频而针对具有2D显示设备类型的设备将3D视频转换为2D视频,这里所描述的实施例通过对内容重新格式化而使得其在3D设备以及2D设备上自动正确显示而减轻了以上所提到的问题
依据所公开的各方面,提供了一种用于检测3D视频的3D格式类型并且基于所检测的3D格式类型从3D视频创建2D视频的机制。此外,提供了一种用于检测与设备相关联的显示设备类型并且基于所检测的显示类型呈现3D或2D视频的机制。在非限制示例中,用户能够上传3D视频并且其他用户能够基于呈现设备的显示能力而以3D或2D观看该视频。例如,被上传到社交媒体站点的3D视频可以以3D格式进行存储,而且可以被转换并且以2D格式进行存储。当该视频被请求观看时,该社交媒体站点能够确定诸如平板设备的请求设备的显示设备类型,并且在该设备能够呈现3D格式的情况下呈现3D格式,否则就向该设备呈现2D格式的视频。在另一个示例中,订阅影片流服务能够检测与设备相关联的显示设备类型。例如,具有影片流服务的DVD播放器能够与支持3D的电视或者支持2D的电视相关联。影片流服务能够确定相关联电视的显示设备类型并且向DVD播放器适当呈现3D或2D格式的视频。
图2图示了依据实施例的系统200。系统200包括视频服务组件206,其接收3D视频204并且向设备230提供3D或2D视频。视频服务组件206和设备230能够例如使用输入设备从用户接收输入以控制与视频服务器组件206和设备230的交互以及在其上的呈现,所述输入设备的非限制示例能够参考图8而找到。
视频服务组件206包括存储计算机可执行组件的存储器以及执行存储器中存储的计算机可执行组件的处理器,其非限制示例能够参考图8而找到。在一个实施方式中,视频服务组件206可以位于服务器上,该服务器经由有线或无线的网络与设备230进行通信。例如,视频服务组件206能够被结合到视频服务器中(例如社交媒体共享站点、有线电视提供商、卫星电视提供商、订阅媒体服务提供商、互联网服务提供商、数字订户线路提供商、移动电信提供商、蜂窝提供商、无线电提供商或者经由有线或无线介质提供视频或视频流的任意其它类型的系统的视频服务器),该视频服务器向设备230提供视频。在另一个实施方式中,视频服务组件206可以结合到设备230中。此外,视频可以在视频服务组件206的本地存储并且可以远离视频服务组件206远程存储。
设备230可以是用于与视频进行本地交互或者通过有线或无线通信链路与视频进行交互的任意适当类型的设备,其非限制示例包括移动设备、移动电话、个人数字助理、膝上计算机、平板计算机、台式计算机、服务器系统、有线机顶盒、卫星机顶盒、有线调制解调器、电视机、媒体扩展设备、蓝光设备、DVD(数字多功能盘或数字视频盘)、紧凑盘设备、视频游戏系统、音/视频接收器、无线电设备、便携式音乐播放器、导航系统、车辆立体声等。
继续参考图2,视频服务组件206包括格式辨识组件202,其识别与3D视频204相关联的格式类型。视频服务组件206还包括提取组件208,其基于所识别的3D格式类型从3D视频204提取2D帧。视频服务组件206进一步包括收集组件210,其在数据存储216中将所提取的2D帧共同存储为2D格式的视频。此外,视频服务组件206包括设备辨识组件232,其能够识别设备的设备显示类型。视频服务组件206还包括数据存储,其能够存储视频以及由格式辨识组件202、提取组件208、收集组件210或设备辨识组件232所生成的数据。数据存储120可以存储在任意适当类型的存储设备上,其非限制示例参考图7和8进行图示。
视频服务组件206从一个或多个源接收一个或多个3D视频204,所述源的非限制示例包括用户上传、设备、服务器、广播服务、媒体流服务、视频库、便携式存储设备、或者能够经由有线或无线通信介质从其向视频服务组件206提供3D视频的任意其它适当的源。所要理解的是,视频服务组件206能够同时从多个源接收并处理多个3D视频。视频服务组件206能够以其原始上传格式或者压缩格式将所接收的3D视频204存储在数据存储216中。此外,源能够指定不应当为3D视频204创建该视频的2D版本,并且视频服务组件206能够将3D视频204标记为仅为3D而并不执行到2D的转换。例如,3D视频204的创作方可能并不想要该3D视频的2D版本以便保持其3D视频的创作完整性。
格式辨识组件202能够对3D视频204进行分析以确定该3D视频的3D格式类型。3D格式类型的非限制示例是并排格式、上下、或者交织(帧交替)格式。图4描绘了2D视频帧、并排视频帧以及上下视频帧的非限制示例。并排格式包括一系列3D帧,其中场景的相关联的左(左帧)和右(右帧)捕捉的2D图像作为并排2D帧被合并到单个3D帧中。例如,场景的左捕捉图像能够进行缩放并且被包括在3D帧的左~50%中而相同场景的右捕捉图像能够进行缩放并且被包括在相同3D帧的右~50%中,反之亦然。同样,相同或不同场景的后续捕捉的左和右图像将进行缩放并且并排合并到3D视频的一系列3D帧中的对应的后续单个3帧中。上下格式包括一系列3D帧,其中场景的相关联的左(左帧)和右(右帧)捕捉图像作为上下2D帧被合并到单个3D帧中。例如,场景的左捕捉图像能够进行缩放并且被包括在3D帧的上~50%中,而相同场景的右捕捉图像能够进行缩放并且被包括在相同3D帧的下~50%中,反之亦然。类似地,相同或不同场景的后续捕捉的左和右图像将进行缩放并且在上下合并到3D视频的一系列3D帧中的对应的后续单个3帧中。交替格式包括一系列3D帧,其中场景的相关联的左(左帧)和右(右帧)捕捉图像被合并到两个连续3D帧中。所要意识到的是,3D帧可以是在左和右捕捉场景之间连续交替的2D帧。例如,场景的左捕捉图像可以作为2D左帧被包括在第一3D帧中,而相同场景的右捕捉图像可以作为2D右帧被包括在一系列帧中紧接在第一3D帧之后的第二3D帧中,反之亦然。相对应地,相同或不同场景的后续捕捉的左和右图像能够被合并到3D视频的一系列3D帧中连续交替的3D帧中。
格式辨识组件202能够检查3D帧或3D视频204的一对连续帧以确定3D格式类型。例如,格式辨识组件202能够将从3D帧的左部分提取的第一2D帧与从该3D帧的右部分提取的第二2D帧进行比较以确定它们是否表示场景的左和右图像捕捉。在非限制性示例中,可以针对3D帧的第一2D帧创建颜色直方图,其可以与该3D帧的第二2D帧的颜色直方图进行比较。在另一个非限制性示例中,可以在3D帧的第一2D帧和第二2D帧之间执行运动估计比较。所要理解的是,能够在3D帧的第一2D帧和第二2D帧之间执行任意适当的比较来确定它们匹配的程度。基于该比较,格式辨识组件202能够指派指示3D帧的第一2D帧和第二2D帧相匹配的程度的并排量度。格式辨识组件202能够将该并排量度与匹配置信度阈值进行比较以确定3D帧的第一2D帧和第二2D帧是否充分匹配到将提供3D格式类型为并排的置信度的水平。如果并排量度超过了该匹配置信度阈值,则格式辨识组件202能够对于3D视频204将并排指派为3D格式类型。否则,能够对3D视频204的另外3D帧进行检查直至并排量度超过匹配置信度阈值或者预定数量的帧已经被检查。例如,如果已经满足预定数量的帧而没有将3D格式类型指派为并排,则格式辨识组件202能够将不详(unclear)指派为3D格式类型。所要意识到的是,并排量度可以是在一系列帧上的累计量度,其非限制性示例包括均值、中间值或者任意其它概率或统计量度。预定数量的帧可以是3D视频204内的任意数量的适当帧,其非限制性示例包括一个帧、帧的子集、帧的百分比、所有帧。此外,预定数量的帧例如可以在系统中预先定义,由管理员、用户进行设置,或者例如能够基于硬件处理能力、硬件处理负载、3D视频204的大小或者任意其它适当标准进行动态调节。
在另一个非限制性示例中,格式辨识组件202能够执行与以上所讨论的并排分析相类似的上下比较。例如,格式辨识组件202能够将从3D帧的上部分提取的第一2D帧与从该3D帧的下部分提取的第二2D帧进行比较以确定他们是否表示场景的左和右图像捕捉。所要理解的是,能够在3D帧的第一2D帧和第二2D帧之间执行任意适当的比较以确定两个部分匹配的程度,其非限制性示例包括颜色直方图和运动估计。基于该比较,格式辨识组件202能够指派指示3D帧的第一2D帧和第二2D帧的匹配程度的上下量度。格式辨识组件202能够将该上下量度与匹配置信度阈值进行比较以确定3D帧的第一2D帧和第二2D帧是否充分匹配到将提供3D格式类型是上下的置信度的水平。如果上下量度超过了匹配置信度阈值,则格式辨识组件202能够为3D视频204指派上下作为3D格式类型。否则,能够对3D视频204的另外3D帧进行检查直至上下量度超过匹配置信度阈值或者预定数量的帧已经被检查。例如,如果已经满足预定数量的帧而没有将3D格式类型指派为上下,则格式辨识组件202能够将不详指派为3D格式类型。所要意识到的是,上下量度可以是在一系列帧上的累计量度,其非限制性示例包括均值、中间值或者任意其它概率或统计量度。
在另外的非限制性示例中,格式辨识组件202能够执行与以上所讨论的并排以及上下分析相类似的交替比较。例如,格式辨识组件202能够对3D帧的连续对中的第一3D帧与3D帧的连续对中的第二帧进行比较以确定它们是否表示场景的左和右图像捕捉。所要理解的是,能够在第一和第二3D帧之间执行任意适当的比较以确定两个帧匹配的程度,其非限制性示例包括颜色直方图和运动估计。基于该比较,颜色辨识组件202能够指派指示第一和第二3D帧相匹配的程度的交替量度。格式辨识组件202能够将该交替量度与匹配置信度阈值相比较以确定第一和第二3D帧是否充分匹配到将提供3D格式类型为交替的置信度的水平。如果该交替量度超过了匹配置信度阈值,则格式辨识组件202能够对于3D视频204将交替指派为3D格式类型。否则,能够对3D视频204的另外3D帧的连续对进行检查,诸如一系列3D帧中的两个连续帧的滑动窗口能够以一个或两个帧递增,直至交替量度超过匹配置信度阈值或者已经检查了预定数量的帧。例如,如果已经满足预定数量的帧而没有将3D格式类型指派为交替,则格式辨识组件202能够将不详指派为3D格式类型。所要意识到的是,交替量度可以是在一系列帧上的累计量度,其非限制性示例包括均值、中间值或者任意其它概率或统计量度。
格式辨识组件202能够同时对3D视频204执行针对并排、上下或交替的分析直至为3D视频204确定了3D格式类型,例如当并排量度、上下量度或交替量度中的一个已经超过匹配置信度阈值时。此外,能够连续对3D视频204同时执行针对并排、上下或交替的分析。此外,如果连续执行,则顺序例如可以基于最常使用的3D格式类型、格式辨识组件202最频繁辨识的3D格式类型、基于管理员配置或者任意其它适当标准而有所变化。此外,如果并排量度、上下量度或交替量度中的两个或更多个已经超过了匹配置信度阈值,则能够采用决胜机制。例如,能够使用比该匹配置信度阈值高的附加匹配置信度阈值。当并排量度、上下量度或交替量度中的一个已经超过该附加匹配置信度阈值时,就能够相应设定3D视频的3D格式类型。在另外的示例中,并排量度、上下量度或交替量度中已经以最大数量超过匹配置信度阈值的能够被选择作为3D视频204的3D格式类型。在另一个示例中,格式辨识组件202能够在并排量度、上下量度或交替量度中的两个或更多个已经超过匹配置信度阈值或附加匹配置信度阈值的情况下将不详指派为3D视频204的3D格式类型。所要理解的是,该决胜机制例如由管理员预先定义或者可由其进行配置。此外,如果所有三个量度都没有超过匹配置信度阈值或附加匹配置信度阈值,则格式辨识组件202能够将不详指派为3D视频204的3D格式类型。还要理解的是,匹配置信度阈值能够针对并排量度、上下量度或交替量度中的每一个有所变化。
格式辨识组件202能够在接收到3D视频时自动触发,能够被手工触发,或者能够被编程为在检测到事件或条件时触发,其非限制性示例包括识别到从其接收3D视频的特定源。
提取组件203基于所指派的3D格式类型从3D视频204的对应3D帧中提取相应2D帧。如果3D格式类型为不详,则提取组件208不从3D视频204提取2D帧。如果3D格式为并排,则提取组件208将对于3D视频204中所有的连续帧从左或右部分提取2D帧并且保持它们的顺序。此外,提取组件208能够将所提取的2D帧缩放为完整2D帧的大小。在非限制性示例中,所提取的2D帧能够水平拉伸~100%。在一个示例中,来自3D视频204中的所有3D帧的左部分的2D帧被提取以创建2D视频。在另一个示例中,来自3D视频204中的所有3D帧的右部分的2D帧被提取以创建2D视频。虽然该示例公开了从所有3D帧提取2D帧,但是所要意识到的是,能够从3D帧的子集中提取2D帧,例如以满足特定的2D视频质量。例如,能够从每隔j个3D帧提取2D帧,其中j是用于产生较低质量的2D视频的整数。如果3D格式类型为上下,则提取组件208将对于3D视频204中的3D帧从上或下部分提取2D帧并且保持它们的顺序。此外,提取组件208能够将所提取的2D帧缩放为完整2D帧的大小。在非限制性示例中,所提取的2D帧能够垂直拉伸~100%。在一个示例中,来自3D视频204中的所有3D帧的上部分的2D帧被提取以创建2D视频。在另一个示例中,来自3D视频204中所有3D帧的下部分的2D帧被提取以创建2D视频。如果3D格式类型为交替,则提取组件208将从3D视频204中的连续编号的3D帧中的奇数编号或偶数编号的3D帧中提取2D帧并保持它们的顺序。在一个示例中,从3D视频204中奇数编号的3D帧提取2D帧以创建2D视频。在另一个示例中,从3D视频204中偶数编号的3D帧提取2D帧以创建2D视频。
可选地,提取组件208能够利用帧相干性来提高2D帧的质量。在一个实施例中,提取组件208能够利用使用左和右帧的标准双线性交织来生成更高质量的全2D帧。同样,所要意识到的是,能够采用右正来提高从左帧生成的2D帧,反之亦然。
收集组件210能够将所提取的2D帧共同作为2D格式视频218存储在数据存储216中。例如,收集组件能够对所提取的2D帧执行视频编码算法来生成2D视频218。在一个示例中,3D视频204以及从3D视频204生成的相对应的2D视频218能够被收集组件210存储在单个视频文件中。例如,这对于3D和2D视频的便携性是有利的。在替选示例中,收集组件210能够将2D视频218和相对应的3D视频204存储为单独的文件(例如,减轻请求时的计算开销)。
视频服务组件206能够接收向N个设备230(N为整数)提供视频的视频请求242,其中N可以是任意数量的设备。所要意识到的是,视频服务组件206能够同时接收并处理多个视频请求242。此外,虽然图2描绘了视频请求242来自设备230,但是视频请求232能够来自任意源。例如,视频订阅服务能够对视频服务组件206发起向一个或多个设备230推送视频的视频请求242。相应设备230可能具有不同的能力(例如,仅能够处理2D视频,仅能够处理3D视频,能够处理多种类型的视频…)。仅能够处理2D视频的设备在显示3D视频方面存在困难。因此,设备辨识组件232能够识别与设备230相关联的显示设备类型。在非限制性示例中,显示设备类型对于为3D视频设计或者为3D视频和2D视频设计的设备而言可以是3D显示器,而对于并非为3D视频设计的设备而言可以是2D显示器。在一个示例中,对于设备230的视频请求242可以包括识别与设备230相关联的显示设备类型的信息。在另一个示例中,视频请求242能够提供允许设备辨识组件232推断出设备230的显示设备类型的信息。例如,视频请求232能够提供诸如产品、型号或序列号的设备类型,其能够被设备辨识组件232用来在设备资料、设备库或互联网中查找该设备的特性。在另外的示例中,视频请求242能够提供识别与设备230相关联的用户的信息,其能够被设备辨识组件232用来查找与该用户相关联的资料以便识别出设备230的视频格式偏好。在又另一个示例中,设备辨识组件232能够对设备230查询识别与设备230相关联的显示设备类型的信息。例如,设备辨识组件232能够对设备230、DVD播放器或有线盒查询有关连接至设备230的电视的信息以便确定显示设备类型。
如果设备辨识组件232确定设备230的显示设备类型为3D显示器,则视频服务组件206能够向设备230提供所请求视频的3D视频。如果设备辨识组件232确定设备230的显示设备类型为2D显示器,则视频服务组件206能够向设备230提供所请求视频的2D视频。然而,如果设备辨识组件232确定设备230的显示设备类型为2D显示器,而3D视频的2D视频例如由于源的规范并未创建2D视频或者由于3D格式类型被设置为不详而并未生成,则能够向设备230发送错误消息,能够向设备230发送3D视频,或者能够向设备230发送通知其2D视频不可用并且询问是否需要3D的查询。进一步要意识到的是,视频请求242能够指定2D格式或3D格式为所请求的视频格式。例如,视频请求242能够指定2D视频,并且如果3D视频的2D视频并未生成,则可以向设备230发送错误消息,能够向设备230发送3D视频,或者能够向设备230发送通知其2D视频不可用并且询问是否应当提供3D的查询。在另一个示例中,视频请求242可以指定2D视频,并且如果设备辨识组件232确定设备230的显示设备类型为3D显示器,则能够向设备230发送3D视频,或者能够向设备230发送通知其有3D视频可用并且询问是否应当提供3D视频的查询。要进一步意识到的是,如果针对3D视频无法获得2D视频,则视频服务组件206能够先行采用设备辨识组件232来确定显示设备类型,并且向设备230发送3D视频。此外,在非限制性示例中,应当意识到的是,如果设备辨识组件232无法确定与设备230相关联的显示设备类型,则设备辨识组件232能够就所请求的视频格式为3D还是2D对设备进行查询。在替选示例中,如果设备辨识组件232无法确定与设备230相关联的显示设备类型,则视频服务组件206能够提供视频请求242中所指示的视频格式或者如系统中例如由管理员预先定义的缺省视频格式。
参考图3A-C,描绘了示例性视频帧。图3A图示了示例性2D视频帧302。2D视频帧302具有通常由像素数量所定义的高度和宽度。例如,2D视频帧302可以具有640像素的宽度以及480像素的高度。在另一个示例中,2D视频帧可以具有420像素的宽度以及240像素的高度。图3B图示了具有并排3D格式类型的示例性3D视频帧304。3D视频帧304由并排的左和右帧306和308组成,但是与2D视频帧302相比宽度被压缩~50%。图3C图示了具有上下3D格式类型的左和右帧306和308的3D视频帧310。
根据主题公开的一个方面,提取组件能够通过将左帧306或右帧308拉伸(或缩放)~100%以创建完全帧,来从3D视频帧304提取2D帧。提取组件还能够通过将来自左帧306和右帧308的数据进行组合,来从3D帧提取2D帧。例如,当对左图像进行重新采样以创建相对应的2D帧时,提取组件所采用的缩放算法能够从相对应右帧开发帧相干性以帮助缩放,或反之亦然。根据主题公开的另一个方面,在具有在特定方向中以例如5厘米的固定距离分离开来的两个并排相机的已知3D相机所拍摄的图像的情况下,在使用固定距离对2D帧进行提取处理期间,重新缩放算法能够从右帧进行采样以填充左真所缺失的信息。在5厘米的示例中,如果5厘米映射至50个像素,则基于双线性交织的缩放器能够通过将左帧中的像素以特定方向中的50个像素为偏移量与右帧中的像素相关联,来对从左和右帧选择的颜色相关数据进行平均,以产生更为准确的2D帧。
图4A-6B图示了依据某些公开方面的各种方法。虽然出于便于解释的目的,该方法被示出和描述为一系列动作,但是所要理解并意识到的是,所公开的方面并不被动作的顺序所限制,因为不同于这里所示出并描述的,一些动作可以以不同顺序进行和/或与其它动作同时进行。例如,本领域技术人员将会理解并意识到,一种方法能够替选地诸如在状态图中被表示为一系列相关状态或事件。此外,并非所有图示的动作都被要求来实施依据某些所公开方面的方法。另外,要进一步意识到的是,随后以及贯穿本公开所公开的方法能够被存储在制造物品上以促成将这样的方法输送或传输至计算机。
图4A描绘了用于将3D视频转换为2D视频并且存储3D视频和2D视频的示例性方法400A。在附图标记410,(例如,由视频服务组件206)接收并存储3D视频。在附图标记412,(例如,由格式辨识组件202)确定3D视频的3D格式类型。在附图标记414,(例如,由提取组件208)确定视频的3D格式类型是否已经被设置为不详。如果414的决定为指示3D格式类型被设置为不详的真或“是”,则该方法结束。如果414的决定为指示3D格式类型并未被设置为不详的假或“否”,则该方法进行至附图标记416。在附图标记416,(例如,由提取组件208)根据在附图标记412处确定的3D格式类型从3D视频提取2D帧。在附图标记418,所提取的2D帧(例如,由收集组件210)被用来生成该3D视频的2D视频并对其进行存储。
图4B描绘了用于根据与作为所请求视频的预期接收方的设备相关联的显示设备类型来提供3D或2D视频的示例性方法400B。在附图标记420,(例如,由视频服务组件206)接收向设备提供视频的请求。在附图标记422,(例如,由设备辨识组件232)确定与该设备相关联的显示设备类型。在附图标记424,(例如,由设备辨识组件)基于在附图标记422所确定的与设备相关联的显示设备类型来将3D或2D视频适当提供至该设备。
图5图示了用于将3D视频转换为2D视频的示例性方法500。在502,(例如,由视频服务组件206)从源接收3D视频以便进行存储。在一个实施例中,3D视频被自动处理以便转换为2D视频。在504,(例如,由格式辨识组件202)确定3D视频是否包含并排3D格式类型。如果3D视频包含并排3D格式类型,则在506,(例如,由提取组件208和/或收集组件210)通过应用用于并排3D视频的适当技术来将3D视频转换为2D视频。如果3D格式类型为不详或者在504被确定为并非并排,则在508,(例如,由格式辨识组件202)确定3D视频是否包含上下3D格式类型。如果3D视频包含上下3D格式类型,则在506,(例如,由提取组件208和/或收集组件210)通过应用用于上下3D视频的适当技术来将3D视频转换为2D视频。如果3D格式类型为不详或者并未在508被确定为上下,则(例如,由格式辨识组件202)确定3D视频是否包含交替3D格式类型。如果3D视频包含交替3D格式类型,则在510,(例如,由提取组件208和/或收集组件210)通过应用用于交替3D视频的适当技术来将3D视频转换为2D视频。如果3D格式类型为不详或者并未在510被确定为上下,则在512,(例如,由格式辨识组件202)确定该3D视频不能被转换为2D视频。
图6A和6B图示了用于(例如,由格式辨识组件202)确定3D视频是否包含并排3D格式类型的示例性方法。在602,进行第一测试以确定3D视频是否包含并排3D格式类型。在602以及一般在方法600中的608、612和616执行的测试的示例包括将3D视频的3D帧水平划分为两半并且将这两半的相对应颜色直方图进行比较以确定它们是否匹配或具有实质性的相似度。该测试是基于3D视频具有并排3D格式类型并且因此3D帧在水平的两半中包括相同对象的包含近似相同的图像的L和R图像的假设。在方法600中执行的测试的另一个示例包括关于左右两半对后续3D帧中的运动估计数据进行比较。在方法600中执行的测试的另一个示例包括关于左右两半对后续3D帧中的全局运动分量分析进行比较,并且例如观察全局运动对于每一半是否是平移的,在一个实施方式中,在604,如果第一测试指示3D视频具有并排3D格式类型的可能性高于预定阈值,则在608进行第二测试。在另一个实施方式中,如果第一测试指示3D视频具有并排3D格式类型的可能性高于预定阈值,则能够确定3D视频具有并排3D格式类型。然而,如果第一测试没有指示3D视频具有并排3D格式类型的可能性高于预定阈值,则能够在606确定3D视频不具有并排3D格式类型。
在一个实施方式中,在610,如果确定第二测试也指示3D视频具有并排3D格式类型的可能性高于预定阈值,则在612进行第三测试。在另一个实施方式中,如果第二测试也指示3D视频具有并排3D格式类型的可能性高于预定阈值,则确定3D视频具有并排3D格式类型。然而,如果第二测试没有指示3D视频具有并排3D格式类型的可能性高于预定阈值,则能够在606确定3D视频不具有并排3D格式类型。
在一个实施方式中,在612和614重复以上测试处理三次。在另一个实施方式中,在616和618重复以上测试处理。在一个实施方式中,如果K次(其中K为整数)测试中的每一次均指示3D视频具有并排3D格式类型的可能性高于预定阈值,则能够在620确定3D视频包含并排3D格式类型。在这种情况下,通过使用适合于并排3D格式类型的3D视频的技术来执行3D视频的2D视频提取。根据一个方面,在3D视频的许多帧上执行每个测试,例如一百个帧或一千个帧。
所要意识到的是,能够采用类似于方法600的方法来确定3D视频是否包含上下或者交替3D格式类型。在一个实施例中,执行初始测试来确定3D视频是否具有并排3D格式类型,原因在于视频例如基于视频源而可能具有并排3D格式类型。在另一个实施例中,执行初始测试来确定3D视频是否具有上下3D格式类型,原因在于视频例如基于视频源而可能具有上下3D格式类型。在又另一实施例中,执行初始测试来确定3D视频是否具有交替3D格式类型,原因在于视频例如基于视频源而可能具有交替3D格式类型。
示例性联网和分布式环境
本领域技术人员能够意识到,这里所描述的动态组合的各个实施例能够结合任意计算机或者其它客户端或服务器设备来实施,它们能够被部署为计算机网络的一部分或者部署在分布式计算环境之中,并且能够连接至能够找到媒体的任意类型的数据存储。就此而言,这里所描述的各个实施例能够在任意计算机系统或环境中实施,该计算机系统或环境具有任意数量的存储器或存储单元,以及跨任意数量的存储单元进行的任意数量的应用和处理。这包括而并不限于具有部署在网络环境或分布式计算环境中的具有远程或本地存储的服务器计算机和客户端计算机的环境。
分布式计算提供通过计算设备和系统间的通信交换来提供计算机资源和服务的共享。这些资源和服务包括信息交换、高速缓存存储以及用于诸如文件的对象的盘存储。这些资源和服务还包括处理能力跨多个处理单元的共享,以便进行负载平衡、资源扩展、处理定制等。分布式计算利用了网络连接,允许客户端对其共同能力进行权衡以惠及整个企业。就此而言,各种设备可以具有可参与到如针对主题公开的各个实施例所描述的平滑流传输机制中的应用、对象或资源。
图7提供了示例性联网或分布式计算环境的示意图。该分布式计算环境包括计算对象710、712等以及计算对象或设备720、722、724、726、728等,它们可以包括如应用730、732、734、736、738所表示的程序、方法、数据存储、可编程逻辑等。能够意识到的是,计算对象710、712等以及计算对象或设备720、722、724、726、728等可以包括不同设备,诸如PDA、音频/视频设备、移动电话、MP3播放器、个人计算机、膝上计算机等。
每一个计算对象710、712等以及计算对象或设备720、722、724、726、728等能够通过通信网络740直接或间接地与一个或多个其它的计算对象710、712等以及计算对象或设备720、722、724、726、728等进行通信。即使在图7中被视为单个部件,但是网络740可以包括向图7的系统提供服务的其它计算对象和计算设备,和/或可以表示未示出的多个互连网络。每一个计算对象710、712等或计算对象或设备720、722、724、726、728等还能够包含诸如应用730、732、734、736、738的应用,其可能利用API或者适于与依据主题公开的各个实施例提供的平滑流送进行通信或对其进行实施的其它对象、软件、固件和/或硬件。
存在支持分布式环境的各种系统、组件和网络配置。例如,计算系统能够通过有线或无线系统、局域网或广域分布网络连接在一起。虽然能够针对与如各个实施例中所描述的动态组合系统偶然进行的示例性通信使用任意网络基础架构,但是目前许多网络耦接至互联网,其提供了广泛分布的计算的基础架构并且涵盖许多不同网络。
因此,诸如客户端/服务器、端对端或混合架构的网络拓扑和网络基础架构中的主机能够得以利用。“客户端”是使用其与之相关的另一个类或群的服务的类或群的成员。客户端可以是过程,例如粗略地为请求另一程序或过程所提供的服务的一组指令或任务。客户端过程利用所请求的服务而不必“知道”与其它程序或服务自身相关的工作细节。
在具体地是联网系统的客户端/服务器架构中,客户端通常是访问由例如服务器的另一个计算机提供的共享网络资源的计算机。在图7的图示中,作为非限制性示例,计算对象或设备720、722、724、726、728等能够被认为是客户端,并且计算对象710、712等则能够被认为是服务器,其中计算对象710、712等提供数据服务,诸如从客户端计算对象或设备720、722、724、726、728等接收数据、存储数据、处理数据、向客户端计算对象或设备720、722、724、726、728等传送数据,虽然任意计算机都能够根据环境而被认为是客户端、服务器或者其二者。任意这些计算设备都可以处理数据或者请求可以暗示如这里针对一个或多个实施例所描述的用于动态组合系统的技术的事务服务或任务。
服务器通常是可通过诸如互联网或无线网络架构的远程或本地网络进行访问的远程计算机系统。客户端过程可以在第一计算机系统中活跃,而服务器过程则可以在通过通信介质互相通信的第二计算机系统中活跃,因此提供分布式功能并且允许多个客户端利用服务器的信息收集能力。根据用于执行读取设置验证或虚检验的技术而利用的任意软件对象能够单独提供或者跨多个计算设备或对象进行分布。
例如,在通信网络/总线740为互联网的网络环境中,计算对象710、712等可以是客户端计算对象或设备720、722、724、726、728等经由任意多种已知协议与其进行通信的Web服务器,上述协议诸如超文本传输协议(HTTP)。作为分布式计算环境可能的特性,对象710、712等也可以用作客户端计算对象或设备720、722、724、726、728等。
示例性计算设备
如所提到的,有利地,这里所描述的技术能够被应用于期望执行动态组合的任意设备。因此,所要理解的是,手持、便携式和其它计算设备以及所有类型的计算对象被预期结合各个实施例使用,即在设备希望从和向数据存储读取或写入事务的任何地方使用。因此,以下在图8中所描述的下列通用远程计算机仅是计算设备的一个示例。此外,数据库服务器能够包括以下通用计算机的一个或多个方面,诸如用于动态组合技术的媒体服务器或消费设备,或者其它媒体管理服务器组件。
虽然并不需要,但是实施例能够部分经由操作系统来实施以便由服务开发人员用于设备或对象,和/或包括在可操作以执行这里所描述的各个实施例的一个或多个功能方面的应用软件之内。软件可以以由诸如客户端工作站、服务器或其它设备的一个或多个计算机执行的诸如程序模块的计算机可执行指令的一般环境进行描述。本领域技术人员将会意识到,计算机系统具有能够用来传输数据的各种配置和协议,并且因此特定配置或协议不应被认为是限制性的。
图8因此图示了能够在其中实施这里所描述实施例的一个方面的适当计算系统环境800的示例,虽然如以上所明确的,计算系统环境800仅是适当计算环境的一个示例而并非意在对使用或功能的范围暗示任何限制。计算环境800也并非被解释为具有与示例性操作环境800中所图示的组件的任意一个或组合相关的任何依赖性或要求。
参考图8,用于实施一个或多个实施例的示例性远程设备包括计算机810形式的通用计算设备。计算机810的组件可以包括但并不限于处理单元820、系统存储器830以及将包括系统存储器在内的各种系统组件耦接至处理单元820的系统总线822。
计算机810通常包括各种计算机可读介质并且可以是能够由计算机810所访问的任意可用介质。系统存储器830可以包括易失性和/或非易失性存储器形式的计算机存储介质,诸如只读存储器(ROM)和/或随机存取存储器(RAM)。作为示例而非限制,存储器830还可以包括操作系统、应用程序、其它程序模块和程序数据。
用户能够通过输入设备840向计算机810中输入命令和信息。监视器或其它类型的显示设备也经由诸如输出接口850的接口连接至系统总线822。除了监视器之外,计算机还可以包括诸如扬声器和打印机的可以通过输出接口850进行连接的其它外围输出设备。
计算机810可以使用到诸如远程计算机870的一个或多个其它远程计算机的逻辑连接而在联网或分布式环境中进行操作。远程计算机870可以是个人计算机、服务器、路由器、网络PC、对等设备或其它常见网络节点、或者任意其它远程媒体消耗或传输设备,并且可以包括以上关于计算机810所描述的任意或全部部件。图8中所描绘的逻辑连接包括网络872,诸如局域网(LAN)或广域网(WAN),但是也可以包括其它网络/总线。这样的网络环境在家庭、办公室、企业范围的计算机网络、企业内部网和互联网中是常见的。
如以上所提到的,虽然已经结合各种计算设备和网络架构对示例性实施例进行了描述,但是基本概念可以应用于期望以灵活方式在其中发布或消费媒体的任意网络系统以及任意计算设备或系统。
而且,存在多种方式来实施相同或相似的功能,例如适当API、工具套件、驱动器代码、操作系统、控制、独立或可下载软件对象等,它们使得应用和服务能够对动态组合技术加以利用。因此,这里的实施例从API(或其它软件对象)以及实施这里所描述的平滑流送的一个或多个方面的软件或硬件对象的观点而得以预期。因此,这里所描述的各个实施例可以具有完全为硬件、部分为硬件且部分为软件以及软件的方面。
计算设备通常包括各种介质,其可以包括计算机可读存储介质和/或通信介质,其中这两个术语在这里如下互相不同地加以使用。计算机可读存储介质可以是能够被计算机访问的任意可用存储介质,通常具有非瞬时属性,并且能够包括易失性和非易失性介质、可移动和非可移动介质。作为示例而非限制,计算机可读存储介质可以结合用于存储诸如计算机可读指令、程序模块、结构化数据或非结构化数据之类的信息的任意方法或技术来实施。计算机可读存储媒体可以包括但并不限于RAM、ROM、EEPROM、闪存或其它存储技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁性卡盒、磁带、磁盘存储或其它磁性存储设备,或者能够被用来存储期望信息的其它有形和/或非有形介质。计算机可读存储介质可以由一个或多个本地或远程计算设备例如经由访问请求、查询或其它数据检索协议针对有关介质所存储的信息的各种操作来进行访问。
另一方面,通信介质通常以诸如调制数据信号的数据信号来体现计算机可读指令、数据结构、程序模块或者其他结构化或非结构化数据,例如载波或其它传输机制,并且包括任意信息传递或传输介质。术语“调制数据信号”或信号是指使得其一个或多个特征以将信息编码在一个或多个信号中的方式进行设置或变化的信号。作为示例而非限制,通信介质包括诸如有线网络或直接线路连接的有线介质或者诸如声音、RF、红外和其它无线介质的无线介质。
如所提到的,这里所描述的各种技术可以结合硬件或软件来实施,或者在适当的情况下利用二者的组合来实施。如这里所使用的,术语“组件”、“系统”等同样意在指代硬件、软件和硬件的组合或者软件的计算机相关实体。例如,组件可以是在处理器上运行的过程、处理器、对象、可执行程序、执行线程、程序和/或计算机,但是并不局限于此。作为说明,在计算机上运行的应用和计算机都可以是组件。一个或多个组件可以处于过程和/或执行线程之内,并且组件可以位于一台计算机上和/或在两台或更多计算机之间进行分布。
已经关于若干组件之间的交互对以上所提到的系统进行了描述。能够意识到的是,这样的系统和组件可以包括那些组件或所指定的子组件、一些指定组件或子组件和/或另外的组件,并且根据前述的各种置换和组合。子组件也可以被实施为通信耦接至并非包括在父组件(层级)内的其它组件的组件。此外,所要注意的是,一个或多个组件可以被组合为提供整合功能的单个组件或者被划分为若干个单独的子组件,并且可以提供诸如管理层之类的任意一个或多个中间层以通信耦接至这样的子组件以便提供整合功能。这里所描述的任意组件还可以与这里并未特别描述但是被本领域技术人员所公知的一个或多个其它组件进行交互。
考虑之前所描述的示例性系统,将参考各附图中的流程图而更好地理解可以依据所描述主题实施的方法。虽然出于便于解释的目的,方法被示出和描述为一系列框,但是所要理解并意识到的是,所请求保护的主题并不被框的顺序所限制,因为一些框可以与这里所描绘和描述的不同地以不同顺序进行和/或与其它框同时进行。在经由流程图图示非顺序或分支的流的情况下,能够意识到可以实施框的其它分支、流路径和顺序而实现相同或相似的结果。此外,并非所有所图示的框都被要求以实施随后所描述的方法。
除了这里所描述的各个实施例之外,所要理解的是,能够使用其它类似实施例或者能够对所描述的(多个)实施例进行修改或增加以便执行相对应的(多个)实施例的相同或等同功能而不背离其。另外,多个处理芯片或多个设备能够共享这里所描述的一个或多个功能的执行,并且类似地,能够跨多个设备来进行存储。因此,本公开不限于任何单个实施例,而是能够以依据所附权利要求的宽度、精神和范围进行构造。
贯穿本说明书对于“一个方面”、“方面”等的引用意味着结合该方面所描述的特定特征、结构或特性包括在至少一个方面之中。因此,贯穿本说明书各处出现的短语“一个方面”、“方面”等并非必然全部指代相同的方面。此外,特定特征、结构或特性能够以任意适当方式在一个或多个方面中进行组合。
如本申请中所使用的,术语“组件”、“系统”等一般意在指代计算机相关实体,其为硬件(例如电路)、硬件和软件的组合、软件,或者执行中的软件或者与具有一个或多个特定功能的操作机器相关的实体。例如,组件可以是在处理器(例如数字信号处理器)上运行的过程、处理器、对象、可执行程序、执行线程、程序和/或计算机,但是并不限于此。作为说明,在控制器上运行的应用以及控制器都可以是组件。一个或多个组件可以处于过程和/或执行线程之内,并且组件可以定位在一台计算机上和/或在两台或更多计算机之间进行分布。
此外,词语“示例”或“示例性”在这里被用来表示用作示例、实例或说明。这里被描述为“示例性”的方面或设计并非必然被理解为是优选的或者优于其他方面或设计。相反,使用词语“示例”或“示例性”是为了以具体方式给出概念。如本申请中所使用的,术语“或”意在表示包含“或”而非排除“或”。也就是说,除非另外指出或从上下文所明确,否则“X采用A或B”意在表示任意的自然包含性置换。也就是说,如果X采用A;X采用B;或者X采用A和B,则“X采用A或B”都在之前的任意实例下得到满足。此外,除非另外指出或从上下文明确是指单数形式,否则如在本申请和所附权利要求中所使用的冠词“一个(“a”和“an”)”一般应当被理解为表示“一个或多个”。另外,词语“耦接”在这里被用来表示直接或间接的电或机械耦接。
这里所描述的系统和过程能够在硬件内体现,诸如单个集成电路(IC)芯片、多个IC、专用集成电路(ASIC)等。另外,一些或全部过程框在每个过程中出现的顺序并不应当被认为是限制性的。相反,应当理解的是,一些过程框能够以这里并未图示的各种顺序来执行。
考虑到以上所描述的示例性实施例,可能依据所描述主题来实施的方法也能够参考各个附图的流程图而被意识到。虽然出于便于解释的目的,方法被示出和描述为一系列框,但是所要理解并意识到的是,各个实施例不被框的顺序所限制,因为一些框可以与这里所描绘和描述的不同地以不同顺序进行和/或与其它框同时进行。在非顺序或分支的流经由流程图进行图示的情况下,能够意识到可以实施框的其它分支、流路径和顺序来实现相同或相似的结果。此外,并非所有所图示的框都被要求以实施随后所描述的方法。
以上已经描述的内容包括所公开方面的实施例的示例。显然,出于描述所请求保护主题的目的不可能对组件或方法的每种可预期组合进行描述,但是所要意识到的是,所描述方面的许多进一步组合和置换都是可能的。因此,所请求保护主题意在涵盖落入所附权利要求的精神和范围之内的所有这样的改变、修改和变化。此外,包括在摘要中所描述的以上对主题公开所图示方面的描述并非意在是穷举的或者将所公开方面限制为所公开的确切形式。虽然这里出于说明的目的而对特定方面和示例进行了描述,但是如相关领域技术人员所能够认识到的,可能有被认为在这样的方面和示例内的各种修改。
具体地且关于以上所描述的组件、设备、电路、系统等所执行的各种功能,除非另外指出,否则即使在结构上不等同于所公开的结构,用来描述这样的组件的术语也意在对应于执行所描述组件的指定功能的任意组件(例如功能等同体),其执行这里所说明的请求保护主题的示例性方面中的功能。就此而言,还将要认识到的是,创新包括系统以及具有计算机可执行指令的计算机可读存储介质,该计算机可执行指令用于执行请求保护主题的各种方法的一些动作和/或事件。
以上所提到的系统、电路、模块等已经关于若干组件和/或模块之间的交互进行了描述。能够意识到的是,这样的系统、电路、组件、模块等能够包括那些组件或所指定的子组件、一些指定组件或子组件和/或另外的组件,并且根据前面的各种置换和组合。子组件也可以被实施为通信耦接至并非包括在父组件(层级)内的其它组件的组件。此外,所要注意的是,一个或多个组件可以被组合为提供整合功能的单个组件或者被划分为若干个单独的子组件,并且可以提供诸如管理层之类的任意一个或多个中间层以通信耦接至这样的子组件以便提供整体功能。这里所描述的任意组件还可以与这里并未特定描述但是被本领域技术人员所公知的一个或多个其它组件进行交互。
尽管给出本公开的宽泛范围的数值范围和参数设置是近似的,但是具体示例中所给出的数字数值尽可能精确地进行报告。然而,任意数字数值由于其相应测试测量中所出现的标准偏差必然导致固有地包含某些误差。此外,这里所公开的所有范围要被理解为涵盖其中所包含的任意和全部子范围。例如,范围“小于10”可以包括最小值0和最大值10之间(并且包括它们)的任意和所有子范围,也就是说,具有等于或大于0的最小值以及等于或小于10的最大值的任意和全部子范围,例如1至5。在某些情况下,针对参数所给出的数字数值可以取负值。在这种情况下,作为“小于10”而给出的示例数值可以采取例如-1、-2、-3、-10、-20、-30等的负值。
此外,虽然所公开方面的特定特征已经仅关于若干实施方式中的一个进行了公开,但是可能期望并且对于任意给定或特定应用而言有利地,这样的特征可以与其它实施方式的一个或多个其它特征相结合。此外,至于在详细描述或权利要求中所使用的术语“包括”、“包括了”、“具有”、“包含”、其变体或者其它类似词语的范围,这些术语意在以类似于作为开放式过渡词语的术语“含有”的方式而是包含性的,而不排除任何附加或其它的要素。

Claims (21)

1.一种设备,包括:
其上存储有计算机可执行组件的存储器;
执行所述存储器中所存储的以下计算机可执行组件的微处理器:
格式辨识组件,所述格式辨识组件识别3D视频的3D格式类型;
提取组件,所述提取组件基于所识别的3D格式类型从所述3D视频提取对应于3D视频帧的2D视频帧;
收集组件,所述收集组件从所提取的2D视频帧生成2D视频;
设备辨识组件,所述设备辨识组件识别与设备相关联的显示设备类型,并且按照所识别的显示设备类型而将所述2D视频或所述3D视频递送至所述设备。
2.根据权利要求1的系统,其中所述格式辨识组件识别所述3D格式类型是否为并排格式、上下格式或交替格式中的至少一个。
3.根据权利要求2的系统,其中所述提取组件响应于所述3D格式类型被识别为并排格式而从所述3D视频的3D视频帧的左部分提取所述2D视频帧或者从所述3D视频的所述3D视频帧的右部分提取所述2D视频帧。
4.根据权利要求2的系统,其中所述提取组件响应于所述3D格式类型被识别为上下格式而从所述3D视频的3D视频帧的上部分提取所述2D视频帧或者从所述3D视频的3D视频帧的下部分提取所述2D视频帧。
5.根据权利要求2的系统,其中所述提取组件响应于所述3D格式类型被识别为交替格式而提取所述3D视频的一系列连续3D视频帧的奇数3D视频帧作为所述2D视频帧或者提取所述3D视频的一系列连续3D视频帧的偶数3D视频帧作为所述2D视频帧。
6.根据权利要求1的系统,其中所述设备辨识组件基于与所述3D视频相关联的视频请求来确定与所述设备相关联的显示设备类型。
7.根据权利要求1的系统,其中所述设备辨识组件基于包括在与所述3D视频相关联的视频请求中的信息来推断与所述设备相关联的显示设备类型。
8.根据权利要求1的系统,其中所述设备辨识组件对所述设备查询与和所述设备相关联的显示设备类型相关的信息。
9.一种方法,包括:
采用处理器来执行存储在计算机可读介质上的计算机可执行指令以执行以下动作:
识别3D视频的3D格式类型;
基于所识别的3D格式类型从所述3D视频提取对应于3D视频帧的2D视频帧;
从所提取的2D视频帧生成2D视频;
识别与设备相关联的显示设备类型;以及
按照所识别的显示设备类型而将所述2D视频或所述3D视频递送至所述设备。
10.根据权利要求9的方法,进一步包括识别所述3D格式类型是否为并排格式、上下格式或交替格式中的至少一个。
11.根据权利要求10的方法,进一步包括:响应于所述3D格式类型被识别为并排格式,从所述3D视频的3D视频帧的左部分提取所述2D视频帧或者从所述3D视频的所述3D视频帧的右部分提取所述2D视频帧。
12.根据权利要求10的方法,进一步包括:响应于所述3D格式类型被识别为上下格式,从所述3D视频的3D视频帧的上部分提取所述2D视频帧或者从所述3D视频的3D视频帧的下部分提取所述2D视频帧。
13.根据权利要求2的方法,进一步包括:响应于所述3D格式类型被识别为交替格式,提取所述3D视频的一系列连续3D视频帧的奇数3D视频帧作为所述2D视频帧或者提取所述3D视频的一系列连续3D视频帧的偶数3D视频帧作为所述2D视频帧。
14.根据权利要求9的方法,进一步包括基于与所述3D视频相关联的视频请求来确定与所述设备相关联的显示设备类型。
15.根据权利要求9的方法,进一步包括基于包括在与所述3D视频相关联的视频请求中的信息来推断与所述设备相关联的显示设备类型。
16.根据权利要求9的方法,进一步包括对所述设备查询与和所述设备相关联的显示设备类型相关的信息。
17.一种其上存储有指令的非瞬时计算机可读介质,所述指令响应于执行而使得至少一个设备执行以下操作:
识别3D视频的3D格式类型;
基于所识别的3D格式类型从所述3D视频提取对应于3D视频帧的2D视频帧;
从所提取的2D视频帧生成2D视频;
识别与设备相关联的显示设备类型;以及
按照所识别的显示设备类型而将所述2D视频或所述3D视频递送至所述设备。
18.根据权利要求17的非瞬时计算机可读介质,所述操作进一步包括识别所述3D格式类型是否为并排格式、上下格式或交替格式中的至少一个。
19.根据权利要求18的非瞬时计算机可读介质,所述操作进一步包括:响应于所述3D格式类型被识别为并排格式,从所述3D视频的3D视频帧的左部分提取所述2D视频帧或者从所述3D视频的3D视频帧的右部分提取所述2D视频帧。
20.根据权利要求18的非瞬时计算机可读介质,所述操作进一步包括:响应于所述3D格式类型被识别为上下格式,从所述3D视频的3D视频帧的上部分提取所述2D视频帧或者从所述3D视频的3D视频帧的下部分提取所述2D视频帧。
21.根据权利要求18的非瞬时计算机可读介质,所述操作进一步包括:响应于所述3D格式类型被识别为交替格式,提取所述3D视频的一系列连续3D视频帧的奇数3D视频帧作为所述2D视频帧或者提取所述3D视频的一系列连续3D视频帧的偶数3D视频帧作为所述2D视频帧。
CN201280050723.1A 2011-08-17 2012-08-16 基于3d视频的格式类型的识别将3d视频转换为2d视频并且基于显示设备类型的识别提供2d或3d视频 Pending CN103875242A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161524667P 2011-08-17 2011-08-17
US61/524,667 2011-08-17
US13/450,413 2012-04-18
US13/450,413 US20130044192A1 (en) 2011-08-17 2012-04-18 Converting 3d video into 2d video based on identification of format type of 3d video and providing either 2d or 3d video based on identification of display device type
PCT/US2012/051232 WO2013025949A2 (en) 2011-08-17 2012-08-16 Converting 3d video into 2d video based on identification of format type of 3d video and providing either 2d or 3d video based on identification of display device type

Publications (1)

Publication Number Publication Date
CN103875242A true CN103875242A (zh) 2014-06-18

Family

ID=47712373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280050723.1A Pending CN103875242A (zh) 2011-08-17 2012-08-16 基于3d视频的格式类型的识别将3d视频转换为2d视频并且基于显示设备类型的识别提供2d或3d视频

Country Status (5)

Country Link
US (1) US20130044192A1 (zh)
EP (1) EP2745508A4 (zh)
KR (1) KR20140050107A (zh)
CN (1) CN103875242A (zh)
WO (1) WO2013025949A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872515A (zh) * 2015-01-23 2016-08-17 上海乐相科技有限公司 一种视频播放控制方法及装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102474632A (zh) * 2009-12-08 2012-05-23 美国博通公司 处理多个3-d视频格式的方法和系统
US9491432B2 (en) * 2010-01-27 2016-11-08 Mediatek Inc. Video processing apparatus for generating video output satisfying display capability of display device according to video input and related method thereof
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
WO2013023345A1 (en) * 2011-08-12 2013-02-21 Motorola Mobility, Inc. Method and apparatus for coding and transmitting 3d video sequences in a wireless communication system
JP5817639B2 (ja) * 2012-05-15 2015-11-18 ソニー株式会社 映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置
CN102740158B (zh) * 2012-07-04 2013-06-19 合一网络技术(北京)有限公司 一种供用户上传3d视频到视频网站的系统和方法
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
CN103905625A (zh) * 2012-12-28 2014-07-02 腾讯科技(深圳)有限公司 一种于移动终端间发送电子名片的方法及装置
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
CN103702193A (zh) * 2013-12-23 2014-04-02 乐视致新电子科技(天津)有限公司 标识、识别智能电视类型的方法及装置
EP2963924B1 (en) * 2014-07-01 2017-05-24 Advanced Digital Broadcast S.A. A method and a system for determining a video frame type
KR102321364B1 (ko) * 2015-03-05 2021-11-03 삼성전자주식회사 3차원 배경 콘텐트를 합성하는 방법 및 디바이스
US9609307B1 (en) * 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
CN105323595B (zh) * 2015-10-28 2018-09-25 北京小鸟看看科技有限公司 基于网络的视频类型识别方法、客户端及服务器
KR102335060B1 (ko) 2015-11-09 2021-12-03 에스케이텔레콤 주식회사 증강 현실 제공 방법
CN105791799B (zh) * 2016-03-10 2018-04-10 新港海岸(北京)科技有限公司 一种电视机工作模式的转换方法和装置
KR102438743B1 (ko) * 2022-03-02 2022-08-31 인하대학교 산학협력단 클라우드 서비스용 3d 매뉴얼을 2d 인터랙티브 비디오로 변환하는 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1882106A (zh) * 2005-06-14 2006-12-20 三星电子株式会社 转换图像显示模式的设备和方法
CN101662677A (zh) * 2008-08-29 2010-03-03 深圳华为通信技术有限公司 码流转换系统及方法、码流识别单元和方案确定单元
US20100091091A1 (en) * 2008-10-10 2010-04-15 Samsung Electronics Co., Ltd. Broadcast display apparatus and method for displaying two-dimensional image thereof
WO2011086977A1 (ja) * 2010-01-14 2011-07-21 ソニー株式会社 映像伝送装置、映像表示装置、映像表示システム、映像伝送方法及びコンピュータプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7254265B2 (en) * 2000-04-01 2007-08-07 Newsight Corporation Methods and systems for 2D/3D image conversion and optimization
JPWO2010064448A1 (ja) * 2008-12-05 2012-05-10 パナソニック株式会社 立体映像再生装置、立体映像再生システム、立体映像再生方法、および立体映像再生用半導体装置
ES2563728T3 (es) * 2009-01-20 2016-03-16 Koninklijke Philips N.V. Transferencia de datos de imágenes 3D
US20110298795A1 (en) * 2009-02-18 2011-12-08 Koninklijke Philips Electronics N.V. Transferring of 3d viewer metadata
US20110032331A1 (en) * 2009-08-07 2011-02-10 Xuemin Chen Method and system for 3d video format conversion
CN102474632A (zh) * 2009-12-08 2012-05-23 美国博通公司 处理多个3-d视频格式的方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1882106A (zh) * 2005-06-14 2006-12-20 三星电子株式会社 转换图像显示模式的设备和方法
CN101662677A (zh) * 2008-08-29 2010-03-03 深圳华为通信技术有限公司 码流转换系统及方法、码流识别单元和方案确定单元
US20100091091A1 (en) * 2008-10-10 2010-04-15 Samsung Electronics Co., Ltd. Broadcast display apparatus and method for displaying two-dimensional image thereof
WO2011086977A1 (ja) * 2010-01-14 2011-07-21 ソニー株式会社 映像伝送装置、映像表示装置、映像表示システム、映像伝送方法及びコンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872515A (zh) * 2015-01-23 2016-08-17 上海乐相科技有限公司 一种视频播放控制方法及装置

Also Published As

Publication number Publication date
US20130044192A1 (en) 2013-02-21
EP2745508A2 (en) 2014-06-25
WO2013025949A3 (en) 2013-09-06
KR20140050107A (ko) 2014-04-28
EP2745508A4 (en) 2014-08-13
WO2013025949A2 (en) 2013-02-21

Similar Documents

Publication Publication Date Title
CN103875242A (zh) 基于3d视频的格式类型的识别将3d视频转换为2d视频并且基于显示设备类型的识别提供2d或3d视频
US10659527B2 (en) Opportunistic crowd-based service platform
US10198637B2 (en) Systems and methods for determining video feature descriptors based on convolutional neural networks
US10674187B2 (en) Systems and methods for shared broadcasting
US11349801B2 (en) Systems and methods for providing content
CN109643320A (zh) 用于识别匹配内容的系统和方法
US20140156801A1 (en) Cowatching and connected platforms using a push architecture
US20190379924A1 (en) Intelligent multi-device content distribution based on internet protocol addressing
US20180041552A1 (en) Systems and methods for shared broadcasting
KR20220031894A (ko) 데이터 스트림을 동기화하기 위한 시스템 및 방법
KR101895846B1 (ko) 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화
US9781492B2 (en) Systems and methods for making video discoverable
US20180152737A1 (en) Systems and methods for management of multiple streams in a broadcast
WO2015180688A1 (zh) 媒体处理方法及设备
US20220091873A1 (en) Systems and methods for cross media reporting by fast merging of data sources
CN110754084B (zh) 用于提供内容的系统和方法
CN110719526B (zh) 视频播放方法及装置
CN106331891A (zh) 一种信息交互方法及电子设备
CN113727193A (zh) 多媒体内容的接续处理方法和系统、及存储介质
US20200186580A1 (en) Dynamic rotation of streaming protocols
KR20180131687A (ko) 실시간기반 및 컨텐츠 기반 실시간 공연공유 서비스 제공시스템
US11166080B2 (en) Systems and methods for presenting content
Song et al. The Analysis of the Media Convergence Ecosystem Value Chain based on Broadcast and Communications Media Convergence Technology
KR101411636B1 (ko) 스마트 티비 기반의 상황 인지를 통한 엔스크린 서비스 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US20190200088A1 (en) Systems and methods for presenting content

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140618