CN101106684A - 视频处理设备及方法 - Google Patents
视频处理设备及方法 Download PDFInfo
- Publication number
- CN101106684A CN101106684A CN 200710128029 CN200710128029A CN101106684A CN 101106684 A CN101106684 A CN 101106684A CN 200710128029 CN200710128029 CN 200710128029 CN 200710128029 A CN200710128029 A CN 200710128029A CN 101106684 A CN101106684 A CN 101106684A
- Authority
- CN
- China
- Prior art keywords
- video
- subframe
- metadata
- display
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明涉及一种可移动的存储媒介,它可由第一视频播放器系统和第二视频播放器系统接纳并与其进行交互。所述第一视频播放器系统带有具备第一显示器特征的第一视频显示器,所述第二视频播放器系统带有具备第二显示器特征的第二视频显示器,所述第一显示器特征与所述第二显示器特征不同。所述可移动的存储媒介包括多个存储位置,存储视频数据全帧序列、第一子帧元数据、以及第二子帧元数据。所生成的第一子帧元数据和第二子帧元数据用于处理视频数据全帧,以分别对应第一视频显示器和第二视频显示器。
Description
技术领域
本发明涉及一种视频处理设备,更具体地说,涉及对即将显示在视频播放器上的视频信息的处理。
背景技术
电影和其他视频内容通常使用35mm胶片以16∶9的宽高比进行撷取。在电影进入一级市场时,将该35mm胶片复制并分发给各个电影院,从而将电影卖给电影观众。例如,电影院一般通过使用高流明光束透射35mm胶片来将电影投射在“大屏幕”上,进而供付费观众观看。一旦脱离“大屏幕”,电影通常就进入二级市场,通过销售其中包含电影的影碟或影带(例如VHS影带、DVD、高清(HD)-DVD、蓝光DVD和其他录制媒体)来将电影分发给个人观众。其他用于在二级市场中分发电影的方法,还包括通过互联网下载和通过电视网络提供商广播。
为能通过二级市场进行分发,35mm电影内容将以每胶片帧为单位转换为原始数字视频。要想达到HD的分辨率(resolution),每个胶片帧至少需要1920×1080像素,对于片长为两小时的电影,这种原始数字视频需要大约25GB的存储空间。为避免如此高的存储需求,通常使用编码器对原始数字视频进行编码和压缩,从而大大降低存储需求。编码标准包括例如但不限于运动图象专家组(MPEG)-1、MPEG-2、用于HD的增强型MPEG-2、MPEG-4 AVC、H.261、H.263以及活动图像和电视工程师协会(society of motion picture and televisionengineer,简称SMPTE)VC-1。
为了满足在电话机、个人数字助理(PDA)和其他手持设备上显示电影的要求,通常通过互联网将压缩数字视频数据下载、上传或存储到手持设备上,然后由手持设备对该视频数据进行解压和解码,以便显示在手持设备的视频显示器上,进而展示给用户。然而,这种手持设备的尺寸通常会限制其上的视频显示器(屏幕)的尺寸。例如,手持设备上的小屏幕通常只有2英寸(5.08cm)长(对角线)。相比之下,电视机的屏幕通常为30-60英寸(76.2cm-152.4cm)(对角线测量)或更大。屏幕尺寸的差异对观众所能感觉得到的图象质量有着较大的影响。
例如,常见的传统PDA和高端电话机屏幕具有与人眼相同的宽高比(ratio)。在小屏幕上,人眼往往无法察觉微小细节,例如文本、面部特征和远处的物体。例如,在电影院中,对于包含位于远处的演员和铁路标记的全景场景来说,观众可以轻易地识别演员的面部表情并阅读标记上的文字。在HD电视机屏幕上,观众也有可能做到这一点。但是,在转换到手持设备的小屏幕上时,由于人眼的限制,往往不可能识别其面部特征和文字。
无论屏幕有多大,其分辨率不是受技术限制,就是受人眼的限制。但是,在小屏幕上,这种限制更加明显。例如,常见的传统PDA和高端电话机屏幕的宽高比为4∶3,通常能够显示分辨率为320×240像素的QVGA视频。相比之下,HD电视机屏幕的宽高比通常为16∶9,且能显示分辨率高达1920×1080像素的视频。在转换HD视频以便使其适合像素值小得多的小屏幕的过程中,像素数据将进行合并,且将损失较多视频细节。将小屏幕上的像素值增加到HD电视机的像素值水平能够避免上述转换过程,但是,如上所述,由于人眼自身的限制,视频细节仍会损失。
通常使用视频编码转换和编辑系统将视频从一种格式和分辨率转换到另一种格式和分辨率,以便在特定的屏幕上进行回放。例如,该系统可输入DVD视频,且在进行转换过程之后,输出将在QVGA屏幕上重新播放的视频。转换过程中还可使用交互编辑功能来生成经过编辑和转换后的输出视频。为了能够支持多种不同的屏幕尺寸、分辨率和编码标准,需要生成多种输出视频流或文件。
视频通常是以“大屏幕”格式撷取的,这种格式在供电影院观看时会收到良好的效果。因为视频随后将进行编码转换,所以“大屏幕”格式视频可能不足以支持转换到小屏幕尺寸。在这种情况下,还没有一种转换过程能够生成可供小屏幕显示的合适视频。通过本文的介绍并参考附图,与本发明技术方案相比,现有和传统方法的局限性和缺点对于本领域的技术人员来说将变得更加明显。
发明内容
本发明涉及一种装置和操作方法,在附图说明、具体实施方式和权利要求中进行了详细的描述。
根据本发明的一方面,提供了一种可移动的存储媒介,它可由第一视频播放器系统和第二视频播放器系统接纳并与其进行交互,所述第一视频播放器系统带有具备第一显示器特征的第一视频显示器,所述第二视频播放器系统带有具备第二显示器特征的第二视频显示器,所述第一显示器特征与所述第二显示器特征不同,所述可移动的存储媒介包括:
多个存储位置;
存储在所述多个存储位置的至少第一个存储位置中的视频数据全帧序列;
第一子帧元数据,被生成以适应至少第一显示器特征,它存储在所述多个存储位置的至少第二个存储位置中;
所述第一子帧元数据定义了所述视频数据全帧序列中的第一多个子帧,所述第一多个子帧中的每一个都具有与所述视频数据全帧序列中的所述第一多个子帧之外的其它子帧不同的至少第一参数;
第二子帧元数据,被生成以适应至少第二显示器特征,它存储在所述多个存储位置的至少第三个存储位置中;且
所述第二子帧元数据定义了所述视频数据全帧序列中的第二多个子帧,所述第二多个子帧中的每一个都有具与所述视频数据全帧序列中的所述第二多个子帧之外的其它子帧不同的至少第二参数。
优选地,所述第一视频播放器系统可读取和使用所述第一子帧元数据,从而为所述第一显示器剪裁视频数据全帧序列;且
所述第二视频播放器系统可读取和使用所述第二子帧元数据,从而为所述第二显示器剪裁视频数据全帧序列。
优选地,所述第一参数包括所述视频数据全帧序列中的子帧中心点。
优选地,所述第一视频播放器系统包括电视,所述第二视频播放器系统包括计算机。
优选地,所述第一视频显示器包括手持设备的显示器。
优选地,所述存储媒介包括视频光碟。
优选地,所述存储媒介包括随机存取存储器。
优选地,所述存储媒介包括只读存储器。
优选地,所述可移动的存储媒介还包括位于所述多个存储位置的第四个存储位置中的数字权限管理数据,所述数字权限管理数据与所述视频数据全帧序列相关。
优选地,所述可移动的存储媒介还包括位于所述多个存储位置的第四个存储位置中的数字权限管理数据,所述数字权限管理数据与所述第一子帧元数据相关。
优选地,所述可移动存储媒介还包括:
与所述视频数据全帧序列对应的音频数据;
与所述第一多个子帧对应的第一子帧音频数据;以及
与所述第二多个子帧对应的第二子帧音频数据。
优选地,所述第一显示器特征包括第一图像分辨率,所述第二显示器特征包括第二图像分辨率。
优选地,所述第一显示器特征包括第一对角线尺寸,所述第二显示器特征包括第二对角线尺寸,且所述第一对角线尺寸远大于所述第二对角线尺寸。
优选地,所述视频数据全帧序列包括已编码的视频数据全帧序列。
根据本发明的一个方面,提供了一种视频播放器电路,包括:
接纳可移动媒介的媒介接口,所述可移动媒介上存储有全帧视频和多个子帧元数据;
接口电路,可与具有至少一个显示器特征的显示器通信连接;
处理电路,基于所述至少一个显示器特征,从所述多个子帧元数据中选择第一子帧元数据;
所述处理电路使用所述第一子帧元数据、根据所述全帧视频生成剪裁视频;且
所述处理电路通过所述接口电路发送所述剪裁视频。
优选地,作为生成所述剪裁视频的一部分,所述处理电路依照补充信息执行后处理。
优选地,所述视频播放器电路和所述显示器设置在单个壳体中。
优选地,所述视频播放器电路设置在第一壳体中,所述显示器设置在第二壳体中。
优选地,所述视频播放器电路还包括用来解码所述全帧视频的解码器电路。
优选地,所述全帧视频具有第一分辨率,所述剪裁视频具有低于所述第一分辨率的第二分辨率。
优选地,所述全帧视频具有第一宽高比,所述剪裁视频具有与所述第一宽高比不同的第二宽高比。
优选地,至少一部分所述处理电路包括依据节目代码执行基本功能的通用处理电路。
根据本发明的一个方面,提供了一种与可移动的存储媒介相关的方法,所述方法包括:
存储表示全屏视频序列的第一数据;
存储表示第一子帧元数据的第二数据,所述第二数据用于根据所述第一数据生成第一剪裁视频,所述第一子帧元数据定义了所述全屏视频序列中的第一子帧和所述全屏视频序列中的第二子帧,所述第一子帧具有与所述第二子帧不同的至少一个特征;以及
存储表示第二子帧元数据的第三数据,所述第三数据用于根据所述第一数据产生第二剪裁视频。
优选地,所述方法还包括分发所述可移动存储媒介。
优选地,所述第一数据是经过编码的。
优选地,所述方法还包括将所述可移动存储媒介连接到视频播放器系统。
优选地,所述方法还包括存储与数字权限管理相关的第四数据。
通过下面参考附图对本发明进行的具体描述,本发明的多个方面和优点将变得更加清晰。
附图说明
图1是根据本发明实施例构建的多个视频播放器系统和存储媒介的系统示意图;
图2是根据本发明实施例构建的视频播放器系统、存储媒介、以及多个分发服务器的框图;
图3是根据本发明实施例的通信架构的系统框图,其中包括多个视频播放器系统、多个分发服务器以及附加的服务器;
图4是根据本发明实施例构建的视频撷取/子帧元数据生成系统的系统示意图;
图5是典型初始视频帧和对应子帧的示意图;
图6是视频处理系统显示器的实施例的示意图,其中提供了包含用于创建子帧的视频编辑工具的图形用户接口;
图7是典型初始视频帧和对应子帧的示意图;
图8是子帧序列的典型子帧元数据的图表;
图9A是包括子帧编辑信息的典型子帧元数据的图表;
图9B是根据本发明实施例构建的可移动的存储媒介的框图;
图10是根据本发明实施例构建的视频播放器系统的框图;
图11是根据本发明实施例构建的视频播放器系统的框图;
图12是根据本发明的分布式视频播放器系统的第一实施例的示意框图;
图13是根据本发明的分布式视频播放器系统的第二实施例的示意框图;
图14是根据本发明的分布式视频播放器系统的第三实施例的示意框图;
图15是根据本发明的分布式视频播放器系统的第四实施例的示意框图;
图16是根据本发明,用于在分布式视频播放器系统中传输视频数据、元数据和其它信息的技术的系统示意图;
图17是根据本发明实施例的视频处理和重播过程的流程图;以及
图18是根据本发明实施例的与可移动的存储媒介相关的方法流程图。
具体实施方式
图1是根据本发明实施例构建的多个视频播放器系统和存储媒介的系统示意图。根据本发明构建的存储媒介10可以是CD ROM、DVD ROM、电RAM、磁RAM、ROM或者其它类型的存储设备,它们可存储数据并可被数字计算机使用。存储媒介10可支持任何现有的或将来的视频格式,例如高清DVD格式、DVD格式、磁带格式、蓝光DVD格式、RAM格式、ROM格式、或者可存储数据的其它格式。存储媒介10为便携式,如在此将进一步描述的,可通信地连接到数字计算机上。可使用有线链路、无线链路、媒介驱动器或者其他附加的技术,使得数字计算机可从存储媒介10中读取(或写入)数据。
存储媒介10存储视频11、子帧元数据15、数字权限管理(DRM)/计费数据19、原始音频数据102、以及音频元数据104。存储媒介10的结构和内容将参照图9B做进一步描述。视频11包括编码源视频12、原始源视频14、已改变宽高比/分辨率的视频13、以及经子帧处理后的视频17。子帧元数据15包括相似显示器元数据16和目标显示器元数据18。视频播放器系统26、28、20或34使用子帧元数据15来处理视频数据11。创建和处理子帧元数据的方式将会参照图4-18做进一步描述。
通常,视频播放器20、26、28或34中的任意一个用于接纳对应的媒介驱动器中的存储媒介,或者通过对应的通信链路来接纳存储媒介。视频播放器系统20、26、28或34中的每一个都支持一个或多个具有各自视频显示器特征的视频显示器。由于编码源视频12和/或原始源视频14具有对应的宽高比、分辨率以及可能与目标视频显示器不相对应的其它视频特征,视频播放器系统20、26、28或34可使用子帧元数据15来处理视频数据11。视频播放器系统20、26、28或34使用子帧元数据15处理视频数据11,从而生成具有与目标显示器相对应的特征的视频数据。视频播放器系统20、26、28或34使用子帧元数据15对视频数据11进行子帧处理的方法将参照图7和图9-18做进一步描述。
存储在存储媒介10上的视频数据11包括一个或多个媒介节目的多种格式,例如,电视节目、电影、MPEG摘录等。编码源视频12可对应原始源视频14,但是是编码后的格式。选择性地,编码源视频12可以是与原始源视频14不同的节目。已改变宽高比/分辨率的视频13可对应与原始源视频14相同的节目,不过具有与原始源视频14不同的宽高比、分辨率等。此外,视频数据11可包括之前使用子帧元数据进行处理过的经子帧处理后的视频1 7。该经子帧处理后的视频17对应一类显示器,这一类显示器中的其中一个对应图1示出的一个显示器。经子帧处理后的视频17具有适合于图1所示的一个视频显示器的宽高比和分辨率。
子帧元数据15包括对应图1所示的一个或多个显示器的相似显示器元数据16。通常,当相似显示器元数据16用于处理原始源视频14时,会产生对应于与相似显示器元数据16相对应的特定类型显示器的视频数据。图1中的视频播放器系统20、26、28或34中的任一个都可基于相似显示器元数据16来处理视频数据11。
子帧元数据15的目标显示器元数据18可用于处理编码源视频12、原始源视频14、改变宽高比/分辨率后的视频、或者子帧处理视频17,进而产生专用于目标视频显示器的视频数据。例如,视频播放器34可基于目标显示器元数据18来处理编码源视频12,以生成直接对应于视频播放器系统34的视频显示器的视频。该处理产生的视频数据具有与视频播放器34的视频显示器完全或充分对应的宽高比、分辨率、以及其它视频特征。
可移动的存储媒介10的DRM/计费数据19用于确保视频播放器系统,例如,视频播放器系统20,有权限观看/使用视频数据11和/或使用子帧元数据15。如将会参照图2和3进一步描述的,通过对应的视频播放器,例如视频播放器26,使用DRM/计费数据19,视频播放器26可以与DRM/计费服务器224交互,以首先确定视频播放器系统26是否有权限使用视频数据11和/或子帧元数据15。其次,视频播放器26使用DRM/计费数据19,可与DRM/计费服务器224合作以进一步实施计费操作,以确保用户为使用存储媒介10中所包含的数据付费。
存储媒介10的原始音频数据102对应视频数据11。原始音频数据102以音频格式存储,可被视频播放器系统20、26、28和34中的任一个使用。例如,原始音频数据10可存储为数字格式,视频播放器系统20、26、28和34中的任一个都可使用,为用户产生环绕声。选择性地,原始音频数据102可包括多种格式,视频播放器系统20、26、28和34可基于音频重播特征选择其中的一种。
视频播放器系统20、26、28和34使用音频元数据104来处理原始音频数据102,这与使用子帧元数据15对视频数据11进行子帧处理相一致。如将会进一步描述的一样,子帧处理操作改变视频数据11的视频帧序列。为了确保呈现给用户的音频轨道对应于所处理的视频,视频播放器系统20、26、28或34使用音频元数据104来产生对应于所处理视频的音频。音频元数据104一般对应于子帧元数据15。
如图所示,本发明的视频播放器系统20、26、28和34可包含在单个设备中或分布在多个设备中。本发明的视频播放器系统包含在单个设备中的方式如视频播放器26和34所示。本发明的视频播放器系统分布在多个设备中的方式如视频播放器系统20和28所示。视频播放器系统20包括视频播放器22和视频显示器设备24。视频播放器系统28包括视频播放器32和视频显示器设备30。
图1所示的视频播放器系统通常包含三种功能。第一种功能是多模式视频电路和应用(MC&A)功能。MC&A功能可工作在第一模式和/或第二模式下。当MC&A功能工作在第一模式下时,例如视频显示设备30通过通信链路(将会参照图2做进一步描述)或者从诸如DVD等媒介中接收源视频11和元数据15。当MC&A功能工作在第一模式下时,视频显示设备30在处理和播放操作过程中同时使用源视频11和元数据15,以此来显示视频。
视频显示设备30收到的源视频11可以是编码源视频12或者原始源视频14。元数据15可以是相似显示器元数据16或目标显示器元数据18。通常,编码源视频12和原始源视频14包含相似的内容,区别在于前者进行了编码,而后者未进行编码。通常,源视频11包含由视频摄像机撷取的视频数据的全帧序列。元数据15是附加信息,用于进行视频处理操作以修改视频数据的全帧序列,进而生成在目标视频播放器的目标视频显示器上播放的视频。生成元数据15的方式及其与源视频11的关系将参照图4-9A做进一步描述。
在MC&A第一模式操作中,视频显示设备30结合使用源视频11和元数据15生成用于其视频显示器的输出。通常,相似显示器元数据16具有专门为一类或一组目标视频播放器而剪裁(tailored)的属性。该类或该组中的目标视频播放器具有近似的屏幕分辨率、近似的宽高比或其他相似的特征,这些特征非常适合于调整源视频以生成可在该类视频播放器的视频显示器上显示的调整后源视频。可选地,目标显示器元数据18包含专门应用于某一品牌(make)/某一型号/某一种视频播放器的信息。当视频播放器,例如视频显示设备30,使用目标显示器元数据18来调整源视频11,则调整后视频是专门为视频显示设备30的视频显示器而剪裁的。
当本发明视频播放器系统的MC&A功能处于第二操作模式时,视频显示设备30接收并显示先前已由另一视频播放器32使用元数据15进行处理后的视频(编码视频或原始视频)。例如,在视频播放器系统28中,视频播放器32先前已经使用元数据15对源视频11进行处理,并生成传送至视频显示设备30的输出视频。通过MC&A功能的第二操作模式,视频显示设备30接收用于显示的视频播放器32的输出,并将这种输出显示在视频显示器上。视频显示设备30的MC&A功能还可进一步调整从视频播放器32接收到的视频数据。
图1中一个或多个视频播放器系统26和/或34所加载的另一功能包括集成视频电路和应用功能(IC&A)。图1中的视频播放器系统26和34的IC&A功能接收源视频11和元数据15,并对它们进行处理,以生成视频输出,进而在如视频播放器34等对应视频播放器上显示。视频播放器系统26和34中的每一个均通过各自的通信链路接收源视频11和元数据15,且其各自的IC&A功能对源视频11和元数据15进行处理以生成视频,进而在对应视频播放器系统26和34的视频显示器上显示。
根据图1的另一方面,视频播放器系统还可包括分布式视频电路和应用(DC&A)功能。视频播放器32的DC&A功能接收源视频11和元数据15,并结合元数据1 5对源视频11进行处理,以生成子帧视频数据。视频播放器22和32的DC&A功能将其各自的输出分别传送至对应的视频显示设备24和30。对应的视频播放器24和30使用其各自的功能对收到的视频输入进行调整,然后将视频显示在其各自的显示器上。
根据图1中视频播放器系统的具体实现方式和特定操作,它们的功能可分布在多个设备上,例如,对于视频播放器系统20而言,视频播放器22和视频显示设备24均具备DC&A功能。该分布式DC&A功能可配置在多种操作中,以便共同承担可由二者之一或者二者共同执行的处理任务。此外,对于视频播放器系统28而言,根据其当前的特定配置,视频播放器32和视频显示设备30可共享随时间变化的处理功能。
图2是根据本发明的实施例构建的视频播放器系统、存储媒介、以及多个分发服务器的框图。图2所示的视频播放器系统202包括可由硬件、软件或硬软件的结合来共同实现的功能部件。视频播放器系统202包括目标显示器204、解码器206、元数据处理电路208、目标显示器剪裁电路210、数字权限电路214和计费电路216。视频播放器系统202提取源视频11,该院视频中可同时包含编码源视频12和原始源视频14,或者只包含二者之一。视频播放器系统202还接收元数据15,其中包括一个或多个相似显示器元数据15和目标显示器元数据18。通常,视频播放器系统202的目标显示器204显示由元数据处理电路46或目标显示器剪裁电路48生成的输出。
图2中的存储媒介10与图1中的存储媒介相同,可由对应媒介设备中的视频播放器系统202接纳,和/或通过一个或多个通信链路可通信地连接到视频播放器系统202。视频播放器系统202的媒介驱动可位于视频播放器系统202内部。选择性地,媒介驱动可以是外部媒介驱动,通过通信链路与视频播放器系统202通信。存储媒介10可以仅是带有连接到视频播放器系统202的通用串行总线(USB)通信接口的存储设备。此外,视频播放器系统202可通过无线接口访问存储媒介10。在任何情况下,视频播放器系统202可用于存取存储媒介10中的视频11、子帧元数据15、DRM/计费数据19、原始音频数据102、以及和音频元数据104中的任何一个。
解码器206用于接收编码源视频12并对其进行解码,以生成视频数据全帧序列。元数据处理电路208用于从解码器206接收视频数据全帧序列。作为选择,元数据处理电路208还可直接接收原始源视频14形式的视频数据全帧序列。在每种情况下,元数据处理电路208都可根据元数据15(或者是相似显示器元数据16或者是目标显示器元数据18)来处理视频数据全帧序列。通常,根据元数据15,元数据处理电路208可从全帧序列和视频数据中生成多个视频数据子帧序列。在一项操作中,上述多个视频数据子帧序列中的第一序列与第二序列相比,在视频数据全帧序列中具有不同的中心点。这些构思将参考图5-图9进行详细的描述。
视频播放器系统可通信地连接到视频分发服务器218、元数据分发服务器220、组合元数据和视频分发服务器222、以及DRM/计费服务器224。对服务器218、220、222和224的结构和操作的描述,将进一步参照名称为“SUB-FRAMEMETADATA DISTRIBUTION SERVER”、与该申请同一天提交的悬而未决的专利申请,。
通常,视频播放器系统202从存储媒介10中访问视频11和/或子帧数据15。但是基于它与存储媒介10的交互,视频播放器系统202可确定在服务器218、220或222可得到更适于视频播放器系统202的目标显示器204的更好版本。在这种操作的一个特定实例中,基于从存储媒介10提取的信息,视频播放器系统202可访问视频分发服务器218,以接收与目标显示器204完全对应的经子帧处理后的视频。此外,在另一个操作中,基于与存储器媒介10的交互以及对其中所存储数据的访问,视频播放器系统202可确定可从元数据分发服务器220中得到与目标显示器204对应的目标显示器元数据。由于视频播放器系统202基于存储媒介10的DRM/计费数据19执行DRM/计费操作,视频播放器系统202访问元数据分发服务器220,以从中接收目标显示器元数据。可与组合元数据和视频分发服务器222一起执行类似的操作。视频播放器202可基于从存储媒介10读取的DRM/计费数据19,与DRM/计费服务器224协同执行DRM/计费操作。
目标显示器剪裁电路210可依照补充信息(例如,目标显示器参数212)执行后处理操作,以修改多个视频数据子帧序列,从而产生输出。然后,在目标显示器42上显示目标显示器剪裁电路210的输出。当目标显示器剪裁电路210不用于执行多个视频数据子帧序列的后处理时,元数据处理208的输出被直接提供给目标显示器42。
视频播放器系统202的数字权限电路214用于判断视频播放器系统202是否有权限使用/修改源视频11和/或元数据15,和/或以此来生成在目标显示器42上显示的视频。数字权限电路214可与远端服务器或其它通信系统交互,以此确定是否存在这种数字权限。然而,数字权限电路214还可简单的查看源视频11和/或元数据15的一部分,来判断视频播放器系统202是否有权对这些数据进行操作。视频播放器系统202的计费电路216用于在本地或远端生成计费记录,以此来对源视频11和/或元数据15的使用情况进行计费。计费电路216还可与远端服务器共同生成计费记录。
图3是根据本发明实施例的通信架构的系统框图,所述通信架构包括多个视频播放器系统、多个分发服务器、以及附加的服务器。通常,源视频11和元数据15通过通信链路/网络304或存储媒介10传送到视频播放器系统308、310、320和314。通信链路/网络304可包括互联网、局域网(LAN)、无线路局域(WLAN)、广域网(WAN)、电话网、线缆网、卫星通信网络、全球微波接入互通(WiMAX)网络和/或其他有线和/或无线通信链路中的一个或多个。
若源视频11和/或元数据15是包含在存储媒介10中的,对应的视频播放器系统308、310、312或314便从媒介驱动器中接收存储媒介10,并使用媒介驱动器来读取媒介10。如图所示,上文参考图1描述的多种电路和应用功能DC&A、MC&A和IC&A由视频播放器系统308、310、312和314来实现。正如将要通过下文参考图10-图16所描述的那样,这些电路/应用的功能可分布在多个设备上。
视频播放器系统308、310、312或314中的任一个都可从存储媒介10中接收所有要求的视频数据和子帧元数据15。选择性地,只有一部分所要求的视频数据和/或元数据可从存储媒介10接收得到。在这种情况下,视频播放器系统,例如视频播放器系统308可访问任何元数据分发服务器220、视频分发服务器218和/或组合元数据和视频分发服务器222,以接收那些无法从存储媒介10得到的视频数据或元数据。但是,使用这些操作,视频播放器308可首先访问存储媒介10,然后确定访问服务器218、220或222中的一个,以获取不能从存储媒介10得到的视频数据或元数据。视频播放器308与DRM/计费服务器224交互,以确定它不仅访问存储器媒介10以进行重播,还可访问服务器218、220或222中的任何一个。
当视频播放器系统不为组合视频显示器服务时,视频播放器系统,例如308,可访问播放器信息服务器316,以获取与它所服务的视频显示器309相关的附加信息。基于对播放器信息服务器316的访问,基于所服务的视频显示器309的品牌/型号或者序列号,视频播放器系统308接收目标显示器信息,它可在其子帧元数据处理操作和/或视频数据剪裁操作中使用。所有这些操作将会参照图4-18做进一步描述。
图4是根据本发明一实施例构造的视频撷取/子帧元数据生成系统的结构示意图。图4中的视频撷取/子帧元数据生成(SMG)系统100包括摄像机110和SMG系统120。视频摄像机110撷取与场景102有关的视频数据的原始全帧序列。视频摄像机110还可通过麦克风111a和111b来获取音频。视频摄像机110可将视频数据的全帧发往控制台140或运行SMG系统120。视频摄像机110或控制台140的SMG系统120通过用户输入设备121或123从用户处接收输入。根据用户的输入,SMG系统120在视频显示器上显示一个或多个子帧,该视频显示器上同样显示视频数据的全帧序列。根据从用户输入和其他信息创建的子帧,SMG系统120创建元数据15。视频撷取/子帧元数据生成系统100的视频数据输出是一个或多个编码源视频12或原始源视频14。视频撷取/子帧元数据生成系统100还输出元数据15,该元数据可以是相似显示元数据16和/或目标显示元数据18。视频撷取/子帧元数据生成系统100还可输出目标显示信息20。
摄像机110撷取的原始视频帧序列为场景102。场景102可以是摄像机110撷取的任一种场景。例如,场景102可以是有很多细节的相对较大撷取区域的风景。此外,场景102还可以是互相对话的演员的头部照。另外,场景102还可以是狗追球的动作画面。在撷取原始视频帧的过程中,场景102的类型通常会随时间发生变化。
在现有的视频撷取系统中,用户操作摄像机110来撷取场景102的原始视频帧,这些帧进行了优化,以适应“大屏幕”格式。在本发明中,这些原始视频帧随后才会进行转换,以便最终由配有各自的视频显示器的目标视频播放器显示出来。因为子帧元数据生成系统120会随时间撷取不同类型的场景,对所撷取的视频进行转换以生成用于在目标视频播放器上观看的子帧的方式也会随时间发生变化。“大屏幕”格式并不总是能够很好的转换为小屏幕类型上。因此,本发明的子帧元数据生成系统120支持这样一种原始视频帧撷取方式,即在转换到较小格式时,这种方式可以提供高质量的视频子帧,以供显示在目标视频播放器的一个或多个视频显示器上。
编码源视频12可使用基于离散余弦变换(DCT)的编码/压缩格式(例如MPEG-1、MPEG-2、用于HD的增强型MPEG-2、MPEG-4 AVC、H.261和H.263)中的一种或几种来编码,使用运动向量来从相邻帧或场(field)构建基于帧或场的预测,这是通过通常存在的帧间或场间的运动来实现的。例如,在使用MPEG编码标准时,原始视频帧序列将被编码为由三种不同类型的帧组成的序列:“I”帧、“B”帧和“P”帧。“I”帧是帧内编码的,“P”帧和“B”帧是帧间编码的。因此,“I”帧是独立的,也就是说它们无需参考其他帧即可进行重建,而“P”帧和“B”帧是相关的,也就是说,它们需要依靠其他帧来进行重建。具体来说,P帧是从上一I帧或P帧向前预测的,B帧是同时从上一/下一I帧或P帧向前预测和向后预测的。IPB帧序列将使用DCT进行压缩,将“I”、“P”或“B”帧中的N×N(N通常设置为8)像素数据块转换到DCT域,以便更容易进行量化。随后对量化后的比特流应用游程编码和熵编码,生成压缩比特流,与原始的未压缩视频数据相比,压缩比特流的比特率明显降低。
图5是典型原始视频帧和对应子帧的结构示意图。如图所示,视频显示器400包含一个可视区域,其中显示了代表图4中场景102的原始视频帧序列。根据图5所示的实施例,SMG系统120还用于响应代表用户输入的其他信号,除子帧402以外,在视频显示器400上还显示与原始视频帧序列相关联的其他子帧404和406。这些子帧402中的每一个都具有与多个目标视频显示器其中之一相对应的宽高比和尺寸。此外,SMG系统120生成与每一个子帧402、404和406相关的元数据15。子帧元数据生成系统120所生成的与多个子帧402、404和406相关的元数据15使得对应的目标视频显示器在其视频显示器上生成对应的显示场景。在图5所示的实施例中,SMG系统120包括单个视频显示器400,每个子帧402、404和406正是通过该显示器显示出来的。在另一实施例中,视频处理系统生成的多个子帧中的每一个将独立地显示在对应的目标视频播放器上。
在图5所示的实施例中,在子帧组中至少有两个子帧404和406与原始视频帧序列中的一个帧相对应。因此,例如,在特定的目标视频播放器中,子帧404和406以及其中包含的相关视频信息将会在不同的时间显示在单个目标视频播放器上。在图5所示的实施例中,目标视频播放器所显示视频的第一部分展示的是子帧404中包含的狗追球的场景,而目标视频播放器所显示视频的第二部分展示的是子帧406中描述的反弹球的场景。因此,在本实施例中,目标视频播放器中在时间上相邻的视频序列是由单个原始视频帧序列生成的。
此外,在图5所示的实施例中,在子帧组中至少有两个子帧包含空间位置随原始视频帧序列变化的物体。在这种帧中,显示狗的子帧404的空间位置会随与显示反弹球的子帧406有关的原始视频帧序列变化。此外,在图5所示的实施例中,在子帧组中的两个子帧可对应于原始视频帧序列中的至少两个不同的帧。在该实施例中,子帧404和406会对应显示在视频显示器400上的原始视频帧序列中的不同帧。在该实施例中,在第一时间段,选择子帧404以便在一段时间内显示狗的图象。此外,在该实施例中,子帧406对应不同的时间段,用于显示反弹球。在该实施例中,子帧组404和406中的至少一部分对应由原始视频帧序列所描述场景的一个子场景。所描述的序列可在整个显示器400上显示,也可在子帧402中显示。
图6是包含用于创建子帧的视频编辑工具的图形用户接口(GUI)的视频处理系统显示器一实施例的示意图。视频处理显示器502上显示的是当前帧504及其子帧506。子帧506包括由用户指定的感兴趣区域内的视频数据。一旦指定了子帧506,用户便可使用通过GUI 508提供给用户的一种或多种视频编辑工具来编辑子帧506。例如,如图6所示,通过点击或选择GUI 508中的一种编辑工具,用户可对子帧506应用滤光镜、色彩修正、叠加或其他编辑工具。此外,GUI 508还可使得用户在原始帧和/或子帧之间移动,以便观看和比较原始子帧序列和子帧序列。
图7是典型原始视频帧和对应子帧的示意图。在图7中,第一场景602由原始视频帧606的第一序列604描述,第二场景608由原始视频帧606的第二序列610描述。因此,每个场景602和608包含原始视频帧606的各自序列604和610,通过顺序的显示原始视频帧606的各序列604和610中的每个原始视频帧606来观看。
但是,要想在小视频显示器上显示每个场景602和608,而又不会降低观众所能感觉得到的视频质量,每个场景602和608可分割为分开显示的子场景。例如,如图7所示,在第一场景602中,存在两个子场景612和614,在第二场景608中,存在一个子场景616。如同每个场景602和608可以通过顺序显示原始视频帧606的各自序列604和610来观看一样,每个子场景612、614和616也可通过显示各自的子帧618(618a、618b和618c)序列来观看。
例如,来看原始视频帧第一序列604中的第一帧606a,用户可指定两个子帧618a和618b,每一个子帧包含代表不同子场景612和614的视频数据。假设子场景612和614连续贯穿于原始视频帧的606第一序列604之中,用户可进一步在原始视频帧606的第一序列604中随后的每个原始视频帧606a中为每个子场景612和614分别指定两个子帧618a和618b。这样便得到子帧618a第一序列620,其中包含的每个子帧618a都包含代表子场景612的视频内容;还可得到子帧618b第二序列630,其中包含的每个子帧618b都包含代表子场景614的视频内容。子帧618a和618b的各序列620和630可顺序显示。例如,按顺序显示对应于第一子场景612的每个子帧618a,然后顺序显示对应于第二子场景614的每个子帧618b。通过这种方式,电影仍能保持场景602的逻辑流,并且能让观众看到场景602的细微细节。
同理,来看原始视频帧606第二序列610中的第一帧606b,用户可指定对应子场景616的子帧618c。再次假设子场景616连续贯穿于原始视频帧606第二序列610,用户可进一步在原始视频帧606第二序列610中的后续每个原始视频帧606中指定包含子场景616的子帧618c。这样便得到子帧618c序列640,其中的每个子帧618c都包含代表子场景616的视频内容。
图8是子帧序列的典型子帧元数据的示意图。图8中展示的子帧元数据150中包含的是顺序元数据(sequencing metadata)700,用于指示子帧的顺序(也就是显示顺序)。例如,顺序元数据700可标识子场景序列和各子场景的子帧序列。使用图8中展示的例子,顺序元数据700可分成子帧元数据150的多个组720,其中每个组720对应特定的子场景。
例如,在第一个组720中,顺序元数据700开始于子帧第一序列(也就是序列620)中的第一子帧(例如子帧618a),其后是第一序列620中的各其他子帧。在图8中,第一序列中的第一子帧被标记为原始视频帧A的子帧A,第一序列中的最后一个子帧被标记为原始视频帧F的子帧F。在第一序列620的最后一个子帧之后,顺序元数据700延续到第二个组720,其开始于子帧第二序列(例如序列630)中的第一子帧(例如子帧618b),结束于第二序列630的最后一个子帧。在图8中,第二序列中的第一子帧被标记为原始视频帧A的子帧G,第二序列中的最后一个子帧被标记为原始视频帧F的子帧L。最后一个组720开始于子帧第三序列(也就是序列640)的第一子帧(例如子帧618c),结束于第三序列640中的最后一个子帧。在图8中,第三序列中的第一子帧被标记为原始视频帧G的子帧M,第三序列中的最后一个子帧被标记为原始视频帧I的子帧P。
每个组720中包含的是该组720中每一个单独子帧的子帧元数据。例如第一个组720包括子帧第一序列620中每个子帧的子帧元数据150。在一个示范性实施例中,子帧元数据150可组成其中包含一定数量的条目710的元数据文本文件。元数据文本文件中的每个条目710包括该特定子帧的子帧元数据150。因此,元数据文本文件中的每个条目710包含标识与该元数据相关联的特定子帧的子帧标识符,并引用原始视频帧序列中的一个帧。
编辑信息包括但不限于,摇摄方向和摇摄率、缩放率、对比度调整、亮度调整、滤光镜参数和视频效果参数。具体来说,与子帧相关联,存在几种类型可以应用的编辑信息,它们与下列内容有关:a)视觉调整,例如亮度、滤光、视频效果、对比度和色彩调整;b)运动信息,例如摇摄、加速、速率、子帧在原始帧序列上的移动方向;c)尺寸调整信息,例如子帧在原始帧序列上的缩放(包括放大、缩小和缩放比例);d)与原始视频数据落入子帧中的那些部分相关联、合并或被其叠加的任何类型的补充媒介(例如叠加的文本或图形或补充的音频)。
图9A是包含子帧编辑信息的典型子帧元数据的示意图。子帧元数据包括元数据(MD)报头802。元数据报头802包括元数据参数、数字权限管理参数和计费管理参数。元数据参数包括与该元数据有关的信息,如创建日期、过期日期、创建者标识、目标视频设备种类、目标视频设备类别、源视频信息和通常与所有元数据有关的其他信息。元数据报头802中的数字权限管理部分包括用于判断子帧元数据是否可用以及将该子帧元数据可用到何种程度的信息。元数据报头802中的计费管理参数包括在元数据开始使用时用于启动计费操作的信息。
子帧元数据包含在子帧文本文件的条目804中。每个子帧的子帧元数据150包括子帧常规信息806,例如分配给该子帧的子帧标识符(SF ID)、与从中提取除该子帧的原始视频帧相关联的信息(OF ID、OF计数、播放偏移量)、子帧位置和尺寸(SF位置、SF尺寸)以及将要显示该子帧的显示器的宽高比(SF比)。此外,如图9所示,特定子帧的子帧信息804可包括用于编辑该子帧的编辑信息806。图9中所示的编辑信息806的例子包括摇摄方向和摇摄率、缩放比例、色彩调整、滤光镜参数、对图像或视频序列的补充以及其他视频效果和相关参数。
图9B是根据本发明的实施例构建的可移动的存储媒介的框图。图9B中的可移动存储媒介950包括视频数据全帧序列952和954。在一个实施例中,存储媒介950存储第一格式的单个视频数据全帧序列952。但是,在其他的实施例中,存储媒介950存储多种格式例如第一格式和第二格式的视频数据全帧序列952和954。存储媒介950还包括音频数据956、第一子帧元数据958、第二子帧元数据960、第一子帧音频数据962、第二子帧音频数据964、以及数字权限管理数据966。
存储媒介950可从媒介驱动器上移除。在这种情况下,存储媒介950可被第一视频播放器系统和第二视频播放器系统接纳并进行交互。如之前参照图1、2和3所描述的,第一视频播放器系统带有具备第一视频显示器特征的第一视频显示器,所述第二视频播放器系统带有具备第二显示器特征的第二视频显示器。如图1、2和3所示的例子,所述第一显示器特征通常与第二显示器特征不同。图9B中的可移动存储媒介950支持这些具有不同特征的视频播放器的不同视频播放器系统。
因此,在图9B的实施例中,存储媒介950包括多个存储位置。视频数据全帧序列952存储在多个存储位置中的至少第一个存储位置中。此外,第一子帧元数据958存储在多个存储位置的至少第二个存储位置中。第一子帧元数据958被生成以适应至少第一视频播放器系统的第一显示器特征。但是第一子帧元数据958也适应多个其它显示器特征。在这种情况下,第一子帧元数据958与目标显示器元数据相比,可以是相似显示器元数据。但是第一子帧元数据958实际上也可以是目标显示器元数据。
第一子帧元数据958定义视频数据全帧序列952中的第一多个子帧。第一多个子帧中的每一个都有与第一多个子帧之外的子帧不同的至少第一参数。第二子帧元数据960存储在多个存储位置的至少第三个存储位置中。第二子帧元数据960被生成以适应至少第二显示器特征,该第二显示器特征与第二视频播放器的第二视频显示器相关。第二子帧元数据被存储在多个存储位置的至少第三个中,被生成以适应至少第二显示器特征。第二子帧元数据960指派了视频数据全帧序列952中的第二多个子帧。第二多个子帧中的每一个都有与其它第二多个子帧之外的子帧不同的至少第二参数。第一子帧元数据958和第二子帧元数据960用于进行子帧处理操作的方式将参照图10-18做进一步描述。
第一子帧元数据958可被第一视频播放器系统获取和使用,从而为第一显示器剪裁视频数据全帧序列952。此外,第二子帧元数据960可被第二视频播放器系统获取和使用,从而为第二显示器剪裁视频数据全帧序列952。考虑到第一和第二多个子帧之间的区别,第一参数包括视频数据全帧序列中的子帧中心点。因此,例如,为第一视频显示器创建的视频数据的中心点与为第二视频显示器创建的视频数据的中心点不同。
第一子帧音频数据962对应第一子帧元数据958。因此,在基于第一子帧元数据958对视频数据全帧序列952进行处理之后,所产生的视频数据子帧序列对应第一子帧音频数据962。选择性地,第一子帧音频数据962可用于处理音频数据956,因此它对应于相应已处理的子帧序列。类似地,第二子帧音频数据964可直接对应已处理的视频数据子帧序列,或可用来处理音频数据956,以产生与视频数据子帧序列相对应的已处理音频数据。
在考虑视频数据第一子帧序列和视频数据第二子帧序列之间的差别时,可考虑第一显示器特征与第二显示器特征之间的差别。例如,第一显示器特征具有第一分辨率,而第二显示器特征具有不同于第一分辨率的第二分辨率。此外,第一显示器特征有第一对角线尺寸,第二显示器特征有第二对角线尺寸。在这种情况下,第一对角线尺寸远大于第二对角线尺寸。在这种情况下,视频数据第一子帧序列和视频数据第二子帧序列可以有不同的特征,该特征分别对应于第一显示器和第二显示器的不同特征。
图10是根据本发明的实施例构建的视频播放器系统的框图。视频播放器系统900包括视频显示器902、本地存储器904、用户输入接口916、通信接口918、显示器接口920、处理电路922、以及接收存储媒介10的媒介驱动器924。在该特定实施例中,视频播放器系统900的视频显示器902和其他部件都位于同一壳体内。但是,在其他实施例中,例如图1中的视频播放器系统20和28,视频播放器系统900为处于不同壳体内的视频显示器924服务。视频显示器924甚至还可以处于不同的位置,通过通信接口连接到视频播放器系统900。若视频显示器924设置在远端,则视频播放器系统900的显示器接口920通过通信链路与视频显示器924通信。
视频播放器系统900通过其媒介驱动器924从存储媒介10中接收视频数据11、子帧元数据15、DRM/计费数据19、原始音频数据102、和/或音频元数据104。选择性地,视频播放器系统900可通过其通信接口918和通信链路/网络304从服务器218、220和222接收视频数据11、子帧元数据15、原始音频数据102和/或音频元数据中的任何一个。此外,视频播放器系统900通过其通信接口918、经通信链路304与DRM/计费服务器224和/或播放器信息服务器316进行交互。
根据本发明的一个方面,媒介接口924接纳可移动存储媒介10。该可移动存储媒介10上存储有全帧视频和多个子帧元数据。显示器接口920可通信地连接到具有至少一个显示器特征的显示器924上。处理电路922基于显示器924的至少一个显示器特征,从存储在存储媒介10上的多个子帧元数据中选择第一子帧元数据。然后处理电路922使用存储在存储媒介10上的第一子帧元数据,从存储在存储媒介10上的全帧视频中生成剪裁视频。然后处理电路通过显示器接口920将剪裁视频发送到视频显示器924。作为生成剪裁视频的一部分,处理电路922依照与视频显示器924对应的补充信息执行后处理。
视频播放器系统900通过其用户输入接口916接收用户输入。处理电路922可以是通用处理器,例如微处理器或数字信号处理器、专用集成电路或能够执行软件指令并处理数据的其他类型的处理电路。本地存储器904包括随机访问存储器、只读存储器、光驱、硬盘驱动器、可移动存储媒介或能够存储指令和数据的其它存储媒介中的一种或几种。本地存储器904存储操作系统906、视频播放器软件908、视频数据910、目标显示器信息912和编码器和/或解码器软件914。视频播放器软件908包括MC&A、IC&A和/或DC&A功能中的一种或几种。
在根据本发明的一项特定操作中,视频播放器系统900接收编码源视频12,生成输出,并发往视频显示器902或924。处理电路922运行视频播放器软件908和编码器软件914,从编码源视频12中生成视频数据全帧序列。视频播放器软件908包括子帧处理器应用,通过处理视频数据全帧序列,根据第一位置和尺寸信息生成视频数据子帧第一序列,根据第二位置和尺寸信息生成视频数据子帧第二序列。第一位置和尺寸信息以及第二位置和尺寸信息一起组成元数据15。在视频播放器系统900的这项特定操作中,显示器接口920传送视频数据子帧第一序列和第二序列,以供在显示器902和924上进行全帧显示。
对原始源视频14也可采用类似的操作。在这些操作中可使用相似显示元数据16和/或目标显示元数据18。在另一项特定操作中,视频播放器系统900处理目标显示信息912,对视频子帧第一序列和第二序列进行剪裁,生成专门供视频显示器902或视频显示器924使用的视频数据。
图11是根据本发明的实施例构建的视频播放器系统的结构示意图。在图11所示的特定结构中,视频播放器系统1100包括解码器1102、元数据处理电路1104、元数据剪裁电路1106、管理电路1108、目标显示器剪裁电路1110、显示器1112和视频存储器1114。解码器1102接收编码源视频12,生成原始视频。作为选择,原始源视频14可直接输入到视频播放器系统1100中。视频存储器1114存储原始视频16。管理电路在其其它功能之外还执行DRM和计费操作。管理电路可与DRM/计费服务器交互,以交换DRM/计费数据1116。
管理电路1108接收目标显示器信息20,该电路在视频播放器系统1100中通信连接到元数据剪裁电路1106、解码器1102、元数据处理电路1104和目标视频剪裁电路1110。元数据剪裁电路1106接收元数据15。根据管理电路1108输入的信息,元数据剪裁电路1106对元数据进行调整,以使其更为适合显示器1112。在这种情况下,元数据剪裁电路1106收到的元数据15可以是图1中描述的相似显示元数据15。目标显示器信息20包括与显示器1112有关的信息。根据目标显示器信息20,管理电路1108向元数据剪裁电路1106输入数据,元数据剪裁电路1106使用该输入数据调整元数据15。
元数据处理电路1104接收原始视频、元数据剪裁电路1106输入的数据和管理电路1108输入的数据。元数据处理电路1104对输入的数据进行处理,生成输出,并发往目标显示器剪裁电路1110。目标显示器剪裁电路1110对从元数据处理电路1104收到的输入进行处理,生成输出,并发往显示器1112。
在视频播放器系统1100的一项特定操作中,解码器电路1102接收编码源视频12,生成视频数据(原始视频)全帧序列。元数据处理电路1104(预处理电路)根据子帧信息(元数据剪裁电路1106的输出),从视频数据(原始视频)全帧序列中生成多个视频数据子帧序列。这些多个视频数据子帧序列包括视频数据子帧第一序列,其在全帧序列中的位置不同于同样在元数据处理电路1104中生成的视频数据子帧第二序列。元数据处理电路1104还将多个视频数据子帧序列中的第一序列与第二序列组合,生成输出,并发往目标显示器剪裁电路1110。
目标显示器剪裁电路1110(后处理电路)对多个视频数据子帧序列进行调整,生成输出。目标显示器剪裁电路1110所进行的调整操作是基于从管理电路1108收到的输入来进行的。目标显示器剪裁电路1110从管理电路1108收到的输入是基于目标显示器信息20的。目标显示器剪裁电路1110生成的输出将被传送到显示器1112以进行后续显示。
根据本发明的一些操作,原始源视频14和/或编码源视频12具有源视频分辨率。该源视频分辨率可称为第一分辨率。但是,元数据处理电路1104生成的多个视频数据子帧序列具有与显示器1112的特性相对应的第二分辨率。在多数情况下,第二分辨率要低于第一分辨率。这种情况通常是由显示器1112的尺寸小于预期用于显示源视频的显示器尺寸造成的。此外,显示器1112的宽高比可能不同于预期用于显示源视频12和14的显示器的宽高比。因此,尽管视频数据12和14的全帧序列具有第一宽高比,而元数据处理电路1104和目标显示器剪裁电路1110生成的输出则具有不同于第一宽高比的第二宽高比。
在视频播放器系统1100的一些实施例中,部件1102到1112可包含在单个壳体中。作为选择,显示器1112还可配置在与部件1102到部件1110分离的壳体中。在其他实施例中,部件1102到部件1112可合并在一起,也可分布在许多不同的设备结构中。这些结构将参考图12-图15进行描述。
图12是根据本发明的分布式视频播放器系统第一实施例的结构示意图。在图12所示的实施例中,显示了由分隔线1202、1204和1206分隔开的视频播放器系统的功能部件(component)。这些分隔线1202、1204和1206将不同处理设备、单个设备中的不同处理组件(element)和/或不同处理操作分隔开。具体来说,分隔线1202将解码器1102和元数据剪裁电路1106与视频播放器电路中的其他部件分隔开。此外,分隔线1204将元数据处理电路1104与目标显示器剪裁电路1110分隔开。另外,分隔线1206将目标显示器剪裁电路1110与显示器1112分隔开。
图12中的部件类似于上文中参考图11所描述的部件,并保留了相同的标号。通过相同的标号和相同的功能配置,解码器1102、元数据处理电路1104、元数据剪裁电路1106、目标显示器剪裁电路1110和显示器1112接收与图11中所述相同或相似的输入,实现或执行相同和/或相似的功能。分隔线1202、1204和1206展示了如何在物理上、逻辑上或者时间上将多种组件1102-1112所执行的功能彼此分隔开。
图13是根据本发明的分布式视频播放器系统第二实施例的结构示意图。与图11和图12中的结构相比,其中集成的解码和元数据处理电路1302既执行解码操作又执行元数据处理操作。集成的解码和元数据处理电路1302接收编码源视频12、原始源视频14和目标显示器元数据18。在具体操作中,集成的解码和元数据处理电路1302可接收任意特定的视频数据全帧序列的编码源视频12和原始源视频14二者其中之一。集成的解码和元数据处理电路/功能1302还接收来自元数据剪裁电路1106的输入。元数据剪裁功能1106接收相似显示器元数据16和目标显示器信息20。元数据剪裁电路1106基于目标显示器信息20调整相似显示器元数据16,生成剪裁后的元数据。元数据剪裁电路1106生成的剪裁后的元数据可结合目标显示器元数据18一起使用,也可替代目标显示元数据18。
目标显示器剪裁电路1110接收集成的解码和元数据处理电路1302的输出,并基于目标显示器信息20进一步调整或剪裁由集成的解码和元数据处理电路1302生成的多个视频数据子帧,生成输出并发往显示器1112。分隔线1304、1306和/或1308展示了如何在物理上、逻辑上和/或时间上将集成的编码和元数据处理电路1302、目标显示器剪裁电路1110和显示器1112彼此分隔开。
图14是根据本发明的分布式视频播放器系统第三实施例的结构示意图。如图所示的视频播放器系统包括集成在一起的解码、目标显示器剪裁和元数据处理电路1404,补充目标显示器剪裁电路1406和显示器1112。集成在一起的解码、目标显示器剪裁和元数据处理电路1404接收编码源视频12、原始源视频14、目标显示器元数据18、相似显示器元数据16和/或目标显示器信息20。基于解码后的编码源视频12或直接基于原始源视频14,集成在一起的解码、目标显示器剪裁和元数据处理电路1404处理源视频的视频数据的全帧序列。这种处理是基于元数据16或18和/或目标显示器信息20进行的。集成在一起的解码、目标显示器剪裁和元数据处理电路1404生成多个视频数据子帧序列,并将它们发往补充目标显示器剪裁电路1406。补充目标显示器剪裁电路1406基于目标显示器信息20对多个视频数据子帧序列进行额外的剪裁。这种目标剪裁包括针对显示器1112调整多个视频数据子帧序列。分隔线1408和1410展示了如何在物理上、逻辑上和/或时间上将集成在一起的解码、目标显示器剪裁和元数据处理电路1404、补充目标显示器剪裁电路1406和显示器1202彼此分隔开。
图15是根据本发明的分布式视频播放器系统第四实施例的结构示意图。解码器1502接收编码源视频12,生成未编码视频13。集成的目标显示器剪裁和元数据处理电路1504接收并处理未编码视频13和/或原始源视频14。集成的目标显示器剪裁和元数据处理电路1504还接收目标显示器元数据18、相似显示器元数据16和/或目标显示器信息20。未编码视频13或原始源视频14包括视频数据全帧序列。集成的目标显示器剪裁和元数据处理电路1504基于目标显示器元数据18、相似显示器元数据16和目标显示器信息20中的一个或多个信息来处理视频数据全帧序列,生成多个视频数据子帧序列,并发往补充目标显示器剪裁电路1506。补充目标显示器剪裁电路1506基于目标显示器信息20调整这些视频数据子帧序列,生成剪裁后的输出并发往显示器1508。显示器1508接收补充目标显示器剪裁电路1506的输出,显示包含在其中的视频数据内容。
可在功能、物理和/或时间上将模块1504、1506和1508的功能彼此分开。例如,在一个实施例中,解码器1502和集成的目标显示器剪裁和元数据处理电路1504可由单个处理设备来执行。在该实施例下,补充目标显示器剪裁电路1506可包含在显示器1508内。
在其他实施例中,模块1502、1504、1506个1508可设置在不同的壳体内、设置在不同的位置、由不同的功能组件来执行和/或在不同时间执行。因此,分隔线1510和1512可代表物理边界、功能边界和/或时间边界。
图16是根据本发明的用于在分布式视频播放器系统中传送视频数据、元数据和其他信息的示意图。图16中展示了图12-图15中多种部件的连接方式。通信传输1602可包括通信链路/网络连接1604和/或物理存储媒介1606。分界线1612和1614可包括分割线1202-1206、1304-1308、1408-1410和/或1510-1512中的任一组。在这种情况下,信息通过通信链路/网络1604或媒介1606穿过这些分界线来传送。
在一项特定操作中,数据以未编码格式进行传送。但是,在另一实施例中,信息则由编码器1608进行编码,通过通信链路/网络连接1604传送,然后在进行后续处理之前由解码器1610进行解码。
图17是根据本发明一实施例的视频处理和播放过程的流程图。根据本发明,视频处理电路的操作1700开始于接收视频数据(步骤1710)。当接收的视频数据为编码格式时,视频处理电路对视频数据进行解码(步骤1712)。视频处理电路随后接收元数据(步骤1714)。该元数据可以是本文所描述的普通元数据、相似元数据或剪裁后的元数据。当收到的是相似元数据或普通元数据时,图17中的操作包括基于目标显示器信息对元数据进行剪裁(步骤1716)。步骤1716是可选的。
随后,图17中的操作包括基于元数据对视频数据进行子帧处理(步骤1718)。随后的操作包括基于目标显示器信息20剪裁在步骤1718生成的视频数据子帧输出序列(步骤1720)。步骤1720的操作生成剪裁后的视频数据子帧输出序列。随后,可选的,该视频数据子帧输出序列将进行编码(步骤1722)。最后,视频数据子帧序列将输出到存储器中存储、通过网络输出到目标设备或者以其他方式输出或者输出到其他位置(步骤1724)。
根据图17中展示的一个特定实施例,视频处理系统接收代表视频数据全帧序列的视频数据。视频处理系统随后对视频数据进行子帧处理,生成视频数据子帧第一序列和视频数据子帧第二序列。视频数据子帧第一序列由至少第一参数来定义,视频数据子帧第二序列由至少第二参数来定义,该至少第一参数和至少第二参数共同组成元数据。通过将视频数据子帧第一序列和视频数据子帧第二序列合并,视频处理系统随后生成视频数据子帧第三序列。
在本实施例中,视频数据子帧第一序列可对应视频数据全帧序列中的第一区域,视频数据子帧第二序列可对应视频数据全帧序列中的第二区域,其中第一区域不同于第二区域。
图18是根据本发明实施例的与可移动的存储媒介相关的方法流程图。图18的方法1800开始于存储表示全屏视频序列的第一数据(步骤1810)。该全屏视频序列对应图4中的摄像机110所撷取的原始视频数据。操作继续至存储表示第一子帧元数据的第二数据(步骤1812)。第二数据用于根据第一数据产生第一剪裁视频。第一子帧元数据定义了全屏视频序列中的第一子帧和全帧视频序列中的第二子帧。第一子帧具有至少一个不同于第二子帧的特征。操作继续至存储表示第二子帧元数据的第三数据(步骤1814)。此外,操作可包括存储与数字权限管理相关的第四数据(步骤1816)。然后,操作包括分发可移动存储媒介(步骤1816)。如前面已经描述的一样,可移动存储媒介可包括DVD之类的光学媒介、只读存储器、随机访问存储器、或者能够存储数字信息的其它类型的存储设备。
图18的操作还可包括使用第二数据来处理第一数据,以生成第一剪裁视频(步骤1818)。操作1800还包括使用第三数据来处理第一数据,以生成第二剪裁视频(步骤1820)。步骤1818和1820的处理操作可由不同的视频播放器系统执行。选择性地,为一个以上的显示器服务的视频播放器系统可执行步骤1818和1820的操作。
本领域普通技术人员可知,本申请中所使用的短语“可通信地连接”包括有线的和无线的、直接的连接和通过其它组件、元件或模块的间接连接。本领域普通技术人员还可知,推定连接(即推定一个部件与另一个部件连接)包括两个部件之间与“可通信地连接”方式相同的无线的和有线的、直接的和间接的连接。
本发明通过借助方法步骤展示了本发明的特定功能及其关系。所述方法步骤的范围和顺序是为了便于描述任意定义的。只要能够执行特定的功能和顺序,也可应用其它界限和顺序。任何所述或选的界限或顺序因此落入本发明的范围和精神实质。
本发明还借助功能模块对某些重要的功能进行了描述。所述功能模块的界限和各种功能模块的关系是为了便于描述任意定义的。只要能够执行特定的功能,也可应用其它的界限或关系。类似地,在此还借助流程图来解释某些重要的功能。就使用来说,可定义其它的流程图界限和顺序,仍执行某些重要功能。所述功能性模块和流程图的其它界限或关系也因此落入本发明的范围和精神实质。
本领域普通技术人员还可知,本申请中的功能模块和其它展示性模块和组件可实现为离散组件、专用集成电路、执行恰当软件的处理器和前述的任意组合。
此外,尽管以上是通过一些实施例对本发明进行的描述,本领域技术人员知悉,本发明不局限于这些实施例,在不脱离本发明的精神和范围的情况下,可以对这些特征和实施例进行各种改变或等效替换。本发明的保护范围仅由本申请的权利要求书来限定。
Claims (10)
1.一种可移动的存储媒介,其特征在于,它可由第一视频播放器系统和第二视频播放器系统接纳并与其进行交互,所述第一视频播放器系统带有具备第一显示器特征的第一视频显示器,所述第二视频播放器系统带有具备第二显示器特征的第二视频显示器,所述第一显示器特征与所述第二显示器特征不同,所述可移动的存储媒介包括:
多个存储位置;
存储在所述多个存储位置中的至少第一个存储位置中的视频数据全帧序列;
第一子帧元数据,被生成以适应至少第一显示器特征,它存储在所述多个存储位置的至少第二个存储位置中;
所述第一子帧元数据定义了所述视频数据全帧序列中的第一多个子帧,所述第一多个子帧中的每一个都具有与所述视频数据全帧序列中的所述第一多个子帧之外的其它子帧不同的至少第一参数;
第二子帧元数据,被生成以适应至少第二显示器特征,它存储在所述多个存储位置的至少第三个存储位置中;且
所述第二子帧元数据定义了所述视频数据全帧序列中的第二多个子帧,所述第二多个子帧中的每一个都具与所述视频数据全帧序列中的所述第二多个子帧之外的其它子帧不同的至少第二参数。
2.根据权利要求1所述的可移动的存储媒介,其特征在于,所述第一视频播放器系统可读取并使用所述第一子帧元数据,从而为所述第一显示器剪裁视频数据全帧序列;且
所述第二视频播放器系统可读取并使用所述第二子帧元数据,从而为所述第二显示器剪裁视频数据全帧序列。
3.根据权利要求1所述的可移动的存储媒介,其特征在于,所述第一参数包括所述视频数据全帧序列中的子帧中心点。
4.根据权利要求1所述的可移动的存储媒介,其特征在于,所述第一视频播放器系统包括电视,所述第二视频播放器系统包括计算机。
5.根据权利要求1所述的可移动的存储媒介,其特征在于,所述第一视频显示器包括手持设备的显示器。
6.一种视频播放器电路,其特征在于,包括:
接纳可移动媒介的媒介接口,所述可移动媒介上存储有全帧视频和多个子帧元数据;
接口电路,与具有至少一个显示器特征的显示器通信连接;
处理电路,基于所述至少一个显示器特征,从所述多个子帧元数据中选择第一子帧元数据;
所述处理电路使用所述第一子帧元数据、根据所述全帧视频生成剪裁视频;且
所述处理电路通过所述接口电路发送所述剪裁视频。
7.根据权利要求6所述的视频播放器电路,其特征在于,作为生成所述剪裁视频的一部分,所述处理电路依照补充信息执行后处理。
8.根据权利要求6所述的视频播放器电路,其特征在于,所述视频播放器电路和所述显示器设置在单个壳体中。
9.一种与可移动的存储媒介相关的方法,其特征在于,所述方法包括:
存储表示全屏视频序列的第一数据;
存储表示第一子帧元数据的第二数据,所述第二数据用于根据所述第一数据生成第一剪裁视频,所述第一子帧元数据定义了所述全屏视频序列中的第一子帧和所述全屏视频序列中的第二子帧,所述第一子帧具有与所述第二子帧不同的至少一个特征;以及
存储表示第二子帧元数据的第三数据,所述第三数据用于根据所述第一数据生成第二剪裁视频。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括分发所述可移动的存储媒介。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/474,032 | 2006-06-23 | ||
US11/474,032 US20070268406A1 (en) | 2006-05-22 | 2006-06-23 | Video processing system that generates sub-frame metadata |
US11/491,050 | 2006-07-20 | ||
US11/491,051 | 2006-07-20 | ||
US11/491,019 | 2006-07-20 | ||
US11/506,662 | 2006-08-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101106684A true CN101106684A (zh) | 2008-01-16 |
Family
ID=38992380
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200710126493 Expired - Fee Related CN101094407B (zh) | 2006-06-23 | 2007-06-20 | 视频电路、视频系统及其视频处理方法 |
CN 200710128027 Pending CN101106704A (zh) | 2006-06-23 | 2007-06-21 | 视频摄像机、视频处理系统及其方法 |
CN 200710128026 Active CN101106717B (zh) | 2006-06-23 | 2007-06-21 | 一种视频播放器电路及视频显示方法 |
CN 200710128031 Expired - Fee Related CN101098479B (zh) | 2006-06-23 | 2007-06-22 | 处理视频数据的方法及设备 |
CN 200710128029 Pending CN101106684A (zh) | 2006-06-23 | 2007-06-22 | 视频处理设备及方法 |
Family Applications Before (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200710126493 Expired - Fee Related CN101094407B (zh) | 2006-06-23 | 2007-06-20 | 视频电路、视频系统及其视频处理方法 |
CN 200710128027 Pending CN101106704A (zh) | 2006-06-23 | 2007-06-21 | 视频摄像机、视频处理系统及其方法 |
CN 200710128026 Active CN101106717B (zh) | 2006-06-23 | 2007-06-21 | 一种视频播放器电路及视频显示方法 |
CN 200710128031 Expired - Fee Related CN101098479B (zh) | 2006-06-23 | 2007-06-22 | 处理视频数据的方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (5) | CN101094407B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5332369B2 (ja) * | 2008-07-18 | 2013-11-06 | ソニー株式会社 | 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム |
JP5420381B2 (ja) * | 2009-11-25 | 2014-02-19 | オリンパスイメージング株式会社 | 撮影機器及びこの撮影機器に着脱可能なアクセサリ機器 |
CN102891951B (zh) * | 2011-07-22 | 2016-06-01 | 锋厚科技股份有限公司 | 影像信号传送装置、接收装置、传输系统及其方法 |
JP7447077B2 (ja) * | 2018-07-27 | 2024-03-11 | アパリオ グローバル ソリューションズ (アーゲーエス) アーゲー | 映像ストリームにおける動的画像コンテンツ置換のための方法およびシステム |
JP2022136571A (ja) * | 2021-03-08 | 2022-09-21 | セイコーエプソン株式会社 | 表示システム |
CN113990355A (zh) * | 2021-09-18 | 2022-01-28 | 赛因芯微(北京)电子科技有限公司 | 音频节目元数据和产生方法、电子设备及存储介质 |
CN113891105A (zh) * | 2021-09-28 | 2022-01-04 | 广州繁星互娱信息科技有限公司 | 画面显示方法和装置、存储介质及电子设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010047517A1 (en) * | 2000-02-10 | 2001-11-29 | Charilaos Christopoulos | Method and apparatus for intelligent transcoding of multimedia data |
US6647061B1 (en) * | 2000-06-09 | 2003-11-11 | General Instrument Corporation | Video size conversion and transcoding from MPEG-2 to MPEG-4 |
CN1666503A (zh) * | 2002-07-01 | 2005-09-07 | 皇家飞利浦电子股份有限公司 | 用于处理视频信号的系统 |
US20060050784A1 (en) * | 2002-11-01 | 2006-03-09 | Ville Lappalainen | Method and device for transcoding images |
CN1595946A (zh) * | 2004-06-23 | 2005-03-16 | 深圳市彩秀科技有限公司 | 将网站图片发至手机的方法 |
-
2007
- 2007-06-20 CN CN 200710126493 patent/CN101094407B/zh not_active Expired - Fee Related
- 2007-06-21 CN CN 200710128027 patent/CN101106704A/zh active Pending
- 2007-06-21 CN CN 200710128026 patent/CN101106717B/zh active Active
- 2007-06-22 CN CN 200710128031 patent/CN101098479B/zh not_active Expired - Fee Related
- 2007-06-22 CN CN 200710128029 patent/CN101106684A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN101106717B (zh) | 2013-03-20 |
CN101098479A (zh) | 2008-01-02 |
CN101094407A (zh) | 2007-12-26 |
CN101106717A (zh) | 2008-01-16 |
CN101106704A (zh) | 2008-01-16 |
CN101094407B (zh) | 2011-09-28 |
CN101098479B (zh) | 2010-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100904649B1 (ko) | 서브-프레임 메타데이터를 이용한 적응적 비디오 프로세싱회로 및 플레이어 | |
KR100912599B1 (ko) | 풀 프레임 비디오 및 서브-프레임 메타데이터를 저장하는이동가능한 미디어의 프로세싱 | |
KR100909440B1 (ko) | 서브-프레임 메타데이터 분배 서버 | |
KR100906957B1 (ko) | 서브-프레임 메타데이터를 이용한 적응 비디오 프로세싱 | |
KR100836667B1 (ko) | 비디오와 서브프레임 메타데이터의 동시 캡쳐 시스템 | |
CN1939054A (zh) | 用于在pvr窍门模式回放期间提供可见消息的系统 | |
CN101106717B (zh) | 一种视频播放器电路及视频显示方法 | |
JP2007018198A (ja) | リンク情報付きインデックス情報生成装置、タグ情報付き画像データ生成装置、リンク情報付きインデックス情報生成方法、タグ情報付き画像データ生成方法及びプログラム | |
CN104902164A (zh) | 图像处理装置、图像处理方法和图像处理系统 | |
JP4434094B2 (ja) | タグ情報生成装置、タグ情報生成方法及びプログラム | |
Browne | High Definition Postproduction: Editing and Delivering HD Video | |
CN100587793C (zh) | 视频处理方法、电路和系统 | |
US20120307882A1 (en) | Method for transporting information and/or application data inside a digital video stream, and relative devices for generating and playing such video stream | |
Ochiva | Entertainment technologies: past, present and future | |
CN101848381B (zh) | 用于在pvr窍门模式回放期间提供可见消息的系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1116967 Country of ref document: HK |
|
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20080116 |
|
C20 | Patent right or utility model deemed to be abandoned or is abandoned |