CN101098479A - 处理视频数据的方法及设备 - Google Patents

Abstract

本发明涉及一种分发服务器，包括通信接口、存储器和处理电路。所述处理电路获取视频全屏序列以及与与视频全屏序列相关的子帧元数据。处理电路使用子帧元数据对视频全屏序列进行子帧处理，以生成多个视频子帧。处理电路组合多个视频子帧，以生成客户端系统的输出序列。分发服务器还接收、存储和分发所述子帧元数据和/或视频，供视频处理系统后续使用。

Description

处理视频数据的方法及设备

技术领域

本发明涉及一种视频处理设备，更具体地说，涉及对即将显示在视频播放器上的视频信息的处理。

背景技术

电影和其他视频内容通常使用35mm胶片以16∶9的宽高比进行拍摄。在电影进入一级市场时，  将该35mm胶片复制并分发给各个电影院，从而将电影卖给电影观众。例如，电影院一般通过使用高流明光束透射35mm胶片来将电影投射在“大屏幕”上，进而供付费观众观看。一旦脱离“大屏幕”，电影通常就进入二级市场，通过销售其中包含电影的影碟或影带(例如VHS影带、DVD、高清(HD)-DVD、蓝光DVD和其他录制媒体)来将电影分发给个人观众。其他用于在二级市场中分发电影的方法，还包括通过互联网下载和通过电视网络提供商广播。

为能通过二级市场进行分发，35mm电影内容将以每胶片帧为单位转换为原始数字视频。要想达到HD的分辨率(resolution)，每个胶片帧至少需要1920×1080像素，对于片长为两小时的电影，这种原始数字视频需要大约25GB的存储空间。为避免如此高的存储需求，通常使用编码器对原始数字视频进行编码和压缩，从而大大降低存储需求。编码标准包括例如但不限于运动图象专家组(MPEG)-1、MPEG-2、用于HD的增强型MPEG-2、MPEG-4 AVC、H.261、H.263以及活动图像和电视工程师协会(society of motion picture and televisionengineer，简称SMPTE)VC-1。

为了满足在电话机、个人数字助理(PDA)和其他手持设备上显示电影的要求，通常通过互联网将压缩数字视频数据下载、上传或存储到手持设备上，然后由手持设备对该视频数据进行解压和解码，以便显示在手持设备的视频显示器器上，进而展示给用户。然而，这种手持设备的尺寸通常会限制其上的视频显示器(屏幕)的尺寸。例如，手持设备上的小屏幕通常只有2英寸(5.08cm)长(对角线)。相比之下，电视机的屏幕通常为30-60英寸(76.2cm-152.4cm)(对角线测量)或更大。屏幕尺寸的差异对观众所能感觉得到的图象质量有着较大的影响。

例如，常见的传统PDA和高端电话机屏幕具有与人眼相同的宽高比(ratio)。在小屏幕上，人眼往往无法察觉微小细节，例如文本、面部特征和远处的物体。例如，在电影院中，对于包含位于远处的演员和铁路标记的全景场景来说，观众可以轻易地识别演员的面部表情并阅读标记上的文字。在HD电视机屏幕上，观众也有可能做到这一点。但是，在转换到手持设备的小屏幕上时，由于人眼的限制，往往不可能识别其面部特征和文字。

无论屏幕有多大，其分辨率不是受技术限制，就是受人眼的限制。但是，在小屏幕上，这种限制更加明显。例如，常见的传统PDA和高端电话机屏幕的宽高比为4∶3，通常能够显示分辨率为320×240像素的QVGA视频。相比之下，HD电视机屏幕的宽高比通常为16∶9，且能显示分辨率高达1920×1080像素的视频。在转换HD视频以便使其适合像素值小得多的小屏幕的过程中，像素数据将进行合并，且将损失较多视频细节。将小屏幕上的像素值增加到HD电视机的像素值水平能够避免上述转换过程，但是，如上所述，由于人眼自身的限制，视频细节仍会损失。

通常使用视频编码转换和编辑系统将视频从一种格式和分辨率转换到另一种格式和分辨率，以便在特定的屏幕上进行回放。例如，该系统可输入DVD视频，且在进行转换过程之后，输出将在QVGA屏幕上重新播放的视频。转换过程中还可使用交互编辑功能来生成经过编辑和转换后的输出视频。为了能够支持多种不同的屏幕尺寸、分辨率和编码标准，需要生成多种输出视频流或文件。

视频通常是以“大屏幕”格式拍摄的，这种格式在供电影院观看时会收到良好的效果。因为视频随后将进行编码转换，所以“大屏幕”格式视频可能不足以支持转换到小屏幕尺寸。在这种情况下，还没有一种转换过程能够生成可供小屏幕显示的合适视频。通过本文的介绍并参考附图，与本发明技术方案相比，现有和传统方法的局限性和缺点对于本领域的技术人员来说将变得更加明显。宽高比

发明内容

本发明涉及一种装置和操作方法，在附图说明、具体实施方式和权利要求中进行了详细的描述。

根据本发明的一方面，提供了一种视频服务器，用于处理表示视频数据全帧序列的编码视频数据，所述视频服务器包括：

通信接口；

用于存储编码视频数据和子帧元数据的存储器；

连接到所述通信接口和存储器的处理电路，所述处理电路用于：

对编码视频数据进行解码，以生成视频数据全帧序列；

基于子帧元数据对视频数据全帧序列进行子帧处理，以生成视频数据子帧第一序列和视频数据子帧第二序列，视频数据子帧第一序列在视频数据全帧序列中所对应的区域与视频数据子帧第二序列在视频数据全帧序列中所对应的区域不同；

通过将所述视频数据子帧第一序列与视频数据子帧第二序列合并，生成视频数据子帧第三序列；以及

通过所述通信接口发送视频数据子帧第三序列。

优选地，所述处理电路编码所述视频数据子帧第三序列。

优选地，由所述处理电路实施的所述解码和子帧处理是集成在一起的。

优选地，所述处理电路在执行所述子帧处理之前，基于目标显示设备的特征来剪裁(tailor)所述子帧元数据。

优选地，所述处理电路基于目标显示设备的特征剪裁来剪裁所述视频数据子帧第三序列。

优选地，所述处理电路执行与目标显示设备相关的数字权限管理操作。

优选地，所述处理电路执行与目标显示设备相关的计费管理。

根据本发明的一方面，提供了一种分发服务器电路，用于支持客户端设备的视频全屏序列(a full screen sequence of video)，所述分发服务器电路包括：

通信接口；

存储器接口；

与所述通信接口和存储器接口相连的处理电路；

所述处理电路通过所述存储器接口获取视频全屏序列和与所述视频全屏序列相关的子帧元数据，所述子帧元数据定义了视频全屏序列中的多个不同子帧；

所述处理电路根据所述视频全屏序列和所述子帧元数据生成专属视频(tailored video)；

所述处理电路通过所述通信接口将所述专属视频发送到所述客户端设备。

优选地，所述客户端设备具有显示器特征，且根据所述显示器特征来选择所述子帧元数据。

优选地，所述客户端设备通过所述通信接口与所述处理电路交互，请求生成专属视频。

优选地，在所述客户端设备通过所述通信接口向所述处理电路发出让其传送所述专属视频的请求之前，即已生成所述专属视频。

优选地，所述处理电路支持与所述专属视频相关的数字权限管理。

优选地，所述处理电路支持与所述专属视频相关的计费管理。

根据本发明的一个方面，提供了一种通信连接到通信网络的分发服务器，可支持客户端系统的多个视频序列，多个视频序列中的每一个表示一系列的视频数据全帧，所述分发服务器包括：

处理电路；

通过通信接口将所述处理电路与所述客户端系统通信连接在一起的通信接口电路；

包含与多个视频序列相关的多个子帧元数据的存储器；且

所述处理电路与所述客户端系统合作，所述合作的结果是将所述多个子帧元数据的第一子帧元数据应用于所述多个视频序列的第一视频序列，从而为所述客户端系统生成专属视频。

优选地，所述合作包括，所处理电路将所述多个元数据的第一元数据应用于所述多个视频序列的第一视频序列，从而为客户端系统生成专属视频。

优选地，所述合作包括，所述分发服务器将所述多个元数据的第一元数据发送到客户端系统，且所述客户端系统将所述多个元数据的第一元数据应用于所述多个视频序列的第一视频序列，以生成专属视频。

优选地，所述存储器还包含所述多个视频序列。

优选地，所述客户端系统包含所述多个视频序列。

优选地，至少一个显示参数被用于选择所述多个元数据的第一元数据。

优选地，所述处理电路支持数字权限管理。

优选地，所述处理电路支持计费服务。

根据本发明的一方面，提供了一种通过分发服务器为客户端系统生成专属视频的方法，所述分发服务器通过通信网络可通信地连接到所述客户端系统，且支持所述客户端系统的多个视频序列，所述多个视频序列中的每一个表示一系列的视频数据全帧，所述方法包括：

通过所述通信网络接收来自所述客户端系统的请求，所述请求与专属视频相关；

根据所述请求，访问与所述多个视频序列相关的多个子帧元数据的第一子帧元数据，所述第一子帧元数据与所述客户端系统相关；以及

与所述客户端系统合作，以将所述第一子帧元数据应用于所述多个视频序列的第一视频序列，从而为所述客户端系统生成专属视频。

优选地，与所述客户端系统合作，以将所述第一子帧元数据应用于所述多个视频序列的第一视频序列，从而为所述客户端系统生成专属视频包括：所述分发服务器将所述多个元数据中的第一个元数据应用于所述多个视频序列中的第一个视频序列，从而为所述客户端系统生成专属视频。

优选地，与所述客户端系统合作，以将所述第一子帧元数据应用于所述多个视频序列的第一视频序列，从而为所述客户端系统生成专属视频包括：

所述分发服务器将所述多个元数据中的第一个传送给所述客户端系统；以及

所述客户端系统将所述多个元数据中的第一个应用于所述多个视频序列中的第一个，以生成专属视频。

优选地，所述方法还包括，所述分发服务器将所述多个视频序列的第一视频序列传送到所述客户端系统。

优选地，所述至少一个显示参数被用于选择所述多个元数据中的第一个。

优选地，所述方法还包括执行数字权限管理操作。

优选地，所述方法还包括执行计费服务操作。

通过下面参考附图对本发明进行的具体描述，本发明的多个方面和优点将变得更加清晰。

附图说明

图1是根据本发明的实施例构建的分发服务器和视频播放器系统的方框示意图；

图2是根据本发明的实施例构建的分发服务器、视频撷取/子帧元数据生成系统、以及视频播放器系统的示意图；

图3是根据本发明的实施例构建的视频撷取/子帧元数据生成系统的示意图；

图4是典型的初始视频帧和对应子帧的示意图；

图5是视频处理系统显示器的实施例的示意图，它提供了图形用户接口，其中包含用于生成子帧的视频编辑工具；

图6是典型的初始视频帧和对应子帧的示意图；

图7是典型子帧序列的子帧元数据的图表；

图8是包括子帧编辑信息的典型子帧元数据的图表；

图9是根据本发明实施例的视频处理电路的框图；

图10是根据本发明的实施例构建和操作的自适应视频处理电路的示意框图；

图11是根据本发明实施例的视频处理过程的流程图；

图12是根据本发明的实施例构建和操作的组合视频/元数据分发服务器的功能框图；

图13是根据本发明的实施例构建和操作的元数据分发服务器的功能框图；

图14是根据本发明的实施例构建和操作的元数据分发服务器的示意框图；

图15是根据本发明实施例的元数据/视频分发和处理操作的流程图；以及

图16是根据本发明实施例的元数据/视频分发和处理操作的流程图。

具体实施方式

图1是根据本发明的实施例构建的分发服务器(distribution server)和视频播放器系统的方框示意图。本发明的分发服务器包括视频分发服务器10a、元数据分发服务器10b、以及组合视频/元数据分发服务器10c。本发明的视频播放器系统包括视频播放器系统20、26和28。图中还示出了播放器信息服务器34和计费/DRM服务器36。图1中的系统支持视频存储、元数据存储、视频分发、元数据分发、基于元数据的目标设备视频的处理、目标设备视频的分发、视频显示以及将在此进一步描述的其他操作。图1所示的组件通过通信架构1 56互联，通信架构156是以下中的一种或多种：互联网、内联网、局域网(LAN)、广域网(WAN)、电缆网、卫星通信网、蜂窝数据网、无线广域网(WWAN)、无线局域网和/或其它有线/无线网络。

视频分发服务器10a接收、存储并分发编码源视频12a，接收、存储并分发原始源视频14a，并执行编码/解码操作和管理操作。如在此将参照图3-11进一步描述的一样，源视频通常以全帧格式撷取。这种(全帧)源视频被编码，并存储为编码源视频12a，或者以其原始格式存储为原始源视频14a。源视频包括多个视频数据全帧序列。这多个视频数据全帧序列以特定源格式撷取，该特定源格式对应于预期的视频播放器系统，例如剧院的屏幕、高清电视系统，或其它视频播放器系统格式。这种格式的例子包括高清(HD)电视格式、标准电视格式、运动图象专家组(MPEG)-1、MPEG-2、用于HD的增强型MPEG-2、MPEG-4 AVC、H.261、H.263格式以及活动图像和电视工程师协会(society ofmotion picture and television engineer，简称SMPTE)VC-1格式。不论是编码源视频12a还是原始源视频14a，源视频都不会让人满意地显示在视频播放器系统20、26和28上，这是由于源视频的解析度、宽高比、对比度、亮度、色彩、帧速率或其它特征。因此，一般地，图1的系统被用来根据源视频操作，以将源视频转换成适合于视频播放器系统20、26和/或28的格式。

视频分发服务器10a包括编码器/解码器26a，用于将原始源视频14a编码成期望的编码格式，并将编码源视频12a从其编码格式解码成未编码格式。管理电路30a用于根据从另一个源(例如元数据分发服务器10b或组合视频/分发服务器10c)接收到的子帧元数据，对编码源视频12a(或者原始源视频14a)进行子帧处理。如以下将参照元数据分发服务器10b和组合视频/分发服务器10c进一步描述的一样，视频分发服务器10a使用元数据处理视频数据(源视频)全帧序列，以生成具有与目标视频播放器系统20、26和28中的一个或多个相对应的特征的视频数据子帧。

管理电路30a执行数字权限管理(DRM)操作和计费操作。通常，DRM操作确定请求设备，例如视频播放器系统20、26或28，是否有权限接收源视频。此外，计费操作在要求时进行计费。管理电路的DRM操作和计费操作可要求视频分发服务器10a与计费/DRM服务器36交互，以协调权限管理和计费操作。

元数据分发服务器10b用于接收、存储和分发元数据。元数据分发服务器10b存储相似显示器元数据16b和目标显示器元数据18b。元数据分发服务器10b可将相似显示器元数据16b和目标显示器元数据18b提供给视频分发服务器10a、组合视频/元数据分发服务器10c和/或任一视频播放器系统20、26或28中的任何一个。元数据在此也称作子帧元数据，用于处理视频数据全帧序列，以生成视频数据子帧第一序列和视频数据子帧第二序列。在一种操作中，视频数据子帧第一序列在视频数据全帧序列中所对应的区域与视频数据子帧第二序列在视频数据全帧序列中所对应的区域不同。管理电路30b的子帧处理操作通过将视频数据子帧第一序列与视频数据子帧第二序列合并，生成视频数据子帧第三序列。视频数据子帧第三序列对应于目标视频播放器(客户端系统)，以显示在客户端系统的对应视频显示器上。在此将参照图3-15进一步详细描述生成子帧元数据的方式及其用于这种子帧处理操作的方式。

元数据分发服务器10b可使用其管理电路30b执行子帧处理操作(如上所述)。管理电路30b也可对相似显示器元数据16b进行操作，以生成目标显示器元数据18b。目标显示器元数据18b可存储在元数据分发服务器10b内，之后可提供给视频分发服务器10a、组合视频/元数据分发服务器10c和/或任一视频播放器系统20、26或28中的任何一个。元数据分发服务器10b的管理电路30b还包括DRM和计费操作/电路。元数据分发服务器10b的管理电路30b可通过通信架构156与计费/DRM服务器36进行交互。

在处理相似显示器元数据16b以生成目标显示器元数据18b的过程中，管理电路30b可访问存储在播放器信息服务器34中并由其提供的播放器信息。播放器信息服务器34与元数据分发服务器10b(以及其它分发服务器10a和10c)交互，以确定目标视频播放器系统20、26或28的品牌(make)/型号，或系列号。根据该确定结果，播放器信息服务器34通过通信架构156将目标显示器信息提供给元数据分发服务器10b。然后元数据分发服务器10b使用目标显示器信息来处理相似显示器元数据16b，以生成目标显示器元数据18b。根据这些操作生成的目标显示器元数据18b针对视频播放器系统20、26或28中的特定显示器。在接下来的操作中，视频播放器系统20、26或28请求并接收目标显示器元数据18b，并在其子帧处理操作中使用目标显示器元数据18b。之后视频分发服务器10a和/或组合视频/元数据分发服务器10c接收目标显示器元数据18a并在其子帧处理操作中使用它。

组合视频/元数据分发服务器10c将视频分发服务器10a的操作和元数据分发服务器10b的操作有效地组合在一起，并执行附加的处理操作。组合视频/元数据分发服务器10c存储并分发编码源视频12c、原始源视频14c、相似显示器元数据16c以及目标显示器元数据18c。组合视频/元数据分发服务器10c包括编码器/解码器26c，用于对视频和元数据进行编码和解码。组合视频/元数据分发服务器10c用于接收源视频(编码源视频12c或原始源视频14c)、存储源视频并提供源视频。此外，组合视频/元数据分发服务器10c用于接收相似显示器元数据16c和/或目标显示器元数据18c、存储该元数据并提供该元数据。

组合视频/元数据分发服务器10c的管理电路30c的视频处理操作使用相似显示器元数据16c和/或目标显示器元数据18c对编码源视频12c和/或原始源视频14c进行子帧处理，以生成视频数据子帧第一序列和视频数据子帧第二序列。视频数据子帧第一序列在视频数据全帧序列中所对应的区域与视频数据子帧第二序列在视频数据全帧序列中所对应的区域不同。然后，管理电路30c的子帧处理操作通过将视频数据子帧第一序列与视频数据子帧第二序列合并，生成视频数据子帧第三序列。视频数据子帧第三序列可存储在本地，或者可提供给视频播放器系统20、26或28中的任何一个或提供给视频分发服务器10a，用于之后的服务操作。在执行其视频处理操作时，管理电路30c可进一步剪裁视频数据子帧第三序列，以使其特别适合于目标视频显示器20、26或28。通过这些剪裁操作，管理电路30c的视频处理操作可使用从播放器信息服务器34接收到的目标显示器信息。此外，视频处理操作和管理电路30c可使用之前在本地存储的目标显示器信息。

管理电路30c和组合视频/元数据分发服务器10c还可使用其元数据处理操作对元数据做进一步操作。这些元数据处理操作基于从播放器信息服务器34接收到的或在本地存储的目标显示器信息，对相似显示器元数据16c进行操作以生成目标显示器元数据18c。管理电路30c的元数据处理操作特别生成的目标显示器元数据18c与视频播放器系统20、26或28中的一个或多个相对应。

组合视频/元数据分发服务器10c的管理电路30c还执行DRM操作和计费操作。在执行这些数字权限操作和计费操作时，组合视频/元数据分发服务器10c的管理电路30c可通过通信架构156与计费/DRM服务器36交互。

本发明的视频播放器系统可以包含在单个设备中，也可分布在多个设备中。本发明的视频播放器系统包含在单个设备中的方式由视频播放器26示出。本发明的视频播放器系统分布在多个设备中的方式由视频播放器系统20和28示出。视频播放器系统20包括视频播放器22和视频显示器设备24。视频播放器系统28包括视频播放器和视频显示器设备30。

图1中视频播放器系统的功能通常包括三种类型的功能。第一种类型的功能是多模式视频电路和应用(MC&A)功能。MC&A功能可在第一种模式和/或第二种模式下操作。在MC&A功能的第一种模式中，例如，视频显示器设备30通过通信架构156(或者在某些操作中通过其它媒介例如DVD、RAM或其它存储)接收源视频和元数据。在MC&A功能的第一种操作模式下，视频显示设备30可使用源视频和元数据进行处理和重放操作，所述重放操作使视频显示在其视频显示器上。

视频显示设备30接收的源视频可以是编码源视频12a/12c或者原始源视频14a/14c。元数据可以是相似显示器元数据16b/16c或者目标显示器元数据18b/18c。通常，编码源视频12a/12c和原始源视频14a/14c具有类似的内容，区别在于前者经过了编码而后者未经编码。一般地，源视频包括视频数据全帧序列，诸如视频摄像机所拍摄的数据。对视频数据的全帧的撷取将参照图4-9做进一步描述。

元数据(16b、16c、18b或18c)是附加信息，用于进行视频处理操作，以修改视频数据的全帧序列，生成在目标视频播放器的目标视频显示器上播放的视频。生成元数据(16b、16c、18b或18c)的方式及其与源视频(12a、12c、14a或14c)的关系将参照图4-9做进一步描述。在MC&A第一模式操作中，视频显示设备30在合并时使用源视频(12a、12c、14a或14c)和元数据(16b、16c、18b或18c)，从而为它的视频显示器生成输出。通常，相似显示器元数据16b或16c具有专属于某类或某组目标视频播放器的特性。这一类或者一组中的目标视频播放器具有类似的屏幕解析度、类似的高宽比、或其它类似的特征，有利于修改源视频以生成修改后的源视频，从而将视频显示在这一类视频播放器的视频显示器上。可选地，目标显示器元数据18b或18c包括某品牌/型号/类型的视频显示器的唯一信息。当视频显示设备30使用目标显示器元数据18b或18c来修改源视频(12a、12c、14a或14c)时，修改后的视频特别适合于视频显示设备30的视频显示器。

在本发明的视频播放器系统的MC&A功能的第二种操作模式下，视频显示设备30接收并显示视频(编码视频或原始视频)，所述视频之前已经被另一个视频播放器32使用元数据(16b、16c、18b或18c)处理过。例如，在视频播放器系统28中，视频播放器32之前已经使用元数据(16b、16c、18b或18c)对源视频(12a、12c、14a或14c)进行处理，以生成将传送至视频显示设备30的输出。在MC&A功能的第二种操作模式下，视频显示设备30接收视频播放器32的输出以供显示，并将这些输出显示在其视频显示器上。视频显示设备30的MC&A功能还可修改从视频播放器32接收到的视频数据。

图1中的一个或多个视频播放器系统26使用的另一功能包括集成视频电路和应用功能(IC&A)。图1中的视频播放器系统26的IC&A功能接收源视频(12a、12c、14a或14c)和元数据(16b、16c、18b或18c)，并处理源视频(12a、12c、14a或14c)和元数据(16b、16c、18b或18c)，从而为视频播放器系统26的显示器生成视频输出。视频播放器系统26通过通信架构156(在某些操作中通过其它媒介)接收源视频(12a、12c、14a或14c)和元数据(16b、16c、18b或18c)，并且其IC&A功能处理源视频(12a、12c、14a或14c)和元数据(16b、16c、18b或18c)，以生成用于显示在视频播放器系统26的视频显示器上的视频。

根据图1的另一方面，视频播放器系统22或28可包括分发分布式视频电路和应用(DC&A)功能。与视频播放器32相关的DC&A功能接收源视频(12a、12c、14a或14c)和元数据(16b、16c、18b或18c)，并通过处理源视频(12a、12c、14a或14c)和元数据(16b、16c、18b或18c)，以生成子帧视频数据。视频播放器22和32的DC&A功能分别得到将传送至对应视频显示设备24和30的输出。对应的视频显示设备24和30使用它们各自的功能，进一步修改所接收的视频输入，然后将视频显示在它们各自的显示器上。

根据图1中视频播放器系统的特定实施例和特定操作，它们的功能可分布于多个设备中，对于视频播放器系统20，视频播放器22和视频显示设备24都包括DC&A功能。分布式DC&A功能可配置在各种操作中，以分担其中一个或两者都执行的处理任务。此外，对于视频播放器系统28，视频播放器32和视频显示设备30可分担处理功能，所述功能会根据视频播放器系统28的当前特定配置而实时改变。

图2是根据本发明的实施例构建的分发服务器、视频撷取/子帧元数据生成系统、以及视频播放器系统的示意图。图2中的系统包括自适应视频处理(AVP)系统和子帧元数据生成(SMG)系统，以及视频分发服务器10a、元数据分发服务器10b和组合视频/元数据分发服务器10c。通常，SMG系统和AVP系统可分布在通信架构的一个、两个、或两个以上的组件中。

子帧元数据生成系统100包括摄像机110和计算系统140中的一个或两个。摄像机110，如将参照图3-9进一步描述的一样，撷取初始视频数据全帧序列。然后，计算系统140和/或摄像机110基于由用户输入识别的子帧，生成元数据。由用户输入识别的子帧用于指示：全帧视频数据中显示的场景的哪些子部分会被用于生成针对目标视频播放器的特定视频。这些目标视频播放器可包括视频播放器144、146、148和150。

图2所示的AVG系统用于根据视频数据全帧和SMG系统生成的元数据来生成视频数据子帧序列。AVG系统可存储在数字计算机142或视频显示器144、146、148和/或150的一个或多个中。随着元数据和源视频被存储在图2中的分发服务器10a、10b或10c中，之后可执行AVP。可选地，在摄像机110撷取源视频且摄像机110计算系统140、和/或计算系统142中的SMG应用程序、生成元数据之后，AVP即可立即执行子帧处理。

通信系统156包括各种通信架构，例如互联网、一个或多个广域网(WAN)一个或多个局域网(LAN)、一个或多个无线广域网(WWAN)、一个或多个无线局域网(WLAN)、和/或其它类型的网络。通信架构156支持源视频、元数据、目标显示器信息、输出、显示器视频和DRM/计费信号的交换，这将参照图9-16做进一步描述。可选地，视频数据和其它输入输出可写入物理媒介中，并通过该物理媒介进行分发。用户可从视频出租商店租借该物理媒介，从而在物理媒介视频播放器中使用该物理媒介。

本发明的AVP操作使用元数据和其它输入对视频数据全帧进行操作，以生成目标视频数据，用于显示在视频播放器系统144、146、148和/或150上。视频数据、元数据和目标视频显示器信息用于为播放器144、146、148和/或150生成目标显示器视频，且它们可从单个源或从多个源接收得到。例如，元数据分发服务器10b可存储元数据，而视频分发服务器10a可存储源视频。组合视频/元数据分发服务器10c可存储元数据和源视频。本发明的AVP操作可由计算系统142、摄像机110、计算系统140、显示器144、146、148和/或150、以及服务器10a、10b和10c中的一个或多个来执行。如下文将参照图10-15描述的一样，这些操作将为特定的目标视频播放器生成目标显示器视频。

分发服务器10a、10b和10c分发视频和元数据，供视频播放器144、146、148和/或150之后使用。此外，视频分发服务器10a和组合视频/元数据分发服务器10c可将目标显示器视频发送到视频播放器144、146、148和/或150中的任意一个。视频分发服务器10a或组合视频/元数据分发服务器1 0c所发送的视频数据可以是非专属视频或专属的(tailored)视频。当非专属视频由分发服务器10a或10c进行分发时，在显示该接收到的视频数据之前，视频播放器144、146、148和/或150的AVP操作还可对接收到的视频数据做进一步操作。当组合视频/元数据分发服务器10c或视频分发服务器10a发送目标视频时，接收视频播放器144、146、148和/或150仅播放所接收的目标视频。当然，组合视频/元数据分发服务器10c可生成与各视频播放器的目标显示器信息对应的目标视频。

如图2所示，在根据本发明的另一种操作中，元数据分发服务器10b为视频播放器144、146、148和/或150中的一个或多个提供相似显示器元数据或目标显示器元数据至。当元数据分发服务器10b将相似显示器元数据分发给视频播放器时，视频播放器将进一步处理该相似显示器元数据，以生成供进一步用于子帧处理的目标显示器元数据。然后，视频播放器142、144、146、148或150将使用该专属元数据来处理视频数据，以生成供播放器显示的视频数据子帧。

一旦生成目标显示器元数据和/或专属视频，它将被存储在视频分发服务器10a或组合视频/元数据分发服务器10c中，供之后分发。因此，可一次生成专属元数据和/或目标显示器元数据，且由元数据分发服务器10b和/或组合视频/元数据分发服务器10c进行多次分发。可基于视频分发服务器10a、元数据分发服务器10b和/或组合视频/元数据分发服务器10c的处理电路所启动的数字权限管理操作和计费操作，来管制视频和/或元数据的分发。因此，例如，视频播放器150的用户可以与分发服务器10a、10b和/或10c中的任意一个交互，以验证其接收元数据和/或视频的权限。视频播放器150接收源视频、处理后的视频、相似显示器元数据和/或目标显示器元数据/专属元数据的资格可基于对不同格式的视频的拥有。例如，视频播放器150的用户可能已经购买了包含特定电影的数字视频光碟(DVD)，这样就拥有该数字视频光碟。对DVD的拥有权足以使用户可获得与该特定节目对应的元数据和/或从视频分发服务器10a或组合视频/元数据分发服务器10c中下载该节目标电子格式(不同格式)。这种操作可要求进一步与计费和/或数字权限管理服务器交互，例如图1中的服务器36。

对源视频和元数据的权限可以是一致的，这样，如果用户有源视频的权限，则他/她也有对应元数据的权限。但是，一种系统被构思并在此实施，它要求与源视频的权限分开的、单独的元数据数字权限。在这种情况下，即使用户基于对DVD的所有权，有权限观看源视频，但是也可能要求用户另外付费，以获得与该源视频对应的元数据。这是常有的事，因为元数据有附加的价值，可在之后与源视频一起使用。例如，由于源视频不能在具有更小屏幕的视频播放器148上获得令人满意的观看效果。因此，视频播放器148的用户只要支付附加的费用，就可获得元数据，该元数据接下来可用于对所提供的视频数据进行子帧处理，以生成适合视频播放器148的专属视频。

这种构思可进一步扩展，以应用到不同版本的元数据。例如，用户拥有视频播放器148和视频播放器146。但是，视频播放器146和视频播放器148的屏幕具有不同的特征。由于视频播放器146和视频播放器148具有不同的特征，因此在这些视频播放器146和视频播放器148的每一个中要求播放不同的目标播放器视频。这样就要求有不同版本的元数据，以生成适合视频播放器146和148的专属视频。视频播放器146对应于第一目标显示器元数据，而视频播放器148对应于第二目标显示器元数据。即使用户拥有视频播放器146和148，他/她可能只拥有目标显示器元数据中的其中一个的权限。因此，用户必须花费另外的资金来获得附加的目标显示器元数据。选择性的，某个用户购买了特定源视频或源视频库的所有可得元数据的权限。视频播放器146和148的用户所购买的这些权限不仅允许用户访问与视频播放器146和148对应的目标显示器元数据，还允许用户访问与任一视频播放器142、144和150对应的目标显示器元数据。对元数据库的这种类型的订阅(subscription)可被看作是包含订阅(encompassing subscription)，而购买专属元数据的单个版本的权限可被认为是受限权限订阅。

这些构思可进一步应用于目标显示器视频的不同版本。例如，用户可购买与目标视频播放器148对应的目标显示器视频的单个版本的权限。但是，第二级订阅允许用户访问/使用与节目或节目库对应的专属显示器视频的多个版本。这样的订阅对拥有多个不同类型的视频播放器142-150的用户来说很重要。使用这种订阅类型，订阅者可以从视频分发服务器10a或组合视频/元数据分发服务器10c上、将不同版本的目标显示器视频下载到他或她拥有的任何视频播放器中。

图3是根据本发明的实施例构建的视频撷取/子帧元数据生成系统的示意图。图3中的视频撷取/子帧元数据生成系统100包括摄像机110和SMG系统120。视频摄像机110撷取与场景102相关的初始视频数据全帧序列。视频摄像机110也可通过麦克风111A和111B撷取音频数据。视频摄像机110可向控制台140提供视频数据的全帧，或运行SMG系统120。视频摄像机110的SMG系统120或控制台140通过用户输入设备121或123接收用户输入。基于该用户输入，SMG系统120在视频显示器上显示一个或多个子帧，该显示器也显示了视频数据全帧序列。基于用户输入和附加信息生成的子帧，SMG系统120生成元数据15。视频撷取/子帧元数据生成系统100的视频数据输出是编码源视频12或原始源视频14中的一个或多个。视频撷取/子帧元数据生成系统100还输出元数据15，元数据15可以是相似显示器元数据和/或目标显示器元数据。视频撷取/子帧元数据生成系统100还可输出目标显示器信息20。

视频摄像机110撷取的初始视频帧序列是关于场景102的。场景102可以是由视频摄像机110撷取的任何类型的场景。例如，场景102可以是具有很多细节的相对较大撷取区域内的风景。可选地，场景102可以是正在彼此对话的表演者的头部镜头。此外，场景102可以是狗追逐球的动态画面。在撷取初始视频帧的过程中，场景102的类型通常随时间而变化。

使用现有的视频撷取系统，用户可操作摄像机110，以撷取场景102的初始视频帧，该初始视频帧被优化成“大屏幕”格式。使用本发明，之后初始视频帧将会被转换，以供具有各自的视频显示器的目标视频播放器最终显示。由于子帧元数据生成系统120随时间而撷取不同类型的场景，转换所撷取的视频以生成供在目标视频播放器上观看的子帧的方式也随时间而变化。“大屏幕”格式并不总是能很好地转换以适应更小的屏幕类型。因此，本发明的子帧元数据生成系统120支持初始视频帧的撷取，通过转换为更小的格式，提供高质量的视频子帧，以显示在目标视频播放器的一个或多个视频显示器上。

可使用一种或多种基于离散余弦变换(DCT)的编码/压缩格式(例如，MPEG-1、MPEG-2、针对HD的增强型MPEG-2、MPEG-4 AVC、H.261和H.263)，对编码源视频12进行编码，使用运动向量来从相邻帧或场(field)构建基于帧或场的预测，这是通过通常存在的帧间或场间的运动来实现的。例如，在使用MPEG编码标准时，原始视频帧序列将被编码为由三种不同类型的帧组成的序列：“I”帧、“B”帧和“P”帧。“I”帧是帧内编码的，“P”帧和“B”帧是帧间编码的。因此，“I”帧是独立的，也就是说它们无需参考其他帧即可进行重建，而“P”帧和“B”帧是相关的，也就是说，它们需要依靠其他帧来进行重建。具体来说，P帧是从上一I帧或P帧向前预测的，B帧是同时从上一/下一I帧或P帧向前预测和向后预测的。IPB帧序列将使用DCT进行压缩，将“I”、“P”或“B”帧中的N×N(N通常设置为8)像素数据块转换到DCT域，以便更容易进行量化。随后对量化后的比特流应用游程编码和熵编码，生成压缩比特流，与原始的未压缩视频数据相比，压缩比特流的比特率明显降低。

图4是典型的初始视频帧和对应子帧的示意图。视频显示器400包含一个可视区域，其中显示了代表图3中场景102的原始视频帧序列。根据图4所示的实施例，SMG系统120还用于响应代表用户输入的其他信号，除子帧402以外，在视频显示器400上还显示与原始视频帧序列相关联的其他子帧404和406。这些子帧402中的每一个都具有与多个目标视频显示器其中之一相对应的宽高比和尺寸。此外，SMG系统120生成与每一个子帧402、404和406相关的元数据15。子帧元数据生成系统120所生成的与子帧402、404和406相关的元数据15使得对应的目标视频显示器在其视频显示器上生成对应的显示场景。在图4所示的实施例中，SMG系统120包括单个视频显示器400，每个子帧402、404和406正是通过该显示器显示出来的。在另一实施例中，视频处理系统生成的多个子帧中的每一个将独立地显示在对应的目标视频播放器上。

在图4所示的实施例中，在子帧组中至少有两个子帧404和406与原始视频帧序列中的一个帧相对应。因此，例如，在特定的目标视频播放器中，子帧404和406以及其中包含的相关视频信息将会在不同的时间显示在单个目标视频播放器上。在图4所示的实施例中，目标视频播放器所显示视频的第一部分展示的是子帧404中包含的狗追球的场景，而目标视频播放器所显示视频的第二部分展示的是子帧406中描述的反弹球的场景。因此，在本实施例中，目标视频播放器中在时间上相邻的视频序列是由单个原始视频帧序列生成的。

此外，在图4所示的实施例中，在子帧组中至少有两个子帧包含空间位置随原始视频帧序列变化的物体。在这种帧中，显示狗的子帧404的空间位置会随与显示反弹球的子帧406有关的原始视频帧序列而变化。此外，在图4所示的实施例中，在子帧组中的两个子帧可对应于原始视频帧序列中的至少两个不同的帧。在该实施例中，子帧404和406会对应显示在视频显示器400上的原始视频帧序列中的不同帧。在该实施例中，在第一时间段，选择子帧404以便在一段时间内显示狗的图象。此外，在该实施例中，子帧406对应不同的时间段，用于显示反弹球。在该实施例中，子帧组404和406中的至少一部分对应由原始视频帧序列所描述场景的一个子场景。所描述的序列可在整个显示器400上显示，也可在子帧402中显示。

图5是视频处理系统显示器的实施例的示意图，它提供了包含用于生成子帧的视频编辑工具的图形用户接口。视频处理显示器502上显示的是当前帧504及其子帧506。子帧506包括由用户指定的感兴趣区域内的视频数据。一旦指定了子帧506，用户便可使用通过GUI508提供给用户的一种或多种视频编辑工具来编辑子帧506。例如，如图5所示，通过点击或选择GUI508中的一种编辑工具，用户可对子帧506应用滤光镜、色彩修正、叠加或其他编辑工具。此外，GUI 508还可使得用户在原始帧和/或子帧之间移动，以便观看和比较原始子帧序列和子帧序列。

图6是典型的初始视频帧和对应子帧的示意图。在图6中，第一场景602由原始视频帧606的第一序列604描述，第二场景608由原始视频帧606的第二序列610描述。因此，每个场景602和608包含原始视频帧606的各自序列604和610，通过顺序的显示原始视频帧606的各序列604和610中的每个原始视频帧606来观看。

但是，要想在小视频显示器上显示每个场景602和608，而又不会降低观众所能感觉得到的视频质量，每个场景602和608可分割为分开显示的子场景。例如，如图6所示，在第一场景602中，存在两个子场景612和614，而在第二场景608中，存在一个子场景616。如同每个场景602和608可以通过顺序显示原始视频帧606的各自序列604和610来观看一样，每个子场景612、614和616也可通过显示各自的子帧618(618a、618b和618c)序列来观看。

例如，来看原始视频帧第一序列604中的第一帧606a，用户可指定两个子帧618a和618b，每一个子帧包含代表不同子场景612和614的视频数据。假设子场景612和614连续贯穿于原始视频帧的606第一序列604之中，用户可进一步在原始视频帧606的第一序列604中随后的每个原始视频帧606a中为每个子场景612和614分别指定两个子帧618a和618b。这样便得到子帧618a第一序列620，其中包含的每个子帧618a都包含代表子场景612的视频内容；还可得到子帧618b第二序列630，其中包含的每个子帧618b都包含代表子场景614的视频内容。子帧618a和618b的各序列620和630可顺序显示。例如，可顺序显示对应于第一子场景612的所有子帧618a，之后顺序显示对应第二子场景614的序列630的所有子帧618b。通过这种方式，电影仍能保持场景602的逻辑流，并且能让观众看到场景602的细微细节。

同理，来看原始视频帧606第二序列610中的第一帧606b，用户可指定对应子场景616的子帧618c。再次假设子场景616连续贯穿于原始视频帧606第二序列610，用户可进一步在原始视频帧606第二序列610中的后续每个原始视频帧606中指定包含子场景616的子帧618c。这样便得到子帧618c序列640，其中的每个子帧618c都包含代表子场景616的视频内容。

图7是典型子帧序列的子帧元数据的图表。在图7所示的子帧元数据150中包含的是顺序元数据(sequencing metadata)700，用于指示子帧的顺序(也就是显示顺序)。例如，顺序元数据700可标识子场景序列和各子场景的子帧序列。使用图7中展示的例子，顺序元数据700可分成子帧元数据150的多个组720，其中每个组720对应特定的子场景。

例如，在第一个组720中，顺序元数据700开始于子帧第一序列(也就是序列620)中的第一子帧(例如子帧618a)，其后是第一序列620中的各其他子帧。在图7中，第一序列中的第一子帧被标记为原始视频帧A的子帧A，第一序列中的最后一个子帧被标记为原始视频帧F的子帧F。在第一序列620的最后一个子帧之后，顺序元数据700延续到第二个组720，其开始于子帧第二序列(例如序列630)中的第一子帧(例如子帧618b)，结束于第二序列630的最后一个子帧。在图7中，第二序列中的第一子帧被标记为原始视频帧A的子帧G，第二序列中的最后一个子帧被标记为原始视频帧F的子帧L。最后一个组720开始于子帧第三序列(也就是序列640)的第一子帧(例如子帧618c)，结束于第三序列640中的最后一个子帧。在图7中，第三序列中的第一子帧被标记为原始视频帧G的子帧M，第三序列中的最后一个子帧被标记为原始视频帧I的子帧P。

每个组720中包含的是该组720中每一个单独子帧的子帧元数据。例如第一个组720包括子帧第一序列620中每个子帧的子帧元数据15。在一个示范性实施例中，子帧元数据15可组成其中包含一定数量的条目710的元数据文本文件。元数据文本文件中的每个条目710包括该特定子帧的子帧元数据15。因此，元数据文本文件中的每个条目710包含标识与该元数据相关联的特定子帧的子帧标识符，并引用原始视频帧序列中的一个帧。

编辑信息包括但不限于：摇摄方向和摇摄率(pan rate)、缩放率、对比度调整、亮度调整、滤光镜参数和视频效果参数。具体来说，与子帧相关联，存在几种类型可以应用的编辑信息，它们与下列内容有关：a)视觉调整，例如亮度、滤光、视频效果、对比度和色彩调整；b)运动信息，例如摇摄、加速、速率、子帧在原始帧序列上的移动方向；c)尺寸调整信息，例如子帧在原始帧序列上的缩放(包括放大、缩小和缩放比例)；d)与原始视频数据落入子帧中的那些部分相关联、合并或被其叠加的任何类型的补充媒介(例如叠加的文本或图形或补充的音频)。

图8是包括子帧编辑信息的典型子帧元数据的图表。子帧元数据包括元数据报头802。元数据(MD)报头802包括元数据参数、数字权限管理(DRM)参数和计费管理参数。元数据参数包括与该元数据有关的信息，如创建日期、过期日期、创建者标识、目标视频设备种类、目标视频设备类别、源视频信息和通常与所有元数据有关的其他信息。元数据报头802中的数字权限管理部分包括用于判断子帧元数据是否可用以及将该子帧元数据可用到何种程度的信息。元数据报头802中的计费管理参数包括在元数据开始使用时用于启动计费操作的信息。

子帧元数据包含在子帧文本文件的条目804中。每个子帧的子帧元数据15包括子帧常规信息806，例如分配给该子帧的子帧标识符(SF ID)、与从中提取除该子帧的原始视频帧相关联的信息(OF ID、OF计数、播放偏移量)、子帧位置和尺寸(SF位置、SF尺寸)以及将要显示该子帧的显示器的宽高比(SF比)。此外，如图9所示，特定子帧的子帧信息804可包括用于编辑该子帧的编辑信息806。图9中所示的编辑信息806的例子包括摇摄方向和摇摄率、缩放比例、色彩调整、滤光镜参数、对图像或视频序列的补充以及其他视频效果和相关参数。

图9是根据本发明实施例的视频处理电路的框图。视频处理电路900支持之前参照图1-8所描述的本发明的SMG或AVP系统。视频处理电路900包括处理电路910和本地存储930，它们一起存储和运行软件指令，并处理数据。处理电路910可以是微处理器、数字信号处理器、专用集成电路、或者可用于处理数据和运行软件操作的其它类型的电路。本地存储器930是随机存取存储器(电、磁RAM)、只读存储器、硬碟驱动器、光驱、和/或可存储数据和软件程序的其它存储器中的一种或多种。

视频处理电路900还包括显示器接口920、一个或多个用户接口917、以及一个或多个通信接口980。当运行SMG系统，视频处理电路900包括视频摄像机和/或视频摄像机接口990。视频处理电路900接收视频数据全帧序列。当视频摄像机被包括在视频处理电路900中时，视频摄像机撷取视频数据全帧序列。视频数据全帧序列被作为初始视频帧115存储在本地存储器930中。显示器接口连接到由视频处理电路900直接服务的一个或多个显示器上。用户接口917连接到一个或多个用户输入设备上，例如键盘、鼠标或其它用户输入设备。通信接口980连接到数据网络、DVD刻录机、或允许信息被带入视频处理电路900并从视频处理电路900写入的其它通信链路。

本地存储器930存储可被处理电路910运行的操作系统940。类似地，本地存储器930存储用于启动SMG功能和/或AVP功能950的软件指令。处理电路910执行SMG和/或AVP软件指令950，视频处理电路900即执行SMG功能和/或AVP功能操作。

视频处理电路900在进行撷取或生成之后，存储初始视频帧11(被编码或解码的源视频)和子帧元数据15(相似显示器元数据和/或目标显示器元数据)。当视频处理电路900运行SMG系统，视频处理电路900生成元数据15并将其作为子帧元数据15存储在本地存储器中。当视频处理电路900运行AVP系统，视频处理电路900可通过通信接口980接收子帧元数据15，供接下来用于处理同样通过通信接口980接收到的初始视频帧(或源视频12或14)。视频处理电路900也将软件指令存储在本地存储器930中，所述软件指令的执行可启动编码器和/或解码器操作960。

在一种特定操作中，处理电路910对视频应用解码和子帧处理操作，以生成视频数据子帧第一序列和视频数据子帧第二序列。视频数据子帧第一序列在视频数据全帧序列中所对应的区域与视频数据子帧第二序列在视频数据全帧序列中所对应的区域不同。此外，处理电路910通过将视频数据子帧第一序列与视频数据子帧第二序列合并，生成视频数据子帧第三序列。

处理电路910可编码视频数据子帧第三序列。处理电路910和编码器/解码器960可依次执行解码和子帧处理。处理电路910执行的解码和子帧处理可以是集成在一起的。处理电路可依照子帧元数据15来执行子帧处理。处理电路910在执行子帧处理之前，可根据目标显示设备的特征剪裁来剪裁(tailor)子帧元数据。处理电路910可根据目标显示设备的特征剪裁来剪裁视频数据子帧第三序列。

根据另一种操作，处理电路910对初始视频帧11应用子帧处理，以生成视频数据子帧第一序列和视频数据子帧第二序列。视频数据子帧第一序列由至少第一参数来定义，视频数据子帧第二序列由至少第二参数来定义。至少第一参数和至少第二参数都是元数据15。处理电路910接收元数据15进行子帧处理，并通过将视频数据子帧第一序列与视频数据子帧第二序列合并，生成视频数据子帧第三序列。视频数据子帧第三序列可以被传递，以显示在目标显示器上。处理电路910可在执行子帧处理之前剪裁元数据。处理电路910可使视频数据子帧第三序列适合显示在目标显示器上。

图10是根据本发明的实施例构建和操作的(客户端系统的，例如视频播放器、视频显示器、或视频播放器系统)自适应视频处理电路的示意框图。自适应处理电路1000包括解码器1002、元数据处理电路1004、元数据存储/剪裁电路1006、管理电路1008以及视频存储器1014。自适应处理电路1000还包括目标显示器剪裁电路1010和编码器1012。自适应处理电路1000接收原始源视频12、编码源视频14、相似显示器元数据16和/或目标显示器信息20。

自适应处理电路1000的解码器1002接收编码源视频14并对编码源视频14进行解码，以生成原始视频。可选地，自适应视频处理电路1000直接接收原始源视频16。原始视频16可存储在视频存储器1014。元数据剪裁电路1006接收相似显示器元数据16，管理电路接收目标显示器信息20和DRM/计费数据1016。管理电路也可与计费/DRM服务器36交换DRM/计费数据1016。

在它的操作中，元数据处理电路1004处理原始视频和元数据15(相似显示器元数据16或专属元数据32)以生成将到达目标显示器剪裁电路1010的输出。元数据剪裁电路1006接收相似显示器元数据16，并基于从管理电路1008接收到的接口数据，以产生专属元数据32。管理电路1008接收目标显示器信息20和DRM/计费数据1016，并生成至元数据剪裁电路1006、解码器1002、元数据处理电路1004、以及目标显示器剪裁电路1010中的一个或多个的输出。元数据处理电路1004根据从元数据剪裁电路1006接收的专属元数据32，处理原始视频，以生成输出，该输出可由目标显示器剪裁电路1010做进一步剪裁，以生成目标显示器视频36。目标显示器视频36可由编码器1012进行编码，以生成编码目标显示器视频34。

图10中的自适应处理电路1000中的每个组件都根据其接收到的任何或所有输入进行操作。例如，解码器1002可调整(tailor)其操作，以根据管理电路1008接收的信息对编码源视频14进行解码。这种处理可基于目标显示器信息20。此外，元数据剪裁电路1006可根据从管理电路1008接收的信息，修改相似显示器元数据16，以生成专属元数据32。元数据剪裁电路1006从管理电路1008处接收到的信息是基于目标显示器信息20的。相似显示器元数据16可对应于具有类似特性的一组或一类目标显示器。但是，自适应处理电路1000需要生成针对特定目标显示器的专属元数据32。因此，元数据剪裁电路1006根据目标显示器信息20和管理电路1008生成的相关信息，以修改相似显示器元数据16，从而生成专属元数据32。

元数据处理电路1004可修改原始视频，以根据相似显示器元数据16来生成显示器视频。可选地，元数据处理电路1004处理原始视频，以根据专属元数据32生成输出。但是，元数据处理电路1004不会生成最终格式的显示器视频。因此，目标显示器剪裁电路1010可使用管理电路1008提供的附加信息(基于目标显示器信息20)，进一步剪裁显示器视频，以生成目标显示器视频36。目标显示器剪裁电路1010执行的剪裁也体现在编码器1012生成的编码目标显示器视频34中。

视频存储器1014存储原始源视频16，同时也存储编码源视频14。视频存储器1014可接收输入到客户端系统1000的原始源视频16。可选地，视频存储器1014可从解码器1002的输出中接收原始视频。元数据处理电路1004对从外部源或者视频存储器1014接收到的原始视频进行操作。管理电路1008与图1中的计费/DRM服务器36进行交互，以执行数字权限管理和计费操作。在执行数字权限管理和计费操作的过程中，管理电路1008可以与计费/DRM服务器36交换DRM/计费数据。

图11是根据本发明实施例的视频处理过程的流程图。根据本发明的视频处理电路的操作1100从接收视频数据(步骤1110)开始。当所接收到的视频数据为编码格式时，视频处理电路对视频数据进行解码(步骤1112)。接下来视频处理电路接收元数据(步骤1114)。该元数据可以是之前描述的通用元数据、类似元数据或者专属元数据。当接收类似元数据或通用元数据时，图11中的操作包括根据目标显示器信息剪裁元数据(步骤1116)。步骤1116是可选的。

然后，图11的操作包括基于元数据对视频数据进行子帧处理(步骤1118)。接下来，操作包括基于目标显示器信息20剪裁在步骤1118生成的视频数据的输出子帧序列(步骤1120)。步骤1120的操作产生专属的视频数据子帧输出序列。然后，可选的，该视频数据子帧的输出序列可进行编码(步骤1122)。最后，视频数据子帧序列被输出到存储器，通过网络输出至目标显示器，或者以其它方式输出或输出至其它地方(步骤1124)。

根据图11的一个特定实施例，视频处理系统接收表示视频数据全帧序列的视频数据。然后视频处理系统对视频数据进行子帧处理，以生成视频数据子帧第一序列和视频数据子帧第二序列。视频数据子帧第一序列由至少第一参数定义，视频数据子帧第二序列由至少第二参数定义。至少第一参数和至少第二参数均包括元数据。然后视频处理电路通过将视频数据子帧第一序列与视频数据子帧第二序列合并，生成视频数据子帧第三序列。

在这个实施例中，视频数据子帧第一序列对应于视频数据全帧序列中的第一区域，而视频数据子帧第二序列则对应于视频数据全帧序列中的第二区域，其中第一区域与第二区域不同。

图12是根据本发明的实施例构建和操作的组合视频/元数据分发服务器的功能框图。组合视频/元数据分发服务器10c可用硬件、软件、或硬软件的结合来实现。在某些实施例中，组合视频/元数据分发服务器10c可以是通用微处理器、专用微处理器、数字信号处理器、专用集成电路、或者可用来执行软件指令并处理数据以完成参照图1-11和15-16所描述功能的其它数字逻辑。本发明的组合视频/元数据分发服务器1400的构造的一个例子在图14中示出，并将参照它进行进一步描述。

组合视频/元数据分发服务器10c接收一个或多个输入，并生成一个或多个输出。通常，组合视频/元数据分发服务器10c接收视频数据全帧序列11、元数据15、以及目标显示器信息20。视频数据全帧序列11可以是被编码的源视频12或者原始源视频14。视频数据全帧序列11是视频摄像机或撷取系统所撷取的那些视频数据全帧序列，上文已参照图3-9做进一步描述。视频数据全帧序列11可直接从摄像机接收得到，也可从诸如服务器等存储设备中接收得到，或者可从DVD之类的媒介中接收得到。

组合视频/元数据分发服务器10c可通过有线或无线连接直接从摄像机处接收视频数据全帧序列11，或者通过有线或无线连接从存储设备接收视频数据全帧序列11。有线或无线连接可以由以下中的一种或者几种组合提供：无线局域网(WLAN)、广域网(WAN)、互联网、局域网(LAN)、卫星网络、电缆网或这些类型的网络的组合。一旦接收到视频数据全帧序列11，组合视频/元数据分发服务器10c就将视频数据全帧序列存储在存储器中，并根据要求立即使用临时存储器对视频数据全帧序列11进行操作。

组合视频/元数据分发服务器10c接收的第二输入是元数据15。元数据15包括相似显示器元数据和/或目标显示器元数据18。通常，如上文参照图2-11所描述的一样，元数据15是被组合视频/元数据分发服务器10c用来修改视频数据全帧序列11、以产生用于显示在一个或多个目标视频设备上的输出的信息。元数据被用于修改视频数据全帧序列11的方式已参照图6-10进行了描述，下文将参照图15-16做进一步描述。

从相似显示器元数据16和目标显示器元数据18的名称可以明白，组合视频/元数据分发服务器10c接收的特定元数据是特定地发送到一个目标显示器，或者通常地发送到一组目标显示器。例如，相似显示器元数据16可包括一组相似显示器的特定元数据。这些类似的显示器可能有相同的解析度、相同的宽高比、和/或该组相同的其它特征。目标显示器元数据18对应于目标视频播放器的一个特定目标显示器。目标显示器元数据18被进行针对性地剪裁，用于修改视频数据全帧序列11，以生成目标显示器视频。

组合视频/元数据分发服务器10c接收的附加输入是目标显示器信息20。目标显示器信息20可包括目标视频播放器的目标显示器的解析度、目标视频播放器的目标显示器的宽高比、目标视频播放器的目标显示器即将接收的视频数据的信息格式、或者针对目标视频播放器的目标显示器的其它信息。组合视频/元数据分发服务器10c可使用目标显示器信息20来进一步修改视频数据全帧序列和/或元数据15，或剪裁至目标视频播放器的特定目标显示器的输出视频。

在它的各种操作中，组合视频/元数据分发服务器10c产生两种类型的视频数据以及DRM/计费信号38。第一种类型的输出31包括编码源视频14、原始源视频16、相似显示器元数据16以及目标显示器元数据32。编码源视频14仅被组合视频/元数据分发服务器10c作为输出来馈通(feed through)。类似地，原始源视频16仅被组合视频/元数据分发服务器10c作为输出来馈通。通过基于目标显示器信息20处理相似显示器元数据16和/或目标显示器元数据18，馈通或生成目标显示器元数据18。具有目标显示器的目标视频播放器系统使用该目标显示器元数据18生成针对该目标显示器的专属视频。目标视频播放器系统可使用目标显示器元数据18，并结合编码源视频12和原始源视频14中的一个或多个，以生成目标显示设备的显示器信息。

组合视频/元数据分发服务器10c产生的第二种类型的输出是显示器视频33，其中包括编码目标显示器视频34和/或目标显示器视频36。组合视频/元数据分发服务器10c生成这些输出34和36，用于显示在目标视频播放器系统的目标显示器上。编码目标显示器视频34和目标显示器视频36中的每一个都基于视频输入11、元数据15、以及目标显示器信息20而生成。生成目标显示器视频34和目标显示器视频36的方式取决于组合视频/元数据分发服务器10c的特定操作。组合视频/元数据分发服务器10c的这些特定操作中的某些操作将会参照图15-16做进一步描述。

组合视频/元数据分发服务器10c的管理电路30c执行视频处理操作、元数据处理操作、目标显示器信息处理操作、DRM操作、以及计费操作。组合视频/元数据分发服务器10c的DRM操作不仅虑及输入源视频11和输入源数据15，还虑及输出31和33。可以与远程DRM/计费服务器36和/或其它设备一起进行DRM操作，以确保它的操作不会侵犯所有者的知识产权利益。

管理电路30c的计费操作为组合视频/元数据分发服务器10c执行的操作开始用户计费。例如，目标视频播放器系统(客户端系统)的用户请求组合视频/元数据分发服务器10c根据原始源视频14剪裁目标显示器视频36。管理电路30c的DRM操作首先判断(使用目标视频播放器系统的)用户是否有权限访问将用于生成目标显示器视频36的原始源视频14、元数据15、以及目标显示器信息20。接下来管理电路30c开始计费操作，这使得用户被计费，否则通知是否收取费用。

在组合视频/元数据分发服务器10c的一个操作实例中，组合视频/元数据分发服务器10c接收编码源视频12。然后组合视频/元数据分发服务器10c对编码源视频12进行解码。接下来组合视频/元数据分发服务器10c使用元数据15和/或目标显示器信息20对解码的源视频进行操作，以生成目标显示器视频36。接下来，组合视频/元数据分发服务器10c对目标显示器视频36进行编码，以生成编码目标显示器视频34。所生成的编码目标显示器视频34专门用于显示在目标显示器上。因此，目标显示器元数据18和/或目标显示器信息20被用于处理未编码源视频，以生成专属于特定目标视频设备及其对应的目标显示器的目标显示器视频。目标显示器视频具有与目标显示器相对应的解析度、宽高比、帧率等与。当生成编码目标源视频34时，它具有这些特性以及专属于目标显示器的编码格式。

在组合视频/元数据分发服务器10c的另一个操作实例中，组合视频/元数据分发服务器10c接收原始源视频14。原始源视频14包括视频数据全帧序列。组合视频/元数据分发服务器10c处理原始源视频14、元数据15、以及目标显示器信息20，以生成目标显示器视频36。与编码目标显示器视频34的操作相反，组合视频/元数据分发服务器10c不对目标显示器视频36进行编码。

在组合视频/元数据分发服务器10c的另一种操作中，组合视频/元数据分发服务器10c接收相似显示器元数据16和目标显示器信息20。组合视频/元数据分发服务器10c接收的相似显示器元数据16不是特定用于某一个目标视频播放器的目标显示器，而是针对具有某些共同特征的一类视频显示器。组合视频/元数据分发服务器10c根据目标显示器信息、使用元数据处理操作来修改相似显示器元数据16，以生成针对一个或多个特定目标视频显示器的专属元数据32。

组合视频/元数据分发服务器10c可处理元数据和源视频，以生成编码目标视频34和/或目标显示器视频36，然后将其存储以供之后的分发。例如，当请求组合视频/元数据分发服务器10c为第一目标显示视频播放器生成目标显示器视频33时，组合视频/元数据分发服务器10c存储所生成的目标显示器视频33的备份。接下来，在后续的操作中，当另一目标视频播放器/客户端设备为相同的视频显示器请求目标显示器视频时，组合视频/元数据分发服务器10c访问之前已生成并存储的视频，然后将所存储的视频分发到请求客户端设备。组合视频/元数据分发服务器10c可对管理电路30c生成的目标显示器元数据18进一步执行这些操作。因此，例如，当组合视频/元数据分发服务器10c对相似显示器元数据16进行操作，以根据目标显示器信息20生成目标显示器元数据18时，组合视频/元数据分发服务器10c在其存储器中保存该目标显示器元数据18c的备份。随后，组合视频/元数据分发服务器10c将目标显示器元数据分发给另一个请求客户端系统。

图13是根据本发明的实施例构建和操作的元数据分发服务器的功能框图。元数据分发服务器10b存储并分发相似显示器元数据16b、目标显示器元数据18b、目标显示器信息20b、DRM数据1302、以及计费数据1304。元数据分发服务器10b还包括管理电路30b，用于执行元数据处理操作、目标显示器信息处理操作、DRM操作、以及计费操作。元数据分发服务器10的物理结构包括有与图14中的组合视频/元数据分发服务器1400相同/类似的结构组件，在此将参照附图做进一步描述。

在其操作中，元数据分发服务器10b接收包括相似显示器元数据1 6和目标显示器元数据18的元数据。元数据分发服务器10b将相似显示器元数据16存储为相似显示器元数据16b，将目标显示器元数据18存储为目标显示器元数据18b。元数据分发服务器10b可仅提供子帧元数据16b和18b作为输出31(相似显示器元数据16和目标显示器元数据18)。此外，在它其操作中，元数据分发服务器10b可处理相似显示器元数据10b，以生成目标显示器元数据18b。根据相似显示器元数据16b来生成目标显示器元数据18b的这一操作是基于被作为输入来接收的目标显示器信息20b的，并由管理电路30b的元数据处理操作来完成。接下来，元数据分发服务器10b分发目标显示器元数据18b。

元数据分发服务器10b还利用其管理电路30b的操作来支持DRM和计费操作。在这种操作的一个例子中，客户端系统要求元数据分发服务器10b提供目标显示器元数据18，这样客户端系统可对视频数据进行子帧处理。但是，在元数据分发服务器10b将目标显示器元数据18提供给请求客户端系统之前，管理电路30b的DRM和计费操作判断客户端系统是否有权限接收

目标显示器元数据18。在判断客户端系统是否有权限接收目标显示器元数据18的过程中，元数据分发服务器10b可以与计费/DRM服务器36交互，通过DRM/计费信号38来交换DRM/计费信息。然后元数据分发服务器10b将目标显示器元数据18提供给请求客户端设备，并对该操作进行计费以供后续的计费和DRM操作之用。

图14是根据本发明的实施例构建和操作的元数据分发服务器的示意框图。根据本发明构建的视频分发服务器10a和/或元数据分发服务器10b的结构可以有类似的构造，但是支持不同的功能。组合视频/元数据分发服务器1400包括处理电路1402、本地存储器1404、显示器接口1406、一个或多个用户输入接口1408、以及通过一个或多个通信总线连接的一个或多个通信接口1410。处理电路1402可包括微处理器、数字信号处理器、专用处理器、一个或多个状态机和/或能够处理数据并执行软件指令以完成本发明的操作的任何类型的电路。本地存储器1404包括以下中的一个或多个：随机存取存储器、只读存储器、硬碟驱动器、光驱、和/或可存储数据和软件指令的其它类型的存储器。处理电路1402和本地存储器1404之间的交互使指令和数据在本地存储器1404与处理电路1402之间传输。通过数据和软件指令的传输，处理电路1402可执行逻辑指令，以教导实施本发明。

显示器接口1406支持一个或多个视频显示器，该显示器允许用户与组合视频/元数据分发服务器1400交互。用户输入接口1408支持一个或多个输入设备，例如，键盘、电脑鼠标、声音接口、和/或允许用户将数据中的指令输入到组合视频/元数据分发服务器1400的其它类型的接口。通信接口1410将组合视频/元数据分发服务器1400连接到其他设备，以完成本发明的操作。参照图1，组合视频/元数据分发服务器1400(10c)通过通信架构156与服务器10a、10b以及视频播放器20、26和28相连。此外，通信接口1410支持组合视频/元数据分发服务器1400(10c)与播放器信息服务器34及计费/DRM服务器36之间的通信。

仍参照图14，本地存储器1404存储软件指令和数据，一旦执行就支持根据本发明的操作以及附加操作。本地存储器1404存储操作系统1412，操作系统1412通常用于启动组合视频/元数据分发服务器1400的操作。本地存储器1404存储包括一个或多个编码源视频12和原始源视频14的源视频11。本地存储器1404存储包括一个或多个相似显示器元数据16和目标显示器元数据18的子帧元数据15。本地存储器1404存储目标显示器信息20。此外，本地存储器1404存储相似显示器视频1416和目标显示器视频1418。最后，本地存储器1404存储DRM/计费数据1420。

本地存储器1404还存储支持组合视频/元数据分发服务器1400的操作的软件指令和数据。这些操作包括编码/解码操作1422、子帧处理操作1424、元数据处理操作1426、DRM操作1428、和/或计费操作1430。这些操作1422-1430以及所存储的数据11、15、20、1414和1420使组合视频/元数据分发服务器1400支持本发明的操作，这些操作在上文已参照图1-13进行了描述，下面将参照图15和16进行描述。

图15是根据本发明实施例的元数据/视频分发和处理操作的流程图。操作从分发服务器接收和存储视频序列(步骤1502)开始。视频序列可以是初始视频序列或之前处理过的子帧视频序列。接下来分发服务器接收并存储元数据(步骤1502)。元数据对应于一类目标显示器(客户端系统)或者对应于目标客户端系统的特定显示器。

操作继续至分发服务器接收来自客户端系统的元数据请求(步骤1504)。该元数据请求可包括客户端系统的目的显示器的品牌和型号、特殊标识元数据、或某一类显示器的通用元数据请求。接下来，分发服务器执行数字权限管理操作(步骤1506)来判断请求客户端系统是否有权限获取所请求的数据。如果请求客户端系统没有权限获取该元数据，则操作结束于步骤1506。但是，如果客户端系统确实有权限获取元数据，分发服务器执行计费操作(步骤1508)。使用这些计费操作，分发服务器可确定客户端系统之前已经为所请求的元数据付费。可选地，分发服务器可确定请求客户端系统必须另外付费以接收元数据，则分发服务器执行计费操作以完成这些附加的计费。

然后，分发服务器从存储器获取所请求的元数据(步骤1510)。但是，分发服务器可确定它没有提取所请求的元数据。在这种情况下，分发服务器从存储器获取类似元数据16，并基于客户端系统的特征/目标显示器信息对类似元数据进行剪裁(步骤1512)，以生成专属元数据32(步骤1512)。接下来，分发服务器将元数据传输给客户端系统(步骤1514)。所传输的元数据可以是相似显示器元数据16和/或目标显示器目标显示器元数据18中的一个或多个。此外，当分发服务器也存储视频数据时，在步骤1541中，分发服务器可将所请求的视频序列传输给客户端系统。然后，客户端系统可使用元数据生成针对其对应显示器的专属视频(步骤1516)。在步骤1516，操作结束。

图16是根据本发明实施例的元数据/视频分发和处理操作的流程图。图16的操作1600开始于分发服务器可选地接收和存储视频序列(步骤1602)。接下来，操作1600继续至分发服务器接收和存储元数据(步骤1604)。接下来，分发服务器从客户端系统接收专属视频请求(步骤1606)。该请求可基于对应显示器的序列号、对应显示器的品牌和型号、或者允许分发服务器判断其应该提供何种版本的子帧处理视频给客户端系统的其他信息，来识别客户端系统。

然后分发服务器在步骤1608执行DRM操作，并在步骤1610执行计费操作。在步骤1609和1610的一个中，分发服务器可确定请求客户端系统没有权限接收所请求的专属视频，进而结束该操作。可选地，分发服务器可确定请求客户端系统确实有权限获得所请求的专属视频，并相应地进行计费或指示。

然后分发服务器从存储器获取元数据(步骤1612)，还从存储器获取视频序列(步骤1614)。然后，可选地，分发服务器基于客户端系统/目标显示器特征剪裁元数据(步骤1616)。如之前参照图1-15所描述的一样，分发服务器可采用多种不同特定次序中的一种来完成该操作。例如，分发服务器可从存储器获取源视频并处理该源视频。可选地，分发服务器可确定所请求的专属视频存储在存储器中，并在步骤1612中简单地获取这些专属视频。此外，分发服务器可从存储器中访问专属元数据或相似显示器元数据。当从存储器访问到相似显示器元数据时，分发服务器执行步骤1616的操作，基于客户端系统的特征可选地剪裁元数据。此外，当分发服务器没有存储可满足专属视频请求的专属视频时(步骤1606)，分发服务器使用专属元数据或类似元数据生成针对客户端系统的显示器的专属视频序列(步骤1618)。接下来，分发服务器将专属视频序列传输到客户端系统(步骤1620)。在步骤1620，操作结束。

本领域普通技术人员可知，本申请中所使用的短语“可通信地连接”包括有线的和无线的、直接的连接和通过其它组件、元件或模块的间接连接。本领域普通技术人员还可知，推定连接(即推定一个部件与另一个部件连接)包括两个部件之间与“可通信地连接”方式相同的无线的和有线的、直接的和间接的连接。

本发明通过借助方法步骤展示了本发明的特定功能及其关系。所述方法步骤的范围和顺序是为了便于描述任意定义的。只要能够执行特定的功能和顺序，也可应用其它界限和顺序。任何所述或选的界限或顺序因此落入本发明的范围和精神实质。

本发明还借助功能模块对某些重要的功能进行了描述。所述功能模块的界限和各种功能模块的关系是为了便于描述任意定义的。只要能够执行特定的功能，也可应用其它的界限或关系。类似地，在此还借助流程图来解释某些重要的功能。就使用来说，可定义其它的流程图界限和顺序，仍执行某些重要功能。所述功能性模块和流程图的其它界限或关系也因此落入本发明的范围和精神实质。

本领域普通技术人员还可知，本申请中的功能模块和其它展示性模块和组件可实现为离散组件、专用集成电路、执行恰当软件的处理器和前述的任意组合。

此外，尽管以上是通过一些实施例对本发明进行的描述，本领域技术人员知悉，本发明不局限于这些实施例，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。本发明的保护范围仅由本申请的权利要求书来限定。

Claims (10)

1、一种视频服务器，用于处理表示视频数据全帧序列的编码视频数据，其特征在于，所述视频服务器包括：

通信接口；

用于存储编码视频数据和子帧元数据的存储器；

连接到所述通信接口和存储器的处理电路，所述处理电路用于：

对编码视频数据进行解码，以生成视频数据全帧序列；

基于子帧元数据对视频数据全帧序列进行子帧处理，以生成视频数据子帧第一序列和视频数据子帧第二序列，视频数据子帧第一序列在视频数据全帧序列中所对应的区域与视频数据子帧第二序列在视频数据全帧序列中所对应的区域不同；

通过将所述视频数据子帧第一序列与视频数据子帧第二序列合并，生成视频数据子帧第三序列；以及

通过所述通信接口发送视频数据子帧第三序列。

2、根据权利要求1所述的视频服务器，其特征在于，所述处理电路编码所述视频数据子帧第三序列。

3、根据权利要求1所述的视频服务器，其特征在于，由所述处理电路实施的所述解码和子帧处理是集成在一起的。

4、根据权利要求1所述的视频服务器，其特征在于，所述处理电路在执行所述子帧处理之前，基于目标显示设备的特征剪裁所述子帧元数据。

5、一种分发服务器电路，用于支持客户端设备的视频全屏序列，其特征在于，所述分发服务器电路包括：

通信接口；

存储器接口；

与所述通信接口和存储器接口相连的处理电路；

所述处理电路通过所述存储器接口获取视频全屏序列和与所述视频全屏序列相关的子帧元数据，所述子帧元数据定义了视频全屏序列中的多个不同子帧；

所述处理电路根据所述视频全屏序列和所述子帧元数据生成专属视频；

所述处理电路通过所述通信接口将所述专属视频发送到所述客户端设备。

6、根据权利要求5所述的分发服务器电路，其特征在于，所述客户端设备具有显示器特征，且根据所述显示器特征来选择所述子帧元数据。

7、一种分发服务器，其特征在于，可通信地连接到通信网络，支持客户端系统的多个视频序列，多个视频序列中的每一个表示一系列视频数据全帧，所述分发服务器包括：

处理电路；

通过通信接口将所述处理电路与所述客户端系统通信连接的通信接口电路；

包含与多个视频序列相关的多个子帧元数据的存储器；且

所述处理电路与所述客户端系统合作，所述合作的结果是将所述多个子帧元数据的第一子帧元数据应用于所述多个视频序列的第一视频序列，从而为所述客户端系统生成专属视频。

8、根据权利要求7所述的分发服务器，其特征在于，所述合作包括，所处理电路将所述多个元数据的第一元数据应用于所述多个视频序列的第一视频序列，从而为客户端设备生成专属视频。

9、一种通过分发服务器为客户端系统生成专属视频的方法，其特征在于，所述分发服务器通过通信网络可通信地连接到所述客户端系统，且支持所述客户端系统的多个视频序列，所述多个视频序列中的每一个表示一系列的视频数据全帧，所述方法包括：

通过所述通信网络接收来自所述客户端系统的请求，所述请求与专属视频相关；

根据所述请求，访问与所述多个视频序列相关的多个子帧元数据的第一子帧元数据，所述第一子帧元数据与所述客户端系统相关；以及

与所述客户端系统合作，以将所述第一子帧元数据应用于所述多个视频序列的第一视频序列，从而为所述客户端系统生成专属视频。

10、根据权利要求9所述的方法，其特征在于，与所述客户端系统合作，以将所述第一子帧元数据应用于所述多个视频序列的第一视频序列，从而为所述客户端系统生成专属视频包括：所述分发服务器将所述多个元数据中的第一个元数据应用于所述多个视频序列的第一个视频序列，从而为所述客户端系统生成专属视频。

Images