CN106790558B - 一种影片多版本整合存储和提取系统 - Google Patents

Abstract

本发明涉及一种影片多版本整合存储和提取系统，包括：以太网络与上载导入工作站、带有监视器的QC工作站、影片著录工作站、视音频处理集群、影片管理服务器、影片门户服务器、分级存储管理子系统连接，所述的上载导入工作站、QC工作站、视音频处理集群、分级存储子系统与所述的FC网络连接；分级存储子系统包含：归档迁移服务器、在线存储服务器和近线存储器。本发明通过画面压缩和浏览增加多种语言等方式，在最大程度保证影片声画质量的前提下，缩小影片多版本的存储空间，优化影片存储制作过程，提高影片应用时的效率。同时通过言语和画面分开存储的方式，允许多种言语的对白和字幕产生，形成画面和字幕、语言的多种版本，以适应多种用户的需要。

Description

一种影片多版本整合存储和提取系统

技术领域

本发明涉及一种影片多版本整合存储和提取系统，是一种计算机数据存储系统，是一种将电影胶片或磁带录制的电影节目，更改为面向多语种、多渠道便捷利用的制式后，存储和提取系统。

背景技术

电影前期拍摄主要采用胶片拍摄，或近年逐渐兴起的数字拍摄。拍摄记录的声音、画面采用分离方式存储，画面记录在胶片中，声音记录在录音带中。影片后期剪辑过程中，会产生不同语种语音、字幕，电影画面与多语种语音、字幕组合，形成影片的多种母版，作为后继影片制作、发行、价值再挖掘的基础，影片母版需采用尽量高的质量进行存储。

现有方式是采用录像带进行存储。录像带可以同时存储画面和声音，制作人员先将影片画面录制到录像带中，再寻找画面声音的同步点，将声音逐一录制到录像带的音频轨道，以便回放时声音和画面可以同步还原。同一部影片，不同的语种，需要按照以上方法分别制作多盘录像带进行保存。如果要求影片画面显示对白字幕，还需录制更多的录像带。

因为影片节目存在多语种多版本的特点，现有录像带存储方式，所需录像带量会很大，成本高昂。导致不得不舍弃部分母版的存储，取而代之的是在将来利用时重新制作。同时录像带只能存储HD规格的影片，对于2K、4K、3D等新的影片规格则无法支持。

发明内容

为解决现有技术的问题，本发明提出一种影片多版本整合存储和提取系统。所述的系统旨在最大程度保证影片声画质量的前提下，缩小影片多版本的存储空间，优化影片存储制作过程，提高影片应用时的效率。

本发明的目的是这样实现的：一种影片多版本整合存储系统，包括：以太网络和FC网络，所述的以太网络与上载导入工作站、带有监视器的QC工作站、影片著录工作站、视音频处理集群、影片管理服务器、影片门户服务器、分级存储管理子系统连接，所述的上载导入工作站、QC工作站、视音频处理集群、分级存储子系统与所述的FC网络连接；所述的分级存储子系统包含：归档迁移服务器、在线存储服务器和近线存储器，上载导入工作站与硬盘录像机和高清录像机连接，所述的硬盘录像机和高清录像机与胶转磁设备连接；

所述的系统包含 ：画面文件采集子系统、画面文件压缩子系统、音频采集子系统、声画同步子系统、低码率转码子系统、编目子系统，媒资数据库；

画面文件采集子系统：用于采集影片画面母版，如果影片母版画面源为胶转磁，则扫描生成图像序列文件，如果影片母版为数字电影母版，则直接采集为图像序列文件；

画面文件压缩子系统：用于将图像序列文件转码为无损压缩 视频文件；

音频采集子系统：用于画面文件压缩子系统将图像序列文件转码为无损压缩视频文件

声画同步子系统：用于将分离采集的画面文件和声音文件，在声画同步子系统中进行声画同步，主要方法是在时间线上浏览视频和音频，以画面内容为参照物，通过声音波形、声音回放寻找音频与视频在时间上的偏移量，反复调整便宜量，使得画面口型与声音达成匹配，确认偏移量后，锁定声音与视频的同步关系；

转低码率子系统：用于转码集群子系统读取影片的无损压缩视频和声音文件，根据同步关系生成低码率视音频流媒体文件，该低码率文件的时码与无损压缩视频文件的时码帧帧对应；

编目子系统：用于参照低码率视音频文件，对影片进行编目著录，包括：

对影片的节目层进行编目，填写影片的基本信息；

浏览低码率视音频内容，在播放器上标记入点、出点，将入出点间内容记录为一个片段，对片段进行编目，填写片段的属性信息；或基于低码率标记场景、镜头，分别进行详细编目；编目信息使用媒资数据库进行存储；

媒资数据库：编目完成后，影片即入媒资数据库并对外发布，供用户检索浏览。

进一步的，所述的系统还包括：

增补多语种声音采集子系统：用于音频采集子系统将每个新增的语种声音采集为多声道声音文件；

多语种声画同步子系统：用于采用媒资数据库中母版的低码率视频为参照物，在声画同步系统中寻找新增语种声音的时码便宜量，调整便宜量，使得画面口型与声音达成匹配，并锁定新增语种声音与画面的同步关系；

增补多语种声音文件入库子系统：用于将增补的各语种的声音文件，入媒资数据库后，每部影片存储的文件分别为一个高分辨率的无损压缩视频文件、多语种声音文件、多声道声音文件、多个语种的对白字幕文件、一个低码率视音频文件，这些文件间在时码上是帧帧对应的。

进一步的，所述的系统还包括：

制作对白字幕子系统：用于采用媒资数据库中母版的低码率视音频为参照物，在字幕制作系统中，回放视音频，并根据画面、声音逐句制作对白字幕，形成带时码信息的对白字幕文件；

增补对白字幕文件入库的步骤：用于将对白字幕文件分别入媒资数据库存储；入媒资数据库后，每部影片存储的文件分别为一个高分辨率的无损压缩视频文件、多语种声音文件、多声道声音文件、多个语种的对白字幕文件、一个低码率视音频文件，这些文件间在时码上是帧帧对应的。

一种提取权利要求1所述文件的影片多版本整合提取系统：

检索影片子系统：用于通过全文、关键词的方式在媒资数据库中对影片进行检索，检索结果将列出所有影片节目；

浏览影片内容子系统：用于进入影片详情，查看影片详细编目信息，同时播放浏览影片的低码率视音频内容；

提交下载请求子系统：用于对所选中的浏览影片母版，申请下载；下载时选择：

影片视音频文件、某语种音频文件、某语种字幕文件，并设定下载目标文件的格式；

视频格式可选择：4K、2K、HD、SD或其他低码率格式；

整篇下载或选择下载：选择整篇下载则下载完整的影片，选择下载则选取片段或场景或镜头进行下载；

转码合成子系统：用于转码子系统根据下载请求，读取视音频、音频、字幕文件以及时码关系，进行转码合成，生成预先设定的影片格式文件；

输出子系统：用于将合成的影片格式文件输出。

本发明产生的有益效果是：本发明通过画面压缩和浏览增加多种语言等方式，在最大程度保证影片声画质量的前提下，缩小影片多版本的存储空间，优化影片存储制作过程，提高影片应用时的效率。同时通过言语和画面分开存储的方式，允许多种言语的对白和字幕产生，形成画面和字幕、语言的多种版本，以适应多种用户的需要。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是本发明实施例一所述系统的原理图；

图2是本发明实施例一所述系统的工作流程图；

图3是本发明实施例四所述系统的原理图；

图4是本发明实施例四所述系统的工作流程图。

具体实施方式

实施例一：

本实施例是一种影片多版本整合存储和提取系统，如图1所示，所述系统的工作流程如图2所示。本实施例包括：以太网络和FC网络，所述的以太网络与上载导入工作站、带有监视器的QC工作站、影片著录工作站、视音频处理集群、影片管理服务器、影片门户服务器、分级存储管理子系统连接，所述的上载导入工作站、QC工作站、视音频处理集群、分级存储子系统与所述的FC网络连接；所述的分级存储子系统包含：归档迁移服务器、在线存储器和近线存储器，上载导入工作站与硬盘录像机和高清录像机连接，所述的硬盘录像机和高清录像机与胶转磁设备连接。

本实施例所述的系统采取双网结构和以标清素材进行预编辑的方式。

胶转磁设备：是将电影胶片转为录像带或硬盘介质存储的装置。其原理是通过投影扫描将每格胶片扫描为一幅图像，按照一定的速度输出是基带信号，顺序记录在磁带上，或者保存为图片序列文件。

高清录像机：是用于录制胶转磁信号的录像装置。

上载导入工作站：是用于影片数字采集或文件导入的装置，内置广播级4K I/O视音频板卡，可接入4K SDI、2K SDI、HD SDI、SDI等多种不同接口类型的信号，并进行实时无损压缩编码，形成视音频数据以文件形式存储在工作站本地高速SSD中。

上载导入工作站也可以导入影片母版图像序列文件，支持的文件包括：4K 16bitDPX图像序列、2K 12bit 图像序列、HD 10bit图像序列，这些文件序列保存到工作站本地高速SSD中。上载导入工作站提供初级编目功能，可对采集或导入的文件进行著录描述。

视音频处理集群：是由多个计算节点组成的分布式多格式视音频转码系统。通过调用集群的API，可以向集群发起从一种源格式向多种目标格式的转码请求，请求会被切分为多个片段转码任务，由多个转码节点分别执行，随后通过文件系统快速合成为一个完整的视音频文件，放置到请求指定的存储目标路径。转码任务完成后，转码集群会回调发起系统完成反馈。

视音频处理集群：还负责对影像声音内容进行自动技审，根据预设的指标参数，识别出不合格的画面和声音内容，为人工复检提供参考。不合格内容分析主要包括：黑场、静帧、彩条、响度超标等20多种现象。

本系统中视音频处理集群主要承担：生成代理码率文件、自动技审、提取视音频参数信息、转码生成多种利用格式的任务。视音频处理集群，基于X86结构设计，采用开放式架构设计，Codec算法可以在框架内增加、扩展升级。

QC工作站：是用于进行视音频文件质量控制的设备，内置广播级4K I/O视音频板卡，将图像声音实时解码并通过SDI接口输出到专业监视器，审片人员通过观看声画内容进行主观技术审核。QC工作站读取后台自动技审报告，提示审片人员可能存在问题的片段，审片人员也可以自行标注或修改问题片段，形成最终的技审结果。

影片著录工作站：是用于编目著录影片和审核著录结果的设备。著录管理员将编目任务分配给不同的流水线的著录员，著录人员领取任务进行影片的编目著录，通过播放器浏览低码率画面与声音，填写属性字段；对画面进行入点和出点标记，可以切分出影片的片段/场景/镜头，每个片段/场景/镜头可分别进行著录描述。

审核员在审核时可观看低码率声画内容、节目层著录信息、片段/场景/镜头的分层著录信息，对于有问题的著录项，可进行标记和描述，并将任务打回给原著录员；著录员看到打回的任务，其中问题著录项被标记成不同的颜色，便于快速区分和修改，完成修改后可再次提交审核员；被终审通过的影片，才能最终被发布出来。

影片门户服务器：是影片对外发布的软件系统。门户首页分板块呈现影片库的内容，包括分类呈现、置顶、智能推荐、排行榜等板块，用户可以通过首页获得最新、最热门的影片资料。影片门户服务器的后台由搜索引擎支撑，搜索引擎会创建所有影片的索引信息；用户在影片门户搜索框中输入搜索词，可以进行全文搜索，对不同的分类可以配置不同的条件模板，进行精细过滤。

用户浏览影片的详细信息，包括著录项和低码率声画内容，对于感兴趣的影片可以进行收藏、下载等操作；下载利用可选择预设的多种格式，后台视音频处理集群会自动完成格式转换。

影片管理服务器：是维护影片结构的后台软件服务器。管理员可以进行创建影片、下发影片上载任务、发起编目任务、调整影片母版、文件关联关系、维护影片授权等操作。影片管理服务器还提供影片著录标准的维护，提供一套基于流水线的影片编目著录服务。

分级存储管理子系统：由在线存储器、近线存储器和归档迁移服务器组成。

在线存储器为高速硬盘阵列，分为多个存储区，面向内部各模块系统共享访问，主要用于保存所有低码率文件，以及缓存无损压缩后的高码率文件。

近线存储器为数据流磁带库设备。当在线存储系统的存储空间达到一定水位线，无损压缩的高码率文件就被归档迁移服务器自动迁移至数据流磁带库中，同时清除在线存储系统中的相关文件，释放在线存储空间。

当用户下载影片无损压缩高码率文件时，系统自动判断文件存储位置，如果在线存储系统中没有该文件，则自动从近线存储系统回迁到在线。

分级存储系统有效降低了高昂的高速硬盘存储系统成本支出，并实现自动化的多级数据迁移利用。

网络系统采用由以太网络和FC网络组成的双网结构。以太网连接所有工作站和软件系统，承担管理指令、元数据访问的功能，FC网络提供高速的视音频文件读写支持。

本实施例以标清素材进行预编辑，标清设备要比高清设备便宜的多，节省投资；标清素材流量小得多，减少对网络、存储器的带宽要求；标清编辑速度快，先用标清作编辑，可以减少审片可能造成的重新编辑所花费的时间，有利于提高效率。

画面文件压缩子系统：电影数字节目平台及应用管理系统（高清部分）中视频信号采用无损压缩（lossless）算法，因此，压缩后的节目码率比较高。对1920×1080分辨率的节目来说，其码率会在400Mbps（50MB/s）左右。如此高的码率在以太网络中快速传输是不可能实现的，本实施例采用光纤与以太网相结合的存储区域网络技术，组织成双网结构，实现视音频数据和控制信息的共同传输。

同时，考虑到高清节目码率非常高，如果每一个编辑站点都采用高清素材进行编辑，不仅使设备投资高（高清设备都非常昂贵），站点的数量也受到在线存储体带宽的限制无法扩展，编辑和处理速度也大受影响。从优化系统方案的角度，本实施例引入了双码率编辑技术。

在电影数字节目平台及应用管理系统中的视频素材保存了高标清两种格式：一种是高码率的无损压缩高清素材，用来产生最终的成片节目，细分为24psf与50i两个版本；另一种是码率较低的标清素材，用来进行高清预编辑或者标清电视播出，采用成熟的MPEG2格式，分辨率选择720×576，码率限制在50Mbps。

在高清编辑过程中，先使用标清素材进行预编辑。因为高标清素材存在帧帧对应的镜像关系，所以预编辑后，根据EDL码单信息，通过后台合成系统进行高清素材的合成，就可以得到制作好的高清节目。

在电影数字节目平台的编辑应用中，电影节目的双网、双码率编辑技术是首选制作方式，它将带来低成本、高效率等众多好处。

低码率转码子系统：主要实现不同格式的视音频文件之间的转换，提供多种码流转换选择，并可以完成自动抽取关键帧的工作；该子系统的另外一个重要任务是完成电影数字节目库与外部应用系统之间的影片资料内容交换工作，是与外部系统的一个接口。

音频采集子系统：如果把所有版本的视音频数据都直接进行存储，由于无损压缩高清视频具有400Mbps左右的码率，将给存储多版本成片节目带来强大阻碍。

为此，本实施例使用多轨技术实现多版本节目优化存储，即完整视频文件＋多语种音频文件＋多语种字幕文件＋EDL码单的多种组合，对应不同版本的方式解决这个问题。

由于不同语种的电影版本只是对白声音和对白字幕不同，一部影片以50i版本的完整的视频文件与国际声音频文件为基础，结合多语种的声音和字幕文件就可组成各种需要的电影版本。

对于部分内容需要限制的影片，根据审核需求，通过编辑软件进行剪辑后，形成一个版本，实际上这种剪辑是对时码信息的编辑。存储系统不需要存储成片节目，而是存储包含了该版本所有剪辑信息的EDL码单。通过该EDL码单的信息和影片素材，在任何时候都可以直接产生对应的成片节目。当某个版本的成片节目需要被调用时，系统将原始高清视音频、字幕素材迁回，并将相应的EDL码单调回，通过后台合成系统，自动形成所需的节目。

对于24psf版本，由于与50i版本有明确的时码对应关系，通过后台算法支持也可以比较精确的进行帧定位，保证再利用的效率。

对于电影节目的多版本现象，本实施例的这个方法可以节省大量的存储空间，应用起来也更加灵活。该技术的使用，对于节目库来说，具有重要的实际意义。

声画同步子系统：电影对白字幕一般以场记字幕的形式存在，正规的制片厂的场记字幕不仅会记录对白的内容，也会记录对白发生的时间，这个时间将会以电影胶片的画面格数来计量。电影节目数字化以后，对白字幕作为一种独立的素材也将被纳入平台中来管理。数字平台要求对白字幕和视音频节目的时码相对应，因此需要电影场记字幕与节目库对白字幕之间的格式转换。

当一部影片存在多个语言版本时，不需要存储多个视频文件，只需要存储不带字幕的原始视频，再配以相应的字幕版本，通过混合字幕与视频即可得到所需语言版本的影片。

对白字幕与视频分开存储，并携带时码信息，使得制作不同语言版本字幕的工作变得比较简单。

多语种对白字幕处理技术的应用，对于降低成本，丰富应用及简化流程都起到了重要的作用。

本实施例多语种对白处理技术特点：

对白字幕与视音频分别存储、随意组合，减少因对白字幕不同而造成的存储量增加。

场记字幕自动转换为电影节目对白字幕，避免了手工编辑对白字幕的工作，降低了编辑对白字幕的工作强度，提高了对白字幕的准确度。

存储的对白字幕以独立文件形式存在，可以根据需要选择字体、字号，灵活性大，使得改变字幕效果、改变语种等工作简单化。

对白字幕格式中包含了足够信息，以应对高清电影播出或者字幕与画面的叠加。

媒资数据库：为了实现电影的价值最大化，媒资数据库中保存的节目素材将是完整的影片素材。而从应用的角度出发，对于不同的发布方向、不同的用户群，一部高清电影节目素材可能对应多个成片版本。由于采取单独的语种文件存储的方式，多语种、多版本节目同时共存，但是却不增加存储空间。修改节目时，可以基于上次的编辑基础，比重新制作编辑的效率要高得多，快捷方便。查找、删除处理都比存储整个成片要方便，便于管理。

本实施例所述的媒资数据库面向于电影应用，也面向于高清电视应用，因此，从检索查询的角度讲，不同应用使用的编目标准不同。为了实现节目库的增值利用最大化，应该充分结合电影的编目特点与电视编目标准。

原有的电视与电影编目标准中，主要描述了对电影胶片和标清电视视音频的编目。节目库中是以数字高清电影节目为核心的资料库，原有编目体系对这个领域并没有建立相应的编目标准。因此，需要基于节目库的特点，对原有编目标准进行吸收和扩展，既要满足数字高清电影的新特点，又要继承原有的电影及电视编目标准。具体来说，本实施例的编目设计有如下特点：

1）树形的编目结构：树形的编目结构可以支持电影节目的多版本，有利于降低成本及再利用。

2）电影标准到电视标准的对应：电影标准与电视标准在字段描述上有很大差别，为了能够适应两个领域的检索用户，电影节目库在编目时将根据情况自动建立电影标准字段到电视编目标准的对应关系。不论是广播电视工作者还是电影工作者都可以根据专业习惯轻松检索到所需资源。

3）可扩展的编目内容：随着编目标准的发展可以扩展库存中影片的编目字段。

4）可配置的多层编目流程：提供节目层、视频层（镜头、场景、片段）的多层次编目。

上述的编目标准和检索系统特点：针对节目库的要求，兼收并蓄，同时又有发展创新，满足电影和电视的交叉应用。编目设计上充分考虑易用性、扩展性，为将来的使用和升级留出空间。编目结构设计详尽，为多层次综合利用电影素材提供了技术基础。

本实施例所述系统的工作流程如图2所示，过程如下：

1.画面文件采集：采集影片画面母版，如果影片母版画面源为胶转磁，则扫描生成图像序列文件，此过程中采用的无损压缩算法，可以保证视频压缩文件可逐bit还原为原始DPX图片，如果影片母版为数字电影母版，则直接采集为图像序列文件。

采集包括高清和标清版本的获取和浏览版本节目获取。

目前的高清节目源，其分辨率都是1920x1080，幅宽比是16:9（保留影片实际幅宽比）。高清素材应用有两个，一个是数字电影应用，另一个是高清电视应用，因此频率是24psf和50i两种。获取高清版本的素材，涉及到的过程是编码。

高清胶转磁采集：高清上下载服务器采集由Da Vinci输出的HD-SDI视频信号，生成Zaxel无损压缩格式的AVI视频文件。由于胶转磁系统节目源为多本翻正胶片，因此采集需要进行多次，生成多个无损压缩视频文件。

从高清版本的素材得到标清版本，其处理过程涉及到两个方面，一是画面缩小，即下变换，二是编码。下变换的方法和标清版本素材的后续使用有关，需要结合后续业务流程来设计，建议采用硬件下变换的方式获得。标清素材的分辨率是720x576，画面选择为16:9幅宽比（保留影片实际幅宽比）。标清素材应用于标清电视频道，频率应该为标准的50i。

浏览素材用于检索，它应当反映高清素材的整体画面。而从应用要求上来讲，其分辨率可以是任意的（但是要满足MPEG压缩的要求，即宽高比是16的倍数）。浏览素材应该被设计成16:9的幅宽比。建议采用352x208分辨率，其幅宽比近似为16:9。浏览版本素材可以从标清版本素材获得。

2.画面文件压缩：画面文件压缩子系统将图像序列文件转码为无损压缩视频文件。视频编码格式的选择一方面取决于对于画面质量及应用的要求，另一方面取决于存储容量的限制，综合考虑现有的编码技术的优劣以及可行性，本系统2K/4K素材及高清视频素材采用无损压缩（lossless）编码格式、标清视频素材采用MPEG－2编码格式；浏览素材应用于网络检索，采用主流的流媒体WMV格式。

3.声音文件采集：音频采集子系统对影片的录音带进行数字化采集，采集生成PCM取样的多声道的声音文件，本步骤或与“画面文件采集的步骤”和“画面文件压缩的步骤”同步进行。

高清节目源的音频信号包括非压缩信号（最多8个通道）、5.1声道、立体声、单声道；主要载体为8轨录音带或者D5录像带。不管是哪种信号都采集成PCM的WAV文件保存。

A．主语言音频获取：

主语言音频若与视频同时进行采集时，生成的文件为视音频交织的混合文件，为进行分离存储和管理，需要进行视音频分离。分离后形成独立的视频文件（Zaxel文件）和音频文件（多个WAV文件），独立存储。

B．多语言音频获取：

多语言音频可能为国际声（左右声道）、也可能是完整5.1的声道；采集一般是独立进行，所以通过音频工作站直接采集生成WAV文件。

C．立体声音频获取：

立体声音频需要由主语言或者多语言无损压缩音频下混（Down Mix）获得，从简化流程考虑，Down Mix最好使用软件算法（参照《ATSC AC3标准》①）直接进行，音频质量完全能够保证。

D．流媒体获取：

标清视频与立体声音频进行流媒体转码获得WMV文件。

4.声画同步：将分离采集的画面文件和声音文件，在声画同步子系统中进行声画同步，主要方法是在时间线上浏览视频和音频，以画面内容为参照物，通过声音波形、声音回放寻找音频与视频在时间上的偏移量，反复调整便宜量，使得画面口型与声音达成匹配，确认偏移量后，锁定声音与视频的同步关系。

5.转低码率：转码集群子系统读取影片的无损压缩视频和声音文件，根据同步关系生成低码率视音频流媒体文件，该低码率文件的时码与无损压缩视频文件的时码帧帧对应。

为使编辑更加方面并节省网络资源，本实施例采取编制低码率的流媒体文件。在编辑过程中使用低码率的流媒体文件，当编辑完成后，使用了高清播放，这样可以有效的节约编辑过程中的硬件资源。

6.编目：参照低码率视音频文件，可以对影片进行编目著录，包括：对影片的节目层进行编目，填写影片的基本信息。

编目是通过建立Metadata对象，对影片数字资源进行组织、整理和充分的揭示，建立电影各种格式资料之间的对象耦合形式的联系，从而使影片资产的管理更加规范和方便。

浏览低码率视音频内容，在播放器上标记入点、出点，将入出点间内容记录为一个片段，对片段进行编目，填写片段的属性信息；或基于低码率标记场景、镜头，分别进行详细编目；编目信息使用媒资数据库进行存储。

一般来说，一段视频由一些描述独立故事单元的场景构成；一个场景由一些语义相关的镜头组成；而每个镜头是由一些连续的帧构成，它可由一个或多个关键帧表示。

文本索引使用关键词作为标识句子、段落、文档的指针，同样在视频流信息中，关键帧起着与关键词类似的作用。人们常用关键帧来标识场景、故事等高层语义单元。比帧高级一些的视频基本单元是镜头，通常视频流中的镜头由在时间上连续的视频帧组成，它代表一个场景中在时间上和空间上连续的动作，对应着摄像机的一次纪录起停操作。镜头之间可存在多种类型的过渡方式，最常见的是切变(Cut)，表现为在相邻帧之间发生突变性的镜头转换。此外，还存在一些较复杂的过渡方式，如渐变等。

自动化提取关键帧：

典型的关键帧抽取算法主要可分下面几类：

基于镜头的方法：为每个镜头选取一个关键帧，例如将每个镜头的第一帧选作关键帧，这种方法的运算量小，非常适合于内容活动性小或保持不变的镜头，但对于摄像机不断运动的镜头，该方法抽取的关键帧无法有效地表达其主要内容。

基于内容分析的方法：这种方法通过分析视频内容(颜色直方图、运动信息)随时间的变化情况来选取所需关键帧的数目，并按照一定的规则为镜头抽取关键帧。

基于运动分析的方法：该方法通过对每帧光流的计算，寻找摄像机运动的局部最小点，对应的帧将选作关键帧，这种选择基于如下的观察，当摄像机停留时通常意味着重要人物或事件的存在。

当然还有其他的方法，例如用基于镜头活动性的方法，无监督聚类技术来选择关键帧等等。

镜头分割：

通常视频流中的镜头，是由时间连续的视频帧组成的。它对应着摄像机一次记录的起停操作，代表一个场景在时间上和空间上的连续的动作。镜头之间有多种类型的过渡方式，最常见的是“切变”，表现为在相邻两帧间发生的突变性的镜头转换。此外，还存在一些较复杂的过渡方式，如淡入、淡出等。

镜头分割方法分为非压缩域和压缩域两类。

非压缩域方法有基于帧差（frame difference）的点到点比较和直方图2种，由于点到点的帧差比较算法对于噪声过于敏感，目前大多非压缩域算法都是基于直方图的。压缩域方法基于视频帧图像的压缩基础之上，切分的依据是比较前后视频帧图像的压缩系数（一般为DCT系数），当满足一定条件时即把它们切分为2组镜头。

目前基于非压缩域的抽帧软件，可以在视频上载同时提取切变帧或渐变帧，也可以实现对已上载完成的MPEG2 I帧，IBP帧，MPEG4和DV等视频格式文件的自动化抽帧。同时我们正在寻求广泛的技术合作，也可以在自己的编目和上载系统中集成如VIRAGE和KONAN等公司的技术。

：

通过采用主题分类对照表以及后控词表，可以实现系统的自动主题标引或自动分类标引。如果系统采用了前面提到的基于内容的关键词提取（CKM）技术，则自动分类标引技术可以在关键词提取的同时对编目记录进行自动分类，大大提高编目工作效率。

：

当编目对象具有多层次的结构时，我们可以根据每一个层次的特点采用不同的描述项（或属性）来对编目对象的内容特征和形式特征进行清晰、完整和准确的描述与揭示，这就是分层编目。分层编目的另一层意义在于：对编目对象进行逐步分析和标引，对于不同类型和再利用价值的对象按照不同的层次深度来分析和标引。

就视频本身而言，可以分为如下几个层次：完整视频、片段、场景、镜头、关键帧。针对这种复杂的层次等级结构，如果只是采用简单的没有层次的标引，将会造成描述信息的杂乱无章。因为，对整个完整视频文件的概要内容的描述信息将会与对镜头的技术细节的描述信息混杂在一起。无论是从编目和检索再利用的角度来讲都是非常不利的。这样一方面会在检索时造成查准率的降低，而另一方面也会将大量非常有价值的场景、镜头埋没在完整视频文件中。

由于分层编目方式比较灵活，可以满足不同层次的编目需求。一方面可以根据各单位的业务能力来确定编目标引深度。对于人力物力资源非常有限的单位，他们可以只作第一层次的编目，也可以基本满足检索的需要。如果有较为丰厚的实力，可以进行非常细致的编目标引工作，提高资源再利用的效率，减少制作成本。另一个方面，还可以根据不同的节目类型确定不同的编目标引深度。例如，新闻中可能会包含比较多的具有再利用价值的镜头，在对新闻类节目进行标引时就可以深入到镜头层。而综艺类或游戏类的节目的场景镜头可能并没有太大价值，在标引时就可以只进行完整视频层的标引。这种灵活的处理方式，可以大大提高编目的效率，避免不必要的劳动。

另外，不同层面的内容在编目中需要的专业技能差别非常大，有些内容例如：题名，语种，责任项等较为简单，有些内容则需要经过一定的归纳总结如：内容简介，主题词，分类等，还有一些内容则非常专业如：拍摄手法等，对于这些不同层次的内容的编目对编目人员的要求相差深远，通过采用流水线方式对节目资料进行流程化编目可以充分利用现有资源，提高编目效率以及数据质量，是一个很好的解决方案。采用流程化，层次化的编目具备以下特点：

对编目对象进行逐步分析和标引，对于不同类型和再利用价值的对象按照不同的层次深度来分析和标引。

编目方式比较灵活，可以满足不同层次的编目需求。

编目结构和工作流程清晰。

资源使用效率较高，专业编目人员可以只从事高层次编目工作，避免资源浪费。

数据处理层层把关，编目质量较易控制。

编目责任明确，工作管理较为方便。

7.入库发布：编目完成后，影片即入库并对外发布，供用户检索浏览。

增补多语种声音采集的步骤：用于其他语种的录音带可能在第一个母版入库后才获得，音频采集子系统将每个新增的语种声音采集为多声道声音文件。

8.多语种声画同步：采用库中母版的低码率视频为参照物，在声画同步系统中寻找新增语种声音的时码便宜量，调整便宜量，使得画面口型与声音达成匹配，并锁定新增语种声音与画面的同步关系。

如获取来自影片生产管理系统的相关信息，填充影片生产任务信息等；完成每部影片50i版本高清视频和标清视频素材及标清视频和立体声音频素材的同步，完成每部影片24psf版本高清视频和音频素材的同步，同时生成同步信息。

9.制作对白字幕：采用库中母版的低码率视音频为参照物，在字幕制作系统中，回放视音频，并根据画面、声音逐句制作对白字幕，形成带时码信息的对白字幕文件。

为节省存储容量及适应DVB的需求，电影数字节目平台及应用管理系统将对影片的对白字幕进行存储。

字幕内容将从制片厂获得，通过格式转换，使之变为非线性设备可以识别的高清标准对白字幕文件，该字幕文件将以Unicode格式进行保存，以便字体修改及替换。

电影的场记字幕一般是以胶片尺寸作为标准的，而非线性的字幕是以时间码作为标准的，两者之间要进行格式转换。因此字幕文件中不仅含有对白内容，也会含有转换过来的高清时码信息，可以与视音频素材实现帧帧对应。

10.增补文件入库：将增补的各语种的声音文件、对白字幕文件可能有多个，分别入库存储；影片母版文件组成：经过以上过程后，入库后，每部影片存储的文件分别为一个高分辨率的无损压缩视频文件、多语种声音文件、多声道声音文件、多个语种的对白字幕文件、一个低码率视音频文件，这些文件间在时码上是帧帧对应的。

电影数字节目库中存储的数据对象除视音频、字幕等媒体类数据对象外，还包括用于说明及描述这些数据的索引信息（元数据）。索引类数据对象主要是素材的元数据索引信息，其中部分信息在媒体类数据对象生成同时建立，其余大部分信息需要由编目人员进行补充。

实施例二：

本实施例是一种提取上述实施例存储文件的影片多版本整合提取系统，包括：检索子系统、浏览子系统、下载子系统、转码合成子系统、输出端，如图3所示。

检索子系统：检索子系统的目的是通过提供尽可能多的检索手段和检索方式为用户提供检索服务，例如参量检索，全文检索，分类检索，图像检索等。参量检索就是我们通常所说的指定范围的关键词检索，如：题名检索，日期检索，栏目检索等。全文检索则不关心检索范围，一般是针对所有的文字信息进行关键词检索，这种技术使用起来非常简单，在互联网上使用的最为普遍。分类检索实际上是参量检索的一种，通过使用标准的分类体系结构，可以方便准确的进行资料检索。图像检索属于较为前沿的技术，目前较为常用的方式是根据图像的纹理，色调等特征进行图像检索，基于内容的图像检索技术目前还尚未成熟。

对于全文检索方式，如果加入中文智能搜索引擎，可实现包括中文按词索引、字索引的基于语义辞典等语言学知识的智能检索，鉴于系统初期业务不大，先采用数据库本身自有的全文检索功能。

浏览子系统：浏览素材用于检索，它应当反映高清素材的整体画面。而从应用要求上来讲，其分辨率可以是任意的（但是要满足MPEG压缩的要求，即宽高比是16的倍数）。浏览素材应该被设计成16:9的幅宽比。建议采用352x208分辨率，其幅宽比近似为16:9。浏览版本素材可以从标清版本素材获得。

下载子系统：下载的内容包括：文件下载和高清影片下载。

文件下载：节目库中高标清视频、音频、字幕等素材以文件形式输出到多种存储介质上。本期完成数字电影素材、高清素材、标清素材的文件下载，2K/4K文件下载下一期完成。

高清影片下载：高清上下载服务器输出的HD-SDI视音频信号录制到HD－D5或HDCAM－SR。

影片下载需要视音频、字幕叠加输出，由于高清影片素材采用无损压缩（Lossless）编码，进行这种叠加不仅需要强大的计算能力，也占据了很多的带宽资源。本实施例采用两种方法解决字幕版影片下载的问题：

后台的字幕分布式合成方法，这种方法采用后台处理方式，对于用户透明，得到的即是最终下载需要的文件。缺点是下载前需要一定的等待时间。

高清字幕机同步叠加方法，这种方法优点就是无需等待直接下载，但需要对下载系统做简单设置，保证字幕机联动输出。

转码合成子系统：在电影数字节目平台及应用管理系统中，视音频媒体需要不同格式支持，如素材保存和再利用需要高质量的视音频编码格式的支持，节目编辑则需要各种标清视音频编码支持，为了便于检索和Internet视音频浏览，则需要流媒体支持。对于不断扩展的平台增值业务，也需要从素材库中获得相应格式的素材，以符合不同应用环境的需要。

应对不断变化的多种视音频格式的需求，采用纯软件转码及合成系统将比较适合。处理整个节目库的高清、标清素材格式转换，不仅需要优秀的编解码算法，硬件环境也显得很重要，码率越大需要的CPU运算量越大，若只依靠单台设备进行高清转码及合成，效率就会很低。因此，本实施例采用了多台转码及合成服务器分布式运算的方式，使高清转码及合成的方案可行。

转码及合成系统的工作任务由Manager进行统一调度，分配给空闲的转码及合成服务器，众多的转码及合成服务器组成一个集群，通过分布式计算，可以共同来完成同一个转码或合成任务；Manager通过监控转码及合成服务器的状态，来动态调配分段的任务，以使系统运算资源得到最大利用。

通过这种方式可以使原本庞大的高清视音频数据量被分割处理，通过协同工作，加快转码与合成的进程。这样以廉价的PC Server组成转码及合成集群，就可以完成昂贵的UNIX小型机才能处理的工作。

另外，转码及合成子系统采用开发式架构设计，系统支持XML、MXF等标准化交换格式，使其不仅能应用于电影数字节目平台内部、更是整个电影数字节目平台对外部扩展业务的重要接口，各种外部应用系统通过转码及合成系统可以方便的与节目库进行节目交换。

转码合成子系统特点：建立标准系统接口，实现多系统互联；服务器后台工作，集群分布式处理，自动地动态调配任务，低成本，高效率；纯软件处理，升级前景好，随时可以更新算法，而且增加功能时无需增加额外的设备。

输出端：

本实施例所述系统的工作流程，如图4所示，包括如下具体步骤：

1.检索影片：检索子系统通过全文、关键词的方式在媒资数据库中对影片进行检索，检索结果将列出所有影片节目。

检索是通过检索查询，实现电影数字节目库中影片数字资源的再利用，其在应用上并不是独立的，而是紧密融合在各个子系统中，提供方便的资源检索调用。

2.浏览影片内容：进入影片详情，查看影片详细编目信息，同时播放浏览影片的低码率视音频内容。

3.提交下载请求：对所选中的浏览影片母版，申请下载；下载时选择：

影片视音频文件、某语种音频文件、某语种字幕文件，并设定下载目标文件的格式。

视频格式可选择：4K、2K、HD、SD或其他低码率格式。

整篇下载或选择下载：选择整篇下载则下载完整的影片，选择下载则选取片段或场景或镜头进行下载。影片下载申请时，还可选取某个片段、场景或镜头，申请下载，后台转码集群系统将根据入出点信息，合成该部分的视音频内容，生成目标影片文件。

4.转码合成：转码子系统根据下载请求，读取视音频、音频、字幕文件以及时码关系，进行转码合成，生成预先设定的影片格式文件，并通过输出端输出。

5. 输出：将合成的影片格式文件通过输出端输出。

最后应说明的是，以上仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案（比如系统的构成，步骤的先后顺序等）进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (4)

1.一种影片多版本整合存储系统，其特征在于，包括：以太网络和FC网络，所述的以太网络与上载导入工作站、带有监视器的QC工作站、影片著录工作站、视音频处理集群、影片管理服务器、影片门户服务器、分级存储管理子系统连接，所述的上载导入工作站、QC工作站、视音频处理集群、分级存储子系统与所述的FC网络连接；所述的分级存储子系统包含：归档迁移服务器、在线存储服务器和近线存储器，上载导入工作站与硬盘录像机和高清录像机连接，所述的硬盘录像机和高清录像机与胶转磁设备连接；

所述的系统包含 ：画面文件采集子系统、画面文件压缩子系统、音频采集子系统、声画同步子系统、低码率转码子系统、编目子系统，媒资数据库；

画面文件采集子系统：用于采集影片画面母版，如果影片母版画面源为胶转磁，则扫描生成图像序列文件，如果影片母版为数字电影母版，则直接采集为图像序列文件；

画面文件压缩子系统：用于将图像序列文件转码为无损压缩 视频文件；

音频采集子系统：用于画面文件压缩子系统将图像序列文件转码为无损压缩视频文件

声画同步子系统：用于将分离采集的画面文件和声音文件，在声画同步子系统中进行声画同步，主要方法是在时间线上浏览视频和音频，以画面内容为参照物，通过声音波形、声音回放寻找音频与视频在时间上的偏移量，反复调整便宜量，使得画面口型与声音达成匹配，确认偏移量后，锁定声音与视频的同步关系；

转低码率子系统：用于转码集群子系统读取影片的无损压缩视频和声音文件，根据同步关系生成低码率视音频流媒体文件，该低码率文件的时码与无损压缩视频文件的时码帧帧对应；

编目子系统：用于参照低码率视音频文件，对影片进行编目著录，包括：

对影片的节目层进行编目，填写影片的基本信息；

浏览低码率视音频内容，在播放器上标记入点、出点，将入出点间内容记录为一个片段，对片段进行编目，填写片段的属性信息；或基于低码率标记场景、镜头，分别进行详细编目；编目信息使用媒资数据库进行存储；

所述的编目子系统包括如下编目形式：

1）树形的编目结构：树形的编目结构能够支持电影节目的多版本；

2）电影标准到电视标准的对应；

3）能够扩展编目内容；

4）能够配置的多层编目流程，包括提供节目层、视频层，即镜头、场景、片段的多层次编目；

媒资数据库：编目完成后，影片即入媒资数据库并对外发布，供用户检索浏览。

2.根据权利要求1所述的存储系统，其特征在于，所述的系统还包括：

增补多语种声音采集子系统：用于音频采集子系统将每个新增的语种声音采集为多声道声音文件；

多语种声画同步子系统：用于采用媒资数据库中母版的低码率视频为参照物，在声画同步系统中寻找新增语种声音的时码便宜量，调整便宜量，使得画面口型与声音达成匹配，并锁定新增语种声音与画面的同步关系；

增补多语种声音文件入库子系统：用于将增补的各语种的声音文件，入媒资数据库后，每部影片存储的文件分别为一个高分辨率的无损压缩视频文件、多语种声音文件、多声道声音文件、多个语种的对白字幕文件、一个低码率视音频文件，这些文件间在时码上是帧帧对应的。

3.根据权利要求1或2所述的存储系统，其特征在于，所述的系统还包括：

制作对白字幕子系统：用于采用媒资数据库中母版的低码率视音频为参照物，在字幕制作系统中，回放视音频，并根据画面、声音逐句制作对白字幕，形成带时码信息的对白字幕文件；

增补对白字幕文件入库的步骤：用于将对白字幕文件分别入媒资数据库存储；入媒资数据库后，每部影片存储的文件分别为一个高分辨率的无损压缩视频文件、多语种声音文件、多声道声音文件、多个语种的对白字幕文件、一个低码率视音频文件，这些文件间在时码上是帧帧对应的。

4.一种提取权利要求1所述一种影片多版本整合存储系统所存储的文件的影片多版本整合提取系统，其特征在于：

检索影片子系统：用于通过全文、关键词的方式在媒资数据库中对影片进行检索，检索结果将列出所有影片节目；

浏览影片内容子系统：用于进入影片详情，查看影片详细编目信息，同时播放浏览影片的低码率视音频内容；

提交下载请求子系统：用于对所选中的浏览影片母版，申请下载；下载时选择：

影片视音频文件、某语种音频文件、某语种字幕文件，并设定下载目标文件的格式；

视频格式可选择：4K、2K、HD、SD或其他低码率格式；

整篇下载或选择下载：选择整篇下载则下载完整的影片，选择下载则选取片段或场景或镜头进行下载；

转码合成子系统：用于转码子系统根据下载请求，读取视音频、音频、字幕文件以及时码关系，进行转码合成，生成预先设定的影片格式文件；

所述的转码合成子系统采用多台转码及合成服务器分布式运算的方式，使高清转码及合成的方案可行；

所述的转码合成子系统的工作任务由Manager进行统一调度，分配给空闲的转码及合成服务器，众多的转码及合成服务器组成一个集群，通过分布式计算，能够共同来完成同一个转码或合成任务；Manager通过监控转码及合成服务器的状态，动态调配分段的任务，以使系统运算资源得到最大利用，使原本庞大的高清视音频数据量被分割处理，通过协同工作，加快转码与合成的进程；

转码合成子系统采用开发式架构设计，系统支持XML、MXF标准化交换格式，使其不仅能应用于电影数字节目平台内部、更是整个电影数字节目平台对外部扩展业务的重要接口，各种外部应用系统通过转码合成子系统可以方便的与节目库进行节目交换；

转码合成子系统能够建立标准系统接口，实现多系统互联；服务器后台工作，集群分布式处理，自动地动态调配任务，低成本，高效率；纯软件处理，升级前景好，随时可以更新算法，而且增加功能时无需增加额外的设备；

输出子系统：用于将合成的影片格式文件输出。

Images