CN101681661A - 编辑装置和编辑方法 - Google Patents

编辑装置和编辑方法 Download PDF

Info

Publication number
CN101681661A
CN101681661A CN200780053314A CN200780053314A CN101681661A CN 101681661 A CN101681661 A CN 101681661A CN 200780053314 A CN200780053314 A CN 200780053314A CN 200780053314 A CN200780053314 A CN 200780053314A CN 101681661 A CN101681661 A CN 101681661A
Authority
CN
China
Prior art keywords
file
files
integrated
montage
camera lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200780053314A
Other languages
English (en)
Other versions
CN101681661B (zh
Inventor
江草俊文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GVBB Holdings SARL
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101681661A publication Critical patent/CN101681661A/zh
Application granted granted Critical
Publication of CN101681661B publication Critical patent/CN101681661B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/168Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 

Abstract

用于编辑多个文件的编辑装置和编辑方法,所述多个文件被记录在存储部件上、并且对应于一个镜头。该编辑方法包括:确定步骤,其确定对应于一个镜头、并且包括帧间编码数据的多个文件中在时间序列中的生成顺序;以及集成步骤S12,其按照生成顺序安排所述多个文件,并且将安排后的文件集成。该编辑方法可以进一步包括显示步骤,其显示对应于集成后的文件的一个剪辑;以及编辑步骤,其编辑所述剪辑。

Description

编辑装置和编辑方法
技术领域
本发明涉及编辑装置和编辑方法。更具体地,本发明涉及用于编辑被存储在存储设备中的视频数据和/或音频数据的编辑装置和编辑方法。
背景技术
近年来,诸如光盘、光-磁盘和半导体存储器的随机可存取和高密度存储介质经常被采用为摄像机中的存储介质。通常地,被存储在这样的存储介质中的视频数据和/或音频数据被发送至编辑设备中的诸如硬盘驱动器(在下文中为“HDD”)的存储设备、或如专利引用1中所公开的那样被从该存储设备自身读出以用于编辑。
但是,将对应于一个镜头(shot)的数据作为一个文件而写入在存储介质上是困难的,所述一个镜头的定义为从开始到结束的拍摄的记录。这是因为存储介质上的文件系统限制将被写入在存储介质上的一个文件的最大文件尺寸。因此,特别地在用于一个镜头的数据尺寸超过最大文件尺寸的限制时,通常在存储介质中将对应于一个镜头的数据作为多个文件来记录和存储。
另一方面,其最大文件尺寸足够大以容纳对应于一个镜头的数据的文件系统可以将对应于一个镜头的数据作为单个文件来存储。然而,因为这样的种类的文件系统通常具有复杂的结构,并且执行与这样的结构相关联的复杂的处理,所以通常为了具体的操作系统(在下文中为“OS”)来设计它。换言之,可以利用任何传统的OS并且将一个镜头作为一个文件来容纳的文件系统还不可用。另外,通常认为期望以可以在任何普通OS中读出的格式来在记录存储介质中的数据,以使得编辑者能够使用任何种类的OS来编辑该数据。这是虽然其数据可由普通OS读取的文件系统的最大尺寸不足够大以容纳对应于一个镜头的数据但所述文件系统被采用为存储介质的主要原因。
专利引用1:日本特许公开专利No.2004-266721号
发明内容
技术问题
但是,传统方法导致在编辑被存储在多个文件中的对应于一个镜头的视频数据时,在符合时间序列、并且被帧间编码的两个划分后的文件之间的连接点处的图像的恶化。此外,在应用传统帧间编码时,可以在连接点附近存在帧之间的帧间参考。因为不能恰当地执行正常的帧间参考,所以这也导致连接点处的图像的恶化。
因此,本发明的一个目的为提供使得能够进行对应于一个镜头的多个文件的集成、而不使图像恶化的新的且有利的编辑装置和编辑方法,以使多个文件的处理变得容易和有效。
技术方案
本发明的第一方面提供了一种编辑装置,其包括确定单元和集成单元。确定单元确定多个文件中的每个在时间序列中的生成顺序。所述多个文件被存储在存储部件中、对应于一个镜头、并且包括帧间编码数据。集成单元按照生成顺序安排所述多个文件,并且将安排后的文件集成。
根据本发明,因为符合沿时间序列的生成顺序来连接两个文件,所以可以避免连接点处的图像的恶化。进一步地,被划分为多个文件的一个镜头被识别为一个虚拟(virtual)剪辑,从而使得根据本发明的编辑装置的用户能够编辑剪辑而不关心所述多个文件的生成顺序和视频素材的位置,诸如所述多个文件中的特定场景的所在之处。
在理解本发明的范围时,在这里和权利要求书中所使用的术语“镜头”意为拍摄连续地符合时间序列的一个场景的记录的单位。如在开始处所定义的那样,一个镜头为从开始到结束的场景或对场景的拍摄。相似地,术语“剪辑”被用于指示涉及(refer to)具有时间轴的视频素材的部分或全部、并且包括所涉及的素材的开始点和结束点的信息。换言之,一个剪辑可以涉及对应于一个镜头的全部视频素材,或可以涉及对应于一个镜头的视频素材的仅仅一部分。剪辑涉及的数据可以是视频素材、音频素材、和/或文本素材。
本发明的另一方面提供了一种编辑方法,其包括以下步骤:确定多个文件中的每个在时间序列中的生成顺序,以及通过按照生成顺序安排所述多个文件来将所述多个文件集成。所述多个文件被存储在存储部件中、对应于一个镜头、并且包括帧间编码数据。
该方法执行与上述装置相同的效果。
有利效果
本发明提供了使得能够进行对应于一个镜头的多个文件的集成而不使图像恶化的新的且有利的编辑装置和编辑方法,以使所述多个文件的处理变得容易和有效。
附图说明
图1为示出根据本发明的编辑方法的流程图;
图2为根据本发明的第一实施例的编辑装置的硬件图的例子;
图3为示出所述编辑装置的功能性配置的框图;
图4示出了文件选择窗口FW的例子;
图5为索引文件的解释性视图;
图6示出了基于所生成的剪辑信息的剪辑显示的例子;
图7示出了编辑窗口EW的例子;
图8为图7中的时间线窗口TW的放大的视图;
图9为示出由图2中的编辑装置执行的编辑过程的实施例的流程图;
图10为示出由图2中的编辑装置执行的解码过程的实施例的流程图;
图11A示出了通过向每个文件写入其下一文件的文件名来关联多个文件的方法。
图11B示出了通过索引文件来将多个文件彼此关联并且定义文件的顺序的另一方法。
参考标号的解释
100:编辑装置
200:操作单元
202:确定单元
203:集成单元
204:指定接受单元
300:输出设备
具体实施方式
<本发明的概览>
由诸如膝上计算机和台式计算机的传统计算机来实施本发明的编辑装置。如下执行视频数据的编辑工作。编辑者指定文件的访问目的地资源(access-destination resource)、以及将被读取的文件。在显示器上的诸如Bin窗口的视频素材窗口中列出对应于所指定的将被读取的文件的剪辑。在指定读取对应于一个镜头的多个文件时,在视频素材窗口中显示对应于多个文件的一个剪辑。
编辑者从视频素材窗口选择剪辑,并且将该剪辑安排在时间线窗口中所显示的轨道(track)上。即使在轨道上仍以一个剪辑的形式来显示对应于一个镜头的多个文件。因此,这使得编辑者能够拖曳对应于一个镜头的一个剪辑、在时间线上放置(drop)该剪辑、以及编辑该剪辑,所述一个镜头被划分为多个文件并且被记录在多个文件中。
图1为示出根据本发明的编辑方法的流程图。在图1中所图示的该编辑方法中,首先确定被存储在存储部件中的对应于一个镜头的多个文件中的每个在时间序列中的生成顺序(步骤S11)。在获得对应于该镜头的多个文件中的每个在时间序列中的生成顺序时(在步骤S11中的“是”的情况中),按照该生成顺序安排所述多个文件,并且将所述多个文件集成(步骤S12)。这使得能够将对应于一个镜头的多个文件作为一个剪辑来编辑。其后,显示(步骤S13)并且编辑(步骤S14)对应于集成后的文件的一个剪辑。
在对应于一个镜头的多个文件不被存储在存储部件中时(在步骤S11中的“否”的情况中),该过程结束。
可以根据需要来确定步骤S13和S14的顺序。另外步骤S13和S14是可选的。例如,可以在步骤S14处创建该剪辑的副本或输出该剪辑,而不编辑该剪辑。
<第一实施例>
《编辑装置的硬件配置》
图2为根据本发明的第一实施例的编辑装置100的硬件图的例子。参考图2,编辑装置100包括驱动器101、CPU 102、ROM 103、RAM 104、硬盘驱动器(HDD)105、通信接口106、输入接口107、输出接口108、解码器109、AV单元110、以及连接上述元件的总线111。AV单元110是在外部设备和编辑装置100之间交换视频信号的元件,并且是编辑装置100的可选元件。
诸如光盘的可拆卸式介质101a被插入至驱动器101。从可拆卸式介质101a读出文件。虽然图2示出了编辑装置100具有内建驱动器101,但该驱动器101可以是外部驱动器。可拆卸式介质101a的其他例子是磁盘、光磁盘、蓝光盘或除光盘之外的半导体存储器。
CPU 102通过执行被存储在ROM 103中的控制程序来控制编辑装置100的整体操作。例如,CPU 102控制驱动器101的每个部分,以读出被存储在可拆卸式介质101a中的文件,并且将该文件写入在RAM 104或HDD 105上。
HDD 105存储视频素材,所述视频素材被从可拆卸式介质101a读出,并通过总线111被发送至HDD 105。
通信接口(图2中的I/F)106经由USB(通用串行总线)与摄像机通信,并且接收被存储在摄像机内部的存储介质上的数据。通信接口106可以进一步向网络上的资源发送所生成的视频内容。可以除视频内容之外还生成音频内容,或替代视频内容而生成音频内容。
输入接口(图2中的I/F)107接受诸如键盘和鼠标的操作单元200上的用户操作,并且经由总线111向CPU 102发送操作信号。
输出接口(图2中的I/F)107向诸如LCD(液晶显示器)和扬声器的输出设备300发送从CPU 102接收的视频数据和/或音频数据。
解码器109将编码视频数据解码,并且向总线111发送解码的数据。从驱动器101和/或通信接口106通过总线111向解码器109发送编码数据。编码数据可以是诸如DV数据的帧内编码数据和诸如MPEG数据的帧间编码数据。可以由软件实施解码器109。
AV单元110包括以下元件和功能(a)至(g):
(a)外部视频信号接口11,其在编辑装置的外部设备和视频编码器/解码器12之间中继诸如模拟复合(composite)信号、模拟分量(component)信号、数字分量信号的视频信号。
(b)视频编码器/解码器12,其解码通过视频接口13接收的视频数据、将解码的视频数据转换为模拟视频信号、并且向外部视频信号接口11输出转换后的视频信号。在必要的情况中,视频编码器/解码器12可以将从外部视频信号接口11和/或外部视频/音频接口14发送的视频信号转换为数字数据。视频编码器/解码器12其后通过使用MPEG(运动画面专家组)2方法来压缩和编码转换后的数字数据,并且经由视频接口13向总线111输出所获得的数据。
(c)视频接口13,其在视频编码器/解码器12和总线111之间中继数据。
(d)外部视频/音频信号接口14,其分别向视频编码器/解码器12、以及向音频处理器16输出从外部设备输入的视频数据和音频数据。外部视频/音频信号接口14进一步向外输出来自视频编码器/解码器12的视频数据、以及来自音频处理器16的音频数据。外部视频/音频信号接口14的例子是根据SDI(串行数字接口)的接口。
(e)外部音频数据接口15在外部设备和音频处理器16之间中继音频信号。外部音频信号接口15的例子是用于模拟音频信号的接口。
(f)音频处理器16将从外部音频信号接口15接收的音频信号转换为模拟数据或数字数据,并且向音频接口17输出转换后的数据。音频处理器16进一步将从音频接口17接收的音频数据转换为数字信号或模拟信号、调节音频等级、并且向外部音频信号接口15输出所获得的信号。
(g)音频接口17向音频处理器16输出数据,并且向总线111发送从音频处理器16接收的数据。
《编辑装置的功能性配置》
图3为示出编辑装置100的功能性配置的框图。参考图3以及图2,编辑装置100中的CPU 102包括剪辑获得单元201、确定单元202、集成单元203、指定接受单元204和编辑单元205。这些单元使得CPU 102能够实现(1)文件选择和获得功能、(2)剪辑信息生成功能、(3)编辑接受功能、以及(4)编辑功能。以下将解释编辑装置100的每个功能:
(1)文件选择和获得选择
CPU 102读出被存储在访问目的地资源上的文件管理数据,并且接受对文件的选择。所选择的文件中的视频素材被从访问目的地资源读出,并且被写入在HDD 105上。访问目的地资源的例子是被插入驱动器101中的可拆卸式介质101a、可经由通信接口108访问的存储介质。可以从其中存储了音频数据的所选择的文件中读出音频素材。
图4示出了由指定接受单元204显示的文件选择窗口FW的例子。参考图4,该窗口接受对访问目的地资源的选择。由剪辑获得单元201读出被存储在所选择的访问目的地资源上的文件的管理数据。管理数据是用于管理文件的数据,诸如文件名、记录时间、生成时间、作者姓名和数据量。读出的管理数据被发送至指定接受单元204,并且被显示在文件选择窗口FW上。例如,图4示出了其中文件名作为读出管理数据被显示的状态。
文件选择窗口FW接受对文件的选择。所选择的文件中的视频素材被剪辑获得单元201从所选择的访问目的地资源读出,并且被写入在HDD 105上。所述视频素材可以是编码视频数据,并且可以是压缩的或未压缩的。将从所选择的访问目的地资源被读出的数据可以除视频素材之外还有音频素材和/或文本素材,或者可以是替代视频素材的音频素材和/或文本素材。
文件选择窗口FW上的所选择的文件的管理数据被发送至确定单元202,并且被用于执行以下所解释的功能。
(2)剪辑信息生成功能
(2-1)将一个镜头与文件关联的例子。
当在文件选择窗口FW上选择了对应于一个镜头的多个文件时,CPU102生成剪辑信息以将多个文件作为一个剪辑来处理。
为了简化解释,假定对应于一个镜头的多个文件通过每个文件的文件名和索引文件与彼此关联。怎样确定对应于一个镜头的多个文件在时间序列中的生成顺序不限于这里所解释的例子。
对应于一个镜头的多个文件的文件名包括“镜头ID”和“连接号”。“镜头ID”指定每个镜头,并且将多个文件与一个镜头关联。“连接号”指示对应于每个镜头的多个文件将被回放的顺序。例如,图4中的文件选择窗口FW显示了四个文件名:“COM10301.M2T”、“COM10302.M2T”、“COM10303.M2T”、“COM10304.M2T”。在该情况中,这四个文件名中的“COM”指示压缩格式。跟随在“COM”之后的三个数字“103”指示镜头ID。跟随在镜头ID之后的两个数字“01”、“02”、“03”、“04”指示连接号。在按照连接号的顺序来回放这四个文件时,可以按照记录这四个文件的的顺序来回放由镜头“103”记录的数据。
图5示出了索引文件“103COMF.IDX”的解释性视图。参考图5,索引文件示出了与在图4中的文件选择窗口FW中所显示的四个文件相关的索引文件的例子。为了对应于一个镜头的多个文件而生成一个索引文件。索引文件的文件名包括“镜头ID”和指示该文件为索引文件的扩展名“IDX”。该索引文件和所述多个文件通过“镜头ID”而与彼此关联。在该例子中,索引文件的文件名进一步包括指示压缩格式的“COM”。
在索引文件中至少描述“文件数目”和“文件时间长度”。“文件数目”指示对应于一个镜头的多个文件的总数目。图5示出了文件总数目为“4”。“文件时间长度”为对于回放每个文件来说必要的时间长度。在图5中,四个文件的“文件时间长度”为“00:17:15:06”、“00:17:15:06”、“00:17:15:06”和“00:08:05:09”。在本编辑装置中以“hh:mm:ss:ff”的格式来描述时间信息。“hh”指示小时、“mm”指示分钟、“ss”指示秒、而“ff”指示帧。三十帧对应于一秒。
替代“文件数目”、或除“文件数目”之外,可以在索引文件中描述“总记录时间”。“总记录时间”指示每个文件的“文件时间长度”的总和。例如,对于图5中所图示的索引文件来说,“总记录时间”的值为“00:59:50:27”。
(2-2)用于对应于多个文件的一个剪辑的剪辑信息的生成
在图4的文件选择窗口FW中所选择的多个文件对应于一个镜头时,CPU 102生成用于对应于多个文件的一个剪辑的剪辑信息。在本实施例中,确定单元202确定索引文件是否被选择。集成单元203在索引文件被选择时生成用于一个剪辑的剪辑信息。向指定接受单元204发送所生成的剪辑信息,并且基于该信息来显示一个剪辑。这意味着显示对应于被划分为多个文件、并且被记录在多个文件中的一个镜头的一个剪辑。
剪辑信息包括对于显示和编辑一个剪辑来说必要的数据。例如,在剪辑信息中包括“剪辑名”、“入点”、“出点”、“读出开始点”、“读出结束点”和“缩略图(thumbnail image)”。“剪辑名”识别每个剪辑。“入点”为指示被安排在视频内容的时间线上的剪辑的开始时间的时间信息。“出点”为指示被安排在视频内容的时间线上的剪辑的结束时间的时间信息。“读出开始点”为指示剪辑所涉及的视频素材的读出开始地址的时间信息。“读出结束点”为指示剪辑所涉及的视频素材的读出结束地址的时间信息。在基于对索引文件的选择来生成剪辑信息时,读出开始点和读出结束点被显示为时间轴上的时间信息。通过连接时间序列中的索引文件中所描述的每个文件来定义时间轴。“缩略图”为代表剪辑的静止图像。
更具体地,集成单元203基于从剪辑获得单元201接收的管理数据来生成剪辑信息。管理数据用于索引文件和与其相关联的多个文件。在该情况中,“剪辑名”可以是索引文件的文件名。“入点”的默认值可以是“00:00:00:00”。“出点”可以是总记录时间“00:59:50:27”,所述总记录时间为每个文件的时间长度的总和。“读出开始点”可以是指示第一文件的开头的“00:00:00:00”。“读出结束点”可以是指示最后文件的结束的“00:59:50:27”。“缩略图”可以是第一文件的第一帧,或根据需要可以是其他帧。
图6示出了基于所生成的剪辑信息的剪辑显示的例子。参考图6以及图4,显示了对应于与所选择的索引文件“103COMF.IDX”相关联的多个文件的一个剪辑。在该例子中,以图标以及猫的缩略图的形式显示了剪辑名“103COMF.IDX”、入点“00:00:00:00”和出点“00:59:50:27”。
(2-3)错误处理
在管理数据不可从关于与所选择的索引文件相关联的所有文件的访问目的地资源读出时,CPU 102可以执行错误处理。
例如,确定单元202确定剪辑获得单元201从其读出管理数据的文件的数目。确定单元202比较所确定的数目和索引文件中所描述的“文件数目”,并且在它们不匹配时执行错误处理。错误处理的一个例子可以是指令剪辑获得单元停止读出与所选择的索引文件相关联的多个文件。
基于索引文件的“总记录时间”的错误处理也是可能的。例如,确定单元202从由剪辑获得单元201读出的每个文件的管理数据中提取每个文件的时间长度,即记录时间。在读出记录时间的总时间长度和索引文件中所描述的总记录时间不匹配时,确定单元202执行错误处理。
(2-4)用于对应于一个文件的一个剪辑的剪辑信息的生成
当在图4中的文件选择窗口FW中选择了对应于一个镜头的一个文件时,剪辑获得单元201生成剪辑信息并将其发送至指定接受单元204。基于该文件的管理数据和缩略图来生成剪辑信息。例如,剪辑获得单元201如下生成剪辑信息:
“剪辑名”:“文件名”
“入点”:“00:00:00:00”,即指示文件的开头的时间信息。
“读出开始点”:“00:00:00:00”,即指示文件的开头的时间信息。
“出点”:指示文件的时间长度的时间信息。
“读出结束点”:指示文件的结束的时间信息。
“缩略图”:文件的第一帧。
(3)编辑接受功能
(3-1)编辑窗口
图7示出了编辑窗口EW的例子。参考图7,由指定接受单元204显示编辑窗口EW。编辑窗口EW接受对将被编辑的剪辑、和其时间位置的调整的指定。编辑窗口EW可以包括以下窗口。注意在上述图6中放大了图7中的Bin窗口BW。
(i)预览窗口PW:该窗口显示由位于时间线上的光标指定的图像。该窗口进一步显示对应于被安排在时间线上的剪辑的指定部分的视频图像。
(ii)时间线窗口TW:该窗口显示指示沿视频内容的时间轴(时间线)的位置信息的轨道,并且接受在每个轨道上的剪辑的安排。该窗口进一步与轨道一同显示时间尺度。该窗口进一步接受入点、出点和每个剪辑的时间长度的改变。入点指示时间线上的剪辑的开始点。出点指示时间线上的剪辑的结束点。
(iii)Bin窗口BW:该窗口显示对应于在图4中的文件选择窗口FW中所选择的一个或多个文件的剪辑。
(3-2)对应于多个文件的一个剪辑的显示。
图8为图7中的时间线窗口TW的放大的视图。图8图示了剪辑“103COMF”被从bin窗口拖曳并被放置在轨道上的状态。该剪辑涉及在图4的文件选择窗口FW中显示的四个文件“COM10301.M2T”、“COM10302.M2T”、“COM10303.M2T”和“COM10304.M2T”。基于剪辑信息来显示对应于多个文件的剪辑“103COMF”,所述剪辑信息被从集成单元203发送至指定识别单元204。例如,在轨道上显示剪辑名“103COMF.IDX”、入点“00:00:00:00”、出点“00:59:50:27”和剪辑的时间长度“00:59:50:27”。剪辑的时间长度为入点和出点之间的差。
在剪辑“103COMF”的入点、出点和/或时间长度被改变时,指定接受单元204也据此改变读出开始点和读出结束点。如上所述,以沿时间轴的时间信息的形式来计算读出开始点和读出结束点,所述时间轴通过连接索引文件中所描述的每个文件来定义。
(3-3)解码
时间线窗口TW接受轨道上的一个或更多的剪辑的部分的指定以及回放该指定的部分的指令。在预览窗口PW中显示对应于该指定的部分的视频图像数据。在该指定的部分涉及被帧间编码的多个文件时,集成单元203对于每个剪辑初始化解码器109。例如,这是剪辑名包括指示MPEG4的编码格式的情况。在一个剪辑对应于被帧间编码的多个文件时,这使得能够将多个文件按照连接顺序输入至解码器109。换言之,在被存储在对应于一个剪辑的不同的文件中的视频素材正在被输入至解码器109的同时,解码器109将不被初始化。因此,被安排在不同的文件中的帧之间的参考变得可能。这避免了被帧间编码的文件的开始和/或结束处的图像的恶化。
将在以下的编辑功能中解释:在回放对应于多个文件的一个剪辑时,怎样指定对应于一个镜头的视频素材的多个文件、读出开始点、和读出结束点。
(4)编辑功能
编辑单元205连接在编辑窗口EW中指定的剪辑所涉及的视频素材,并且生成视频内容。按照基于被安排在时间线上的剪辑的位置信息的时间序列来连接该视频素材。由剪辑的剪辑名、读出开始点和读出结束点来指定由该剪辑涉及的视频素材。
(4-1)由对应于多个文件的剪辑所涉及的视频素材的读出
在读出由对应于索引文件的剪辑所涉及的视频素材时,编辑单元205基于剪辑的读出开始点和读出结束点来确定实际文件名和文件的时间信息。可以基于索引文件名中的镜头ID和每个文件名中的连接号来确定文件名和文件的顺序。基于由剪辑名指定的索引文件中所描述的每个文件的时间长度、以及读出开始点和读出结束点所指示的时间信息,来确定文件的时间信息。
更具体地,在满足以下方程时,读出开始点位于第n+1个文件中。可以通过计算时间信息Sn和时间信息Rs之间的差来确定指示读出开始点的时间信息MOBs(MOBs=Rs-Sn)。时间信息Sn指示从第一文件到第n文件的总时间长度。时间信息Rs指示读出开始点。
MOBs=Rs-Sn
其中Sn<Rs<Sn+1
Rs:读出开始点的时间信息
Sn:指示从第一文件到第n文件的总时间长度的时间信息(n>=1)
Sn+1:指示从第一文件到第n+1文件的总长度的时间信息
n:连接号
相似地,基于以下方程来确定指示读出结束点的时间信息MOBe。
MOBe=Re-Sn
其中Sn<Re<Sn+1
Re:读出结束点的时间信息
Sn:指示从第一文件到第n文件的总时间长度的时间信息(n>=1)
Sn+1:指示从第一文件到第n+1文件的总时间长度的时间信息
n:连接号
例如,在对应于图5中的索引文件的剪辑的读出开始点为“00:51:45:19”时,从最后文件的开头“00:00:0:00”读出视频素材。这是因为读出开始点的时间信息的值“00:51:45:19”大于指示从第一到第三文件的总时间长度的时间信息的值“00:51:45:18”。还例如,在读出开始点为“00:18:15:06”时,从第二文件中的由时间信息“00:01:00:00”指定的位置读出视频素材。这是因为读出开始点的值“00:18:15:06”大于指示第一文件的时间长度的时间信息的值“00:17:15:06”,但小于指示从第一到第二文件的总时间长度的时间信息的值“00:34:30:12”。
(4-2)内容的输出
所生成的视频内容被写入在诸如HDD 105和被插入至驱动器101中的可拆卸式盘的任何存储介质上。编辑单元205可以向经由通信接口106连接的数据库或信息终端发送所生成的视频内容。编辑单元205可以进一步经由AV单元110向输出设备300和/或外部设备输出所生成的视频内容。
《由编辑装置执行的过程》
编辑装置100中的CPU 102执行编辑过程和解码过程。下面将给出对这些过程的解释。
(1)编辑过程
图9为示出编辑过程的实施例的流程图。将参考图9给出对编辑过程的解释。
步骤S21:CPU 102接受对将是视频素材的一个或多个文件的选择。换言之,CPU 102接受对访问目的地资源的指定,并且接受对被存储在该资源上的一个或多个文件的选择。所选择的文件被读出并被记录在HDD 105上。
步骤S22:CPU 102确定所选择的文件中是否包括索引文件。对于除索引文件之外的其他文件,CPU 102基于其管理数据来生成每个文件的剪辑信息。在所选择的文件中包括索引文件时,过程其后前进至步骤S23。
步骤S23:CPU 102生成用于索引文件的剪辑信息。具体地,基于索引文件中所描述的每个文件的时间长度和/或由索引文件的文件名指示的镜头ID,来生成剪辑信息。
步骤S24:CPU 102基于剪辑信息在Bin窗口BW中显示一个或多个剪辑,并且接受对将被安排在时间线上的一个或多个剪辑的选择。
步骤S25至S26:CPU 102接受将剪辑安排在时间线上的操作以及编辑剪辑的操作,直至其接收到停止编辑的指令。
该过程使得能够在时间线上安排一个剪辑并且编辑该剪辑,所述剪辑涉及用于被划分为多个文件并且被记录在多个文件中的一个镜头的视频数据。
(2)解码过程
图10为示出解码过程的实施例的流程图。参考图10,在涉及帧间编码视频素材的剪辑的编辑期间,由回放指令启动解码过程。例如,可以基于由视频素材的文件名指示的编码格式来确定该视频素材是否被帧间编码。
步骤S31:CPU 102获得一个或多个剪辑的指定的部分。
步骤S32:CPU 102指定剪辑的指定的部分所涉及的视频素材及其生成顺序。更具体地,CPU 102指定安排每个剪辑的顺序、对应于每个剪辑的一个或多个文件名、指示每个文件的读出开始地址和读出结束地址的时间信息。图10中的“帧”指示时间信息。一帧对应于1/30秒。
步骤S33:CPU 102按照从剪辑的指定的部分中的第一剪辑开始的顺序,将剪辑定义为要被解码的当前剪辑。
步骤S34至S35:CPU 102按照顺序从HDD 105读出由当前剪辑涉及的视频素材的全部帧,并且将这些帧输入至解码器109中。在当前剪辑涉及多个文件时,按照由文件名指示的连接号的顺序,安排多个文件中的帧,并且将多个文件中的帧输入至解码器109中。在预览窗口PW上显示由解码器109解码的视频数据。
步骤S36:在当前帧的解码结束时,CPU 102初始化解码器109。
步骤S37:CPU 102确定剪辑的指定的部分中的全部是否被解码。如果否,则过程返回至步骤S34,并且CPU 102解码和回放下一剪辑。在完成了对剪辑的指定的部分的解码时,该过程将结束。
该过程使得能够在解码时进行被安排在不同的文件中的帧之间的参考。这避免了在一个镜头被记录在被帧间编码的文件中时,在文件的开始和结束处的图像的恶化。
<其他实施例>
(A)图11A和图11B示出了在一个镜头被划分为多个文件、并且被记录在多个文件中时,将多个文件按照记录的顺序彼此关联的其他方法的解释性视图。图11A示出了通过将其下一文件的文件名写入至每个文件中来关联多个文件的方法。图11A示出了两个文件以及每个文件中的描述内容。图11B示出了通过索引文件来将多个文件彼此关联并且定义文件的顺序的另一方法。在图11B中图示了索引文件和其中的描述内容。
参考图11A,其文件名为“10301.dar”的当前文件包括诸如视频数据和音频数据的视频素材、以及文件名“10302.dar”,文件名“10302.dat”指示顺序地在当前文件之后生成的文件。其文件名为“10302.dat”的文件包括视频素材、以及顺序地在该文件之后生成的文件的文件名“10303.dat”。读出被写入在每个文件中的下一文件的文件名使得能够按照记录的顺序将多个文件彼此关联,而无索引文件。
参考图11B,索引文件“103COM.IDX”按照记录的顺序描述了文件的文件名,对应于一个镜头的多媒体数据被写入至所述文件中。读出在索引文件中所描述的文件名以及其顺序使得能够按照记录的顺序将多个文件彼此关联。
可以采用各种方法以将对应于一个镜头的多个文件彼此关联。基于其生成剪辑信息的数据、指定多媒体数据的读出开始点和/或读出结束点的方式可以取决于方法,并且可以在本发明的要旨的范围内修改它们。
(B)本发明包括用于导致计算机执行上面所讨论的方法的程序,以及在其上记录这样的程序的计算机可读存储介质。存储介质的例子包括计算机可读/可写软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、蓝光盘和半导体存储器。
计算机程序不限于在存储介质上所记录的计算机程序,并且可以是可通过网络下载的计算机程序,所述网络诸如电通信线、无线/有线通信线和因特网。
工业可应用性
本发明可应用于用于编辑视频数据和/或音频数据的编辑装置。

Claims (11)

1.一种编辑装置(100),其包括:
确定单元(202),其用于确定多个文件中的每个在时间序列中的生成顺序,
所述多个文件被存储在存储部件中,对应于一个镜头,并且包括帧间编码数据;以及
集成单元(203),其用于按照生成顺序安排所述多个文件,并且将安排后的文件集成。
2.如权利要求1所述的编辑装置,其进一步包括解码器(109),其中集成单元按照生成顺序将所述多个文件输入至解码器中,并且
解码器将所输入的文件解码。
3.如权利要求1所述的编辑装置,其进一步包括接收单元(204),用于将集成后的文件作为一个剪辑来显示,并且接受对该剪辑的编辑。
4.如权利要求1所述的编辑装置,其中
集成单元虚拟地集成所述多个文件。
5.如权利要求1所述的编辑装置,其中
所述多个文件包括第一文件和第二文件,
第一文件和第二文件在生成顺序中是相继的,
第二文件在第一文件之后;并且
集成单元将第一文件中的第一帧与第二文件中的第二帧关联,以使所述帧中的任一个在参考另一帧时可被解码,
第一帧被安排在第一文件的结束处,第二帧被安排在第二帧的开始处。
6.如权利要求1所述的编辑装置,其中
确定单元基于所述多个文件的每个文件名来确定生成顺序。
7.如权利要求1所述的编辑装置,其中
确定单元获得指示所述多个文件的总数目或总记录时间的信息,并且
在所获得的信息符合由确定单元生成的确定结果时,集成单元将所述多个文件集成。
8.一种编辑方法,其包括步骤:
确定(S11)多个文件中的每个在时间序列中的生成顺序,
所述多个文件被存储在存储部件中,对应于一个镜头,并且包括帧间编码数据;以及
通过按照生成顺序安排所述多个文件来将所述多个文件集成(S12)。
9.如权利要求8所述的编辑方法,其进一步包括步骤:
将集成后的文件作为一个剪辑来显示(S13),以及
编辑(S14)集成后的文件。
10.一种用于导致计算机执行以下步骤的编辑程序:
确定(S11)多个文件中的每个在时间序列中的生成顺序,
所述多个文件被存储在存储部件中、对应于一个镜头、并且包括帧间编码数据;以及
按照生成顺序安排所述多个文件,并且将安排后的文件集成(S12)。
11.一种计算机可读介质,在其上记录用于导致计算机执行以下步骤的编辑程序:
确定(S11)多个文件中的每个在时间序列中的生成顺序,
所述多个文件被存储在存储部件中,对应于一个镜头,并且包括帧间编码数据;以及
按照生成顺序安排所述多个文件,并且将安排后的文件集成(S12)。
CN2007800533146A 2007-04-13 2007-09-26 编辑装置和编辑方法 Expired - Fee Related CN101681661B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP106438/2007 2007-04-13
JP2007106438 2007-04-13
PCT/JP2007/001041 WO2008126157A1 (en) 2007-04-13 2007-09-26 An editing apparatus and an editing method

Publications (2)

Publication Number Publication Date
CN101681661A true CN101681661A (zh) 2010-03-24
CN101681661B CN101681661B (zh) 2012-05-23

Family

ID=38929690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800533146A Expired - Fee Related CN101681661B (zh) 2007-04-13 2007-09-26 编辑装置和编辑方法

Country Status (5)

Country Link
US (2) US8898563B2 (zh)
EP (1) EP2137733A1 (zh)
JP (1) JP5635265B2 (zh)
CN (1) CN101681661B (zh)
WO (1) WO2008126157A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708941A (zh) * 2016-11-24 2017-05-24 厦门亿力吉奥信息科技有限公司 电网多任务在线协同编辑方法
CN108268432A (zh) * 2017-12-14 2018-07-10 中央电视台 一种节目工程文件的转换方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5775006B2 (ja) * 2012-01-23 2015-09-09 ルネサスエレクトロニクス株式会社 情報処理装置、情報処理方法及び半導体装置
USD757050S1 (en) * 2014-12-16 2016-05-24 LeGuard, Inc. Display screen with graphical user interface
USD757049S1 (en) * 2014-12-16 2016-05-24 LeGuard, Inc. Display screen with graphical user interface
USD757051S1 (en) * 2014-12-16 2016-05-24 LeGuard, Inc. Display screen with graphical user interface
USD757758S1 (en) * 2014-12-16 2016-05-31 LeGuard, Inc. Display screen with graphical user interface
JP6745629B2 (ja) * 2016-04-01 2020-08-26 キヤノン株式会社 情報処理装置およびその制御方法

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999406A (en) * 1995-02-23 1999-12-07 Avid Technology, Inc. Dockable electronic equipment container
KR100221336B1 (ko) 1996-12-28 1999-09-15 전주범 직교 주파수 분할 다중화 수신 시스템의 프레임 동기 장치 및 그 방법
US7519268B2 (en) 1998-04-14 2009-04-14 Nikon Corporation Image recording apparatus, dynamic image processing apparatus, dynamic image reproduction apparatus, dynamic image recording apparatus, information recording / reproduction apparatus and methods employed therein, recording medium with computer program stored therein
US6754663B1 (en) * 1998-11-23 2004-06-22 Nestor, Inc. Video-file based citation generation system for traffic light violations
JP3556518B2 (ja) * 1999-04-05 2004-08-18 シャープ株式会社 ファイル管理装置
US6678332B1 (en) * 2000-01-04 2004-01-13 Emc Corporation Seamless splicing of encoded MPEG video and audio
US20010036356A1 (en) * 2000-04-07 2001-11-01 Autodesk, Inc. Non-linear video editing system
US7786999B1 (en) * 2000-10-04 2010-08-31 Apple Inc. Edit display during rendering operations
US7325199B1 (en) * 2000-10-04 2008-01-29 Apple Inc. Integrated time line for editing
US6907081B2 (en) * 2001-03-30 2005-06-14 Emc Corporation MPEG encoder control protocol for on-line encoding and MPEG data storage
US7174561B2 (en) * 2001-04-13 2007-02-06 Emc Corporation MPEG dual-channel decoder data and control protocols for real-time video streaming
TWI236294B (en) * 2001-05-11 2005-07-11 Ulead Systems Inc Method and device for capturing digital video
JP2003217266A (ja) 2002-01-24 2003-07-31 Sony Corp 記録方法及び記録装置
AUPS127702A0 (en) * 2002-03-21 2002-05-02 Canon Kabushiki Kaisha Dual mode timeline interface
US20030206596A1 (en) * 2002-05-03 2003-11-06 David Carver Multimedia content assembly
JP3849646B2 (ja) * 2003-01-22 2006-11-22 日本ビクター株式会社 映像信号記録再生装置
JP2004226721A (ja) 2003-01-23 2004-08-12 Toyo Tire & Rubber Co Ltd トナーシール材
WO2004100161A1 (ja) 2003-05-07 2004-11-18 Matsushita Electric Industrial Co., Ltd. 記録再生装置及び記録再生方法
JP2005004866A (ja) * 2003-06-11 2005-01-06 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2005027159A (ja) * 2003-07-04 2005-01-27 Canon Inc 記録装置及び方法
KR101014665B1 (ko) * 2003-10-06 2011-02-16 삼성전자주식회사 프리로드 정보가 기록된 정보저장매체, 그 재생장치 및재생방법
KR100585668B1 (ko) * 2004-03-22 2006-06-07 엘지전자 주식회사 가상 미디어파일 시스템을 이용한 멀티미디어 편집 방법및 장치와 멀티미디어 파일 구조
US7805678B1 (en) * 2004-04-16 2010-09-28 Apple Inc. Editing within single timeline
JP4306525B2 (ja) * 2004-04-16 2009-08-05 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4385974B2 (ja) * 2004-05-13 2009-12-16 ソニー株式会社 画像表示方法、画像処理装置、プログラム及び記録媒体
EP1596396A1 (en) * 2004-05-15 2005-11-16 Deutsche Thomson-Brandt Gmbh Method for splitting a data stream
JP4203960B2 (ja) 2004-06-21 2009-01-07 トムソン・カノープス株式会社 映像音声ファイル生成装置およびノンリニアビデオ編集装置
US7903927B2 (en) * 2004-07-08 2011-03-08 Sony Corporation Editing apparatus and control method thereof, and program and recording medium
US8391410B2 (en) 2004-07-29 2013-03-05 Qualcomm Incorporated Methods and apparatus for configuring a pilot symbol in a wireless communication system
KR101194967B1 (ko) * 2004-08-25 2012-10-25 소니 주식회사 정보 처리 장치 및 정보 처리 방법, 및 기록 매체
WO2006030767A1 (ja) * 2004-09-13 2006-03-23 Matsushita Electric Industrial Co., Ltd. データ処理装置
WO2006033279A1 (ja) * 2004-09-24 2006-03-30 Matsushita Electric Industrial Co., Ltd. データ処理装置
JP2006209687A (ja) * 2005-01-31 2006-08-10 Sony Corp データ処理回路
JP4124204B2 (ja) 2005-02-18 2008-07-23 松下電器産業株式会社 コンテンツ再生装置
US7636395B2 (en) * 2005-03-14 2009-12-22 Nokia Corporation Method and device for splicing video data in compressed domain
TWI303058B (en) 2005-04-12 2008-11-11 Sunplus Technology Co Ltd A recording media for video file storage and a method for video file editing
TWI275937B (en) * 2005-05-18 2007-03-11 Rdc Semiconductor Co Ltd Large file storage management method and system
US20060271855A1 (en) * 2005-05-27 2006-11-30 Microsoft Corporation Operating system shell management of video files
US7477692B2 (en) * 2005-12-16 2009-01-13 Tut Systems, Inc. Video encoding for seamless splicing between encoded video streams
US8214516B2 (en) * 2006-01-06 2012-07-03 Google Inc. Dynamic media serving infrastructure
JP4720543B2 (ja) * 2006-03-01 2011-07-13 ソニー株式会社 データ処理装置、データ処理方法およびデータ処理プログラム、記録媒体、ならびに、再生装置、再生方法および再生プログラム
US7890867B1 (en) * 2006-06-07 2011-02-15 Adobe Systems Incorporated Video editing functions displayed on or near video sequences
JP2008010110A (ja) * 2006-06-30 2008-01-17 Sony Corp ファイル分割装置、ファイル分割方法及びファイル分割プログラム
US7623755B2 (en) * 2006-08-17 2009-11-24 Adobe Systems Incorporated Techniques for positioning audio and video clips
KR20080025246A (ko) * 2006-09-15 2008-03-20 삼성전자주식회사 비디오 스트림을 gop 단위로 분할하여 기록하는 비디오기록방법 및 이를 적용한 비디오 장치
US8571384B2 (en) * 2007-03-16 2013-10-29 Realtek Semiconductor Corp. Digital video recorder, digital video system, and video playback method thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708941A (zh) * 2016-11-24 2017-05-24 厦门亿力吉奥信息科技有限公司 电网多任务在线协同编辑方法
CN106708941B (zh) * 2016-11-24 2019-07-30 厦门亿力吉奥信息科技有限公司 电网多任务在线协同编辑方法
CN108268432A (zh) * 2017-12-14 2018-07-10 中央电视台 一种节目工程文件的转换方法及装置

Also Published As

Publication number Publication date
US20100122159A1 (en) 2010-05-13
JP5635265B2 (ja) 2014-12-03
JP2010524274A (ja) 2010-07-15
US20150012823A1 (en) 2015-01-08
US8898563B2 (en) 2014-11-25
WO2008126157A1 (en) 2008-10-23
US9015583B2 (en) 2015-04-21
EP2137733A1 (en) 2009-12-30
CN101681661B (zh) 2012-05-23

Similar Documents

Publication Publication Date Title
CN101681661B (zh) 编辑装置和编辑方法
CN100389610C (zh) 重放设备
CN101154419B (zh) 记录和再现装置及内容管理方法
CN101154427B (zh) 记录和再现装置及记录和再现方法
JP3285029B2 (ja) 記録媒体
CN101681662B (zh) 编辑装置和编辑方法
KR20060080126A (ko) 기록 장치 및 방법, 프로그램, 및 기록 매체
JP3164111B2 (ja) 記録方法、記録装置およびコンピュータ読み取り可能な記録媒体
JP3164107B2 (ja) 記録媒体
CN109791707A (zh) 再现装置、再现方法、记录装置、记录方法、再现/记录装置、再现/记录方法以及程序
US20090067818A1 (en) Video recording and reproducing system and reading method of video data
JP2007325110A (ja) 撮像装置及び撮像装置の制御方法
JP4265438B2 (ja) 変換装置、変換補助方法、およびプログラム
JP2005072799A (ja) 記録装置と記録方法
JP4028246B2 (ja) 情報記録編集装置及び情報記録媒体
US20030081515A1 (en) Information recording medium, information recording apparatus, information reproducing apparatus, and copying apparatus
JP2008500762A (ja) スライドショーへの連続的音声発生方法及び装置
JP2010252128A (ja) メタデータ処理装置、映像処理装置及び映像処理システム
JP4400684B2 (ja) 情報処理装置、記録再生装置
JP3277922B2 (ja) データ記録再生装置とその方法
US20080069541A1 (en) Data recording apparatus, data recording method, and data recording program
JP5240014B2 (ja) 映像記録装置
JP4719454B2 (ja) 記録方法、記録装置
JP5263308B2 (ja) 記録再生装置及び記録媒体
JP3329339B2 (ja) 再生方法、再生装置、およびコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: GVBB HOLDINGS S.A.R.L.

Free format text: FORMER OWNER: THOMSON LICENSING CORP.

Effective date: 20120606

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20120606

Address after: Luxemburg Luxemburg

Patentee after: Gvbb Holdings S. A. R. L.

Address before: French Boulogne - Billancourt

Patentee before: Thomson Licensing Corp.

C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120523

Termination date: 20130926