CN102576561B

CN102576561B - 用于编辑的装置和方法

Info

Publication number: CN102576561B
Application number: CN200980159342.5A
Authority: CN
Inventors: 山崎明弘; 仁井康则; 铃木良治
Original assignee: GVBB Holdings SARL
Current assignee: GVBB Holdings SARL
Priority date: 2009-03-19
Filing date: 2009-07-02
Publication date: 2015-08-05
Anticipated expiration: 2029-07-02
Also published as: US9042707B2; EP2411979A1; CN105023595A; JP2012054619A; EP2411979B1; US9984725B2; CN102576561A; US20150213836A1; US20180247673A1; US20120093487A1; WO2010106586A1

Abstract

一种编辑方法，包括：从素材数据生成回放数据，其中素材数据是根据第一时间生成的，并且在素材数据中指定了第一时间范围，回放数据将根据与第一时间不同的第二时间进行回放；以及在回放数据中定位第二时间范围，第二时间范围包括第一时间范围内的素材数据。

Description

用于编辑的装置和方法

技术领域

本发明涉及一种编辑装置、编辑方法、编辑程序和数据结构。

背景技术

对于视频编辑而言，通常存在以下方法：在已经记录了视频或图像的录像带或胶片上执行编辑的方法，以及将录像带或胶片上记录的视频或图像数据转换成数字数据进行编辑的方法。

在已经记录了视频或图像的录像带或胶片上执行编辑的情况下，在读取被称为时间码的时间信息的同时，需要针对作为素材的视频或图像数据的时间轴(下文中该时间轴将被称为“素材时间”)，顺序地执行编辑。因此，对于素材时间而言，编辑操作是线性的。相反，除了回放方向和回放时间以外，可以通过随机地访问存储的视频数据来灵活地编辑被转换成数字数据的视频或图像数据(如果存储在个人计算机、工作站等的硬盘等中)，而不用考虑素材时间。因此，对于素材时间而言，编辑操作可以是非线性的。为此，用于数字地编辑视频数据的装置也称为“非线性编辑装置”。如果使用这种非线性编辑装置，那么与使用录像带的传统带编辑相比，可以执行各种编辑而不必考虑时间码；例如，如果某个中间场景变得不必要，则可以将后面的场景前移。

在使用这种非线性编辑装置的情况下，例如可以从硬盘中读取、解码、再现以及然后当通过使用监视器进行查看的同时编辑存储在硬盘中的编码视频。通常存在一种如下的非线性视频编辑装置：其可以再现将被编辑的视频数据，以允许在视频数据的相应位置处设置将要被裁剪的场景的起始位置(入点)和结束位置(出点)，同时允许对视频数据的视频进行查看。这些入点和出点与视频数据相关联并且作为编辑信息进行保存，并基于这种编辑信息形成被裁剪的场景的剪辑(clip)。应当注意的是，在非线性视频编辑中，为了形成剪辑不需要实际地复制或剪切任何原始视频数据，并且在剪辑回放期间，指定剪辑，从而参考编辑信息并对从入点到出点的范围内的视频数据进行解码和再现。

一些类型的非线性编辑装置可以使用称为“剪辑标记”的编辑功能，来在剪辑的视频和音频的任意期望的场景位置处设置标记。此外，专利文献1公开了一种编辑系统，其中使用称为“时间再映射”的编辑功能来灵活地将剪辑的视频和音频的回放速率改变到任意期望的速率，并在用户界面上显示回放速率的改变状态。例如，可以通过使用用户或编辑者指定的关键帧以及一组使用该关键帧的线段内插和Bezier内插数学表达式来改变回放速率。

根据常规方法，如果作为素材的视频数据(下文中将被称为“素材数据”)受到编辑，这些编辑包括用于产生将被回放的视频数据(在下文中将被称为“回放数据”)的时间再映射转换过程，那么使素材数据中设置的、并指示素材时间上的给定“位置”的标记反映在回放数据中，是相对容易的。然而，在将用于定义素材时间上的给定“范围”的标记设置在素材数据中的情况下，如果简单地应用从素材时间到回放时间的时间再映射转换，不考虑该范围的起始和结束点之间的时间间隔的改变，那么结果就是素材数据中设置的标记所指示的范围可能没有被正确地反映在回放数据中。

图1A至图1C的曲线图示出了素材时间和回放时间之间的剪辑标记的对应关系。在图1A至图1C中，在素材数据的给定位置处设置的标记示为剪辑标记a、b、c、d和e。图1A示出了设置回放时间使得以与素材时间相同的回放速率来执行回放的情况。在图1A的例子中，如实线所示，只存在分别与素材时间的剪辑标记a和b相对应的单个回放时间a’和b’，而如虚线所示，也只存在分别与回放时间a’和b’相对应的单个素材时间a和b。图1B示出了设置回放时间使得用素材时间的变化的回放速率来执行回放的情况。在图1B的例子中，如实线所示，例如，存在与剪辑标记d所表示的素材时间相对应的多个回放时间d1’、d2’和d3’。图1C示出了设置回放时间使得用素材时间的变化的回放速率来执行回放的另一情况。在图1C的例子中，不存在与剪辑标记e所表示的素材时间相对应的回放时间。但是，即使在这种情况中，也有必要存在与例如f所表示的回放时间的时间相对应的单个素材时间。

在素材时间与回放时间相同的情况(图1A)下，回放时间的位置与素材时间的相应位置以一对一的关系相对应。相反，如图1B和图1C中所示，在设置回放时间使得用素材时间的变化的回放速率来执行回放的情况中，可能存在与素材时间的位置相对应的多个回放时间，或者可能不存在与素材时间的位置相对应的回放时间。

如前面所陈述的，在使用剪辑标记来定义素材数据的给定“范围”然后简单地应用从素材时间到回放时间的时间再映射转换的情况下，并没有考虑该范围的起始点和结束点之间的时间间隔的改变，结果就是由素材数据中设置的剪辑标记定义的范围可能没有被正确地反映在回放数据中。例如，在对范围进行指定使得图1B中所示的剪辑标记d用作所指定的范围的起始点或结束点的情况下，实际上可能已知相对应的回放时间d1’、d2’和d3’，但是并没有考虑d1’和d2’之间的时间改变以及d2’和d3’之间的时间改变。为此，可能无法确定回放时间中的d1’和d2’之间范围以及d2’和d3’之间的范围是否与素材时间中指定的范围相对应。

因此，在素材数据是例如救援游戏的TV广播的记录数据并且目标场景的范围是通过使用剪辑标记来指定的情况下，即使在时间再映射转换过程之后，通过使用回放数据来回放通过使用剪辑标记指定的目标场景，也无法正确地确定素材数据中指定的目标场景范围与经历时间再映射转换过程的回放数据的哪个范围相对应，结果就是可能只回放目标场景的一部分或可能没有适当地回放目标场景。

因此，根据常规技术，确定素材数据中的任何给定“位置”与在经历时间再映射转换过程的回放数据中反映该给定位置的“位置”之间的相互关系是可能的。但是，却难以确定素材数据中指定的任何给定“范围”与在经历时间再映射转换过程的回放数据中反映素材数据中指定的该给定范围的“范围”之间的相互对应关系。

引用列表

专利文献

PTL 1：美国专利申请公开No.2008/0253735A。

发明内容

本发明提供一种编辑装置、编辑方法、编辑程序和数据结构，其使得确定素材数据中指定的任何给定“范围”与在经历时间再映射转换过程的回放数据中反映素材数据中指定的该给定范围的“范围”之间的相互对应关系成为可能。

根据本发明的一个方面，本发明的一种编辑方法包括：从素材数据生成回放数据，其中所述素材数据是根据第一时间生成的并且在所述素材数据中指定了第一时间范围，所述回放数据是将根据与所述第一时间不同的第二时间进行回放的；以及在所述回放数据中定位第二时间范围，所述第二时间包括所述第一时间范围内的素材数据。

例如，在设置所述第二时间使得所述回放数据包括所述素材数据的反向回放范围的情况下，如果所述回放数据是从所述素材数据生成的，则在所述回放数据中可以出现与所述素材数据的所述第一时间范围相对应的多个第二时间范围。即使在这种情况下，根据本发明也可以在所述回放数据中定位所述第二时间范围，其中所述第二时间范围包括所述第一时间范围内的素材数据，使得可以确定所述素材数据中指定的所述第一时间范围与在所述回放数据中反映所述素材数据的指定范围的所述第二时间范围的对应关系。本文中使用的术语“第一时间”是指记录素材数据时使用的时间轴，并且与例如本说明书中描述的“素材时间”相对应。本文中使用的术语“第二时间”是指在回放数据的回放期间使用的时间轴，并且与例如本说明书中描述的“回放时间”相对应。除非相反地进行了任何特定的解释，否则在本申请的权利要求述及其说明书中也是同样的。术语“素材数据”和“回放数据”包括“运动图像数据”、“运动图像信号”和本说明书中描述的“剪辑”。除非相反地进行了任何特定的解释，否则在本申请的权利要求述及其说明书中也是同样的。第一时间内的素材数据和第二时间内的回放数据与例如本说明书中描述的“剪辑”相对应。

根据本发明的编辑方法还可以包括：在用户界面上显示所述第二时间中的所述第二时间范围，或者在所述用户界面上另选地显示所述第一时间中的所述第一时间范围和所述第二时间中的所述第二时间范围。所以，用户可以可视地识别反映所述素材数据中指定的第一范围的回放数据范围。

此外，根据本发明的方法可以包括以下特征：所述素材数据的所述第一时间范围包括特定的标识信息，当在所述用户界面上指定所述第二时间范围时在所述用户界面上显示所述标识信息。根据这一特征，例如如果用户在所述用户界面上操作指针来指定所述第二时间范围，则可以在所述用户界面上显示所述特定标识信息。因此，所述用户可以可视地识别由用户通过使用指针指定的所述回放数据的所述第二时间范围是反映所述素材数据的所述第一时间范围的范围。

根据本发明的编辑方法还可以包括：将所述第一时间中的所述第一时间范围与所述第二时间中的所述第二时间范围相关联；在所述用户界面上显示所述第一时间中的所述第一时间范围和所述第二时间中的所述第二时间范围；当在所述用户界面上指定所述第一时间范围时，改变与所述第一时间范围相关联的所述第二时间范围的显示方式；当在所述用户界面上指定所述第二时间范围时，改变与所述第二时间范围相关联的所述第一时间的显示方式。根据这一特征，例如如果用户在所述用户界面上操作指针来指定所述素材数据的所述第一时间范围，则用户可以可以可视地识别出所述回放数据的、反映所述素材数据的所述第一时间范围的所述第二时间范围。反过来，如果用户在用户界面上操作指针以指定所述回放数据的所述第二时间范围，则用户可以可视地识别出所述素材数据的、反映在所述回放数据的所述第二时间范围内的所述第一时间范围。改变所述第一时间范围或所述第二时间范围的显示方式包括例如改变其显示的色彩，使得其显示闪烁，增加或减小其显示的大小，等等。

根据本发明的另一方面，本发明的一种编辑装置包括处理部件，其执行：从素材数据生成回放数据，其中所述素材数据是根据第一时间生成的并且在所述素材数据中指定了第一时间范围，所述回放数据是将根据与所述第一时间不同的第二时间进行回放的；以及在所述回放数据中定位第二时间范围，所述第二时间包括所述第一时间范围内的素材数据。

根据本发明的又一方面，本发明的一种计算机程序允许计算机执行：从素材数据生成回放数据，其中所述素材数据是根据第一时间生成的并且在所述素材数据中指定了第一时间范围，回放数据是将根据与所述第一时间不同的第二时间进行回放的；以及在所述回放数据中定位第二时间范围，所述第二时间包括所述第一时间范围内的素材数据。

根据本发明的又一方面，本发明的一种数据结构包括：素材数据，所述素材数据是根据第一时间生成的，并且在所述素材数据中已经指定了第一时间范围；以及回放数据，所述回放数据是从所述材料数据生成的，并且将根据与所述第一时间不同的第二时间进行回放，并且在所述回放数据中已经定位了第二时间范围，所述第二时间范围包括所述第一时间范围内的素材数据。

附图说明

图1A的图示出了在素材时间和回放时间之间的剪辑标记对应关系。

图1B的图示出了在素材时间和回放时间之间的剪辑标记对应关系。

图1C的图示出了在素材时间和回放时间之间的剪辑标记对应关系。

图2是根据本发明实施例的非线性编辑装置的方框图。

图3的流程图示出了由图2的非线性编辑装置执行的处理。

图4的流程图详细地示出了图3的步骤S13中的处理。

图5的图示出了图2的非线性编辑装置根据素材时间范围定位相应的回放时间范围的原理。

图6的表示出了用于根据曲线上的交点处的微分值和二阶微分值来确定相应的交点所表示的参考点是范围的起始位置还是范围的结束位置的准则。

图7的图示出了图2的非线性编辑装置根据回放时间范围确定相应的素材时间范围的原理。

图8A的图示出了使用具有剪辑标记功能的编辑装置的时间再映射操作。

图8B的图示出了使用具有剪辑标记功能的编辑装置的时间再映射操作。

图8C的图示出了使用具有剪辑标记功能的编辑装置的时间再映射操作。

图9的曲线示出了在素材时间和回放时间之间的剪辑标记对应关系，其与图8C中所示的显示屏幕相对应。

具体实施方式

下文将参考附图来描述本发明的实施例。

现在将参考图2来描述作为根据本发明第一实施例的编辑装置的非线性编辑装置。如图2中所示，根据本实施例的非线性编辑装置1包括：视频输入部件11；解码器12；输入接口(在该图中示为“INPUT I/F”)13；输入部件13a，其是鼠标、键盘、控制设备等；CPU(中央处理单元)14；ROM(只读存储器)15；RAM(随机存取存储器16)；输出接口(在该图中示为“OUTPUT I/F”)17；显示器17a；编码器18；硬盘19；以及视频输出部件20。

视频输入部件11接收例如来自照相机等的视频数据。解码器12解码来自视频输入部件11的视频数据。输入接口13接收通过操作输入部件13a而进入的用户指令，输入部件13a是鼠标、键盘、控制设备等。CPU 14经由输入接口13接收用户指令，并控制非线性编辑装置1所执行的全部处理。ROM 15存储信息，例如由CPU 14执行的各种应用程序；包括编辑屏幕、各种备用屏幕等的屏幕数据；作为各种功能的初始设置数据的缺省数据。RAM16用作CPU 14的工作内存。输出接口17在CPU14的控制下向显示器17a输出所处理的视频和其它信息。编码器18对CPU 14所处理的视频数据进行编码，并且视频输出部件20向另一装置输出编码器18所编码的视频数据。硬盘19可以存储CPU 14所处理的视频、从视频输入部件11接收的视频以及其它信息。在本发明的本实施例中，CPU 14用作处理部件。

现在将描述根据本实施例的非线性编辑装置1所执行的处理。具体地，将详细地描述根据素材时间范围定位相应的回放时间范围以及根据回放时间范围定位相应的素材时间范围。

<1.根据素材时间范围定位相应的回放时间范围>

现在将参考图2和图3至图5来描述根据本实施例的非线性编辑装置1如何根据素材时间范围定位相应的回放时间范围。图3至图4的流程图示出了根据本实施例的非线性编辑装置1如何根据素材时间范围定位相应的回放时间范围，而图5的曲线图示出了非线性编辑装置1根据素材时间范围定位相应的回放时间范围的原理，并且作为一个例子示出了使用剪辑标记来定义范围C和D的情况。下文描述的处理在CPU 14的控制下进行。假定素材数据已经存储在硬盘19中。

如图3中所示，以在素材数据中设置一个或多个范围开始(步骤S11)。具体地，由用户操作输入部件13a，并且CPU 14根据经由输入接口13接收到的用户指令，通过使用剪辑标记来设置例如素材数据中的范围C和D。CPU 14将通过使用剪辑标记设置的范围C和D的剪辑标记信息与以及存储在硬盘19中的素材数据相关联，并将所关联的剪辑标记信息存储在硬盘19中。

接下来，对素材数据进行编辑，以生成回放数据(步骤S12)。具体地，由用户操作输入部件13a，并且CPU 14根据经由输入接口13接收到的用户指令来使硬盘19中存储的素材数据经历时间再映射编辑，用以生成通过根据回放时间(“第二时间”)回放素材数据所获得的回放数据，回放时间的时间轴与素材数据的时间轴(“素材时间”或“第一时间”)不同；将相应的回放速率信息等添加到素材数据；以及生成回放数据。CPU 14实际上不需要复制或剪切素材数据，并且可以将编辑信息与硬盘19中存储的素材数据相关联，并将所关联的编辑信息存储在硬盘19中。

接着，定位与素材数据中设置的素材时间范围相对应的回放数据的部分(步骤S13)。在图4的例子中，CPU 14基于硬盘19中存储的素材数据、剪辑标记信息和编辑信息，来在回放数据中将范围c1-c2定位为与通过使用剪辑标记在素材数据中设置的范围C相对应的部分，并将范围d1-d3和d4-d5也定位为通过利用剪辑标记在素材数据中设置的范围D相对应的部分。

现在将参考图4来详细地描述定位回放数据的、与通过使用剪辑标记在素材数据中设置的范围相对应的部分(S13)。

首先，CPU 14确定与素材时间范围的起始位置和结束位置相对应的回放时间位置，以作为参考位置(步骤S131)。

CPU 14通过根据图5中的曲线所描述的函数计算素材时间和回放时间之间的关系来执行这种处理。素材数据恰好是不连续的，并且是由给定间隔所隔开的多个帧组成的。对于范围C和D的不存在帧的那些部分，CPU 14使用线段内插来执行对线性变化部分的计算，而使用Bezier内插来执行对以高曲率进行变化的部分的计算。从而，在步骤S13中，CPU 14确定范围C的起始位置与关键帧的内插值的曲线相交的所有点，以获得参考位置C1，同时确定范围D的起始位置与关键帧的内插值的曲线相交的所有点，以获得参考位置D1、D3和D4。然后CPU 14确定范围C的结束位置与关键帧的内插值的曲线相交的所有点，以获得参考位置C2和C3，同时确定范围D的结束位置与关键帧的内插值的曲线相交的所有点，以获得参考位置D2和D5。

接着，CPU 14确定在相应的参考位置处素材时间的回放方向(步骤S132)。

为了执行这种处理，CPU 14计算所有获得的参考位置C1、D1、D3、D4、C2、D2、C3和D5的微分值和二阶微分值，并基于微分值和二阶微分值是否是正值来确定在相应参考位置处的回放方向。

然后，CPU 14基于这样确定的回放方向来确定回放时间中的回放范围的起始位置和结束位置(步骤S133)。

图6示出了在基于曲线交点处的微分值和二阶微分值来确定相应交点所表示的参考位置是起始位置还是结束位置的过程中使用的表。

根据该表，针对所有交点来确定每个“回放范围”的“起始位置”和“结束位置”。如果一交点是“回放范围”的“起始位置”，则确定从该“起始位置“到下一交点的位置在“在回放范围的内部”，而如果一交点是“回放范围”的“结束位置”，则确定从该“结束位置”到下一交点的位置在“回放范围的外部”。对于最后一交点，不存在下一交点，所以使用曲线的终点位置。重复这种确定直到最后一个交点为止，从而获得了“回放范围内部”的集合。应当注意的是，对于这样获得的“回放范围内部”的集合，如果任意范围彼此相邻，则将相应的集合彼此结合。以这种方式，定位反映素材数据中指定的范围的回放数据的范围(回放范围)是可能的。

作为具体的例子，下面将描述根据剪辑标记的素材时间范围C和D来定位相应的回放范围。

<1-1.根据剪辑标记范围C的素材时间范围定位相应的回放时间范围>

首先，确定剪辑标记范围C的起始位置与关键帧的内插值的曲线相交的点，并将其表示为C1。接下来，确定交点C1的微分值，即曲线在交点C1处的梯度。交点C1的微分值是正值，因此大于零，这意味着交点C1处的回放方向是素材时间的正方向。交点C1与剪辑标记范围C的“起始位置”相对应，并且其微分值是正值，使得相应的回放时间被识别为“回放范围”的起始位置c1。

接着，确定剪辑范围C的结束位置与关键帧的内插值的曲线相交的点，并将其表示为C2和C3。

首先确定交点C2的微分值。交点C2的微分值是正值，因此大于零，这意味着交点C2处的回放方向是素材时间的正方向。交点C2与剪辑标记范围C的“结束位置”相对应，并且其微分值是正值，使得相应的回放时间被识别为“回放范围”的结束位置c2。

接着，确定交点C3的微分值。交点C3的微分值是零，这意味着交点C3是局部极大值或局部极小值。为了使得确定交点C3是局部极大值还是局部极小值成为可能，确定交点C3的二阶微分值。交点C3的二阶微分值是正值，因此大于零，这明确了交点C3是局部极小值。交点C3与剪辑标记范围C的结束位置相对应，并且其二阶微分值是正值，因此交点C3是局部极小值，使得相应的回放时间被识别为“回放范围”的结束位置c3(未示出)。

按照回放时间的升序对位置c1、c2和c3进行重新排列。位置c1到c2在该范围的内部，位置c2到c3在该范围的外部，以及位置c3到与曲线终端相对应的位置在该范围的外部。因此，回放范围c1-c2(其起始点是c1，其结束点是c2)被定位为反映素材数据中指定的范围C的回放数据范围。

<1-2.从剪辑标记范围D的素材时间范围定位相应的回放时间范围>

首先，确定剪辑标记范围D的起始位置与关键帧的内插值的曲线相交的点，并将其表示为D1、D3和D4。

接下来，确定交点D1的微分值。交点D1的微分值是正值，因此大于零，这意味着在交点D1处的回放方向是素材时间的正方向。交点D1与剪辑标记范围D的“起始位置”相对应，并且其微分值是正值，使得相应的回放时间被识别为“回放范围”的起始位置d1。

然后，确定交点D3的微分值。交点D3的微分值是负值，因此小于零，这意味着交点D3处的回放表示素材时间的反方向回放。交点D3与剪辑标记范围D的“起始位置”相对应，并且其微分值是负值，使得相应的回放时间被识别为“回放范围”的结束位置d3。

然后，确定交点D4的微分值。交点D4的微分值是正值，因此大于零，这意味着交点D4处的回放方向是素材时间的正方向。交点D4与剪辑标记范围D的“起始位置”相对应，并且其微分值是负值，使得相应的回放时间被识别为“回放范围”的起始位置d4。

接下来，确定剪辑标记范围D的结束位置与关键帧的内插值的曲线相交的点，并将其表示为D2和D5。

确定交点D2的微分值。交点D2的微分值为零，这意味着交点D2是局部极大值或局部极小值。然后，为了确定交点D2是局部极大值还是局部极小值，确定交点D2的二阶微分值。交点D2的二阶微分值是负值，因此小于零，这明确了交点D2是局部极大值。交点D2与剪辑标记范围D的“结束位置”相对应，并且其二阶微分值是负值，因此交点D2是局部极大值，使得相应的回放时间被识别为“回放范围”的起始位置d2(未示出)。

然后，确定交点D5的微分值。交点D5的微分值是正值，因此大于零，这意味着交点D5处的回放方向是素材时间的正方向。交点D5与剪辑标记范围D的“结束位置”相对应，并且其微分值是正值，使得相应的回放时间被识别为“回放范围”的结束位置。

然后，按回放时间的升序对这样获得的位置d1到d5进行重新配列。位置d1到d2在该范围的内部，位置d2到d3在该范围的内部，位置d3到d4在该范围的外部，位置d4到d5在该范围的内部，并且位置d5到与曲线终端对应的位置在该范围的外部。范围d1-d2以及d2-d3彼此相邻，因此彼此合并在一起。所以，回放时间范围d1-d3(其起始位置是d1，其结束位置是d3)以及回放时间范围d4-d5(其起始位置是d4，其结束位置是d5)被定位为反映素材数据中指定的范围D的回放数据范围。

<2.根据回放时间范围定位相应的素材时间范围>

现在将参照图2、图3和图7来描述根据本发明通过使用非线性编辑装置1来根据回放时间范围定位相应的素材时间范围。图7的图示出了根据回放时间范围定位相应的素材时间范围的原理。假定已经通过使用剪辑标记A和B指定了素材时间范围，并且作为素材的视频数据(其在下文中将被称为“素材数据”)已经存储在硬盘19中。在CPU 14的控制下执行下文描述的处理。

作为根据回放时间范围定位相应的素材时间的先决条件，需要已经完成了上文描述的根据素材时间范围定位相应的回放时间范围。这种定位正式上文参照图3所描述的步骤S11-S13中所完成的内容。如图7中所示的，现在将关于以下情况来解释本例子：输入部件13a由用户操作，CPU 14响应于经由输入接口13接收的用户指令设置例如素材数据中的剪辑标记入点A和剪辑标记出点B。CPU 14将剪辑标记入点A和出点B的剪辑标记信息等与已经存储在硬盘19中的素材数据相关联，然后将相关联的剪辑标记信息存储在硬盘19中。以这种方式，素材时间中的剪辑标记A和B之间的范围被指定为素材时间范围(第一时间范围)。

在步骤S13之后，基于素材数据的时间改变，根据步骤S13中所定位的部分，来定位步骤S11中设置的素材时间范围内的素材数据范围(步骤S14)。在图7中示出素材时间(素材数据的时间轴)和回放时间(回放数据的时间轴)之间的关系。在图7的例子中，CPU 14基于硬盘19中存储的素材数据、剪辑标记信息和编辑信息将回放数据中的范围A₁-B₁和B₂-B₄定位为与通过使用剪辑标记A和B在素材数据中设置的范围相对应的部分，并进一步将这些所定位的范围内的素材时间的最小值和最大值所定义的范围，定位为素材时间范围内的素材数据范围。更具体地，将在所定位的范围内的素材时间的最小值(即最短的经历时间)识别为素材时间范围内的素材数据范围的起始位置，而将素材时间的最大值(即，最长的经历时间)识别为素材时间范围内的素材数据的结束位置。

CPU 14可以通过根据图7中的曲线所描述的函数计算素材时间和回放时间，来执行上文描述的处理。素材数据正好不是连续的，并且是由多个由预定间隔隔开的帧组成的。假定剪辑标记的入点A和出点B所指定的帧是关键桢。对于范围A₁-B₁和B₂-B₄中的不存在关键帧的那些部分，CPU 14例如使用线段内插来计算线性改变部分的内插值，而使用例如Bezier内插来计算以高曲率进行改变的部分的内插。然后，CPU 14将关键帧A₁、B₁、B₂和B₄的内插值所经历的素材时间的最小值和最大值之间的范围定位为素材数据范围。将参考图7中所示的例子来更详细地描述这部分内容。回放时间中的范围A₁-B₁(第二时间范围)包括素材时间中的整个素材时间范围A-B；回放时间中的范围B₂-B₄(第二时间范围)素材数据范围B₃-B，该范围是素材时间中的素材时间范围A-B的一部分。根据本实施例的处理，可以确定回放时间中的范围A₁-B₁反映了素材时间中的素材数据范围A-B，并且回放时间中的范围B₂-B₄反映了素材时间中的素材数据范围B₃-B。

应当注意的是，虽然将本实施例描述为通过使用线段内插和Bezier内插来计算内插值，但是本发明并不限于这个实施例。很明显，任何其它内插方法如果在实现中被认为更优选，则反而可以使用该其它内插方法。例如，可以将样条内插用作这种其它内插方法。

现在将描述CPU 14执行线段内插和Bezier内插的例子。首先，线段内插的数学表达式如下：

素材时间＝(key_2value-key1_value)*(pos-key1_pos)/(key2_pos-key1_pos)+key1_value (1)

其中，“pos”是回放时间位置；key1是在该回放时间位置之前的邻居关键帧；key1_pos是key1的回放时间位置；key1value是key1的素材时间位置；key2是在该回放时间位置之后的邻居关键帧；key2_pos是key2的回放时间位置；以及key2_value是key2的素材时间位置。

接下来，Bezier内插的数学表达式如下：

回放时间＝t³*key2_pos+3*t²*(1-t)*ctrl2_pos+3*t*(1-t)²*ctrl1_pos+(1-t)³*key1_pos；

素材时间＝t³*key2_value+3*t²*(1-t)*ctrl2_value+3*t*(1-t)²*ctrl1_value+(1-t)³*key1_value (2)

其中，t是一参数；ctrl1是Bezier控制点1；ctrl1_pos是ctrl1的回放时间位置；ctrl1_value是ctrl1的素材时间位置；ctrl2是Bezier的控制点2；ctrl2_pos是ctrl2的回放时间位置；以及ctrl2_value是ctrl2的素材时间位置。

在步骤S13，CPU 14使用上文的线段内插和Bezier内插，根据剪辑标记A和B所定义的素材数据范围(即，从素材时间范围)定位关键帧A₁到B₁所定义的部分以及关键帧B₂到B₄所定义的部分，作为回放数据范围，该回放数据范围包括该素材时间范围内的素材数据。随后，在步骤S14中，CPU 14识别素材时间在相应的回放数据的关键帧A₁到B₁以及关键帧B₂到B₄所定义的每个部分中呈现最小值的位置，以作为相应的素材数据范围的起始位置，并进一步识别素材时间在相应的回放数据的关键帧A₁到B₁以及关键帧B₂到B₄所定义的每个部分中呈现最大值的位置，以作为相应的素材数据范围的结束位置。以这种方式，定位分别与回放数据范围A₁-B₁以及B₂-B₄相对应的素材数据范围A-B以及B₃-B。

现在将参考图8A-图8C来描述在用户操作非线性编辑装置1进行编辑时将在显示器17a上显示的显示屏幕。如图8A-图8C中所示，将在显示器17a上显示的屏幕随着编辑操作的进展而进行转变。下文描述的处理基本上由CPU 14执行，CPU 14接收经由输入接口13输入的用户指令等，并读取ROM 15中存储的应用程序、视频数据等。

图8A示出了对控制屏幕120进行操作以显示菜单窗口127的情形。如图8A所示的，显示器17a上显示的显示屏幕100包括图像屏幕110和控制屏幕120。在控制屏幕120中，显示了状态屏幕123，状态屏幕123示出了当前设置。如果操作菜单屏幕127来点击剪辑标记设置(“Set clipmark In/Out”)，则显示屏幕变化到图8B所示的显示屏幕，在图8B所示的显示屏幕中，可以启动使用剪辑标记和时间再映射的编辑操作。

在图8B中，除了指示当前设置的状态屏幕123以外，还在控制屏幕120中显示指示素材时间的回放时间的时间线124、时间线光标124a以及剪辑标记125。图8B示出了在时间线124上排列剪辑标记125以及进一步当前由用户操作时间线光标124a的情形，其中用户使用剪辑标记125来设置入点(In)和出点(Out)以指定素材时间范围125a。在图8B所示的例子中，安排了上文描述所指定的素材时间范围125a包括文本信息“OnClouds”作为其特定表示信息，并且如果时间线光标124a指定所才时间范围125a，则在图像屏幕119上显示“On clouds”。因此，用户可以可视地识别出该图像是由剪辑标记125所指定的素材时间范围125a的图像。

图8C示出了示出了供用户执行时间再映射的工作屏幕，并示出了除了时间线124和剪辑标记125以外还出现时间再映射设置屏幕126的情形。时间再映射设置屏幕126包括：时间线栏126a，其指示时间再映射之后的回放时间；以及设置栏126b，其指示对时间线栏126进行的设置。

图9的曲线图示出了剪辑标记在素材时间和回放时间之间的对应关系，并且其与图8C中所示的显示屏幕相对应。从图9可以看到，通过使用时间再映射设置屏幕126来改变编辑速率使得由于时间再映射而在曲线图中出现弯曲。

在图8C中所示的时间再映射编辑之后，剪辑标记125中设置的素材数据的素材时间范围125a被示为显示屏幕上显示的时间线124上的两个回放时间范围。并且在该屏幕中，安排了如果时间线光标124a指定了回放时间范围125b和125c，则在图像屏幕110中显示“On clouds”。因此，用户可以可视地识别出该图像是通过使用剪辑标记125指定的素材时间范围125中的图像。

因此，根据本实施例的非线性编辑装置1从素材数据生成回放数据，素材数据是根据作为第一时间的素材时间生成的，并且在素材数据中指定作为第一时间范围的素材时间范围，回放数据将根据作为与素材时间不同的第二时间的回放时间进行回放，并且在回放数据中定位回放时间范围，回放时间范围包括素材时间范围内的素材数据。例如，在设置回放时间使得回放数据包括反向回放范围的情况下，如果回放数据是从素材数据生成的，则在回放数据中可以出现与素材数据的素材时间范围相对应的多个回放时间，其中反向回放范围是以与素材数据的回放方向相反的方向来回放素材数据的范围。例如，如图8C中所示的，可以出现与图8B中所示的素材时间范围125a相对应的连个回放时间范围125b和125c。即使在这种情况下，根据本发明的非线性编辑装置1，也可以定位回放数据中的、包括素材时间范围125a中的素材数据的回放时间范围125b和125c，使得可以确定素材数据中指定的素材时间范围与反映素材时间范围的每个回放时间范围之间的对应关系。

根据本实施例的非线性编辑装置1可以调适以在用户界面上显示回放时间中的回放时间范围(图8C的回放时间范围125b和125c)，或者另选地显示素材时间中的素材时间范围(图8B的素材时间范围125a)和回放时间中的回放时间范围(图8C的回放时间范围125b和125c)。因此，用户可以可视地识别出反映素材数据中指定的素材数据范围的回放数据范围。

此外，根据本发明的非线性编辑装置1可以调适，使得素材数据的素材时间范围包括在用户界面上显示的特定的识别信息，例如如图8B和图8C中所示的，当在用户界面上指定回放时间范围时，在图像屏幕110上显示“On Clouds”。根据这种安排，例如，如果用户操作用户界面上的指针来指定回放时间范围，则在用户界面上显示特定的标识信息。因此，用户可以可视地识别出，用户通过使用指针指定的回放数据的回放时间范围是反映素材数据的素材时间范围的范围。

根据本实施例的非线性编辑装置1可以被调适，以响应于图8C的时间再映射设置屏幕126的操作，将素材时间中的素材时间范围125a与回放时间中的回放时间范围125b和125c相关联；在用户界面上显示素材时间中的素材时间范围125a和回放时间中的回放时间范围125b和125c；当在用户界面上指定素材时间范围125a时，改变素材时间范围125a已经与之关联的回放时间范围125b和125c的显示方式；以及当在用户界面上指定回放时间范围125b和125c时，改变与回放时间范围125b和125c相关联的素材时间范围125a的显示方式。

因此，根据本实施例的非线性编辑装置1，例如，如果用户操作用户界面上的指针来指定素材数据的素材时间范围，则用户可以可视地识别出反映素材数据的素材时间范围的回放数据的回放时间范围。如果用户操作用户界面上的指针来指定回放数据的回放时间范围，则用户可以可视地识别出在回放数据的回放时间范围内所反映的回放数据的回放时间范围。在改变素材时间范围或回放时间范围的显示方式的情况下，例如，可以改变其显示颜色，可以使其显示闪烁，或者可以增大或减小其显示的大小。

如前面所描述的，不需要实际复制或剪切将被编辑的视频数据(即，素材数据)，但是可以将编辑信息与硬盘19中存储的素材数据相关联，然后将编辑信息存储在硬盘19中，硬盘19中存储的素材数据可以是回放数据。

因此，根据本实施例的数据的数据结构例如如果包括素材数据和编辑信息，则包括：素材数据，其是根据第一时间(即，素材时间)生成的，并且在素材数据中指定了第一时间范围(即，素材时间范围)；以及回放数据，其是从素材数据生成的并将根据第二时间(即，与素材时间不同的回放时间)进行回放，并且在回放数据中定位了第二时间范围(即，回放时间范围)，第二时间范围素材时间范围内的素材数据。

这种数据结构可以被调适，使得素材数据的素材时间范围包括用于标识素材时间范围的特定标识信息，例如像“On Clouds”。因此，当例如在用户界面上指定素材时间范围或回放时间范围时，计算机等可以用于在用户界面上执行显示这种特定标识信息，例如，像图8B和图8C中所示的图像屏幕110上所显示的“On Clouds”。

此外，这种数据结构可以被调适，使得计算机可以执行：将素材时间中的素材时间范围与回放时间中的回放时间范围相关联，如图8C的时间再映射设置屏幕126中所进行的；当在用户界面上指定素材时间范围时，改变素材时间范围与之相关联的回放时间范围的显示方式；以及当在用户界面上指定回放时间范围时，改变与回放时间范围相关联的素材时间范围的显示方式。

关于本发明的优选实施例进行了上文的详细描述。但是，本发明并不限于这些特定实施例，并且可以在权利要求中所描述的本发明范围内，设计处各种修改和改变。在上文所描述的本发明实施例中，显示器17a上显示的显示屏幕用作用户接口，但是本发明并不限于这些实施例，反而可以使用各种其它实施例。此外，可以通过使用编辑程序来操作根据本发明的编辑装置，其中该编辑程序允许包括CPU和存储器的通用计算机作为上文描述的各种模块。这种编辑程序可以经由通信线路进行分发，或者可以写入例如CD-ROM等的记录介质中进行分发。

Claims

1.一种编辑方法，包括：

在将被进行编辑的素材数据中设定一或多个时间范围，所述素材数据是根据素材时间的第一时间轴生成的，并且在所述素材数据中指定了第一时间范围，使所述素材数据受到时间再映射以生成回放数据，所述时间再映射是使得对应所述一或多个时间范围的第一时间范围的复数个第二时间范围可出现在所述回放数据中，所述回放数据将根据与所述第一时间轴不同的回放时间的第二时间轴进行回放；以及

在所述回放数据中，生成从所述素材数据回放所获得的回放数据，其中生成包含定位所述第二时间范围，所述第二时间范围包括所述第一时间范围内的所述素材数据，其中定位所述第二时间范围包含：

根据由绘制关键帧的内插值的一曲线的一函数，计算所述素材时间与所述回放时间之间的一关系；

由确定所述一个或多个时间范围的起始位置和结束位置与所述关键帧的所述内插值的所述曲线相交的所有点，确定与所述素材数据中所述一或多个时间范围的所述起始位置和所述结束位置相对应的一回放时间位置，以作为参考位置；

由所述计算关系的微分值确定在相应的参考位置处所述素材时间的一回放方向；及

基于所述回放方向来确定回放时间中的回放范围的起始位置和结束位置。

2.根据权利要求1所述的编辑方法，还包括：

在用户界面上显示所述第二时间轴的所述第二时间范围，或另选地显示所述第一时间轴的所述第一时间范围和所述第二时间轴的所述第二时间范围二者。

3.根据权利要求2所述的编辑方法，其中：

所述素材数据的所述第一时间范围包括特定标识信息；并且

所述方法还包括：当在所述用户界面上指定所述第二时间范围时，在所述用户界面上显示所述特定标识信息。

4.根据权利要求2所述的编辑方法，还包括：

将所述第一时间轴的所述第一时间范围与所述第二时间轴的所述第二时间范围相关联；

在所述用户界面上显示所述第一时间轴的所述第一时间范围以及所述第二时间轴的所述第二时间范围；

当在所述用户界面上指定所述第一时间范围时，改变与所述第一时间范围相关联的所述第二时间范围的显示方式；以及

当在所述用户界面上指定所述第二时间范围时，改变与所述第二时间范围相关联的所述第一时间范围的显示方式。