CN101150657A - 数据处理设备、数据处理方法和程序 - Google Patents

数据处理设备、数据处理方法和程序 Download PDF

Info

Publication number
CN101150657A
CN101150657A CN 200710167617 CN200710167617A CN101150657A CN 101150657 A CN101150657 A CN 101150657A CN 200710167617 CN200710167617 CN 200710167617 CN 200710167617 A CN200710167617 A CN 200710167617A CN 101150657 A CN101150657 A CN 101150657A
Authority
CN
China
Prior art keywords
frame
display
type
unit
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 200710167617
Other languages
English (en)
Other versions
CN100588227C (zh
Inventor
小野崇也
荻窪纯一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101150657A publication Critical patent/CN101150657A/zh
Application granted granted Critical
Publication of CN100588227C publication Critical patent/CN100588227C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4135—Peripherals receiving signals from specially adapted client devices external recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Abstract

本发明公开了一种处理运动图像的图像数据的数据处理设备和数据处理方法。该数据处理设备包括：获取装置，用于获取表示图像数据变化程度的、以图片为单位的变化量；显示类型确定装置，用于根据变化量以图片为单位来确定表示显示图片时的显示方法的显示类型；以及显示控制装置，用于使显示器来显示表示图片显示类型的类型信息和表示被操作为指定要被显示的图片的由图片指定操作装置指定的图片的位置的位置信息。

Description

数据处理设备、数据处理方法和程序
相关申请的交叉引用
本发明包含涉及2006年2月17日在日本专利局申请的日本专利申请JP2006-040173的主题，通过参考将该申请的全部内容并入到本文中。
技术领域
本发明涉及一种数据处理设备、数据处理方法和程序，尤其涉及例如一种使得可以在包括通常称作拖放的可变速再现中提供适当的用户界面的数据处理设备、数据处理方法和程序。
背景技术
近几年，作为处理运动图像的图像数据的AV设备，例如录像机和摄像机，已为广播业和消费者用途实现了可以处理HD(高清晰度)图像数据的AV设备。
例如，在这种AV设备中，通过MPEG(运动图像专家组)2系统、MPEGIMX50系统等，以长GOP(图片组)(HD LONG GOP)为单位对HD图像数据进行编码。作为编码结果所获得的编码数据记录在诸如磁带、硬盘以及光盘之类的记录介质中。此外，在AV设备中，对记录在记录介质中的编码数据进行MPEG解码，并将作为MPEG解码的结果而获得的图像数据(对应于该图像数据的图像)输出到显示器并且进行显示。
长GOP例如是将15个或更多图片作为一个GOP的GOP。MPEG IMX50系统是最大比特率为50Mbps并符合MPEG2 4:2:2P@ML的编码系统。MPEGIMX50系统的格式由SMPTE(Society of Motion Picture and TelevisionEngineers电影与电视工程师学会)批准，并在SMPTE365M中登记为D-10格式。在MPEG IMX50系统中，所有图片被编码成I图片。
作为AV设备，除了录像机和摄像机，还有编辑运动图像的编辑设备(包括由计算机执行使计算机充当编辑设备的程序(软件))。
编辑运动图像的编辑设备通常具有允许用户(编辑者)检查运动图像内容并搜索称为编辑点(起点和结束点)的拖放功能(scrub function)。
拖放意味着再现用户所指定的图片的帧或区域。例如，用户通过进行诸如移动用作GUI(图形用户界面)的拨块之类的操作来指定图片。
在具有拖放功能的编辑设备中，例如，根据拨块的位置来指定帧，并再现该帧。因此，当用户执行缓慢移动拨块的操作时，由于通过拨块(的位置)指定的帧缓慢地改变，因此执行了所谓的慢速再现。当用户执行快速移动拨块的操作时，由于通过拨块指定的帧快速地改变，因此执行了所谓的高速再现。而且，当用户不移动拨块时，由于拨块所指定的帧没有改变，因此执行了所谓的静止再现(编辑设备处于暂停状态)。因此，可以说拖放是一种可变速的(特别的)再现。
在JP-A-11-331754所提出的技术中，高分辨率的图像记录在可随机存取的第一记录介质中，与第一记录介质中记录的图像对应的低分辨率图像记录在第二记录介质中，记录在第二记录介质中的低分辨率图像以普通的再现方式进行显示，而记录在第一记录介质中的高分辨率图像在暂停时显示。
发明内容
当在编辑设备中例如以记录有编码数据的盘作为处理对象执行拖放时，必须查找光盘上由拨块指定的帧的编码数据所被记录的位置，从盘中读出编码数据，解码作为图像数据的编码数据，以及在显示器上显示图像数据(所对应的图像)。
因此，当拨块指定了帧之后在显示器上显示该帧耗费了一些时间。因此，当记录在盘中的编码数据例如是通过对HD图像数据以长GOP为单位进行编码而获得的具有高比特率的数据时，取决于编辑设备(执行编辑程序的计算机)的性能，诸如解码之类的处理会延迟显示。这在拨块当前所指定的帧与显示器上显示的帧之间引起很大差距。结果，用户可能感到不协调(压力)。
另一方面，由于当前通常采用所谓的非线性编辑，作为轻松地检查运动图像的内容以及确定编辑点的手段的拖放功能变得日益重要。需要一种允许用户更详细并且更流畅地查看运动图像的内容的拖放功能。在实现这种拖放功能时，用户界面是很重要的。
因此，希望在变速再现，如拖放中，提供一种合适的用户界面。
根据本发明的一个实施例，提供一种用于处理运动图像的图像数据的数据处理设备。该数据处理设备包括：显示类型确定装置，用于根据变化量以图片为单位来确定表示显示图片时的显示方法的显示类型，所述变化量表示图像数据中的变化程度；以及显示控制装置，用于使显示器来显示表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作装置指定的图片的位置的位置信息。
根据本发明的该实施例，提供一种用于处理运动图像的图像数据的数据处理方法，或一种使计算机执行运动图像的图像数据处理的程序。该数据处理方法或程序包括步骤：根据图片中的变化量以图片为单位来确定表示显示图片时的显示方法的显示类型，所述变化量表示图像数据的变化程度；以及使显示器显示表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作装置指定的图片的位置的位置信息。
在根据本实施例的数据处理装置、数据处理方法或程序中，根据表示图像数据变化程度的、以图片为单位的变化量，以图片为单位确定表示显示图片时的显示方法的显示类型。显示表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作装置指定的图片的位置的位置信息。
根据本发明的另一个实施例，提供一种用于处理运动图像的图像数据的数据处理设备。该数据处理设备包括显示控制装置，用于使显示器来显示以图片为单位表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作装置指定的图片的位置的位置信息，该显示类型是根据以图片为单位的变化量确定的，其表示显示图片时的显示方法，所述变化量表示图像数据中的变化程度。
根据本发明的该实施例，提供一种用于处理运动图像的图像数据的数据处理方法，或一种使计算机执行运动图像的图像数据处理的程序。该数据处理方法或程序包括这样的步骤：使显示器来显示以图片为单位表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作装置指定的图片的位置的位置信息，所述显示类型是根据表示图像数据变化程度的、以图片为单位的变化量来确定的，所述显示类型表示显示图片时的显示方法。
在根据本实施例的数据处理设备、数据处理方法或程序中，显示以图片为单位表示图片显示类型的类型信息以及表示由被操作为指定要被显示的图片的图片指定操作装置指定的图片的位置的位置信息。显示类型是根据表示图像数据变化程度的、以图片为单位的变化量来确定的，所述显示类型表示显示图片时的显示方法。
根据本发明的又一个实施例，提供一种用于处理运动图像的图像数据的数据处理设备。该数据处理设备包括：获取装置，用于获取表示图像数据变化程度的、以一个或多个图片为单位的变化量；显示类型确定装置，用于根据变化量以多个图片为单位来确定表示显示图片时的显示方法的显示类型；以及显示控制装置，用于使显示器来显示表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作装置指定的图片的位置的位置信息。
在根据本实施例的数据处理设备中，获取表示图像数据变化程度的、以一个或多个图片为单位的变化量。根据变化量以多个图片为单位来确定表示显示图片时的显示方法的显示类型。显示表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作装置指定的图片的位置的位置信息。
同样根据本发明的再一个实施例，提供一种用于处理运动图像的图像数据的数据处理设备。该数据处理设备包括：获取装置，用于以多个图片为单位获取表示显示图片时的显示方法的显示类型，所述显示类型是根据表示图像数据变化程度的、以一个或多个图片为单位的变化量来确定的；以及显示控制装置，用于使显示器来显示表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作装置指定的图片的位置的位置信息。
在根据本实施例的数据处理设备中，获取表示显示图片时的显示方法的以多个图片为单位的显示类型，所述显示类型是根据表示图像数据变化程度的、以一个或多个图片为单位的变化量来确定的。显示表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作装置指定的图片的位置的位置信息。
可以在记录介质中记录该程序。
根据本发明的实施例，可在诸如拖放之类的变速再现中提供适当的用户界面。
附图说明
图1是示出了根据本发明实施例的数据处理系统的结构示例的框图；
图2是示出了PC1的硬件配置的示例的框图；
图3是示出了取景器51的显示的示例的图；
图4是示出了照相机6的结构的示例的框图；
图5是示出了AV文件创建单元75的结构的示例的框图；
图6是示出了Fy文件创建单元76的结构的示例的框图；
图7是用于说明数据减少单元91的处理的图；
图8是用于说明Fy文件创建处理的流程图；
图9是示出了变化量计算单元92的结构的示例的框图；
图10是用于说明运动信息计算单元101中计算的以帧为单位的运动信息的图；
图11是示出了运动信息计算单元101的结构的示例的框图；
图12是用于说明运动信息计算单元101的处理的图；
图13是示出了运动信息计算单元101的结构的另一示例的框图；
图14是用于说明运动信息计算单元101的处理的图；
图15是示出了细度信息计算单元102的结构的示例的框图；
图16是用于说明细度信息计算单元102的处理的图；
图17是示出了细度信息计算单元102的结构的另一示例的框图；
图18是用于说明平均值计算单元141的处理的图；
图19是变化量计算单元92所计算的帧的变化量的曲线图；
图20是用于说明显示类型的示例的图；
图21是用于说明由显示类型确定单元93以帧为单位确定的显示类型的曲线图；
图22是示出了显示类型确定单元93的结构的示例的框图；
图23是用于说明显示类型确定处理的流程图；
图24是用于说明显示类型确定处理的流程图；
图25是以帧为单位的变化量的曲线图；
图26是示出了Fy文件的示例的图；
图27是用于说明显示类型的示例的图；
图28是以帧为单位的运动信息和显示类型的曲线图；
图29是用于说明显示类型确定处理的流程图；
图30是用于说明显示类型确定处理的流程图；
图31是用于说明显示类型的示例的图；
图32是以帧为单位的细度信息显示类型的曲线图；
图33是用于说明显示类型确定处理的流程图；
图34是用于说明显示类型确定处理的流程图；
图35是示出了Fy文件的示例的图；
图36是示出了Fy文件的示例的图；
图37是示出了Fy文件的示例的图；
图38是用于说明显示类型的示例的图；
图39是运动信息和细度信息以及显示类型的曲线图；
图40是用于说明显示类型确定处理的流程图；
图41是示出了Fy文件的示例的图；
图42是示出了驱动器5的结构的示例的框图；
图43是示出了作为编辑系统的PC 1的功能结构的示例的框图；
图44是示出了Fy文件管理单元214和显示类型获取单元215的结构的示例的框图；
图45是用于说明拖放拨块54的位置和由该位置指定的帧之间的关系的框图；
图46是示出了普通类型V2和高显示速率/低分辨率类型V3的帧的拖放时的显示方法；
图47是用于说明显示类型为静态图像类型V1的帧的显示的图；
图48是用于说明拖放处理的流程图；
图49是示出了编辑窗口301的显示的示例的图；
图50是用于说明GUI显示处理的流程图；
图51是示出了Fy文件显示部311中的显示的示例的图；
图52是示出了根据阈值H或L的改变而再次显示的类型信息；
图53是用于说明GUI显示处理的流程图；
图54是示出了Fy文件显示部311的显示的示例的图；
图55是示出了Fy文件显示部311的显示的示例的图；
图56是用于说明GUI显示处理的流程图；
图57是示出了对指定区间的区间长度进行加权的权重的示例的图；
图58是示出了对指定区间的区间长度进行加权的权重的示例的图；
图59是示出了不对区间长度进行加权时和对区间长度进行加权时的指定区间的图；
图60是用于说明对区间长度进行的处理的流程图；
图61是示出了Fy文件显示部311的显示的示例的图；
图62是用于说明分配范围设定处理的流程图；
图63是示出了取景器51的显示的示例的图；
图64是用于说明显示处理的流程图；
图65是形成一个GOP的每介帧中的变化量的曲线图；
图66是用于说明为形成一个GOP的每个帧确定显示类型的方法的图。
具体实施方式
以下将参照附图，说明本发明的各实施例。
图1是示出了根据本发明实施例的数据处理系统(系统是指多个设备的逻辑集合，而不论各个结构的设备是否设置在同一封装中)的结构的示例的图。
PC(个人计算机)1执行各种程序来进行各种不同的处理。作为程序，PC1中至少安装有OS(操作系统)和用作执行运动图像编辑的软件的编辑程序。PC1在OS的控制下执行编辑程序来起到编辑系统(编辑设备)的作用。
键盘2和鼠标3用于向PC1输入字符(串)、命令和其他信息。
硬盘(驱动器)4是所谓的外部硬盘。在图1中，硬盘4连接到PC1上。硬盘4在PC1的控制下记录并再现AV(视听)数据等。例如，当在PC1中执行运动图像的编辑时，可使用硬盘4来对运动图像的AV数据进行割裂(ripping)，即将AV数据保存为PC1可以处理的格式的文件。
驱动器5例如是外部光盘驱动器。光盘7能够可拆卸地插入到驱动器5中。在图1中，驱动器5连接在PC1上，并且在PC1的控制下向光盘7记录AV数据等并从光盘7再现AV数据等。
照相机(摄像机)6对对象进行成像，并将作为成像结果所获得的运动图像的AV数据(图像数据和图像数据附带的声音数据)记录在记录介质中，例如可以可拆卸地插入到照相机6的光盘7、未示出的磁带、或半导体存储器，或者将AV数据通过有线或无线传送介质来传送。照相机6可以是输出HD图像数据作为运动图像的图像数据的HD照相机，或者也可以是输出SD(标准定义)图像数据作为运动图像的图像数据的所谓SD照相机。
光盘7例如插入在照相机6中。照相机6所获得的AV数据等被记录在光盘7中。光盘7插入到驱动器5中。再现记录在光盘7中的AV数据等。作为光盘7，例如可以采用DVD(数字多用途盘)或专业盘。
专业盘是可以通过蓝色-紫色激光进行高密度记录的光盘。除了用户最初希望记录的运动图像的HD或SD图像数据之外，减少了数据量的数据以及HD或SD图像数据的元数据记录在专业盘中，例如通过相较于HD或SD图像数据的像素量(此后适当地称为代理数据)来减少像素的数量来减少数据量。
与代理数据相反，用户最初想要记录的运动图像的HD或SD图像数据被适当地称为主数据。
除了运动图像的图像数据之外，对于图像数据附带的声音数据(运动图像的声音数据)，除了用户最初想要记录的运动图像的声音数据之外，减少了声音数据的数据量的数据记录在专业盘中。主数据是指除了用户最初想要记录的运动图像的HD或SD图像数据之外，必要时，用户最初想要记录的运动图像的声音数据，或者图像数据与声音数据二者。类似地，代理数据是指除了减少了作为主数据的图像数据的数据量的数据之外，必要时，减少了作为主数据的声音数据的数据量的数据或这两种数据。
图2是示出了图1中的PC 1的硬件结构的示例的图。
CPU(中央处理单元)22、ROM(只读存储器)23、RAM(随机存取存储器)24、硬盘25和输入/输出接口30连接到总线21上。
CPU 22执行程序来进行各种处理。ROM 23中存有由CPU 22执行的程序和必要的数据。RAM 24临时存储由CPU 22执行的程序和必要的数据。硬盘(驱动器)25是内置硬盘。安装由CPU 22执行的程序，并将必要的数据记录在硬盘25中。
输出单元26包括诸如LCD(液晶显示器)之类的显示器41和扬声器42。输出单元26连接到输入/输出接口30上。输出单元26显示与从输入/输出接口30提供的数据相对应的图像，并输出对应于该数据的声音。
输入单元27包括键盘2、鼠标3和未示出的麦克风。输入单元27连接到输入/输出接口30。当用户操作键盘2或鼠标3时，输入单元27将键盘2或鼠标3提供的操作信号输出给输入/输出接口30。
通信单元28是诸如网卡(LAN(局域网)卡)或ADSL(非对称数字用户线路)调制解调器之类的网络接口。通信单元28执行PC1和未示出的网络之间的通信控制。
驱动器29是内置驱动器。驱动器29中可插入或移走可移动记录介质31。驱动器29从插在其中的可移动记录介质31中读取数据或写数据到可移动记录介质31中。
输入/输出接口30用作总线21与输出单元26、输入单元27、通信单元28、驱动器29以及其他外围装置之间的接口。在图2(图1)中，硬盘4和驱动器5和其他外围装置一样连接到输入/输出接口30上。
可移动记录介质31是可以可移动地插入到驱动器29中的记录介质，例如软盘、CD-ROM(紧凑盘只读存储器)、MO(磁光)盘、DVD(数字多用途盘)、磁盘或半导体存储器。
在如上所描述而构成的PC1中，例如当用户通过输入/输出接口30操作输入单元27并输入命令时，CPU 22根据该命令执行ROM(只读存储器)23中所存储的程序。作为替换方案，CPU 22将外部硬盘4或内置硬盘25中所存储(安装)的程序、从卫星或网络传送来、通过通信单元28接收并且安装在硬盘4或25中的程序、或者从插在内置驱动器29中的可移动记录介质31中或插在外部驱动器5中的光盘7中读出并安装在硬盘4或25中的程序载入到RAM(随机存取存储器)24中，并执行程序。因此，CPU 22执行与之后描述的流程图相一致的处理或执行由之后描述的框图的部件所执行的处理。例如，CPU 22从输出单元26中输出处理结果，从通信单元28发送该结果，或在需要时通过输入/输出接口30将该结果记录到硬盘4或25中，其中输出单元26包括诸如LCD(液晶显示器)之类的显示器41和扬声器42。
可以预先把CPU 22执行的程序记录(安装)在用作内置于PC1中的记录介质的硬盘25或ROM 23中，或者记录在外部硬盘4中。
作为替换方案，可以临时或永久地将程序存储(记录)在可以可移动插入外部驱动器5中的光盘7中或可以可移动插入内置驱动器29中的可移动记录介质31中。可以提供光盘7和可移动记录介质31作为所谓的封装软件。
除了上述的从可移动记录介质31等向PC1中安装程序以外，也可以通过无线电经由用于数字卫星广播的人造卫星或通过有线经由诸如LAN(局域网)和因特网之类的网络，从下载站点将程序传递到PC1。在PC1中，可以在通信单元28中接收通过这种方式传送的程序，并将该程序安装到内置硬盘25等中。
PC1通过执行程序而进行的处理步骤无需总是按照以下所描述的流程图中所述的顺序的时间序列来进行处理。处理步骤还包括并行或分别执行的处理(例如，并行处理或根据对象的处理)。
程序可以仅由PC1处理，或者可以由多个PC1分布式地处理。此外，可将程序传送给远程PC并在其中运行。
如上所述，PC1中至少安装有OS和用于进行运动图像编辑的编辑程序。当接通电源时，PC1(CPU 22)执行OS，并进一步在OS的控制下根据用户的操作执行编辑程序。因此，PC1用作编辑系统。
为了向用户展示作为编辑对象的充当所谓素材(material)的运动图像(图像)等，用作编辑系统的PC1使显示器41来显示窗口，该窗口用于显示充当素材的运动图像等。
图3是示出了用作窗口的取景器51的结构的示例的图，其中该窗口用于显示充当素材的运动图像等。
取景器51包括显示部52、拖放条53、时间码显示部55和操作部56，该取景器51具有拖放功能。
从取景器51的上部到中央到下部布置显示部52，显示部52显示运动图像(图像)。
拖放条53用于在形成运动图像的图片当中指定显示部52中显示的图片。拖放条53是在水平方向上延伸的条的GUI(图形用户界面)，拖放条53的拖放拨块54可在水平方向上移动。用户可以沿着拖放条53移动拖放拨块54，例如通过操作拖放拨块54来进行该移动。用户可以根据拖放拨块54的位置指定显示部52中显示的图片。
图片指的是帧或区域。在以下的说明中，采用帧作为图片。但也可以采用区域作为图片。
时间码显示部55被设置在拖放条53之下。显示部52中显示的帧的时间码显示在时间码显示部55中。
操作部56被设置在时间码显示部55之下。操作部56包括被操作为开始再现运动图像(在显示部52中显示图像)的播放按钮、被操作为停止再现等的停止按钮以及被操作为向前快速播放运动图像的快进按钮。
图4是示出了图1中照相机6的结构的示例的图。
照相机6包括成像单元71、图像处理单元72、麦克风73、声音处理单元74、AV文件创建单元75、Fy文件创建单元76和记录单元/通信单元77。
成像单元71对对象成像，以获取SD或HD图像数据，并将图像数据提供给图像处理单元72。成像单元71包括诸如CCD(电荷耦合装置)或CMOS(互补金属氧化物半导体)成像器之类的光电转换元件、以及诸如透镜之类的将光聚集在光电转换元件上的光学系统。成像单元71光电转换入射到其上的光，并将与该光相对应的(数字)图像数据提供给图像处理单元72。
图像处理单元72对来自成像单元71的图像数据施加必需的处理，例如用于去除噪声的噪声去除处理。图像处理单元72按照时间序列以帧为单位将该处理之后的图像数据提供给AV文件创建单元75和Fy文件创建单元76。
麦克风73收集在成像单元71进行成像的时候输入的作为空气振动的声音，将该声音转换成作为电信号的(数字)声音数据，并将该声音数据提供给声音处理单元74。
声音处理单元74对来自麦克风73的声音数据施加必要的处理，例如噪声去除处理。声音处理单元74按时间序列将该处理之后的声音数据提供给AV文件创建单元75。
AV文件创建单元75创建AV文件，并将该AV文件提供给记录单元/通信单元77，其中该AV文件中存有来自图像处理单元72的时间序列图像数据和来自声音处理单元74的时间序列声音数据。
Fy文件创建单元76以帧为单位计算表示来自图像处理单元72的图像数据的变化程度的变化量。Fy文件创建单元76根据帧的变化量在需要的时候以图片为单位确定显示类型，该显示类型表示在取景器51(图3)中显示帧的显示方法。Fy文件创建单元76创建文件(此后适当地称为Fy文件)并将该文件提供给记录单元/通行单元77，其中所述文件中存有作为元文件(元数据文件)(之一)的以帧为单位的变化量和显示类型之一或二者，所述元文件中存有来自图像处理单元72的时间序列图像数据的元数据。
记录单元/通信单元77在光盘7上记录从AV文件创建单元75提供的AV文件以及从Fy文件创建单元76提供的与AV文件相对应的Fy文件，即从图像数据创建的Fy文件，其存储在从AV文件创建单元75提供的AV文件中，并从Fy文件创建单元76提供，或者经由未示出的传输介质传输AV文件和Fy文件。
例如，对AV文件fav和Fy文件fFy给出文件名，该文件名表示AV文件fav和与之对应的Fy文件fFy相互对应。换句话说，例如，AV文件fav和与之对应的Fy文件fFy的文件名是公扩展名不同的文件名(除扩展名之外，文件名是相同的)。
图5是示出了图4中AV文件创建单元75的结构的示例的图。
在图5所示的AV文件创建单元75的结构示例中，光盘7是记录了主数据和代理数据二者的专业盘。
图5中，AV文件创建单元75包括主线编码器81、代理编码器82和文件创建单元83。
主线编码器81包括主线视频编码器81V和主线音频编码器81A。
作为主数据的图像数据从图像处理单元72(图4)被提供给主线视频编码器81V。主线视频编码器81V将来自图像处理单元72的作为主数据的图像数据编码成例如MPEG2(例如MPEG IMX系统)，并将该图像数据提供给文件创建单元83。
将声音数据从声音处理单元74(图4)提供给主线音频编码器81A。主线音频编码器81A将来自声音处理单元74的声音数据转换成例如AES(音频工程师协会)3系统的声音数据，其作为主数据，并将该声音数据提供给文件创建单元83。
代理编码器82包括代理视频编码器82V和代理音频编码器82A。
作为主数据的图像数据被提供给来自图像处理单元72(图4)的代理视频编码器82V。代理视频编码器82V缩减来自图像处理单元72的作为主数据的图像数据的像素数量，以计算例如作为代理数据的图像数据，所述代理数据具有低于主数据的分辨率(空间分辨率)。此外，代理视频编码器82V将作为代理数据的图像数据以例如MPEG4进行编码，并将该图像数据提供给文件创建单元83。
声音数据从声音处理单元74(图4)被提供给代理音频编码器82A。代理音频编码器82A将来自声音处理单元74的声音数据转换成例如ITU-T(国际电信联盟，电信标准化部门)G711A-Law系统的声音数据，其作为代理数据，并将该声音数据提供给文件创建单元83。
文件创建单元83在例如大约两秒的再现时间内分别多路复用来自主线视频编码器81V并作为主数据的图像数据、来自主线音频编码器81A并作为主数据的声音数据、来自代理视频编码器82V并作为代理数据的图像数据、以及来自代理音频编码器82A并作为代理数据的声音数据(的编码数据)。文件创建单元83创建预定格式的AV文件，其中该文件中存有通过多路复用所获得的比特流，即预定格式的AV文件，其中存有通过在大约两秒的再现时间里分别复用(充当)主数据(的图像数据和声音数据)和(充当)代理数据(的图像数据和声音数据)而获得的比特流。文件创建单元83将AV文件提供给记录单元/通信单元77(图4)。
图6是示出了图4中Fy文件创建单元76的结构的示例的图。
Fy文件创建单元76包括数据减少单元91、变化量计算单元92、显示类型确定单元93、选择单元94和文件创建单元95。
以帧为单位的图像数据从图像处理单元72(图4)被提供给数据减少单元91。数据减少单元91缩减来自图像处理单元72的以帧为单位的图像数据的像素数量，并将作为缩减结果而获得的减少了像素数量的图像数据提供给变化量计算单元92。
数据减少单元91执行缩减操作，例如，将来自图像处理单元72的图像数据帧的水平和垂直像素数量分别减少到原来的1/8。
因此，当从图像处理单元72(图4)提供给数据减少单元91的图像数据帧例如由在垂直和水平方向上排列的720×480个像素形成时，数据减少单元91对来自图像处理单元72的具有720×480个像素的图像数据的像素进行缩减，例如如图7所示，从而形成水平和垂直像素数量减少到90×60个像素的图像数据，即720×480像素的1/8。
换句话说，数据减少单元91例如将来自数据处理单元72的具有720×480像素的图像数据分割成水平和垂直方向上排列的8×8的像素块，并对各个块分配形成各个块的像素的像素值的平均值等，从而生成具有90×60像素的图像数据。
为了减少以后处理的负担，通过数据减少单元91减少了来自图像处理单元72的图像数据的像素数量。当Fy文件创建单元76具有足够的性能并且无需减少处理负担时，数据减少单元91可以在后续阶段将来自图像处理单元72的图像数据直接提供给变化量计算单元92。作为替换方案，不必在Fy文件创建单元76中提供数据减少单元91。
变化量计算单元92计算从数据减少单位91提供的以帧为单位的表示图像数据的变化程度的变化量，并将该变化量按时间序列提供给显示类型确定单元93和选择单元94。变化量计算单元92可以计算表示时间变化程度的变化量(此后适当地称为时间变化量)和表示空间变化程度的变化量(此后适当地称为空间变化量)之一或者二者来作为以帧为单位的变化量。
时间变化量表示图像在时间方向上的变化程度。例如，帧内的时间变化量表示该帧与紧邻该帧的前一帧之间在图像上的变化程度，即图像的运动程度。因此，此后也将时间变化量适当地称为运动信息。
空间变化量表示图像在空间方向上的变化程度。例如，帧内的空间变化量表示形成该帧的像素在像素值上的变化程度，即图像的细度(复杂度)。因此，此后也将空间变化量适当地称为细度信息。
显示类型确定单元93根据从变化量计算单元92按时间序列提供的以帧为单位的变化量，以帧为单位确定显示类型并将该显示类型提供给选择单元94，其中该显示类型表示显示帧的显示方法。显示类型的详情将在以后描述。
选择单元94选择从变化量计算单元92提供的以帧为单位的变化量和从显示类型确定单元93提供的以帧为单位的显示类型中之一或二者，并将变化量和显示类型中之一或二者提供给文件创建单元95。
例如，可以根据用户的操作预先设定或确定在选择单元94中进行何种选择。当仅选择从变化量计算单元92提供的以帧为单位的变化量时，也可以说是在选择单元94中固定的，那么Fy文件创建单元76中就无需提供显示类型确定单元93和选择单元94了。
文件创建单元95创建预定格式的Fy文件，并将该Fy文件提供给记录单元/通信单元77(图4)，其中该Fy文件中存有从选择单元94提供的以帧为单位的变化量和显示类型中之一或二者。
以下将参考图8的流程图来说明图6中的Fy文件创建单元76所执行的处理(Fy文件创建处理)。
首先，在步骤S11中，数据减少单元91在必要时执行数据减少处理，用来缩减来自图像处理单元72(图4)的图像数据的像素数量。数据减少单元91将作为数据减少结果的图像数据提供给变化量计算单元92。处理进行到步骤S12。
在步骤S12中，变化量计算单元92使用来自数据减少单元91的图像数据，计算表示来自图像处理单元72(图4)的图像数据单位帧内的变化程度的以帧为单位的变化量。变化量计算单元92按时间序列将变化量提供给显示类型确定单元93和选择单元94。处理进行到步骤S13。
在步骤S13，显示类型确定单元93根据来自变化量计算单元92的以帧为单位的变化量，以帧为单位确定显示类型，该显示类型表示显示帧时的显示方法。显示类型确定单元93将显示类型提供给选择单元94。处理进行到步骤S14。
在步骤S14，选择单元94选择从变化量计算单元92提供的以帧为单位的变化量和来自显示类型确定单元93提供的以帧为单位的显示类型中之一或二者。选择单元94将变化量和显示类型之一或二者提供给文件创建单元95。处理进行到步骤S15。
在步骤S15，文件创建单元95创建预定格式的Fy文件，该文件中存有从选择单元94提供的以帧为单位的变化量和显示类型中之一或二者。文件创建单元95将Fy文件提供给记录单元/通信单元77(图4)并结束处理。
图9是示出了图6中的变化量计算单元92的结构的示例的图。
如上所述，变化量计算单元92可计算表示时间变化程度的运动信息(时间变化量)和表示空间变化程度的细度信息(空间变化量)之一或者二者来作为以帧为单位的变化量。
图9中顶端的图示出了在仅计算运动信息作为以帧为单位的变化量时，变化量计算单元92的结构的示例。图9中从顶端开始的第二幅图示出了在仅计算细度信息作为以帧为单位的变化量时，变化量计算单元92的结构的示例。图9中从顶端开始的第三幅图(在底端)示出了在计算运动信息和细度信息二者作为以帧为单位的变化量时，变化量计算单元92的结构的示例。
在图9顶端的变化量计算单元92具有运动信息计算单元101。从图9顶端开始的第二个变化量计算单元92具有细度信息计算单元102。从图9顶端开始的第三个变化量计算单元92具有运动信息计算单元101和细度信息计算单元102。
来自数据减少单元91(图6)的图像数据被提供给运动信息计算单元101和细度信息计算单元102。
运动信息计算单元101使用来自数据减少单元91的图像数据以帧为为单位计算运动信息，并输出该运动信息。细度信息计算单元102使用来自数据减少单元91的图像数据以帧为单位的细度信息，并输出该细度信息。
以下将参考图10说明通过图9中的运动信息计算单元101计算的以帧为单位的运动信息。
例如如图10所示，运动信息计算单元101计算从紧接在前的第i-1个帧到第i个帧的图像中的变化量，作为形成运动图像的时间序列的帧当中从顶端开始的第i个帧的运动信息。在这种情况下，不存在第一个帧的运动信息。然而，例如可采用与第二个帧的运动信息相同的运动信息作为第一个帧的运动信息。作为替换方案，可假设第0个帧的图像是所有像素值为0的图像或者是与第一个帧的图像相同的图像，来计算第一个帧的运动信息。
图11是示出了图9中的运动信息计算单元101的结构的示例的图。
在图11中，运动信息计算单元101包括运动向量检测单元111和统计量计算单元112。
图像数据从数据减少单元91(图6)被提供给运动向量检测单元111。运动向量检测单元111将来自数据减少单元91的图像数据帧顺序设定成感兴趣帧，并将紧邻该感兴趣帧的前一帧(此后适当地称为前一帧)分割成例如16×16像素的块(MPEG中的宏块)。此外，运动向量检测单元111为前一帧的每一个宏块计算运动向量，并将该运动向量提供给统计量计算单元112，其中该运动向量表示从前一帧到感兴趣帧的运动。
统计量计算单元112计算针对来自运动向量检测单元111的前一帧的宏块所计算的运动向量的统计量，并将该统计量作为感兴趣帧的运动信息输出。
将参考图12对图11中的运动信息计算单元101的处理进行进一步的说明。
在运动信息计算单元101中，运动向量检测单元111将前一帧分割成16×16像素的宏块，并为前一帧的每一个宏块检测与该宏块最相似的感兴趣帧的16×16像素块(此后称为相似块)。运动向量检测单元111计算例如具有将宏块的左上部作为开始点以及将相似块的左上部作为结束点的向量，来作为该宏块的运动向量ΔF0(h，v)。
从前一帧的左边开始第h个和从顶部开始第v个宏块的位置被表示为F0(h，v)，而通过宏块F0(h，v)的运动向量ΔF0(h，v)而从宏块F0(h，v)所移动的位置中的感兴趣帧的16×16像素块的位置，即相似块的位置被表示为F1(h，v)。通过等式ΔF0(h，v)＝F1(h，v)-F0(h，v)来表示宏块F0(h，v)的运动向量ΔF0(h，v)。
统计量计算单元112计算例如前一帧的所有宏块的运动向量ΔF0(h，v)的大小|ΔF0(h，v)|之和D0＝∑|ΔF0(h，v)|，作为为前一帧的宏块所计算的运动向量的统计量，并输出该和D0作为感兴趣帧的运动信息。
和D0＝∑|ΔF0(h，v)|中的求和∑表示通过把h从1变到前一帧水平方向上的宏块数量，以及把v从1变到前一帧垂直方向上的宏块数量来进行的求和。
当前一帧的每一个宏块F0(h，v)的运动向量ΔF0(h，v)很大时，运动信息D0，即运动向量之和，也很大。因此，当感兴趣帧的运动信息D0很大时，感兴趣帧的图像运动也很大(剧烈)。
在上述情况中，前一帧所有宏块的运动向量ΔF0(h，v)的大小|ΔF0(h，v)|之和D0＝∑|ΔF0(h，v)|被计算作为针对前一帧宏块所计算的运动向量的统计量。然而，作为为前一帧的宏块所计算的运动向量的统计量，除了和D0之外，还可采用例如为前一帧的宏块所计算的运动向量的分布。
在这种情况下，统计量计算单元112计算前一帧所有宏块的运动向量ΔF0(h，v)的平均值Δave，并通过计算例如公式σ0＝∑(Δf0(h，v)-Δave)2来计算前一帧所有宏块F0(h，v)的运动向量ΔF0(h，v)的分布σ0。
分布σ0＝∑(Δf0(h，v)-Δave)2中的求和∑表示通过把h从1变到前一帧横向方向上的宏块数量，以及把v从1变到前一帧垂直方向上的宏块数量来进行的求和。
与和D0相似，当感兴趣帧的图像运动很大(剧烈)时，分布σ0也很大。
在图5中的主线视频编码器81V中进行图像数据编码的情况下，当计算运动向量ΔF0(h，v)时，统计量计算单元112(图11)可以使用在主线视频编码器81V中计算的运动向量ΔF0(h，v)来计算如上所述的统计量。在这种情况下，不需要在图11的运动信息计算单元101中设置运动向量检测单元111。
图13是示出了图9的运动信息计算单元101的结构的另一示例的图。
在图13中，运动信息计算单元101包括直方图创建单元121、直方图存储单元122和差值计算单元123。
来自数据减少单元91(图6)的图像数据被提供到直方图创建单元121。直方图创建单元121将来自数据减少单元91的图像数据的帧顺序地设定成感兴趣帧，并可以说，创建感兴趣帧的像素值的简单直方图。直方图创建单元121将该直方图提供给直方图存储单元122和差值计算单元123，作为感兴趣帧的直方图。
直方图存储单元122存储从直方图创建单元121提供的感兴趣帧的直方图。直方图存储单元122具有足够存储至少两个帧的直方图的存储量。直方图存储单元122存储从直方图创建单元121提供的本次的感兴趣帧的直方图以及上一次的感兴趣帧即前一帧的直方图。
差异计算单元123计算从直方图创建单元121提供的感兴趣帧的直方图与存储在直方图存储单元122中的前一帧的直方图的差值绝对值之和，这将在以后描述，并将该差值绝对值之和作为感兴趣帧的运动信息而输出。
将参照图14进一步说明图13中的运动信息计算单元101的处理。
当把从数据减少单元91(图6)提供给直方图创建单元121的图像数据的像素值表示为例如能够表示0到255的整数值的8比特时，直方图创建单元121将0到255的范围等分成例如八个小范围，0到31、32到63、64到95、96到127、128到159、160到191、192到223以及224到255。直方图创建单元121计算包含在各个小范围中的像素值的频率，从而创建感兴趣帧的简单直方图。
例如，如图14所示，当第i+1个帧是感兴趣帧时，差值计算单元123计算作为感兴趣帧的第i+1个帧与前一帧第i个帧在同一小范围中的频率间的差值的绝对值Δ(图14中的阴影部分)，如图4所示。差值计算单元123进一步计算为直方图的八个小范围计算的频率的差值的绝对值之和∑Δ(差值绝对值之和)，并将该和作为感兴趣帧的运动信息而输出。
当感兴趣帧的运动很大(剧烈)时，感兴趣帧的像素值的频率分布与前一帧的像素值的频率分布不同。因此，当感兴趣帧的差值绝对值之和∑Δ很大时，感兴趣帧的图像的运动也很大(剧烈)。
图15是示出了图9中的细度信息计算单元102的结构的示例的图。
在图15中，细度信息计算单元102包括DCT(离散余弦变换)转换单元131、权重因子计算单元132和积分单元133。
来自数据减少单元91(图6)的图像数据被提供给DCT转换单元131。DCT转换单元131顺序地将来自数据减少单元91的图像数据的帧设定成感兴趣帧，并将感兴趣帧分割成例如8×8像素块。DCT转换单元131对感兴趣帧的每个块都进行DCT转换，并将对于每个块所获得的8×8DCT因子提供给积分单元133。
权重因子计算单元132计算将要施加到块的8×8DCT因子的权重，并将该权重提供给积分单元133。
积分单元133将从权重因子计算单元132提供的权重施加到从DCT转换单元131提供的块的8×8DCT因子上，并对DCT因子进行积分来计算积分值。此外，积分单元133计算为感兴趣帧的各个块所计算的积分值的总和，并输出该和作为感兴趣帧的细度信息。
将参照图16进一步说明图15中的细度信息计算单元102的处理过程。
图16的左边部分示出了DCT转换的基图像。该基图像包括8×8个图案(频率成分)。更向右和更向下的图案是具有更高频率成分的图案。
在块的8×8DCT因子中，从左边第i个(i＝1，2，...，8)和从顶端第j个(j＝1，2，...，8)DCT因子Fi-1，j-1表示块中从基图像的左边第i个和从顶端第j个的图案的频率成分的包含程度。
图16的右边部分示出了图15中的权重因子计算单元132计算的权重Gi-1，j-1。
权重Gi-1，j-1是施加到DCT因子Fi-1，j-1的权重。权重因子计算单元132根据例如公式 Gi-1，j-1＝i×j来计算权重Gi-1，j-1。因此，在权重因子计算单元132中，当将Gi-1，j-1施加到较高频率成分的DCT因子Fi-1，j-1时，所计算的权重Gi-1，j-1也更大。
图15中的积分单元133将从DCT转换单元131提供的块的DCT因子Fi-1，j-1与从权重因子计算单元132提供的权重Gi-1，j-1进行相乘，从而计算乘积值Gi-1，j-1×Fi-1，j-1。积分单元133对为块的8×8DCT因子Fi-1，j-1所获得的乘积值Gi-1，j-1×Fi-1，j-1进行积分，来计算积分值V＝∑Gi-1，j-1×Fi-1，j-1。积分值V＝∑Gi-1，j-1×Fi-1，j-1中的求和∑表示通过分别将i和j从1变到8来进行的求和。
积分单元133进一步计算对感兴趣帧的所有块获得的积分值V之和K，并将该和K输出作为感兴趣帧的细度信息。
由于较高的频率成分包含在感兴趣帧内，因为细度信息较大，即积分值V的和K较大，感兴趣帧的图像是一幅更细致的(更复杂的)图像。
图17是示出了图9中的细度信息计算单元102的结构的另一示例的图。
在图17中，细度信息计算单元102包括平均值计算单元141、差值计算单元142和积分单元143。
来自数据减少单元91(图6)的图像数据被提供给平均值计算单元141和差值计算单元142。平均值计算单元141连续地将来自数据减少单元91的图像数据帧设定成感兴趣帧，并将感兴趣帧分割成例如8×8像素的块，如图18所示。此外，平均值计算单元141计算感兴趣帧的块的像素值的平均值，并将该平均值提供给差值计算单元142。
当将8×8像素块的光栅扫描顺序中的第k个像素的像素值表示为Pk时，平均值计算单元141根据公式Pave＝1/(8×8)×∑Pk计算平均值Pave。平均值Pave＝1/(8×8)×∑Pk中的求和∑表示通过把k从1变到8×8(＝64)来进行的求和。
类似于平均值计算单元141，差值计算单元142将感兴趣帧分割成8×8的像素块，计算块的每个像素值Pk与从平均计算单元141提供的块的像素值的平均值Pave之间的差值的绝对值|Pk-Pave|，并将该绝对差值|Pk-Pave|提供给积分单元143。
积分单元143对差值的绝对值|Pk-Pave|进行积分来计算积分值Q＝∑|Pk-Pave|，其中所述差值的绝对值是从差值计算单元142提供的为块的各个像素计算的差值的绝对值。积分值Q＝∑|Pk-Pave|中的求和∑表示通过把k从1变到8×8(＝64)来进行的求和。
此外，积分单元143计算为感兴趣帧的所有块获得的积分值之和Q，并输出该和值作为感兴趣帧的细度信息。
为感兴趣帧计算的积分值之和Q被称为帧内AC。由于帧内AC的值较大，感兴趣帧中的像素值的波动也较大。因此，当细度信息即积分值之和Q较大时，感兴趣帧的图像是一幅更细致的(更复杂的)图像。
在本实施例中，如以下所描述的，诸如运动信息和细度信息之类的变化量用于(包括)拖放(的变速再现)。此外，还可在例如检测场景变化和实现MPEG编码的效率中使用该变化量。
以下将参照图19-25来说明图6中的显示类型确定单元93。
图19是变化量计算单元92(图6)计算的每个帧的变化量的曲线图。在图19中，横坐标表示帧(从顶端开始的帧的位置)，纵坐标表示变化量。
当变化量例如是动作剧烈(大)的帧中的运动信息时，该变化量也很大。在没有(几乎没有)动作的帧中，变化量很小。
显示类型确定单元93(图6)根据图19所示的由变化量计算单元92计算的以帧为单位的变化量，从多个显示类型当中确定显示类型，该显示类型表示显示每个帧的显示方法。
图20是示出了由显示类型确定单元93确定的显示类型的示例的图。
在图20中，作为显示类型，具有三种类型，即表示以静态图像显示的静态图像类型V1、以及普通类型V2和高显示速率/低分辨率类型V3，在普通类型V2和高显示速率/低分辨率类型V3中，显示帧的分辨率和显示帧的显示速率是不同的。
显示帧的分辨率指的是显示在诸如显示器41(图2)之类的显示装置上的图像的空间分辨率。例如，对于用作主数据和代理数据的图像数据，主数据具有较高的分辨率，而代理数据具有较低的分辨率。
显示帧的显示速率指的是更新在诸如显示器41之类的显示装置中的显示的频率(周期)。例如，当以与运动图像的帧速率(例如30Hz)相同的显示速率来更新显示，并且以与帧速率相同的速率来从一帧到下一帧(时间上在一帧之后的帧)更新要显示的帧时，以单一的速率来显示运动图像。
此外，例如当以两倍于运动图像的帧速率的显示速率来更新显示，并且以两倍于帧速率的速率来从一帧到下一帧更新要显示的帧时，以两倍的速度显示运动图像。
例如，当以与运动图像的帧速率相同的显示速率来更新显示，并且以两倍于帧速率的速率来从一帧到下一帧更新要显示的帧时，也以两倍的速度显示运动图像。
当以两倍于运动图像的帧速率的显示速率来更新显示，并且以两倍于帧速率的速率来更新要显示的帧时，显示形成运动图像的所有的帧，没有丢失。然而，当以与运动图像的帧速率相同的显示速率来更新显示，并且以两倍于帧速率的速率来更新要显示的帧时，每隔一帧来显示形成运动图像的帧，即丢失帧的状态。
因此，当以高于帧速率的速率更新要显示的帧时，可以通过增大显示速率来避免(减少)丢失帧。
对于静态图像类型V1的帧，例如，即使改变要显示的帧，只要可以把要显示的帧的图像看作是与在该图像紧接之前显示的帧(的图像)相同的图像，就显示该图像紧接之前显示的帧(的图像)(继续显示)。
对于普通图像类型V2的帧，例如，以与运动图像的帧速率相同的显示速率(此后被适当地称为普通速率)和与作为主数据的图像数据的分辨率(高于作为代理数据的图像数据的分辨率)相同的分辨率(此后适当地称为普通分辨率)来显示图像。
对于高显示速率/低分辨率类型V3的帧，例如，以高于普通速率的显示速率，例如两倍于普通速率的显示速率，以及以与作为代理数据的图像数据的分辨率(低于作为主数据的图像数据的分辨率)相同的分辨率来显示图像。
当具有三种类型时，即图20所示的静态图像类型V1、普通类型V2和高显示速率/低分辨率类型V3作为显示类型时，变化量计算单元92计算运动信息，其将帧的时间变化程度表示为变化量。显示类型确定单元93将例如每个帧的变化量(运动信息)与两个预定阈值进行比较，并根据比较结果来确定帧的显示类型是静态图像类型V1、普通类型V2还是高显示速率/低分辨率类型V3。
图21示出了根据图19所示的以帧为单位的变化量，由显示类型确定单元93以帧为单位所确定的显示类型的图。
显示类型确定单元93将以帧为单位的变化量(运动信息)与阈值L和阈值H之一进行比较，其中L＜H。显示类型确定单元93确定作为一种低分辨率/高显示速率类型的高显示速率/低分辨率类型V3，作为运动信息等于或大于阈值H的帧的显示类型，即用于其中运动信息表示时间变化程度很大的帧的显示类型。
当例如在具有时间变化程度很大的帧、即在编辑所进行的拖放中的具有较大运动的帧的显示中发生丢失帧时，图像中的时间变化倾向于被遗漏。因此，希望以高显示速率来显示具有较大运动的帧。
然而，当将显示速率设定为高时，设备进行拖放的负担加重。此外，由于具有大运动的帧的数据量很大，因此对该帧的处理负担也比对不具有较大运动的帧的处理负担大。
因此，在本实施例中，以高显示速率来显示具有大运动的帧。然而，采用高显示速率/低分辨率类型V3用于该帧，该类型V3是一种用于显示具有低分辨率的图像的低分辨率/高显示速率类型。低分辨率的图像相对于高分辨率图像，具有较小的数据量。因此，可通过以用于具有大运动的帧的高显示速率显示低分辨率图像来减少用于拖放的设备的负担，同时避免编辑中图像中的时间变化的遗漏。
另一方面，显示类型确定单元93为运动信息小于阈值L的帧，即运动信息表示时间变化程度很小的帧，确定静态图像类型V1作为显示类型，该类型V1表示以静态图像进行显示。
例如，具有较小时间变化程度的帧，即帧没有(几乎没有)运动的帧在编辑中执行的拖放中连续。在这种情况下，当在帧中更新要显示的帧时，即使将在诸如显示器41(图2)之类的显示装置上的显示从紧接更新之前的帧(的图像)改变到更新后要显示的帧(的图像)，显示装置上显示的图像也不改变(罕有变化)。
当更新要显示的帧，而不管显示在显示装置上显示的图像没有变化时，如果用这种方式将显示装置上的显示从紧接更新之前显示的帧改变到更新后要显示的帧，则可以说对用于拖放的设备产生了额外的负担。
在没有(几乎没有)运动的帧持续的情况下，当在帧中更新要显示的帧时，如果将诸如显示器41(图2)之类的显示装置上的显示从紧接更新前显示的帧改变成更新后要显示的帧时，显示在显示装置上的图像会轻微变化。在这种情况下，在没有动作、罕被设定成编辑点的连续帧的区间中，操作用于拖放的设备的用户的注意力将被吸引，也可以说是无用的。这对用户增加了负担。
因此，在本实施例中，即使改变了要显示的帧，只要可以将要显示的帧的图像看作是与紧接更新之前显示的帧的图像相同的图像，则可对没有运动的帧采用用于显示紧接更新之前显示的帧(的图像)的静态图像类型V1。这使得可以避免对用于拖放的设备和操作设备的用户施加额外负担。
对于运动信息等于或高于阈值H的帧以及运动信息小于阈值L的帧以外的帧，即运动信息等于或大于阈值L并小于阈值H的帧，显示类型确定单元93确定普通类型V2作为这些帧的显示类型。
采用用于以普通速率(与图像的帧速率相同的显示速率)和普通分辨率来显示图像的普通类型V2，用于具有某种运动程度但并非具有很大运动的帧。
在按时间序列形成运动图像的帧(序列)中，其中静态图像类型V1的帧连续的区间称为静态图像区间，其中普通类型V2的帧连续的区间称为普通区间。其中高显示速率/低分辨率类型V3的帧连续的区间称为高显示速率/低分辨率区间。
图22是示出了图6中的显示类型确定单元93的结构的示例的图。
在图22中，显示类型确定单元93包括存储单元161、阈值处理单元162、连续性判断单元163和确定单元164。
从变化量计算单元92(图6)将以帧为单位的变化量提供给存储单元161。存储单元161临时存储来自变化量计算单元92的以帧为单位的变化量。
阈值处理单元162将存储在存储单元161中的以帧为单位的变化量与阈值H和阈值L(两者或之一)进行比较，并且以帧为单位将表示比较结果的比较信息提供给连续性判断单元163和确定单元164。
连续性判断单元163根据来自阈值处理单元162的以帧为单位的比较信息来判断例如是否以帧数N(多个)或更多连续出现变化量等于或大于阈值H的帧，以及是否以帧数N或更多连续出现变化量小于阈值H的帧。连续性判断单元163将表示判断结果的判断信息提供给确定单元164。
确定单元164根据来自阈值处理单元162的比较信息和来自连续性判断单元163的判断信息来为形成运动图像的每一帧确定显示类型，并输出该显示类型。
接下来参照图23和24的流程图来说明图22中的显示类型确定单元93的处理。
当从变化量计算单元92(图6)提供以帧为单位的变化量时，在步骤S41，显示类型确定单元93使存储单元161高速缓存(临时存储)以帧为单位的变化量。处理进行到步骤S42。
例如，运动信息从变化量计算单元92被提供到显示类型确定单元93作为变化量。显示类型确定单元93例如从三种类型中为每个帧确定一种显示类型，该三种类型即图20中所示的静态图像类型V1、普通类型V2和高显示速率/低分辨率类型V3。
在步骤S42中，阈值处理单元162执行阈值处理，该阈值处理用于将存储在存储单元161中的以帧为单位的变化量(运动信息)与阈值H和阈值L(两者或之一)进行比较。阈值处理单元162以帧为单位将比较信息提供给连续性判断单元163，其中该比较信息表示以帧为单位的变化量与阈值H或阈值L的比较结果。处理进行到步骤S43。
在步骤S43，连续性判断单元163从形成运动图像的帧中选择例如没有设定成感兴趣帧的按时间序列的顶部帧，Fy文件创建单元76(图6)将为其创建Fy文件。处理进行到步骤S44。
在步骤S44中，连续性判断单元163根据来自阈值处理单元162的比较信息判断感兴趣帧内的变化量是否等于或大于阈值H，以及判断变化量等于或大于阈值H的帧是否以帧数N(多个)或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后。
当在步骤S44中判断出感兴趣帧内的变化量等于或大于阈值H并且变化量等于或大于阈值H的帧以帧数N(多个)或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后时，连续性判断单元163将表示判断结果的判断信息提供给确定单元164。处理进行到步骤S45。
在步骤S45中，确定单元164根据来自连续性判断单元163的判断信息确定高显示速率/低分辨率类型V3作为感兴趣帧的显示类型。处理进行到步骤S50。
根据步骤S44和S45，当感兴趣帧内的变化量等于或大于阈值H，并且变化量等于或大于阈值H的帧以帧数N(多个)或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后时，确定高显示速率/低分辨率类型V3作为感兴趣帧的显示类型。这种确定是基于以下原因的。
如以下所描述的，当在拖放中，从三种显示类型即静态图像类型V1、普通类型V2和高显示速率/低分辨率类型V3中确定显示类型的时候，为静态图像类型V1的帧和普通类型V2的帧显示高分辨率的图像(具有普通分辨率的图像)。换句话说，通过处理具有较大数据量(大于代理数据的数据量)的主数据的图像数据来显示图像。另一方面，对于高显示速率/低分率类型V3的帧，显示具有低分辨率的图像。换句话说，通过处理具有较小数据量(小于主数据的数据量)的代理数据的图像数据来显示图像。
例如，当光盘7(图1)是记录有主数据和代理数据的专业盘时，使用记录在光盘7中的主数据和代理数据执行拖放。接下来，对于静态图像类型V1或普通类型V2的帧，必须从光盘7中读出主数据。对于高显示速率/低分辨率类型V3的帧，必须从光盘7中读出代理数据。
在光盘7中，主数据和代理数据被记录在物理上相互分离的位置中。因此，例如当静态图像类型V1或普通类型V2的帧与高显示速率/低分辨率类型V3的帧交替出现时，对光盘7中(记录的数据)进行拖动时频繁执行查找。取块于用于拖放的设备的性能，可能难以流畅地执行通过操作拖放条53(图3)而指定的帧的显示。
因此，在本实施例中，为了避免频紧进行查找，确定显示类型，从而以帧数N或更多来连续呈现高显示速率/低分辨率类型V3的帧并且还以帧数N或更多来呈现静态图像类型V1或普通类型V2的帧。
例如，如上所述，在步骤S44和S45中，当感兴趣帧内的变化量等于或大于阈值H，并且变化量等于或大于阈值H的帧以帧数N(多个)或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后时，确定高显示速率/低分辨率类型V3作为感兴趣帧的显示类型。
可以考虑例如用于播放光盘7的驱动器5等的最长查找时间、以及形成运动图像的帧的总数来确定帧数N，其中Fy文件创建单元76(图6)要为所述运动图像创建Fy文件。可以响应用户的操作来确定帧数N。
当确定显示类型时，帧数N是变化量等于或大于阈值H的应该连续的帧的最小数量(此外，如以后所描述，其是变化量小于阈值H的应该连续的帧的最小数量)，此后将帧数N适当地称为最小极限帧数N。
当在形成运动图像的按时间序列的帧中，对用于使用主数据显示图像的静态图像类型V1或普通类型V2的帧和用于使用代理数据显示图像的高显示速率/低分辨率类型V3的帧进行频繁地切换时，查找是一个问题。当在使用主数据显示图像的静态图像类型V1的帧和普通类型V2的帧之间进行切换时，查找不成问题。
另一方面，当在步骤S44中判断感兴趣帧内的变化量并不等于或大于阈值H，或者即使感兴趣帧内的变化量等于或大于阈值H，但变化量等于或大于阈值H的帧没有以最小极限帧数N或更多而连续出现在感兴趣帧紧接之前、紧接之后、以及之前和之后时，处理进行到步骤S46。连续性判断单元163根据来自阈值处理单元162的比较信息判断感兴趣帧内的变化量是否小于阈值H以及是否变化量小于阈值H的帧以最小极限帧数N或更多而连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后。
当在步骤S46中判断感兴趣帧内的变化量小于阈值H并且变化量小于阈值H的帧以最小极限帧数N或更多而连续出现在感兴趣帧紧接之前、紧接之后、或之前和之后时，连续性判断单元163将表示判断结果的判断信息提供给确定单元164。处理进行到步骤S47。
确定单元164从连续性判断单元163接收提供的判断信息，该判断信息所表示的判断结果是感兴趣帧内的变化量小于阈值H并且变化量小于阈值H的帧以最小极限帧数N或更多而连续出现在感兴趣帧紧接之前、紧接之后、或之前和之后。接着，在步骤S47中，确定单元164根据来自阈值处理单元162的比较信息判断感兴趣帧内的变化量是否等于或大于阈值L。
当在步骤S47中判断感兴趣帧内的变化量等于或大于阈值L，即当感兴趣帧内的变化量等于或大于阈值L且小于阈值H时，处理进行到步骤S48。确定单元164确定普通类型V2作为感兴趣帧的显示类型。处理进行到步骤S50。
当在步骤S47中判断感兴趣帧内的变化量并不等于或大于阈值L，即当感兴趣帧内的变化量小于阈值L时，处理进行到步骤S49。确定单元164确定静态图像类型V1作为感兴趣帧的显示类型。处理进行到步骤S50。
根据步骤S46至S49，当感兴趣帧内的变化量小于阈值H，并且变化量小于阈值H的帧以帧数N或更多而连续出现在感兴趣帧紧接之前、紧接之后、或之前和之后时，如果感兴趣帧内的变化量等于或大于阈值L，则确定普通类型V2作为感兴趣帧的显示类型。如果感兴趣帧内的变化量小于阈值L，则确定静态图像类型V1作为感兴趣帧的显示类型。这是为了避免在进行如上所述的拖放时频繁进行查找。
在步骤S50中，连续性判断单元163判断在形成运动图像的帧中是否存在没有被选作感兴趣帧的帧，其中，Fy文件创建单元76(图6)要为所述帧创建Fy文件。
当在步骤S50中判断仍存在没有被选作感兴趣帧的帧时，处理回到步骤S43。新选择仍未被选作感兴趣帧的帧作为感兴趣帧。重复相同的处理。
当在步骤S50中判断不存在尚未被选作感兴趣帧的帧时，显示类型确定单元93结束处理。
另一方面，当在步骤S46判断感兴趣帧内的变化量不小于阈值H，或者即使感兴趣帧内的变化量小于阈值H，变化量小于阈值H的帧没有以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、以及之前和之后时，处理进行到图24中的步骤S61。连续性判断单元163判断是否变化量跨越阈值H的帧以最小极限帧数N或更多出现在感兴趣帧紧接之前、紧接之后、或之前和之后。
图25是以帧为单位的变化的曲线图。在图25中，横坐标表示帧，纵坐标表示变化量。图25中仅示出了阈值H和L中的阈值H。
当感兴趣帧的变化量等于或大于阈值H，并且变化量等于或大于阈值H的帧以帧数N或更多出现在感兴趣帧紧接之前、紧接之后、或之前和之后时，在图23的步骤S45中，确定高显示速率/低分辨率类型V3作为感兴趣帧显示类型。
当感兴趣帧的变化量小于阈值H，并且变化量小于阈值H的帧以最小极限帧数N或更多出现在感兴趣帧紧接之前、紧接之后、或之前和之后时，在图23的步骤S48或S49中，确定普通类型V2或静态图像类型V1作为感兴趣帧的显示类型。
因此，当变化量等于或大于阈值H的帧没有以帧数N或更多出现在感兴趣帧紧接之前、紧接之后、以及之前和之后，并且变化量小于阈值H的帧没有以最小极限帧数N或更多出现在感兴趣帧紧接之前、紧接之后、以及之前和之后时，执行图24中的步骤S61。这是这样一种情况，其中感兴趣帧是例如图25所示的位于表示为区间T1、T2、T3和T4的区间中的一个帧，在所述区间中出现变化量跨越阈值H的帧(其中混合有变化量等于或大于阈值H的帧以及变化量小于阈值H的帧的区间)，以及其中变化量等于或大于阈值H的连续帧的数量以及变化量小于阈值H的帧的数量至多小于最小极限帧数N的区间(此后被适当地称为混合区间)中的帧。
如图25所示，混合区间典型地出现在变化量等于或大于阈值H的帧以帧数N或更多连续出现的区间(此后适当地称为大变化量区间)以及具有连续变化量小于阈值H的帧以最小极限帧数N或更多连续出现的区间(此后适当地称为小变化量区间)之间，或出现在大变化量区间之间，或小变化量区间之间。
混合区间可被分割成区间长度(帧数)等于或大于最小极限帧数N的区间和区间长度小于最小极限帧数N的区间。在图25中的混合区间T1至T4中，混合区间T2是区间长度等于或大于最小极限帧数N的区间，其它混合区间T1、T3、T4是区间长度小于最小极限帧数N的区间。
也可以将混合区间分割成在大变化量区间和小变化量区间之间的区间、在大变化量区间之间的区间、以及在小变化量区间之间的区间在图25的混合区间T1至T4中，混合区间T1、T2是在大变化量区间之间的区间，混合区间T3是在大变化量区间和小变化量区间之间的区间。混合区间T4是在小变化量区间之间的区间。
重新参考图24，如前所述，在步骤S61中，连续性判断单元163判断是否变化量跨越阈值H的帧以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、以及之前与之后，即是否出现感兴趣帧的混合区间是区间长度等于或大于最小极限帧数N的区间。
当在步骤S61中判断变化量跨越阈值N的帧以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前和之后，即出现感兴趣帧的混合区间是区间长度等于或大于最小极限帧数N的区间，如图25中的混合区间T2时，处理进行到步骤S62。确定单元164例如确定普通类型V2作为感兴趣帧的显示类型。处理进行到图23中的步骤S50。此后，执行以上所描述的处理。
对于其中变化量跨越阈值H的帧以最小极限帧数N或更多连续出现的混合区间中的帧，确定使用(充当)主数据(的图像数据)显示图像的普通类型V2或使用(充当)代理数据(的图像数据)显示图像的高显示速率/低分辨率类型V3作为帧的所有显示类型。这使得可以避免频繁进行查找。
因此，在本实施例中，将普通类型V2确定为混合区间中的帧的所有显示类型，其中在所述混合区间中，变化量跨越阈值H的帧以最小极限帧数N或更多而连续出现。除了普通类型V2，也可以将高显示速率/低分辨率类型V3确定为混合区间中的帧的显示类型，其中在所述混合区间中变化量跨越阈值H的帧以最小极限帧数N或更多而连续出现。
当仅注重避免频繁执行查找时，也可以将使用主数据显示图像的静态图像类型V1确定为混合区间中的帧的显示类型。然而，由于混合区间是其中出现了变化量跨越阈值H的帧的区间，因此不优选将作为变化量小于阈值L的帧的显示类型的静态图像类型V1确定为混合区间中的帧的显示类型。因此，将普通类型V2或高显示速率/低分辨率类型V3确定为混合区间中的帧的显示类型。
另一方面，当在步骤S61中判断没有变化量跨越阈值H的帧以最小极限帧数N或更多而连续出现在感兴趣帧紧接之前、紧接之后、以及之前和之后时，即当其中出现感兴趣帧的混合区间(此后称为感兴趣混合区间)是区间长度小于最小极限帧数N的区间，如图25中的混合区间T1、T3和T4时，处理进行到步骤S63。连续性判断单元163判断是否在区间长度小于最小极限帧数N的感兴趣混合区间左边的时间上在前的帧(此后被适当地称为左帧)中的邻接感兴趣混合区间的帧中的变化量以及在感兴趣混合区间右边的时间上在后的帧(此后被适当地称为右帧)中的邻接于感兴趣混合区间的帧中的变化量中的一个等于或大于阈值H而另一个小于阈值H。换句话说，连续性判断单元163判断区间长度小于最小极限帧数N的感兴趣混合区间是否是位于大变化量区间和小变化量区间之间的区间。
当在步骤S63中判断区间长度小于最小极限帧数N的感兴趣混合区间是位于大变化量区间和小变化量区间之间的区间时，即区间长度小于最小极限帧数N的感兴趣混合区间是如图25中的混合区间T3这样的位于大变化量区间和小变化量区间之间的混合区间时，处理进行到步骤S62。如上所述，确定单元164将普通类型V2确定为感兴趣帧的显示类型。处理进行到图23中的步骤S50。此后，进行如上所述的处理。
位于区间长度小于最小极限帧数N的感兴趣混合区间两边的大变化量区间和小变化量区间二者都是区间长度等于或大于最小极限帧数N的区间。此外，确定使用代理数据显示图像的高显示速率/低分辨率类型V3作为大变化量区间中的帧的显示类型。确定使用主数据显示图像的普通类型V2或静态图像类型V1作为小变化量区间中的帧的显示类型。
对于位于大变化量区间和小变化量区间之间的区间长度小于最小极限帧数N的感兴趣混合区间中的帧，显示类型与被确定作为大变化量区间中的帧的显示类型的高显示速率/低分辨率类型V3或被确定作为小变化量区间中的帧的显示类型的普通类型V2相同。因此，高显示速率/低分辨率类型V3或普通类型V2的帧以最小极限帧数N或更多连续。这使得可以避免频繁进行查找。
因此，在本实施例中，将普通类型V2确定为感兴趣混合区间中的帧的所有显示类型，其中所述感兴趣混合区间位于大变化量区间和小变化量区间之间，并且在该感兴趣混合区间中变量跨越阈值的帧少于最小极限帧数N。除了普通类型V2，也可将高显示速率/低分辨率类型V3确定为感兴趣混合区间中的帧的所有显示类型，其中所述感兴趣混合区间位于大变化量区间和小变化量区间之间，并且在该感兴趣混合区间中变化量跨越阈值H的帧少于最小极限帧数N。
另一方面，当在步骤S63中判断区间长度小于最小极限帧数N的感兴趣混合区间不是位于大变化量区间和小变化量区间之间的区间时，处理进行到步骤S64。连续性判断单元163判断在区间长度小于最小极限帧数N的感兴趣混合区间的左边的时间上的在前帧(左帧)中邻接于感兴趣混合区间的帧中的变化量、以及在感兴趣混合区间右边的时间上的在后帧(右帧)中邻接于感兴趣混合区间的帧中的变化量这二者是否都等于或大于阈值H。换句话说，连续性判断单元163判断区间长度小于最小极限帧数N的感兴趣混合区间是否是位于大变化量区间之间的区间。
当在步骤S64中判断区间长度小于最小极限帧数N的感兴趣混合区间不是位于大变化量区间之间的区间时，即当区间长度小于最小极限帧数N的感兴趣混合区间是位于小变化量区间之间的混合区间时，如图25中的混合区间T4，处理进行到步骤S62。如上所述，确定单元164将普通类型V2确定为感兴趣帧的显示类型。处理进行到图23中的步骤S50。此后，进行如上所述的处理。
换句话说，对于在两个小变化量区间之间的区间长度小于最小极限帧数N的感兴趣混合区间中的帧，显示类型与被确定(可能被确定)作为两个小变化量区间中的帧的显示类型的普通类型V2相同。结果，普通类型V2的帧以最小极限帧数N或更多连续。这使得可以避免频繁进行查找。
另一方面，当在步骤S64中判断区间长度小于最小极限帧数N的感兴趣混合区间是位于大变化量区间之间的区间时，即当区间长度小于最小极限帧数N的感兴趣混合区间是位于大变化量区间之间的混合区间时，如图25中的混合区间T1，处理进行到步骤S65。确定单元164将高显示速率/低分辨率类型V3确定为感兴趣的显示类型。处理进行到图23中的步骤S50。此后，进行如上所述的处理。
换句话说，对于位于两个大变化量区间之间、区间长度小于最小极限帧数N的感兴趣混合区间中的帧，显示类型与被确定作为两个大变化量区间中的帧的显示类型的高显示速率/低分辨率类型V3相同。因此，高显示速率/低分辨率类型V3的帧以最小极限帧数N或更多连续。这使得可以避免频繁进行查找。
图26是示出了当由图6中的变化量计算单元92计算运动信息作为变化量、显示类型确定单元93根据运动信息确定显示类型、由选择单元94选择变化量和显示类型时，图6中由文件创建单元95创建的Fy文件的示例的图。
在图26中的Fy文件中，从左到右，连续布置有表示从顶端开始的帧的位置的帧数、对应于帧数的帧的时间码、充当对应于帧数的帧中的变化量的运动信息、以及对于帧数的帧的显示类型。
在图26中的Fy文件中，将三种类型中的任何一种，即图20中的静态图像类型V1、普通类型V2和高显示速率/低分辨率类型V3确定作为显示类型。
在图26中的Fy文件中，为了确定显示类型，分别采用1和5作为阈值L和阈值H。采用通过公式N＝F×P计算的值作为最小极限帧数N，其中F是创建Fy文件的运动图像的帧的总数，P是预定因子。当创建Fy文件的运动图像的帧的总数F是例如3000，并且预定因子P是例如0.01时，最小极限帧数N为30(＝3000×0.01)。
在图26中，采用运动信息作为变化量，并且根据帧的运动信息，将三种类型中的任何一种，即静态图像类型V1、普通类型V2和高显示速率/低分辨率类型V3，确定作为帧的显示类型。但是，为帧确定显示类型的方法并不限于此。
图27是示出了由图6中的显示类型确定单元93确定的显示类型的另一例子。
在图27中，有五种类型的显示类型，即表示以静态图像显示的静态图像类型V11、普通类型V12、以及显示帧的分辨率和显示帧的显示速率不同的高显示速率/普通分辨率类型V13、超高显示速率/低分辨率类型V14、和特高显示速率/低分辨率类型V15。
对于静态图像类型V11的帧，就像图20中的静态图像类型V1，即使改变要被显示的帧，只要可以把要被显示的帧的图像看作是与紧接该图像之前显示的帧(的图像)相同的图像，就显示紧接该图像之前显示的帧(的图像)(继续显示)。
对于普通图像类型V12的帧，如图20中的普通类型V2，以与运动图像的帧速率相同的显示速率(普通速率)和与作为主数据的图像数据的分辨率相同的分辨率(普通分辨率)来显示图像。
对于高显示速率/普通分辨率类型V13的帧，以高于普通速率的显示速率，例如普通速率两倍的显示速率，以及以与作为代理数据的图像数据的分辨率相同的分辨率(普通分辨率)来显示图像。
对于超高显示速率/低分辨率类型V14的帧，以高于高显示速率/普通分辨率类型V13的显示速率，例如普通速率三倍的显示速率，以及以与作为代理数据的图像数据的分辨率相同的分辨率(分辨率低于作为主数据的图像数据的分辨率)来显示图像。
对于特高显示速率/低分辨率类型V15的帧，以高于超高显示速率/普通分辨率类型V14的显示速率，如普通速率四倍的显示速率，以及以与作为代理数据的图像数据的分辨率相同的分辨率(分辨率低于作为主数据的图像数据的分辨率)来显示图像。
当普通速率是与NTSC(国家电视系统委员会)系统的显示速率相同的(大约)30帧/秒时，普通类型V12、高显示速率/普通分辨率类型V13、超高显示速率/低分辨率类型V14和特高显示速率/低分辨率类型V15的显示速率分别是30帧/秒、60帧/秒、90帧/秒以及120帧/秒。
当具有五种类型，即图27所示的作为显示类型的静态图像类型V1、普通类型V12、高显示速率/普通分辨率类型V13、超高显示速率/低分辨率类型V14和特高显示速率/低分辨率类型V15时，变化量计算单元92(图6)计算表示帧中的时间变化程度的运动信息作为变化量。显示类型确定单元93(图6)将例如每个帧的运动信息与四个预定阈值进行比较。显示类型确定单元93根据比较结果来确定静态图像类型V11、普通类型V12、高显示速率/普通分辨率类型V13、超高显示速率/低分辨率类型V14或特高显示速率/低分辨率类型V15作为帧的显示类型。
图28是作为变化量的运动信息和由显示类型确定单元93(图6)根据变化量以帧为单位所确定的以帧为单位的显示类型的曲线图。
在图28中，横坐标表示帧，纵坐标表示变化量。
显示类型确定单元93(图6)将以帧为单位的变化量(运动信息)与阈值TH1、TH2、TH3和TH4进行比较，其中TH1＜TH2＜TH3＜TH4。显示类型确定单元93将特高显示速率/低分辨率类型V15(其是低分辨率/高显示速率类型的一种)确定为运动信息等于或大于阈值TH4的帧的显示类型，即所述帧的运动信息表示时间变化程度极大。在图28中，将特高显示速率/低分辨率类型V15确定为区间D5中的帧的显示类型，该区间D5中运动信息等于或大于阈值TH4的帧连续。
显示类型确定单元93将超高显示速率/低分辨率类型V14确定为运动信息等于或大于阈值TH3且小于阈值TH4的帧的显示类型，其中，所述超高显示速率/低分辨率类型V14是低分辨率/高显示速率类型的一种，并且它的显示速率低于特高显示速率/低分辨率类型V15的显示速率，所述帧的运动信息表示时间变化程度很大，接近于极大。在图28中，将超高显示速率/低分辨率类型V14确定为区间D4和D6中的帧的显示类型，其中该区间中运动信息等于或大于阈值TH3且小于阈值TH4的帧连续显示。
显示类型确定单元93将高显示速率/普通分辨率类型V13确定为运动信息等于或大于阈值TH2且小于阈值TH3的帧的显示类型，其中，所述高显示速率/普通分辨率类型V13的显示速率低于超高显示速率/低分辨率类型V14的显示速率，并且它的分辨率高于超高显示速率/低分辨率类型V14的分辨率，所述帧的运动信息表示时间变化程度并非极大但仍很大。在图28中，将高显示速率/普通分辨率类型V13确定为区间D3和D7中的帧的显示类型，该区间中运动信息等于或大于阈值TH2且小于阈值TH3的帧连续。
显示类型确定单元93将普通类型V12确定为运动信息等于或大于阈值TH1且小于阈值TH2的帧的显示类型，其中，所述普通类型V12的显示速率低于高显示速率/普通分辨率类型V13的显示速率，所述帧的运动信息表示时间变化程度不是很大。在图28中，将普通类型V12确定为区间D2和D8中的帧的显示类型，该区间中运动信息等于或大于阈值TH1且小于阈值TH2的帧连续。
此外，显示类型确定单元93将静态图像类型V11确定为运动信息小于阈值TH1的帧的显示类型，其中，所述静态图像类型V11表示以静态图像进行显示，所述帧的运动信息表示时间变化程度很小。在图28中，将静态图像类型V11确定为区间D1和D9中的帧的显示类型，该区间中运动信息小于阈值TH1的帧连续。
接下来将参照图29和30中的流程图来说明图22中的显示类型确定单元93在确定如图27所示的静态图像类型V11、普通类型V12、高显示速率/普通分辨率类型V13、超高显示速率/低分辨率类型V14或特高显示速率/低分辨率类型V15的情况下的处理。
当从变化量计算单元92(图6)提供以帧为单位的变化量时，在步骤S81，显示类型确定单元93使存储单元161(图22)高速缓存(临时存储)以帧为单位的变化量。处理进行到步骤S82。
例如，运动信息作为变化量从变化量计算单元92被提供到显示类型确定单元93。
在步骤S82中，阈值处理单元162(图22)执行阈值处理，用于将存储在存储单元161中的以帧为单位的变化量(运动信息)与阈值TH1、TH2、TH3或TH4进行比较。阈值处理单元162将表示以帧为单位的变化量和阈值TH1、TH2、TH3、或TH4的比较结果的比较信息以帧为单位地提供给连续性判断单元163。处理进行到步骤S83。
在步骤S83，连续性判断单元163(图22)从形成运动图像的帧中选择例如没有设置成感兴趣帧的按时间序列顺序的开头帧作为感兴趣帧，Fy文件创建单元76(图6)将为其创建Fy文件。处理进行到步骤S84。
在步骤S84中，连续性判断单元163根据来自阈值处理单元162的比较信息判断感兴趣帧内的变化量是否等于或大于阈值TH3，以及判断变化量等于或大于阈值TH3的帧是否以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后或之前与之后。
当在步骤S84中判断出感兴趣帧内的变化量等于或大于阈值TH3并且变化量等于或大于阈值TH3的帧以最小极限帧数N或更多个连续出现在感兴趣帧紧接之前、紧接之后或之前与之后时，连续性判断单元163将表示判断结果的判断信息提供给确定单元164(图22)。处理进行到步骤S85。
确定单元164从持续单元163接收提供的判断信息，该判断信息表示的判断结果是感兴趣帧内的变化量等于或大于阈值TH3并且变化量等于或大于阈值TH3的帧以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后或之前与之后。接下来在步骤S85中，确定单元164根据阈值处理单元162的比较信息判断感兴趣帧内的变化量是否等于或大于阈值TH4。
当在步骤S85中判断出感兴趣帧内的变化量等于或大于阈值TH4时，处理进行到步骤S86。确定单元164将特高显示速率/低分辨率类型V15确定为感兴趣帧的显示类型。处理到步骤S93。
当在步骤S85中判断出感兴趣帧内的变化量不是等于或大于阈值TH4时，即，当感兴趣帧内的变化量等于或大于阈值TH3并且小于阈值TH4时，处理进行到步骤S87。确定单元164将超高显示速率/低分辨率类型V14确定为感兴趣帧的显示类型。处理进行到步骤S93。
根据步骤S84和S87，当感兴趣帧内的变化量等于或大于阈值TH3，并且此外变化量等于或大于阈值TH3的帧以帧数N个或更多连续出现在感兴趣帧紧接之前、紧接之后或之前与之后时，将特高显示速率/低分辨率类型V15或超高显示速率/低分辨率类型V14确定为感兴趣帧的显示类型。这种确定是基于以下原因的。
当在拖放中，在图27所示的静态图像类型V1、普通类型V12、高显示速率/普通分辨率类型V13、超高显示速率/低分辨率类型V14和特高显示速率/低分辨率类型V15中确定显示类型时，为具有静态图像类型V11的帧、具有普通类型V12的帧以及具有高显示速率/普通分辨率类型V13的帧显示高分辨率的图像(具有普通分辨率的图像)。换句话说，通过处理具有较大数据量(相对于代理数据的数据量)的主数据的图像数据来显示图像。
另一方面，对于具有超高显示速率/低分辨率类型V14的帧和具有特高显示速率/低分辨率类型V15的帧，显示具有低分辨率的图像。换句话说，通过处理具有较小数据量(相对于主数据的数据量)的代理数据的图像数据来显示图像。
例如，当光盘7(图1)是记录有主数据和代理数据的专业盘时，使用记录在光盘7中的主数据和代理数据执行拖放。接下来，如参照图23中所说明的情况，在形成运动图像的按时间序列的帧中，当具有使用代理数据来显示图像的超高显示速率/低分辨率类型V14或特高显示速率/低分辨率类型V15的帧和具有使用主数据来显示图像的静态图像类型V11、普通类型V12或高显示速率/普通分辨率类型V13的帧频繁切换时，频繁执行查找。因此可能难于平滑地执行通过操作拖放条53(图3)而指定的帧的显示。
为了避免频繁进行查找，需要避免在具有使用代理数据来显示图像的超高显示速率/低分辨率类型V14或特高显示速率/低分辨率类型V15的帧和具有使用主数据来显示图像的静态图像类型V11、普通类型V12或高显示速率/普通分辨率类型V13的帧之间进行频繁切换。
另一方面，在超高显示速率/低分辨率类型V14和特高显示速率/低分辨率类型V15的帧二者中，使用代理数据来显示图像。因此，对于在超高显示速率/低分辨率类型V14的帧和特高显示速率/低分辨率类型V15的帧之间进行的切换，查找不成问题。
此外，在静态图像类型V11的帧、普通类型V12的帧和高显示速率/普通分辨率类型V13的帧的所有帧中，使用主数据来显示图像。因此，对于在在静态图像类型V11的帧、普通类型V12的帧以及高显示速率/普通分辨率类型V13的帧之中的任意一种显示类型的帧和另一种显示类型的帧之间进行的切换，查找也不成问题。
因此，在图29和30中，在区间中以至少最小极限帧数N连续的帧的区间中避免造成在具有使用代理数据显示图像的显示类型(超高显示速率/低分辨率类型V14或特高显示速率/低分辨率类型V15)的帧和具有使用主数据显示图像的显示类型(静态图像类型V11、普通类型V12或高显示速率/普通分辨率类型V13)的帧之间的切换。为此，在步骤S84至S87中，当感兴趣帧内的变化量等于或大于阈值TH3并且变化量等于或大于阈值TH3的帧以最小极限帧数N或更多连续出现在感兴趣帧直接之前、直接之后、或之前与之后时，将超高显示速率/低分辨率类型V14或特高显示速率/低分辨率类型V15确定为感兴趣帧的显示类型。
进一步地，在区间中以至少最小极限帧数N连续的帧的区间中避免造成在具有使用代理数据显示图像的显示类型的帧和具有使用主数据显示图像的显示类型的帧之间的切换。为此，在此后描述的步骤S88至S92中，当感兴趣帧内的变化量小于阈值TH3并且变化量小于阈值TH3的帧以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后时，将静态图像类型V11、普通类型V12或高显示速率/普通分辨率类型V13确定为感兴趣帧的显示类型。
当在步骤S84中判断出感兴趣帧内的变化量不是等于或大于阈值TH3，或者即使感兴趣帧内的变化量等于或大于阈值TH3，但变化量等于或大于阈值TH3的帧没有以最小极限帧数N或更多连续出现在感兴趣帧直接之前、直接之后、以及之前和之后时，处理进行到步骤S88。连续性判断单元163根据来自阈值处理单元162的比较信息判断感兴趣帧内的变化量是否小于阈值TH3以及是否变化量小于阈值TH3的帧以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后。
当在步骤S88中确定感兴趣帧内的变化量小于阈值TH3并且变化量小于阈值TH3的帧以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后时，连续性判断单元163将表示判断结果的判断信息提供给确定单元164。处理进行到步骤S89。
确定单元164从连续性判断单元163接收提供的判断信息，该判断信息所表示的判断结果是感兴趣帧内的变化量小于阈值TH3并且变化量小于阈值TH3的帧以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后。接着，在步骤S89中，确定单元164根据来自阈值处理单元162的比较信息判断感兴趣帧内的变化量是否小于阈值TH1、是否等于或大于阈值TH1但小于阈值TH2、或者是否等于或大于阈值TH2但小于阈值TH3。
当在步骤S89中判断感兴趣帧内的变化量小于阈值TH1时，处理进行到步骤S90。确定单元164确定静态图像类型V11作为感兴趣帧的显示类型。处理进行到步骤S93。
当在步骤S89中判断感兴趣帧内的变化量等于或大于阈值TH1但小于阈值TH2时，处理进行到步骤S91。确定单元164确定普通类型V12作为感兴趣帧的显示类型。处理进行到步骤S93。
当在步骤S89中判断感兴趣帧内的变化量等于或大于阈值TH2但小于阈值TH3时，处理进行到步骤S92。确定单元164确定高显示速率/普通分辨率类型V13作为感兴趣帧的显示类型。处理进行到步骤S93。
根据步骤S88至S92，如上所述，当感兴趣帧内的变化量小于阈值TH3并且变化量小于阈值TH3的帧以帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后时，将用于使用主数据显示图像的静态图像类型V11、普通类型V12或高显示速率/普通分辨率类型V13确定为感兴趣帧的显示类型。如上所述，这是为了避免频繁执行查找。
在步骤S93中，连续性判断单元163判断在形成运动图像的帧中是否存在没有被选作为感兴趣帧的帧，其中，Fy文件创建单元76(图6)将为所述感兴趣帧创建Fy文件。
当在步骤S93中判断仍存在没有被选作为感兴趣帧的帧时，处理返回到步骤S83。如上所述，重新选择仍没被选作感兴趣帧的帧作为感兴趣帧。此后，重复相同的处理。
当在步骤S93中判断不存在仍没被选作感兴趣帧的帧时，显示类型确定单元93结束处理。
另一方面，当在步骤S88中判断感兴趣帧内的变化量不小于阈值TH3，或者即使感兴趣帧内的变化量小于阈值TH3，但变化量小于阈值TH3的帧没有以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、以及之前与之后时，处理进行到图30中的步骤S101。连续性判断单元163判断具有跨越阈值TH3的变化量的帧是否以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后。
当感兴趣帧内的变化量等于或大于阈值TH3并且变化量等于或大于阈值TH3的帧以帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后时，在图29的步骤S86或S87中，将超高显示速率/低分辨率类型V14或特高显示速率/低分辨率类型V15确定为感兴趣帧的显示类型。
当感兴趣帧内的变化量小于阈值TH3并且变化量小于阈值TH3的帧以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后时，在图29的步骤S90至S92中，将静态图像类型V11、普通类型V12或高显示速率/普通分辨率类型V13确定为感兴趣帧的显示类型。
因此，当变化量等于或大于阈值TH3的帧没有以帧数N或更多连续出现，并且变化量小于阈值TH3的变化量的帧没有以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、以及之前与之后时，执行图30中的步骤S101中的处理。这种情况是这样一种情况，其中感兴趣帧是这样的区间中的帧，在该区间中，出现变化量跨越阈值TH3的帧(变化量等于或大于阈值TH3的帧以及变化量小于阈值TH3的帧相混合的区间)，并且是这样的区间，其中变化量等于或大于阈值TH3的连续帧的数量以及变化量小于阈值TH3的连续帧的数量至多小于最小极限帧数N(此后被适当地称为混合区间)。
如参考图25所说明的情况，混合区间典型地出现在变化量等于或大于阈值TH3的帧以帧数N或更多连续出现的区间(此后适当地称为大变化量区间)和变化量小于阈值TH3的帧以最小极限帧数N或更多连续出现的区间(此后适当地称为小变化量区间)之间，或出现在两个大变化量区间之间，或两个小变化量区间之间。
因此，混合区间可被分割成区间长度(帧数)等于或大于最小极限帧数N的区间和区间长度小于最小极限帧数N的区间。
也可以将混合区间分割成在大变化量区间和小变化量区间之间的区间、在大变化量区间之间的区间、以及在小变化量区间之间的区间。
在步骤S101中，连续性判断单元163判断变化量跨越阈值TH3的帧是否以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后，即出现感兴趣帧的混合区间是否是区间长度等于或大于最小极限帧数N的区间。
当在步骤S101中判断变化量跨越阈值TH3的帧以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后时，处理进行到步骤S102。确定单元164在使用主数据来显示图像的显示类型中确定例如高显示速率/普通分辨率类型V13作为感兴趣帧的显示类型。处理进行到图29中的步骤S93。此后，执行以上所描述的处理。
对于在具有跨越阈值TH3的变化量的帧以最小极限帧数N或更多连续出现的混合区间中的帧，将使用(充当)主数据(的图像数据)显示图像的显示类型或使用(充当)代理数据(的图像数据)显示图像的显示类型确定作为所有帧的显示类型。这使得可以避免频繁进行查找。
因此，在图30中，例如将使用主数据显示图像的显示类型中的高显示速率/普通分辨率类型V13确定为混合区间中帧的所有显示类型，其中所述混合区间中变化量跨越阈值TH3的帧以最小极限帧数N或更多连续出现。
除此之外，例如可将使用主数据显示图像的显示类型中的普通类型V12确定为混合区间中帧的显示类型，其中在所述混合区间中变化量跨越阈值TH3的帧以最小极限帧数N或更多连续出现。也可将例如使用代理据显示图像的超高显示速率/低分辨率类型V14或特高显示速率/低分辨率类型V15确定为混合区间中帧的显示类型，其中在所述混合区间中变化量跨越阈值TH3的帧以最小极限帧数N或更多连续出现。
另一方面，当在步骤S101中判断变化量跨越阈值TH3的变化量的帧没有以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、以及之前和之后时，即当出现了感兴趣帧的混合区间(感兴趣混合区间)是区间长度小于最小极限帧数N的区间时，处理进行到步骤S103。连续性判断单元163判断在区间长度小于最小极限帧数N的感兴趣混合区间左边的时间上的在前帧中邻接于感兴趣混合区间的帧(左帧)的变化量和在感兴趣混合区间右边的时间上在后的帧中邻接于感兴趣混合区间的帧(右帧)的变化量中的一个是否等于或大于阈值TH3，而另一个是否小于阈值TH3。换句话说，连续性判断单元163判断区间长度小于最小极限帧数N的感兴趣混合区间是否是位于大变化量区间和小变化量区间之间的区间。
当在步骤S103中判断区间长度小于最小极限帧数N的感兴趣混合区间是位于大变化量区间和小变化量区间之间的区间时，处理进行到步骤S102。如上所述，确定单元164将高显示速率/普通分辨率类型V13确定为感兴趣帧的显示类型。处理进行到图29中的步骤S93。此后，进行如上所述的处理。
位于区间长度小于最小极限帧数N的感兴趣混合区间两边的大变化量区间和小变化量区间都是区间长度等于或大于最小极限帧数N的区间。此外，确定使用代理数据显示图像的显示类型(超高显示速率/低分辨率类型V14或特高显示速率/低分辨率类型V15)作为大变化量区间中的帧的显示类型。确定使用主数据显示图像的显示类型(静态图像类型V11、普通类型V12或高显示速率/普通分辨率类型V13)作为小变化量区间中的帧的显示类型。
对于在大变化量区间和小变化量区间之间的、区间长度小于最小极限帧数N的感兴趣混合区间中的帧，显示类型与大变化量区间中的帧的显示类型或小变化量区间中的帧的显示类型相同。这使得可以避免频繁进行查找。
因此，在图30中，例如将使用主数据显示图像的显示类型中的高显示速率/普通分辨率类型V13确定为感兴趣混合区间中的帧的所有显示类型，其中所述感兴趣混合区间位于大变化量区间和小变化量区间之间，并且在该感兴趣混合区间中的变化量跨越阈值TH3的帧少于最小极限帧数N。
除此之外，例如可将使用主数据显示图像的显示类型中的普通类型V12或使用代理据显示图像的显示类型中的超高显示速率/低分辨率类型V14确定为感兴趣混合区间中帧的显示类型，其中所述感兴趣混合区间位于大变化量区间和小变化量区间之间，并且该感兴趣混合区间中的变化量跨越阈值TH3的帧少于最小极限帧数N。
另一方面，当在步骤S103中判断区间长度小于最小极限帧数N的感兴趣混合区间不是位于大变化量区间和小变化量区间之间的区间时，处理进行到步骤S104。连续性判断单元163判断在区间长度小于最小极限帧数N的感兴趣混合区间的左边的时间上的在前帧中邻接于感兴趣混合区间的帧(左帧)的变化量以及在感兴趣混合区间右边的时间上在后的帧中邻接于感兴趣混合区间的帧(右帧)的变化量是否都等于或大于阈值TH3。换句话说，连续性判断单元163判断区间长度小于最小极限帧数N的感兴趣混合区间是否是位于大变化量区间之间的区间。
当在步骤S104中判断区间长度小于最小极限帧数N的感兴趣混合区间不是在大变化量区间之间的区间时，处理进行到步骤S102。如上所述，确定单元164将例如使用主数据显示图像的显示类型中的高显示速率/普通分辨率类型V13确定为感兴趣帧的显示类型。处理进行到图29中的步骤S93。此后，进行如上所述的处理。
换句话说，对于在两个小变化量区间之间的、区间长度小于最小极限帧数N的感兴趣混合区间中的帧，显示类型与被确定作为两个小变化量区间中的帧的显示类型、使用主数据显示图像的显示类型相同。这使得可以避免频繁进行查找。
另一方面，当在步骤S104中判断区间长度小于最小极限帧数N的感兴趣混合区间是位于大变化量区间之间的区间时，处理进行到步骤S105。确定单元164将例如使用代理数据显示图像的显示类型中的超高显示速率/低分辨率类型V14确定为感兴趣帧的显示类型。处理进行到图29中的步骤S93。此后，进行如上所述的处理。
换句话说，对于在两个大变化量区间之间的、区间长度小于最小极限帧数N的感兴趣混合区间中的帧，显示类型与被确定作为两个大变化量区间中的帧的显示类型的使用代理数据显示图像的显示类型相同。这使得可以避免频繁进行查找。
图31是示出了由图6中的显示类型确定单元93确定的另一显示类型的示例的图。
在图31中，有三种类型的显示类型，即低分辨率/普通显示速率类型C1、普通类型C2、和普通分辨率/低显示速率类型C3，它们的显示帧时的分辨率和显示速率是不同的。
对于低分辨率/普通显示速率类型C1的帧，以与运动图像的帧速率相同的显示速率(普通速率)和与用作代理数据的图像数据的分辨率(低于用作主数据的图像数据的分辨率)相同的分辨率来显示图像。
对于普通类型C2的帧，以普通速率的显示速率和与用作主数据的图像数据的分辨率相同的分辨率(普通分辨率)来显示图像。
对于普通分辨率/低显示速率类型C3的帧，以低于普通速率的显示速率，例如普通速率一半的显示速率，以及以与用作主数据的图像数据的分辨率相同的分辨率(高于用作代理数据的图像数据分辨率的分辨率)来显示图像。
当具有三种类型，即图31所示的低分辨率/普通显示速率类型C1、普通类型C2和普通分辨率/低显示速率类型C3作为显示类型时，变化量计算单元92(图6)计算表示帧的空间变化程度的细度信息作为变化量。显示类型确定单元93将例如每个帧的变化量(细度信息)与两个预定阈值进行比较。显示类型确定单元93根据比较结果来确定低分辨率/普通显示速率类型C1、普通类型C2、或普通分辨率/低显示速率类型C3作为帧的显示类型。
图32是作为变化量的细度信息和由显示类型确定单元93(图6)根据变化量而以帧为单位所确定的以帧为单位的显示类型的曲线图。
在图32中，横坐标表示帧，纵坐标表示变化量。
显示类型确定单元93将以帧为单位的变化量(细度信息)与阈值L和阈值H中的一个进行比较，其中L＜H。显示类型确定单元93确定普通分辨率/低显示速率类型C3作为细度信息等于或大于阈值H的帧，即细度信息表示空间变化程度很大的帧的显示类型，其中普通分辨率/低显示速率类型C3是高分辨率/低显示速率类型中的一种。
当在编辑中执行的拖放中以低分辨率对例如具有较大空间变化程度的帧、即在像素值中有较大变化的图像(复杂图像)的帧进行显示时，图像中的空间变化倾向于被遗漏。因此，希望以高分辨率来显示复杂图像的帧。
然而，显示具有高分辨率的复杂图像的处理负担要大于显示不复杂的图像例如平坦图像的处理负担。
因此，尽管以高分辨率来显示复杂图像的帧，但也可以采用普通分辨率/低显示速率类型C3来取代高分辨率，其中普通分辨率/低显示速率类型C3是一种以低显示速率显示图像的高分辨率/的显示速率类型。当以低显示速率显示图像时，相对于以高显示速率显示图像的情况，处理的负担较小。因此，对于复杂图像的帧来说，可通过以低显示速率显示具有高分辨率的图像来减少用于拖放的设备的负担，同时避免编辑过程中遗漏图像中的空间变化。
另一方面，显示类型确定单元93确定低分辨率/普通显示速率类型C1作为细度信息小于阈值L的帧，即所述细度信息表示空间变化程度很小的帧的显示类型，其中低分辨率/普通显示速率类型C1以低于普通分辨率/低显示速率类型C3的分辨率的分辨率并且以高于普通分辨率/低显示速率类型C3的显示速率的普通速率显示图像。
对于空间变化程度很小的帧，即平坦图像的帧，即使以高分辨率显示图像，图像的细节也不会比采用低分辨率显示图像的细节看上去有很大差异。
当采用这种方式用高分辨率和用低分辨率显示图像时图像的细节看上去差别不大时，如果用高分辨率显示图像，可以说对进行拖放的设备增加了额外的负担。
因此，确定低分辨率/普通显示速率类型C1作为平坦图像的帧的显示类型，其中低分辨率/普通显示速率类型C1以低于普通分辨率/低显示速率类型C3的分辨率并且以高于普通分辨率/低显示速率类型C3的显示速率的普通速率显示图像。这使得避免为进行拖放的设备增加额外的负担。
显示类型确定单元93确定普通类型C2作为除了细度信息等于或大于阈值H的帧以及细度信息小于阈值L的帧以外的帧、即细度信息等于或大于阈值L并且小于阈值H的帧的显示类型。
换句话说，用于以普通速率(与运动图像的帧速率相同的显示速率)和普通分辨率来显示图像的普通类型C2被确定为不那么复杂也不平坦的图像的帧的显示类型。
以下将参照图33和34的流程图来说明图22中显示类型确定单元93在下述情况中的处理，在该情况中，根据作为变化量的细度信息将图31中所示的低分辨率/普通显示速率类型C1、普通类型C2或普通分辨率/低显示速率类型C3确定为显示类型。
当从变化量计算单元92(图6)提供以帧为单位的变化量时，在步骤S121，显示类型确定单元93使存储单元161(图22)高速缓存(临时存储)以帧为单位的变化量。处理进行到步骤S122。
在图33和34中，细度信息作为变化量从变化量计算单元92被提供到显示类型确定单元93。
在步骤S122中，阈值处理单元162执行阈值处理，该阈值处理用于将存储在存储单元161中的以帧为单位的变化量(细度信息)与阈值H或L进行比较。阈值处理单元162以帧为单位将比较信息提供给连续性判断单元163，其中比较信息表示以帧为单位的变化量与阈值H或L的比较结果。处理进行到步骤S123。
在步骤S123，连续性判断单元163从形成运动图像的帧中选择没有设置成感兴趣帧的按时间序列的开头帧作为感兴趣帧，Fy文件创建单元76(图6)将为其创建Fy文件。处理进行到步骤S124。
在步骤S124中，连续性判断单元163根据来自阈值处理单元162的比较信息判断感兴趣帧内的变化量是否小于阈值L，以及变化量小于阈值L的帧是否以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后。
当在步骤S124中判断出感兴趣帧内的变化量小于阈值L，并且变化量小于阈值L的帧以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后时，连续性判断单元163将表示判断结果的判断信息提供给确定单元164。处理进行到步骤S125。
在步骤S125中，确定单元164根据来自连续性判断单元163的判断信息将低分辨率/普通显示速率类型C1确定为感兴趣帧的显示类型。处理到步骤S130。
根据步骤S124和S125，当感兴趣帧内的变化量小于阈值L，并且此外变化量小于阈值L的帧以帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后时，将低分辨率/普通显示速率类型C1确定为感兴趣帧的显示类型。这种确定基于以下原因。
当在拖放中，在图31所示的低分辨率/普通显示速率类型C1、普通类型C2、以及普通分辨率/低显示速率类型C3中确定显示类型时，为具有低分辨率/普通显示速率类型C1的帧显示具有低分辨率的图像。换句话说，通过处理具有较小数据量(相对于主数据的数据量)的代理数据来显示图像。
另一方面，对于具有普通类型C2和普通分辨率/低显示速率类型C3的帧，显示具有高分辨率的图像。换句话说，通过处理具有较大数据量(相对于代理数据的数据量)的主数据的图像数据来显示图像。
例如，当光盘7(图1)是记录有主数据和代理数据的专业盘时，使用记录在光盘7中的主数据或代理数据执行拖放。接下来，如参照图23中所说明的情况，在形成运动图像的按时间序列的帧中，当具有使用代理数据来显示图像的低分辨率/普通显示速率类型C1的帧和具有使用主数据来显示图像的普通类型C2或普通分辨率/低显示速率类型C3的帧频繁切换时，频繁执行查找。因此，可能难于平滑地执行通过操作拖放条53(图3)而指定的帧的显示。
为了避免频繁进行查找，需要避免在具有使用代理数据来显示图像的低分辨率/普通显示速率类型C1的帧和具有使用主数据来显示图像的普通类型C2或普通分辨率/低显示速率类型C3的帧之间频繁地进行切换。
另一方面，在普通类型C2的帧和普通分辨率/低显示速率类型C3的帧中，使用主数据来显示图像。因此，对于在普通类型C2的帧和普通分辨率/低显示速率类型C3的帧之间进行的切换，查找不成问题。
因此，在图33和34中，在帧至少以最小极限帧数N连续出现的区间中，避免引起在具有使用代理数据显示图像的显示类型(低分辨率/普通显示速率类型C1)的帧和具有使用主数据显示图像的显示类型(普通类型C2或普通分辨率/低显示速率类型C3)的帧之间的切换。为此，在步骤S124和S125中，当感兴趣帧内的变化量小于阈值L，并且变化量小于阈值L的帧以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后时，将使用代理数据显示图像的低分辨率/普通显示速率类型C1确定为感兴趣帧的显示类型。
进一步地，在帧至少以最小极限帧数N连续出现的区间中，避免引起使用代理数据显示图像的显示类型的帧和具有使用主数据显示图像的显示类型的帧之间的切换。为此，在此后描述的步骤S126至S129中，当感兴趣帧内的变化量等于或大于阈值L，并且变化量等于或大于阈值L的帧以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后时，将使用主数据显示图像的普通类型C2或普通分辨率/低显示速率类型C3确定为感兴趣帧的显示类型。
当在步骤S124中判断出感兴趣帧内的变化量不小于阈值L，或者即使感兴趣帧内的变化量小于阈值L，但变化量小于阈值L的帧没有以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、以及之前和之后时，处理进行到步骤S126。连续性判断单元163根据来自阈值处理单元162的比较信息判断感兴趣帧内的变化量是否等于或大于阈值L，以及变化量等于或大于阈值L的帧是否以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后。
当在步骤S126中判断感兴趣帧内的变化量等于或大于阈值L，并且变化量等于或大于阈值L的帧以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后时，连续性判断单元163将表示判断结果的判断信息提供给确定单元164。处理进行到步骤S127。
确定单元164从连续性判断单元163接收提供的判断信息，该判断信息所表示的判断结果是感兴趣帧内的变化量等于或大于阈值L，并且变化量等于或大于阈值L的帧以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后。接着，在步骤S127中，确定单元164根据来自阈值处理单元162的比较信息确定感兴趣帧内的变化量是否等于或大于阈值H。
当在步骤S127中判断感兴趣帧内的变化量等于或大于阈值H时，处理进行到步骤S128。确定单元164确定普通分辨率/低显示速率类型C3作为感兴趣帧的显示类型。处理进行到步骤S130。
当在步骤S127中判断感兴趣帧内的变化量不等于或大于阈值H时，即当感兴趣帧内的变化量等于或大于阈值L并小于阈值H时，处理进行到步骤S129。确定单元164确定普通类型C2作为感兴趣帧的显示类型。处理进行到步骤S130。
根据步骤S126至S129，当感兴趣帧内的变化量等于或大于阈值L，并且变化量等于或大于阈值L的帧以帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后时，将使用主数据显示图像的普通分辨率/低显示速率类型C3或普通类型C2作为感兴趣帧的显示类型。这是为了避免在执行如上所述的拖放时频繁地进行查找。
在步骤S130中，连续性判断单元163判断在形成运动图像的帧中是否存在仍没有被选作为感兴趣帧的帧，其中，Fy文件创建单元76(图6)将为所述感兴趣帧创建Fy文件。
当在步骤S130中断定仍存在没有被选作为感兴趣帧的帧时，处理返回到步骤S123。新选择没被选作感兴趣帧的帧作为感兴趣帧。重复相同的处理。
当在步骤S130中判断不存在没被选作感兴趣帧的帧时，显示类型确定单元93结束处理。
另一方面，当在步骤S126中判断感兴趣帧内的变化量不等于或大于阈值L，或者，即使感兴趣帧内的变化量等于或大于阈值L，但变化量等于或大于阈值L的帧没有以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、以及之前与之后时，处理进行到图34中的步骤S151。连续性判断单元163判断变化量跨越阈值L的帧是否以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后。
当感兴趣帧内的变化量小于阈值L，并且变化量小于阈值L的帧以帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后时，在图33的步骤S125中，将低分辨率/普通显示速率类型C1确定为感兴趣帧的显示类型。
当感兴趣帧内的变化量等于或大于阈值L，并且变化量等于或大于阈值L的帧以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后时，在图33的步骤S128或S129中，将普通分辨率/低显示速率类型C3或普通类型C2确定为感兴趣帧的显示类型。
因此，当变化量小于阈值L的帧没有以帧数N或更多帧、以及变化量等于或大于阈值L的帧没有以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、以及之前与之后时，执行图34中的步骤S151。这种情况是这样一种情况，其中感兴趣帧是位于出现变化量跨越阈值L的帧的区间(混合有变化量小于阈值L的帧以及变化量等于或大于阈值L的帧的区间)，以及其中变化量小于阈值L的连续帧的数量以及变化量等于或大于阈值L的连续帧的数量至多小于最小极限帧数N的区间(此后也被适当地称为混合区间)中的帧。
如图25所说明的情况，混合区间典型地出现在其中变化量小于阈值L的帧以帧数N或更多连续出现的区间(此后也适当地称为小变化量区间)以及变化量等于或大于阈值L的帧以最小极限帧数N或更多帧连续出现的区间(此后也适当地称为大变化量区间)之间，或出现在两个大变化量区间之间，或两个小变化量区间之间。
因此，混合区间可分割成区间长度(帧数)等于或大于最小极限帧数N的区间和区间长度小于最小极限帧数N的区间。
也可以将混合区间分割成在大变化量区间和小变化量区间之间的区间、在大变化量区间之间的区间、以及在小变化量区间之间的区间。
在步骤S151中，连续性判断单元163判断变化量跨越阈值L的帧是否以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后，即出现感兴趣帧的混合区间是否是区间长度等于或大于最小极限帧数N的区间。
当在步骤S151中判断变化量跨越阈值L的帧以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、或之前与之后时，处理进行到步骤S152。确定单元164在使用主数据来显示图像的显示类型中确定例如普通类型C2作为感兴趣帧的显示类型。处理进行到图33中的步骤S130。此后，执行以上所描述的处理。
对于其中变化量跨越阈值L的帧以最小极限帧数N或更多连续出现的混合区间中的帧，确定使用(充当)主数据(的图像数据)显示图像的显示类型或使用(充当)代理数据(的图像数据)显示图像的显示类型作为所有帧的显示类型。这使得可以避免频繁进行查找。
因此，在图34中，例如将使用主数据显示图像的显示类型中的普通类型C2确定为混合区间中的帧的所有显示类型，其中在所述混合区间中变化量跨越阈值L的帧以最小极限帧数N或更多连续出现。
除此之外，例如可将使用代理数据显示图像的低分辨率/普通显示速率类型C1确定为混合区间中帧的显示类型，其中在所述混合区间中变化跨越阈值L的帧以最小极限帧数N或更多连续出现。
另一方面，当在步骤S151中判断具有跨越阈值L的变化量的帧没有以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、以及之前和之后时，即当其中出现了感兴趣帧的混合区间(感兴趣混合区间)是区间长度小于最小极限帧数N的区间时，处理进行到步骤S153。连续性判断单元163判断在感兴趣混合区间左边的时间上在前的帧中邻接于感兴趣混合区间的帧(左帧)的变化量和在感兴趣混合区间右边的时间上的在后的帧中邻接于感兴趣混合区间的帧(右帧)的变化量中的一个是否小于阈值L，而另一个是否等于或大于阈值L。换句话说，连续性判断单元163判断区间长度小于最小极限帧数N的感兴趣混合区间是否是位于大变化量区间和小变化量区间之间的区间。
当在步骤S153中判断区间长度小于最小极限帧数N的感兴趣混合区间是位于大变化量区间和小变化量区间之间的区间时，处理进行到步骤S152。如上所述，确定单元164将普通类型C2确定为感兴趣帧的显示类型。处理进行到图33中的步骤S130。此后，进行如上所述的处理。
位于区间长度小于最小极限帧数N的感兴趣混合区间两边的大变化量区间和小变化量区间二者都是区间长度等于或大于最小极限帧数N的区间。此外，确定使用主数据显示图像的显示类型(普通类型C2或普通分辨率/低显示速率类型C3)作为大变化量区间中的帧的显示类型。确定使用代理数据显示图像的显示类型(低分辨率/普通显示速率类型C1)作为小变化量区间中的帧的显示类型。
对于在大变化量区间和小变化量区间之间的、区间长度小于最小极限帧数N的感兴趣混合区间中的帧，显示类型与大变化量区间中的帧的显示类型或小变化量区间中的帧的显示类型相同。这使得可以避免频繁进行查找。
因此，在图34中，例如将使用主数据显示图像的显示类型中的普通类型C2确定为感兴趣混合区间中的帧的所有显示类型，其中所述感兴趣混合区间位于大变化量区间和小变化量区间之间，并且在该感兴趣混合区间中变化量跨越阈值L的帧少于最小极限帧数N。
除此之外，例如可将小变化量区间中的帧显示类型，即使用代理数据显示图像的低分辨率/普通显示速率类型C1，确定为感兴趣混合区间中帧的显示类型，其中所述混合区间在大变化量区间和小变化量区间之间，并且在该感兴趣混合区间中变化量跨越阈值L的帧少于最小极限帧数N。
另一方面，当在步骤S153中判断区间长度小于最小极限帧数N的感兴趣混合区间不是在大变化量区间和小变化量区间之间的区间时，处理进行到步骤S154。连续性判断单元163判断在区间长度小于最小极限帧数N的感兴趣混合区间左边在时间上在前的帧中邻接于感兴趣混合区间的帧(左帧)的变化量以及在感兴趣混合区间右边在时间上在后的帧中邻接于感兴趣混合区间的帧(右帧)的变化量二者是否都小于阈值L。换句话说，连续性判断单元163判断区间长度小于最小极限帧数N的感兴趣混合区间是否是在小变化量区间之间的区间。
当在步骤S154中判断区间长度小于最小极限帧数N的感兴趣混合区间不是在大变化量区间之间的区间时，即当区间长度小于最小极限帧数N的感兴趣混合区间是在大变化量区间之间的区间时，处理进行到步骤S152。如上所述，确定单元164将大变化量区间中的帧的显示类型，即例如使用主数据显示图像的显示类型中的普通类型C2确定为感兴趣帧的显示类型。处理进行到图33中的步骤S130。此后，进行如上所述的处理。
换句话说，对于在两个小变化量区间之间的、区间长度小于最小极限帧数N的感兴趣混合区间中的帧，显示类型与被确定作为两个小变化量区间中的帧的显示类型的、使用主数据显示图像的显示类型相同。这使得可以避免频繁进行查找。
另一方面，当在步骤S154中判断区间长度小于最小极限帧数N的感兴趣混合区间是在小变化量区间之间的区间时，处理进行到步骤S155。确定单元164将例如使用代理数据显示图像的低分辨率/普通显示速率类型C1确定为感兴趣帧的显示类型。处理进行到图33中的步骤S130。此后，进行如上所述的处理。
换句话说，对于在两个大变化量区间之间的、区间长度小于最小极限帧数N的感兴趣混合区间中的帧，显示类型与被确定作为两个大变化量区间中的帧的显示类型的、使用代理数据显示图像的低分辨率/普通显示速率类型C1相同。这使得可以避免频繁进行查找。
图35是示出了当由图6中的变化量计算单元92将运动信息和细度信息计算为变化量、显示类型确定单元93确定基于运动信息的显示类型和基于细度信息的显示类型、并且由选择单元94选择变化量和显示类型时，由图6中的文件创建单元95创建的Fy文件的示例的图。
在图35中的Fy文件中，从左到右，连续排列有表示从顶端开始的帧的位置的帧数、对应于该帧数的帧的时间码、充当对应于帧数的帧中的变化量动信息和细度信息、以及基于对应于帧数的帧的运动信息的显示类型和基于帧的细度信息的显示类型。
图36是示出了当由图6中的变化量计算单元92计算运动信息和细度信息计算作为变化量并且选择单元94仅选择变化量时由图6中的文件创建单元95创建的Fy文件的示例的图。
在图36中的Fy文件中，从左到右，连续排列有表示从顶端开始的帧的位置的帧数、对应于该帧数的帧的时间码、以及作为对应于帧数的帧中的变化量的运动信息和细度信息。
图37是示出了当由图6中的变化量计算单元92计算运动信息和细度信息作为变化量、显示类型确定单元93确定基于运动信息的显示类型和基于细度信息的显示类型、并且选择单元94仅选择显示类型时由图6中的文件创建单元95创建的Fy文件的示例的图。
在图37中的Fy文件中，从左到右，连续排列有表示从顶端开始的帧的位置的帧数、对应于该帧数的帧的时间码、以及基于对应于帧数的帧的运动信息的显示类型和基于帧的细度信息的显示类型。
在上述情况中，根据运动信息或细度信息确定显示类型。然而，也可根据运动信息和细度信息二者来确定显示类型。
图38是示出了由图6中的显示类型确定单元93确定的显示类型的另一例子的图。
在图38中，有四种类型作为显示类型，即表示以静态图像显示的静态图像类型VC1、和普通类型VC2、其中的显示帧的分辨率和显示帧的显示速率不同的高显示速率/低分辨率类型VC3和普通显示速率/低分辨率类型VC4。
对于静态图像类型VC1的帧，就像图20中的静态图像类型V1，即使改变要被显示的帧，只要可以把要被显示的帧的图像看作是与在该图像紧接之前显示的帧(的图像)相同的图像，就可以显示在该图像紧接之前显示的帧(的图像)(持续显示)。
对于普通图像类型VC2的帧，如图20中的普通类型V2，以与运动图像的帧速率相同的显示速率(普通速率)和与作为主数据的图像数据的分辨率相同的分辨率(普通分辨率)来显示图像。
对于高显示速率/低分辨率类型VC3的帧，如图20中的高显示速率/低分辨率类型V3，以高于普通速率的显示速率，例如普通速率两倍的显示速率，以及以与作为代理数据的图像数据的分辨率(低于作为主数据的图像数据的分辨率)相同的分辨率来显示图像。
对于普通显示速/低分辨率类型VC4的帧，以普通速率的显示速率和与作为代理数据的图像数据的分辨率相同的分辨率(低于作为主数据的图像数据的分辨率)来显示图像。
高显示速率/低分辨率类型VC3和普通显示速率/低分辨率类型VC4的区别仅在于，相对于在高显示速率/低分辨率类型VC3中以高于普通速率的显示速率来显示图像，在普通显示速率/低分辨率类型VC4中以普通速率(的显示速率)来显示图像。
当具有四种类型作为显示类型，即图38所示的静态图像类型VC1、普通类型VC2、高显示速率/低分辨率类型VC3、和普通显示速率/低分辨率类型VC4时，变化量计算单元92(图6)计算运动信息和细度信息作为变化量。显示类型确定单元93(图6)根据运动信息和细度信息二者，将运动信息与两个阈值进行比较，并将细度信息与一个阈值进行比较。显示类型确定单元93根据比较结果来确定静态图像类型VC1、普通类型VC2、高显示速率/低分辨率类型VC3、或普通显示速率/低分辨率类型VC4作为帧的显示类型。
图39是作为以帧为单位的变化量的运动信息和细度信息、和由显示类型确定单元93(图6)根据运动信息和细度信息以帧为单位所确定的显示类型的曲线图。
图39上半部分中的曲线图表示以帧为单位的运动信息，图39下半部分中的曲线图表示以帧为单位的细度信息。
在图39中，横坐标表示帧，纵坐标表示变化量(运动信息和细度信息)。
显示类型确定单元93(图6)将以帧为单位的运动信息与阈值L和H中的一个进行比较，其中L＜H。可以说，显示类型确定单元93根据比较结果确定临时的显示类型(临时确定一种显示类型)。
例如，通过参考图20至25所说明的情况中的相同方式，显示类型确定单元93根据帧的运动信息将图20中所示的静态图像类型V1、普通类型V2、或高显示速率/低分辨率类型V3确定为帧的临时显示类型(临时确定一种显示类型)。
因此，如参考图20至25所说明的，大概说来，将静态图像类型V1、普通类型V2、和高显示速率/低分辨率类型V3分别临时确定为运动信息小于阈值L的帧的显示类型、运动信息等于或大于阈值L但小于阈值H的帧的显示类型、以及运动信息等于或大于阈值H的帧的显示类型。
显示类型确定单元93(图6)将以帧为单位的细度信息与预定阈值K进行比较。显示类型确定单元93根据比较结果和根据运动信息临时确定的临时显示类型，最终确定图38中所示的静态图像类型VC1、普通类型VC2、高显示速率/低分辨率类型VC3、或普通显示速率/低分辨率类型VC4作为帧的显示类型。
显示类型确定单元93最终确定静态图像类型VC1和高显示速率/低分辨率类型VC3分别作为临时显示类型是静态图像类型V1的帧的显示类型和临时显示类型是高显示速率/低分辨率类型V3的帧的显示类型。
显示类型确定单元93最终确定普通类型VC2作为细度信息等于或大于阈值K的帧，即帧中的不被当作是平坦图像的图像的帧的显示类型，该帧的临时显示类型是普通类型V2。此外，显示类型确定单元93最终确定普通显示速率/低分辨率类型VC4作为细度信息小于阈值K的帧，即帧中的平坦图像的帧的显示类型，该帧的临时显示类型是普通类型V2。
临时显示类型是普通类型V2的帧是具有一定程度的运动的帧，但不是很大的动作。细度信息小于阈值K的帧是平坦图像的帧。因此，在帧当中，临时显示类型是普通类型V2且细度信息小于阈值K的帧是平坦图像的帧，但是具有一定程度的运动。
即使图像具有一定程度的运动，但只要图像是平坦的，当以低分辨率显示图像时，图像中的空间变化将不会被遗漏。当在拖放中以低分辨率显示图像时，可减少用于拖放的设备的负担。
因此，对于临时显示类型是普通类型V2且具有一定程度的运动的帧，原则上，将以普通分辨率显示图像的普通类型VC2确定为显示类型。然而，只要细度信息小于阈值K，将以低于普通分辨率的分辨率显示图像的普通显示速率/低分辨率类型VC4最终确定为显示类型。
在图39中，最终确定普通显示速率/低分辨率类型VC4作为区间DP中的帧的显示类型，所述帧的细度信息小于阈值K且其根据运动信息的临时显示类型是普通类型V2。
根据以帧为单位的运动信息和细度信息，将图38中所示的静态图像类型VC1、普通类型VC2、高显示速率/低分辨率类型VC3、或普通显示速率/低分辨率类型VC4被最终确定为显示类型。此后适当的将这种显示类型称为最终显示类型。
以下将参照图40的流程图来说明这样一种情况下的图22中的显示类型确定单元93的处理，在该情况下，根据运动信息和细度信息二者将图38中所示的静态图像类型VC1、普通类型VC2、高显示速率/低分辨率类型VC3、或普通显示速率/低分辨率类型VC4确定为显示类型(最终显示类型)。
变化量计算单元92(图6)计算运动信息和细度信息作为变化量，并将运动信息和细度信息提供给显示类型确定单元93。
在步骤S181，如图23和24所说明的，显示类型确定单元93根据来自变化量计算单元92(图6)的以帧为单位的运动信息确定基于该运动信息的显示类型(临时的显示类型)。处理进行到步骤S182。
在步骤S182中，显示类型确定单元93使存储单元161(图22)高速缓存变化量计算单元92提供的以帧为单位的细度信息。处理进行到步骤S183。
在步骤S183中，阈值处理单元162(图22)执行阈值处理，用于将存储在存储单元161中的以帧为单位的细度信息与阈值K进行比较。阈值处理单元162将比较信息以帧为单位提供给连续性判断单元163，其中比较信息表示以帧为单位的细度信息与阈值K的比较结果。处理进行到步骤S184。
在步骤S184，连续性判断单元163(图22)从形成运动图像的帧中选择还没有设置成感兴趣帧的按时间序列的开头帧作为感兴趣帧，Fy文件创建单元76(图6)将为其创建Fy文件。连续性判断单元163将感兴趣帧的信息提供给确定单元164(图22)。处理进行到步骤S185。
在步骤S185中，确定单元164判断基于感兴趣帧的运动信息的显示类型(在步骤S181确定的临时显示类型)是否是静态图像类型V1。
当在步骤S185中判断出基于感兴趣帧的运动信息的显示类型是静态图像类型V1时，处理进行到步骤S186。确定单元164最终确定静态图像类型VC1作为感兴趣帧的最终显示类型(基于感兴趣帧的运动信息和细度信息的显示类型)。处理进行到步骤S193。
当在步骤S185中判断出基于感兴趣帧的运动信息的显示类型不是静态图像类型V1时，处理进行到步骤S187。确定单元164判断基于感兴趣帧的运动信息的显示类型是否是高显示速率/低分辨率类型V3。
当在步骤S187中判断出基于感兴趣帧的运动信息的显示类型是高显示速率/低分辨率类型V3时，处理进行到步骤S188。确定单元164最终确定高显示速率/低分辨率类型V3作为感兴趣帧的最终显示类型。处理进行到步骤S193。
当在步骤S187中判断出基于感兴趣帧的运动信息的显示类型不是高显示速率/低分辨率类型V3时，即当基于感兴趣帧的运动信息的显示类型时普通类型V2时，处理进行到步骤S189。连续性判断单元163(图22)根据来自阈值处理单元162的比较信息判断感兴趣帧的细度信息是否小于阈值K并判断细度信息小于阈值K的帧是否以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、或紧接之后、或之前和之后，其中所述感兴趣帧的基于运动信息的显示类型是普通类型V2。
当在步骤S189中判断出感兴趣帧内的细度信息不小于阈值K，或者即使感兴趣帧的细度信息小于阈值K，但具有细度信息的帧没有以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、以及之前与之后时，连续性判断单元163将表示判断结果的判断信息提供给确定单元164(图22)。处理进行到步骤S190。
确定单元164(图22)从连续性判断单元163接收提供的判断信息，该判断信息所表示的判断结果是感兴趣帧内的细度信息不小于阈值K，并且细度信息小于阈值K的帧没有以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后、以及之前与之后。接着，在步骤S190中，确定单元164最终将普通类型VC2确定为感兴趣帧的最终显示类型，其基于运动信息的显示类型是普通类型V2。处理进行到步骤S193。
当在步骤S189中判断出感兴趣帧内的细度信息小于阈值K，并且细度信息小于阈值K的帧以最小极限帧数N或更多连续出现在感兴趣帧紧接之前、紧接之后或之前与之后时，处理进行到步骤S191。当将帧以最小极限帧数N或更多连续出现在细度信息小于阈值K的感兴趣帧紧接之前、紧接之后、或之前和之后的区间的帧之中的基于动作信息的显示类型是普通V2的帧的显示类型改变成普通显示速率/低分辨率类型VC4时，连续性判断单元163(图22)判断是否存在类型相同的连续帧的数量小于最小极限帧数N的区间。
例如，在图39中，区间DP是细度信息小于阈值K的以帧最小极限帧数N或更多连续出现的区间。在这种情况下，在步骤S191，当将区间DP的帧之中基于运动信息的显示类型是普通类型V2的帧的显示类型改变成普通显示速率/低分辨率类型VC4时，判断在相同显示类型的帧以显示类型的时间序列连续区间中是否存在类型相同的连续帧的数量小于最小极限帧数N的区间。显示类型基于最终为运动图像获得的运动信息和细度信息，其中将为该运动图像创建Fy文件。
当在步骤S191中判断当在将以最小极限帧数N或更多个帧连续出现在细度信息小于阈值K的感兴趣帧紧接之前、紧接之后、或之前和之后的帧的区间的帧当中的基于运动信息的显示类型是普通类型V2的帧显示类型改变成普通显示速率/低分辨率类型VC4时，存在这种具有相同类型的连续帧的数量小于最小极限帧数N的区间，即当如果把基于运动信息的显示类型是普通类型V2感兴趣帧的最终显示类型，改变成普通显示速率/低分辨率类型VC4则可能频繁进行查找时，处理进行到步骤S190。如上所述，确定单元164(图22)最终将普通类型VC2确定为基于普通类型V2的显示类型是运动信息的感兴趣帧的最终显示类型。处理进行到步骤S193。
当在步骤S191中判断在将帧以最小极限帧数N或更多连续出现在细度信息小于阈值K的感兴趣帧紧接之前、紧接之后、或之前和之后的区间的帧之中的基于运动信息的显示类型是普通类型V2的帧的显示类型改变成普通显示速率/低分辨率类型VC4，不存在这种具有相同类型的连续帧的数量小于最小极限帧数N的区间时，处理进行到步骤S192。确定单元164(图22)最终将普通显示速率/低分辩率类型VC4确定为基于运动信息的显示类型是普通类型V2的感兴趣帧的最终显示类型。处理进行到步骤S193。
当在拖放中，在如图38所示的静态图像类型VC1、普通类型VC2、高显示速率/低分辨率类型VC3和普通显示速率/低分辨率类型VC4中确定显示类型(最终显示类型)时，对于静态图像类型VC1的帧和普通类型VC2的帧，显示具有高分辨率的图像(具有普通分辩率的图像)。换句话说，通过处理具有较大数据量(相对于代理数据的数据量)的主数据的图像数据来显示图像。
对于高显示速率/低分辨率类型VC3的帧和普通显示速率/低分辨率类型VC4的帧，显示具有低分辨率的图像。换句话说，通过处理具有较小数据量(相对于主数据的数据量)的代理数据的图像数据来显示图像。
例如，当光盘7(图1)是记录有主数据和代理数据的专业盘时，使用记录在光盘7中记录的主数据或代理数据执行拖放。接下来，如参照图23中所说明的情况，在形成运动图像的按时间序列的帧中，当具有使用代理数据来显示图像的高显示速率/低分辨率类型VC3或普通显示速率/低分辨率类型VC4的帧和具有使用主数据来显示图像的静态图像类型VC1或普通类型VC2的帧频繁切换时，频繁执行查找。因此，可能难于平滑地执行通过操作拖放条53(图3)而指定的帧的显示。
为了避免频繁进行查找，需要避免在具有使用代理数据来显示图像的高显示速率/低分辨率类型VC3或普通显示速率/低分辨率类型VC4的帧和具有使用主数据来显示图像的静态图像类型VC1或普通类型VC2的帧之间进行频繁地切换。
因此，在图40中，在步骤S190至S192中，将普通显示速率/低分辨率类型VC4确定为仅在以下情况中基于运动信息的显示类型是普通类型V2的感兴趣帧的最终显示类型。也就是说，即使将帧以最小极限帧数N或更多连续出现在细度信息小于阈值K的感兴趣帧紧接之前、紧接之后、或之前和之后的区间的帧之中的基于运动信息的显示类型是普通类型V2的帧的显示类型，改变成普通显示速率/低分辨率类型VC4时，也不存在具有相同类型的连续帧的数量小于最小极限帧数N的区间。在另一种情况中(当存在具有相同类型(最终显示类型)的连续帧的数量小于最小极限帧数N的区间时)，将普通类型V2确定为基于运动信息的显示类型是普通类型VC2的感兴趣帧的最终显示类型。
在步骤S193中，连续性判断单元163判断在形成运动图像的帧中是否存在仍没有被选作为感兴趣帧的帧，其中，Fy文件创建单元76(图6)将为所述感兴趣帧创建Fy文件。
当在步骤S193中判断仍存在没有被选作为感兴趣帧的帧时，处理返回到步骤S184。新选择没被选作感兴趣帧的帧作为感兴趣帧。重复相同的处理。
当在步骤S193中判断不存在仍未被选作感兴趣帧的帧时，显示类型确定单元93结束处理。
图41是示出了当由图6中的变化量计算单元92计算运动信息和细度信息计算作为变化量、显示类型确定单元93确定基于运动信息和细度信息的显示类型(最终显示类型)、由选择单元94选择变化量和显示类型时由图6中的文件创建单元95创建的Fy文件的示例的图。
在图41中的Fy文件中，从左到右，连续排列有表示从顶端开始的帧的位置的帧数、对应于帧数的帧的时间码、作为对应于帧数的帧中的变化量的运动信息和细度信息、以及基于对应于帧数的帧的运动信息和细度信息的显示类型(最终显示类型)。
图42是示出了图1中的驱动器5的结构的示例的图。
驱动器5包括记录单元/再现单元181、解码器182、Fy文件创建单元183、和外部I/F 184。
记录单元/再现单元181将从外部I/F 184提供的数据(文件)和从Fy文件创建单元183提供的Fy文件写(记录)到光盘7上。记录单元/再现单元181从光盘7读出数据，并将该数据提供给解码器182或外部I/F 184。
解码器182对从记录单元/再现单元181提供的数据进行解码，并将该数据提供给Fy文件创建单元183。
Fy文件创建单元183具有与图4中的Fy文件创建单元76相同的结构。Fy文件创建单元183从解码器182提供的数据创建作为元文件的Fy文件，并将Fy文件提供给记录单元/再现单元81。
外部I/F 184接收从记录单元/再现单元181提供的数据，并将该数据输出到外部。外部I/F 184接收从外部提供的数据，并将该数据提供给记录单元/再现单元181。
在如上述所构成的驱动器5中，记录单元/再现单元181根据例如用户的操作，将通过外部I/F 184提供的数据记录到光盘7中。记录单元/再现单元181读出记录在光盘7中的数据，并通过外部I/F 184将该数据输出到外部。
例如，当光盘7是记录有存储了主数据和代理数据的AV文件和存储了元数据的元文件的专业盘时，例如当光盘7插入到驱动器5中时或者根据用户的操作，在驱动器5中，记录单元/再现单元181检查光盘7所记录的元文件中是否存在Fy文件。
当光盘7中没有记录Fy文件时，记录单元/再现单元181从光盘7中读出作为主数据的图像数据来获取该图像数据，并将该图像数据提供给解码器182。
例如以参照图5所说明的MPEG2系统，对记录在光盘7中的作为主数据的图像数据进行编码。因此，解码器182对来自MPEG2系统中的记录单元/再现单元181的主数据进行解码，并将作为解码结果所获得的图像数据提供给Fy文件创建单元183。
Fy文件创建单元183采用与图4中的Fy文件创建单元76相同的方式，创建作为元文件的Fy文件，所述元文件具有来自解码器182的图像数据(记录在光盘7中的图像数据)的元数据。
Fy文件创建单元183计算来自解码器182的图像数据的每一帧的变化量。此外，如果需要的话，Fy文件创建单元183根据帧内的变化量确定显示类型。Fy文件创建单元183创建存有以帧为单位的变化量和显示类型之一或两者的Fy文件，并将该Fy文件提供给记录单元/再现单元181。
记录单元/再现单元181将从Fy文件创建单元183提供的Fy文件记录到光盘7中。
在图42的驱动器5中，例如，从外部将通过对图像数据以MPEG2系统进行编码而获得的编码比特流提供给外部I/F 184，并且记录单元/再现单元181将从外部I/F 184提供的编码比特流(的文件)记录在光盘7中。在这种情况下，Fy文件创建单元183可以在编码比特流的记录结束之后，创建如上所述的Fy文件。作为替换方案，记录单元/再现单元181将从外部I/F 184提供的编码比特流提供给解码器182，并使解码器182对编码比特流进行解码并将解码的比特流提供给Fy文件创建单元183。因此，Fy文件创建单元183可与向光盘7记录编码比特流并行地创建Fy文件。
不特别限定用于计算帧内的变化量的像素值的种类。当像素值包括亮度信号(Y)和色差信号(Cb，Cr)时，可使用亮度信号或色差信号来计算变化量。然而，由于亮度信号中的变化对人的视觉感应所产生的较大影响要大于色差信号中的变化，因此希望使用亮度信号来计算变化量。
当像素值包括R、G、B颜色成分时，例如可使用颜色成分括R、G、B的平方和等来计算变化量。
作为充当变化量的运动信息，可采用除了参照图11至14所说明的值之外的、在数量上表示运动强度的值。相似地，作为充当变化量的细度信息，可采用除了参照图15至18所说明的值之外的、在数量上表示图像细度的值(例如被称为难度值(difficulty)和平坦度值的值)。
例如，当如参照图42所说明的使用以MPEG2系统编码的图像数据来计算变化量时，可以对通过以MPEG2系统中编码图像数据而获得的编码比特流进行分析(解析)，并使用分析结果计算变化量。
编码比特流中包括运动向量。因此，当如图11和12所说明的那样使用运动向量计算作为变化量的运动信息时，可以对编码比特流进行分析来获得包含在编码比特流中的运动向量，作为分析的结果，并使用运动向量计算运动信息。
通过对8×8像素块进行DCT转换而获得的DCT因子被包含在编码比特流中。因此，当如图15和16所说明的那样使用DCT因子来计算作为变化量的细度信息时，可以对编码比特流进行分析来获得包含在编码比特流中的DCT因子作为分析的结果，并使用DCT因子计算细度信息。
此外，通过对8×8像素块进行DCT转换而获得的DCT因子当中的所谓DC分量，即左上部的DCT因子，是8×8像素块的像素值的平均值。因此，当如图17和18所说明的那样使用块的像素值的平均值来计算作为变化量的细度信息时，可以对编码比特流进行分析来获得包含在编码比特流中的DCT因子当中的DC分量作为分析的结果，并使用DC分量计算细度信息，即块的像素平均值。
图43是示出了当图1中的PC1的CPU 22(图2)执行编辑程序时，作为编辑系统的PC1的功能结构的示例的图。
编辑系统包括键盘2、鼠标3、显示器41、编辑控制单元201、流存储控制单元221和流存储器222。
编辑控制单元201包括GUI控制单元211、流解码位置检测单元212、解码器提供控制单元213、Fy文件管理单元214、显示类型获取单元215、解码器216、Fy文件创建单元217、和显示控制单元218。
GUI控制单元211控制显示控制单元218，从而使显示器41(图2)显示诸如图3所示的取景器51之类的GUI。GUI控制单元211根据用户在显示器41上显示的GUI上对键盘2或鼠标3的操作，接收从键盘2或鼠标3提供的操作信号。GUI控制单元211根据操作信号将必要的信息等提供给流解码位置检测单元212、数据提供控制单元213和显示控制单元218等。
具体地，GUI控制单元211例如根据从键盘2或鼠标3提供的操作信号，将请求帧再现的命令与指定要进行拖放的主数据或代理数据的流(AV文件)的信息以及指定应该在拖放中再现的帧的信息一同提供给流解码位置检测单元212。
此外，GUI控制单元211根据从键盘2或鼠标3提供的操作信息将用于基于变化量确定显示类型的阈值提供给数据提供控制单元213。
流解码位置检测单元212根据来自GUI控制单元211的命令生成帧号和流号，所述帧号被用作为指定要在显示器41上显示的帧的信息，所述流号被用作为指定包括该帧的数据(主数据或代理数据)的流的信息，流解码位置检测单元212将帧号和流号提供给数据提供控制单元213。
数据提供控制单元213对在构成编辑系统的块当中交换的数据进行中继处理等。
具体地，数据提供控制单元213从GUI控制单元211接收例如阈值，并将该阈值提供给Fy文件管理单元214。数据提供控制单元213从流解码位置检测单元212接收例如帧号和流号，并将该帧号和流号提供给显示类型获取单元215和流存储控制单元221。此外，数据提供控制单元213从流存储控制单元221接收例如流(主数据或代理数据)，并将该流提供给解码器216。数据提供控制单元213通过接收Fy文件获取例如从光盘7读出的Fy文件，并将该Fy文件提供给Fy文件管理单元214。此外，数据提供控制单元213接收从Fy文件创建单元217提供的Fy文件，将该Fy文件给光盘7，并使光盘7来记录Fy文件。
Fy文件管理单元214对从数据提供控制单元213提供的Fy文件进行管理(存储)。Fy文件管理单元214通过将存储在Fy文件中的变化量与从数据提供控制单元213提供的阈值进行比较来(再次)确定显示类型。
显示类型获取单元215获取由从数据提供控制单元213提供的帧号(和必要的流号)指定的帧的显示类型，即参考Fy文件管理单元214所管理的Fy文件在显示器41上显示的帧。显示类型获取单元215将显示类型提供给解码器216、显示控制单元218以及其他组成编辑系统所必要的块，如GUI控制单元211。
解码器216包括存储控制单元216A。解码器216对从数据提供控制单元213提供的流(主数据或代理数据)进行解码，并将作为解码结果获得的帧的图像数据(基带的图像数据)提供给Fy文件创建单元217和显示控制单元218。
解码器216对流进行解码，同时使RAM 24(图2)存储解码该流过程中必要的数据。包含在解码器216中的存储控制单元216A控制RAM 24中的数据读出和数据写入。在某些情况下，当显示器41上显示的帧的显示类型是静态图像时，解码器216不进行解码。解码器216通过参考从显示类型获取单元215提供的显示类型，识别显示在显示器41上的帧的显示类型是静态图像类型。
Fy文件创建单元217具有与图6中的Fy文件创建单元76相同的结构。Fy文件创建单元217从解码器216提供的图像数据创建Fy文件，并将该图像数据提供给数据提供单元213。
显示控制单元218根据从GUI控制单元211提供的信息以及Fy文件管理单元214管理的Fy文件等使显示器41显示GUI。显示控制单元218使显示器41采用由从显示类型获取单元215提供的帧的显示类型所表示的显示方法来显示相应于从解码器216提供的帧的图像数据的图像。在显示器41上显示相应于存储在帧缓存器218A中的数据的图像，其中帧缓存器218A充当一部分RAM24(图2)中的存储区域。显示控制单元128将图像数据写入到帧缓存器218A中，从而使显示器41显示相应于图像数据的图像。
流存储控制单元221控制从光盘7和流存储器222中读取和写入流(主数据或代理数据)。流控制单元221从数据提供控制单元213读出解码帧号和流号所指定的帧所必须的流数据(主数据或代理数据)，并将该数据提供给数据提供控制单元213，并且，如果需要的话，提供给流存储器222。
流存储器222是一部分RAM 24(图2)中的存储区域，其存储从流存储控制单元221提供的流数据。流存储控制单元221将从光盘7读出的流数据提供给流存储器222，并使流存储器222存储该数据。流存储控制单元221将已存储在流存储器222中的流数据读出。在从流存储器222读出流数据的过程中，可以与从光盘7读出的速度相比的高速读出数据7。
在如上所述组成的编辑系统中，从光盘7读出Fy文件，并将该文件通过数据提供控制单元213提供给Fy文件管理单元214，并存储于其中。
另一方面，当把拖放中被指定为在显示器41上显示的帧称为感兴趣帧时，显示类型获取单元215通过查阅Fy文件管理单元214所管理(存储)的Fy文件来获取感兴趣帧的显示类型，并将该显示类型提供给显示控制单元218。
解码器216将从光盘7中读出并通过数据提供控制单元213提供给解码器216的数据解码成感兴趣帧的图像数据，并将该图像数据提供给显示控制单元218。显示控制单元218使显示器41以由感兴趣帧的显示类型表示的显示方法来显示相应于感兴趣帧的图像数据的图像。
如上所述，对以帧为单位的变化量和显示类型中的一个或两者进行选择，并存储于Fy文件中。因此，在Fy文件中，同时存有变化量和显示类型，或者存有变化量而不存储显示类型，或者存有显示类型而不存储变化量。
当Fy文件中存储有显示类型时，即当同时存有变化量和显示类型时或当存有显示类型而没存储变化量的时候，可使显示器41使用Fy文件中实际存有的显示类型自身来显示对应于感兴趣帧的图像数据的图像。
当Fy文件中存储有变化量时，即当同时存有变化量和显示类型或存有变化量而没存储显示类型的时候，Fy文件管理单元214可根据存储在Fy文件中的以帧为单位的变化量来确定以帧为单位的显示类型，并使显示器41使用该显示类型来显示相应于感兴趣帧的图像数据的图像。
当光盘7中没有记录Fy文件时，Fy文件创建单元217可创建Fy文件，并将该Fy文件记录在光盘7中。
在本说明中，在图43的编辑系统中，以光盘7中所记录的数据作为对象来进行拖放。除此之外，例如，可以记录在图1的硬盘4和图2的硬盘25中的数据作为对象来进行拖放。
图44是示出了图43中的Fy文件管理单元214和显示类型获取单元215的结构的示例的图。
Fy文件管理单元214包括文件存储单元231、变化量获取单元232、显示类型确定单元233和显示类型写入单元234。
文件存储单元231存储从数据提供控制单元213(图43)提供的Fy文件(中所存储的数据)。
变化量获取单元232通过从存储在文件存储单元231中的Fy文件读出变化量来获取以帧为单位的变化量，并将该变化量提供给显示类型确定单元233。
显示类型确定单元233包括存储单元241、阈值处理单元242、连续性判断单元243和确定单元244。显示类型确定单元233根据从变化量获取单元232提供的以帧为单位的变化量，采用和图22中的显示类型确定单元93相同的方式(再次)确定以帧为单位的显示类型，并将该显示类型提供给显示类型写入单元234。
在显示类型确定单元233中，存储单元241、阈值处理单元242、连续性判断单元243和确定单元244具有分别与图22中的显示类型确定单元93中的存储单元161、阈值处理单元162、连续性判断单元163和确定单元164相同的结构。
与阈值处理单元162相似，阈值处理单元242以帧为单位将变化量与阈值进行比较。然而，通过阈值处理单元242与变化量进行比较的阈值是从图43中的GUI控制单元221通过数据提供控制单元213提供给阈值处理单元242的。
显示类型写入单元234与文件存储单元231中存储的Fy文件(图26)中所存储的帧号和时间码相关联地存有(写有)从Fy文件管理单元214提供的以帧为单位的显示类型。
显示类型获取单元215包括显示类型读出单元251。显示类型读出单元251通过从Fy文件管理单元214所管理的Fy文件中读出显示类型来获取与数据提供控制单元213所提供的感兴趣帧的帧号相关联的显示类型，即所述Fy文件是存储在Fy文件管理单元214的文件存储单元231中的Fy文件。显示类型读出单元251将显示类型提供给图43的解码器216、显示控制单元218等。
在图43的编辑系统所执行的拖放中，根据例如图3所示的拖放条53的拖放拨块54的位置来指定显示器41(之上所显示的取景器51中的显示部分52)上要被显示的帧(感兴趣帧)。
图43中的GUI控制单元211使显示控制单元218显示拖放条53，并将拖放条53的拖放拨块54的位置所指定的帧识别为感兴趣帧。
将参照图45说明拖放拨块54的位置和由该位置指定的帧之间的关系。
图45是示出了拖放条53的图。
在拖放条53中，可将拖放拨块54可移动的水平方向上的一个移动范围(例如水平方向上，大约10至20厘米的的长度范围)分割成与形成被设定为要进行拖放的运动图像(的流)的帧数相同数量的子区间(此后被适当地称为指定区间)。
在图45中，可移动范围被分成F个指定区间。
当将图45中的指定区间的水平方向中的长度(将可移动范围分割成指定区间的宽度)称为区间长度时，将可移动范围分成(相等地分割成)具有相同区间长度的指定区间。
在分割可移动范围的各个指定区间中，按时间序列分配形成被设定成要进行拖放的运动图像的帧，例如以从左边的指定帧到右边的指定帧的方向。因此，当将从可移动范围的左边开始的第i个指定区间称为第i个指定区间，并且将从形成被设置成要进行拖放的运动图像的帧的顶部开始的第i个帧称为第i个帧时，将第i个帧分配给第i个指定区间。
GUI控制单元211检测拖放拨块54在对应于一种显示速率的时刻而在其中被定位的指定区间，其中所述显示速率由拖放拨块54移动紧接之前显示在显示器41上的帧的显示类型指示。GUI控制单元211将分配给该指定区间的帧识别为感兴趣帧。
作为显示类型，采用三种类型，即如图20所示的静态图像类型V1、普通类型V2和高显示速率/低分辨率类型V3。静态图像类型V1和普通类型V2的显示速率例如是30帧/秒。高显示速率/低分辨率类型V3的显示速率例如是60帧/秒。
图46是示出了拖放普通类型V2和高显示速率/低分辩率类型V3的帧时的显示方法的图。
当在拖放拨块54移动紧接之前显示在显示器41上的帧的显示类型是显示速率为30帧/秒的静态图像类型V1或普通类型V2时，GUI控制单元211每隔1/30秒检测拖放拨块54所被定位的指定区间。GUI控制单元211将分配给该指定区间的帧识别为感兴趣帧。因此，当显示类型是普通类型V2时，以1/30秒的间隔更新显示器41上显示的帧(指定帧)，即30帧/秒的显示速率。
当在拖放拨块54移动紧接之前显示在显示器41上的帧的显示类型例如是显示速率为60帧/秒的高显示速率/低分辨率类型V3时，GUI控制单元211每隔1/60秒检测拖放拨块54所被定位的指定区间。GUI控制单元211将分配给该指定区间的帧识别为感兴趣帧。因此，当显示类型是高显示速率/低分辨率类型V3时，以1/60秒的间隔更新显示器41上显示的帧(感兴趣帧)，即60帧/秒的显示速率。
因此，当以例如在1/30秒中以两个指定区间的长度从左移动到右的速度在显示类型为普通类型V2的帧连续的普通区间中移动拖放拨块54时，将每隔一帧，即第i个、第i+2个、第i+4个帧等，设定成间隔1/30秒的感兴趣帧。结果，在显示器41上在丢失帧的状态下以两倍速度显示图像。
例如如同在上述情况中，以在1/30秒内以两个指定区间的长度从左移动到右的速度来移动拖放拨块54，即在1/60秒内以一个区间长度从左移动到右的速度移动拖放拨块54。在这种情况下，在高显示速率/低分辨率类型V3帧连续的高显示速率/低分辩率区间中将每个帧，即第i个、第i+1个、第i+2个帧等，以1/60秒为间隔设定成感兴趣帧。结果，在显示器41上以两倍速度显示图像，而不会丢失帧。
当以高移动速度来移动拖放拨块54，用于进行双倍速度的显示(再现)时，在某些显示类型的帧中发生丢失帧，而在其他显示类型的帧中不发生丢失帧。对于具有相对于普通类型V2而言的高显示速率的高显示速率/低分辨率类型V3的帧，即具有大运动的帧，即使快速移动拖放拨块54，也不容易发生丢失帧。这使得可以防止对于具有大运动的帧遗漏图像中的时间改变。
如上所述，在普通区间中以1/30秒的间隔更新感兴趣帧，而在高显示速率/低分辨率区间中以1/60秒的间隔更新感兴趣帧，其是普通区间中的一半。
因此，解码器216(图43)需要以两倍于普通区间的帧(显示类型为普通速度V2的帧)的速度来解码高显示速率/低分辨率区间中的帧(显示类型为高显示速率/低分辨率类型V3的帧)。此外，高显示速率/低分辨率区间中的帧是动作大于普通区间中的帧的帧。因此，当固定分辨率时，高显示速率/低分辨率中的帧具有由解码器216解码所必需的大数据量，该大数据量要大于普通区间中的帧的数据量。因此，相对于普通区间中的帧的显示，显示高显示速率/低分辨率区间中的帧被施加较大的负荷。
因此，在图43的编辑系统中，当显示普通区间中的帧时，对作为主数据的图像数据进行解码。当显示高显示速率/低分辨率区间中的帧时，对作为代理数据的图像数据进行解码，该作为代理数据的图像数据的数据量要小于主数据的数据量。通过这种方式，减少了对高显示速率/低分辨率区间中的帧的显示所施加的负担。
在上述情况中，例如以在1/30秒内以两个指定区间的长度从左移动到右的速度来移动拖放拨块54。此外，例如当以在1/30秒内以一个指定区间的长度从左移动到右的速度采移动拖放拨块54时，在显示类型为普通类型V2的帧连续的普通区间中，将每个帧以1/30秒的间隔设置成感兴趣帧。结果，在显示器41上以单一速度显示图像，而没有丢失帧。
当以在1/30秒中以一个指定区间的长度从左移动到右的速度来移动拖放拨块54时，拖放拨块54在1/60秒中以一个指定区间的1/2的长度从左移动到右。因此，在显示类型为高显示速率/低分辨率类型V3的帧连续的高显示速率/低分辨率区间中，在1/30秒中将相同的帧设置成感兴趣帧。结果，也在显示器41上以单一速度显示图像，而没有丢失帧。
将参照图47说明显示类型为静态图像类型V1的帧的显示。
在图43的编辑系统中，对于显示类型为静态图像类型V1的帧连续的静态图像区间中的帧，即使在静态图像区间的帧中改变感兴趣帧(要被显示的帧)，感兴趣帧紧接之前在显示器41上显示的帧的图像也会改变。
对于静态图像区间中的帧，只要静态图像区间中的帧是感兴趣帧，在静态图像区间中首先被设定成感兴趣帧的帧的图像持续显示。
例如，如图47的顶部所示，在拖放的开始处，拖放拨块54指定除静态图像区间以外的区间(此处为普通区间或高显示速率/低分辨率区间)中的帧作为感兴趣帧。在这种情况下，当用户将拖放拨块54从左移动到右时，根据该移动，首先将静态图像区间的帧中位于左端的帧(静态图像区间中最早的帧)指定为感兴趣帧。接下来，解码器216(图43)对被指定为感兴趣帧的帧的图像数据进行解码。在显示器41上显示与该图像数据相对应的图像。
此后，只要静态图像区间中的帧被指定为感兴趣帧，就将首先被设定成感兴趣帧的帧的图像显示为当前感兴趣帧的图像。因此，只要静态图像区间中的帧被指定为感兴趣帧，除了首先被指定为感兴趣帧的帧的图像数据之外，解码器216不对当前感兴趣帧的图像数据进行解码。
例如，如从图47顶部开始的第二幅图所示，在开始拖放时，拖放拨块54将静态图像区间中的帧指定为感兴趣帧。在这种情况下，解码器216(图43)对在拖放开始时被指定为感兴趣帧的帧的图像数据进行解码。在显示器41上显示与该图像数据相对应的图像。
此后，只要静态图像区间中的帧被指定为感兴趣帧，就显示在拖放开始时被指定成感兴趣帧的帧的图像作为当前感兴趣帧的图像。因此，只要静态图像区间中的帧被指定为感兴趣帧，除了在拖放开始时被指定为感兴趣帧的帧的图像数据之外，解码器216不对当前感兴趣帧的图像数据进行解码。
此外，例如图47中从顶部开始的第三幅图(底部的图)所示，在开始拖放时，拖放拨块54将除了静态图像区间以外的区间(此处为普通区间或高显示速率/低分辨率区间)中的帧指定为感兴趣帧。在这种情况下，当用户将拖放拨块54从左移动到右时，根据该移动，首先将静态图像的帧当中位于静态图像区间右端的帧(静态图像区间中最后的帧)指定为感兴趣帧。接下来，解码器216(图43)对被指定为感兴趣帧的帧的图像数据进行解码。在显示器41上显示与该图像数据相对应的图像。
此后，只要静态图像区间中的帧被指定为感兴趣帧，就将首先被指定成感兴趣帧的帧的图像显示为当前感兴趣帧的图像。因此，只要静态图像区间中的帧被指定为感兴趣帧，除了首先被指定为感兴趣帧的帧的图像数据之外，解码器216不对当前感兴趣帧的图像数据进行解码。
将参照图48对图43中的编辑系统执行的拖放处理进行进行说明。
例如，用户将记录有AV文件和Fy文件的光盘7(图1)插入到驱动器5，并操作键盘2或鼠标3来启动编辑程序。接下来，CPU 22(图2)执行该编辑程序。因此，PC1用作图43中的编辑系统。
此后，当用户操作键盘2或鼠标3来指定要进行拖放的AV文件时，相对应于该操作的操作信号从键盘2或鼠标3被提供到GUI控制单元211。
在步骤S211，GUI控制单元211根据来自键盘2或鼠标3的操作信号识别将要进行拖放的AV文件。处理进行到步骤S212。
在步骤S212中，Fy文件管理单元214对相应于被GUI控制单元211识别为拖放对象的AV文件的Fy文件进行高速缓存(临时存储)。处理进行到步骤S213。
GUI控制单元211通过流解码位置检测单元212控制数据提供控制单元213，以提供相对应于被识别为要进行拖放的AV文件的Fy文件。数据提供控制单元213根据GUI控制单元211的控制，从光盘7中读出Fy文件，并将Fy文件提供给Fy文件管理单元214。在步骤S212中，如上所述，Fy文件管理单元214使文件存储单元231(图44)存储从数据提供控制单元213提供的Fy文件。
在步骤S213中，Fy文件管理单元214的变化量获取单元232(图44)判断文件存储单元231在紧接的前一步骤S212中所存储的Fy文件中是否出现显示类型。
当在步骤S213中判断文件存储单元231中所存储的Fy文件中出现显示类型时，跳过以下描述的步骤S214。处理进行到步骤S215。
当在步骤S213中判断文件存储单元231中所存储的Fy文件中不出现显示类型时，变化量获取单元232从存储在文件存储单元231中的Fy文件中读出以帧为单位的变化量，并将该变化量提供给显示类型确定单元233(图44)。处理进行到步骤S214。
在文件存储单元231中所存储的Fy文件中至少存储有作为以帧为单位的变化量的运动信息。
在步骤S214中，显示类型确定单元233以和图22中的显示类型确定单元93相同的方式，根据从变化量获取单元232提供的以帧为单位的变化量来确定以帧为单位的显示类型，并将该显示类型提供给显示类型写入单元234(图44)。显示类型写入单元234将来自显示类型确定单元233的显示类型写入到文件存储单元231中的Fy文件中。处理从步骤S214进行到步骤S215。
在步骤S214中确定显示类型的过程中，显示类型确定单元233的阈值处理单元242(图44)将变化量与阈值进行比较。作为阈值，使用与图22中的显示类型确定单元93的阈值处理单元162所使用的阈值相同的阈值。
当处理如上所述从步骤S213进行到步骤S215或从步骤S214进行到步骤S215时，在图43的编辑系统中，开始进行GUI显示处理，该处理用于在显示器41上显示诸如图3中的取景器51之类的GUI。此后将详细描述GUI显示处理的详情。
在步骤S215中，GUI控制单元211判断键盘2或鼠标3是否被操作用于结束编辑程序。
当在步骤S215中判断键盘2或鼠标3没有被操作用于结束编辑程序时，处理进行到步骤S216。GUI控制单元211判断取景器51(图3)的拖放条53中所提供的拖放拨块54是否移动，所述取景器51通过GUI显示处理显示，该GUI显示处理在处理从步骤S213进行到步骤S215或从步骤S214进行到步骤S215时开始。换句话说，GUI控制单元211判断用户是否通过操作键盘2或鼠标3移动了拖放拨块54。
当在步骤S216中判断拖放拨块54被移动时，这意味着用户已操作了键盘2或鼠标3来移动拖放拨块54，并且与该操作相对应的操作信号从键盘2或鼠标3被提供到GUI控制单元211。在这种情况下，GUI控制单元211将分配到拖放拨块54所定位的指定区间(图45)的帧设定成感兴趣帧。GUI控制单元211将关于感兴趣帧的信息通过流解码位置检测单元212和数据提供控制单元213提供给显示类型获取单元215。处理进行到步骤S217。
在步骤S217中，显示类型获取单元215通过流解码位置检测单元212和数据提供控制单元213根据从GUI控制单元211提供的关于感兴趣帧的信息，通过从Fy文件管理单元214的文件存储单元231(图44)中读出显示类型，从而为感兴趣帧获取显示类型。显示类型获取单元215将显示类型提供给GUI控制单元211、解码器216和显示控制单元218。此外，在步骤S217中，解码器216和显示控制单元218判断来自显示类型获取单元215的感兴趣帧的显示类型。解码器216和显示控制单元218执行显示控制处理，用来显示感兴趣帧的图像(此后描述的步骤S218至步骤S223)。处理返回到步骤S215。
当在步骤S217判断感兴趣帧的显示类型是静态图像类型V1时，处理进行到步骤S218。显示控制单元218参照Fy文件管理单元214的文件存储单元231中所存储的Fy文件，判断设置成在感兴趣帧紧接之前的感兴趣帧的帧(此后适当地称为在前帧)的显示类型是否是静态图像类型V1，并判断在前帧和感兴趣帧是否是同一静态图像区间中的帧。
当在步骤S218判断在前帧和感兴趣帧不是同一静态图像区间中的帧时，处理进行到步骤S219。当数据提供控制单元213从光盘7中读出感兴趣帧的主数据(和解码感兴趣帧所必需的数据)并将主数据提供给解码器216时，解码器216获取(接收)感兴趣帧的主数据。处理进行到步骤S220。
在步骤S220中，解码器216将从数据提供控制单元213获取的感兴趣帧的主数据进行解码。解码器216将作为解码结果获得的图像数据提供给显示控制单元218。处理进行到步骤S221。在步骤S221中，显示控制单元218使帧缓存器218A存储来自解码器216的感兴趣帧的图像数据。处理进行到步骤S222。显示控制单元218使显示器41显示相应于存储在帧缓存器218A中的图像数据的图像。
因此，对于显示类型为静态图像类型V1的帧的图像，显示对应于用作主数据的图像数据的图像，即具有较高分辨率(相对于与作为代理数据的图像数据相对应的图像而言)的图像。
另一方面，当在步骤S218判断在前帧和感兴趣帧是同一静态图像区间中的帧时，处理进行到步骤S222。显示控制单元218使显示器41显示相对应于在步骤S221中存储在帧缓存器218A中的图像数据的图像，作为感兴趣帧的图像。
当在前帧和感兴趣帧是同一静态图像区间中的帧时，作为静态图像区间中的帧的图像，显示静态图像区间的帧中首先被设定成感兴趣帧的帧的图像。因此，在这种情况下，由于解码器216无须执行解码，因此可减少PC1上的负担。
另一方面，当在步骤S217判断感兴趣帧的显示类型是普通类型V2时，处理顺序地进行到步骤S219到步骤S222。如上所述，显示感兴趣帧的图像。
在步骤S219中，当数据提供控制单元213从光盘7中读出感兴趣帧的主数据，并将主数据提供给解码器216时，解码器216获取感兴趣帧的主数据。处理进行到步骤S220。
在步骤S220中，解码器216对从数据提供控制单元213获取的感兴趣帧的主数据进行解码。解码器216将作为解码结果所获得的图像数据提供给显示控制单元218。处理进行到步骤S221。在步骤S221，显示控制单元218使帧缓存器218A存储来自解码器216的感兴趣帧的图像数据。处理进行到步骤S222。显示控制单元218使显示器41显示相对应于存储在帧缓存器218A中的图像数据的图像。
因此，作为显示类型为普通类型V2的帧的图像，显示相对应于用作主数据的图像数据的图像，即具有较高分辨率(相对于与作为代理数据的图像数据对应的图像而言)的图像。
另一方面，当在步骤S217判断感兴趣帧的显示类型是高显示速率/低分辨率类型V3时，处理执行到步骤S233。当数据提供控制单元213从光盘7中读出感兴趣帧的代理数据(和解码感兴趣帧所必需的数据)，并将代理数据提供给解码器216时，解码器216获取感兴趣帧的代理数据。处理进行到步骤S220。
在步骤S220中，解码器216对从数据提供控制单元213获取的感兴趣帧的代理数据进行解码。解码器216将作为解码结果所获得的图像数据提供给显示控制单元218。处理进行到步骤S221。在步骤S221，显示控制单元218使帧缓存器218A存储来自解码器216的感兴趣帧的图像数据。处理进行到步骤S222。显示控制单元218使显示器41显示相对应于存储在帧缓存器218A中的图像数据的图像。
因此，作为显示类型为高显示速率/低分辨率类型V3的帧的图像，显示相对应于用作代理数据的图像数据的图像，即具有较低分辨率(相对于与作为主数据的图像数据对应的图像而言)的图像。
另一方面，当在步骤S216中判断拖放拨块54没有移动时，处理进行到步骤S222。显示控制单元218使显示器41显示对应于在步骤S221中存储在帧缓存器218A中的图像数据的图像，作为感兴趣帧的图像。
当拖放拨块54从在步骤S216中的判断执行时刻起没有被移动时，显示控制单元218使显示器41再次显示对应于存储在帧缓存器218A中的图像数据的图像，即在判断紧接之前显示的图像(上个步骤S222中显示的图像)。
在如上所述的步骤S222中显示感兴趣帧的图像之后，处理进行到步骤S224。GUI控制单元211判断步骤S217中从显示类型获取单元215提供的感兴趣帧的显示类型。
当在步骤S224中判断感兴趣帧的显示类型是高显示速率/低分辨率类型V3时，处理进行到步骤S225。GUI控制单元211判断在上一个步骤S216中判断拖放拨块54是否移动之后，是否经过了与高显示速率/低分辨率类型V3的显示速率相对应的时间，例如1/60秒。
当在步骤S225中判断没有经过1/60秒时，处理返回到步骤S225。
当在步骤S225中判断经过了1/60秒时，处理返回到步骤S215。此后，重复进行上述处理。
因此，当显示类型为高显示速率/低分辨率类型V3的帧是感兴趣帧时，在步骤S216中，GUI控制单元211判断拖放拨块54是否以对应于高显示速率/低分辨率类型V3的1/60秒的周期进行移动。
当判断拖放拨块54移动时，显示控制单元218使显示器41显示对应于图像数据的图像，该图像数据是通过解码分配给移动之后拖放拨块54所定位的指定区间(45)的帧的代理数据而获得的。
当判断拖放拨块54没有移动时，显示控制单元218使显示器41显示在判断紧接之前显示在显示器41上的图像。
如上所述，对于显示类型为高显示速率/低分辨率类型V3的帧，以该显示类型的显示速率60帧/秒在显示器41上显示图像。
另一方面，当在步骤S224中判断感兴趣帧的显示类型是静态图像类型V1或普通类型V2时，处理进行到步骤S226。GUI控制单元211判断在上一个步骤S216中判断拖放拨块54是否移动之后，是否经过了与静态图像类型V1或普通类型V2的显示速率相对应的时间，例如1/30秒。
当在步骤S226中判断没有经过1/30秒时，处理返回到步骤S226。
当在步骤S226中判断经过1/30秒时，处理返回到步骤S215。此后，重复进行上述处理。
因此，当显示类型为静态图像类型V1或普通类型V2的帧是感兴趣帧时，在步骤S216中，GUI控制单元211判断拖放拨块54是否以对应于静态图像类型V1或普通类型V2的1/30秒的周期进行移动。
当判断拖放拨块54移动时，显示控制单元218使显示器41显示对应于图像数据的图像(具有高分辨率的图像)，该图像数据是通过解码分配给移动之后拖放拨块54所定位的指定区间(45)的帧的主数据而获得的。
当判断拖放拨块54没有移动时，显示控制单元218使显示器41再次显示在判断紧接之前显示在显示器41上的图像。
如上所述，对于显示类型为静态图像类型V1和普通类型V2的帧，以该显示类型的显示速率30帧/秒在显示器41上显示图像。
另一方面，当在步骤S215中操作键盘2或鼠标3来结束编辑程序时，即例如当用户操作了键盘2或鼠标3来结束编辑程序并且对应于该操作的操作信号从键盘2或鼠标3被提供给GUI控制单元211时，拖放处理(编辑程序的执行)结束。
如上所述，获取作为由拖放拨块54所指定的感兴趣帧的感兴趣帧的显示类型，并通过感兴趣帧的显示类型所表示的显示方法来显示感兴趣帧的图像。因此，可以适当地执行拖放。
当显示类型为静态图像类型V1的帧，即没有动作的帧是感兴趣帧时，通过解码主数据来获得静态图像区间中首先被设定成感兴趣帧的帧的图像数据，并显示相应于该图像数据的图像，其中在所述静态图像区间中包括感兴趣帧的静态图像类型V1的帧连续。这样，显示相同帧的高质量图像。结果，用户可以容易地检查图像的内容。此外，只要相同静态图像区间中的帧被连续设定成感兴趣帧，就无需解码主数据。因此，可以降低对作为编辑系统的PC1所施加的负担。
当显示类型为高显示速率/低分辨率类型V3的帧，即具有大(剧烈)运动的帧是感兴趣帧时，以高显示速率显示图像。因此，用户可以精确地检查具有剧烈运动的图像的内容。
此外，当显示类型为高显示速率/低分辨率类型V3的帧是感兴趣帧时，对数据量小于主数据的代理数据进行解码，并显示相应于解码结果的图像数据的图像。因此，可以减少对作为编辑系统的PC1所施加的负担，并避免编辑程序由于在PC1上所施加的较大负荷而未能作出响应(PC1挂起)。
当显示类型为普通类型V2的帧，即具有一定运动程度但运动程度不剧烈的帧是感兴趣帧时，显示速率低于显示类型为高显示速率/低分辨率类型V3的帧的显示速率但分辨率高于显示类型为高显示速率/低分辨率类型V3的帧的分辨率的图像被显示。显示类型为普通类型V2的帧具有较小的图像运动(帧之间的像素值中的变化)，该图像运动小于显示类型为高显示速率/低分辨率类型V3的帧的运动。因此，即使以低于显示类型为高显示速率/低分辨率类型V3的帧的显示速率的显示速率来显示显示类型为普通类型V2的帧，用户也可精确地检查图像的内容。
此外，显示类型为普通类型V2的帧具有较小的图像运动，该图像运动小于显示类型为高显示速率/低分辨率类型V3的帧的运动。显示类型为普通类型V2的帧的主数据的数据量小于显示类型为高显示速率/低分辨率类型V3的帧的主数据的数据量。因此，当显示类型为普通类型V2的帧是感兴趣帧时，即使解码主数据并显示对应于作为解码结果所获得的图像数据的高分辨率图像，作为编辑系统的PC1所被施加的负荷也小于当解码显示类型为高显示速率/低分辨率类型V3的帧的主数据时所被施加的负荷。
如上所述，在图43的编辑系统中，在拖放过程中，根据显示类型改变图像的分辨率和显示速率，而不是以相同的显示方法显示所有帧。此外，根据显示类型只解码必需的帧，而不是解码所有被设定成感兴趣帧的帧。这使得可以执行适当的拖放。
在图48的拖放处理中，有三种显示类型的显示类型，即图20中所示的根据运动信息所确定的静态图相类型V1、普通类型V2和高显示速率/低分辨率类型V3。然而，即使显示类型例如是五种类型，即图27中所示的静态图像类型V11、普通类型V12、高显示速率/普通分辨率类型V13、超高显示速率/低分辨率类型V14、和特高显示速率/低分辨率类型V15，也可以执行拖放处理。即使显示类型是例如图31所示的根据细度信息确定的低分辨率/普通显示速率类型C1、普通类型C2、和普通分辨率/低显示速率类型C3这三种类型，也可以进行拖放处理。
在上述情况中，具有高分辨率的图像的主数据和具有低分辨率的图像的代理数据被记录在光盘7中，即包括相同内容且具有两种分辨率的图像记录在光盘7中，并根据帧的显示类型来显示高分辨率的图像和低分辨率的图像。此外，例如可将三种分辨率，即高、中、低分辨率的图像记录在光盘7中，并根据帧的显示类型显示高分辨率图像、中分辨率图像和低分辨率图像。
如上所述，在图43的编辑系统中，当图48中的拖放处理从步骤S213进行到步骤S215或者从步骤S214进行到步骤S215时，开始进行用于在显示器41上显示诸如图3中的取景器51之类的GUI的GUI显示处理。
如上所述，选择以帧为单位的变化量和显示类型的两者之一或两者，并将其存储在Fy文件中。在接下来的说明中，至少将变化量和显示类型中的变化量存储在Fy文件中。
当在Fy文件中存储变化量，但不存储显示类型时，可根据该变化量在Fy管理单元214(图43)中确定显示类型。因此，对于图43中包括Fy管理单元214的编辑系统，没存储显示类型但存有变化量的Fy文件与存有显示类型和变化量二者的Fy文件基本上等同。
另一方面，当在Fy文件中不存储变化量但存储显示类型时，由于难于从显示类型计算变化量，因此对于存有显示类型但没存储变化量的Fy文件来说，不执行以下所说明的用于计算变化量的处理。然而，即使在没有存储变化量的文件中，如果Fy文件创建单元217从相应于Fy文件的AV文件中所存储的数据中重新创建存有变化量的Fy文件，可使用重新创建的Fy文件进行在以下描述的处理中计算变化量的处理。
图49是示出了通过GUI显示处理在显示器41上所显示的作为GUI的编辑窗口301的示例的图。
在图49的编辑窗口301中，参照图3所说明的取景器51被布置在图49的右上方。Fy文件显示部分311被设置在编辑窗口301的下方，该Fy文件显示部分311是一个水平矩形区域。
在Fy文件显示部分311中显示相对应于要进行拖放的AV文件的Fy文件中所存储的表示信息等的GUI。
将运动信息作为变化量存储在相对应于要进行拖放的AV文件的Fy文件中。将运动信息与例如阈值L或阈值H进行比较，如参照图20和21所说明的。因此，将静态图像类型V1、普通类型V2或高显示速率/低分辨率类型V3确定为显示类型。
在图49的Fy文件显示部分311中，显示了在数量上表示存储在将要进行拖放的AV文件、即Fy文件管理单元214所管理的Fy文件中所存储的变化量的曲线图(此后适当地称作变化量曲线图)。在图49中(也在此后描述的图中)，Fy文件显示部分311的水平方向(从左到右的方向)表示时间的经过，即帧(从顶部开始的帧的位置)及其垂直方向表示变化量。
此外，在Fy文件显示部分311中，显示位置指示器312，该位置指示器312作为表示分配给取景器51中的拖放拨块54所定位的指定区间的帧的位置的位置信息。
在拖放中，分配给由拖放条53的拖放拨块54所定位的指定区间的帧被设定成显示在取景器51的显示部分52上的感兴趣帧。位置指示器312是在垂直方向上延伸的段的GUI，它显示在对应于按时间序列形成运动图像的帧中的感兴趣帧的位置中，所述运动图像对应于要进行拖放的AV文件(要进行拖放的运动图像)。当在水平方向上移动拖放拨块54，并将感兴趣帧从作为移动前的感兴趣帧的帧改变到另一个帧时，位置指示器312也在水平方向上移动，从而指示与另一个帧相对应的位置。
显示变化量曲线图的Fy文件显示部分311的区域的水平方向上的尺度与拖放条53的可移动范围的尺度相互对应。
如果通过将显示变化量曲线图的Fy文件显示部分311的区域的水平方向上的长度与预定数相乘，而将显示Fy文件显示部分311的变化量曲线图的区域的水平方向上的长度和拖放条53的可移动范围的长度设定成相同长度，则Fy文件显示部分311中所显示的位置指示器312的位置与拖放拨块54的位置将是相互一致的。
如上所述，当将显示变化量曲线图的Fy文件显示部分311的区域的水平方向上的长度和拖放条53的可移动范围的长度设定成相同长度的时候，拖放拨块54的位置上的变化量曲线图的值是由拖放拨块54所定位的分配给指定区间的帧的变化量。
在图49中，根据Fy文件管理单元214所管理的Fy文件中存储的变化量，在Fy文件显示部分311中还显示用作阈值信息的阈值指示器313H和313L，该阈值信息表示在确定显示类型过程中使用的阈值。
阈值指示器313H和313L是在水平方向上延伸的段的GUI，其显示在相应于确定显示类型时所使用的阈值的垂直方向上的位置中。因此，当存储在Fy文件管理单元214所管理的Fy文件中的变化量是例如上述的运动信息，并将该运动信息与阈值L或阈值H进行比较来确定静态图像类型V1、普通类型V2或高显示速率/低分辨率类型V3作为显示类型时，例如在相对应于阈值H(垂直方向上)的位置上显示阈值指示器313H，并且在相对应于阈值L的位置上显示阈值指示器313L。
用户可以通过操作编辑系统(图43)的键盘2或鼠标3(例如通过拖动光标)，在垂直方向上移动作为阈值信息的阈值指示器313H和313L。这使得可以将用于确定显示类型的阈值改变成由移动之后的阈值信息所表示的阈值。当改变了用于确定显示类型的阈值时，文件管理单元214(图44)的显示类型确定单元233将存储在Fy文件中的变化量与改变后的阈值相比较，并根据比较结果再次确定显示类型。在之后描述的GUI显示处理中执行使用以这种方式改变后的阈值再次确定显示类型的处理。
根据上述的Fy文件显示部分311，用户可以根据变化量图可视地掌握在整个将要进行拖放的运动图像上的变化量的转变。当变化量例如是运动信息时，用户可以根据变化量曲线图掌握在整个将要进行拖放的运动图像上的动作程度的转变。结果，用户可以提前掌握例如将要进行拖放的运动图像是在整体上具有运动或具有较小运动的运动图像或者是在部分帧中具有剧烈运动的运动图像。
用户可以根据变化量曲线图以及指示感兴趣帧的位置的位置指示器312，掌握取景器51(的显示部分52)中所显示的感兴趣帧以及靠近感兴趣帧的帧的运动程度。
用户可以根据变化量曲线图、指示感兴趣帧的位置的位置指示器312、以及阈值指示器313H和313L，掌握取景器51中显示的图像采用的是何种显示类型(显示方法)。此外，用户可以识别出Fy文件在编辑系统(图43)中是如何被使用的(例如用于在拖放中显示图像)。
接下来将参照图50中的流程图来说明GUI显示处理。
在GUI显示处理中，GUI控制单元211控制显示控制单元218显示编辑窗口301(图49)。显示控制单元218使显示器41显示编辑窗口301。在步骤S251中，显示控制单元218读出Fy文件管理单元214(图43)所管理的Fy文件，即存储在Fy文件管理单元214的文件存储单元231(图44)中的Fy文件，并根据Fy文件中所存储的变化量来使编辑窗口301的Fy文件显示部分311显示变化量曲线图。处理进行到步骤S252。
在步骤S252中，显示控制单元218根据用于确定存储在Fy文件管理单元214的文件存储单元231(图44)中Fy文件中所存储的显示类型的阈值来使编辑窗口301的Fy文件显示部分311显示例如阈值指示器313H和313L(图49)。
在GUI处理开始紧接之后采用的阈值被称为默认阈值，所述阈值是用于确定存储在Fy文件管理单元214的文件存储单元231(图44)中的Fy文件中所存储的显示类型的阈值。
假设有两个阈值H和L作为默认阈值，显示分别对应于这两个阈值H和L的阈值指示器313H和313L。
当只有一个阈值作为默认阈值时，显示相对应于这一个阈值的阈值指示器，该阈值指示器充当一条阈值信息。当有三个或更多个阈值作为默认阈值时，显示与默认阈值的数量相同数量的阈值指示器，这些阈值指示器充当多条阈值信息。
此后，处理从步骤S252进行到步骤S253。显示控制单元218获取显示器41上所显示的编辑窗口301(图49)中的拖放拨块54的位置上的信息以及被分配给拖放拨块54所定位的指定区间的帧，即同样来自GUI控制单元211的感兴趣帧(接收从GUI控制单元211提供的感兴趣帧的信息)。处理进行到步骤S254。
在步骤S254中，显示控制单元218根据关于在紧接的前一步骤S253中从GUI控制单元211获取的感兴趣帧的信息来使编辑窗口301的Fy文件显示部分311显示位置指示器312(图49)。显示控制单元218使Fy文件显示部分311显示线段形状的位置指示器312(图49)，该位置指示器312相对于分配给拖放拨块54所定位的指定区间的帧(感兴趣帧)在Fy文件显示部分311的水平方向上的位置中以垂直方向延伸。
处理从步骤S254进行到步骤S255。GUI控制单元211判断键盘2或鼠标3是否被操作来结束编辑程序。
当在步骤S255中判断键盘2或鼠标3没有被操作来结束编辑程序时，处理进行到步骤S256。GUI控制单元211判断是否移动了拖放拨块54，即用户是否通过操作键盘2或鼠标3移动了拖放拨块54。
当在步骤S256中判断移动了拖放拨块54时，这意味着用户已经对键盘2或鼠标3进行了操作来移动拖放拨块54，并且对应于该操作的操作信号从键盘2或鼠标3被提供到GUI控制单元211。在这种情况下，GUI控制单元211将分配给拖放拨块54所被定位的指定位置(图45)的帧设定成感兴趣帧，并将关于感兴趣帧上的信息提供给显示控制单元218。处理返回到步骤S253。此后，重复相同的处理。
当在水平方向上移动拖放拨块54，并且根据步骤S253至S256的处理将感兴趣帧从移动紧接之前被设定成感兴趣帧的帧改变到另一个帧时，位置指示器312也在水平方向中移动，从而指示对应于该另一个帧的位置。
步骤S255和S256分别与图48中的步骤S215和S216相同。因此，可以分别执行图48中的步骤S215中的处理和步骤S216中的处理作为步骤S255和S256中的处理。在这种情况下，如参照图48所说明的，当感兴趣帧的显示类型是静态图像类型V1或普通类型V2时，以1/30秒的周期执行步骤S255和S256。当感兴趣帧的显示类型是高显示速率/低分辨率类型V3时，以1/60秒的周期执行步骤S255和S256。
另一方面，当在步骤S256中判断拖放拨块54没有移动时，处理进行到步骤S257。GUI控制单元211判断阈值指示器313H或313L(图49)是否开始移动，即用户是否已操作键盘2或鼠标3来移动阈值指示器313H或313L。
当在步骤S257中判断阈值指示器313H或313L的移动没有开始时，处理返回到步骤S255。此后，重复相同的处理。
当在步骤S257中判断阈值指示器313H或313L开始移动时，这意味着用户已操作键盘2或鼠标3来移动阈值指示器313H或313L，并且对应于该操作的操作信号从键盘2或鼠标3被提供到GUI控制单元211。在这种情况下，GUI控制单元211根据来自键盘2或鼠标3的操作信号计算阈值指示器313H或313L所移动到的位置。GUI控制单元211将指示位置的信息提供给显示控制单元218。处理进行到步骤S258。
在步骤S258中，显示控制单元218使Fy文件显示部分311以与来自GUI控制单元211的信息相对应的位置取代阈值指示器313H或313L移动紧接之前的所显示的位置来显示阈值指示器313H或313L。处理进行到步骤S259。
在步骤S259中，GUI控制单元211判断阈值指示器313H或313L的移动是否结束，即用户是否结束了用来移动阈值指示器313H或313L的键盘2或鼠标3的操作。
当在步骤S259中判断用于移动阈值指示器313H或313的操作结束了的时候，这意味着用户连续操作键盘2或鼠标3来移动阈值指示器313H或313L，并且对应于该操作的操作信号从键盘2或鼠标3被提供给GUI控制单元211。在这种情况下，GUI控制单元211根据来自键盘2或鼠标3的操作信号计算阈值指示器313H或313L所移动到的位置。GUI控制单元211将指示位置的信息提供给显示控制单元218。处理返回到步骤S258。此后重复相同的处理。
根据步骤S257至S259的处理，根据用户为移动阈值指示器313H或313L而进行的操作在垂直方向上移动阈值指示器313H或313L。
另一方面，当在步骤S259中判断，用于移动阈值指示器313H或313L的操作结束了的时候，这意味着用户结束了为移动阈值指示器313H或313L而进行的键盘2或鼠标3的操作，并且对应于移动阈值指示器313H或313L的操作的操作信号没有从键盘2或鼠标3被提供给GUI控制单元211。在这种情况下，GUI控制单元211将对应于移动结束的阈值指示器313H或313L的位置(垂直方向上)的阈值通过数据提供控制单元213(图43)提供给Fy文件管理单元214。处理进行到步骤S260。
由GUI控制单元211通过数据提供控制单元213提供给Fy文件管理单元214的阈值被提供给阈值处理单元242，其中该阈值处理单元242构成了Fy文件管理单元214(图44)的显示类型确定单元233。此后，阈值处理单元242使用通过数据提供控制单元213从GUI控制单元211提供的阈值进行处理，直到新的阈值被提供给阈值处理单元242或者文件存储单元231中存储了新的Fy文件。
在步骤S260中，Fy文件管理单元214(图44)的显示类型确定单元233使用在确定进行紧接之前通过数据提供控制单元213从GUI控制单元211提供给阈值处理单元242的阈值来新(再次)确定显示类型，即在由作为阈值信息的阈值指示器313H或313L移动之后所指示的阈值，以及存储在Fy文件存储单元231中的Fy文件中的变化量。
显示类型确定单元233将存储在Fy文件存储单元231中的Fy文件中所存储的变化量与在作为阈值信息的移动之后的阈值指示器313H或313L所指示的阈值H或L进行比较。显示类型确定单元233根据比较结果再次确定显示类型。将显示类型确定单元233再次确定的显示类型通过显示类型写入单元234写入到文件存储单元231中，以覆盖Fy文件存储单元231中所存储的Fy文件中的显示类型。
因此，此后在如上所述的图48中的步骤S217至S224中，参照显示类型确定单元233再次确定的显示类型来判断感兴趣帧的显示类型。根据显示类型来显示感兴趣帧。
如上所述，用户通过操作作为GUI的阈值指示器313H或313L在确定显示类型的过程中改变阈值H或L。可以说，使用改变后的阈值H或L实时地再次确定显示类型。因此，用户可以考虑PC 1的性能等来改变阈值H或L，并可以容易地调整在拖放中显示帧(图像)时的显示类型(显示方法)，从而使得可以执行平滑(最佳)的拖放。
在步骤S260的处理之后，处理返回到步骤S255。此后，重复相同的处理。
当在步骤S255中判断操作键盘2或鼠标3以便结束编辑程序时，这意味着用户已经操作了键盘2或鼠标3来结束编辑程序，并将对应于该操作的操作信号从键盘2或鼠标3提供给GUI控制单元211。在这种情况下，结束GUI显示处理。
在图49中，变化量曲线图、位置指示器312、和阈值指示器313H和313L被显示在Fy文件显示部分311中。然而，也可以在Fy文件显示部分311中显示显示类型信息来取代变化量曲线图、位置指示器312、和阈值指示器313H和313L，或与变化量曲线图、位置指示器312、和阈值指示器313H和313L一同显示，其中该显示类型信息是以时间序列表示Fy文件管理单元214(图43)所管理的Fy文件中的显示类型的带状区域的GUI。
图51是示出了Fy文件显示部分311的示例的图，在该Fy文件显示部分中类型信息与变化量曲线图、位置指示器312和阈值指示器313H和313L一同显示。
在图51中，Fy文件显示部分311包括曲线图显示部分321和类型信息显示部分322。
曲线图显示部分321是位于Fy文件显示部分311上部的矩形区域。在图表显示部分321中，显示了图49中所说明的变化量曲线图、位置指示器312、和阈值指示器313H和313L。
类型信息显示部分322是位于Fy文件显示部分311下部的矩形区域。类型信息显示区域322中显示了类型信息。
类型信息是具有水平矩形区域的GUI。它的水平方向(从左到右的方向)表示时间的经过，即图49中关于Fy文件显示部分311所说明的帧(从顶部开始的帧的位置)。
类型信息表示与水平方向中各个位置相对应的帧的显示类型。在图51中，假设具有三种类型，即图20中所说明的静态图像类型V1、普通类型V2和高显示速率/低分辨率类型V3，用从下向左(从上向右)的斜线来示出具有静态图像类型V1的帧连续的静态图像区间，用没有图案的区域来示出具有普通类型V2的帧连续的普通区间，用水平方向的线(水平线)来示出具有高显示速率/低分辨率类型V3的帧连续的高显示速率/低分辨率区间。
因此，用户可以根据类型信息来掌握要进行拖放的运动图像的帧的显示类型。
曲线图显示部分321中所显示的变化量曲线图的水平方向的尺度与类型信息显示部分322中所显示的类型信息的相同。因此，当将注意力集中到Fy文件显示部分311水平方向中的位置作为感兴趣位置时，感兴趣位置中的变化量曲线图的值表示对应于感兴趣位置的帧的变化量(运动信息)。被置于感兴趣位置中的类型信息上的图案表示相应于感兴趣位置的帧的显示类型。
假设在将要进行拖放的运动图像中，变化量小于阈值指示器313L指示的阈值L的连续帧的数量的最小值、变化量等于或大于阈值指示器313H指示的阈值H的连续帧的数量的最小值、以及变化量等于或大于阈值L且小于阈值H的连续帧的数量的最小值都等于或大于最小极限帧数N。接着，分别将静态图像类型V1、普通类型V2、和高显示速率/低分辨率类型V3确定为变化量小于阈值L的帧的显示类型、变化量等于或大于阈值L且小于阈值H的帧的显示类型、以及变化量等于或大于阈值H的帧的显示类型。
在这种情况下，如图51所示，曲线图显示部分321中变化量曲线图的值(变化量)小于阈值指示器313L指示的阈值L的区间、与类型信息显示部分322中用斜线表示的类型信息的区间，即静态图像区间，相一致。曲线图显示部分321中变化量曲线图的值等于或大于阈值指示器313H指示的阈值H的区间、与类型信息显示部分322中用水平线表示的类型信息的区间，即高显示速率/低分辨率区间，也相互一致。变化量曲线图的值等于或大于阈值L且小于阈值H的区间与类型信息显示部分322中没有图案的类型信息的区间，即普通区间，也相互一致。
此外，在类型信息显示部分322中，图表显示部分321中显示的位置指示器312与类型信息一同显示为作为位置指示器312的段的延伸。
因此，用户可以(看一眼就)容易地掌握取景器51(的显示部分52)(图49)中显示的感兴趣帧，即与位置指示器312的位置相对应的帧的变化量和显示类型(显示类型所表示的显示方法)。
在作为类型信息的矩形区域中，除了对每种显示类型施加不同的图案以外，例如可以为每种显示类型施加不同的颜色或为每种显示类型施加不同的阴影。
如图51中所示，当Fy文件显示部分311包括显示了变化量曲线图等的曲线图显示部分321和显示了类型信息的类型信息显示部分322时，如图49中的Fy文件显示部分311，可以根据用户的操作来移动阈值指示器313H和313L。
当移动阈值指示器313H或313L，并因此改变用于确定显示类型的阈值H或L时，文件管理单元214的显示类型确定单元233(图44)将Fy文件中所存储的变化量与改变后的阈值H或L进行比较，并根据比较结果再次确定显示类型。然而，根据再次确定的显示类型再次显示图51中的类型信息显示部分322的类型信息。
图52是示出了当用于确定显示类型的阈值H或L改变时再次显示的类型信息。
图52顶端的图示出了在某个时刻显示的Fy文件显示部分311。在图52中，除了Fy文件显示部分311，还示出由键盘2或鼠标3操作的光标。
当示出图52的顶端的Fy文件显示部分311时，例如，用户使用光标拖曳向下移动阈值指示器313L。在这种情况下，文件管理单元214的显示类型确定单元233(图44)将Fy文件中存储的变化量与移动后阈值指示器313L指示的改变之后的阈值L或与没有改变的阈值H进行比较，并根据比较结果再次确定显示类型。根据显示类型确定单元233再次确定的显示类型再次显示类型信息。
图52中从顶端开始的第二幅图示出了上述具有再次显示的类型信息的Fy文件显示部分311。
当如上所述向下移动阈值指示器313L时，移动之后的阈值指示器313L所指示的阈值(变化后的阈值)L变得小于移动前的阈值指示器313L所指示的阈值(变化前的阈值)L。因此，在阈值指示器313L移动之后，与移动前相对比，变化量小于阈值L的帧减少了，而变化量等于或大于阈值L且小于阈值H的帧增多了。换句话说，在阈值指示器313L移动之后，与移动前相对比，显示类型为静态图像类型V1的帧减少了，显示类型为普通类型V2的帧增加了。
结果，在阈值指示器313L移动之后，如图52中从顶端开始的第二幅图所示，显示了相对于移动之前静态图像部分(斜线部分)减少且普通部分(没有图案的部分)增多的类型信息。
另一方面，当显示在图52的顶端的第一Fy文件显示部分311时，例如用户使用光标拖曳以向上移动阈值指示器313L。在这种情况下，文件管理单元214的显示类型确定单元233(图44)将Fy文件中存储的变化量与移动后阈值指示器313L所指示的改变后的阈值L或与没有改变的阈值H进行比较，并根据比较结果再次确定显示类型。根据显示类型确定单元233再次确定的显示类型再次显示类型信息。
图52中从顶端开始的第三幅图(底端)示出了如上所述具有再次显示的类型信息的Fy文件显示部分311。
当如上所述向上移动阈值指示器313L时，移动之后的阈值指示器313L所指示的阈值L(变化后的阈值)变得大于移动前的阈值指示器313L所指示的阈值L(变化前的阈值)。因此，在阈值指示器313L移动之后，与移动前相对比，变化量小于阈值L的帧增多了，而变化量等于或大于阈值L且小于阈值H的帧减少了。换句话说，在阈值指示器313L移动之后，与移动前相对比，显示类型为静态图像类型V1的帧增多了，而显示类型为普通类型V2的帧减少了。
结果，在阈值指示器313L移动之后，如图52中从顶端开始的第三幅图所示，显示了与移动之前相比其中静态图像区间(斜线部分)增多和普通区间(没有斜线的部分)减少的类型信息。
将参照图53中的流程图来说明当如参照图51和52所说明的那样显示类型信息时的GUI显示处理。
在该GUI显示处理中，GUI控制单元211控制显示控制单元218来显示编辑窗口301(图49)。因此，显示控制单元218使显示器41显示编辑窗口301。
在步骤S281中，如图50中的步骤S251，显示控制单元218读出Fy文件管理单元214(图43)所管理的Fy文件。显示控制单元218使编辑窗口301的Fy文件显示部分311(图51)中的曲线图显示部分321根据Fy文件中的变化量来显示变化量曲线图。处理进行到步骤S282。
在步骤S282中，显示控制单元218使Fy文件显示部分311(图51)的类型信息显示部分322根据Fy文件管理单元214(图43)所管理的Fy文件中的显示类型来显示类型信息，该类型信息按时间序列表示显示类型(按时间序列表示显示类型的安排的类型信息)。处理进行到步骤S283。
在步骤S283中，如同图50中的步骤S252，显示控制单元218使编辑窗口301的Fy文件显示部分311(图51)中的曲线图显示部分321根据用于确定Fy文件管理单元214的文件存储单元231(图44)中所存储的Fy文件中存储的显示类型的阈值(默认阈值)来显示阈值指示器313H和313L(图49)。
此后，处理从步骤S283进行到步骤S284。在步骤S284至S291中，执行与图50中的步骤S253至S260的处理相同的处理。
在步骤S291中，如同图50中的步骤S260，Fy文件管理单元241的显示类型确定单元233(图44)使用移动之后的阈值指示器313H或313L所指示的阈值以及存储在Fy文件存储单元231(图44)中的Fy文件中所存储的变化量来再次确定显示类型。当将再次确定的显示类型新写入到文件存储单元231中时，处理进行到步骤S292。显示控制单元218(图43)在类型信息显示部分322中执行显示更新，用于使Fy文件显示部分311(图51)的类型信息显示部分322根据新写入到Fy文件管理单元214(图44)的文件存储单元231中的显示类型来新显示类型信息，所述类型信息按时间序列表示显示类型(按时间序列表示显示类型的安排的类型信息)。处理返回到步骤S286。
当用户如前所述操作作为GUI的阈值指示器313H或313L时，用于确定显示类型的阈值H或L被改变。当使用改变后的阈值H或L再次确定显示类型时，根据再次确定的显示类型来更新按时间序列表示显示类型的类型信息的显示。
作为变化量，有运动信息和细度信息。可以在Fy文件中仅存储运动信息和细度信息中的一个。也可以在Fy文件中同时存储运动信息和细度信息这二者，例如如图35中所示。
当Fy文件中存有运动信息和细度信息这二者时，在Fy文件显示部分311中，例如可以选择作为Fy文件中的变化量的运动信息和细度信息中的一个，并显示按时间序列表示所选择的变化量的变化量曲线图。
图54是示出了(包含)Fy文件显示部分311(的编辑窗口301)，该Fy文件显示部分311用于选择变化量中的一个，即运动信息和细度信息之一，并显示按时间序列表示所选择的变化量的变化量曲线图。
在图54中，在Fy文件显示部分311的左上部提供有运动信息标签331和细度信息标签332，这两个标签作为用于选择在按时间序列表示运动信息的变化量曲线图和按时间序列表示细度信息的变化量曲线图中选择哪一个的GUI。
当用户执行操作来选择例如运动信息标签331和细度信息标签332中的运动信息标签331时(例如用鼠标3来点击运动信息标签331)，在Fy文件显示部分311中显示按时间序列表示运动信息的曲线图作为变化量曲线图。当用户执行操作来选择例如运动信息标签331和细度信息标签332中的细度信息标签332时，在Fy文件显示部分311中显示按时间序列表现细度信息的曲线图来作为变化量曲线图。
在图54中，执行用于选择细度信息标签332的操作，由此在Fy文件显示部分311中显示按时间序列表示细度信息的曲线图作为变化量曲线图。
当在Fy文件中同时存有运动信息和细度信息这二者时，可在Fy文件显示部分311中显示运动信息或细度信息的变化量曲线图。此外，可以同时显示运动信息和细度信息二者的变化量曲线图。也可以与变化量曲线图一起显示按时间序列表示显示类型的显示类型信息。
图55是示出了Fy文件显示部分311的图。
图55中的Fy文件显示部分311包括显示有变化量曲线图等的曲线图显示部分321和显示有类型信息等的类型信息显示部分322。
在图55的Fy文件显示部分311的左上部，提供有作为GUI的运动信息标签331、细度信息标签332和全部信息标签333。这些标签用于选择是显示按时间序列表示运动信息的变化量曲线图(此后适当地称为运动信息曲线图)、按时间序列表示细度信息的变化量曲线图(此后适当地称为细度信息曲线图)、还是运动信息曲线图和细度信息曲线图二者。
当用户在如图55上部所示的运动信息标签331、细度信息标签332和全部信息标签333中执行例如用于选择运动信息标签331的操作时，在Fy文件显示部分311的曲线图显示部分321中显示运动信息曲线图。在Fy文件显示部分311的类型信息显示部分322中，显示按时间序列表示显示类型(基于运动信息的显示类型)的类型信息，所述类型信息是通过将运动信息与阈值H和L进行比较而确定的。此外，在Fy文件显示部分311中，还分别显示了指示在取景器51(图49)中所显示的帧(感兴趣帧)的位置的位置指示器312和指示阈值H和L的阈值指示器313H和313L，其中阈值H和L用于根据运动信息来确定显示类型。
当Fy文件中存储有运动信息和细度信息时，例如如参照图38至40所说明的，将运动信息与两个阈值H和L相比较，并且将细度信息与阈值K相比较。因此，根据运动信息和细度信息将图38所示的静态图像类型VC1、普通类型VC2、高显示速率/低分辨率类型VC3、或普通显示速率/低分辨率类型VC4确定为显示类型(最终显示类型)。
在这种情况下，当用户如图55下部所示在运动信息标签331、细度信息标签332、和全部信息标签333中执行例如用于选择全部信息标签333的操作时，在Fy文件显示部分311的图表显示部分321中显示运动信息曲线和细度信息曲线图。在Fy文件显示部分311的类型信息显示部分322中，显示类型信息，类型信息按时间序列表示基于运动信息和细度信息的显示类型，所述显示类型是通过将运动信息与阈值H和L进行比较、并且将细度信息与阈值K进行比较而确定的。此外，在Fy文件显示部分311中，还分别显示了指示取景器51(图49)中所显示的帧(感兴趣帧)的位置的位置指示器312和指示阈值H、L以及K的阈值指示器313H、313L以及313K，其中阈值H、L以及K被用于确定显示类型。
当用户在运动信息标签331、细度信息标签332、和全部信息标签333中执行用于选择例如细度信息标签332的操作时，如同执行用于选择运动信息标签331的情况，在Fy文件显示部分311的曲线图显示部分321中显示细度信息曲线图。在Fy文件显示部分311的类型信息显示部分322中，显示了按时间序列表示显示类型(基于细度信息的显示类型)的类型信息，所述类型信息是通过将细度信息与阈值K进行比较而确定的。此外，在Fy文件显示部分311中，还显示了指示了取景器51(图49)中显示的帧(感兴趣帧)的位置的位置指示器312和指示阈值K的阈值指示器313K，其中阈值K被用于确定显示类型。
将参照图56的流程图来说明当如参照图54和55所说明的那样在Fy文件中存储多种信息(值)诸如运动信息和细度信息作为变化量时，所执行的GUI显示处理。
运动信息和细度信息作为变化量存储在Fy文件中。例如，将运动信息和细度信息中的运动信息设定为作为感兴趣变化量的默认的感兴趣信息。此外，当Fy文件中没有存储作为默认的感兴趣信息的基于运动信息的显示类型时，在图48中的拖放处理的步骤S214中，Fy管理单元214(图43)根据运动信息确定显示类型，并将该显示类型写入到文件存储单元231中(图44)。
在GUI显示处理中，GUI控制单元211(图43)控制显示控制单元218(图43)来显示编辑窗口301(图49)。因此，显示控制单元218使显示器41显示编辑窗口301。在步骤S311中，显示控制单元218读出Fy文件管理单元214(图43)所管理的Fy文件，即存储在Fy文件管理单元214的文件存储单元231(图44)中的Fy文件。显示控制单元218使编辑窗口301的Fy文件显示部分311根据存储在Fy文件中的运动信息和细度信息中作为默认的感兴趣信息的运动信息，来显示变化量曲线图(运动信息曲线图)。
此外，显示控制单元218使Fy文件显示部分311根据从Fy文件管理单元214的文件存储单元231中读出的Fy文件中所存储的运动信息和细度信息显示例如如图55所示的运动信息标签331、细度信息标签332和全部信息标签333。处理从步骤S311进行到步骤S312。
在步骤S312中，显示控制单元218使编辑窗口301的Fy文件显示部分311(图51)的类型信息显示部分322根据存储在Fy文件管理单元214(图43)的文件存储单元231中的作为默认的感兴趣信息的基于运动信息的显示类型，来显示按时间序列表示显示类型的类型信息(按时间序列表示显示类型的布置的类型信息)。处理进行到步骤S313。
在步骤S313中，显示控制单元218使Fy文件显示部分311根据用于确定基于运动信息的显示类型的阈值H和L，来显示阈值指示器313H和313L(图55)，其中该阈值H和L作为存储在Fy文件管理单元214的文件存储单元231(图44)中的Fy文件中所存储的默认的感兴趣信息。
此后，处理从步骤S313进行到步骤S314。在步骤S314至S317中，执行与图50中的步骤S253至S256相同的处理。
在步骤S314中，显示控制单元218从GUI控制单元211获取关于拖放拨块54的位置的信息以及分配给拖放拨块54所定位的指定区间(图45)中的帧，即感兴趣帧(接收关于从GUI控制单元211提供的感兴趣帧的信息)。处理进行到步骤S315。
在步骤S315中，显示控制单元218使Fy文件显示部分311根据在紧接的前一步骤S314中从GUI控制单元211获取的感兴趣帧的信息来显示位置指示器312(图55)。显示控制单元218使Fy文件显示部分311在与分配到拖放拨块54所定位的指定区间的帧(感兴趣帧)相对应的位置中显示位置指示器312。
处理从步骤S315进行到步骤S316。GUI控制单元211判断键盘2或鼠标3是否被操作来结束编辑程序。
当在步骤S316中判断键盘2或鼠标3没有被操作来结束编辑程序时，处理进行到步骤S317。GUI控制单元211判断是否移动了拖放拨块54，即用户是否通过操作键盘2或鼠标3移动了拖放拨块54。
当在步骤S317中判断移动了拖放拨块54时，这意味着用户已经对键盘2或鼠标3进行了操作来移动拖放拨块54，并且对应于该操作的操作信号从键盘2或鼠标3被提供到GUI控制单元211。在这种情况下，GUI控制单元211将分配给拖放拨块54所定位的指定位置中(图45)的帧设置成感兴趣帧，并将关于感兴趣帧的信息提供给显示控制单元218。处理返回到步骤S314。此后，重复相同的处理。
另一方面，当在步骤S317中判断拖放拨块54没有移动时，处理进行到步骤S318。GUI控制单元211(图43)判断是否执行了用于选择步骤S311中显示的运动信息标签331、细度信息标签332、或全部信息标签333的操作。
当在步骤S318中判断没有执行用于选择运动信息标签331、细度信息标签332、或全部信息标签333的操作时，跳过此后描述的执行用于改变感兴趣帧的处理的步骤S319至步骤S322。处理进行到步骤S323。
当在步骤S318中判断执行了用于选择运动信息标签331、细度信息标签332、或全部信息标签333的操作时，这意味着用户已操作键盘2或鼠标3选择运动信息标签331、细度信息标签332、或全部信息标签333，并将对应于该选择的操作信号从键盘2或鼠标3提供给GUI控制单元211(图43)。在这种情况下，GUI控制单元211根据来自键盘2或鼠标3的操作信号将对应于运动信息标签331、细度信息标签332、和全部信息标签333中被选择的一个(此后适当地称为所选标签)的信息设置成感兴趣信息。处理进行到步骤S319。
当所选标签是运动信息标签331时，将作为对应于运动信息标签331的信息的运动信息设置成感兴趣信息。当所选标签是细度信息标签332时，将对应于细度信息标签332的细度信息设置成感兴趣信息。当所选标签是全部信息标签333时，将Fy文件中存储的所有变化量，即对对应于全部信息标签333的运动信息和细度信息二者都设置成感兴趣信息。
在步骤S319中，显示控制单元218(图43)读出Fy文件管理单元214管理的Fy文件，即存储在Fy文件管理单元214的文件存储单元231(图44)中的Fy文件。显示控制单元218使编辑窗口301的Fy文件显示部分311根据存储在Fy文件中的运动信息和细度信息中的感兴趣信息来显示变化量曲线图。
例如，当运动信息和细度信息中的运动信息是感兴趣信息时，在步骤S319中，显示控制单元218使Fy文件显示部分311运动信息曲线图，显示如图55上部所示。例如，当细度信息是感兴趣信息时，在步骤S319中，显示控制单元218使Fy文件显示部分311显示细度信息曲线图。此外，例如当运动信息和细度信息二者都是感兴趣信息时，在步骤S319中，显示控制单元218使Fy文件显示部分311显示运动信息曲线图和细度信息曲线图，如图55底部所示。
此后，处理从步骤S319进行到步骤S320。Fy文件管理单元214(图43)在显示类型确定单元233中将感兴趣信息与用于根据感兴趣信息确定显示类型的当前阈值(默认阈值或由阈值指示器313H、313L或313K(图55)的位置所体现的阈值H、L或K)进行比较，从而根据感兴趣信息来确定显示类型，并使文件存储单元231来存储该显示类型。处理进行到步骤S321。
在步骤S321中，显示控制单元218使Fy文件显示部分311根据基于存储在Fy文件管理单元214(图43)的文件存储单元231中的感兴趣信息的显示类型来显示按时间序列表示显示类型的类型信息(按时间序列表示显示类型的安排的类型信息)。处理进行到步骤S322。
在步骤S322中，显示控制单元218使Fy文件显示部分311根据用来确定显示类型的阈值H、L或K(其用于在紧接的前一步骤S320中确定显示类型)来显示阈值指示器313H、313L或313K(图55)，所述显示类型基于存储在Fy文件管理单元214的文件存储单元231(图44)中的感兴趣信息。
例如，当运动信息和细度信息中的运动信息是感兴趣信息时，在步骤S322中，显示控制单元218使Fy文件显示部分311在其上对应于用于根据运动信息来确定显示类型的阈值H和L的位置上显示阈值指示器313H和313L，如图55中的上部所示。
例如，当细度信息是感兴趣信息时，在步骤S322中，显示控制单元218使Fy文件显示部分311在其上对应于用于根据细度信息来确定显示类型的阈值K的位置上显示阈值指示器313K。
此外，例如当运动信息和细度信息二者都是感兴趣信息时，在步骤S322中，显示控制单元218使Fy文件显示部分311在其上对应于用于分别根据运动信息和细度信息来确定显示类型的阈值H、L和K的位置上显示阈值指示器313H、313L和313K如图55中的下部所示。
此后，处理从步骤S322进行到步骤S323。在步骤S323至S327中，执行与图53中的步骤S288至S292的处理相同的处理。
在步骤S323中，GUI控制单元211判断Fy文件显示部分311中显示的阈值指示器，即与用于根据感兴趣信息确定显示类型的阈值相对应的阈值指示器(阈值指示器313H、313L和313K中的一个)，是否开始移动，即用户是否已操作键盘2或鼠标3来移动阈值指示器。
当在步骤S323中判断Fy文件显示部分311中显示的阈值指示器没有开始移动时，处理返回到步骤S316。此后，重复相同的处理。
当在步骤S323中判断Fy文件显示部分311中显示的阈值指示器开始移动时，这意味着用户已操作键盘2或鼠标3来移动Fy文件显示部分311中显示的阈值指示器，并且对应于该操作的操作信号从键盘2或鼠标3被提供到GUI控制单元211。在这种情况下，GUI控制单元211根据来自键盘2或鼠标3的操作信号计算Fy文件显示部分311中显示的阈值指示器所移动到的位置。GUI控制单元211将表示位置的信息提供给显示控制单元218。处理进行到步骤S324。
在步骤S324中，显示控制单元218使Fy文件显示部分311在与来自GUI控制单元211的信息相对应的位置中显示阈值指示器，以取代阈值指示器紧接在该步骤之前的显示位置。处理进行到步骤S325。
在步骤325中，GUI控制单元211判断阈值指示器的移动是否结束，即用户是否结束了用来移动阈值指示器的键盘2或鼠标3的操作。
当在步骤S325中判断用于移动阈值指示器的操作没有结束时，这意味着用户继续操作键盘2或鼠标3来移动阈值指示器，并且将对对应于该操作的操作信号从键盘2或鼠标3提供给GUI控制单元211。在这种情况下，GUI控制单元211根据来自键盘2或鼠标3的操作信号计算阈值指示器所移动到的位置，并将表示位置的信息提供给显示控制单元218。处理返回到步骤S324。此后重复相同的处理。
另一方面，当在步骤S325中判断用于移动阈值指示器的操作结束的时候，这意味着用户结束了为移动阈值指示器而进行的键盘2或鼠标3的操作，并且对应于移动阈值指示器的操作的操作信号没有从键盘2或鼠标3被提供给GUI控制单元211。在这种情况下，GUI控制单元211将对应于结束阈值指示器移动的位置(垂直方向上)的阈值通过数据提供控制单元213(图43)提供给Fy文件管理单元214。处理进行到步骤S326。
如参照图50所说明的，由GUI控制单元211通过数据提供控制单元213提供给Fy文件管理单元214的阈值被提供给阈值处理单元242，该阈值处理单元242构成了Fy文件管理单元214(图44)的显示类型确定单元233的一部分。此后，阈值处理单元242使用通过数据提供控制单元213从GUI控制单元211提供的阈值执行处理，直到新的阈值被提供给阈值处理单元242或文件存储单元231中存储了新的Fy文件。
在步骤S326中，Fy文件管理单元214(图44)的显示类型确定单元233使用在该步骤紧接之前从GUI控制单元211通过数据提供控制单元213提供给阈值处理单元242的阈值来新(再次)确定显示类型，即由移动之后的阈值指示器所指示的阈值，以及作为感兴趣信息存储在Fy文件存储单元231中的Fy文件中的变化量。
显示类型确定单元233将作为感兴趣信息存储在Fy文件存储单元231中的Fy文件中的变化量与移动后的阈值指示器所指示的阈值进行比较。显示类型确定单元233根据比较结果再次确定基于感兴趣信息的显示类型。将显示类型确定单元233再次确定的基于感兴趣信息的显示类型写入到文件存储单元231中，覆盖Fy文件存储单元231中存储的显示类型。
当如上所述在步骤S326中确定了基于感兴趣信息的显示类型之后，处理进行到步骤S327。显示控制单元218(图43)在类型信息显示部分322中执行显示更新，用于使Fy文件显示部分311根据新写入到Fy文件管理单元214(图44)的文件存储单元231中的基于感兴趣信息的显示类型来显示按时间序列表示显示类型的类型信息(表示显示类型按时间序列的安排的类型信息)。处理返回到步骤S316。
当在步骤S316中判断，操作了键盘2或鼠标3来结束编辑程序时，这意味着用户已经操作键盘2或鼠标3来结束编辑程序，并且对应于该操作的操作信号从键盘2或鼠标3被提供给GUI控制单元211。在这种情况下，GUI显示处理结束。
在拖放中，以与显示速率相对应的周期检测拖放拨块54的位置。将分配给拖放拨块54所定位的指定区间的帧设置成感兴趣帧。在取景器51(图3)中显示感兴趣帧。
为了简化说明，假设显示速率是固定的。
如参照图45所说明的，将拖放条53的可移动范围划分成以与形成要进行拖放的运动图像的帧数相同数量而被提供的、并具有相同区间长度的指定区间。在这种情况下，当以固定速度移动拖放拨块54时，在单位时间内拖放拨块54移动固定的距离和固定数量的指定区间。因此，如上所述，如果显示速率是固定的，则当以固定的速度将拖放拨块54移动固定的距离时，显示固定数量的帧。这不取决于拖放条53在可移动范围中的何种范围中移动。
例如，在将要进行拖放的运动图像中，存在其中具有剧烈运动的帧连续的区间(此后适当地称为具有运动的区间)和不具有运动的帧连续的区间(此后适当地称为无运动的区间)。在这种情况下，在拖放条53的可移动范围中，即使以固定的速度将拖放拨块54在分配了具有运动的区间中的帧的指定区间的范围中以及在分配了无运动的区间中的帧的指定区间的范围中移动固定的距离，取景器51中所显示的帧数也是相同的。
然而，当在分配了具有运动的区间中的帧的指定区间的范围中移动拖放拨块54时，由于具有运动的区间中的帧具有剧烈的运动，取景器51中显示的图像发生了很大程度的变化(移动)。
另一方面，当在分配了无运动的区间中的帧的指定区间的范围中移动拖放拨块54时，由于无运动的区间中的帧不具有运动(具有很小的运动)，因此取景器51中显示的图像不发生变化(变化很小)。
因此，在将拖放条53的可移动范围划分成具有相同区间长度的指定区间的情况下，当以固定的速度将拖放拨块54移动固定的距离时，在某些范围中，取景器51中显示的图像发生很大变化，而在另一些范围中不发生变化。
在分配了无运动的区间中的帧的指定区间的范围中，即使将拖放拨块54移动一定的程度，取景器51中显示的图像也不发生变化。因此，用户操作拖放拨块54有时会感到不悦。
另一方面，在分配了具有运动的区间中的帧的指定区间的范围中，当将拖放拨块54移动一定程度时，取景器51中显示的图像发生很大的变化。因此，为了找到想要的图像的帧，用户操作拖放拨块54有时需要对拖放拨块54执行精确(小心)的操作。
因此，不固定分配了帧的指定区间的区间长度，而是根据例如作为分配给指定区间的帧的变化量的运动信息，对分配了帧的指定区间的区间长度进行加权。这使得当具有作为变化量的较大运动信息的帧被分配给指定区间时，可以将拖放条53的可移动范围划分成具有具有较大区间长度的指定区间。
图57是示出了对指定区间的区间长度进行加权的权重的示例。
在图57中，横坐标表示帧(从顶部开始的帧的位置)，纵坐标表示作为变化量的运动信息。
在图57中，使用满足关系L1＞L2＞L3＞L4的阈值L1、L2、L3和L4。将用于分配了运动信息等于或大于阈值L1的帧的指定区间的区间长度的权重w设置成例如1。将用于分配了运动信息等于或大于阈值L2且小于阈值L1的帧的指定区间的区间长度提供的权重w设置成例如0.7。将用于分配了运动信息等于或大于阈值L3且小于阈值L2的帧的指定区间的区间长度的权重w设置成例如0.5。将用于分配了运动信息等于或大于阈值L4且小于阈值L3的帧的指定区间的区间长度的权重w设置成例如0.3。此外，将用于分配了运动信息小于阈值L4的帧的指定区间的区间长度的权重w设置成例如0.1。
例如，如以下所说明的，可以使用权重w来计算加权的区间长度。
将具有由相同权重w进行加权的区间长度的指定区间称为相同权重区间。将分配给形成要进行拖放的运动图像的帧的指定区间序列划分成Q个相同权重区间。
在Q个相同权重区间中形成从顶部开始的第q个相同权重区间的指定区间的数量以及分配给形成第q个相同权重区间的指定区间的帧的数量被表示为Fq。给予形成第q个相同权重区间的每个指定区间的区间长度的权重被表示为wq。
将要进行拖放的运动图像的帧的总数F被表示为F＝F1+F2+...+FQ。
假设可移动范围的长度为1，当指定区间的区间长度没有被加权时，将指定区间的区间长度表示为1/F。
另一方面，当区间长度被加权时，将形成从顶部开始的第q个相同权重区间的指定区间的区间长度表示为wq/(∑wiFi)。由于从顶部开始的第q个相同权重区间的长度被表示为wqFq/(∑wiFi)，通过将wqFq/(∑wiFi)除以形成第q个相同权重区间的指定区间的数量(分配给该指定区间的帧数)Fq，可以在区间长度被加权的时候计算形成从顶部开始第q个相同权重区间的指定区间的区间长度。∑wiFi表示当下标i从1变到Q时wiFi的总和。
可以计算在使用相同权重w对区间长度进行加权时没有通过设定所有的权重w1，w2，...，wQ而对区间长度加权的时候的指定区间的区间长度。如上所述，对区间长度进行加权时形成从顶部开始的第q个相同权重区间的指定区间的区间长度是wq/(∑wiFi)。当将w1，w2，...，和wQ设置成相同权重w时，wq/(∑wiFi)＝w/(w∑Fi)＝1/∑Fi＝1/F。
在图57中使用与用于确定显示类型的阈值无关的四个阈值L1、L2、L3和L4来计算分配给帧的指定区间的区间长度的权重。然而，除此之外，也可以使用用于确定显示类型的阈值来计算区间长度的权重w。
图58是示出了使用用于根据运动信息确定显示类型的阈值H和L所计算的权重的示例的图。
在图58中，横坐标表示帧(从顶部开始的帧的位置)，纵坐标表示用作变化量的运动信息。
在图58中，将用于分配了运动信息等于或大于阈值H的帧指定区间的区间长度的权重w设置成例如0.5。将用于分配了运动信息等于或大于阈值L且小于阈值H的帧的指定区间的区间长度提供的权重w设置成例如0.3。将用于分配了运动信息小于阈值L的帧的指定区间的区间长度的权重w设置成例如0.1。
此外，例如，当根据帧的运动信息来确定帧的显示类型时，可根据该显示类型来确定分配给各帧的指定区间的区间长度的权重w。
当根据运动信息来确定显示类型时，显示类型表示帧的运动程度。更具体地，例如如图20中所示，当根据运动信息将静态图像类型V1、普通类型V2或高显示速率/低分辨率类型V3确定为显示类型时，原则上，静态图像类型V1的帧是运动信息小于阈值L的帧，普通类型V2的帧是运动信息等于或大于阈值L且小于阈值H的帧。高显示速率/低分辨率类型V3的帧是运动信息等于或大于阈值H的帧。
因此，如何在使用参照图58所说明的阈值H和L的情况下，可分别将用于分配有静态图像类型V1的帧的指定区间的区间长度的权重w、用于分配将普通类型V2的帧的指定区间的区间长度的权重w、以及用于分配有高显示速率/低分辨率类型V3的帧的指定区间的区间长度的权重w设定为0.1、0.3和0.5。
当根据帧的显示类型确定用于分配给帧的指定区间的区间长度的权重时，其中静态图像类型V1的帧连续的静态图像区间、其中普通类型V2的帧连续的普通区间、以及其中高显示速率/低分辨率类型V3的帧连续的高显示速率/低分辨率区间都是相同权重的区间。
图59是分别示出了对区间长度进行加权时和不对区间长度进行加权时的指定区间的图。
当不对区间长度进行加权时，如图59的上半部所示，将拖放条53的可移动范围划分成以与形成将要进行拖放的运动图像的帧的数量相同的数量提供的、并且具有相同区间长度的区间。如图45所说明的，将形成要进行拖放的运动图像的帧按时间序列从左边的指定区间开始分配。
当不对区间长度进行加权时，为所有静态图像区间、普通区间和高显示速率/低分辨率区间中的各帧分配的指定区间的区间长度是d，其中在静态图像区间中静态图像类型V1的帧连续，在普通区间中普通类型V2的帧连续，在高显示速率/低分辨率区间中高显示速率/低分辨率类型V3的帧连续。
另一方面，当对区间长度进行加权时，如图59的下半部所示，将拖放条53的可移动范围划分成指定区间。如参照图45所说明的，将形成要进行拖放的运动图像的帧按时间序列从左边的指定区间开始分配。然而，在分配有用作为变化量的运动信息较大的帧的指定区间中，区间长度较大。
在图59中，分配给静态图像区间的帧即没有运动的帧的指定区间的区间长度为d/2，该长度是在不对区间长度加权时的区间长度d的1/2倍，其中在静态图像区间中，静态图像类型V1的帧连续。分配给普通区间的帧即有运动但运动不强烈的帧的指定区间的区间长度为d，该区间长度与不对区间长度进行加权时的区间长度d同样大，其中在普通区间中普通类型V2的帧连续。此外，分配给高显示速率/低分辨率区间的帧即具有剧烈运动的帧的指定区间的区间长度为3d，该区间长度是不对区间长度进行加权时的区间长度d的三倍，其中在高显示速率/低分辨率区间中高显示速率/低他辨率类型V3的帧连续。
因此，在对区间长度进行加权的过程中，当将拖放拨块54移动不对区间长度进行加权时的移动量的1/2时，静态图像区间中的帧的显示结束。结果，即使拖放拨块54被移动了一定程度，由于取景器51中显示的图像没有变化，因此可以避免用户在操作拖放拨块54时感到移动拖放拨块54令人不悦。
在对区间长度进行加权的情况下，当将拖放拨块54移动不对区间长度进行加权时的移动量的3倍时，取景器51中显示的感兴趣帧从高显示速率/低分辨率区间中的一个帧变化到下一个帧。因此，用户可以容易地找到想要的图像的帧，而无需那么精确(小心)地操作拖放拨块54。
在图59中，显示了在水平方向上的刻度与拖放条53的可移动范围的刻度相同的类型信息(按时间序列表示显示类型的带状区域的GUI)。
在水平方向上的刻度与拖放条53的可移动范围的刻度相同的类型信息中，拖放拨块54位置上的类型信息(的图案)表示分配给拖放拨块54所定位的指定区间的帧的显示类型。
在图59中，在作为类型信息的带状区域中，带有斜线的区域D1表示其中静态图像类型V1的帧连续的静态图像区间，没有图案的区域D2表示其中普通类型V2的帧连续的普通区间。水平线区域D3表示其中高显示速率/低分辨率类型V3的帧连续的高显示速率/低分辨率区间。
在图59中，如上所述，当对区间长度加权时，分配给静态图像区间中的帧的指定区间的区间长度为d/2，该长度是在不对区间长度加权时的区间长度d的1/2，其中在静态图像区间中静态图像类型V1的帧连续。因此，当对区间长度进行加权时表示静态图像区间的区域D1的水平方向上的长度也是不对区间长度加权时的水平方向上的长度的1/2。
在图59中，当对区间长度加权时，分配给普通区间的帧的指定区间的区间长度为d，该长度与不对区间长度加权时的区间长度d相同，其中在普通区间中普通类型V2的帧连续。因此，当对区间长度进行加权时表示普通区间的区域D2的水平方向上的长度也与不对区间长度加权时的该水平方向上的长度相同。
此外，在图59中，当对区间长度加权时，分配给高显示速率/低分辨率区间中的帧的指定区间的区间长度为3d，该长度是不对区间长度加权时的区间长度d的3倍，其中在高显示速率/低分辨率区间中高显示速率/低分辨率类型V3的帧连续。因此，当对区间长度进行加权时表示高显示速率/低分辨率区间的区域D3的水平方向上的长度也是不对区间长度加权时的该水平方向上的长度的3倍。
如上所述，当对区间长度进行加权时，类型信息取决于加权后的区间长度，并且与不对区间长度进行加权时的类型信息不同(换句话说，当不对区间长度进行加权时，类型信息与对区间长度进行加权时的类型信息不同)。
在图43的编辑系统中，提供用于对指定区间的区间长度进行加权的加权开模式和用于不对区间长度加权的加权关模式作为操作模式。可以根据用户的操作将操作模式切换成加权开模式或加权关模式。
以下，将参照图60的流程图来说明通过图43中的编辑系统对指定区间的区间长度所应用的处理(关于区间长度的处理)。
在编辑窗口301(图49)中提供有未示出的加权按钮，该加权按钮用于将操作模式切换到加权开模式或加权关模式。当用户操作该加权按钮时，操作模式切换到加权开模式或加权关模式。
假设拖放条53的可移动范围的长度为1。
在关于区间长度的处理中，在步骤S351中，GUI控制单元211判断操作模式是否被切换。当在步骤S351中判断操作模式被切换到加权开模式时，处理进行到步骤S352。GUI控制单元211根据Fy文件管理单元214(图44)的文件存储单元231中存储的Fy文件的变化量或显示类型，计算如上所述给予为帧分配的每个指定区间的区间长度的权重。处理进行到步骤S353。
在步骤S353中，GUI控制单元211根据给予为该帧分配的每个区间的区间长度的权重，计算每个指定区间的加权区间长度。
当在步骤S352中根据变化量或显示类型来如上所述计算给予为该帧分配的每个指定区间的区间长度的权重时，GUI控制单元211将其中具有由相同权重w加权的区间长度的指定区间连续的区间识别为相同权重的区间。
如上所述，将分配给形成将要进行拖放的运动图像的帧的指定区间序列划分成Q个相同权重区间。接下来，GUI控制单元211使用形成Q个相同权重区间中从顶部开始的第q个相同权重区间的指定区间的数量Fq以及在步骤S353中计算的给予形成第q个相同权重区间的指定区间的区间长度的权重wq，计算形成从顶部开始的第q个相同权重区间的指定区间的区间长度wq/(∑wiFi)。
在步骤S353中计算了形成Q个相同权重区间中的每个区间的指定区间的区间长度wq/(∑wiFi)之后，GUI控制单元211将指定区间的区间长度wq/(∑wiFi)提供给显示控制单元218(图43)。处理进行到步骤S354。GUI控制单元211将划分取景器51中显示的拖放条53的可移动范围的指定区间的区间长度设置成(改变成)步骤S353中计算的区间长度。处理进行到步骤S355。
例如，如图51所示，当在Fy文件显示部分311中显示类型信息时，在步骤S355中，显示控制单元218根据步骤S353中从GUI控制单元211提供的指定区间的区间长度wq/(∑wiFi)来改变参照图59所说明的Fy文件显示部分311中显示的类型信息。处理返回到步骤S351。
另一方面，当在步骤S351中判断操作模式被切换到加权关模式时，处理进行到步骤S356。GUI控制单元211将分配给该帧的每个指定区间的区间长度设置成(改变成)相同的长度1/F，并将区间长度1/F提供给显示控制单元218。处理进行到步骤S357。如上所述，F表示形成将要进行拖放的运动的图像的帧的总数。
例如，如图51所示，当在Fy文件显示部分311中显示类型信息时，在步骤S357中，显示控制单元218根据步骤S356中从GUI控制单元211提供的区间长度1/F来改变Fy文件显示部分311中显示的类型信息。处理返回到步骤S351。
在Fy文件显示部分311中，显示表示分配范围的显示分配范围信息，所述分配范围是拖放条53的可移动范围中分配给开头指定区间到末尾指定区间的帧的范围。可以将由分配范围信息所表示的分配范围中的开头帧到末尾帧分配给拖放条53的可移动范围中的开头指定区间到末尾指定区间。
图61是示出了Fy文件显示部分311的显示的示例的图，在Fy文件显示部分311中显示作为分配范围信息的的范围指定指示器351S和351E。
如参照图51所说明的，图61中的Fy文件显示部分311包括曲线图显示部分321和类型信息显示部分322。Fy文件显示部分311中显示了变化量曲线图、类型信息、位置指示器312、和阈值指示器313H和313L。
此外，在图61的Fy文件显示部分311中，显示表示分配范围的范围指定指示器351S和351E，所述分配范围是拖放条53的可移动范围中分配给开头指定区间到末尾指定区间的帧的范围。
将把拖放条53的可移动范围中的开头指定区间到末尾指定区间分配给要进行拖放的运动图像的开头帧到末尾帧的状态称为默认分配状态。在默认分配状态中，如参照图49所说明的，如果通过将显示有变化量曲线图的Fy文件显示部分311的区域水平方向上的长度乘以一个预定的数，将显示有变化量曲线图的Fy文件显示部分311的区域的水平方向上的长度和拖放条53的可移动范围的长度设置成相同的长度，则Fy文件显示部分311中显示的位置指示器312的位置和拖放拨块54的位置相互一致。
因此，可以认为将要进行拖放的运动图像的开头帧到末尾帧对应于显示有变化量曲线图的Fy文件显示部分311的区域的水平方向中的各个位置。位置指示器312在显示有变化量曲线图的Fy文件显示部分311的区域的水平方向上的位置之中被与取景器51中显示的帧(感兴趣帧)相对应的位置上被显示。
范围指定指示器351S和351E是垂直方向上延伸的、并与信号指示器312平行的线段的GUI。范围指定指示器351S和351E显示在Fy文件显示部分311的曲线图显示部分321中。此外，用户可以通过操作键盘2或鼠标3在显示有Fy文件显示部分311(的曲线图显示部分321)的变化量曲线图的区域中的水平方向上移动范围指定指示器351S和351E。
然而，范围指定指示器351S比范围指定指示器351E更向右边的移动，换句话说，范围指定指示器351E比范围指定指示器351S更向左边的移动，受到限制。因此，可以在从显示有变化量曲线图的Fy文件显示部分311的区域的左端到范围指定指示器351E的位置的范围内移动范围指定指示器351S。可以在从范围指定指示器351S的位置到显示有变化量曲线图的Fy文件显示部分311的区域的右端的范围内移动范围指定指示器351E。
根据范围指定指示器351S和351E，在形成将要进行拖放的运动图像的帧中，将对应于范围指定指示器351S的位置的帧到对应于范围指定指示器351E的位置的帧的范围(分配范围)内的帧分配给拖放条53的可移动范围内的开头指定区间到末尾指定区间。
因此，当拖放拨块54定位在可移动范围的左端时，将对应于范围指定指示器351S的位置的帧设置成取景器51上显示的感兴趣帧。当拖放拨块54定位在可移动范围的右端时，将对应于范围指定指示器351E的位置的帧设置成取景器51上显示的感兴趣帧。
在范围指定指示器351S定位在显示有变化量曲线图的Fy文件显示部分311的区域的最左端，并且范围指定指示器351E定位在显示有变化量曲线图的Fy文件显示部分311的区域的右端的状态下，将拖放条53的可移动范围中的开头指定区间到末尾指定区间分配给将要进行拖放的运动图像的开头帧到末尾帧。因此，该状态为默认的分配状态。
在默认分配状态下，当拖放拨块54定位在可移动范围的末端时，把将要进行拖放的运动图像的开头帧设置成取景器51上显示的感兴趣帧。当拖放拨块54定位在可移动范围的最右端时，把将要进行拖放的运动图像的末尾帧设置成取景器51上显示的感兴趣帧。
在默认分配状态下，如上所述，将拖放条53的可移动范围中的开头指定区间到末尾指定区间分配给将要进行拖放的运动图像的开头帧到末尾帧。
因此，例如，当将要进行拖放的运动图像的帧的数量很大时，指定区间的区间长度很短。因此，即使当拖放拨块54移动很小一部分时，设置成显示在取景器51中的感兴趣帧的帧也在拖放拨块54移动的前后也发生很大的改变(分配给移动之后的拖放拨块54所定位的指定区间的帧与分配给移动之前的拖放拨块54所定位的指定区间的帧之间相隔大量的帧)。结果，难于找到想要的图像的帧。
因此，在形成将要进行拖放的运动图像的帧中，移动范围指定指示器351S和351E将从对应于范围指定指示器351S的位置的帧到对应于范围指定指示器351E的位置的帧的范围(分配范围)内的帧分配给拖放条53的可移动范围中的开头指定区间到末尾指定区间中。这使得可以容易地找到想要的图像的帧。
通过移动范围指定指示器351S或351E，可以将一部分范围设定成分配范围(分配给拖放条53的可移动范围内的开头指定区间到末尾指定区间的帧的范围)，而不是整个范围，所述一部分范围是在形成将要进行拖放的运动图像的帧中，从对应于范围指定指示器351S的位置的帧到对应于范围指定指示器351E的位置的帧的范围，即形成将要进行拖放的运动图像的开头帧到末尾帧。
通过把将要进行拖放的运动图像的范围的一部分设置成分配范围，与将整个范围设置成分配范围的情况相比，减少了拖放条53的可移动范围中的从开头指定区间到末尾指定区间的所分配的帧的数量。结果，指定区间的区间长度增加了。
因此，可以避免由于指定区间的区间长度短，而造成设置成取景器51中所显示的感兴趣帧的帧在拖放拨块54移动前后发生很大变化。因此，可以简单地找到想要的图像的帧。
当分配给拖放拨块54所定位的指定区间的帧附近的图像中没有运动时，即使设置成取景器51中所显示的感兴趣帧的帧在拖放拨块54移动前后发生很大变化，取景器51中显示的图像也不会发生变化。因此，即使设置成取景器51中所显示的感兴趣帧的帧在拖放拨块54移动前后发生很大变化，也不会阻碍用户查找想要的图像。
另一方面，当分配给拖放拨块54所定位的指定区间的帧附近的图像具有强烈运动时，当设置成取景器51中所显示的感兴趣帧的帧在拖放拨块54移动前后发生很大变化时，取景器51中显示的图像会发生很大的变化。因此，如果设置成取景器51中的感兴趣帧的帧在拖放拨块54移动前后发生很大变化，这将阻碍用户查找想要的图像。
因此，把将要进行拖放的运动图像中的具有图像的剧烈运动的帧的区间设置成分配范围是有效的(通过把将要进行拖放的运动图像中的具有图像的剧烈运动的帧的区间设置成分配范围，可很容易找到想要的图像的帧)。
在Fy文件显示部分311中，如果将运动信息作为变化量存储在Fy文件中，则显示运动信息的曲线图(运动信息曲线图或变化量曲线图)，并显示表示根据运动信息确定的显示类型的类型信息。
用户可以通过观看Fy文件显示部分311中显示的运动信息曲线图和类型信息而容易地识别出具有图像的剧烈运动的区间。此外，用户可以操作范围指定指示器351S和351E将该区间设置成分配范围。
由于范围指定指示器351S和351E指示分配范围，该分配范围即分配给拖放条53的可移动范围中开头指定区间到末尾指定区间的帧的范围，因此，范围指定指示器351S和351E也可以被称为分配范围信息。此外，由于在指定分配范围时操作范围指定指示器351S和351E，因此，范围指定指示器351S和351E也可以称为范围指定操作装置。
此后还将范围指定指示器351S和351E中的范围指定指示器351S适当地称为起始点指示器351S。还将范围指定指示器351E适当地称为结束点指示器351E。
以下将参照图62的流程图来说明根据参照图61所说明的范围起始点指示器351S和结束点指示器351E来设置分配给拖放条53的可移动范围的(指定区间的)帧的范围(分配范围)的分配范围设置处理。
在步骤S371中，GUI控制单元211(图43)控制显示控制单元218来使Fy文件显示部分311显示起始点指示器351S和结束点指示器351E。处理进行到步骤S372。
在分配范围设置处理开始后紧接着执行的步骤S371中，在显示有变化量曲线图的Fy文件显示部分311的区域的左端和右端的位置上，分别显示了起始点指示器351S和结束点指示器351E。作为替换方案，将起始点指示器351S和结束点指示器351E显示在与上一次编辑程序的执行结束时起始点指示器351S和结束点指示器351E的位置相同的位置上。
在步骤S372中，GUI控制单元211(图43)在形成将要进行拖放的运动图像的帧中，设定从对应于起始点指示器351S的位置的帧到对应于结束点指示器351E的位置的帧的范围。GUI控制单元211将分配范围中的帧分配给拖放条53的可移动范围。
如果为了简化说明而不考虑对指定区间的长度进行加权的话，GUI控制单元211将拖放条53的可移动范围划分成指定区间，具有通过将拖放条53的可移动范围的长度除以分配范围中的帧数而获得的高。GUI控制单元211将分配范围内的帧分配给可移动范围中的开头指定区间到末尾指定区间。
处理从步骤S372进行到步骤S373。GUI控制单元211判断起始点指示器351S或结束点指示器351E(图61)是否开始移动，即用户是否操作了键盘2或鼠标3来移动起始点指示器351S或结束点指示器351E。
当在步骤S373中判断起始点指示器351S和结束点指示器351E都没有开始移动时，处理返回到步骤S373。
当在步骤S373中判断起始点指示器351S或结束点指示器351E开始移动时，这意味着用户已经操作了键盘2或鼠标3而移动起始点指示器351S或结束点指示器351E，并且与该操作相对应的操作信号从键盘2或鼠标3被提供给GUI控制单元211。在这种情况下，GUI控制单元211根据来自键盘2或鼠标3的操作信号，计算起始点指示器351S或结束点指示器351E移动到的位置。GUI控制单元211将表示位置的信息提供给显示控制单元218。处理进行到步骤S374。
在步骤S374中，显示控制单元218使起始点指示器351S或结束点指示器351E处于对应于来自GUI控制单元211的信息的位置中，而不是在该步骤紧接之前指示器所被显示的位置。处理进行到步骤S375。
在步骤S375中，GUI控制单元211判断起始点指示器351S或结束点指示器351E的移动是否完成，即用户是否完成了用于移动起始点指示器351S或结束点指示器351E的键盘2或鼠标3的操作。
当在步骤S375中判断用于移动起始点指示器351S或结束点指示器351E的操作没有结束时，这意味着用户继续操作键盘2或鼠标3来移动起始点指示器351S或结束点指示器351E，并且对应于该操作的操作信号从键盘2或鼠标3被提供到GUI控制单元211。在这种情况下，GUI控制单元211根据来自键盘2或鼠标3的操作信号，计算起始点指示器351S或结束点指示器351E移动到的位置，并将表示该位置的信息提供给显示控制单元218。处理返回到步骤S374。此后，重复相同的处理。
根据步骤S373至S375中的处理，根据用于移动起始点指示器351S或结束点指示器351E的操作，在水平方向上移动起始点指示器351S或结束点指示器351E。
另一方面，当在步骤S375中判断用于移动起始点指示器351S或结束点指示器351E的操作完成了的时候，这意味着用户完成了移动起始点指示器351S或结束点指示器351E的键盘2或鼠标3操作，并且与用于移动起始点指示器351S或结束点指示器351E的操作相对应的操作信号没有从键盘2或鼠标3被提供到GUI控制单元211。在这种情况下，GUI控制单元211识别移动后的起始点指示器351S或结束点指示器351E的位置(水平方向上)。处理返回到步骤S372。GUI控制单元211在形成将要进行拖放的运动图像的帧中，将从对应于起始点指示器351S的位置的帧到对应于结束点指示器351E的位置的帧的范围设置成分配范围。GUI控制单元211将分配范围中的帧分配给拖放条53的可移动范围。此后，重复相同的处理。
如上所述，用户可以通过操作作为GUI的起始点指示器351S或结束点指示器351E而容易地在形成运动图像的帧之中改变要进行拖放的帧(分配给拖放条53的可移动范围的帧)的范围(分配范围)。
例如当编辑程序结束时，图62中的分配范围设置处理结束。
在拖放中，可以根据例如帧的显示类型来改变取景器51中显示的帧的图像的尺寸。
图63是示出了在根据帧的显示类型改变取景器51中所显示的帧的图像的尺寸时取景器51的显示示例的图。
例如根据运动信息，将参照图20所说明的静态图像类型V1、普通类型V2或高显示速率/低分辨率类型V3确定为帧的显示类型。
图63左边起第一幅图示出了当取景器51中显示静态图像类型V1的帧的图像时的显示示例的图。
在图43的编辑系统中，例如，事先为静态显示图像类型V1的帧的图像设定默认尺寸。取景器51在将对角线长度或水平和垂直长度调整到事先设定的默认尺寸的情况下显示静态显示图像类型V1的帧的图像。
图63从左边第二幅图示出了当取景器51中显示普通类型V2的帧的图像时的显示示例的图。
在图43的编辑系统中，例如，为普通类型V2的帧的图像设置大小为默认尺寸1.5倍的尺寸。取景器51在将对角线长度或水平和垂直长度调整到1.5倍于默认尺寸的的情况下显示普通类型V2的帧的图像。
图63从左边第三幅图(从右边第一幅图)示出了当取景器51中显示高显示速率/低分辨率类型V3的帧的图像时的显示示例的图。
在图43的编辑系统中，例如，为高显示速率/低分辨率类型V3的帧的图像设置大小为默认尺寸2倍的尺寸。取景器51在对角线长度或水平和垂直长度调整到2倍于默认尺寸的情况下显示普通类型V2的帧的图像。
由于普通类型V2的帧的图像具有一定程度的运动，通过以如上所述的大尺寸来显示普通类型V2的帧的图像，因此，用户可以查看图像的运动细节。
由于高显示速率/低分辨率类型V3的帧的图像具有剧烈的运动，通过以如上所述的更大尺寸来显示高显示速率/低分辨率类型V3的帧的图像，用户也可以查看图像的动作细节。
此外，如上所述，通过以对于每种显示类型而不同的尺寸来显示图像，用户可以容易地识别出取景器51中显示的图像帧的显示类型以及运动程度。
在图63中，以对于基于运动信息而确定的每种显示类型而不同的尺寸来显示图像。此外，例如，也可以以对于基于细度信息而确定的每种显示类型而不同的尺寸来显示图像。
当在对于基于细度信息而确定的每种显示类型而不同的尺寸来显示图像时，例如，通过以较大尺寸来显示具有较大细度程度的、具有基于细度信息而确定的显示类型的图像，用户可以容易地查看图像的细节。
在参照图48所说明的拖放处理中，在步骤S222中显示图像时，可以以对应于显示类型的尺寸来显示图像。
将参照图64的流程图来说明图48中步骤S222所进行的处理(显示处理)，该处理用于以对应于显示类型的尺寸来显示图像。
例如，如上所述，参照图20所说明的静态图像类型V1、普通类型V2、或高显示速率/低分辨率类型V3被确定为显示类型。如参照图63所说明的，为静态图像类型V1的帧的图像设定默认尺寸。例如，为普通类型V2的帧的图像设置大小为默认尺寸1.5倍的尺寸。此外，例如，为高显示速率/低分辨率类型V3的帧的图像设置大小为默认尺寸2倍的尺寸。
在步骤S391中，显示控制单元218(图43)判断分配给拖放拨块54所定位的指定区间的帧(感兴趣帧)的显示类型是静态图像类型V1、普通类型V2和高显示速率/低分辨率类型V3中的哪一个，其中该显示类型从显示类型获取单元215(图43)提供。
当在步骤S391中判断感兴趣帧的显示类型是静态图像类型V1时，处理进行到步骤S392。显示控制单元218使取景器51以默认尺寸显示对应于存储在帧缓存器218A(图43)中的图像数据的图像，如从图63左边第一幅图所示。
当在步骤S391中判断感兴趣帧的显示类型是普通类型V2时，处理进行到步骤S393。显示控制单元218使取景器51以1.5倍于默认尺寸的尺寸显示对应于存储在帧缓存器218A中的图像数据的图像，如从图63左边第二幅图所示。
当在步骤S391中判断感兴趣帧的显示类型是高显示速率/低分辨率类型V3时，处理进行到步骤S394。显示控制单元218使取景器51以2倍于默认尺寸的尺寸显示对应于存储在帧缓存器218A中的图像数据的图像，如从图63左边第三幅图所示。
当以大于默认尺寸的尺寸显示图像时，取景器51的尺寸也增大。结果，编辑窗口301在取景器51以默认尺寸显示时可视的部分区域隐藏在增大尺寸的取景器51之后而变得不可视。因此，当增大取景器51的尺寸时，可以在例如半透明状态下来显示取景器51中的图像。在这种情况下，可以避免编辑窗口301在取景器51以默认尺寸显示时可视的部分区域隐藏在增大尺寸的取景器51之后而变得不可视。
只有在操作(例如拖动)拖放拨块54时，才可以根据如上所述的显示尺寸来改变取景器51(中所显示的图像)的尺寸，并且在停止操作拖放拨块54时，将尺寸设置成默认尺寸。
此外，除了根据感兴趣帧的显示类型以外，还可以根据用户对拖放拨块54的操作来改变图像的尺寸。
通常，在搜索想要的图像时，当用户对取景器51中显示的图像不是那么感兴趣时，用户操作拖放拨块54快速移动。相反，当用户对图像感兴趣时，用户操作拖放拨块54缓慢移动。
因此，当拖放拨块54被快速移动时，可以以默认尺寸显示图像。当缓慢移动拖放拨块54时，可以以大于默认尺寸的尺寸来显示图像。通过这种方式，用户可以容易地找到想要的图像。
在图63中，由于改变了整个取景器51的尺寸，因此拖放条53的尺寸也改变了。然而，当在操作拖放条53的过程中改变拖放条53的尺寸时，可能会难于操作拖放条53。因此，希望不改变拖放条53的尺寸(例如希望仅改变取景器51的显示部分52(图3)的尺寸)。
在以上所说明的发明中执行了拖放处理。然而除了执行拖放以外，还可在执行可变速再现(n倍速再现)时应用本发明。
在这种实施方式中，作为在指定取景器51中显示的帧时所操作的手段，采用具有拖放拨块54的拖放条53，并根据拖放拨块54的位置指定取景器51中显示的帧。此外，还可以通过操作例如(真实的)所谓的滚动拨盘(jog dial)、滑动环(shuttle ring)等(不是GUI)来指定取景器51中显示的帧。
在这种实施方式中，为每个帧计算表示运动图像的图像数据的变化程度的变化量(运动信息或细度信息)，根据该变化量为每一个帧确定显示类型，并使用该显示类型执行用于拖放的各种处理。此外，例如当声音数据伴随着运动图像时，可相据其声音数据的级别(功率)自身或表示声音数据中的变化程度的值来确定显示类型。例如，在声音数据的级别从小变到大(具有声音的顶点)的帧中，这非常像显示一幅有趣场景的图像。因此，例如当在某种程度上，运动信息较大时，可将具有高显示速率的显示类型确定为声音数据的级别从小变到大的帧的显示类型。例如当在某种程度上，细度信息较大时，可将具有高分辨率的显示类型确定为帧的显示类型。
在这种实施方式中，假设光盘7是记录有主数据和代理数据的专业盘，使用记录在光盘7中的主数据和代理数据，即具有两种分辨率的图像数据，来执行拖放。此外，可使用例如具有一种分辨率或三种或更多种分辨率的图像数据来执行拖放。
在这种实施方式中，为了解决查找(seek)的问题，图22中的显示类型确定单元93(图44中的显示类型确定单元233)判断变化量等于或大于阈值或小于阈值的帧是否以最小极限帧数N连续(对连续性的判断)。然而，如果无需解决查找的问题，可根据变化量是否等于或大于阈值还是小于阈值来确定显示类型。
在这种实施方式中，为每个帧计算变化量，并根据该变化量为每个帧确定显示类型。然而，也可以为每多个帧计算变化量。也可以为每多个帧确定显示类型。
图65是例如形成作为多个帧的一个GOP的每个帧的(单位)的变化量的曲线图。在图65中，横坐标表示帧，纵坐标表示变化量。
在图65中，粗体线表示形成一个GOP的每个帧的变化量。作为形成一个GOP的每个帧的变化量，可采用例如形成该一个GOP的所有帧的变化量的平均值、在形成一个GOP的帧中的I个图片中的变化量等。
如图65所示，当计算形成一个GOP的每个帧的变化量时，可以用与从每个帧的变化量来确定每个帧的显示类型相同的方式，根据该变化量来确定形成一个GOP的每个帧的(单元)显示类型。
例如不仅根据形成一个GOP的每个帧的变化量，也可以根据每个帧的变化量为形成作为多个帧的一个GOP的每个帧确定显示类型。
图66是存储了每个帧的变化量和每个帧的显示类型二者的Fy文件的图。
例如，当一个GOP由15个帧形成时，例如可将形成一个GOP的15个帧中使用率最高的显示类型确定为形成一个GOP的15个帧中每个帧的显示类型。
在这种情况下，例如在由图66所示中的Fy文件中从顶端开始的第一个帧到第15个帧形成的一个GOP中，在每个帧的显示类型V1、V2和V3中显示类型V2是使用率最高的显示类型。因此将显示类型V2确定为一个GOP的显示类型。
例如，对于图66中的Fy文件中所示的从顶部开始的第9个帧，针对每个帧的显示类型是V1，但对于一个GOP来说，显示类型是V2。
如上所述，当对形成作为多个帧的一个GOP的每个帧确定变化量和显示类型，并将它们存储在Fy文件中时，与在Fy文件中存储每个帧的变化量和显示类型的情况相比，可减少Fy文件的容量(文件大小)。进一步的，可降低分析Fy文件(文件解析)所必需的处理的负担。
在创建Fy文件时在MPEG系统中编码图像数据的情况中，当对形成一个GOP的每个帧确定变化量和显示类型时，可在作为MPEG系统中编码结果所获得的流中的GOP报头中包括变化量和显示类型。
在这种实施方式中，由于在MPEG系统中对图像数据进行编码，并记录在光盘7中，图43中的编辑系统的解码器216需要在MPEG系统中解码图像数据。在MPEG系统中，例如对于设定为一个GOP的15个帧，将每个帧编码成一种图片类型的图片，即I(内部)图片、P(预测)图片、B(双向预测)图片。使用之前编码的I或P图片作为参考图像(作为产生预测图像基准的图像)对I、P和B图片中的P图片和B图片进行编码。因此，仅在解码参考图像之后方可解码P图片和B图片。
例如，当由15个帧形成一个GOP并且15个帧中的每一个帧都由指示图片类型的I、P或B以及指示显示顺序的数字来表示时，可将一个GOP的15个帧的布置表示为例如B1、B2、I3、B4、B5、P6、B7、B8、P9、B10、B11、P12、B13、B14和P15。
在由15个帧B1至P15形成的GOP中，例如，使用从顶部开始的第3个I图片I3作为参考图像，对从顶部开始的第6个P图片P6进行编码。使用从顶部开始的第6个P图片P6作为参考图像，对从顶部开始的第9个P图片P9进行编码。使用从顶部开始的第9个P图片P9作为参考图像，对从顶部开始的第12个P图片P12进行编码。使用从顶部开始的第12个P图片P12作为参考图像，对从顶部开始的第15个P图片P15进行编码。使用从顶部开始的第12个P图片P12和从顶部开始第15个P图片P15作为参考图像，对从顶部开始的第13个B图片B13进行编码。
在这种情况下，例如当将从顶部开始的第13个B图片B13设置成在取景器51中显示的感兴趣帧时，仅在解码从顶部开始的第3个I图片I3、参考从顶部开始的第3个I图片I3解码从顶部开始的第6个P图片P6、参考从顶部开始的第6个P图片P6解码从顶部开始的第9个P图片P9、参考从顶部开始的第9个P图片P9解码从顶部开始的第12个P图片P12、以及参考从顶部开始的第12个P图片P12解码从顶部开始的第15个P图片P15之后，才可解码从顶部开始的第13个B图片B13。这是由于在以这种方式解码各图片之前，不可能参考从顶部开始的第12个P图片P12以及从顶部开始的第15个P图片P15。因此，B图片B13的解码耗费了时间。
因此，将用于解码其它图片所参考到的P图片P6、P9、P12、P15分别存储在称为P-I文件的单独文件中，作为I图片I6、I9、I12、I15。在需要时，解码器216可以参考存储在P-I文件中的图片执行解码。在这种情况下，例如，可以参考存储在P-I文件中的I图片I12和I15，在很短的时间中解码B图片B13。
在上述处理序列中，通过CPU 22(图2)执行程序而执行的处理也可以使用所有可利用的专用硬件来执行。
本领域的技术人员应该理解到，取决于设计的需求和其它因素，在所附权利要求或其等同物的范围内可产生各种修改、组合、次组合以及替换。

Claims (21)

1.一种用于处理运动图像的图像数据的数据处理设备，该数据处理设备包括：
获取装置，用于获取表示图像数据变化程度的、以图片为单位的变化量；
显示类型确定装置，用于根据变化量以图片为单位来确定表示显示图片时的显示方法的显示类型；以及
显示控制装置，用于使显示器来显示表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作装置指定的图片的位置的位置信息。
2.一种用于处理运动图像的图像数据的数据处理设备，该数据处理设备包括：
获取单元，获取表示图像数据变化程度的、以图片为单位的变化量；
显示类型确定单元，根据变化量以图片为单位来确定表示显示图片时的显示方法的显示类型；以及
显示控制单元，使显示器来显示表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作单元指定的图片的位置的位置信息。
3.根据权利要求1的数据处理设备，其中显示类型表示显示图片时的分辨率或显示图片时的显示速率彼此不同的显示方法。
4.根据权利要求3的数据处理设备，其中
变化量是表示图片中空间变化程度的细度信息，以及
当图片的细度信息指示空间变化程度很大时，显示类型确定装置将具有高分辨率或低显示速率的高分辨率/低显示速率类型确定作为图片的显示类型。
5.根据权利要求3的数据处理设备，其中
变化量是表示图片中时间变化程度的运动信息，以及
当图片的运动信息指示时间变化程度很大时，显示类型确定装置将具有低分辨率或高显示速率的低分辨率/高显示速率作为图片的显示类型。
6.根据权利要求3的数据处理设备，其中
显示类型包括表示以静态图像进行显示的静态图像类型，以及
显示类型确定装置将表示以静态图像进行显示的静态图像类型确定为具有小变化量的图片的显示类型。
7.根据权利要求1的数据处理设备，其中
显示类型确定装置根据将图片中的变化量与预定阈值进行比较而获得的比较结果，确定显示类型，以及
显示控制装置使显示器进一步与表示阈值的阈值信息一同显示按时间序列表示图片中的变化量的曲线图。
8.根据权利要求7的数据处理设备，其中
阈值信息根据用户的操作而移动，以及
显示类型确定装置根据将图片中的变化量与移动后的阈值信息所表示的阈值进行比较而获得的比较结果，再次确定显示类型。
9.根据权利要求8的数据处理设备，其中当显示类型确定装置再次确定了显示类型的时候，显示控制装置使显示器再次对类型信息进行显示。
10.根据权利要求7的数据处理设备，其中
将表示图片中空间变化程度的细度信息和表示图片中时间变化程度的运动信息存储在文件中，作为以图片为单位的变化量，以及
显示控制装置使显示器显示按时间序列表示细度信息的曲线图、按时间序列表示运动信息的曲线图、或者按时间序列表示细度信息的曲线图和按时间序列表示运动信息的曲线图二者。
11.根据权利要求10的数据处理设备，进一步包括选择操作装置，用于选择要被显示的按时间序列表示细度信息的曲线图、按时间序列表示运动信息的曲线图、或者按时间序列表示细度信息的曲线图和按时间序列表示运动信息的曲线图二者。
12.根据权利要求1的数据处理设备，其中
图片指定操作装置是其中拨块可移动的条，
按时间序列将图片分配给划分可移动范围的子区间，其中拨块可在所述可移动范围中移动，以及
显示控制装置使显示器来显示位置信息，所述位置信息表示分配给拨块所定位的子区间的图片的位置。
13.根据权利要求12的数据处理设备，其中
显示控制装置使显示器进一步显示分配范围信息，该信息表示分配范围是分配给可移动范围中的开头子区间到末尾子区间的按时间序列的图片范围，
根据用户的操作移动分配范围信息，以及
将分配范围信息所表示的分配范围中的开头图片到末尾图片分配给可移动范围中的开头子区间到末尾子区间。
14.一种用于处理运动图像的图像数据的数据处理方法，该数据处理方法包括：
根据变化量以图片为单位来确定表示显示图片时的显示方法的显示类型，该变化量以图片为单位表示图像数据变化程度；以及
使显示器显示表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作装置指定的图片的位置的位置信息。
15.一种用于处理运动图像的图像数据的数据处理设备，该数据处理设备包括：
获取装置，用于以图片为单位获取表示显示图片时的显示方法的显示类型，所述显示类型是根据表示图像数据变化程度的、以图片为单位的变化量来确定的；以及
显示控制装置，用于使显示器来显示表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作装置指定的图片的位置的位置信息。
16.一种用于处理运动图像的图像数据的数据处理设备，该数据处理设备包括：
获取单元，用于以图片为单位获取表示显示图片时的显示方法的显示类型，所述显示类型是根据表示图像数据变化程度的、以图片为单位的变化量来确定的；以及
显示控制单元，用于使显示器来显示表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作单元指定的图片的位置的位置信息。
17.一种用于处理运动图像的图像数据的数据处理方法，该数据处理方法包括这样的步骤：使显示器来显示表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作装置指定的图片的位置的位置信息，所述显示类型是根据表示图像数据变化程度的、以图片为单位的变化量来确定的，所述显示类型表示显示图片时的显示方法。
18.一种用于处理运动图像的图像数据的数据处理设备，该数据处理设备包括：
获取装置，用于获取表示图像数据变化程度的、以一个或多个图片为单位的变化量；
显示类型确定装置，用于根据变化量以多个图片为单位来确定表示显示图片时的显示方法的显示类型；以及
显示控制装置，用于使显示器来显示表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作装置指定的图片的位置的位置信息。
19.一种用于处理运动图像的图像数据的数据处理设备，该数据处理设备包括：
获取单元，获取表示图像数据变化程度的、以一个或多个图片为单位的变化量；
显示类型确定单元，根据变化量以多个图片为单位来确定表示显示图片时的显示方法的显示类型；
显示控制单元，使显示器来显示表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作单元指定的图片的位置的位置信息。
20.一种用于处理运动图像的图像数据的数据处理设备，该数据处理设备包括：
获取装置，用于以多个图片为单位获取表示显示图片时的显示方法的显示类型，所述显示类型是根据表示图像数据变化程度的、以一个或多个图片为单位的变化量来确定的；以及
显示控制装置，用于使显示器来显示表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作装置指定的图片的位置的位置信息。
21.一种用于处理运动图像的图像数据的数据处理设备，该数据处理设备包括：
获取单元，以多个图片为单位获取表示显示图片时的显示方法的显示类型，所述显示类型是根据表示图像数据变化程度的、以一个或多个图片为单位的变化量来确定的；以及
显示控制单元，使显示器来显示表示图片显示类型的类型信息和表示由被操作为指定要被显示的图片的图片指定操作单元指定的图片的位置的位置信息，。
CN 200710167617 2006-02-17 2007-02-16 数据处理设备、数据处理方法和程序 Expired - Fee Related CN100588227C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006040173 2006-02-17
JP2006040173A JP4232114B2 (ja) 2006-02-17 2006-02-17 データ処理装置およびデータ処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN101150657A true CN101150657A (zh) 2008-03-26
CN100588227C CN100588227C (zh) 2010-02-03

Family

ID=38429825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200710167617 Expired - Fee Related CN100588227C (zh) 2006-02-17 2007-02-16 数据处理设备、数据处理方法和程序

Country Status (3)

Country Link
US (1) US8934550B2 (zh)
JP (1) JP4232114B2 (zh)
CN (1) CN100588227C (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101998051A (zh) * 2009-08-07 2011-03-30 三洋电机株式会社 图像显示控制装置、图像处理装置及搭载其的摄像装置
CN104837013A (zh) * 2014-02-10 2015-08-12 富士通株式会社 信息处理设备、方法、程序和终端设备
CN109493828A (zh) * 2018-12-13 2019-03-19 惠科股份有限公司 驱动装置及其驱动方法、显示装置
CN110012212A (zh) * 2017-11-01 2019-07-12 佳能株式会社 图像处理设备、图像处理设备的控制方法和存储介质
CN110572579A (zh) * 2019-09-30 2019-12-13 联想(北京)有限公司 图像处理方法、装置及电子设备
CN115278368A (zh) * 2022-07-28 2022-11-01 深圳创维－Rgb电子有限公司 画面清晰度优化方法、装置、电子设备及可读存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101326821B (zh) * 2006-03-14 2011-05-25 索尼株式会社 图像处理设备和图像处理方法
US8379851B2 (en) 2008-05-12 2013-02-19 Microsoft Corporation Optimized client side rate control and indexed file layout for streaming media
US7925774B2 (en) 2008-05-30 2011-04-12 Microsoft Corporation Media streaming using an index file
US20100070916A1 (en) * 2008-09-18 2010-03-18 Apple Inc. Template skimming preview
CN101833937B (zh) * 2010-05-05 2014-09-10 中兴通讯股份有限公司 一种图片显示方法及图片显示装置
CN103634698B (zh) 2012-08-21 2014-12-03 华为技术有限公司 视频流的帧类型检测、帧大小检测方法及装置
US9729919B2 (en) 2013-06-13 2017-08-08 Microsoft Technology Licensing, Llc Remultiplexing bitstreams of encoded video for video playback
EP3340105A1 (en) 2016-12-21 2018-06-27 Axis AB Method for and apparatus for detecting events

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10162556A (ja) 1996-11-29 1998-06-19 Sony Corp 編集システム
US6005621A (en) * 1996-12-23 1999-12-21 C-Cube Microsystems, Inc. Multiple resolution video compression
JPH1118057A (ja) 1997-06-26 1999-01-22 Sony Corp 映像信号再生装置及び映像信号再生方法
JP3885219B2 (ja) 1998-05-21 2007-02-21 ソニー株式会社 再生装置および再生方法、並びに記録再生装置および記録再生方法
US6637031B1 (en) * 1998-12-04 2003-10-21 Microsoft Corporation Multimedia presentation latency minimization
JP2000350156A (ja) 1999-06-09 2000-12-15 Hitachi Ltd 動画像情報の記憶方法及びこれを記録した記録媒体
DE10035109B4 (de) * 1999-07-20 2012-03-08 Lg Information & Communications, Ltd. Terminal und Verfahren zum Transportieren von Standbildern
JP2001306579A (ja) 2000-04-25 2001-11-02 Mitsubishi Electric Corp 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002077780A (ja) 2000-08-31 2002-03-15 Matsushita Electric Ind Co Ltd 映像信号記録再生制御装置
US7127736B2 (en) * 2000-11-17 2006-10-24 Sony Corporation Content processing apparatus and content processing method for digest information based on input of a content user
JP4081810B2 (ja) 2002-07-22 2008-04-30 ソニー株式会社 再生装置および方法、並びにプログラム
JP4222869B2 (ja) 2002-12-10 2009-02-12 株式会社ソニー・コンピュータエンタテインメント 画像再生装置
US7733962B2 (en) * 2003-12-08 2010-06-08 Microsoft Corporation Reconstructed frame caching
JP4277708B2 (ja) * 2004-02-24 2009-06-10 ソニー株式会社 再生装置および再生方法
JP2005277733A (ja) 2004-03-24 2005-10-06 Seiko Epson Corp 動画像処理装置
JP4027337B2 (ja) 2004-04-05 2007-12-26 三菱電機株式会社 映像情報記録装置および映像情報記録方法ならびに映像情報再生装置および映像情報再生方法
JP2006191159A (ja) * 2004-12-28 2006-07-20 Canon Inc 画像処理方法及び画像処理装置
US7796693B2 (en) * 2005-04-25 2010-09-14 Apple Inc. Search algorithms for using related decode and display timelines
US8498520B2 (en) * 2005-07-27 2013-07-30 Vbrick Systems, Inc. Video encoding and transmission technique for efficient, multi-speed fast forward and reverse playback
JP2007080357A (ja) * 2005-09-13 2007-03-29 Toshiba Corp 情報記憶媒体、情報再生方法、情報再生装置
JP4232113B2 (ja) 2006-02-17 2009-03-04 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101998051A (zh) * 2009-08-07 2011-03-30 三洋电机株式会社 图像显示控制装置、图像处理装置及搭载其的摄像装置
CN104837013A (zh) * 2014-02-10 2015-08-12 富士通株式会社 信息处理设备、方法、程序和终端设备
CN110012212A (zh) * 2017-11-01 2019-07-12 佳能株式会社 图像处理设备、图像处理设备的控制方法和存储介质
CN110012212B (zh) * 2017-11-01 2021-05-25 佳能株式会社 图像处理设备、图像处理设备的控制方法和存储介质
US11126884B2 (en) 2017-11-01 2021-09-21 Canon Kabushiki Kaisha Image processing apparatus, method for controlling image processing apparatus, and non-transitory computer-readable storage medium
CN109493828A (zh) * 2018-12-13 2019-03-19 惠科股份有限公司 驱动装置及其驱动方法、显示装置
CN110572579A (zh) * 2019-09-30 2019-12-13 联想(北京)有限公司 图像处理方法、装置及电子设备
CN115278368A (zh) * 2022-07-28 2022-11-01 深圳创维－Rgb电子有限公司 画面清晰度优化方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
JP4232114B2 (ja) 2009-03-04
US20070198931A1 (en) 2007-08-23
CN100588227C (zh) 2010-02-03
JP2007221497A (ja) 2007-08-30
US8934550B2 (en) 2015-01-13

Similar Documents

Publication Publication Date Title
CN100588227C (zh) 数据处理设备、数据处理方法和程序
CN101098437B (zh) 数据处理装置、数据处理方法
CN106416216B (zh) 变换方法及变换装置
KR100605410B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기록 매체
KR100571072B1 (ko) 기록/재생장치,기록/재생방법및기록매체
CN1939054B (zh) 用于在pvr窍门模式回放期间提供可见消息的系统
CN101960844B (zh) 用于编码供包含在媒体文件中的应用加强轨道的系统和方法
CN100437453C (zh) 标签信息显示控制设备及方法、信息处理设备和显示设备
US20070268406A1 (en) Video processing system that generates sub-frame metadata
EP1522934A2 (en) Image information describing method, video retrieval method, video reproducing method, and video reproducing apparatus
EP1871098A2 (en) Processing of removable media that stores full frame video & sub-frame metadata
CN101431690B (zh) 图像处理设备,图像处理方法
CN101060603B (zh) 再现装置、程序和再现方法
CN1306724A (zh) 具有帧速率转换的宽带多格式音频/视频制作系统
CN101304530A (zh) 活动图像解码集成电路、活动图像解码方法、装置及程序
CN101582983A (zh) 记录介质和方法、再现装置和方法、程序和集成电路
CN102282851A (zh) 图像处理装置、解码方法、帧内解码装置、帧内解码方法以及帧内编码装置
KR100260475B1 (ko) 화상 데이타 부호화 방법 및 장치, 화상 데이타 복호화 방법 및 장치 및 화상 기록 매체
CN101248668A (zh) 使用时间分层的特技播放
CN103369128A (zh) 同时显示多个运动图像缩略图的图像再现装置及方法
CN1378178A (zh) 图像搜索设备
JPH11289539A (ja) 画像信号処理装置及び方法並びに記録媒体
CN101686307A (zh) 图像处理装置、图像处理方法和程序
JP2007288608A (ja) サムネイル作成方法および動画データ再生装置
JP2003209816A (ja) 電子透かし埋め込み装置、電子透かし埋め込み方法、電子透かし抽出装置、電子透かし抽出方法、及びデータ記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100203

Termination date: 20150216

EXPY Termination of patent right or utility model