CN1367612A - 特殊再生控制信息记录方法,产生装置及方法,图象再生装置 - Google Patents

特殊再生控制信息记录方法,产生装置及方法,图象再生装置 Download PDF

Info

Publication number
CN1367612A
CN1367612A CN01133878A CN01133878A CN1367612A CN 1367612 A CN1367612 A CN 1367612A CN 01133878 A CN01133878 A CN 01133878A CN 01133878 A CN01133878 A CN 01133878A CN 1367612 A CN1367612 A CN 1367612A
Authority
CN
China
Prior art keywords
information
frame
image
data
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN01133878A
Other languages
English (en)
Inventor
堀修
金子敏充
三田雄志
山本晃司
增仓孝一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN1367612A publication Critical patent/CN1367612A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

一种特殊再生控制信息记录方法,产生装置及方法,图象再生装置,备有:图象数据存储部、图象数据处理部、特殊再生控制信息存储部;图象数据处理部具有图象位置信息处理部和显示时间控制信息处理部。图象数据处理部从图象数据存储部读入成为对象的图象数据,用图象位置信息处理部抽出向特殊再生提供的帧,作成表示抽出的各帧元图象数据的位置的图象位置信息,用显示时间控制信息处理部作成显示各帧显示时间的显示时间控制信息。图象数据处理部作成把各帧图象位置信息和显示时间控制信息作为帧信息排列的特殊再生控制信息,将此存储在特殊再生控制信息存储部中。

Description

特殊再生控制信息记录方法， 产生装置及方法，图象再生装置
                          技术领域
本发明涉及记录用于对于成为目标的图象内容提供特殊再生的特殊再生控制信息的特殊再生控制信息记录方法，产生特殊再生控制信息的特殊再生控制信息产生方法及特殊再生控制信息产生装置，和使用该特殊再生控制信息进行特殊再生的图象再生装置及方法。
                          背景技术
近年来，通过把运动图象压缩作成数字图象，存储在以DVD和HDD为代表的盘媒体中，完备随机再生图象的条件。在该条件下，根据预先确定的位置，以几乎无等待时间状态地来在中途再生。与过去的磁带媒体一样进行2～4倍速快转和反转都可以。
然而，问题在于，图象长时间的情况居多，即使用2～4倍速视听全部内容，时间也不能充分缩短。如果加大倍速再生，那么画面变化大于视听能力，难于把握内容，为了把握原来内容，即使在不大重要部分中作倍速再生也会有浪费的情况存在。
                         技术内容
本发明提供一种记录特殊再生由多帧图象数据组成的图象内容的帧信息的方法，其特征是，在从所述多图象数据中选择抽出的每帧中，记录由指定该帧图象数据的第一信息和有关帧图象数据显示时间的第二信息组成的帧信息。
                         附图说明
图1是表示本发明一实施例的特殊再生控制信息的数据构成例子的图；
图2是表示特殊再生控制信息产生装置的构成例子图；
图3是表示特殊再生控制信息产生装置的其他构成例子图；
图4是表示图2构成情况下处理程序一例的流程图；
图5是表示图3构成情况下处理程序一例的流程图；
图6是表示图象再生装置构成例子的图；
图7是表示图6构成情况下处理程序一例的流程图；
图8是表示特殊再生控制信息数据构成例的图；
图9是说明参照元图象帧的图象位置信息的图；
图10是说明参照图象数据文件的图象位置信息的图；
图11是说明根据画面运动的图象数据提取方法的图；
图12是说明参照元图象帧的图象位置信息的图；
图13是说明参照图象数据文件的图象位置信息的图；
图14是表示在作为元图象信息记录的帧位置信息中具有时间幅度的情况下的帧信息数据构成的图；
图15是说明在参照元图象帧的图象位置信息中具有时间幅度的例子的图；
图16是说明在参照图象数据文件的图象位置信息中具有时间幅度的例子的图；
图17是说明在参照元图象帧的图象位置信息中具有时间幅度的例子；
图18是说明在元图象信息上具有时间幅度的例子；
图19是表示通过对应于要约显示的图象帧的元图象帧开始再生的流程图；
图20是说明相应画面运动的图象数据提取方法的图；
图21是说明相应画面运动的图象数据提取方法的图；
图22是表示求画面变化量尽可能固定的显示时间的程序一例的流程图；
图23是表示根据MPEG图象求全帧画面变化量的处理程序一例的流程图；
图24说明通过MPEG流的图象变化量计算方法的图；
图25是说明求画面变化量尽可能固定的显示时间的处理方式的图；
图26是表示作根据特殊再生控制信息的特殊再生的处理程序一例的流程图；
图27是表示以显示周期为基准进行特殊再生的处理程序一例的流程图；
图28是说明计算出的显示时间和显示周期关系图；
图29是说明计算出的显示时间和显示周期关系图；
图30是表示具有元图象位置信息的特殊再生控制信息的数据构成例的图；
图31是说明参照汇集多元图象在要约显示时的元图象帧的图象位置信息的图；
图32是说明参照汇集多元图象在要约显示时的图象数据文件的图象位置信息的图；
图33是表示记录帧信息的其他数据构成的图；
图34是表示特殊再生控制信息的数据构成图；
图35是表示特殊再生控制信息的数据构成图；
图36是表示根据重要度求出显示时间的处理程序一例的流程图；
图37是说明根据重要度求出显示时间的方式的图；
图38是表示以声音级大的情况为重点，算出重要度数据的处理程序一例的流程图；
图39是表示以通过声音识别重要度单词出现多的场合为重点算出重要度数据的处理，或以单位时间说话的单词数多的场合为重点算出重要度数据的处理程序一例的流程图；
图40是表示以通过字幕(telop)识别重要度单词出现多的场合为重点算出重要度数据的处理，或以单位时间出现的字幕中所含的单词数多的场合为重点算出重要度数据的处理程序一例的流程图；
图41是表示以大文字作为字幕出现的场合为重点算出重要度数据的处理程序流程图；
图42是表示以人脸出场多的场面为重点算出重要度数据的处理，或以人脸特写场面为重点算出重要度数据的处理程序一例的流程图；
图43是表示以与记录中的重要场面类似的图象出现的场面为重点算出重要度的处理程序一例的流程图；
图44是表示特殊再生控制信息的数据构成例的图；
图45是表示特殊再生控制信息的数据构成例的图；
图46是表示特殊再生控制信息的数据构成例的图；
图47说明再生或非再生的信息和再生图象关系的图；
图48是表示包括再生/非再生判断的特殊再生处理程序一例的流程图；
图49是表示附加声音信息、文本信息时的数据构成一例的图；
图50是表示帧信息除外仅记录声音信息的数据构成一例的图；
图51是表示帧信息除外仅记录文本信息的数据构成一例的图；
图52是说明各媒体再生同步的图；
图53是表示在图象区间内的声音再生时开始时间和声音再生时间的确定程序一例的流程图；
图54是表示再生用声音数据形成和图象帧显示时间的修正处理程序一例的流程图；
图55是表示根据字幕识别产生的文本信息取得处理程序一例的流程图；
图56是表示根据声音识别产生的文本信息取得处理程序一例的流程图；
图57是表示文本信息形成处理程序一例的流程图；
图58A、图58B是说明文本信息表示方法的图；
图59是表示记录帧信息的其他数据的构成图；
图60是表示记录帧信息的其他数据的构成图；
图61是说明音乐数据要约再生的图；
图62是说明多个音乐数据要约再生的图。
下面参照附图说明本发明实施例。
本发明涉及具有图象数据的图象内容的再生。图象数据由构成运动图象的图象帧集合(图象帧组)组成。
首先，在本实施例中说明起重要作用的特殊再生控制信息。
特殊再生控制信息是用于成为对象的图象数据特殊再生用的控制信息，是特殊再生控制信息形成装置以该图象数据为基础形成的、赋予该图象数据的或相关连的控制信息。特殊再生是根据通常再生以外的方法产生的再生，例如，存在倍速再生(或高速再生)、跳跃再生(或跳跃连续再生)、特技再生等。在特技再生中，例如，具有替换再生、重复再生、缓动再生等各种。特殊再生控制信息例如在再生图象数据的图象再生装置中进行特殊再生时被参照。
图1表示以成为特殊再生对象的图象数据为基础形成的特殊再生控制信息的基本数据构成一例。
该数据构成与图象数据的帧出现顺序相对应记录多个帧信息i(i＝1～N)，各帧信息包括：图象位置信息101，包含表示特殊再生时应显示图象(由1帧或多帧连续的帧组，或多个接近的帧组即多个连续的帧内一部分组成的帧组)的位置的信息；和显示时间控制信息102，包含表示有关其图象的特殊再生时应显示的时间信息和/或成为算出显示时间的基础的信息。
图1是以图象数据的帧出现顺序排列记录帧信息i，但如果在帧信息i内记录表示其帧信息的顺序的信息，那么，以不管以怎样的顺序号排列记录帧信息i也行。
由这些多帧信息i组成的帧信息组上附加的再生倍率信息103表示特殊再生的再生速度的倍率，不是维持在帧信息上记录的显示时间，而是使帧显示时间缩短，为指定以数倍速度再生而使用。但是，再生倍率信息103不是必需的信息。具有常附加的构成、不常附加的构成、个别选择是否附加的构成。即使是附加再生倍率信息103在特殊再生中也可不必用此。具有常使用的构成、不常使用的构成、可个别选择是否使用的构成。
在图1中，对于帧信息组可以与再生倍率信息一起或也可以取代再生倍率信息再附加其他控制信息的构成也行。图1中，可以是向各帧信息附加其他控制信息的结构。在这些场合下，既可在图象再生装置侧全部使用在特殊再生控制信息中包含的各种信息，也可仅使用那些一部分的信息。
图2是表示这样的特殊再生控制信息的形成装置的构成。
如图2所示，该特殊再生控制信息形成装置备有：图象数据存储部2、包含图象位置信息处理部11以及显示时间控制信息处理部12的图象数据处理部1、特殊再生控制信息存储部3。详细内容待后叙述。在图2的构成中，在显示图象数据的情况下，由于将图象数据(编码状态)解码后作为图象数据显示，所以从指示显示开始到实际显示图象需花费用于解码的处理时间。为了缩短该时间，设想一种方法，预先使在特殊再生中使用的图象数据解码，存储图象数据文件。在使用该图象数据文件的情况(通常采取使用图象数据文件状态的情况，或采取是否可选择使用图象数据文件状态的情况)下，如图3所示，在图象数据处理部1内还备有图象数据文件形成部13，使图象数据文件存储部4与图象数据处理部1连接。在特殊再生控制信息中附加以图象数据为基础所求得的其他控制信息的情况下，适当地向图象数据处理部1内追加相应的功能。
在本处理中，在采取用户操作干预状态的情况下，例如通过以帧为单位显示图象数据，使用提供接收用户指示输入等的功能的GUI(在图2和图3中省略)。
在图2和图3中，省略了CPU和存储器、根据需要设置的外部存储装置和网络通信装置，根据需要使用的驱动软件和OS等的软件。
图象数据存储部2是用于存储成为产生特殊再生控制信息，或特殊再生控制信息以及图象数据文件的处理对象的图象数据的部分。
特殊再生控制信息存储部3是用于存储产生的特殊再生控制信息的部分。
图象数据文件存储部4是用于存储通过图象数据文件形成部13作成的图象数据文件的部分。
图象数据存储部2、特殊再生控制信息存储部3、图象数据文件存储部4都由例如硬盘和光盘和半导体存储器等构成。图象数据存储部2、特殊再生控制信息存储部3、图象数据文件存储部4也可由各存储装置构成，但是，那些全部或一部分也可由同样的存储装置构成。
图象数据处理部1是以成为处理对象的图象数据为基础，用于产生特殊再生控制信息(或特殊再生控制信息和图象数据文件)的部分。
图象位置信息处理部11进行这样的处理，确定(提取)在特殊再生时应显示的或能显示的图象帧(组)，形成在各帧信息i中应记录的信息101。
显示时间控制信息处理部102进行处理，作成有关涉及各帧信息的图象帧(组)的显示时间的信息102。
图象数据文件形成部13进行处理，通过图象数据作成各图象数据文件。
特殊再生控制信息形成装置例如以在计算机中执行软件的形式实现。也可作为用于特殊再生控制信息的专用装置而实现。
图4表示图2构成的情况下控制信息形成顺序一例。从存储部2读出图象数据(步骤S11)，形成图象位置信息(步骤S12)，形成显示时间控制信息(S13)，在存储部3保存由图象位置信息、显示时间控制信息组成的特殊再生控制信息(步骤S14)。图4的过程也可在每个帧信息依次进行，也可成批地作各处理。其他程序也行。
图5表示图3构成情况下的控制信息产生过程的一例。与图4的过程相反，另外加上形成图象数据文件并保存的过程(步骤S22)。这里，图象数据文件形成和/或保存与图象位置信息形成一起进行，但也可用与图5不同的定时进行。与图4情况相同，图5过程也可在各帧信息中依次进行，也可成批地进行各处理。其他过程也可。
接着，图6表示图象再生装置的构成例子。
如图6所示，该图象再生装置备有：控制部21、通常再生处理部22、特殊再生处理部23、显示部24、内容存储部25。在使用图象数据上附加声音等的音频(Audio)内容的情况下，最好设有声音输出部。在使用图象数据上附加文本数据的内容的情况下，文本也可显示在显示部24上，也可从声音输出部输出。在使用附加程序的内容的情况下，也可附加程序执行部。
在内容存储部25中至少存储图象数据和特殊再生控制信息。如后面详述，在采取使用图象数据文件状态的情况下，再存储图象数据文件。再存储声音数据和文本数据和附加程序。
也可把内容存储部25集中配置在一处，也可分散配置在多处，主要只要在通常再生处理部22和特殊再生处理部23能存取就行。图象数据、特殊再生控制信息、图象数据文件、声音数据、文本数据和附加程序也可存储在各个媒体上，也可存储在同一媒体上。作为媒体用例如DVD等。也可是通过网络传送的数据。
控制部21基本上通过GUI等的用户接口从用户接受对内容的通常再生和特殊再生等的指示，在相应的处理部分，进行指示有关指定的内容的指定的方法产生的再生等的控制。
通常再生处理部22是用于通常再生指定的内容的部分。
特殊再生处理部23是对于指定的内容参照特殊再生控制信息进行指定内容的特殊再生(例如倍速再生、跳跃再生、特技再生等)的部分。
显示部24是显示图象的部分。
图象再生装置可在计算机上以执行软件的形式实现(当然，也可局部使用硬件(例如解码操作盘)(MPEG-2解码器)等)。也可作为图象再生的专用装置实现。
图7表示图6的图象再生装置的再生处理程序一例。在步骤S31中判断来自用户要求是通常再生还是特殊再生。在为通常再生要求的情况下，在步骤S32中读入指定的图象数据，在步骤33中进行通常的再生。如果是来自用户特殊再生要求的情况下，在步骤S34中读入对应指定的图象数据的特殊再生控制信息，在步骤S35中进行应显示的图象位置指定和时间的确定，在步骤36中从图象数据中(或图象数据文件)读入相应的帧(组)，在步骤S37中进行指定的内容特殊再生。应显示的图象位置的指定和/或显示时间的确定可通过与图7不同的定时进行。图7的特殊再生程序既可以每帧依次进行也可成批作各处理。其他程序也可以。例如，如在使各帧的显示时间等于一定值的再生方法的情况下，不作显示时间的确定。
在通常再生和特殊再生的任一个的情况下，如果用户能要求各种指定(例如内容的再生开始点和/或内容的再生结束点、倍速再生的再生速度、倍速再生的再生时间、其他特殊再生的方法等)会更有效。
接着，就有关特殊再生控制信息的帧信息产生的算法、特殊再生时间的显示确定的算法作概述。
在帧信息产生时，进行从图象数据中选择特殊再生时使用的帧的确定、图象位置信息的产生、显示时间控制信息的形成。
帧的确定有以下等方法：
1 根据有关该图象数据的某些特征量进行的方法(例如相邻帧间的特定的特征量(例如帧间画面变化量)在各抽出帧间其重要度的总和要不变的方法、在各抽出帧间的全部帧的重要度总和要不变的方法)；
2 根据画面基准进行的方法(例如随机抽出的方法、等间隔抽出的方法)。
在显示时间控制信息制作中具有以下方法：
(1)求出显示时间或显示帧数的绝对值或相对值；
(2)求出成为显示时间或显示帧数的基准的信息(例如，根据用户指定、图象中文字、与图象同步的声音、图象中的人、或图象中的特定图形等获得的重要度)；
(3)记录上述的(1)和(2)两者。
1或2和，(1)或(2)或(3)可适当组合。当然，除此以外的方法也行。只要这些内的指定的1个组合也行，这些内的多个组合进行，可以适当选择。
作为特殊的情况，具有与用(1)的方法进行帧确定的同时，求(1)的显示时间或显示帧数的相对值的方法。通常在使用该方法的情况下，还可省去显示时间控制信息处理部102。
在特殊再生时，尽管设想参照在帧信息中所含的(1)或(2)或(3)的显示时间控制信息进行，但是，要根据记录的值、修正使用记录的值、使用加在记录值或将此修正的值上独自准备的其他信息和通过用户输入的信息、使用独自准备的其他信息和仅从用户输入的信息都行。可以是那些当中的多个方法，也可适当选择。
接着，说明有关特殊再生的要约。
倍速再生(或高速再生)通过再生构成图象数据内容的全部帧内的一部分的帧，以比为了通常再生原来的内容所需时间更短的时间进行再生。例如，在每个用帧信息表示的显示时间，按照其时间序列顺序显示用帧信息表示的帧。从用户接受指定是否以通常再生原始内容的速度的多少倍再生(是否以为通常再生原始内容所需时间的几分之一的时间再生)的倍速指定，和指定花费多少时间再生的时间指定等的要求，可以求出各帧(组)满足该要求的显示时间。因此，该倍速再生称为要约再生。
跳跃再生(或跳跃连续再生)是在倍速再生中，例如根据后面叙述的再生/非再生信息使由帧信息表示的帧的一部分成为非再生。对于除了在用帧信息表示的帧内成为非再生的帧的帧以外的帧进行倍速再生。
特技再生是通常再生以外的再生中，除上述倍速再生和跳跃再生外的部分。例如，可设想有各种状态，在再生用帧信息表示的帧时，对于某部分替换再生时间系列顺序的替换再生、再生用帧信息表示的帧时，对某部分多次重复再生的重复再生、在再生用帧信息表示的帧时，对于某部分，比其他部分速度低的再生(包括在通常再生时速度进行的情况和比通常再生时速度低再生的情况)，或比其他部分速度高的再生，或作一定时间显示静止，或对这些作适当组合的变速再生，对于各用帧信息表示的帧的一定的汇集使时间系列随机再生的随机再生等。
当然，可以适当组合多种方法。例如，在倍速再生时，对于重要部分多次再生的同时，设定再生速度为通常再生速度的方法等可设想丰富的变化。
下面详细具体地说明本实施例。
首先，以作为帧确定用的图象数据特性值使用相邻帧间的画面变化量的情况为例进行说明。
这里说明将1个帧信息对应1帧的情况如图8表示以成为对象图象数据为基础形成的特殊再生控制信息数据结构例。
该数据结构是作为图1的显示时间控制信息102(或取代显示时间控制信息102)，记录作为表示绝对或相对显示时间的信息的显示时间信息121的构成。有关记录在显示时间控制信息102中的重要度构成等在后说明。
图象位置信息101是可特定该图象的元图象帧位置的信息，例如是帧号码(例如从打头帧的随机号码)和如时标等可特定帧内的1帧等的信息。在把对应从元图象帧抽出的帧的图象数据作为别的文件的情况下，作为特定其文件位置的信息也可使用URL等。
显示时间信息121是使表示相应图象的时间或帧数可指定的信息，具有实际上以时间或帧数为单位记录的方法，和记录象在其他帧信息中记录的显示时间信息和相对时间长度关系那样的相对值(例如规一化的数值)的方法。后者情况下，通过全部总再生时间算出各图象的实际再生时间。对于各图象，不记录显示的延续时间，也可使用指定的定时作为起点(例如设最初的图象开始时间为0)的开始时间和结束时间组合的记录，和组合开始时间和延续时间的记录。
在特殊再生中，将由图象位置信息101指定的位置上存在的图象、基本上只是以序列中所含帧信息数量依次仅以显示时间信息121指定的显示时间进行再生。
指定开始时间和结束时间或延续时间，并且，在根据该指定的情况下，以由图象位置信息101指定的位置上存在的图象、只是以排列中所含帧信息数量依次从由显示时间信息121指定的开始时间到结束时间进行再生。
通过使用再生倍率等的参数和使用其他附加信息也可加工再生记录的显示时间。
接着，用图9～图11说明图象位置信息的记录方法。
图9是说明参照元图象帧的图象位置信息的记录方法。
在图9中，时间轴200对应于成为用于特殊再生的帧信息的对象的元图象流，图象轴201对应于成为图象流中记录对象的1帧。时间轴202对应于使用从元图象流中抽出的图象201进行特殊再生时的图象再生时间，显示时间203是对应于在其中所含的1个图象201的区间。在该情况下，例如，表示图象201位置的图象位置信息101和表示显示时间203长度的图象显示时间121组被作为帧信息记录。如前所述，图象201的位置记录也可是指定帧号码和时标等、元图象流内的1帧。该帧信息即便对于其他图象也同样记录。
图10是说明参照图象数据文件的图象位置信息记录方法的图。
由图9指示的图象位置信息的记录方法虽然直接参照要进行特殊再生的元图象数据内的帧，但是，由图10展示的图象位置信息的记录方法在别的文件中准备对应于从元图象流中抽取的单一帧302的图象数据300，记录其位置。文件位置的记录方法例如，通过使用URL等，在本地存储器上存在的情况下，在网络上存在的情况下同样都可使用。把表示该图象数据文件位置的图象位置信息101和表示对应的显示时间301的长度的图象显示时间121组作为帧信息记录。
在与元图象帧对应的必要的情况下，在帧信息中只要包括表示对应于记录的帧信息的元图象单一帧302的信息(例如与图9情况的图象位置信息相同的信息)就行。在该情况下，帧信息由图象位置信息、显示时间信息、元图象信息构成。当然，元图象信息如果不需要则不必记录。
根据图10方法记录的图象数据形状，虽然无特别限制，但例如原样使用元图象帧，或也可缩小。这样由于不必要展开元图象，所以对于进行高速再生也是有效的。
在元图象流通过MPEG-1和MPEG-2等被压缩的情况下，只是局部对其流作解码，可高速地形成缩小图象。该方法仅解码帧内编码的I图象帧(帧内编码帧)的DCT(离散余弦变换)系数，通过使用其直流成分作成缩小图象。
在图10的记录方法中，虽然把图象数据分别存储在各文件中，但是，这些文件也可集中存储在具有可随机存取的图象格式(例如Motion JPEG)的图象数据组存储文件中。在该情况下，图象数据的位置由表示图象数据组存储文件位置的URL和表示图象数据组存储文件内的位置的帧号码或时标的组合被记录。表示图象数据组存储位置的URL信息既可记录在各帧信息内，也可在帧信息排列外作为附加信息记录。
对于选择元图象的哪个帧作成图象数据记录在图象位置信息中，可采取种种方法。例如，也可从元图象以等间隔抽取图象数据，画面运动多的位置以窄间隔抽出多画面数据，画面运动少的位置也可以宽间隔抽出少的图象数据。
参照图11说明有关这样的方法，作为帧选择方法一例根据画面的运动，画面运动多的位置以窄间隔抽出多的画面数据，画面运动少的位置也可以宽间隔抽出少的图象数据。
在图11中，横轴表示帧号码，曲线800表示(相邻帧间)画面变化量的变化。各帧的画面变化量的算出方法是与求出后述的显示时间信息时的方法相同。这里，为了根据画面的运动确定抽出间隔，表示求出如图象数据抽出元图象帧间图象变化量为一定的间隔的方法。设图象数据抽出元图象帧间画面变化量总和为Si、设全帧画面变化量总和为S(＝∑Si)，设抽出的图象数据数量为n。为了使图象数据抽出原帧间的画面变化量一定，只要Si＝S/n就行。在图11中，对应画面变化量曲线800用虚线划分的区间面积Si不变。因此，例如通过从头帧依次加上画面变化量，设其值超过S/n的帧为图象数据抽出元图象帧Fi。
当利用MPEG的I图象帧产生图象数据的情况下，由于不限于算出的图象数据作成原帧为I图象，所以利用附近的I图象帧作成图象数据。
然而，在图11说明的方法中，属于画面变化量＝0的区间的图象成为跳跃的图象。然而，例如静止图象延续的情况下，重要场面往往多。所以，在画面变化量＝0经过一定时间以上的情况下，其时也要抽出帧。在该情况下，例如，通过从头帧依次加上画面变化量，也可设其值超过S/n的帧、或画面变化量＝0经过一定时间以上的帧为图象数据抽出元图象帧Fi。在画面变化量＝0经过一定时间以上抽出帧时，具有把画面变化量的相加值清0的方法，和保持不清除的方法。也可选择是否使用该方法。
在图11例的情况下，虽然为了使对任一帧显示时间都相同，设想记录显示时间信息121(当根据该显示时间信息121按一定时间再生时，画面变化量一定)，显示时间信息121不一定，也可用别的方法要求记录。
接着，就有关在1帧信息上对应1或多帧的情况进行说明。
该情况的特殊再生控制信息数据结构一例与图8相同。
下面用图12至图21说明图象位置信息记录方法。
图12是说明参照元图象连续的帧的图象位置信息的记录方法的图。
图9所示的图象位置信息记录方法虽然参照要进行特殊再生的元图象内的1帧，但是，由图12展示的图象位置信息记录方法记录元图象内连续的多帧集合500。帧集合500也可抽出元图象内连续的多帧中的一部分。而且，在帧集合500中也可仅包括1帧。
帧集合500包括元图象内连续的多帧或1帧的情况下，帧位置记录要么记录开始帧以及结束帧的位置，要么记录开始帧位置和记录区间的延续时间。在包括1帧的情况下，例如只要使开始帧和结束帧位置相同就行。位置和时间的记录使用能指定帧号码和时标等、流内的帧的部分。
帧集合500在是元图象内连续的多帧中一部分的情况下，记录其帧可指定之类的信息。帧抽取方法确定好，例如在如果记录开始帧和结束帧位置，那么帧可指定的情况下，只要记录这些就行。
图12的显示时间信息501表示对应在相应的元图象帧集合500中包括的帧组全体的总显示时间。对于元图象帧集合500中包括的各帧的显示时间在特殊再生的装置侧可适当确定。简单方法是用全部帧数量等分上述总显示时间，作成1帧的显示时间。当然，此外还有各种方法。
图13是说明参照图象数据文件的图象位置信息的记录方法的图。
由图12所示的图象位置信息的记录方法直接参照要再生的元图象内连续的帧，但由图象13显示的图象位置信息记录方法在各文件中准备对应从元图象流抽出的帧集合602的图象数据的帧集合600，记录其位置。文件位置的记录方法，例如，通过用URL等即使存在于本地存储装置的情况下存在于网络上的情况下也可同样使用。把表示该图象数据文件的位置的图象信息101和表示对应的显示时间601的长度的图象显示时间121组作为帧信息记录。
在必须与元图象帧对应的情况下，在帧信息中只要包括表示对应记录的帧信息的元图象帧集合602的信息(例如与图12情况下的图象位置信息相同)就行。该情况下，帧信息由图象位置信息、显示时间信息、元图象信息构成。当然，元图象信息如果不需要则不必记录。
图象数据形态和有关图象数据的作成、缩小图象的作成、图象数据的存储方法、URL等的位置信息记录方法等与前述相同。
有关选择元图象的哪一帧，作成图象数据，在图象位置信息中记录都与前述相同，可采取各种方法，例如，通过从元图象以等间隔抽出图象数据也行，在画面运动多的位置以狭间隔抽出多图象数据，运动少的位置以宽的间隔抽出少的图象数据也行。
在上述实施例中，以帧为单位进行图象数据文件300和元图象302的对应，但在作为元图象信息记录的帧位置信息上也可具有时间的幅度。为此帧信息数据结构例如成为图14。在图14中在图8的帧信息上附加元图象信息3701。在元图象信息3701上作为各始点信息3702、区间长信息3703记录作为特殊再生的元图象对应区间的始点位置和区间长。
作为元图象信息记录的信息也可指定区间。这里，虽然使用始点位置和区间长，但代之也可把始点位置和终点位置作为元图象信息使用。
图15与图9相对，是在元图象信息上具有时间幅度的例子。该情况下，例如，作为在同一帧信息中含有的图象位置信息、显示时间信息、元图象信息，分别记录元图象帧3801位置、显示时间3802、元图象帧区间3803(始点帧位置和区间长)，表示被此对应关系。即是说，作为代表元图象帧区间3803的图象，表示在图象位置信息上记录的元图象帧3801。
图16与图10相对，是在元图象信息上具有时间幅度的例子。该情况表示，例如，作为在同一帧信息中含有的图象位置信息、显示时间信息、元图象信息，分别记录显示用图象数据文件3901存储处、显示时间3902、元图象帧区间3903(始点帧位置和区间长)，及其彼此对应关系。即是说，作为代表元图象帧区间3903的图象，表示在图象位置信息上记录的图象数据文件的图象3901。
并且，如图12、13所示，在把帧的集合作为显示用图象使用的情况下，也可使与在显示用图象中使用的元图象帧区间不同的区间作为元图象信息对应。
图17与图12相对，是在元图象信息上具有时间幅度的例子。该情况表示，例如，作为在同一帧信息中含有的图象位置信息、显示时间信息、元图象信息，分别记录图象中的帧集合4001、显示时间4002、元图象帧区间4003(始点帧位置和区间长)，及其彼此对应关系。这时，作为图象信息位置记录的帧集合区间4001和作为元图象信息记录的图象帧区间4003不必一致，对于显示用也可使用不同的区间。
图18与图13相对，是在元图象信息上具有时间幅度的例子。该情况表示，例如，作为在同一帧信息中含有的图象位置信息、显示时间信息、元图象信息，分别记录显示中使用的帧集合4101存储处、显示时间4102、元图象帧区间4103(始点帧位置和区间长)，及其彼此对应关系。
这时，作为图象信息位置记录的帧集合4101区间和作为元图象信息记录的元图象帧区间4103不必一致。即是说，显示用帧集合4101区间比元图象帧区间4103可长可短。并且，也可包括内容完全不同的图象。此外，作为图象数据文件，在元图象信息中记录的区间内仅抽出尤其重要的区间，也可设想使用汇集的图象数据文件的方法。
使用这些帧信息，例如在收看要约再生(特殊再生)图象时，还有参照元图象中对应的帧的情况。
图19是从与要约显示的图象帧对应的元图象帧开始再生的流程图。在步骤S3601中，以要约图象指定再生开始帧。在步骤S3602中，用后述的方法算出对应指定的帧的元图象帧。在步骤S3603中，通过算出的帧再生元图象。
当然，该流程除再生以外，可以为参照元图象对应的位置而使用。
步骤S3602中，作为算出对应的元图象帧的方法一例，表示使用对于以要约图象指定的帧的显示时间进行比例分配的方法。设定第i帧信息包括的显示时间信息作为Di秒，元图象信息区间始点位置为ti秒，区间长为di秒。当使用第i帧信息的再生开始后，在指定t秒经过的位置的情况下，对应的元图象帧位置成为T＝ti+di×t/Di。
接着说明特殊再生、要约再生的帧选择方法。
参照图20、图21，说明有关作为帧选择方法一例，根据画面的运动，画面运动多处以窄间隔抽出多图象数据，运动少处以宽间隔抽出少的图象数据的方法。图20、图21的横轴、曲线800、Si、Fi与图11相同。
在图11的例子中，以使图象数据抽出元帧间的图象变化量不变的间隔一帧一帧地抽出。图20、图21表示以帧号码Fi为基准抽出多帧集合的例子。在该情况下，例如，象图20所示那样也可从帧号码Fi抽出一定个数连续的帧(帧长811和帧长812相同)，如图21所示，要使图象变化量的总和不变，从帧号码Fi分别抽出相应数连续的帧(面积813和面积814相同)。当然，此外的各种方法也可考虑。
自然，也可使用在前述的画面变化量＝0经过一定时间以上情况下的Fi抽出处理。
与图11的情况相同，在图20、图21例子的情况下，就有关任一个帧集合为了成为同样的时间，也可记录显示时间信息121，也可用别的方法求出记录显示时间。
接着，说明有关确定显示时间的处理一例。
图22是当按照在显示时间信息中记录的时间连续再生图象位置信息中记录的图象时，求出使画面变化量尽可能一定的显示时间的基本处理过程的一例。
该处理虽然在用如任何一个方法进行帧抽出的情况下都适用，但用例如图11的方法抽出帧的情况下可省略该处理。其原因是，图11中以一定显示时间选择帧使得画面变化量尽可能为常数。
在步骤S71中，求出有关元图象的全帧与相邻帧间的画面变化量。在图象的各帧通过位标志表现的情况下，可设相邻帧间的象素的差分值为画面变化量。在图象通过MPEG压缩的情况下，使用运动矢量可求出画面变化量。
现在说明求出画面变化量方法的一个例子。
图23是通过MPEG压缩的图象流求出全帧画面变化量的基本处理过程的一个例子。
在步骤S81中，从P图象帧中抽出运动矢量。如图24所示，由MPEG压缩的图象帧，通过I图象(帧内编码帧)、P图象(前方预测帧间编码帧)、B图象(双向预测帧间编码帧)的排列被记录。其中，在P图象上包括与来自前面的I图象或P图象的运动对应的运动矢量。
在步骤S82中，求出一个P图象的帧中所含的各运动矢量的大小(强度)，将其平均作为来自前面的I图象或P图象的画面变化量。
在步骤S83中，以对P图象帧所求的画面变化量为基础，算出对应包括P图象以外的帧的全部帧的每一帧的画面变化量。例如，当P图象的帧运动矢量平均值为p，距成为参照元的前面I图象或P图象的帧的间隔为d的情况下，之间各帧的每一帧的画面变化量为p/d。
接着，在图22过程的步骤S72中，通过在图象位置信息上记录的记录对象帧求出在其次记录对象帧间的空间的帧的画面变化量总和。
图25是记录每一帧画面变化量的变化的图。横轴对应帧号码，曲线1000表示画面变化量的变化。在求出具有帧位置Fi的位置信息的图象显示时间的情况下，累计相加到作为接着的记录对象帧位置的Fi+1的区间1001的画面变化量。这可考虑到成为斜线部1002的面积Si，帧位置Fi运动的大小。
接着，在图22程序的步骤S73中求出各帧显示时间。为了使画面变化量尽可能一定，由于越是画面运动越是大的帧只要多分配显示时间就行，所以只要规定分配该各帧位置Fi的图象的显示时间对再生时间的比例为Si/∑Si就行。若设再生时间的总和为T，则各图象的显示时间为Di＝T·Si/∑Si。再生时间的总和T值在标准再生时间中规定为元图象总再生时间。
在无画面变化，Si＝0的情况下，只要带入预先确定的下限值(例如1)就行，不记录其帧信息也行。即使不是Si＝0，画面变化也非常小，设想在实际的再生中几乎不显示，即便这样的帧，也可带入下限值，可不记录帧信息。在不记录帧信息的情况下，可使Si值与Si+1相加，也可不做。
求出该显示时间的处理可通过特殊再生控制信息产生装置为帧信息作成进行，但也可在图象再生装置侧特殊再生时进行。
接着，说明有关进行特殊再生情况的处理的例子。
图26是根据记录的特殊再生控制信息进行N倍速再生处理的程序一例子。
在步骤S111中，根据再生倍率算出再生时显示时间D’i。在帧信息上记录的显示时间信息由于是标准显示时间，所以在用N倍速再生的情况下，成为各帧显示时间D’i＝Di/N。
在步骤S112中，进行显示的初始化。即，为表示开头帧信息，规定i＝0。
在步骤S113中，判断是否第i帧信息的显示时间D’i比预先设定显示时间的阀值大。
如果大，则在步骤S114中，在D’i秒间显示第i帧信息Fi中所含的图象位置信息图象。
如果不大(减少)，则进入步骤S115，按正向顺序搜索不降低显示时间的阀值的第i帧信息。这期间，减小显示时间阀值的帧信息显示时间加在全部搜索结果得到的第i帧信息显示时间上，设减小显示时间阀值的帧信息显示时间为0。进行这样处理的原因是，一旦再生时的显示时间变得非常短，则准备显示的图象时间比显示时间长，存在显示不符合间隔的情况。于是，在显示时间非常短的情况下，使不显示，而进入前面。那时，为了使总再生时间不变化，在显示的图象显示时间上加上不显示的图象显示时间。
在步骤S116中，为了判断是否还有没有显示的帧信息，判定i是否小于帧信息总数。在小于的情况下进入步骤S117，使i增加1，准备作下一帧信息的显示。在i达到帧信息总数的情况下，终止再生处理。
图27是这样的一个处理过程例子，以既定的显示周期(例如在1秒之间显示30帧的情况下，1个显示周期为1/30秒)为基准，根据记录的特殊再生控制信息进行N倍速再生。
在步骤S121中，在N倍速再生时，求出各帧显示时间D’i作为Di/N。这里算出的显示时间实际上由于具有与显示周期的关系，所以不限于可用算出的显示时间显示图象。
图28是表示算出的显示时间和显示周期关系的图。时间轴1300表示算出的显示时间，时间轴1301表示根据显示速率的显示周期。在显示速率为f帧/秒情况下，显示周期的间隔为1/f秒。
从而，在步骤S122中，搜索包括显示周期的开始点的帧信息Fi，在步骤S123中，用1显示周期(1/f秒)显示在帧信息Fi中所含的图象。
例如，显示周期1302的显示开始点1303由于包括在算出的显示时间1304中，所以显示与该显示时间对应的帧信息图象。
如图29所示，与显示周期和帧信息对应的方法也可显示表示周期开始点最近的图象。如图28的显示时间1305，在显示时间变得比显示周期小的情况下，也可省略其图象显示，也可强制显示。在强制显示的情况下，缩短前后显示时间调整到使全体总的显示时间不变。
在步骤S124中，检查当前显示的是否是最终显示周期，如果是最终显示周期，则结束处理，如果不是最终显示周期，则由于处理下一个显示周期，所以进入步骤S125。
现说明帧信息记录的其他例子。
尽管图8或图14的数据结构中所含的帧信息是用于使单一元图象成为要约的情况，但通过扩展帧信息可将多个元图象汇集概括。图30是其一例，成为在各帧信息中所含的元图象信息4201上追加表示元图象文件位置等的元图象位置信息4202的结构。元图象位置信息上记录的文件不一定使用文件全体区间，也可以仅抽出一部分区间的形式使用。该情况下，不仅文件名等的文件信息，而且还相一致地记录表示文件的哪个区间成为对象的区间信息。通过图象文件选择的区间既可对1个图象，也可是多个。
并且，元图象存在何种类，在分别提供识别信息的情况下，也可记录元图象识别信息取代元图象位置信息。
图31是有关使用追加元图象位置信息的帧信息，汇集多个元图象表示要约例子的图。在该例子中，汇集3个图象(图象1、图象2、图象3)，显示1个要约图象。关于图象2，不是全区间，取出4301和4302两处区间作为不同的元图象使用。作为帧信息与这些元图象信息一起，代表每个的图象帧位置(相对4301是4303)作为图象位置信息，而且，显示时间(相对4301是4304)作为显示时间信息被记录。
图32是有关使用追加元图象位置信息的帧信息，汇集多个元图象表示要约其他例子的图。即使是该例，也汇集3个图象表示1个要约图象。关于图象2不是全区间而是取出一部分区间，作为不同的元图象使用。当然，也可取出如图31所示的多个区间。作为帧信息与这些元图象信息(例如加在图象2上的4401区间信息)一起，代表各个的图象文件(4402)的存储场所作为图象位置信息，而且显示时间(4403)作为显示时间信息被记录。
向象这些例子中说明的帧信息追加元图象位置信息即使在把帧的集合作为图象位置信息使用的情况下，也可完全相同地应用，可以是汇集多个元图象的要约显示。
图33是用于记录帧信息的其他数据结构。以该数据结构加在已经说明了的图象位置信息、显示时间信息、元图象信息上，施加运动信息4501和注意区域信息4502。运动信息描述帧信息对应的元图象区间(即元图象信息上记录的区间)的运动大小(画面的变化量)。注意区域信息是表示在图象位置信息描述的图象中特别记录应该注意的区域的信息的含义。
在图22中，运动信息在通过图象运动算出显示时间时所用，可用于算出由图象位置信息记录的图象显示时间。在该情况下省略显示时间信息，即使仅记录运动信息，也可进行与记录显示时间情况同样快的馈送等的特殊再生(该情况下，再生时计算显示时间)。
显示时间信息和运动信息两者也可同时记录，该情况进行显示的应用符合处理使用所必需的，或只要组合使用就行。
例如，在显示时间信息上记录与运动无关地算出的显示时间。通过从元图象分离出重要场面的显示时间计算方法也适用于此。在进行象这样算出的要约显示的快送时，使用运动信息，根据运动大的部分慢地，运动小的部分快地进行再生，可进行忽略过去的少地的快送。
注意区域信息在由帧信息图象位置信息描述的图象的当中，在应注意的区域存在时使用。例如，视听者认为重要的人物的脸等。在显示包括象这样的注意区域信息时，为分开区域只要把矩形等重复加在一起就行。该显示不是必须的，只要照样显示图象就行。
注意区域信息也可以加工显示帧信息等的特殊再生信息之类。例如，在仅再生显示一部分帧信息的情况下，优先显示包括注意区域信息的帧信息。并且，越是包括具有大面积的矩形区域，越是使用重要度高的解释，也可选择显示。
以上，根据画面变化量说明选择要约再生帧的情况，下面将说明利用重要度信息选择帧的情况。
图34是在图象上附加的帧信息数据结构一例。
该数据结构在图1的帧信息数据结构中，作为显示时间控制信息102(或取代显示时间控制信息102)，要记录作为成为显示时间基础的信息的重要度信息122。
重要度信息122表示对应的帧(或帧集合)的重要度。重要度例如作为一定范围(例如在0到100之间)的整数表现，或作为一定范围(例如在0到1之间)的实数表现。或不确定上限也可作为整数、实数值表现。重要度信息可以对于图象的全部帧附加，也可仅附加在重要度变化的帧。
在该情况下，图象位置信息的记录方法也可采取图9、10、12、13中的任一形态。也可利用图11、20、21的帧抽出方法(在该情况下，也可将图11、20、21的画面变化量置换成重要度)。
下面，在前面说明的例子中，尽管通过画面变化量设定显示时间，但也可通过重要度信息设定显示时间。以下，说明这样的显示时间的设定方法。
在根据前面例示的画面变化量的显示时间设定中，由于容易理解图象内容，所以在变化量大处设定长的显示时间，变化量小处设定短显示时间。在根据该重要度的显示时间设定中，也可在重要度高处设定长显示时间，重要度低处设定短显示时间。即根据重要度的显示时间设定方法由于基本上是与根据画面变化量的显示时间设定方法(参照图25)相同，所以，这里仅作简述。
图36是表示该情况下的基本处理过程的例子。
在步骤S191中求出元图象的全帧的重要度。有关其具体的方法待后例子中展示。
在步骤S192中，求出位于由图象位置信息记录的记录对象帧到下一记录对象帧之间帧的重要度总和。
图37是记录每一帧的重要度的变化的图。2200是重要度。在求出具有帧位置Fi的位置信息的图象显示时间的情况下，相加直到作为下一记录对象帧位置的Fi+1的区间2201的重要度。相加结果成为斜线部分2202的面积S’i。
在步骤S193中求出各帧显示时间。设分配给各帧位置Fi的图象的显示时间相对再生时间的比例为S’i/∑S’j。若设再生时间总和为T，则各图象显示时间为Di＝T·S’i/∑S’j。再生时间的总和T值在标准再生时间中，规定为元图象总再生时间。
在重要度之和为S’i＝0的情况下，也可采用预先确定的下限值(例如1)，也可不记录其帧信息。即便不是S’i＝0，重要度也非常小，在实际的再生中即使对于设想几乎不显示的帧，也可代入下限值，也可不记录帧信息。在不记录帧信息的情况下，S’i值也可加在S’i+1上，也可不加。
如图35所示，在图1的帧信息数据结构中，在各帧信息i上最好记录图象位置信息101、显示时间信息121、重要度信息122。在该情况下，在特殊再生时，存在使用显示时间信息121而不用重要度信息122的方法、使用重要度信息122而不用显示时间信息121的方法、使用两者方法、不使用两者方法。
求出该显示时间的处理虽然可用特殊再生控制信息产生装置形成帧信息，但也可在图象再生装置侧特殊再生时进行。
其次，说明各帧或场面(图象区间)的重要度的确定方法(例如，图36的步骤S191)。
图象的某场面是否重要通常由于是各种要因相互纠缠在一起，所以确定重要度最妥当的方法是由人确定。在该方法中，对图象的各场面或一定的时间间隔由重要度评价者评价重要度，输入重要度数据。这里所说的重要度数据是帧号码或时间、和那时的重要度值的对应表。为了避开重要度评价的主观性，由多个重要度评价者给同一图象进行评价，对各场面或各图象区间算出平均值(或也可是中间值等)，最后确定重要度。这样通过人输入重要度数据就可能把象用语言难于表达的含糊印象和多个要素加到重要度中。
为了省去人确定所花费的工夫，考虑在认为重要的图象场面中出现的那样事象，最好自动评价这样的事象利用变换成重要度的处理。下面表示若干重要度自动产生的例子。
图38是规定语音级大的场面重要，自动算出重要度数据时的处理顺序的一例(图38作为功能方框图也成立)。
在步骤S210的语音级算出处理中，输入伴随图象的语音数据，算出各时刻的语音级。由于语音级在瞬时变大，所以在步骤S210的语音级算出处理中也可进行平滑等的处理。
在步骤S211的重要度算出处理中，进行把语音级算出处理的结果输出的语音级变换成重要度。例如，把预定的最低语音级变换成0，把规定最高语音级为100输出的语音级线性变换成0～100的值。在最低语音级以下的场合下定为0，在最高话音级以上的场合下定为100。确定各时刻的重要度，把重要度算出处理结果作为重要度数据输出。
图39是其他重要度级自动确定方法的处理过程的例子(图39作为功能方框图也行)。
在图39的处理是在伴随图象的语音中，将预先记录的重要单词出现多的情况判断为重要。
在步骤S220的语音识别处理中，一旦输入伴随图象的语音数据，则通过语音识别处理把人说话的语言(单词)变换成文本数据。
在重要单词词典221上记录象重要场面出现这样的单词。在记录的单词重要程度不同的情况下，对各记录的单词加权。
在步骤S222的单词比较处理中，将作为语音识别处理的输出的文本数据和记录在重要单词词典221上的单词相比较，判断是否说了重要单词。
在步骤S223的重要度算出处理中，根据单词相比较结果算出图象各场面和各时间的重要度。在该计算中，使用重要单词的出现数量、重要单词的加权，进行这样的处理，例如使重要单词出现的时刻周围(或出现的场面)的重要度为定值，或仅使重要单词按比例加权的值提高。确定各时刻的重要度，把重要度算出处理结果作为重要度数据输出。
在所有单词加权相同的情况下不要重要单词词典221。这相当于，设想多单词说话场面是重要场面。这时，在步骤S222的单词比较处理中，所进行的只是计数从语音识别处理输出的单词数的处理。不是单词数也可计算文字数。
图40是另外的重要度级自动确定方法的处理过程例子的(也可将图象40作为功能方框图)图。
图40处理是在图象中出场的字幕上将预先记录的重要单词出现多的场面判断成重要。
在步骤S230字幕识别处理中，指定图象中的文字位置，将文字位置的图象区域进行二进制化从而进行文字识别。将识别的结果作为文本数据输出。
重要单词词典231与图39的重要单词词典221相同。
在步骤S232的单词比较处理中，与图39程序的步骤S222相同，比较作为字幕识别处理输出的文本数据和在重要单词词典321中记录的单词，判断重要单词是否出现。
在步骤S233的重要度算出处理中，与图39程序的步骤S223相同，从重要单词的出现数、重要单词加权算出各场面或各时间的重要度。确定各时刻的重要度，作为重要度数据输出重要度算出处理结果。
在使全部单词的加权相同的情况下，无需重要单词词典231。这相当于，设想作为字幕多单词出现的场面是重要场面。这时，在步骤S232的单词比较处理中，只是进行计算通过字幕识别处理输出的单词数的处理。也可不计算单词数而是文字数。
图41是其他重要度级自动确定方法的处理过程例子(图41也可作为功能方框图)。
图41的处理是判断在图象中出现的字幕的文字越大越是重要场面的处理。
在步骤S240的字幕检测处理中进行指定图象中文字串的位置处理。
在步骤S241的文字大小计算处理中，从文字串中分离出一个个文字，算出文字的大小(面积)的平均值或最大值。
在步骤S242的重要度计算处理中，算出与作为文字大小算出处理输出的文字大小成比例的重要度。在算出的重要度过大或过小的情况下，进行通过阀值处理在预先确定的范围内接收重要度的处理。确定各时间的重要度，把重要度算出的结果作为重要度数据输出。
图42是其他重要度级自动确定方法的处理过程的例子(图42也可作为功能方框图)。
图42的处理是判断为图象中的人脸出现的场面是重要的处理。
在步骤S250的脸检测处理中，进行在图象中象某人的脸的样子的区域检测处理。作为处理结果输出判断为人脸的区域的数(脸数)。脸的大小(面积)的信息也可同时输出。
在步骤S251重要度算出处理中，使作为脸检测处理的输出的脸数成一定的倍数算出重要度。在脸检测处理的输出包括脸大小信息的情况下，计算重要度要同时增加脸的大小。例如，使脸的面积成一定倍数算出重要度。确定各时刻的重要度把重要度算出处理结果作为重要度数据输出。
图43是其他重要度级自动确定方法的处理过程的例子(图43也可作为功能方框图)。
图43的处理是将与事先记录的图象类似的图象记录的场面判断为重要的处理。
在重要场面词典260上记录重要和应判断的图象。图象作为原始数据被记录，或以数据压缩的形成被记录。图象不是其本身，也可记录图象的特征量(颜色直方图或频率等)。
在步骤S261的类似度/非类似度算出处理中，算出在重要场面记录的图象和输入的图象数据的类似度或非类似度。作为非类似度使用平方差总和或绝对值差分的总和等。在重要场面词典260上记录图象数据的情况下，每个对应的象素平方差总和与绝对值差分的总和等作为非类似度被算出。在重要场景词典260上记录图象颜色直方图的情况下，对输入的图象数据算出同样的颜色直方图，算出直方图之间的平方差总和和绝对值差分的总和作为非类似度。
在步骤S262重要度算出处理中，根据作为类似度/非类似度算出处理的输出的类似度或非类似度算出重要度。在输入类似度的情况下，计算重要度，使类似度越大越是变得重要，在输入非类似度的情况下，计算重要度，使非类似度越大重要度变得越小。确定各时刻的重要度，把重要度算出处理结果作为重要度数据输出。
作为其他重要度自动确定方法，具有以瞬间视听率高的场面为重要的方法。获得瞬间视听率数据作为视听率调查的总计结果，通过使该瞬间视听率成一定倍数算出重要度。当然，也可用其他各种方法。
重要度算出处理也可单独使用，也可同时使用多个计算重要度。在后者情况下，用若干不同方法算出一个图象重要度，最后的重要度也可以平均值或最大值算出。
以上尽管以画面变化量和重要度为例进行说明，但是，也可使用画面变化量和/或重要度一起，或取代画面变化量及重要度，使用其他一种或多种信息(记录在帧信息上)。
接着，对在帧信息(参照图1)上附加用于再生/非再生控制的信息的情况进行说明。
仅再生图象数据中的特定场面或部分(例如高亮场景)，或为了要仅再生特定人物出场的场面或部分，要求仅看图象的一部分。
为了满足该要求，也可在帧信息上附加用于控制是再生还是非再生的再生/非再生信息。借此，在再生侧根据该再生/非再生信息仅再生图象的一部分，或相反可不再生图象的一部分。
图44、45、46表示附加再生/非再生信息的数据结构例子。
图44是在图8的数据结构例中，附加再生/非再生信息123的例子。当然，图45、46是在图34、35数据结构上附加再生/非再生信息123。尽管未图示，但在图1的数据结构例子中，也可附加再生/非再生信息。
再生/非再生信息123有指定是再生还是非再生的2值信息的方法和指定如再生级的连续值的方法。
在后者情况下，例如，在再生时再生级如果是某阀值以上则再生，否则为非再生。阀值例如也可由用户直接或间接指定。
再生/非再生信息123虽然可作为独立的信息保存，但在选择指定再生或非再生的情况下，由显示时间信息121表示的显示时间在特定值(例如0或-1等)时也可规定为非再生。或由重要信息122表示的重要度在特定值(例如0或-1等)时也可规定为非再生。在该情况下，也可不附加再生/非再生信息123。
即使在用级值指定再生或非再生的情况下，也可代用显示时间信息121以及重要度信息122(只是在用级值表示重要度的情况下)。
在使再生/非再生信息123作为独立信息保存的情况下，可增加该部分的数据量，既可在再生侧不再生非再生指定部分而能看摘要，也可再生非再生指定部分，观看全部图象(当把再生/非再生信息123作为独立的信息不保存时，为了再生非再生部分也看到全部图象，例如必须适当变更指定为0的显示时间)。
再生/非再生信息123既可人工输入，也可根据某些条件决定。例如，当根据图象的运动信息运动大于一定值时再生，如果是那样不再生，则既可仅再生运动剧烈处，又可根据颜色信息通过肌肤色大于一定值或小于一定值，来仅再生人物。也可考虑根据话音大小决定的方法、根据预先输入的再生程序信息决定的方法。用某些方法决定重要度，也可通过重要度信息产生再生/非再生信息123。当再生/非再生信息为连续值时，可以这样求出，即用适当函数将这些信息变换成再生/非再生信息。
图47表示根据再生/非再生信息123进行再生/非再生控制再生的例子。
在图47中，规定根据用F1～F6表示的图象帧位置信息或图象帧组位置信息2153，和用D1～D6表示的的显示时间信息2154再生元图象2151。这时，再生/非再生信息2155规定为被附加在显示时间信息2154上。在该例子中，当D1、D2、D4、D6区间为再生，此外的区间为非再生的情况下，作为再生图象2152，D1、D2、D4、D6区间被连续再生(此外为非再生)。
例如，在再生图象帧Fi中，当规定再生/非再生信息123在表示再生时的显示时间为D+i，非再生时的显示时间为D-i的时候，若设定元图象再生部分的总时间为T’，则∑i D+i＝T’。通常D+i设定与元图象等倍速显示时间。作为事先确定的工作也可规定隐含的固定的倍速，也可记录任何倍速的信息。想在N信速再生的情况下，设再生部分的显示时间D+i为1/N倍。例如，为了以决定的时间D’进行再生，只要把各再生部分的显示时间D+i处理成D’/∑i D+i倍就行。
在根据帧信息决定各帧(或帧组)的显示时间的情况下，也可调整决定的显示时间。
在不调整决定的显示时间的方法中，由于不考虑非再生区域产生照原样使用决定的显示时间，所以在非再生区间上还分配本来大于0的显示时间的情况下，缩短只是那部分的全部显示时间。
在调整决定的显示时间的方法中，例如，在非再生区间上还分配本来大于0的显示时间的情况下，为了使非再生区域再生时和全体显示时间一样，进行这样的调整，即在再生的各帧(或帧组)的显示时间上乘以一定值。
用户也可对是否调整进行选择。
在用户指定N倍速再生的情况下，既可以不调整决定的显示时间进行N倍速再生处理，也可象上述那样规定决定的显示时间以调整后的显示为基础进行N倍速再生处理(前者缩短显示时间)。
用户也可指定整个显示时间。在该情况下，例如为了成为指定的全体显示时间，也可作这样调整，即在再生的各帧(或帧组)的显示时间上乘以一定值。
图48表示根据再生/非再生信息123仅再生图象一部分的处理过程的一个例子。
在步骤S162中，读出该帧的帧信息(图象位置信息以及显示时间信息)，在步骤S163中利用显示时间信息内的再生/非再生信息判断是再生还是非再生该帧。
如果判断结果是再生，那么在步骤S164中只是在该显示时间部分显示该帧。如果不是那样，则不再生该帧，转移到下面的帧处理。
在步骤S161中，判断应再生的图象是否完成再生，当图象结束后再生处理也结束。
但是，在步骤S163中，在判断是再生还是非再生该帧时，对再生/非再生信息只是简单地判断如果是再生则再生，非再生则不再生，这以外往往希望根据用户的要求决定是再生还是不再生非再生部分。这时，通过用户简档在图象再生前事先确定是再生非再生部还是不再生，当再生非再生部时在步骤S164中必须作帧的再生。
除此外，在再生/非再生信息作为再生级形成连续值保存的时候，通过用户简档求出区别再生和非再生的阀值，也可利用再生/非再生信息是否超过阀值判断是否再生。除使用用户简档以外，还有例如通过在每帧上设定的重要度计算阀值，或也可接受用户预先或实时准备的是否再生的信息。
这样，通过在帧信息上附加用于控制是否再生的再生/非再生信息123，可仅再生图象的一部分，仅再生高亮场面，或可仅再生有兴趣的人物和物体出现的场面。
下面说明在帧信息(参照图1)上把与显示图象相关的图象以外的媒体(例如文本和语音)的位置信息，和对上述媒体进行显示或再生的时间作为附加信息的记录方法。
在图8中，在各帧信息100中包括图象位置信息101和显示时间信息102，在图34中，在各帧信息100中包括图象位置信息101和重要度信息103，在图35中，在各帧信息100中包括图象位置信息101和显示时间信息102和重要度信息103，在图44、45、46中，还包括再生/非再生信息123，上面虽然展示了这些例子，但在这些之中的任一个还都可附加0以上的语音位置信息2703、语音再生时间信息2704、0以上的文本信息2705、文本显示时间信息2706(其中某个规定为1以上)。
图49的例子是在图8的数据结构例中，附加1组语音位置信息2703/语音再生时间信息2704、和N组文本信息2705/文本显示时间信息2706的情况。
语音被通过在语音位置信息2703中存储的位置仅在在语音再生时间信息2704中存储的时间进行再生。再生对象也可以是从最初在图象中附带的语音信息，也可以作成伴音等新附加。
对于文本仅将存储在文本信息2705中的文本信息在存储在显示时间信息2706中的时间表示。对于1个图象帧也可附加多个文本信息。
开始话音再生和文本显示的时刻是与关连的图象帧被显示同时的。语音再生时间和文本显示时间都在成为关连的图象帧被显示时间以内。对多个图象帧再生连续的语音的情况下，只要设定成使语音位置信息和再生时间连续就行。
利用这样的方法，也可能成为要约语音和要约文本等。
图50表示与帧信息不同地记录语音信息的方法的一个例子。这是在进行特殊再生时用于再生与表示的图象帧相关连的话音的数据结构的例子。使表示再生的语音所在的位置信息2801、开始语音再生的时间2802、和把继续再生的时间2803组作为信息2800形成该语音信息序列进行记录。
图51表示用于记录文本信息的数据结构的一例子。具有与图50的语音信息同样的结构，使显示的文本的文字码2901、显示的开始时间2902、把显示时间2903组作为一个文本信息2900、形成该文本信息的序列进行记录。取代文字码作为相当于2901的信息，也可使用指示保存该文字码的场所、或把文字作为图象保存的场所等位置信息。
上述语音信息和文本信息采取与图象帧的显示同步，作为与显示的图象帧或存在该图象帧的一定图象区间相关联的某信息显示。如图52所示，语音信息和文本信息随着时间轴3001表示的经过时间，开始再生或显示。首先，图象3002以记录各图象帧的顺序，利用各记录的显示时间被显示进行再生。3005、3006、3007分别表示各图象帧，为其分配一定的显示时间。语音3003一旦达到在各语音信息上记录的再生开始时刻则再生，如果超过同样记录的再生时间则停止再生。如图52所示，同时也可再生多个语音3008、3009。文本3004也与语音相同，一旦达到在各文本信息上记录的显示开始时刻则进行显示，如果超过记录的显示时间则停止显示。也可同时表示多个文本3010、3011。
语音再生开始时刻和文本显示开始时刻无需与进图象帧显示的时刻一致。语音再生时间和文本显示时间无需与图象帧显示时间一致。这些可自由设定，反之与语音再生时间和文本显示时间相对应，只要变更图象帧显示时间就行。
这些也可通过人手动设定。
为了省去人的手工，考虑最好对于在认为重要的图象场面出现的事件，把这样的事件进行自动设定的处理。下面表示某些自动设定的例子。
图53表示求出从称为拍摄(shot)的画面转换到下一转换的连续的图象区间，把在该拍摄中包括的图象帧显示时间总和作为语音再生时间的处理过程的一例子(图53也可作为功能方框图)。
在步骤S3101中，通过图象检测拍摄。其中，使用「根据利用容限比测定的MPEG位流的图象剪辑检测方式(信学论，Vol.J82-D-11，No.3，pp.361-370，1999)」等方法。
在步骤S3102中，参照图象帧位置信息，检查各图象帧是属于哪个拍摄。另外，通过采取图象帧显示时间总和求出各次拍摄的显示时间。
例如，语音位置信息作为对应于拍摄开始的语音位置，语音再生开始时刻符合属于各次拍摄的最初图象帧显示时间，语音再生时间只要等于该拍摄显示时间就行。或根据语音再生时间，也可修正在各拍摄中包括的图象帧显示时间。这里，虽然检测出了拍摄，但使用对于图象帧(采取在帧信息上记录重要度信息的数据结构的情况下)的重要度，求出其重要度在阀值以上的区间，也可再生在其区间中包括的语音。
当求出的再生时间不满足一定基准的情况下，该语音也可不再生。
图54表示通过语音识别从一次拍摄或对应于重要度高的图象区间的语音数据中取出重要单词，再生该单词或包括该单词的语音或多单词组合的语音的再生的处理过程的一个例子(图54也可作为功能方框图)。
在步骤S3201中检测拍摄。也可在拍摄切换前求出所述重要度高的图象区间。
在步骤S3202中，对对应于得到的图象区间的语音数据的区间，进行语音识别。
在步骤S3203中，从识别结果中，求出包括重要单词的语音或重要单词部分的语音。为了选择重要单词，参照重要单词词典3204。
在步骤S3205中，形成再生用的语音。也可照原样使用包括重要单词的连续的语音，也可仅抽出重要单词。也可形成使重要单词多个组合的语音。
在步骤S3206中，根据形成的语音再生时间修正图象帧显示时间。但是，为了语音再生时间成为图象帧显示时间，也可减少选择的单词数量，也可缩短语音再生时间。
图55表示通过字幕取得文本信息的顺序的一个例子(图55也可作为功能方框图)。
图55是从图象中显示的字幕或语音中取得文本信息的处理。
在步骤S3301中，读出图象内显示的字幕。其中可以由例如文献「堀修：“根据用于字幕区域的图象的文字部抽出法”、CVIM114-17、pp.129-136(1999)」描述的方法等，采用自动抽出元图象中的字幕或人工读出字幕手输入的方法。
在步骤S3302中，从读出的字幕文字串中取出重要单词。在重要单词判断中，使用重要单词词典3303。当然，也可把读出的字幕文字串照原样作为文本信息。排列抽出的单词，构成仅用重要单词表示其图象区间的文章，也可作为文本信息。
图56表示从语音中取得文本信息的处理顺序的一个例子(图56也可作为功能方框图)。
利用步骤S3401中的语音识别处理识别语音。
在步骤S3402从识别的语音数据中取出重要单词。在重要单词的判断中使用重要单词词典3403。当然，也可照原样把识别的话音数据作为文本信息。排列抽出的单词，仅以重要单词构成表示其图象区间的文章，也可作为文本信息。
图57表示通过字幕识别从一次拍摄或重要度高的图象区间中取出文本信息，形成文本信息的处理顺序的一个例子(图57也可作为功能方框图)。
在步骤S3501中，通过图象检出一次拍摄。无需一次拍摄也能求出重要度高的区间。
在步骤S3502中，识别在其图象区间中显示的字幕。
在步骤S3503中，使用重要单词词典3504，抽出重要单词。
在步骤S3505中，形成显示用文本。其中既可使用包括重要单词的字幕文字串，也可把使用多个只是重要单词或重要单词的文字串作为文本信息。在通过语音识别得到文本信息的情况下，把步骤S3502的字幕识别处理部分替换成语音识别处理，只要把语音数据作为输入就行，文本信息与其文本作为字幕显示的图象帧，或作为语音再生的时间的图象帧一致显示。或也可一次显示其图象区间中的文本信息。
图58A、58B表示文本信息的显示例子。如图58A所示，也可分成文本信息显示部3601和图象显示部3602；如图58B所示，也可把文本信息重叠在图象显示部3603上显示。
图象帧、语音信息、文本信息的各显示时间(再生时间)调整成所有的媒体信息同步。例如，在倍速再生图象时，首先，用所述方法抽出重要语音，取得通常再生的二分之一的时间语音信息。接着分配与各语音相关连的语音的图象帧的显示时间。在确定图象帧显示时间使画面变化量一定的情况下，语音的再生时间和文本显示时间规定在各关连的图象帧显示时间内。或事先求出象一次拍摄那样包括多个图象帧的区间，根据其区间显示时间再生或显示包括在其区间上的语音或文本。
至此尽管以图象数据为中心进行了说明，当然对以话音数据为主的系统进行说明也行。
至此尽管使用以图象为中心的要约显示，但也可以没有帧信息(即没有图象)的形式使用语音信息和文本信息。在该情况下，对于元图象作成仅以语音信息和文本信息构成的要约。而且，对于语音数据和音乐数据，也可作成仅以语音信息和文本信息构成的要约。
那时，与帧信息的情况相同，也可在语音信息或文本信息上追加用于记录与元语音、音乐数据对应关系的元数据信息。
图59是在图50所示的数据结构的语音信息中含有元信息4901的数据结构的例子。元数据信息4901既可以是在输入为图象情况下成为表示图象区间的时间(始点信息4902和区间长信息4903)，也可以是在输入为语音/音乐情况下成为表示语音/音乐的区间的时间。
图60是在相当于图30中的数据结构的语音信息中包含元数据信息4901的数据结构的例子。
图61是使用语音信息说明把语音/音乐作为要约的一个例子。在该例子中，把成为元的语音/音乐划分成若干区间，把各区间的一部分作为其区间要约语音/音乐分离出，作成要约。例如，把区间2的5001的部分作为要约语音/音乐分离出，作为要约5002的区间再生。把区间作为分割方法的例子，设想在每个乐章分离出音乐，或在每个内容分出会话的方法。
并且，与帧信息的情况相同，根据在语音信息和文本信息中包括元数据文件或区间的记录，可汇集多个语音、音乐数据作成要约。这时，在对每个元数据提供识别信息的情况下，也可使用元数据识别信息取代记录元数据文件或区间。
图62是说明使用语音信息把语音/音乐作成要约的一个例子的图。在该例子中，对于多个语音/音乐数据分别作为一部分区间的要约语音/音乐分离出，作成要约。例如，把语音/音乐2的5101部分作为要约语音/音乐分离出，作为要约5102的区间再生。设想把一张音乐辑中所含的曲子的一部分区间一个个地分离出并汇集，作成试听用要约数据等。
在把专辑等作成要约的情况下等，在很好地了解曲名的情况下，也可在音乐信息中含有音乐数据曲名。当然，该信息不是必须的。
接着，说明图象数据和物体区域数据的提供方法。
当把由本实施例处理作成的特殊再生控制信息提供给用户的情况下，从作成侧到用户侧必须用某些方法提供特殊再生控制信息。作为该提供方法也可考虑如下面例子中的各种形态：
(1)把图象数据及其特殊再生控制信息记录在一个(或多个)记录媒体上同时提供；
(2)把图象数据记录在一个(或多个)记录媒体上提供，别的方式是，把特殊再生控制信息记录在一个(或多个)记录媒体成提供；
(3)把图象数据及其特殊再生控制信息以同等机会通过通信媒体提供；
(4)把图象数据及其特殊再生控制信息以不同机会通过通信媒体提供；
借此，作为用于图象内容特殊再生用的控制信息，通过把包括从元图象选择抽出的帧(组)的获得方法，和分配给其帧(组)的显示时间的信息或成为得到它的基础的信息的帧信息进行多种排列并记录之，在再生侧可根据该控制信息进行有效的特殊再生。
如上所述，根据本发明，在记录用于供给对于图象内容的特殊再生的特殊再生控制信息的特殊再生控制信息记录方法中，对于构成所述图象内容的图象数据的全部帧系列中选择抽出的1帧或连续或接近的多帧组成的帧组的每一个，把表示该1帧或该帧组数据存在的位置的第1信息，和有关向该1帧或该帧组提供的显示时间的第2信息，和/或表示向对应该帧信息的前述1帧或前述帧组提供的重要度的第3信息作为帧信息记录。
并且，根据本发明，还可提供计算机可读出的记录媒体，其中存储至少包括帧信息的特殊再生控制信息，对于构成所述图象内容的图象数据的全部帧系列中选择抽出的1帧或连续或接近的多帧组成的帧组的每一个所述帧信息记录，表示该1帧或该帧组数据存在的位置的第1信息，和有关向该1帧或该帧组提供的显示时间的第2信息，和/或表示向该1帧或帧组提供的重要度的第3信息。
还有，在产生用于在对图象内容进行特殊再生中使用的特殊再生控制信息的特殊再生控制信息装置/产生方法中，产生这样的图象位置信息，即从构成所述图象内容的图象数据的全部帧系列中，从由1帧或连续或接近的多帧组成的帧组的每个沿着该帧系列依次选择抽出供给特殊再生的一部分帧，对抽出的所述1帧或前述帧组的每一个，表示该1帧或该帧组的数据存在位置；产生这样的显示时间控制信息，即其包括对于该1帧或对于该帧组应分配的显示时间的信息或成为算出它的基础的信息，通过把对所述1帧或所述帧组的每一个产生的所述图象位置信息以及所述显示时间控制信息作为帧信息记录，产生对于所述图象内容的特殊再生控制信息。
并且，在对图象内容可以进行特殊再生的图象再生装置/方法中，参照特殊再生控制信息，其中所述信息至少包括附带在所述图象内容上的帧信息，所述帧信息包含，对于从构成该图象内容的图象数据全部帧系列中选择抽出的1帧或连续或接近的多帧组成的帧组的每一个记录的，表示该1帧或该帧组的数据存储的位置的图象位置信息，和表示对于该1帧或该帧应分配的显示时间信息或成为计算它的基础的信息的显示时间控制信息，基于在所述帧信息中所含的图象位置信息，在取得对应各帧信息的所述1帧或所述帧组数据的同时，根据至少各所述帧信息中包括的所述显示时间控制信息，决定对于各帧信息应分配的显示时间，把取得的所述1帧或多帧的数据通过决定的所述显示时间再生，将所述再生的部分按一定的顺序作特殊再生。
在本发明的实施例中，例如，准备在预先显示中使用的有效图象帧位置信息或从元图象中以帧为单位取出的图象数据，区别于元图象准备其图象帧位置信息或关于图象数据显示时间的信息。根据显示信息，通过将这些连续显示使从元图象中取出的图象帧或图象数据可进行倍速再生、特技再生、跳跃连续再生等的特殊再生。
例如，在高速确认内容的倍速再生中，为了使显示画面的画面变化尽可能一定，运动大处加长显示时间，运动小处为了缩短为了显示时间，也可预先决定显示时间。或者使用于显示用的图象帧或图象数据运动多的部分变多，使运动少的部分变少，即便决定位置信息也能获得同样的效果。作为整体，也可准备调整的值从而使其成为用户指定的倍速值或再生时间。使长图象都在短时间内以可以易看的倍速再生等观看，并可用短时间把握内容。
例如，以显示时间对应重要度时，根据使重要场所显示时间加长，低的场所缩短，也会作出难以忽略重要场所的再生。
例如，不使显示全图象帧，通过局部省略图象的一部分，也可有效地仅再生重要部分。
根据本发明的实施例，作为用于进行图象内容特殊再生用的控制信息，通过将包含从元图象中选择抽出的帧的取得方法和分配给该帧(组)的(绝对或相对的)显示时间信息或成为得到它的基础的信息的帧信息进行多次排列并记录，在再生侧可进行根据该控制信息的有效的特殊再生。
例如，以上功能用软件也可实现。在上述实施例中，可以作为记录在计算机中执行一定方法的(或用于使计算机起一定装置作用的，或用于使在计算机中起一定作用)的程序的计算机可读的记录媒体实现。
在各实施例中例示的构成是一个例子，但并不排除其他构成，将例示的构成的一部分用其他部分替换，或省去例示构成的一部分，或在例示的构成中附加别的功能，或将这些组合等组合到的其他构成也行。例示的构成和在逻辑上等价的别的构成、例示的构成和包括逻辑上等价的部分的别的构成、例示的构成的主要部分和逻辑上等价的别的构成等都可以。例示的构成和达到相同或类似目的的别的构成、例示的构成和起相同或类似作用的别的构成也都可以。
在各实施例中，有关各种构成部分的各种变化可适当组合实施。
各实施例可适当组合实施。
各实施例其中包括作为信息记录方法的发明，作为记录的信息的发明，作为装置或与此相应的方法的发明，作为装置内部或与此对应的方法的发明等，涉及各种观点、层次，概念或范畴的发明。
从而，根据本发明实施例公开的内容不仅限于例示，可以是本发明的扩展。

Claims (22)

1.一种记录用于特殊再生由多帧图象数据组成的图象内容的帧信息的帧信息记录方法，其特征是，对于从所述多图象数据中选择抽出的帧，记录特定该帧图象数据的第一信息和有关该帧图象数据的显示时间的第二信息。
2.根据权利要求1所述的方法，其特征是，所述抽出的帧由多个帧组组成，所述第一信息特定该帧组图象数据。
3.根据权利要求1所述的方法，其特征是，进一步记录表示所述抽出的帧的重要度的第三信息。
4.根据权利要求1所述的方法，其特征是，所述第一信息是特定由所述抽出的帧图象数据作成的图象数据文件的信息。
5.根据权利要求1所述的方法，其特征是，对于所述抽出的帧，进一步记录从所述图象内容的某时间区间的多个帧的图象数据中抽出并特定所述时间区间的第四信息。
6.根据权利要求5所述的方法，其特征是，所述第一信息是表示通过所述时间区间的图象数据作成的图象数据文件的存在位置的信息。
7.根据权利要求1所述的方法，其特征是，所述第二信息是有关为了使特殊再生时画面变化量大体不变而设定的显示时间的信息。
8.根据权利要求1所述的方法，其特征是，还记录指示所述抽出的帧图象数据再生或非再生的第五信息。
9.根据权利要求1所述的方法，其特征是，所述第一信息是特定构成所述图象内容的图象数据全帧系列的所述抽出的帧位置的信息，以及特定对应于与有别于所述图象内容所存储的图象数据文件的所述抽出的帧的图象数据位置的信息的任一个。
10.根据权利要求1所述的方法，其特征是，还记录关于包括所述抽出的帧的所述图象内容以外的媒体数据，表示各媒体数据存在的位置的信息，和有关向各媒体数据提供的再生或显示时间的信息。
11.一种计算机可读取的记录媒体，存储用于特殊再生由多帧图象数据构成的图象内容的帧信息，其特征是，
所述帧信息具有对于从所述多图象数据中选择抽出的帧记录的特定该帧图象数据的第一信息，和与该帧图象数据显示时间相关的第二信息。
12.根据权利要求11所述的媒体，其特征是，所述抽出的帧是由多帧组组成，所述第一信息特定该帧组图象数据。
13.根据权利要求11所述的媒体，其特征是，所述帧信息还具有表示所述抽出的帧的重要度的第三信息。
14.根据权利要求11所述的媒体，其特征是，所述第一信息是特定通过所述抽出的帧图象数据作成的图象数据文件的信息。
15.根据权利要求11所述的媒体，其特征是，与所述帧信息一起，还存储所述图象数据，以及对应于所述抽出的帧的图象数据的图象数据文件。
16.一种帧信息产生装置，产生用于特殊再生由多帧图象数据组成的图象内容的帧信息，其特征是备有：
从所述多图象数据中选择抽出一定的帧的单元；
产生帧信息的单元，所述帧信息由对于所述抽出的帧特定该帧图象数据的第一信息和有关该帧图象数据显示时间的第二信息组成。
17.一种帧信息产生方法，产生用于特殊再生由多帧的图象数据组成的图象内容的帧信息，其特征是，
从所述多图象数据中选择性地抽出一定的帧；
产生帧信息，所述帧信息由对于所述抽出的帧指定该帧图象数据的第一信息和有关该帧图象数据显示时间的第二信息组成。
18.一种特殊再生装置，特殊再生由多帧的图象数据组成的图象内容，其特征是备有：
参照帧信息的单元，所述帧信息由关于从所述多图象数据选择性地抽出的帧所记录的特定该帧图象数据的第一信息，和有关该帧图象数据显示时间的第二信息组成；
根据所述第一信息取得所述抽出的帧的图象数据的单元；
根据所述第二信息决定再生所述抽出的帧图象数据的显示时间的单元；
再生决定取得的所述图象数据的所述显示时间的单元。
19.一种特殊再生方法，用于特殊再生由多帧的图象数据组成的图象内容，其特征是，
参照由关于从所述多图象数据选择性地抽出的帧所记录的特定该帧图象数据的第一信息，和有关该帧的图象数据显示时间的第二信息组成的帧信息；
根据所述第一信息取得所述抽出的帧图象数据；
根据所述第二信息决定再生所述抽出的帧图象数据的显示时间；
再生决定取得的所述图象数据的所述显示时间。
20.一种计算机可读出记录媒体，存储特殊再生由多帧图象数据组成的图象内容的程序，其特征是在计算机上备有下述程序代码单元：
参照由关于从所述多图象数据选择抽出的帧所记录的指定该帧图象数据的第一信息，和有关该帧图象数据显示时间的第二信息组成的帧信息的计算机上的程序代码单元；
根据所述第一信息取得所述抽出的帧图象数据的计算机上的程序代码单元；
根据所述第二信息决定再生所述抽出的帧图象数据的显示时间的计算机上的程序代码单元；
再生决定取得的所述图象数据的所述显示时间的计算机上的程序代码单元。
21.一种帧信息记录方法，记录用于特殊再生由多帧的图象数据组成的图象内容的帧信息，其特征是，
对于从所述多个图象数据中选择抽出的帧，记录特定该帧图象数据的第一信息，记录有关该帧图象数据重要度的第二信息。
22.一种计算机可读出记录媒体，存储用于特殊再生由多帧的图象数据组成的图象内容的帧信息，其特征是，
所述帧信息具有对于从所述多图象数据中选择抽出的帧所记录的指定该帧图象数据的第一信息，和有关该帧图象数据重要度的第二信息。
CN01133878A 2000-06-30 2001-06-29 特殊再生控制信息记录方法,产生装置及方法,图象再生装置 Pending CN1367612A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP200220/2000 2000-06-30
JP2000200220 2000-06-30

Publications (1)

Publication Number Publication Date
CN1367612A true CN1367612A (zh) 2002-09-04

Family

ID=18698116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN01133878A Pending CN1367612A (zh) 2000-06-30 2001-06-29 特殊再生控制信息记录方法,产生装置及方法,图象再生装置

Country Status (4)

Country Link
US (3) US20020051081A1 (zh)
EP (1) EP1168840A3 (zh)
KR (1) KR100564893B1 (zh)
CN (1) CN1367612A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102045505A (zh) * 2009-10-13 2011-05-04 株式会社尼康 摄像装置及图像处理装置
CN101521034B (zh) * 2004-05-11 2012-05-02 松下电器产业株式会社 再生方法
CN112866805A (zh) * 2021-04-23 2021-05-28 北京金和网络股份有限公司 一种视频加速处理方法、装置和电子设备

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002044572A (ja) 2000-07-21 2002-02-08 Sony Corp 情報信号処理装置及び情報信号処理方法および情報信号記録装置
US6870956B2 (en) 2001-06-14 2005-03-22 Microsoft Corporation Method and apparatus for shot detection
KR20030043299A (ko) * 2001-11-27 2003-06-02 주식회사 엘지이아이 오디오 데이터와 부가 데이터간의 동기 기록 관리 및재생방법
KR100563680B1 (ko) * 2001-11-27 2006-03-28 엘지전자 주식회사 재기록 가능 기록매체의 오디오 가사 데이터 기록 관리 및재생방법
US7466901B2 (en) * 2002-04-17 2008-12-16 Samsung Electronics Co., Ltd. Recording medium containing thumbnail recorded thereon, recording apparatus and method therefor, and reproducing apparatus and method therefor
US7246249B2 (en) * 2002-06-10 2007-07-17 Canon Kabushiki Kaisha Reproduction control of reproduction apparatus based on remaining power of battery
AU2003247037A1 (en) * 2002-07-30 2004-02-23 Koninklijke Philips Electronics N.V. Trick play behavior controlled by a user
US7116716B2 (en) 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
US7274741B2 (en) 2002-11-01 2007-09-25 Microsoft Corporation Systems and methods for generating a comprehensive user attention model
US7127120B2 (en) 2002-11-01 2006-10-24 Microsoft Corporation Systems and methods for automatically editing a video
JP4222869B2 (ja) * 2002-12-10 2009-02-12 株式会社ソニー・コンピュータエンタテインメント 画像再生装置
US7164798B2 (en) 2003-02-18 2007-01-16 Microsoft Corporation Learning-based automatic commercial content detection
US7260261B2 (en) 2003-02-20 2007-08-21 Microsoft Corporation Systems and methods for enhanced image adaptation
JP4117615B2 (ja) * 2003-06-30 2008-07-16 ソニー株式会社 一時蓄積管理装置、一時蓄積管理方法及び一時蓄積管理プログラム
US7400761B2 (en) 2003-09-30 2008-07-15 Microsoft Corporation Contrast-based image attention analysis framework
JP4276042B2 (ja) 2003-10-07 2009-06-10 パイオニア株式会社 索引データ生成装置、索引データ生成方法、索引データ生成プログラムおよびそれを記録した情報記録媒体、並びに、コンテンツデータ再生装置、コンテンツデータ再生方法、コンテンツデータ再生プログラムおよびそれを記録した情報記録媒体
US7471827B2 (en) 2003-10-16 2008-12-30 Microsoft Corporation Automatic browsing path generation to present image areas with high attention value as a function of space and time
WO2005069172A1 (ja) * 2004-01-14 2005-07-28 Mitsubishi Denki Kabushiki Kaisha 要約再生装置および要約再生方法
WO2005074275A1 (ja) * 2004-01-30 2005-08-11 Matsushita Electric Industrial Co., Ltd. コンテンツ再生装置
KR100716973B1 (ko) * 2004-02-21 2007-05-10 삼성전자주식회사 Ａｖ 데이터에 동기된 텍스트 서브 타이틀 데이터를기록한 정보저장매체, 재생방법 및 장치
US9053754B2 (en) 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
US7986372B2 (en) 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
JP4297010B2 (ja) * 2004-08-13 2009-07-15 ソニー株式会社 情報処理装置および情報処理方法、並びに、プログラム
WO2006028132A1 (ja) 2004-09-08 2006-03-16 Matsushita Electric Industrial Co., Ltd. 映像データとアプリケーションとを連動させて再生する再生装置、再生方法、及びプログラム
JP4296145B2 (ja) * 2004-11-08 2009-07-15 株式会社東芝 再生装置及びその方法
WO2006064749A1 (ja) 2004-12-16 2006-06-22 Sharp Kabushiki Kaisha 動画像再生方法および動画像再生装置
US7548936B2 (en) 2005-01-12 2009-06-16 Microsoft Corporation Systems and methods to present web image search results for effective image browsing
KR100716291B1 (ko) * 2005-07-27 2007-05-09 삼성전자주식회사 영상재생장치와 그 제어방법 및 ｐｖｒ
US7773813B2 (en) 2005-10-31 2010-08-10 Microsoft Corporation Capture-intention detection for video content analysis
US8180826B2 (en) 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
US7796860B2 (en) 2006-02-23 2010-09-14 Mitsubishi Electric Research Laboratories, Inc. Method and system for playing back videos at speeds adapted to content
US20070260634A1 (en) * 2006-05-04 2007-11-08 Nokia Corporation Apparatus, system, method, and computer program product for synchronizing the presentation of media content
JPWO2008050806A1 (ja) * 2006-10-24 2010-02-25 ソニー株式会社 撮像装置と再生制御装置
JP4767216B2 (ja) * 2007-06-05 2011-09-07 パナソニック株式会社 ダイジェスト生成装置、方法及びプログラム
JP2009089065A (ja) 2007-09-28 2009-04-23 Toshiba Corp 電子機器および顔画像表示装置
JP5444611B2 (ja) * 2007-12-18 2014-03-19 ソニー株式会社 信号処理装置、信号処理方法及びプログラム
US8625837B2 (en) * 2009-05-29 2014-01-07 Microsoft Corporation Protocol and format for communicating an image from a camera to a computing environment
JP5310456B2 (ja) * 2009-10-05 2013-10-09 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
JP5349649B1 (ja) * 2012-05-25 2013-11-20 株式会社東芝 電子機器、電子機器の制御方法、電子機器の制御プログラム
CN103841247A (zh) * 2012-11-20 2014-06-04 联想(北京)有限公司 信息输出方法和电子设备
KR102045413B1 (ko) * 2013-01-16 2019-11-15 미츠오 하야시 영상 생성 장치, 영상 생성 프로그램이 저장된 매체, 및 영상 생성 방법
KR102025362B1 (ko) * 2013-11-07 2019-09-25 한화테크윈 주식회사 검색 시스템 및 영상 검색 방법
CN105120337A (zh) * 2015-08-28 2015-12-02 小米科技有限责任公司 视频特效处理方法、装置及终端设备
JP7118764B2 (ja) * 2018-06-20 2022-08-16 キヤノン株式会社 通信装置、制御方法、およびプログラム
JP7154833B2 (ja) 2018-06-20 2022-10-18 キヤノン株式会社 通信装置、通信方法、およびプログラム
US10734024B1 (en) * 2018-09-04 2020-08-04 Adobe, Inc. Systems and methods of appending metadata to a media file for playing time-lapsed audio
WO2022131833A1 (en) 2020-12-17 2022-06-23 Samsung Electronics Co., Ltd. Method and electronic device for producing video summary

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0638164A (ja) * 1992-07-17 1994-02-10 Takaoka Electric Mfg Co Ltd 検索機能付ビデオ入出力装置
KR950005937B1 (ko) * 1992-10-12 1995-06-07 주식회사엘지전자 캡션자막 표시 제어장치와 표시 제어방법
JPH06290573A (ja) * 1993-04-05 1994-10-18 Olympus Optical Co Ltd 画像記録・再生装置
JP3399674B2 (ja) * 1994-12-19 2003-04-21 エヌイーシーインフロンティア株式会社 画面制御装置とその方法
US6026232A (en) * 1995-07-13 2000-02-15 Kabushiki Kaisha Toshiba Method and system to replace sections of an encoded video bitstream
JP3484832B2 (ja) * 1995-08-02 2004-01-06 ソニー株式会社 記録装置、記録方法、再生装置及び再生方法
JP3454396B2 (ja) * 1995-10-11 2003-10-06 株式会社日立製作所 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム
JP3253530B2 (ja) * 1996-07-24 2002-02-04 三洋電機株式会社 動画像記録装置
KR19980049216A (ko) * 1996-12-19 1998-09-15 구자홍 디지탈 브이씨알의 콤마/저속재생 방법
JP3988205B2 (ja) * 1997-05-27 2007-10-10 ソニー株式会社 映像信号記録再生装置、映像信号記録再生方法、映像信号再生装置及び映像信号再生方法
US6252975B1 (en) * 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
KR100607931B1 (ko) * 1999-07-09 2006-08-03 삼성전자주식회사 Ａ/ｖ 컨텐트에 대한 검색을 위한 장면 전환점 정보를 저장하는 기록 매체, 이 정보를 자동으로 생성하는 방법, 이 정보를 기록하고 재생하는 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101521034B (zh) * 2004-05-11 2012-05-02 松下电器产业株式会社 再生方法
CN101494077B (zh) * 2004-05-11 2012-09-05 松下电器产业株式会社 再生装置
CN101494076B (zh) * 2004-05-11 2012-09-05 松下电器产业株式会社 再生装置
CN102045505A (zh) * 2009-10-13 2011-05-04 株式会社尼康 摄像装置及图像处理装置
CN102045505B (zh) * 2009-10-13 2014-11-26 株式会社尼康 摄像装置及图像处理装置
CN112866805A (zh) * 2021-04-23 2021-05-28 北京金和网络股份有限公司 一种视频加速处理方法、装置和电子设备

Also Published As

Publication number Publication date
EP1168840A2 (en) 2002-01-02
US20030086692A1 (en) 2003-05-08
KR100564893B1 (ko) 2006-03-30
US20020051081A1 (en) 2002-05-02
US20030002853A1 (en) 2003-01-02
EP1168840A3 (en) 2003-12-17
KR20020007158A (ko) 2002-01-26

Similar Documents

Publication Publication Date Title
CN1367612A (zh) 特殊再生控制信息记录方法,产生装置及方法,图象再生装置
CN1176548C (zh) 信息接收记录重放装置、信息接收记录重放方法
CN1192610C (zh) 记录/回放装置、记录/回放方法和记录媒体
CN1135488C (zh) 图像处理设备，图像处理方法
CN1178469C (zh) 图像信息编辑方法和编辑设备
CN1284172C (zh) 盘介质和在其上记录和重放信息的方法和设备
CN1237822C (zh) 光盘、光盘记录方法和装置,以及光盘再现方法和装置
CN1150767C (zh) 数据处理装置
CN1145965C (zh) 用于生成存储在信息记录盘上的图象位流设备和方法
CN1174625C (zh) 记录装置及编码装置
CN1977333A (zh) 记录装置、记录方法、重放装置、重放方法、程序及记录介质
CN1879409A (zh) 记录装置及方法、再生装置及方法、记录媒体及程序
CN1123230C (zh) 图象解码方法
CN1643605A (zh) 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
CN1216199A (zh) 数字图象填补方法、图象处理装置及数据记录媒体
CN1397137A (zh) 数据处理装置
CN1278549C (zh) 声像再现装置和声像再现方法
CN1875624A (zh) 文件记录设备和视频效果编辑方法
CN1533530A (zh) 信息处理设备和方法
CN1723702A (zh) 数据处理装置
CN1123231C (zh) 对编辑信息数据进行编码和解码的装置和方法
CN1642284A (zh) 图像处理设备和方法、程序以及记录介质
CN1249983C (zh) 电子水印嵌入设备及其方法
CN1703753A (zh) 信息记录介质、信息记录设备和方法、信息重放设备和方法、信息录放设备和方法、用于控制记录或重放的计算机程序 ,以及包括控制信号的数据结构
CN1703750A (zh) 信息记录介质、信息记录设备和方法、信息重放设备和方法、信息录放设备和方法、用于控制记录或重放的计算机程序，以及包括控制信号的数据结构

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
C20 Patent right or utility model deemed to be abandoned or is abandoned