CN100538698C - 概要再现装置和概要再现方法 - Google Patents

概要再现装置和概要再现方法 Download PDF

Info

Publication number
CN100538698C
CN100538698C CNB2005800024486A CN200580002448A CN100538698C CN 100538698 C CN100538698 C CN 100538698C CN B2005800024486 A CNB2005800024486 A CN B2005800024486A CN 200580002448 A CN200580002448 A CN 200580002448A CN 100538698 C CN100538698 C CN 100538698C
Authority
CN
China
Prior art keywords
segment
video
metadata
characteristic
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CNB2005800024486A
Other languages
English (en)
Other versions
CN1910580A (zh
Inventor
大塚功
中根和彦
小川雅晴
阿贾伊·迪瓦卡兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN1910580A publication Critical patent/CN1910580A/zh
Application granted granted Critical
Publication of CN100538698C publication Critical patent/CN100538698C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

系统和方法对存储在分割成区间序列的压缩多媒体文件中的多媒体进行概括，多媒体的内容例如是视频信号、音频信号、文本和二进制数据。关联的元数据文件包含各区间的索引信息和重要性级别。重要性级别在闭间隔中是连续的。对闭间隔选择重要性级别的阈值，仅再现多媒体中、具有比重要性级别的阈值高的特定的重要性级别的片断。也可针对由多个区间构成的固定长度的窗口、即滑动窗口求出重要性级别。并且，利用音量等系数来对重要性级别进行加权。

Description

概要再现装置和概要再现方法
技术领域
本发明概括来说涉及多媒体的处理，尤其是涉及将视频信号、音频信号、文本和二进制数据记录在存储介质中，再现该多媒体的被选择的部分。
背景技术
为了尽快收看和分析视频(例如电影、录制的体育比赛或新闻广播)，可制作视频的概要。已知有对非压缩视频和压缩视频进行概括的几种方法。
现有的对视频进行概括的方法，首先将视频细分为场景或“镜头(shot)”，之后提取低级别的特征和高级别的特征。低级别的特征通常是颜色分量、动作分量、和声音分量等基于语法(syntax)的特征，而另一方面，高级别的特征是有含义的信息。
之后，将特征分类，可根据分类后的特征将镜头进一步细分得到片断。片断(segments)可变换为短的图像序列(例如1秒或2秒的“剪辑”或“静止”帧)，附加标签和附加索引。因此，视听者可尽快地扫描概要，选择要详细再现的视频部分。显然，这种概要的问题只能根据概要制作中使用的特征和分类来进行再现。
为了进一步辅助视听，可根据相对的重要性来主观地将片断排序。因此，可尽快地识别出视频中的重要事件(高潮的场景、或得分的机会等)(例如参照非专利文献1和2。)。视听者可使用再现装置的快进功能或快退功能，收看所设定的重要片断中感兴趣的片断(例如参照非专利文献3。)。
对新闻视频进行概括的其它技术使用动作行为描述符(例如参照专利文献1。)。制作足球的精彩场面的技术使用视频特征与音频特征的组合(例如参照专利文献2。)。音频特征和视频特征还可用于制作新闻、足球、棒球和高尔夫的视频的精彩场面(例如参照专利文献3。)。这些技术从视频中提取应关注的事件的重要片断(得分的机会或新闻故事的导入部分等)。由此，利用包含提取的重要片断的概要来表示原始的视频。重要的片断可提供对原始内容的切入点，从而可灵活地进行便利的导航。
另外，现有的节目检索装置在记录与所述视频对应的输入信号时，从该输入信号中提取预定的信息，根据该信息的种类，沿时间轴将与所述输入信号对应的视频(视频音频流)片断化，得到视频镜头。之后，将该视频镜头划分为预先设定的预定类别，与再现时间位置信息(表示记录介质中该视频镜头的位置的信息)一起记录在记录介质中。之后，在视听者在短时间内快速浏览记录在所述记录介质中的节目的情况下，仅连续再现属于与视听者所选择的信息的种类对应的类别的视频镜头(例如参照专利文献4。)。
另外，其它的节目检索装置按每个重要性切出视频镜头的再现时间范围的再现时间位置信息，设定汇总的表格，再现时，根据与视听者指定的重要性对应的表格中记述的再现时间位置信息，进行再现(例如参照非专利文献1。)。
专利文献1：美国专利申请第09/845009号
专利文献2：美国专利申请第10/046790号
专利文献3：美国专利申请第10/374017号
专利文献4：日本特开2000-125243号公报(第11页，图1)
非专利文献1：藤原等著、「Summary DSを用いたビデオの要約記述」，ポイント図解式ブロ—ドバンド+モバイル標準MPEG教科書、株式会社アスキ—、p.177图5-24、2003年2月11日
非专利文献2：「ISO/IEC 15938-5：2002情報技術—マルチメデイアコンテンツ記述インタフエ—ス—-Part 5：マルチメデイア記述スキ—ム(ISO/IEC 15938-5：2002 Information technology-Multimediacontent description interface-Part 5：Multimedia DescriptionSchemes)」(2002年)
非专利文献3：DVDレコ—ダ—「DVR-7000取扱説明書」(パイオニア株式会社、p.49、2001年)
现有技术的视频的录制、概括和再现存在几个问题。第1是概要不是基于视听者的先入之见，而是基于提取的特征、分类和重要性的任意先入之见。第2是在使用重要性级别的情况下，重要性级别通常被量化为非常少的级别(例如5个以下)。并且在多数情况下，仅使用2个级别(即表示感兴趣的片断的级别和表示视频其余部分的级别)。
尤其是在使用重要性的细化量化的情况下，分层的层数非常多，必须管理很多的分层，所以根据MPEG-7标准提议的分层记述很难处理。
在MPEG-7的记载中，每次编辑内容时，必须编辑元数据。例如，在从原始内容中删除了某片断的情况下，必须修正受到该删节的影响的全部分层。若编辑操作的次数增加，则这有可能难以马上处理。
重要性级别是非常主观的，同时，极大地依赖于内容。即，体育视频的重要性级别取决于特定的体育类型，完全不能适用于电影或新闻节目。并且，视听者不能控制制作的概要的长度。
现有技术的方法使用的少数的主观级别事实上不可能由视听者根据概要来编辑组合几个不同的视频，来制作反映了视听者所关心的内容的派生视频。
另外，现有的检索装置中也存在几个问题。首先，如所述非专利文献3(DVDレコ—ダ—「DVR-7000」取扱説明書)中记载的节目检索装置那样，在根据视听者自身的主观，在该视听者关心的场景设定(打刻)章节标志的情况下，要求视听者执行烦杂的操作。
另外，在所述专利文献4(日本特开2000-125243号公报)或所述非专利文献1(ポイント図解式ブロ—ドバンド+モバイル標準MPEG教科書)中记载的节目检索装置中，尽管可根据视听者的选择来再现，但在基于预先设定的表格单位或类别单位的视频选择中，难以把握记录在记录介质中的视频整体上的高涨趋势(例如体育节目中的比赛流程等)。尤其是在记录在记录介质中的视频对于视听者是初次看的节目的情况下，不可能把握视频整体中的高涨趋势。
发明内容
本发明为了解决上述问题而提出的，其目的在于提供一种多媒体概括系统和多媒体概括方法，能够以视听者可控制的方法来记录和再现视频。并且，必须指定不取决于内容、并且不是主观性的重要性级别。另外，必须提供更多的离散的重要性级别。最后，必须使视听者能够根据自己选择的重要性级别来制作任意长度的概要。
本发明是一种对多媒体进行概括的系统，具备如下单元：存储分割成区间序列的压缩多媒体文件和元数据文件的单元，其中该元数据文件包含所述序列的各区间的索引信息和在闭间隔中连续的重要性的级别信息；在所述闭间隔中选择重要性级别的阈值的单元；以及使用所述索引信息，仅再现所述多媒体中、具有比所述重要性级别的阈值高的特定的重要性级别的区间的单元。
本发明一方面提供了一种记录装置，具备：记录单元，其将输入的视频信号或音频信号记录在预定的记录介质中；特征提取单元，其将所述视频信号或所述音频信号划分为预定的片断，针对每个预定的片断提取出所述视频信号的视频特征或所述音频信号的音频特征；和元数据生成单元，其生成包含与所述视频特征或所述音频特征对应的特征数据、和所述片断的开始位置的元数据，其中，所述记录单元将所述元数据与所述片断对应起来记录在所述记录介质中，所述元数据生成单元根据包含于预定窗口中的各片断的特征数据和在所述锚区间被设定的特征数据，生成与所述窗口内的全部片断对应的特征数据，所述窗口具有设定了预定的特征数据的锚区间。
本发明另一方面提供了一种记录装置，具备：记录单元，其将输入的视频信号或音频信号记录在预定的记录介质中；特征提取单元，其将所述视频信号或所述音频信号划分为预定的片断，针对每个预定的片断提取出所述视频信号的视频特征或所述音频信号的音频特征；元数据生成单元，其生成包含与所述视频特征或所述音频特征对应的特征数据、和所述片断的开始位置的元数据；以及CM检测单元，其根据所述视频信号或所述音频信号，来检测所述视频信号或所述音频信号中包含的广告区间，其中，所述元数据生成单元根据所述CM检测单元的检测结果，修正所述特征数据，生成元数据，所述记录单元将包含修正后的所述特征数据的元数据，与所述片断对应起来记录在所述记录介质中，所述元数据生成单元根据包含于预定窗口中的各片断的特征数据和在所述锚区间被设定的特征数据，生成与所述窗口内的全部片断对应的特征数据，所述窗口具有设定了预定的特征数据的锚区间。
本发明另一方面提供了一种记录方法，包括如下步骤：信号记录步骤，将输入的视频信号或音频信号记录在预定的记录介质中；提取步骤，将所述视频信号或所述音频信号划分为预定的片断，针对每个预定的片断提取出所述视频信号的视频特征或所述音频信号的音频特征；元数据生成步骤，生成包含与所述视频特征或所述音频特征对应的特征数据、和所述片断的开始位置的元数据；在进行所述记录时，将所述元数据与所述片断对应起来记录在所述记录介质中，所述元数据生成步骤根据包含于预定窗口中的各片断的特征数据和在所述锚区间被设定的特征数据，生成与所述窗口内的全部片断对应的特征数据，所述窗口具有设定了预定的特征数据的锚区间。
本发明另一方面提供了一种记录方法，包括如下步骤：信号记录步骤，将输入的视频信号或音频信号记录在预定的记录介质中；提取步骤，将所述视频信号或所述音频信号划分为预定的片断，针对每个预定的片断提取出所述视频信号的视频特征或所述音频信号的音频特征；第1元数据生成步骤，生成包含与所述视频特征或所述音频特征对应的特征数据、和所述片断的开始位置的元数据；检测步骤，根据所述视频信号或所述音频信号，检测出在所述视频信号或所述音频信号中包含的广告区间，第2元数据生成步骤，根据广告区间的检测结果，修正所述特征数据，生成元数据，将包含修正后的所述特征数据的元数据，与所述片断对应起来记录在所述记录介质中，所述第1元数据生成步骤根据包含于预定窗口中的各片断的特征数据和在所述锚区间被设定的特征数据，生成与所述窗口内的全部片断对应的特征数据，所述窗口具有设定了预定的特征数据的锚区间。
本发明另一方面提供了一种概要再现装置，具备：特征数据提取单元，其从记录在上述的记录方法记录了与元数据、视频信号或音频信号对应的片段的记录介质中的所述元数据中，提取出所述特征数据；比较单元，其比较与所述特征数据对应的值和预先决定的阈值；检索单元，其检索记录在所述记录介质中的所述片断中、与所述比较结果对应的片断；以及再现单元，其再现与该检索单元检索到的片断对应的视频或音频。
本发明另一方面提供了一种概要再现方法，包括如下步骤：从记录在利用上述的记录方法记录了与元数据、视频信号或音频信号对应的片段的记录介质中的所述元数据中，提取出所述特征数据；比较与所述特征数据对应的值和预先决定的阈值；检索记录在所述记录介质中的所述片断中、与所述比较结果对应的片断；再现与检索到的片断对应的视频或音频。
根据本发明，可制作用户选择的、任意长度(再现时间)的概要。
附图说明
图1是本发明实施方式1的再现多媒体的系统的框图。
图2是本发明实施方式1的多媒体的文件结构的框图。
图3是本发明实施方式1的元数据文件的数据结构的框图。
图4是本发明实施方式1的、使用元数据文件的多媒体的附加索引的框图。
图5是表示本发明实施方式1的概要再现的曲线图。
图6(A)是本发明实施方式1的其它的概要再现的曲线图，(B)是表示概要率的图解图像。
图7是本发明实施方式1的、将压缩后的多媒体文件和元数据文件记录在存储介质中的系统的框图。
图8是本发明实施方式1的其它的概要再现的曲线图。
图9是本发明实施方式1的其它的概要再现的曲线图。
图10是本发明实施方式1的其它的概要再现的曲线图。
图11是本发明实施方式1的、记录多媒体的系统的框图。
图12是分割成窗口的多媒体内容的框图。
图13是表示本发明实施方式2的视频检索装置的结构的框图。
图14是用于说明本发明实施方式2的视频检索装置的OSD图像的说明图。
图15是用于说明在本发明实施方式2的视频检索装置的概要再现时，显示于与该视频检索装置连接的监视器、电视等视频输出终端130上的视频的说明图。
图16是用于说明在本发明实施方式3的视频检索装置中进行概要再现时显示的图像的说明图。
图17是用于在说明本发明实施方式4的视频检索装置中进行概要再现时显示的图像的说明图。
图18是用于在说明本发明实施方式5的视频检索装置中进行概要再现时显示的图像的说明图。
图19是用于在说明本发明实施方式6的视频检索装置中进行概要再现时显示的图像的说明图。
图20是用于说明本发明实施方式6的视频检索装置的重要场景显示条的生成方法的说明图。
图21是用于在说明本发明实施方式7的视频检索装置中进行概要再现时显示的图像的说明图。
图22是用于说明本发明实施方式7的视频检索装置的滑动显示条和滑动显示指示器的说明图。
图23是表示本发明实施方式8的记录装置的结构的框图。
图24是用于说明CM检测部的CM检测的说明图。
图25是用于说明元数据生成部的重要性级别的修正的说明图。
图26是表示本发明实施方式8的其它的记录装置的结构的框图。
具体实施方式
发明概要
本发明的多媒体概括系统和方法对存储在分割成片断的压缩多媒体文件中的多媒体进行概括。
关联的元数据文件包含所述图像序列的各片断的索引信息和重要性级别信息。在优选实施方式中，文件被存储在DVD等存储介质中。
重要性信息在某个范围内是连续的。在所述某个范围内选择重要性级别的阈值或范围。可设为重要性级别由视听者来选择，并基于音频信号(例如声音的分类和/或音量)。
在读出文件时，仅再现具有比重要性级别的阈值高的特定的重要性级别的多媒体片断。
为了进一步提高概括精度，可设重要性级别基于区间窗口。此时，可把内容分割成一定长度的窗口、或滑动窗口。
实施方式1
再现系统的结构
图1表示再现多媒体的系统100。这里，多媒体的内容例如是视频信号、音频信号、文本和二进制数据。该系统具备将构成为文件的多媒体和元数据存储在目录中的存储介质1(盘或带等)。在优选实施方式中，例如使用MPEG标准或AC-3标准来压缩多媒体。使用已知的技术对多媒体进行细分、分类、附加索引。可根据时间或帧序号来进行索引附加(参照本说明书中援引的美国专利第6628892号)。
元数据包含索引和重要性信息。作为本发明的优点，与现有技术相对照，重要性信息在某个范围内(例如[0，1]或[0，100])是连续的。因此，重要性级别不是“得分”或“头条新闻的时间”，而是与实数相关的信息，例如重要性为0.567或+73.64这样的值。
作为另一优点，连续的重要性信息不取决于上下文或内容，不象现有技术那样是非常主观的。这些特征均使视听者能够将多媒体再现至任意的期望长度。
元数据是二进制或文本，必要时，可加密保护。元数据可包含日期、有效性代码、文件类型等文件属性。多媒体和元数据的分层文件和目录结构如图2所示。
如图1所示，读取驱动器10从存储介质1中读出多媒体文件和元数据文件。读取缓冲器11暂时存储由读取驱动器10读出的数据。多路信号分离器(demultiplexer)12从读取缓冲器中依次取得多媒体数据，将该多媒体数据分离成视频流和音频流。
视频解码器13处理视频信号17，音频解码器14处理输出装置(例如电视监视器19)用的音频信号18。
元数据分析部15从读取缓冲器11中依次取得元数据。包含有处理器的再现控制部16控制系统100。元数据分析部15的功能性可使用软件来实施，可作为再现控制部16的一部分被嵌入。
另外，在本说明书中记载的任一个实施方式中，均不必同时记录和再现多媒体文件和元数据文件。实际上，元数据文件也可单个地分析，使视听者能尽快搜索出多媒体文件中感兴趣的片断。并且，多媒体和元数据也可复用为单个文件，在读出时进行分离。
文件和目录的结构
图2表示存储在存储介质1中的文件和目录的分层结构200。根目录20包含多媒体目录21和元数据目录22。多媒体目录21存储信息管理文件23、多媒体文件24和备份文件25。元数据目录22存储元数据文件26。另外，也可以是其它的目录和文件结构。多媒体文件24内的数据包含被复用的视频信号和/或音频信号。
另外，信息管理文件23和/或多媒体数据文件24的任一方均可包含表示元数据的有无或其为无效的标记。
元数据结构
图3表示元数据文件26的分层结构300。分层中有5个分层A～E，在最上位分层中包含元数据30，接在其下位的是管理信息31、一般信息32、镜头信息33以及索引和重要性信息34。
分层B的管理信息31包含作为全部元数据30的概括性记述的元数据管理信息31a、视频对象(VOB)元数据信息检索指针31b、和关联的VOB元数据信息31c。相互的相关不必是1对1，例如，可以是针对一个VOB元数据信息31c的元数据信息检索指针31b为多个，也可以是针对多个VOB的VOB元数据信息31c为1个，或1个也没有。
在下一分层C中，各VOB元数据信息31c包含元数据一般信息32a和视频镜头映射信息32b。元数据一般信息32a可包含节目名称、制作人名、男演员/女演员/记者/选手的名字、内容说明、广播日期或频道等。正确的对应关系作为表格存储在元数据一般信息32a中。
在下一分层D中，每个视频镜头映射信息32b中均有视频镜头映射一般信息33a、和1个或多个视频镜头入口33b。如上所述，在这些入口之间不必有1对1的对应关系。正确的对应关系作为表格存储在视频镜头映射一般信息33a中。
在下一分层E中，每个视频镜头入口33b中均有视频镜头开始时间信息34a、视频镜头结束时间信息34b和视频镜头重要性级别34c。如上所述，也可按帧序号对多媒体附加索引。在可从视频镜头开始时间信息34a取得索引数据的情况下，可省略索引信息。可使用任意的附加顺序系统来表示相对的重要性。如上所述，重要性级别是连续的，并且独立于内容。重要性级别可手动或自动附加。
另外，图3中，说明了将元数据文件200作为5个分层的情况，但只要包含视频镜头重要性级别34c、和可确定与该视频镜头重要性级别34c对应的视频镜头再现位置信息的时间信息或索引信息，则分层是多少层均可。另外，图3中，对元数据文件26中将全部视频对象的元数据作为一个文件来处理的情况进行了说明，但例如也可对每个视频对象设定独立的元数据文件。
多媒体的索引附加
图4表示本发明的被记录和再现的多媒体与元数据的关系。在存储在信息管理文件23中的节目链信息40中，记述多媒体数据文件24的多媒体的再现顺序。链信息包含基于由节目链信息40定义的再现单位的节目41。单元42a～b基于由节目41定义的再现单位。另外，DVD(DigitalVersatile Disk，数字化视频盘)中，所谓“单元”是用来表示视频节目的一部分的数据结构。
视频对象信息43a～b记述与通过信息管理文件23中记述的单元42指定的再现时间信息(即上演时间)对应的实际的视频数据或音频数据的参照目的地。
时间映射表格(TMAP)44a～b用于将由VOB信息43定义的再现时间信息偏移，将其变换为实际的视频数据或音频数据的地址信息。视频对象单元(VOBU)45a和45b记述多媒体数据文件24内的实际的视频数据或音频数据。这些数据与再现时间信息一起被复用于数据包结构。VOBU是访问多媒体并将其再现的最小单位。VOBU包含内容的一个或多个图片组(GOP)。
基于重要性阈值的再现
图5表示本发明的概要再现，将横轴51设为时间，将纵轴50设为重要性级别。如图5所示，重要性级别在预定的范围55(例如[0，1]或[0，100])中连续地变化。另外，如图所示，可由视听者在所述预定范围55内改变重要性级别的阈值53(56)。
另外，横轴51所示的时间以图3的视频镜头开始时间信息34a和视频镜头结束时间信息34b为基准。重要性以视频镜头重要性级别34c为基准。根据阈值53来评价重要性曲线的例子52。
在多媒体的再现中，再现具有比阈值53高的重要性的多媒体部分(58)，跳过具有比阈值低的重要性的部分(59)。曲线54表示包含于再现中的部分。使用再现控制部16，根据由元数据分析部15得到的元数据信息来进行再现。
另外，可指定多个连续的重要性级别，或一个或多个重要性级别范围，以便仅再现具有基于重要性范围的实数值的特定的重要性的区间。作为其它方法，也可仅再现重要性最低的区间。
为了再现期望的节目，由读取驱动器10读出信息管理文件23。由此，可判断为节目构成为例如两个单元。
各单元利用VOB序号和索引信息(例如开始时间和结束时间)来记述。VOB1信息43a的时间映射表格44a用于将各上演时间变换为上演时间戳(PTS)或相关的VOB1内的地址信息，由此得到实际的VOBU45。
同样，还通过使用VOB2信息43b的时间映射表格44b，与VOB2的VOBU45b组一起获得单元242b。在该例子中，单元(此时为单元42b)通过VOB43b，使用时间映射表格44b被附加索引。
VOBU45的数据被依次提供以用于分离和解码。使用上演时间(PTM)来同步视频信号17和音频信号18，提供给输出装置19。
当视听者选择了期望的节目(例如节目141)时，通过节目链信息40可找到包含关联的节目41的结构的单元42a～b。由此，节目链信息用于找到对应的VOB及上演时间(PTM)。
按如下所示来使用图4中说明的元数据26，且如图3所示。首先，使用元数据管理信息31a来搜索对应于期望的VOB序号的元数据信息检索指针31b。之后，使用元数据信息检索指针31b来搜索VOB元数据信息31c。VOB元数据信息31c包含视频镜头映射信息32b，该视频镜头映射信息32b包含各视频镜头的开始时间、结束(stop)时间和重要性级别。因此，VOB元数据被用于收集具有包含于由单元的开始时间和结束时间所指定的范围中的上演时间(PTM)、和对应的重要性级别的全部镜头。之后，仅保留超过期望的重要性级别53的部分。
另外，能在再现中选择多个节目，为了仅连结要再现的区间，可使用任意的方法。
其它的概要再现
图6A表示本发明的其它的概要再现，将纵轴50设为重要性级别，将横轴51设为时间，连续的曲线52表示重要性级别。线63是重要性级别的阈值，线64是仅具有比阈值高的特定的重要性的区间的再现。其它区间跳过。
概要率
图6B表示概要率60。概要率可从例如0％变化至100％(即整个范围55)。概要率被表示为在可作为再现装置的输出装置19中重叠于输出图像上的图解图像。部分61是可由用户选择的当前的概要率。阈值63根据可由用户选择的当前的概要率61来设定。用户可使用任意输入装置(例如键盘或遥控器17a，参照图1)来设定概要率。在概要率为100％的情况下，再现多媒体文件整体，在50％的概要率的情况下，仅再现文件的一半。可在再现过程中变更概要率。另外，图解图像也可就概要率或实际的时间而具有其它方式(例如滑动条或数值显示器)。作为其它方法，也可通过元数据分析部15或再现控制部16使概要率自动变化。
另外，针对视频区间的指针可在列表内按重要性的降序排序。因此，通过向包含成为排序顺序的区间的列表的下方前进，直到满足时间长度的要求，从而可得到任意的期望长度的概要。
记录系统的结构
图7表示将压缩后的多媒体文件和元数据文件记录在存储介质2(盘或带等)中的系统700的框图。该系统具备取得视频信号78、音频信号79、文本、图像、以及二进制数据等作为输入的视频编码器71和音频编码器72。各编码器的输出通过多路复用器73被复用，作为多媒体数据暂时存储在写入缓冲器74中。另外，也将各编码器的输出发送到元数据生成部75，该元数据生成部75也将输出写入写入缓冲器中。
之后，写入驱动器70在包含有处理器的记录控制部76的控制下，将多媒体和元数据作为文件写入存储介质2中。文件可使用MPEG或AC-3等标准的多媒体压缩技术以压缩形式写入。记录中也可使用加密。另外，元数据生成部75可作为嵌入到记录控制部76中的软件来实施。
编码器从输入信号78～79中提取出特征，例如动作矢量、彩色直方图、声音频率、特性和音量及声音关联信息。由元数据生成部75来分析所提取的特征，求出片断和与其关联的索引信息和重要性级别。
重要性级别窗口
例如图12所示，重要性级别可通过使用音频信号来求出。例如，可使用各片断1201的音量，并且，可将各片断1201的音频信号分类为各种类别(声音、音乐、欢呼声、拍手、笑声等)。此时，将内容1200整体分割为不重复的片断1201(例如1秒的持续时间)。可对拍手和欢呼声提供比声音和音乐高的重要性级别。
在将片断1201分类之后，用于搜索精彩场面的方法是将内容分割成持续时间相等的片断1201、即窗口1202。在使用窗口的情况下，各窗口包含图示的多个被分类的片断。
之后，通过求出窗口内的连续的拍手和/或欢呼声的最长长度，或通过求出窗口内的拍手和/或欢呼声的比例(百分比)，可计算各窗口的重要性级别。可向窗口内的全部区间赋予窗口的重要性级别。
其它的窗口方式使用在内容整体中持续期间被固定的滑动窗口1203(例如12秒)。滑动窗口包含“锚(anchor)”片断(例如窗口内的最初、中间或最后的区间)。该窗口可一次一个片断地沿正方向(时间方向)滑动。此时，窗口的锚区间(A)1204的重要性级别基于滑动窗口整体的拍手和/或欢呼声的比例或连续的拍手和/或欢呼声的长度。滑动窗口方法可更正确地搜索出精彩场面的时间。
加权(Weighted)重要性级别
并且，用窗口的系数(例如音量1211)来进一步对通过上述方策得到的重要性级别(IL)进行加权(1210)，可得到最终的重要性级别。因此，例如在某个片断包含多个音量低的拍手的情况下，向该片断赋予较低的重要性级别，向具有非常大的拍手的片断赋予较高的重要性级别。
另外，在体育节目等的情况下，对于得分场景或得分的机会而言，多数情况下除了拍手或呼欢声外，还伴随广播员或解说者的尖叫声。由此，在体育节目等的情况下，将包含拍手或欢呼声的尖叫声设定为一种声音类别，将该声音类别用于计算重要性级别也是有效的。
此外，在任一个实施方式中，均不必同时生成多媒体文件和元数据文件。例如，可在后面生成元数据，另外，可在预定时间内逐渐附加元数据。
基于时间阈值的再现
图8表示本发明的其它的概要再现，将纵轴50设为重要性级别，将横轴51设为时间，连续的曲线52表示预定时间内的重要性级别。线80是可变的重要性级别的阈值，线81是具有比阈值高的特定的重要性的区间的再现。其它区间跳过。
但是，在本实施方式中还使用时间的阈值。仅再现具有比重要性级别的阈值高的特定的重要性级别、且在比时间阈值长的时间内维持该重要性级别的区间。例如，不再现区间a1～a2，再现区间b1～b2。由此，排除了时间过短、视听者不能确切地理解的区间。
基于使用了附加的区间延长的时间阈值的再现
图9表示本发明的其它的概要再现900，将纵轴50设为重要性级别，将横轴51设为时间，曲线52表示预定时间内的重要性级别。线90是重要性级别的阈值，线91是具有比阈值高的特定的重要性的区间的再现。与上述一样，其它区间跳过。在该实施方式及后述的其它实施方式中，延长量可根据由再现控制部作出的决定而变化。
该实施方式也使用上述的时间阈值。但是，此时，不跳过时间比时间阈值短的区间。取而代之，使时间延长，以使这种区间满足时间阈值的条件。这通过在该短区间的前面、后面或前后加上多媒体文件的各部分来进行(例如区间c1～c2)。因此，增大短区间的大小，使视听者可适当确切地理解该短区间。另外，还可使用第2时间阈值，而依然跳过非常短的区间(例如1帧)。
基于使用了利用乘法的区间延长的时间阈值的再现
图10表示本发明的其它的概要再现，将纵轴50设为重要性级别，将横轴51设为时间，曲线52表示预定时间内的重要性级别。线1000是重要性级别的阈值，线1001是具有比阈值高的特定的重要性的区间的再现。其它区间跳过。
该实施方式也使用上述的时间阈值。但是，此时，将区间的时间仅延长预定量d，增大满足时间阈值的再现区间的大小。如上所述，可对区间在前面、后面或前后进行延长。另外，也可乘以系数，同样地来延长区间的时间。
记录和再现系统的结构
图11表示记录和再现被存储在读取/写入存储介质3(盘或带等)中的压缩多媒体文件和元数据文件的系统1100的框图。
读取/写入驱动器110可将数据写入读取缓冲器11，可从写入缓冲器74中读出数据。多路信息分离器12从读取缓冲器中依次取得多媒体，将该多媒体分离成视频流和音频流。视频解码器13处理视频流，音频解码器14处理音频流。但是，此时，由于元数据生成部75也接收解码器13～14的输出，所以可以使用记录/再现控制部111将再现的多媒体存储在存储介质3中。
另外，也可在解码过程中使用元数据生成部75，从视频数据和/或音频数据中提取出重要性级别、附加索引信息和其它元数据。
并且，也可手动生成重要性级别、附加索引信息和其它元数据，在后面的阶段中插入。
另外，上述实施方式均包含检索功能，视听者可根据时间、帧序号或重要性的任一个，直接跳至(定位到)多媒体的特定部分。该检索功能可使用“缩略”区间(例如在检索中辅助视听者的一个或少数几个帧)。
另外，在实施方式1中，说明了该系统中包含存储介质的情况，但该存储介质也可独立于系统而构成。例如，在该系统中内置HDD(Hard DiskDrive，硬盘驱动器)作为所述存储介质的情况下，系统中构成为包含存储介质。另一方面，在使用外带的HDD、DVD等光盘或磁盘作为所述存储介质的情况下，把系统和存储介质单独构成。
实施方式2
图13是表示实施方式2的概要再现装置1200的结构的框图。图13中，对与实施方式1中说明的结构相同的结构附加相同符号。
概要再现装置1200执行在包括DVD-R或DVD-RW在内的各种DVD盘、硬盘或蓝光盘(Blu-ray Disk)等存储介质4中根据上述图2中说明的目录结构而记录的所述视频的图像或声音的再现。另外，该概要再现装置1200根据与记录在所述存储介质4中的所述视频对应的所述重要性级别来执行该视频的概要再现。
下面，说明概要再现装置1200中进行视频的概要再现的情况。用户操作操作部130，选择要再现的期望视频，再选择概要再现。当用户选择了期望的视频时，如所述图4中说明的那样，由于可利用节目链信息40来确定构成该视频的节目41和构成该节目41的单元42，所以应参照的VOB的序号和该单元的再现开始时间及再现结束时间的各上演时间(PTM)被确定。
记录在存储介质4中的元数据30(图3)，在如下等定时，即，在该存储介质4被插入读取驱动器11中之后、且用户选择概要再现之前，或在用户选择了要再现概要的视频之后，或在该概要装置1200中再现(普通再现)记录在存储介质4中的节目的中途，通过读取驱动器11被读出，输出到驱动器I/F部3。驱动器I/F部3将输入的元数据30解调，输出到元数据分析部15。
元数据分析部15参照如上所述根据节目链信息40而检测出的、对应于所述视频的VOB序号，从元数据文件26中读出对应于该视频的元数据30。之后，该元数据分析部15从所述元数据30中，读出存储在对应于各VOB的视频镜头重要性级别34c中的重要性级别。
具体而言，首先参照所述VOB的序号，利用元数据管理信息31a和VOB元数据信息检索指针31b中存储的地址信息，确定VOB元数据信息31c。之后，访问对应于各VOB元数据信息31c的视频镜头映射信息32b。
之后，读出存储在视频镜头开始时间信息34a中的开始时间信息、存储在视频镜头结束时间信息34b中的结束时间信息和存储在视频镜头重要性级别34c中的重要性级别，其中所述视频镜头开始时间信息34a被记述于该视频镜头映射信息32b中包含的各视频镜头入口33b中。当确定了视频镜头开始时间信息34a和视频镜头结束时间信息34b时，确定具有包含于所述单元的再现开始时间和再现结束时间的范围内的上演时间(PTM)的视频镜头。
将元数据分析部15读出的重要性级别记录在该元数据分析部15中。元数据分析部15中可记录全部与存储介质4中记录的多个视频分别对应的重要性级别，也可记录全部与所述存储介质4中记录的视频中的成为概要再现对象的视频对应的重要性级别。另外，再现控制部16中也可仅记录为了生成OSD平面图像(细节如后所述。)所必需的重要性级别。另外，所述重要性级别也可以不记录在元数据分析部15中，而例如在再现控制部16中设置存储器(未图示)，记录在该存储器中。此时，所述元数据分析部15从所述元数据30的视频镜头重要性级别34c中读出重要性级别，输出到再现控制部16。
再现控制部16比较记录在所述元数据分析部15中的各重要性级别与预先设定的阈值。具体而言，在设置在再现控制部16中的比较部(未图示)中，比较从所述元数据分析部15输出的重要性级别与所述阈值。然后，再现控制部14利用所述图4中说明的节目链信息40来确定构成与具有比所述阈值大的值的重要性级别对应的视频镜头的VOBU，控制读取驱动器11以读出该VOBU。另外，所述阈值构成为可通过由用户操作操作部130来进行调整。
另外，由所述读取驱动器11读出的VOBU被驱动器I/F部121解调。之后，经音频解码器14将对应于该VOBU的声音的数据(音频数据)输出到D/A转换器127。对应于所述VOBU的副图像(视频中的字幕等)的数据(副图像数据)在经过图解解码部123处理之后，作为YUV信号蓄积在图解平面中。另外，对应于所述视频的图像的数据(视频数据)在经过视频解码部13的处理之后，作为模拟视频信号蓄积在视频描绘平面125中。
所述再现控制部16进行上述比较，生成表示由用户选择的视频的重要性级别的变化的图像(OSD平面图像)。另外，将对应于所述OSD平面图像的信号(下面称为OSD信号。)输出到由帧存储器等构成的OSD平面129。之后，将对应于所述OSD信号的OSD平面图像蓄积在OSD平面129中。
图14是用于说明OSD平面图像的说明图。如图14所示，再现控制部16生成OSD平面图像132，该OSD平面图像132包含：作为表示重要性的轴的纵轴133；作为时间轴的横轴134；表示所述时间轴方向上的重要性级别的变化的重要性级别标绘(plot)135；表示在所述比较部中预先设定的阈值的切分级别137；和表示在该概要再现装置1200的概要再现时再现的视频在节目整体中的位置的再现指示器136。所述再现指示器136被适当地更新描绘，以在时间轴134上正确示出从视频描绘平面125输出的图像在节目整体中的位置。
蓄积在视频描绘平面125、图解平面124和OSD平面129中的信号被同步输出到合成部126。合成部126将蓄积在所述图解平面124中的YUV信号、蓄积在所述视频描绘平面125中的所述模拟视频信号、和蓄积在所述OSD平面129中的所述OSD信号合成，输出到视频编码器71。之后，视频编码器71将合成信号变换为预定信号，输出到与概要再现装置1200连接的显示装置等外部设备。
另外，在概要再现装置1200中进行的概要再现与通过所述图5等说明的概要再现相同地来进行。
图15是用于说明概要再现装置1200的概要再现时、连接于该概要再现装置1200上的监视器、电视机等显示装置1300中显示的视频的说明图。图15中，图15(A)是示意性地示出与从视频描绘平面125输出的模拟视频信号对应的图像131(下面也称为视频平面图像131。)的图。图15(B)是所述图14中说明的OSD平面图像132。并且，图15(C)是将图15(A)的图像与图15(B)的图像合成得到的图像，即对应于从所述合成部126输出的合成信号的图像(下面也称为合成图像。)。另外，在存在与字幕等副图像数据对应的图像的情况下，在所述合成图像上重叠对应于该副图像数据的图像。
如图15(C)所示，实施方式2的概要再现装置1200在概要再现时，在所述显示装置1300中显示合成图像。因此，不会象现有的概要再现装置那样，产生用户不能把握视频整体的高涨趋势的问题。即，用户可通过合成图像中包含的OSD平面图像132，一眼即把握视频中的高涨趋势。
具体来说明，例如在概要再现的视频是体育节目，将表示该体育节目的视频的特征的参数作为“欢呼声的持续时间”来算出重要性级别的情况下，重要性级别标绘135表示所述体育节目中的欢呼声的持续时间的变化。就体育节目等而言，越是能左右胜负去向的场景，欢呼声或拍手持续越长时间。因此，用户仅通过观察一眼该重要性级别标绘135，就可把握该体育节目中的重要场景在节目整体中的位置，可一眼把握该体育节目中的高涨趋势。
另外，该用户通过观察切分级别137相对于重要性级别标绘135的位置，可一眼把握通过该概要再现视频整体被进行了何种程度的概括。另外，用户在想进一步对视频进行概括来再现的情况下，通过操作所述操作部130，使所述切分级别137沿纵轴133方向移动。另一方面，在想观察更多的包含于所述视频中的视频的情况下，使所述切分级别137沿与纵轴133相反的方向移动。另外，所述再现控制部16根据阈值的变化，参照所述节目链信息40，调整再现的视频镜头，控制读取驱动器10以读出该视频镜头中包含的VOBU。
如上所述，根据实施方式2的概要再现装置1200，即便记录在存储介质4中的视频是用户初次看的视频，也可容易地把握该视频的高涨趋势。
另外，通过参照OSD平面图像132，视听者可尽快地检测出期望的场景(精彩的场景等)。之后，仅通过边看所述OSD平面图像132边操作操作部130来调整阈值，就简单地调整概要再现的时间。
并且，可利用再现指示器136来容易地把握通过概要再现显示的图像在视频整体中的位置。
另外，即便如现有的概要再现装置那样、由于快进等看不到记录在存储介质中的视频整体，也可容易地把握精彩的场景等的位置。即，例如，在记录在存储介质中的节目的时间长的情况下，尽管是快进，用户要观看该视频整体也需要相当长的时间。但是，在实施方式2的概要再现装置中，节目的长短不成问题，一眼即可把握精彩场景在视频整体中的位置。
另外，如现有的概要再现装置那样，在设定(打刻)精彩场面的情况下，有可能漏取该精彩场面，但在实施方式2的概要再现装置1200中，则不存在这种可能性。
另外，也可以构成为，对于OSD平面图像132中的重要性级别标绘135、切分级别137、再现指示器136等的OSD平面图像中的各要素或该OSD平面图像132整体，可通过用户操作操作部130来进行显示或不显示的切换。
实施方式3
图16是用于说明实施方式3的概要再现装置进行概要再现时显示的图像的说明图。下面，对与实施方式1或2中说明的结构一样的结构附加相同符号，省略说明。
如图16所示，实施方式3的概要再现装置中，设置在再现控制部16中的运算部(未图示)根据概要再现的视频的录制时间(即普通再现该视频时所需的时间)、和当前的阈值，运算概要再现视频时所需的时间(下面称为概要时间。)。另外，再现控制部16运算把所述概要时间除以所述录制时间的结果所得的概要率，计数该概要再现中再现的场景的数量。
再现控制部16根据该再现控制部16进行的运算等的结果，生成包含文本信息141而构成的OSD平面图像140，将对应于该OSD平面图像140的OSD信号输出到OSD平面129。另外，OSD平面129在与蓄积在所述视频描绘平面中的信号等同步的定时，将该OSD信号输出到合成部126。
合成部126中，除了实施方式2中合成的信号外，还合成对应于所述OSD平面图像140的OSD信号。结果，在显示装置1300中，如图16所示，除了在实施方式2中说明的包含重要性级别标绘135的OSD平面图像外，还显示包含文本信息141的OSD平面图像。
如上所述，根据实施方式3的概要再现装置，除了实施方式2中说明的重要性级别标绘135外，还显示文本信息141，所以用户可容易地把握概要再现所需的时间、概要率等。
因此，用户通过参照显示于显示装置1300中的文本信息，操作操作部130，可调整阈值。
另外，实施方式3中，说明了作为所述文本信息显示概要时间等的情况，但也可显示当前再现的场景序号、当前再现的节目的节目名称、出演人名、制作人名、录制的年月日或日期时间或星期几、录制的节目的广播台名称、记录在存储介质4中的节目的总数、当前再现的节目的节目序号或再现时间位置、存储介质4的名称等对用户提供的补充/附加信息。
另外，对于利用文本信息141来显示的补充/附加信息，不仅使用文本等字符串，还可使用图标或图像来显示。
另外，可构成为可通过操作部130的用户操作来单独地选择设定OSD平面图像132、140的显示的打开、关闭。另外，关于OSD平面图像132、140的显示，双方可以同时打开或关闭，也可例如进行仅阈值137的显示打开、关闭操作等打开或关闭OSD平面图像132、140的一部分。
实施方式4
图17是用于说明实施方式4的概要再现装置中进行概要再现时显示的图像的说明图。下面，对与实施方式1～3中说明的结构一样的结构附加相同符号，省略说明。
实施方式4的概要再现装置中的OSD平面129仅蓄积对应于实施方式3中说明的文本信息141的OSD信号，将该OSD信号输出到合成部126。因此，在显示装置1300中，如图17所示，显示文本信息141和概要再现的视频的图像。另外，文本信息141的内容与实施方式3中说明的内容一样，所以省略说明。
如上所述，根据实施方式4的概要生成装置，由于显示文本信息141，所以用户可容易地把握概要再现所需的时间、概要率等。
实施方式5
图18是用于说明实施方式5的概要再现装置中进行概要再现时显示的图像的说明图。下面，对与实施方式1～4中说明的结构一样的结构附加相同符号，省略说明。
实施方式5中的概要再现装置由再现控制部16生成包含有预先记录在该再现控制部16中的动作模式显示文本151和图标图像152的OSD平面图像150。
具体地来说明，在该概要再现装置中若选择了概要再现，则再现控制部16根据预先记录的动作模式显示文本151和图标图像152，生成OSD平面图像150，将对应于该OSD平面图像的OSD信号输出到OSD平面129。之后，OSD平面129蓄积从再现控制部16输出的OSD信号，将该OSD信号输出到合成部126。
然后，合成部126将对应于从视频描绘平面125输出的信号的图像或对应于从图解平面124输出的信号的图像，和对应于从OSD平面129输出的信号的图像合成，输出到视频编码器71。结果，在显示装置1300中显示图18所示的图像。
如上所述，根据实施方式5的概要再现装置，用户可一眼把握该概要再现装置的动作状态。
另外，实施方式5中，说明了进行概要再现时显示的动作模式显示文本151和图标图像152，但也可显示表示普通再现或快进、后退等其它动作状态的动作模式显示文本151和图标图像152。
另外，也可不显示动作模式显示文本151和图标图像152双方，而显示动作模式显示文本151或图标图像152任一方。并且，也可通过操作操作部130，切换显示动作模式显示文本151和图标图像152双方的情况、显示动作模式显示文本151或图标图像152任一方的情况、或动作模式显示文本151和图标图像152双方均不显示的情况。
实施方式6
图19是用于说明在实施方式6的概要再现装置中进行概要再现时显示的图像的说明图。下面，对与实施方式1～5中说明的结构一样的结构附加相同符号，省略说明。
实施方式6中的概要再现装置中，由再现控制部16生成重要场景显示条161、重要场景条162、以及适当更新显示后示出当前的再现位置的再现指示器163，其中重要场景显示条161用于表示与具有比当前阈值137大的值的重要性级别对应的视频(重要场景)在视频整体中的位置，重要场景条162表示该重要场景的位置。然后，再现控制部16生成OSD平面图像160，将OSD信号输出到OSD平面129。然后，OSD平面129蓄积从再现控制部16输出的OSD信号，将该OSD信号输出到合成部126。
合成部126将对应于从视频描绘平面125输出的信号的图像或对应于从图解平面9输出的信号的图像、与对应于从OSD平面129输出的信号的图像合成，输出到视频编码器71。结果，显示装置1300中显示图19所示的图像。
这里，具体说明重要场景显示条161的生成方法。图20是用于说明重要场景显示条161的生成方法的说明图。另外，图20中，对与图19中说明的结构一样的结构附加相同符号，省略说明。
例如，在存在实施方式2中说明的重要性级别标绘135的情况下，把超过当前阈值137的部分设为重要的场景(例如得分场景等精彩场景)。这样，重要场景条162可通过将超过该阈值137的部分投影到重要场景显示条161上来得到。
如上所述，根据实施方式6的概要再现装置，可将构成为包含重要场景显示条161的OSD平面图像160的面积抑制得比构成为包含实施方式2中示出的重要性级别标绘135的OSD平面图像的面积小。因此，即便在视频描绘平面图像131上重叠显示该OSD平面图像160，也不会遮档视频图像。
另外，在普通再现时，若显示重要场景显示条161，则可容易地把握重要部位(具有高的重要性级别的精彩场景)相对于当前再现位置的相对位置。
另外，通过在重要场景显示条161中显示重要场景条162，可比仅显示文本信息141更容易把握概要率等。
实施方式7
图21是用于说明在实施方式7的概要再现装置中进行概要再现时显示的图像的说明图。下面，对与实施方式1～6中说明的结构一样的结构附加相同符号，省略说明。
实施方式7中的概要再现装置在再现控制部16中生成OSD平面图像，该OSD平面图像包含表示视频的记录时间的滑动显示条171、和表示当前显示的场景在视频整体中的位置的滑动显示指示器172，将对应于该OSD平面图像的OSD信号输出到OSD平面129。OSD平面129蓄积从再现控制部16输出的OSD信号，将该OSD信号输出到合成部126。另外，适当地更新描绘滑动显示指示器172，以在滑动显示条171上正确地表示从视频描绘平面图像125输出的图像在视频整体中的位置。
之后，合成部126将对应于从视频描绘平面125输出的信号的图像或对应于从图解平面124输出的信号的图像、与对应于从OSD平面129输出的信号的图像合成，输出到视频编码器71。结果，显示装置1300中显示如图21所示的图像。
这里，具体说明滑动显示条171和滑动显示指示器172。图22是用于说明滑动显示条171和滑动显示指示器172的说明图。另外，图22中，对与图21中说明的结构一样的结构附加相同符号，省略说明。
例如，在存在包含实施方式2中说明的重要性级别标绘135的OSD平面图像132的情况下，再现控制部16向OSD平面129输出OSD信号，该OSD信号对应于切取该重要性级别标绘135的一部分即虚线包围的部分(图22中的173的部分。下面称为部分标绘173)而得到的图像。另外，再现控制部16运算作为部分标绘173而被切出的部分在视频整体中的位置，为了表示该位置，随时更新滑动显示指示器172，使之重合在滑动显示条171上。
通过上述说明的再现控制部16的处理，生成图21所示的OSD平面图像170。
如上所述，根据实施方式7的概要再现装置，由于可将表示重要性级别的变动的OSD平面图像170的面积抑制得较小，所以即便重合显示于视频平面图像131上，也不会遮档视频的图像。
另外，通过放大显示重要性级别标绘的特定部分，可更详细且明确地显示时间轴方向上的重要性级别的变动。因此，即便是重要性级别标绘135的变动密集的部位，用户也可容易地辨识出该变动。
另外，实施方式7中，说明了使用滑动显示条171和滑动显示指示器172表示当前显示于显示装置1300中的图像在视频整体中的位置的情况，但只要是能显示当前显示的图像在视频整体中的位置的方法，也可采用基于使用分数或百分比表述的文本表现、或与滑动显示条170不同的饼分图等描绘。
实施方式8
图23是表示实施方式8中的记录装置1400的结构的框图。另外，以下的说明中，对与实施方式1或2中说明的结构一样的结构附加相同符号，省略说明。
图23中，CM检测部300分析音频编码器72中提取的音频信号的特征，检测出所述视频中的广告(Commercial Message，下面也称为CM)区间。之后，将对应于该检测结果的数据输出到元数据生成部301。
元数据生成部301如实施方式1中说明的那样，根据各编码器提取的视频信号的特征或音频信号的特征，算出重要性级别。并且，元数据生成部301根据CM检测部300中的CM检测的结果，修正生成的重要性级别。另外，元数据生成部301生成包含修正后的重要性级别的元数据，输出到写入缓冲器74。之后，所述元数据如实施方式1中说明的那样，与片断对应起来记录在记录介质2中。
图24是用于说明CM检测部300中的CM检测的说明图。图24中，310是将对应于输入到该记录装置1400中的视频信号或音频信号的视频内容(例如电视广播的广播内容)分为正编广播(下面也称为正编)和CM广播(下面也称为CM)来表示的视频内容原理图。另外，在该视频内容原理图中，示出CM广播由CM1、…、CMn等多个CM构成的情况。
另外，图24中，311是表示该CM检测部300通过分析所述音频信号而检测出的、所述视频内容原理图310的视频内容中无声音部分(下面也称为无声音部位)和有声音的部分(下面也称为有声音部位)的无声音部位检测曲线。并且，312是根据所述无声音部位来检测CM用的CM检测滤波器，313是表示通过CM检测滤波器312检测为CM区间的部分的CM检测曲线。
通常，在如图24的视频内容原理图310所示那样，视频的内容由正编和CM构成的情况下，多数情况下正编的视频或声音与CM的视频或声音没有联系。另外，在多个CM连续的情况下，多数情况下某CM的视频或声音与其它CM的视频或声音没有联系。因此，在从正编切换为CM的部分、从CM切换为CM的部分、或从CM切换为正编的部分中，声音在数百毫秒之间变成无声。因此，实施方式8的CM检测部300分析从音频编码器72输出的声音的特征，检测出该无声音部位，由此进行CM的检测。
下面，说明CM检测部300的动作。如上所述，该CM检测部300分析从音频编码器72输出的声音的特征，检测出该无声音部位。作为无声音部位的检测方法，例如可使用变形离散余弦变换(Modified DiscreteCosine Transform，下面也称为MDCT)。
在使用MDCT的情况下，CM检测部300对在音频编码器72中对模拟音频信号进行A/D变换、再进行编码压缩而得到的数字信号(也称为PCM(Pulse Code Modulation，脉冲编码调制)信号。)进行MDCT，算出MDCT系数。之后，算出预定个数的MDCT系数的值的平方和(即相当于音频能量)，比较该平方和的值与预定的阈值。并且，比较的结果，在所述平方和的值小于等于所述预定阈值的区间为预定区间(例如数百毫秒)的情况下，将该区间设为无声音部位。结果，在图24的视频内容原理图310所示的视频的情况下，在正编与CM的切换部分和CM与CM的切换部分中，检测出无声音部位。
将表示CM检测部300中检测出的无声音部位的信息(例如表示视频中的该无声音部位在时间轴上的位置的信息)记录在CM检测部300中的存储器(未图示)中，或记录控制部76中的存储器(未图示)中。另外，所述预定的阈值和所述预定的区间可根据该记录装置1400的设计等任意设定。
接着，CM检测部300比较检测出的无声音部位与CM检测滤波器312，检测CM区间。通常，CM广播采用一个CM的时间为15秒、30秒、60秒、90秒等预先决定的时间中的任一种时间来进行。因此，在CM检测部300中设定以15秒间隔、30秒间隔等预定间隔产生使能信号的CM检测滤波器312。之后，比较记录在所述存储器中的无声音部位的发生位置(时间轴上的位置)与所述使能信号的发生位置(时间轴上的位置)，检测CM。
即，CM检测部300在检测出某个无声音部位的情况下，产生以该无声音部位的位置为起点的使能信号(下面也称为起点使能信号)。之后，在起点使能信号之后以预定间隔(例如15秒间隔、30秒间隔等)发生的使能信号与后续的无声音部位连续一致的情况下，将作为起点的无声音部位设为CM区间的开始位置(下面也称为CM IN点(CM进入点))。
下面，在检测出无声音部位的位置与使能信号的位置不一致的部位的情况下，将时间上在该不一致部位之前、且最近的无声音部位的位置与使能信号的位置相一致的部位设为CM区间的结束部位(下面也称为CMOUT点(CM退出点))。之后，将CMIN点与CM OUT点之间的区间设为CM区间，将表示CM区间的位置信息输出到元数据生成部301。即，将对应于所述CM检测曲线313的信号输出到元数据生成部300。
图25是用于说明元数据生成部301中的重要性级别的修正的说明图。另外，图25(A)是表示元数据生成部301中根据视频编码器71的输出或音频编码器72的输出而生成的重要性级别的变化的一例的重要性级别标绘(图中52)，图25(B)是所述CM检测曲线(图中313)，图25(C)是由根据CM检测曲线修正重要性级别的结果得到的重要性级别标绘(图中321，下面也称为修正重要性级别曲线)。
元数据生成部301比较在CM检测部300中得到的CM检测曲线与重要性级别标绘，修正重要性级别。即，将在重要性级别标绘中与CM检测区间一致的重要性级别降低。具体而言，例如，将与CM区间一致的重要性级别置换为0等固定值。或者，也可对与CM区间一致的重要性级别乘以使该重要性级别的值减小的固定值(例如0.5)。通过执行上述处理，可得到在该元数据生成部301中被修正后的重要性级别。
另外，关于上述说明的CM检测部300的CM区间检测、元数据生成部301的元数据修正、或包含修正后的重要性级别的元数据向记录介质的记录，可在该记录装置1400向记录介质2记录视频的过程中执行，也可在向记录介质2的视频记录结束之后，根据记录在存储器或硬盘等中的无声音区间的时间信息修正重要性级别，在任意定时记录到记录介质2中。
如上所述，根据实施方式8的记录装置，可将CM区间中的重要性级别设定为低的值。即，即便在已向CM广播的部分赋予了高的重要性级别的情况下，也可将重要性级别修正为低的值。因此，当概要再现记录在记录介质中的视频时，可防止再现CM。
另外，以上说明中，说明了根据从音频编码器72输出的音频信号的特征来检测CM区间的情况，但CM区间的检测中也可使用从视频编码器71输出的视频信号的特征，还可使用视频编码器71中的视频信号的编码压缩时得到的预定特征量。
另外，CM区间的检测也可仅根据从视频信号或音频信号的任一方得到的特征来进行，还可根据从视频信号和音频信号双方得到的特征来进行。
另外，在以上说明中，说明了检测出无声音部位，检测出CM区间，修正重要性级别的情况，但也可利用其它方法来检测CM区间，修正重要性级别。例如，也可检测出输入到记录装置中的音频信号的音频方式是立体声方式还是单声道方式，来检测CM区间。即，在对正编使用单声道方式，对CM使用立体声方式的情况下，可通过检测出单声道方式与立体声方式的切换部分，检测出CM IN点和CM OUT点，来检测CM区间。另外，在对正编使用双语方式，对CM不使用双语方式的情况下，检测出不是双语广播的部分，作为CM区间。
并且，当在正编与CM的切换点插入了黑画面的视频帧的情况下，通过检测出该黑画面，可检测出CM区间。另外，当在对应于正编的视频信号中包含字幕广播信号、在对应于CM的视频信号中不包含字幕广播信号的情况下，可通过检测出该字幕广播信号，来检测CM区间。
另外，在输入到记录装置中的视频信号或音频信号上重叠有用于识别CM区间的信号(下面也称为CM识别信号)的情况下，通过检测出该CM识别信号，可检测出CM区间。在检测CM区间时，在检测黑画面等使用视频信号的特征的情况下，如图26所示，将记录装置1500构成为向CM检测部302输入视频编码器71的输出。之后，在元数据生成部303中，对应于根据视频信号或音频信号得到的CM检测曲线来修正元数据。
另外，以上说明中，说明了检测CM区间时、仅使用检测无声音部位的方法的情况，但在CM检测部300中，也可使用上述多个CM检测方法中的任一个，或组合使用多个CM检测方法。
例如，可将通过检测出单声道方式与立体声方式的切换部分来检测CM区间的方法、和通过检测出无声音部位来检测CM区间的方法组合。在正编和CM双方均使用立体声方式的情况下，通过检测出单声道方式与立体声方式的切换部分来检测CM区间的方法很难用来检测CM区间。但是，通过检测出该音频方式的切换来检测CM区间的方法可最便于检测CM区间，可减小记录装置中的运算负荷。
因此，利用电子节目表(EPG(Electric Program Guide)预先取得成为录制对象的电视广播的音频信号的音频方式，在正编为单声道方式的情况下或为双语方式的情况下，采用检测出音频方式的切换来检测CM区间的方式，在正编是立体声方式的情况下，采用通过检测出无声音部位来检测CM区间的方法。
也可以把基于音频方式的切换的检测的CM检测方式的结果，和基于无声音部位的检测的CM检测方式的结果，作为独立的数据表格来保存，根据预定的基准来判定在录制完成后或在任意的定时基于哪种方式的CM检测是适当的，而采用任一种方式。
另外，所谓所述预定基准例如可使用检测的CM区间的个数(下面也称为CM区间数)。例如，在对正编为立体声音频方式的节目检测声音方式的切换来检测CM区间的情况下，CM区间数比根据节目的广播时间而假定的一般的CM区间个数少得多。因此，在上述情况下，在CM区间数比根据节目的广播时间而假定的一般的CM区间个数少得多时，判断为通过检测出音频方式的切换来检测CM是不适当的。
具体而言，例如设定预定的阈值(可判断为比根据节目的广播时间而假定的一般的CM区间个数少得多的阈值)，比较CM区间数与所述阈值，在CM区间数比该阈值小的情况下，可判断为通过检测音频方式的切换来检测CM是不适当的。
另外，也可将使用通过检测音频方式的切换来检测CM区间的方法，进行重要性级别的修正而得到的元数据，和使用通过检测无声音部位来检测CM区间的方法，进行重要性级别的修正而得到的元数据这两方元数据记录在记录介质2中，当再现该记录介质2时，选择要使用的元数据。
另外，由实施方式8中说明的记录装置记录了元数据等的记录介质2可通过在实施方式2中说明的概要再现装置来再现。
将本发明记载为优选实施方式的例子，但应理解在本发明的精神和范围内，可进行各种其它的适应和修改。因此，所附权利要求的范围的目的在于网罗全部落入本发明的真正精神和范围内的变形和修改。

Claims (20)

1、一种记录装置，具备：
记录单元，其将输入的视频信号或音频信号记录在预定的记录介质中；
特征提取单元，其将所述视频信号或所述音频信号划分为预定的片断，针对每个预定的片断提取出所述视频信号的视频特征或所述音频信号的音频特征；和
元数据生成单元，其生成包含与所述视频特征或所述音频特征对应的特征数据、和所述片断的开始位置的元数据，
其中，所述记录单元将所述元数据与所述片断对应起来记录在所述记录介质中，
所述元数据生成单元根据包含于预定窗口中的各片断的特征数据和在锚区间被设定的特征数据，生成与所述窗口内的全部片断对应的特征数据，
所述窗口具有设定了预定的特征数据的锚区间。
2、根据权利要求1所述的记录装置，其特征在于：
所述元数据生成单元对所述特征数据赋予权值。
3、根据权利要求2所述的记录装置，其特征在于：
所述权值是与所述音频信号对应的声音音量。
4、一种记录装置，具备：
记录单元，其将输入的视频信号或音频信号记录在预定的记录介质中；
特征提取单元，其将所述视频信号或所述音频信号划分为预定的片断，针对每个预定的片断提取出所述视频信号的视频特征或所述音频信号的音频特征；
元数据生成单元，其生成包含与所述视频特征或所述音频特征对应的特征数据、和所述片断的开始位置的元数据；以及
CM检测单元，其根据所述视频信号或所述音频信号，来检测所述视频信号或所述音频信号中包含的广告区间，
其中，所述元数据生成单元根据所述CM检测单元的检测结果，修正所述特征数据，生成元数据，
所述记录单元将包含修正后的所述特征数据的元数据，与所述片断对应起来记录在所述记录介质中，
所述元数据生成单元根据包含于预定窗口中的各片断的特征数据和在锚区间被设定的特征数据，生成与所述窗口内的全部片断对应的特征数据，
所述窗口具有设定了预定的特征数据的锚区间。
5、一种记录方法，包括如下步骤：
信号记录步骤，将输入的视频信号或音频信号记录在预定的记录介质中；
提取步骤，将所述视频信号或所述音频信号划分为预定的片断，针对每个预定的片断提取出所述视频信号的视频特征或所述音频信号的音频特征；
元数据生成步骤，生成包含与所述视频特征或所述音频特征对应的特征数据、和所述片断的开始位置的元数据；
元数据记录步骤，在进行所述记录时，将所述元数据与所述片断对应起来记录在所述记录介质中，
所述元数据生成步骤根据包含于预定窗口中的各片断的特征数据和在锚区间被设定的特征数据，生成与所述窗口内的全部片断对应的特征数据，
所述窗口具有设定了预定的特征数据的锚区间。
6、一种记录方法，包括如下步骤：
信号记录步骤，将输入的视频信号或音频信号记录在预定的记录介质中；
提取步骤，将所述视频信号或所述音频信号划分为预定的片断，针对每个预定的片断提取出所述视频信号的视频特征或所述音频信号的音频特征；
第1元数据生成步骤，生成包含与所述视频特征或所述音频特征对应的特征数据、和所述片断的开始位置的元数据；
检测步骤，根据所述视频信号或所述音频信号，检测出在所述视频信号或所述音频信号中包含的广告区间，
第2元数据生成步骤，根据广告区间的检测结果，修正所述特征数据，生成元数据，
元数据记录步骤，将包含修正后的所述特征数据的元数据，与所述片断对应起来记录在所述记录介质中，
所述第1元数据生成步骤根据包含于预定窗口中的各片断的特征数据和在锚区间被设定的特征数据，生成与所述窗口内的全部片断对应的特征数据，
所述窗口具有设定了预定的特征数据的锚区间。
7、一种概要再现装置，具备：
特征数据提取单元，其从记录在利用权利要求5或6所述的记录方法记录了与元数据、视频信号或音频信号对应的片断的记录介质中的所述元数据中，提取出所述特征数据；
比较单元，其比较与所述特征数据对应的值和预先决定的阈值并生成比较结果；
检索单元，其检索记录在所述记录介质中的所述片断中、与所述比较结果对应的片断；以及
再现单元，其再现与该检索单元检索到的片断对应的视频或音频。
8、根据权利要求7所述的概要再现装置，
其中，所述检索单元检索所述比较单元的比较结果为值比所述阈值大的特征数据所对应的片断。
9、根据权利要求7所述的概要再现装置，其中，
所述比较单元对与所述检索单元检索到的片断对应的视频的再现时间和预定的阈值进行比较，
该概要再现装置在所述比较单元的比较结果为所述再现时间比所述预定阈值小的情况下，不再现与所述检索到的片断对应的视频或音频。
10、根据权利要求7所述的概要再现装置，其中，
所述比较单元对与所述检索单元检索到的片断对应的视频的再现时间和预定的阈值进行比较，
该概要再现装置在所述比较单元的比较结果为所述再现时间比所述预定阈值小的情况下，调整再现时间，以使包含与所述片断对应的视频或音频的、再现的视频或音频的再现时间大于等于所述预定阈值。
11、根据权利要求7所述的概要再现装置，还具备：
图像生成单元，其生成表示所述比较单元的比较结果的图像；以及
合成单元，其将所述图像生成单元生成的图像与所述检索单元检测到的片断的视频合成、输出。
12、根据权利要求11所述的概要再现装置，其中，
所述图像生成单元生成的图像包含：表示所述特征数据的值的变动的图像；和表示所述阈值的级别的图像。
13、根据权利要求11所述的概要再现装置，其中，
所述图像生成单元生成的图像包含表示作为所述比较单元的比较结果，与所述检索单元检索到的片断对应的视频的再现时间的图像。
14、根据权利要求11所述的概要再现装置，其中，
所述图像生成单元生成的图像包含表示作为所述比较单元的比较结果，与所述检索单元检索到的片断对应的视频在视频整体中的位置的图像。
15、根据权利要求11所述的概要再现装置，其特征在于，
在所述图像生成单元中制作的所述图像包含：
表示时间轴方向上的重要性级别的变化的重要性级别标绘；和
表示所述预先决定的阈值的切分级别。
16、根据权利要求11所述的概要再现装置，其特征在于，
在所述图像生成单元中制作的所述图像包含：
用于表示所述检索单元检测到的片断的视频在节目整体中的时间上的位置的横轴；
用于表示重要性的纵轴；
表示针对节目整体中包含的时间轴方向上的重要性级别的变化的重要性级别标绘；和
表示所述阈值在所述纵轴上的位置的切分级别。
17、根据权利要求16所述的概要再现装置，其特征在于，
所述重要性级别标绘是针对所述节目整体中包含的视频中的一部分视频而生成的，与表示针对所述节目整体中包含的时间轴方向上的重要性级别的变化的情况相比，是将该重要性的变动放大而得到的图像。
18、根据权利要求11所述的概要再现装置，其特征在于，
在所述图像生成单元中制作的所述图像包含：
表示节目整体的再现时间的文本信息；和
表示与具有比上述阀值大的值的重要性级别对应的视频在节目整体中的位置的重要性显示条。
19、根据权利要求16所述的概要再现装置，其特征在于，
在由所述合成单元生成的所述图像被显示于与该概要再现装置连接的显示单元中的状态下，所述预先决定的阈值可变更。
20、一种概要再现方法，包括如下步骤：
从记录在利用权利要求5或6所述的记录方法记录了与元数据、视频信号或音频信号对应的片段的记录介质中的所述元数据中，提取出所述特征数据；
比较与所述特征数据对应的值和预先决定的阈值并生成比较结果；
检索记录在所述记录介质中的所述片断中、与所述比较结果对应的片断；
再现与检索到的片断对应的视频或音频。
CNB2005800024486A 2004-01-14 2005-01-07 概要再现装置和概要再现方法 Active CN100538698C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/757,138 US20050154987A1 (en) 2004-01-14 2004-01-14 System and method for recording and reproducing multimedia
US10/757,138 2004-01-14
US10/779,105 2004-02-13

Publications (2)

Publication Number Publication Date
CN1910580A CN1910580A (zh) 2007-02-07
CN100538698C true CN100538698C (zh) 2009-09-09

Family

ID=34739986

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005800024486A Active CN100538698C (zh) 2004-01-14 2005-01-07 概要再现装置和概要再现方法

Country Status (6)

Country Link
US (2) US20050154987A1 (zh)
EP (1) EP2107477B1 (zh)
JP (1) JPWO2005069172A1 (zh)
CN (1) CN100538698C (zh)
HK (1) HK1097614A1 (zh)
MY (1) MY145519A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108307229A (zh) * 2018-02-02 2018-07-20 新华智云科技有限公司 一种影音数据的处理方法及设备

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6735253B1 (en) * 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US7143434B1 (en) 1998-11-06 2006-11-28 Seungyup Paek Video description system and method
US7339992B2 (en) 2001-12-06 2008-03-04 The Trustees Of Columbia University In The City Of New York System and method for extracting text captions from video and generating video summaries
US8472792B2 (en) 2003-12-08 2013-06-25 Divx, Llc Multimedia distribution system
TWI254221B (en) * 2004-05-06 2006-05-01 Lite On It Corp Method and apparatus for indexing multimedia data
US7624021B2 (en) * 2004-07-02 2009-11-24 Apple Inc. Universal container for audio data
KR100644095B1 (ko) * 2004-10-13 2006-11-10 박우현 디지털 방송 환경 하에 있어서 연동형 데이터방송을 인터넷 영역으로 확장하여 양방향 광고를 실현하는 방법
KR20060065476A (ko) * 2004-12-10 2006-06-14 엘지전자 주식회사 기록매체, 기록매체 내의 콘텐츠 서치방법 및 기록매체재생방법과 재생장치
WO2006096612A2 (en) 2005-03-04 2006-09-14 The Trustees Of Columbia University In The City Of New York System and method for motion estimation and mode decision for low-complexity h.264 decoder
AU2006280462B2 (en) * 2005-08-10 2010-07-22 Thomson Licensing System and method for reviewing digital cinema content
JP4321518B2 (ja) * 2005-12-27 2009-08-26 三菱電機株式会社 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置
US7558809B2 (en) * 2006-01-06 2009-07-07 Mitsubishi Electric Research Laboratories, Inc. Task specific audio classification for identifying video highlights
US8020097B2 (en) * 2006-03-21 2011-09-13 Microsoft Corporation Recorder user interface
JP4442585B2 (ja) * 2006-05-11 2010-03-31 三菱電機株式会社 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置
US20080019669A1 (en) * 2006-07-18 2008-01-24 Sahra Reza Girshick Automatically editing video data
US20080019661A1 (en) * 2006-07-18 2008-01-24 Pere Obrador Producing output video from multiple media sources including multiple video sources
US9009032B2 (en) * 2006-11-09 2015-04-14 Broadcom Corporation Method and system for performing sample rate conversion
US8805678B2 (en) * 2006-11-09 2014-08-12 Broadcom Corporation Method and system for asynchronous pipeline architecture for multiple independent dual/stereo channel PCM processing
FR2910769B1 (fr) * 2006-12-21 2009-03-06 Thomson Licensing Sas Procede de creation d'un resume d'un document audiovisuel comportant un sommaire et des reportages, et recepteur mettant en oeuvre le procede
AP2923A (en) * 2007-05-04 2014-05-31 Nokia Corp Media stream recording into a reception hint trackof a multimedia container file
US8316302B2 (en) * 2007-05-11 2012-11-20 General Instrument Corporation Method and apparatus for annotating video content with metadata generated using speech recognition technology
US20110229110A1 (en) * 2007-08-08 2011-09-22 Pioneer Corporation Motion picture editing apparatus and method, and computer program
US8260794B2 (en) * 2007-08-30 2012-09-04 International Business Machines Corporation Creating playback definitions indicating segments of media content from multiple content files to render
WO2009126785A2 (en) 2008-04-10 2009-10-15 The Trustees Of Columbia University In The City Of New York Systems and methods for image archaeology
WO2009155281A1 (en) 2008-06-17 2009-12-23 The Trustees Of Columbia University In The City Of New York System and method for dynamically and interactively searching media data
JP4816699B2 (ja) * 2008-09-03 2011-11-16 ソニー株式会社 楽曲処理方法、楽曲処理装置、及びプログラム
KR20100061078A (ko) * 2008-11-28 2010-06-07 삼성전자주식회사 메타 데이터를 이용하는 컨텐츠 소비 방법 및 그 장치
US8671069B2 (en) 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
JP5421627B2 (ja) * 2009-03-19 2014-02-19 キヤノン株式会社 映像データ表示装置及びその方法
KR100999655B1 (ko) * 2009-05-18 2010-12-13 윤재민 디지털 비디오 레코더 시스템 및 그것의 운용방법
WO2010134739A2 (ko) * 2009-05-18 2010-11-25 Yoon Jae Min 디지털 비디오 레코더 시스템 및 그것의 운용방법
US8135221B2 (en) * 2009-10-07 2012-03-13 Eastman Kodak Company Video concept classification using audio-visual atoms
US8176195B2 (en) * 2009-11-13 2012-05-08 Futurewei Technologies, Inc. Media distribution with service continuity
CN102487456B (zh) * 2009-11-30 2015-06-17 国际商业机器公司 用于提供网络视频访问热度的方法和装置
KR20110062982A (ko) * 2009-12-04 2011-06-10 삼성전자주식회사 실시간 방송 컨텐츠의 방송 요약 정보 생성 방법 및 장치와, 그 제공방법 및 방송 수신 장치
CN101753945B (zh) * 2009-12-21 2013-02-06 无锡中星微电子有限公司 一种节目预览的方法和装置
CN104067630B (zh) 2011-12-27 2018-10-16 英特尔公司 在可变时间帧中播放线性视频的方法及系统
US9276989B2 (en) * 2012-03-30 2016-03-01 Adobe Systems Incorporated Buffering in HTTP streaming client
GB2515481A (en) * 2013-06-24 2014-12-31 British Broadcasting Corp Programme control
US20150009363A1 (en) * 2013-07-08 2015-01-08 Htc Corporation Video tagging method
US20150110462A1 (en) * 2013-10-21 2015-04-23 Sling Media, Inc. Dynamic media viewing
US10297287B2 (en) 2013-10-21 2019-05-21 Thuuz, Inc. Dynamic media recording
US10433030B2 (en) 2014-10-09 2019-10-01 Thuuz, Inc. Generating a customized highlight sequence depicting multiple events
US10536758B2 (en) 2014-10-09 2020-01-14 Thuuz, Inc. Customized generation of highlight show with narrative component
US11863848B1 (en) 2014-10-09 2024-01-02 Stats Llc User interface for interaction with customized highlight shows
US10419830B2 (en) 2014-10-09 2019-09-17 Thuuz, Inc. Generating a customized highlight sequence depicting an event
CN106341740B (zh) * 2015-07-09 2019-04-26 上海交通大学 一种多媒体内容分级技术的实现方法
CN105992061B (zh) * 2015-02-13 2018-08-03 上海交通大学 一种自适应动态的多媒体分级传送播放管理方法
US10122767B2 (en) 2015-05-29 2018-11-06 Nagravision S.A. Systems and methods for conducting secure VOIP multi-party calls
US9900769B2 (en) 2015-05-29 2018-02-20 Nagravision S.A. Methods and systems for establishing an encrypted-audio session
US9891882B2 (en) 2015-06-01 2018-02-13 Nagravision S.A. Methods and systems for conveying encrypted data to a communication device
US10356059B2 (en) 2015-06-04 2019-07-16 Nagravision S.A. Methods and systems for communication-session arrangement on behalf of cryptographic endpoints
US10356456B2 (en) * 2015-11-05 2019-07-16 Adobe Inc. Generating customized video previews
CN105825850B (zh) * 2016-04-29 2021-08-24 腾讯科技（深圳）有限公司 一种音频处理方法及装置
CN105975568B (zh) * 2016-04-29 2020-04-03 腾讯科技（深圳）有限公司 一种音频处理方法及装置
CN108229905B (zh) * 2017-06-30 2023-04-25 勤智数码科技股份有限公司 一种基于业务关联的部门关系生成方法及系统
CN108280179B (zh) * 2018-01-22 2019-09-06 百度在线网络技术（北京）有限公司 音频广告检测的方法及系统、终端以及计算机可读存储介质
US11138438B2 (en) 2018-05-18 2021-10-05 Stats Llc Video processing for embedded information card localization and content extraction
US11264048B1 (en) 2018-06-05 2022-03-01 Stats Llc Audio processing for detecting occurrences of loud sound characterized by brief audio bursts
US11025985B2 (en) 2018-06-05 2021-06-01 Stats Llc Audio processing for detecting occurrences of crowd noise in sporting event television programming
CN111541939B (zh) * 2020-04-30 2022-04-22 北京奇艺世纪科技有限公司 一种视频拆分方法、装置、电子设备及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4679002A (en) 1985-04-25 1987-07-07 Westinghouse Electric Corp. Electromagnetically shielded narrow band electroencephalographic amplifier
JP2986345B2 (ja) * 1993-10-18 1999-12-06 インターナショナル・ビジネス・マシーンズ・コーポレイション 音声記録指標化装置及び方法
JP3409834B2 (ja) * 1997-07-10 2003-05-26 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
US6463444B1 (en) * 1997-08-14 2002-10-08 Virage, Inc. Video cataloger system with extensibility
US6714909B1 (en) * 1998-08-13 2004-03-30 At&T Corp. System and method for automated multimedia content indexing and retrieval
US6366296B1 (en) * 1998-09-11 2002-04-02 Xerox Corporation Media browser using multimodal analysis
US6366293B1 (en) * 1998-09-29 2002-04-02 Rockwell Software Inc. Method and apparatus for manipulating and displaying graphical objects in a computer display device
JP2000125243A (ja) 1998-10-15 2000-04-28 Sharp Corp 映像記録再生装置及び記録媒体
US6185527B1 (en) * 1999-01-19 2001-02-06 International Business Machines Corporation System and method for automatic audio content analysis for word spotting, indexing, classification and retrieval
US6434520B1 (en) * 1999-04-16 2002-08-13 International Business Machines Corporation System and method for indexing and querying audio archives
JP3376314B2 (ja) * 1999-05-12 2003-02-10 株式会社東芝 デジタル映像情報媒体、デジタル映像情報記録再生装置およびデジタル映像情報処理方法
GB2354105A (en) * 1999-09-08 2001-03-14 Sony Uk Ltd System and method for navigating source content
JP2002259720A (ja) * 2001-03-02 2002-09-13 Internatl Business Mach Corp <Ibm> コンテンツ要約システム、映像要約システム、ユーザ端末、要約映像生成方法、要約映像受信方法、およびプログラム
US7203620B2 (en) * 2001-07-03 2007-04-10 Sharp Laboratories Of America, Inc. Summarization of video content
US7386217B2 (en) * 2001-12-14 2008-06-10 Hewlett-Packard Development Company, L.P. Indexing video by detecting speech and music in audio
US7349477B2 (en) * 2002-07-10 2008-03-25 Mitsubishi Electric Research Laboratories, Inc. Audio-assisted video segmentation and summarization

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108307229A (zh) * 2018-02-02 2018-07-20 新华智云科技有限公司 一种影音数据的处理方法及设备
CN108307229B (zh) * 2018-02-02 2023-12-22 新华智云科技有限公司 一种影音数据的处理方法及设备

Also Published As

Publication number Publication date
US7406409B2 (en) 2008-07-29
HK1097614A1 (en) 2007-06-29
CN1910580A (zh) 2007-02-07
JPWO2005069172A1 (ja) 2007-07-26
EP2107477A2 (en) 2009-10-07
EP2107477B1 (en) 2015-11-25
US20050154987A1 (en) 2005-07-14
EP2107477A3 (en) 2011-08-03
US20050154973A1 (en) 2005-07-14
MY145519A (en) 2012-02-29

Similar Documents

Publication Publication Date Title
CN100538698C (zh) 概要再现装置和概要再现方法
JP4000171B2 (ja) 再生装置
US6597859B1 (en) Method and apparatus for abstracting video data
JP4905103B2 (ja) 動画再生装置
KR20060027826A (ko) 비디오 처리장치, 비디오 처리장치용 집적회로, 비디오처리방법, 및 비디오 처리 프로그램
JP4426743B2 (ja) 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム
US8019163B2 (en) Information processing apparatus and method
US20090196569A1 (en) Video trailer
Dimitrova et al. Video keyframe extraction and filtering: a keyframe is not a keyframe to everyone
KR20090111620A (ko) 녹화된 뉴스 프로그램을 기사별로 구분하는 방법 및 이를위한 장치
US7050110B1 (en) Method and system for generating annotations video
JP4432823B2 (ja) 特定条件区間検出装置および特定条件区間検出方法
KR20050010547A (ko) 개인 비디오 녹화 시스템 및 녹화 프로그램 편집 방법
US20090269029A1 (en) Recording/reproducing device
KR101233167B1 (ko) 녹화물 표시 장치 및 방법
KR20040005111A (ko) 지능형 ｐｖｒ 시스템 및 그 운영방법
KR101296998B1 (ko) 영상 재생 장치 및 이를 이용한 방송 녹화 재생 장치
KR20090114937A (ko) 녹화된 뉴스 프로그램들을 브라우징하는 방법 및 이를 위한장치
CN100536011C (zh) 数据处理装置
KR101436635B1 (ko) 디브이알 기능을 갖는 영상표시기기의 저장정보 편집장치및 방법
JP2006303868A (ja) 信号属性判定装置、信号属性判定方法、情報信号記録装置、情報信号記録方法、情報信号再生装置、情報信号再生方法、情報信号記録再生装置および情報信号記録再生方法並びに記録媒体
JP2006013787A (ja) コンテンツ記録装置、方法、プログラム、及び記録媒体
KR20080028228A (ko) Ｐⅴｒ ｔｖ의 디지탈 방송 녹화물 정렬 방법
KR20060028157A (ko) 모델 기반 세그먼트 메타데이터를 생성하는 장치 및 방법
JP2008199456A (ja) 番組記録再生装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1097614

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1097614

Country of ref document: HK