CN103067780A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN103067780A
CN103067780A CN2012103922295A CN201210392229A CN103067780A CN 103067780 A CN103067780 A CN 103067780A CN 2012103922295 A CN2012103922295 A CN 2012103922295A CN 201210392229 A CN201210392229 A CN 201210392229A CN 103067780 A CN103067780 A CN 103067780A
Authority
CN
China
Prior art keywords
fragment
representative image
state
video segment
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103922295A
Other languages
English (en)
Other versions
CN103067780B (zh
Inventor
铃木洋贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103067780A publication Critical patent/CN103067780A/zh
Application granted granted Critical
Publication of CN103067780B publication Critical patent/CN103067780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

本发明公开了图像处理装置、图像处理方法和程序。图像处理装置包括：显示控制单元，该显示控制单元在显示装置上显示布置有片段代表图像的片段地图，片段代表图像代表通过将内容划分为作为一个或多个时间上连续的帧的帧集合的视频片段而获得的视频片段；以及再现控制单元，该再现控制单元根据对于片段代表图像请求再现的用户的再现操作来控制与该片段代表图像相对应的视频片段的再现，其中，当在内容的一视频片段的再现期间对内容的另一视频片段的片段代表图像执行再现操作时，再现控制单元在仍维持正被再现的视频片段的再现的同时，再现与被执行了再现操作的片段代表图像相对应的该另一视频片段。

Description

图像处理装置、图像处理方法和程序
技术领域
本技术涉及图像处理装置、图像处理方法和程序，具体而言例如涉及使得用户能够在单个内容项中同时观看用户感兴趣的多个场景等等的多个地方的图像处理装置、图像处理方法和程序。
背景技术
例如，为了观看视频的内容内用户感兴趣的场景，用户必须给出再现该场景的指示，也就是说给出关于作为再现对象的场景(的位置)的指示。
为了给出关于作为再现对象的场景的指示，用户必须获得内容中包括的场景的概要。
作为用户获得内容中包括的场景的概要的方法，有显示内容的缩略图的方法。
作为显示内容的缩略图的方法，例如，有检测广告和主节目之间的切换、图像中反映的人和物体之间的切换等等作为场景变化，并且生成和显示压缩了紧跟场景变化后的帧的缩略图的方法(例如参考2008-312183号日本专利申请公布)。
发明内容
根据本公开的实施例，提供了一种视频管理应用，其以胶卷形式显示内容的一部分的帧的缩略图并且在缩略图被点击时从与缩略图相对应的帧开始再现。
根据该视频管理应用，用户能够通过查看缩略图、获得以与缩略图相对应的帧等等开始的场景的概要并且点击感兴趣的场景的缩略图来观看场景。
这里，在上述视频应用中，当与缩略图A相对应的(从与缩略图A相对应的帧开始的)场景由于用户对缩略图A的点击而正在再现中时，在用户查看另一缩略图B、对与缩略图B相对应的场景感兴趣并且通过点击缩略图B来尝试观看该场景的情况下，在此之前播放的与缩略图A相对应的场景的再现被停止，并且与缩略图B相对应的场景的再现开始。
因此，即使在用户查看以胶卷形式显示的缩略图并且对分别与多个例如两个缩略图A和B相对应的场景感兴趣的情况下，也难以同时观看分别与两个缩略图A和B相对应的场景。
本技术是鉴于上述情况而作出的，并且使得用户能够同时观看单个或多个内容项内的多个地方。
根据本技术的一个实施例，提供了一种图像处理装置或者使得计算机具有作为该图像处理装置的功能的程序，其中该图像处理装置包括：显示控制单元，该显示控制单元在显示装置上显示片段地图，该片段地图是布置了片段代表图像的地图，片段代表图像是代表通过将内容划分成作为一个或多个时间上连续的帧的帧集合的视频片段而获得的视频片段的图像；以及再现控制单元，该再现控制单元根据对于片段代表图像请求再现的用户的再现操作来控制与该片段代表图像相对应的视频片段的再现，其中，在内容的一视频片段的再现期间对内容的另一视频片段的片段代表图像执行再现操作的情况下，再现控制单元在仍维持正被再现的视频片段的再现的同时，再现作为与被执行了再现操作的片段代表图像相对应的视频片段的另一视频片段。
根据本技术的一个实施例，提供了一种图像处理方法，包括：在显示装置上显示片段地图，该片段地图是布置了片段代表图像的地图，片段代表图像是代表通过将内容划分成作为一个或多个时间上连续的帧的帧集合的视频片段而获得的视频片段的图像；以及根据对于片段代表图像请求再现的用户的再现操作来控制与该片段代表图像相对应的视频片段的再现，其中，在对视频片段的再现的控制中，在内容的一视频片段的再现期间对内容的另一视频片段的片段代表图像执行再现操作的情况下，在仍维持正被再现的视频片段的再现的同时，再现作为与被执行了再现操作的片段代表图像相对应的视频片段的另一视频片段。
根据本公开的一个实施例，在显示装置上显示片段地图，该片段地图是布置了片段代表图像的地图，片段代表图像是代表通过将内容划分成作为一个或多个时间上连续的帧的帧集合的视频片段而获得的视频片段的图像。从而，根据对于片段代表图像请求再现的用户的再现操作来再现与该片段代表图像相对应的视频片段。在内容的一视频片段的再现期间对内容的另一视频片段的片段代表图像执行再现操作的情况下，在仍维持正被再现的视频片段的再现的同时，再现作为与被执行了再现操作的片段代表图像相对应的视频片段的另一视频片段。
此外，图像处理装置可以是独立的装置，或者可以是构成一个装置的内部块。
此外，能够通过经由传送介质传送或者通过记录在记录介质上来提供程序。
根据本技术的实施例，用户将能够同时观看单个内容项内用户感兴趣的多个场景内的多个地方。
附图说明
图1是示出应用了本技术的图像处理装置的实施例的构成示例的框图。
图2是示出图像处理装置的浏览处理的流程图。
图3是示出片段地图生成单元的构成示例的框图。
图4是示出集群化单元的构成示例的框图。
图5是示出集群化模型学习单元的构成示例的框图。
图6是示出集群判定单元的构成示例的框图。
图7是示出地图生成单元的构成示例的框图。
图8是示出地图描绘单元描绘的模型地图的示例的示图。
图9是示出片段地图生成单元的片段地图生成处理的概要的示图。
图10是示出片段地图生成单元生成的片段地图的示例的示图。
图11是示出确定状态的重要度的方法的示图。
图12是示出片段地图生成单元执行的片段地图生成处理的流程图。
图13是示出叠加有砖块图像的片段地图的显示示例的示图。
图14是示出当显示砖块图像时显示控制单元的显示控制处理的流程图。
图15是示出固定砖块图像的显示示例的示图。
图16是示出固定砖块图像的细节的示图。
图17是示出关注代表图像的突出显示的显示示例的示图。
图18是示出时间线图像的显示示例的示图。
图19是示出当显示时间线图像时显示控制单元的显示控制处理的流程图。
图20是示出作为时间线图像中布置的构成图像的片段代表图像的滚动的显示示例的示图。
图21是示出在再现控制单元中再现的视频片段的图像的显示示例的示图。
图22是示出再现窗口的显示示例的示图。
图23是示出在收藏信息被存储在收藏信息存储单元中的情况下的片段地图的显示示例的示图。
图24是示出通过双次点击片段地图中突出显示的片段代表图像而执行的视频片段的再现的示图。
图25A和25B是示出显示模式的转变和在每种显示模式中执行的处理的示图。
图26是示出应用了本技术的计算机的实施例的构成示例的框图。
具体实施方式
[应用了本技术的图像处理装置的实施例]
图1是示出应用了本技术的图像处理装置的实施例的构成示例的框图。
在图1中，图像处理装置由内容存储单元11、操作事件处理单元12、收藏信息存储单元13、片段地图生成单元14、再现控制单元15、显示控制单元16和显示单元17构成。
内容存储单元11例如存储(记录)诸如电视广播的节目等等之类的内容。存储在内容存储单元11中的内容例如根据用户的操作被再现。
操作事件处理单元12根据用户的操作生成事件(操作事件)，并且根据这些操作事件执行各种处理，例如对构成图像处理装置的每个块的控制。
这里，作为用户的操作(操作事件)，有(单次)点击、双次点击、叩击、双次叩击等等，它们是对诸如鼠标或触摸面板之类的指点设备的操作。另外，操作事件处理单元12生成的操作事件例如包括诸如随着鼠标移动的光标的位置或者在触摸面板上触摸的位置之类的信息。
根据操作事件处理单元12的控制，收藏信息存储单元13存储与集群有关的信息等等作为收藏信息，在所述集群中如后文所述集群化了用户感兴趣的(收藏)视频片段。
根据操作事件处理单元12的控制等等，片段地图生成单元14生成二维或三维片段地图并且执行将其提供给显示控制单元16，所述片段地图是其中布置了片段代表图像的地图，片段代表图像是代表通过将内容存储单元11中存储的内容划分成作为一个或多个时间上连续的帧的帧集合的视频片段而获得的视频片段的图像。
根据操作事件处理单元12的控制，再现控制单元15控制内容存储单元11中存储的内容的再现。
也就是说，根据用户请求对片段代表图像的再现的再现操作，再现控制单元15例如控制与片段代表图像相对应的视频片段的再现。
具体而言，再现控制单元15读取作为内容存储单元11中存储的内容的一部分的视频片段，执行诸如解码之类的必要处理，并且获得视频片段的图像和音频(数据)。这里，除了将视频片段的图像提供给显示控制单元16以外，再现控制单元15还将视频片段的音频提供给扬声器(未示出)以便输出。
显示控制单元16执行显示控制以将从再现控制单元15提供来的视频片段的图像、从片段地图生成单元14提供来的片段地图等等显示在显示单元17上。
此外，显示控制单元16根据收藏信息存储单元13中存储的收藏信息来控制片段地图的显示。
显示单元17由液晶面板、有机EL(电致发光)显示器之类的构成，并且根据显示控制单元16的控制显示图像。
图2是示出图1的图像处理装置执行的处理(浏览处理)的流程图。
当用户执行给出再现内容的指示的操作时，在步骤S11中，操作事件处理单元12选择有对其的再现指示的内容作为再现对象内容(该再现对象内容是作为再现的对象的内容)，并且控制片段地图生成单元14以生成再现对象内容的片段地图，由此处理进行到步骤S12。
在步骤S12中，片段地图生成单元14从内容存储单元11中读取再现对象内容，并且执行生成再现对象内容的片段地图的片段地图生成处理。
换言之，片段地图生成单元14将再现对象内容划分成视频片段，并且生成二维或三维片段地图，其中视频片段是一个或多个时间上连续的帧的帧集合，片段地图是其中布置(显示)了作为代表每个视频片段的图像的片段代表图像的地图。
这里，片段地图生成单元14将再现对象内容的片段地图提供给显示控制单元16，由此处理从步骤S12进行到步骤S13。
这里，内容的片段地图能够在内容被存储在内容存储单元11之后的任意定时被预先生成并存储在内容存储单元11中。在此情况下，在步骤S12中，可以简单地从内容存储单元11读取再现对象内容的内容地图。
在步骤S13中，显示控制单元16在显示单元17上显示来自片段地图生成单元14的再现对象内容的片段地图，由此处理进行到步骤S14。
在步骤S14中，根据用户的操作，也就是由操作事件处理单元12生成的操作事件，再现控制单元15执行再现对象内容的再现控制，并且与此同时，显示控制单元16执行片段地图的显示控制。
然后，当用户执行结束浏览处理的操作时(当生成请求结束浏览处理的操作事件时)，图像处理装置结束浏览处理。
这里，在步骤S14中，作为由显示控制单元16执行的片段地图的显示控制，有后文将描述的砖块图像显示、突出显示以及对片段地图的显示模式的设定(改变)等等，它们是根据由用户利用光标或手指指示的、作为显示片段地图的显示单元17的显示画面上的位置的指示位置执行的。
此外，在步骤S14中，作为由再现控制单元15执行的再现对象内容的再现控制，例如有诸如并行再现再现对象内容的多个视频片段的控制。
换言之，对于在显示单元17上显示的再现对象内容的片段地图的片段代表图像，用户能够执行双次点击或双次叩击作为请求针对该片段代表图像的视频片段的再现的再现操作。
在在作为内容存储单元11中存储的再现对象内容的视频片段#A的再现期间，也就是在视频片段#A的图像被显示在显示单元17上的同时，针对再现对象内容的另一视频片段#B的片段代表图像的再现操作被执行的情况下，再现控制单元15在正被再现的视频片段#A的再现被维持原样的同时开始针对被执行了再现操作的片段代表图像的视频片段#B的再现，并且视频片段#B的图像被提供给显示控制单元16。
从而，根据步骤S14的再现控制，用户将能够在单个再现对象内容内同时观看用户感兴趣的多个场景等等的多个地方。
[片段地图生成单元14的构成示例]
图3是示出图1的片段地图生成单元14的构成示例的框图。
在图3中，片段地图生成单元14包括集群化单元21、片段划分单元22、片段代表图像生成单元23以及地图生成单元24。
再现对象内容被从内容存储单元11(图1)提供到集群化单元21。
例如，集群化单元21将来自内容存储单元11的再现对象内容的每个帧集群化到预先确定的多个集群中的任何一个的集群中，并且将表示该集群化结果的集群信息提供(输出)到片段划分单元22。
这里，集群信息至少包括指定再现对象内容的每个帧所属的集群的信息(例如表示集群的唯一号码等等)。
对于由集群化单元21集群化的多个集群，片段划分单元22将属于这些集群的帧划分成作为一个或多个时间上连续的帧的帧集合的视频片段。
也就是说，片段划分单元22顺次选择由集群化单元21集群化的多个集群作为要关注的关注集群，并且基于来自集群化单元21的集群信息识别属于关注集群的再现对象内容的帧。
此外，当属于关注集群的帧被按时间顺序排列时，片段划分单元22将这些帧划分成视频片段，其中一个或多个时间上连续的帧的帧集合作为一个视频片段。
从而，例如，这里，在从作为从再现对象内容的开头起的第t1号的帧t1起连续的n1个帧和从作为从再现对象内容的开头起的第t2(＞t1+n1)号的帧t2起连续的n2个帧属于关注集群的情况下，在片段划分单元22中，属于关注集群的n1+n2个帧被划分成具有从再现对象内容的帧t1起连续的n1个帧和从再现对象内容的帧t2起连续的n2个帧的视频片段。
这里，片段划分单元22把从属于关注集群的帧获得的视频片段设定为属于关注集群的视频片段，并且将表示此视频片段的片段信息提供给片段代表图像生成单元23。
这里，片段信息至少包括指定包括视频片段的帧的帧信息(例如表示从再现对象内容的开头起的帧的号码的号码)和表示视频片段(或者视频片段中包括的帧)所属的集群的集群信息。
再现对象内容的每个视频片段的片段信息被从片段划分单元22提供到片段代表图像生成单元23，并且再现对象内容也被从内容存储单元11提供到片段代表图像生成单元23。
片段代表图像生成单元23对于再现对象内容的每个视频片段，生成代表视频片段的片段代表图像。
换言之，片段代表图像生成单元23基于来自片段划分单元22的片段信息识别再现对象内容的所有视频片段，并且顺次选择它们作为要关注的关注视频片段。
此外，基于来自片段划分单元22的片段信息，片段代表图像生成单元23识别关注视频片段中包括的帧，并且利用来自内容存储单元11的关注视频片段中包括的帧，生成代表关注视频片段(的内容)的片段代表图像。
接下来，片段代表图像生成单元23将关注视频片段的片段代表图像与关注视频片段的片段信息一起提供给地图生成单元24。
这里，作为视频片段的片段代表图像，例如可以采用其中压缩了诸如视频片段的开头帧之类的预定帧的缩略图。
此外，作为视频片段的片段代表图像，例如可以采用诸如动画GIF之类的图像，该动画GIF利用动画(视频)显示其中压缩了视频片段中包括的帧之中的多个帧的图像。
地图生成单元24生成片段地图并执行将其提供给显示控制单元16(图1)，片段地图是其中布置了来自片段代表图像生成单元23的作为代表再现对象内容的视频片段的图像的片段代表图像的地图。
[集群化单元21的构成示例]
图4是示出图3中的集群化单元21的构成示例的框图。
在图4中，集群化单元21包括集群化模型学习单元31、集群化模型存储单元32以及集群判定单元33。
集群化模型学习单元31学习集群化模型并将其提供给集群化模型存储单元32，集群化模型是用于对内容的每个帧进行集群化的模型。
这里，作为集群化模型，例如，可以采用包括状态和状态转变的状态转变模型。
作为是集群化模型的状态转变模型，例如可以采用HMM之类的。
例如，集群化模型学习单元31从内容存储单元11等中存储的内容之内选择属于预定类别的一项或多项内容作为学习内容，并且根据类别对学习内容分类。
这里，属于预定类别的内容例如意味着相同体裁的节目、一系列的节目、每周、每日或周期性广播的节目(具有相同标题的节目)等等的内容内包括的具有共同内容结构的内容。
例如，可以采用体裁的“粗略”分类，例如体育节目、新闻节目之类的；然而，诸如足球比赛节目或棒球比赛节目之类的“窄”分类是优选的。
另外，例如，在足球比赛节目的情况下，可以对于每个不同频道(广播台)执行分类成属于不同类别的内容。
此外，要采用作为内容的类别的类别的种类例如是在图1的图像处理装置中预先设定的。
此外，例如，能够从与电视广播中的节目一起发送的诸如节目标题或体裁之类的元数据或者互联网上的站点提供的节目的信息等等来识别内容存储单元11中存储的内容的类别。
对于每个类别，集群化模型学习单元31使用该类别的学习内容，学习该类别的集群化模型，并且对于每个类别生成(获取)集群化模型。
也就是说，作为集群化模型，例如，当采用HMM时，对于每个类别，集群化模型学习单元31使用该类别的学习内容并且执行对作为集群化模型的HMM的学习。
这里，在集群化模型学习单元31中，可以利用例如诸如互联网上的站点之类的外部内容以及内容存储单元11中存储的内容作为学习内容来执行作为集群化模型的HMM的学习。
集群化模型存储单元32存储由集群化模型学习单元31等等生成的每个类别的集群化模型。
这里，集群化模型的学习例如能够在互联网上的站点等处执行，并且集群化模型存储单元32能够从这种站点下载(获取)并存储集群化模型。
在这种情况下，能够在不设有集群化模型学习单元31的情况下构成集群化单元21。
集群判定单元33使用集群化模型存储单元32中存储的集群化模型，判定从内容存储单元11提供来的再现对象内容的每个帧所属的集群，并且将表示作为该集群的集群化结果的集群信息提供(输出)到片段划分单元22。
[集群化模型学习单元31的构成示例]
图5是示出图4的集群化模型学习单元31的构成示例的框图。
集群化模型学习单元31例如将HMM(隐藏马尔科夫模型)设定为集群化模型，并且提取作为在集群化模型的学习中使用的内容的学习内容的每个帧的特征量，其中HMM是由状态将会转变的状态转变概率和从状态将会观测到预定观测值的观测似然限定的一个状态转变模型。此外，集群化模型学习单元31使用学习内容的每个帧的特征量(按时间顺序的特征量)并且执行HMM学习。
换言之，集群化模型学习单元31由学习内容选择单元41、特征量提取单元42、特征量存储单元43和学习单元44构成。
学习内容选择单元41从内容存储单元11中存储的内容之内选择用于HMM学习的内容作为学习内容，并且将其提供给特征量提取单元42。
特征量提取单元42提取来自学习内容选择单元41的学习内容的每个帧的提取特征量(向量)，并将其提供给特征量存储单元43。
这里，作为帧#f的特征量，例如，可以采用GIST等等的帧#f的图像的特征量、MFCC(美尔频率倒谱系数)等等的包括帧#f在内的多个帧的区间的音频的特征量、表示帧#f内的人的整个身体或脸部的位置的位置信息或者上述这些项之中的多项的组合等等。
特征量存储单元43按时间顺序存储从特征量提取单元42提供来的学习内容的每个帧的特征量。
学习单元44利用特征量存储单元43中存储的学习内容的每个帧的每个类别的特征量对每个类别执行HMM学习。另外，学习单元44将学习后的HMM与HMM学习中使用的学习内容的类别相关联，并执行将其作为集群化模型提供给集群化模型存储单元32。
这里，HMM是由状态si的初始概率πi、状态转变概率aij以及从状态si观测到预定观测值的观测似然bi(o)限定的。i和j是表示HMM的状态的索引并且在HMM的状态的数目是N的情况下是1至N的范围内的整数。
初始概率πi表示状态si是初始状态(第一状态)的概率，并且状态转变概率aij表示从状态si转变到状态sj的概率。
观测似然bi(o)表示在转变状态到状态si时从状态si将观测到观测值o的似然(概率)。作为观测似然bi(o)，在观测值o是离散值的情况下，使用概率值(离散值)，而在观测值o是连续值的情况下，使用概率分布函数。作为概率分布函数，例如，可以采用由平均值(平均向量)和方差(协方差矩阵)限定的高斯分布等等。
这里，观测值o是离散值的HMM也被称为离散HMM，并且观测值o是连续值的HMM也被称为连续HMM。
HMM学习例如能够利用Baum-Welch算法来执行，Baum-Welch算法是利用EM算法的统计学习方法。
根据作为集群化模型的HMM，学习内容内包括的内容的结构(例如由节目构成、相机工作等等产生的结构)是以自组织方式获取的。
结果，作为集群化模型的HMM的每个状态对应于通过学习获取的内容的结构的元素，并且状态转变表现内容的结构的元素之间的时间性转变。
这里，HMM状态收集并表现特征量空间(由特征量提取单元42提取的特征量的空间)中的空间距离接近并且时间情境相似的帧群组(即，“相似场景”)。
这里，例如，学习内容是智力问答节目，粗略来说，给出题目、提供提示、参与者回答以及揭示正确答案的流程被设定为该节目的基本流程，并且当节目利用此基本流程的重复来进行时，节目的基本流程相当于内容的结构，并且构成该流程(结构)的各个给出题目、提供提示、参与者回答和揭示正确答案相当于内容的结构的元素。
另外，例如，从给出题目到提供提示的进行等等相当于内容的结构的元素之间的时间转变。
此外，作为HMM观测值o，可以使用从帧提取的特征量本身，或者可以使用从帧提取的特征量被离散化的离散值。
在从帧提取的特征量本身被用作HMM观测值o的情况下，作为观测值o的特征量是连续值，并且在学习单元44中，作为连续HMM学习的结果获得的连续HMM被确定为集群化模型。
另一方面，在从帧提取的特征量被离散化的离散值被用作HMM观测值o的情况下，在学习单元44中，在HMM学习之前必须执行从帧提取的特征量的离散化。
作为对从帧提取的特征量(向量)进行离散化的方法，例如有向量量化。
在向量量化中，参考其中特征量空间内的有限质心向量和表示质心向量的代码(符号)相关联的码书，从帧提取的连续值的特征量被转换(离散化)成表示与该特征量的(欧几里德)距离最近的质心向量。
此外，例如能够对于每个类别利用内容存储单元11中存储的内容等等利用k-means方法等等来确定用于向量量化的码书。
在此情况下，在学习单元44中，从学习内容的每个帧提取的特征量经历参考该学习内容的类别的码书的向量量化。此外，在学习单元44中，利用作为向量量化的结果获得的从学习内容的每个帧提取的特征量的代码，执行离散HMM学习并且将作为结果获得的离散HMM和特征量的向量量化中使用的码书确定为集群化模型。
此外，在学习单元44中，还可以将上述向量量化中使用的码书(仅该码书)确定为集群化模型。
在这种情况下，在集群判定单元33(图4)中，从再现对象内容的每个帧提取的特征量经历利用(参考)作为集群化模型的码书的向量量化，并且作为结果获得的代码被输出作为表示帧的集群化结果(帧的集群)的集群信息。
[集群判定单元33的构成示例]
图6是示出图4的集群化单元21的集群判定单元33的构成示例的框图。
集群判定单元33由内容选择单元51、模型选择单元52、特征量提取单元53和最大似然状态系列估计单元54构成。
内容选择单元51从内容存储单元11中存储的内容中选择再现对象内容并将其提供给特征量提取单元53。
此外，内容选择单元51识别再现对象内容的类别，并将其提供给模型选择单元52。
模型选择单元52从集群化模型存储单元32中存储的集群化模型之中选择与来自内容选择单元51的再现对象内容的类别匹配的类别的集群化模型(与再现对象内容的类别相关联的集群化模型)作为关注模型。
然后，模型选择单元52将关注模型提供给最大似然状态系列估计单元54。
特征量提取单元53以与图5的特征量提取单元42相同的方式提取从内容选择单元51提供来的再现对象内容的每个帧的特征量，并将再现对象内容的每个帧的特征量(按时间顺序)提供给最大似然状态系列估计单元54。
例如，在作为来自模型选择单元52的关注模型的HMM中，最大似然状态系列估计单元54遵循维特比算法并且估计最大似然状态系列，最大似然状态系列是其中发生如下状态转变的状态系列(换言之是构成维特比路径的一系列状态)：在该状态转变中，将观测到来自特征量提取单元53的再现对象内容的(按时间顺序的)特征量的似然是最高的。
这里，在作为关注模型的HMM中，最大似然状态系列估计单元54将构成观测到再现对象内容中的每个帧的特征量的情况的最大似然状态系列(以下也称为针对再现对象内容的关注模型的最大似然状态系列)的状态的索引(以下也称为状态ID(标识))设定为表示再现对象内容的每个帧被集群化的集群化结果的集群化信息，并将其提供给片段划分单元22(图3)。
这里，在关注模型中，以观测到再现对象内容的特征量的情况的最大似然状态系列(针对再现对象内容的关注模型的最大似然状态系列)的开头为基准的时刻t的状态(从构成最大似然状态系列的开头起的第t个状态)被设定成表示为s(t)并且再现对象内容的帧的数目被设定成表示为T。
在这种情况下，针对再现对象内容的关注模型的最大似然状态系列是状态s(1)，s(2)，...，s(T)这T个状态的系列，并且其中的第t个状态s(t)(时刻t的状态)对应于再现对象内容的时刻t的帧(帧t)。
另外，当关注模型的状态的总数被设定成由N表示时，时刻t的状态s(t)是状态s1，s2，...，sN这N个状态中的任何一个。
现在，当针对再现对象内容的关注模型的最大似然状态系列的时刻t的状态s(t)是状态s1至sN这N个状态中的第i个状态si时，时刻t的帧对应于状态si。
针对再现对象内容的关注模型的最大似然状态系列基本上是与再现对象内容的每个时刻t的帧相对应的状态s1至sN这N个状态中的任何一个的状态的状态ID的系列。
如上所述，针对再现对象内容的关注模型的最大似然状态系列表现了就关注模型而言再现对象内容引起的状态转变的种类。
此外，在针对再现对象内容的关注模型的最大似然状态系列中，如上所述，当时刻t的状态s(t)被设定为状态s1至sN这N个状态之中的第i状态si时，时刻t的帧对应于状态si。
从而，通过将关注模型的N个状态中的各个状态视为集群，时刻t的帧被集群化到与关注模型的N个状态的状态之中的作为最大似然状态系列的时刻t的状态s(t)的第i状态si相对应的集群中，并且在针对再现对象内容的关注模型的最大似然状态系列的估计中，可以判定再现对象内容的每个帧所属的集群。
此外，在集群化模型是连续HMM的情况下，最大似然状态系列估计单元54遵循维特比算法，估计在作为集群化模型的连续HMM中观测到来自特征量提取单元53的再现对象内容的每个帧的特征量的最大似然状态系列，并且将构成该最大似然状态系列的状态(的状态ID)作为每个帧的集群信息提供给片段划分单元22(图3)。
此外，在集群化模型是离散HMM和码书的情况下，最大似然状态系列估计单元54利用作为集群化模型的码书对来自特征量提取单元53的再现对象内容的每个帧的特征量执行向量量化。此外，最大似然状态系列估计单元54遵循维特比算法，估计在作为集群化模型的离散HMM中观测到再现对象内容的每个帧的特征量的向量量化所获得的代码的最大似然状态系列，并将构成该最大似然状态系列的状态(的状态ID)作为每个帧的集群信息提供给片段划分单元22。
此外，在集群化模型是(仅)码书的情况下，最大似然状态系列估计单元54利用作为集群化模型的码书对来自特征量提取单元53的再现对象内容的每个帧的特征量执行向量量化，并将通过向量量化获得的代码作为每个帧的集群信息提供给片段划分单元22。
在图3的片段划分单元22中，如上所述，基于从集群判定单元33(的最大似然状态系列估计单元54)提供来的集群信息识别属于每个集群的再现对象内容的帧，并且当对于每个集群按时间顺序排列属于该集群的帧时，一个或多个时间上连续的帧的帧集合被设定为一个视频片段并被划分成视频片段。
[地图生成单元24的构成示例]
图7是示出图3的地图生成单元24的构成示例的框图。
地图生成单元24是由集群代表图像选择单元61、状态间隔距离计算单元62、坐标计算单元63和地图描绘单元64构成的。
片段代表图像被从片段代表图像生成单元23(图3)提供给集群代表图像选择单元61。
对于(与作为关注模型的HMM的每个状态的)每个集群，集群代表图像选择单元61从属于该集群的视频片段的片段代表图像中选择代表该集群的集群代表图像。
这里，集群代表图像选择单元61将属于每个集群的(视频片段的)片段代表图像与表示被选择为集群代表图像的片段代表图像的标志一起提供给地图描绘单元64。
这里，在只有一个片段代表图像属于集群的情况下，集群代表图像选择单元61选择该片段代表图像作为集群代表图像。
此外，在多个片段代表图像属于集群的情况下，例如，集群代表图像选择单元61选择这多个片段代表图像中的一个，例如这多个片段代表图像之中帧数目最大的视频片段的片段代表图像或者再现时刻最早的视频片段的片段代表图像，作为集群代表图像。
集群化单元21(图3)中的再现对象内容的集群化中使用的作为关注模型的HMM(集群化模型)被提供给状态间隔距离计算单元62。
状态间隔距离计算单元62基于从一个状态si到另一状态sj的状态转变概率aii计算作为关注模型的HMM的一个状态si到另一状态sj的状态间隔距离dij*。这里，当确定了作为关注模型的HMM的N个状态中的任意状态si到任意状态sj的状态间隔距离dij*时，状态间隔距离计算单元62将状态间隔距离dij*被设定为成分的N行N列的矩阵(状态间隔距离矩阵)提供给坐标计算单元63。
这里，在例如状态转变概率aij大于预定阈值(例如(1/N)×10-2)的情况下，状态间隔距离计算单元62将状态间隔距离dij*设定为例如0.1(小值)，而在状态转变概率aij在预定阈值以下的情况下，将状态间隔距离dij*设定为例如1.0(大值)。
坐标计算单元63确定状态坐标Yi，状态坐标Yi是用以减小模型地图上从一个状态si到另一状态sj的欧几里德距离dij与来自状态间隔距离计算单元62的状态间隔距离矩阵的状态间隔距离dij*之间的误差的模型地图上的状态si的位置的坐标，模型地图是布置了关注模型的N个状态的状态si至sn的二维或三维地图(将作为关注模型的HMM投射到二维平面或三维空间上的地图)。
也就是说，坐标计算单元63确定状态坐标Yi以最小化与欧几里德距离dij和状态间隔距离dij*的统计误差比例的Sammon地图的误差函数E。
这里，Sammon地图是多维尺度法并且其细节例如在J.W.Sammon，JR.，″A Nonlinear Mapping for Data Structure Analysis″，IEEE Transactions onComputers，vol.C-18，No.5，May1969中描述。
在Sammon地图中，例如，为了最小化式(1)中的误差函数E，例如确定作为二维地图的模型地图上的状态坐标Yi＝(xi，yi)。
E＝1/(∑dij)×∑((dij *-dij)2/dij *)…(1)
这里，在式(1)中，∑表示将满足式子i＜j的索引i和j变成1至N的范围中的整数并取其总和。
dij*表示状态间隔距离矩阵的第i行第j列的元素并且表示从状态si到状态sj的状态间隔距离。dij表示模型地图的状态si的位置的坐标(状态坐标)Yi＝(xi，yi)和状态sj的位置的坐标Yj之间的欧几里德距离。
此外，状态坐标Yi＝(xi，yi)的xi和yi分别表示二维模型地图上的状态坐标Yi的x坐标和y坐标。在采用三维地图作为模型地图的情况下，状态坐标Yi变成具有x坐标、y坐标和z坐标的三维坐标。
坐标计算单元63通过反复应用梯度法确定状态坐标Yi(i＝1，2，...，N)以使得式(1)的误差函数E被最小化，并将其提供给地图描绘单元64。
地图描绘单元64通过在来自坐标计算单元63的状态坐标Yi的位置处布置相应状态si(的图像)并在这些状态之间根据状态转变概率在内置存储器(未示出)中描绘链接线段来将作为关注模型的HMM转换成二维(或三维)模型地图(图形)。
这里，在模型地图上的状态si的位置处，地图描绘单元64描绘来自集群代表图像选择单元61的片段代表图像之中被选择为与状态si相对应的集群的集群代表图像的片段代表图像。
这样，地图描绘单元64生成片段地图，片段地图是在模型地图上的每个状态的位置处布置被选择为与状态相对应的集群的集群代表图像的片段代表图像的地图。
此外，地图描绘单元64将片段地图的每个状态与属于与这些状态相对应的集群的(帧的视频片段的)片段代表图像相关联并将作为结果获得的片段地图提供给显示控制单元16(图1)。
这里，可以说模型地图是利用与状态相对应的节点和与状态转变相对应的边缘来可视化HMM等等的集群化模型的结构的二维(或三维)网络(图)的表现。作为将HMM等等的集群化模型转换(投射)到作为这种网络表现的模型地图的方法，可以采用任意的多维尺度法以及Sammon地图。
此外，在集群化模型是(仅)码书的情况下，能够通过以下方式利用诸如Sammon地图之类的多维尺度法将作为这种集群化模型的码书转换成作为二维或三维地图的模型地图：对于与每个代码向量相对应的每个集群(与表示每个代码向量的每个代码相对应的每个集群)，使用再现对象内容，对再现对象内容中按时间顺序的帧所属的集群转变(变化)的转变的次数(帧所属的集群从每个集群转变到每个集群的次数)计数，并且在将与代码向量相对应的集群视为HMM的状态的同时，将与每个集群的转变次数相对应的概率视为HMM的状态转变概率。
这里，作为与集群的转变次数的概率，例如可以采用这样的值：其中，转变次数被正规化，以使得在从该集群到每个集群的转变次数中，阈值以下的转变次数被转换成0.0，而且总和成为1.0。
此外，除了利用再现对象内容确定从每个集群(到每个集群)的转变次数以外，还可以利用确定码书时使用的所有内容来执行确定。
[模型地图]
图8是示出图7的地图描绘单元64描绘的模型地图的示例的示图。
在图8中的模型地图中，点表示作为集群化模型(关注模型)的HMM的状态，并且将点链接到一起的线段表示状态转变。
如上所述，模型地图描绘单元64在由坐标计算单元63确定的状态坐标Yi的位置处描绘相应状态si(的图像(图8中的点))。
此外，地图描绘单元64根据状态之间的状态转变概率描绘这些状态之间的链接线段。换言之，地图描绘单元64在从状态si到另一状态sj的状态转变概率大于预定阈值的情况下描绘状态si和sj之间的链接线段。
如上所述，地图描绘单元64描绘作为可视化作为关注模型的HMM的结构的二维(或三维)网络表现的模型地图。
此外，在图7的坐标计算单元63中，在按原样采用式(1)的误差函数E并且确定模型地图上的状态坐标Yi以最小化误差函数E的情况下，在模型地图上的圆中布置状态(表示状态的点)，在模型地图的圆周附近(外侧)(外边缘)密集聚集状态，从而难以看到状态的布置，也就是说可视性受损。
从而，在图7的坐标计算单元63中，可以校正式(1)中的误差函数E并且确定模型地图上的状态坐标Yi以最小化校正后的误差函数E。
换言之，在坐标计算单元63中，判定欧几里德距离dij是否大于预定阈值THd(例如THd＝1.0之类的)。
这里，在欧几里德距离dij不大于预定阈值THd的情况下，坐标计算单元63在式(1)的误差函数的计算中将欧几里德距离dij按原样用作欧几里德距离dij。
另一方面，在欧几里德距离dij大于预定阈值THd的情况下，坐标计算单元63在式(1)的误差函数的计算中将状态间隔距离dij*用作欧几里德距离dij(设定dij＝dij*)(欧几里德距离dij被设定成等于状态间隔距离dij*的距离)。
在这种情况下，在模型地图中，当关注欧几里德距离dij接近到一定程度(不大于阈值THd)的两个状态si和sj时，状态坐标Yi和Yj被改变以使得欧几里德距离dij和状态间隔距离dij*匹配(使得欧几里德距离dij接近状态间隔距离dij*)。
另一方面，在模型地图中，当关注欧几里德距离dij远离到一定程度(大于阈值THd)的两个状态si和sj时，状态坐标Yi和Yj不被改变。
结果，由于欧几里德距离dij远离到一定程度的两个状态si和sj被设定成使得欧几里德距离dij保持远离，所以可以防止状态变得密集聚集在模型地图的圆周附近(外边缘)，并且还可以防止可视性受损。
对于图8中的模型地图，如上所述，防止了状态变得密集聚集在模型地图的圆周附近(外边缘)。
[片段地图生成单元14的处理]
图9是示出图3的片段地图生成单元14的处理(片段地图生成处理)的概要的示图。
在片段地图生成单元14中的集群化单元21中，对于内容存储单元11中存储的再现对象内容的每个帧f1，f2，...，提取特征量。
然后，在集群化单元21中利用每个帧f1，f2，...，的特征量和作为集群化模型的HMM，对每个帧f1，f2，...，进行集群化，并且将一系列状态ID作为表示每个帧f1，f2，...，所属的集群的集群信息提供给片段划分单元22，所述状态ID是构成观测到帧f1，f2，...，的特征量的时间序列的最大似然状态系列的HMM的状态的索引。
在图9中，再现对象内容的帧f1和f2被集群化到与状态ID是3的状态相对应的集群中，帧f3被集群化到与状态ID是2的状态相对应的集群中，帧f4被集群化到与状态ID是3的状态相对应的集群中，帧f5被集群化到与状态ID是5的状态相对应的集群中，帧f6，f7，f8，...，被集群化到与状态ID是4的状态相对应的集群中。
片段划分单元22(图3)将属于每个集群的帧划分成作为一个或多个时间上连续的帧的帧集合的视频片段。
因此，在片段划分单元22中，在从开头起依次关注来自集群化单元21的作为集群信息的状态ID的系列的情况下，当所关注的状态ID匹配前一个状态ID时，与所关注的状态ID相对应的帧被包括在包括与前一个状态ID相对应的帧的视频片段中。
这里，当所关注的状态ID不匹配前一个状态ID时，直到与前一个状态ID相对应的帧为止的部分被划分成一个视频片段，并且从与所关注的状态ID相对应的帧起的部分被划分成新的视频片段。
在图9中，属于与状态ID为3的状态相对应的集群的连续帧f1和f2、属于与状态ID为2的状态相对应的集群的帧f3、属于与状态ID为3的状态相对应的集群的帧f4、属于与状态ID为5的状态相对应的集群的帧f5以及属于与状态ID为4的状态相对应的集群的连续帧f6、f7、f8分别被划分成视频片段。
片段划分单元22将上述视频片段(作为片段信息的指定属于视频片段的帧的帧信息和表示视频片段(的帧)所属的集群的集群信息)提供给片段代表图像生成单元23。
例如，如上所述，片段代表图像生成单元23(图3)对于来自片段划分单元22的视频片段生成视频片段的开头的帧被压缩为代表该视频片段的片段代表图像的缩略图，并将其提供给地图生成单元24。
这里，如果状态ID被设定为将值i的状态描述为状态#i，则在图9中，对于具有属于与状态#3相对应的集群的连续帧f1和f2的视频片段，开头帧f1的缩略图被生成作为片段代表图像。
此外，对于具有属于与状态#2相对应的集群的帧f3的视频片段，开头帧的f3的缩略图被生成作为片段代表图像，这同样适用于对于具有属于与状态#3相对应的集群的帧f4的视频片段的开头的帧f4的缩略图、对于具有属于与状态#5相对应的集群的帧f5的视频片段的开头的帧f5的缩略图、以及对于具有属于与状态#4相对应的集群的连续帧f6，f7，f8，...的视频片段的帧f6的缩略图。
在地图生成单元24(图3)中，对于每个集群，从属于该集群的视频片段的片段代表图像中选择代表该集群(与该集群相对应的状态)的集群代表图像。
此外，在地图生成单元24中，将作为关注模型的HMM转换成模型地图，并且与此同时生成片段地图，在片段地图中，在模型地图上的每个状态的位置处布置了被选择为与状态相对应的集群的集群代表图像的片段代表图像。
这里，在地图生成单元24中，片段地图的每个状态与属于与该状态相对应的集群的视频片段的所有片段代表图像相关联。
在图9中，作为具有属于与状态#3相对应的集群的连续帧f1和f2的视频片段的片段代表图像的帧f1的缩略图与状态#3相关联，作为具有属于与状态#2相对应的集群的帧f3的视频片段的片段代表图像的帧f3的缩略图与状态#2相关联，作为具有属于与状态#3相对应的集群的帧f4的视频片段的片段代表图像的帧f4的缩略图与状态#3相关联，作为具有属于与状态#5相对应的集群的帧f5的视频片段的片段代表图像的帧f5的缩略图与状态#5相关联，并且作为具有属于与状态#4相对应的集群的连续帧f6，f7，f8，...，的视频片段的片段代表图像的帧f6的缩略图与状态#4相关联。
图10是示出片段地图生成单元14(图3)生成的片段地图的示例的示图。
在片段地图中，在图8的模型地图上的每个状态的位置处，布置了被选择为与这些状态相对应的集群的集群代表图像的片段代表图像。
例如，通过从作为预定类别的内容的每日或每周广播的新闻的电视广播节目(新闻节目)的两次以上的广播部分之中取出最新广播部分的新闻节目并将过去广播部分的新闻节目用作学习内容来执行作为集群化模型的HMM学习，并且将最新广播部分的新闻节目作为再现对象内容给予片段地图生成单元14，由此生成如图10中所示的片段地图。
如上所述，片段地图是将(被选择作为集群代表图像的)片段代表图像布置在模型地图(图8)上的地图并且可以说是基于模型地图的。
模型地图是利用多维尺度法将学习后的HMM投射到二维表面上的地图，并且根据模型地图，外观的特征等等是相似的并且集群化了时间前后关系接近的场景(帧)的集群群组被表现为就二维表现而言能够转变的附近状态群组。
这里，根据这样基于模型地图的片段地图，例如，节目的场景构成以如下形式被表现为二维地图：其中，作为再现对象内容的新闻节目的主持人出现的场景(帧或视频片段)被集群化并收集在一定状态(与一定状态相对应的集群)中，并且从这些场景转变的例如体育栏目或明日天气预报的每个场景的场景群组被分别集群化和收集在另一状态中。
因此，可以说片段地图是再现对象内容也就是场景的地图，并且具有作为使得用户能够俯瞰再现对象内容的可视化的有效工具的功能。
此外，在图10中，存在未布置(被选择为集群代表图像的)片段代表图像的状态。未布置片段代表图像的状态的存在表示在该状态(与该状态相对应的集群)中没有集群化再现对象内容的帧。
这里，在片段地图的每个状态处布置的片段代表图像的大小能够对每个状态被设定到不同大小，或者能够无论状态如何都被设定到所设定的大小。
在片段地图的每个状态中布置的片段代表图像的大小对于每个状态被设定到不同大小的情况下，在地图描绘单元64(图7)中，例如，可以确定每个状态的重要度并且以与该重要度相对应的大小将片段代表图像布置在片段地图(模型地图)上。
图11是示出确定状态的重要度的方法的示图。
对于模型地图的每个状态(作为集群化模型的HMM的每个状态)，地图描绘单元64确定表示该状态在何种程度上在整个再现对象内容中表现重要场景的索引DoI(重要程度)作为重要度。
这里，当状态si的重要度由DoI(i)表示，并且作为状态si(与状态si相对应的集群)中集群化的再现对象内容的视频片段之中的第k个视频片段的长度(帧数目)的片段长度由LEN(k)表示时，地图描绘单元64根据式子DoI(i)＝max{LEN(k)}确定状态si的重要度DoI(i)。
此外，当状态si中集群化的再现对象内容的视频片段的数目由K表示时，max{LEN(k)}表示LEN(1)，LEN(2)，...，LEN(K)中的最大值，换言之就是状态si中集群化的再现对象内容的视频片段的帧的最大数目。
当确定了每个状态si的重要度DoI(i)时，地图描绘单元64确定所有状态s1，s2，...，sN的重要度＝(DoI(1)，DoI(2)，...，DoI(N)的平均值DoIAV＝(DoI(1)，DoI(2)，...，DoI(N))/N。
此外，利用重要度的平均值DoIAV，地图描绘单元64将重要度DoI设定为参数并且确定系数函数α＝f(DoI)，其是确定大小系数α的系数，大小系数α是用于确定片段代表图像的大小的系数。
这里，例如，如图11中所示，在作为参数的重要度DoI为从0到重要度的平均值DoIAV的范围中，系数函数α＝f(DoI)与作为参数的重要度DoI成比例地增大，并且在作为参数的重要度DoI为0时变成α＝0，并且在作为参数的重要度DoI是DoIAV时变成α＝1.0的函数，另外，在作为参数的重要度DoI超过重要度的平均值DoIAV的范围中，其是变成α＝1.0的固定值的函数。
当利用重要度的平均值DoIAV确定系数函数α＝f(DoI)时，地图描绘单元64对于每个状态si确定大小系数α＝f(DoI(i))，并且将大小系数α＝f(DoI(i))乘以作为预先设定的片段代表图像的大小的标准大小，由此确定片段地图中布置的片段代表图像的大小，并且以此大小将(被选择为集群代表图像的)片段代表图像布置在片段地图上。
如上所述，通过以与状态的重要度相对应的大小将片段代表图像布置在片段地图上，在片段地图中，如图10中所示，在重要度高的状态中集群化的片段代表图像越多，要显示的大小就越大。
从而，通过查看片段地图，用户可以迅速地识别重要度高的状态中集群化的视频片段和再现对象内容中的重要场景。
图12是示出片段地图生成单元14(图3)在图2的步骤S12中执行的片段地图生成处理的流程图。
在步骤S21中，集群化单元21(图3)对再现对象内容的每个帧进行集群化并且处理进行到步骤S22。
换言之，在集群化单元21中，集群判定单元33(图4)提取再现对象内容的每个帧的特征量。
此外，集群判定单元33从集群化模型存储单元32(图4)中存储的作为集群化模型的HMM之中选择与再现对象内容相同类别的HMM作为关注模型。
这里，在作为关注模型的HMM中，集群判定单元33估计观测到特征量的时间序列的最大似然状态系列并将此最大似然状态系列(作为HMM构成的状态的索引的状态ID的系列)作为表示再现对象内容的每个帧的集群化结果的集群信息提供给片段划分单元22。
在步骤S22中，基于来自集群化单元21(的集群判定单元33)的集群信息，片段划分单元22(图3)将属于每个集群的帧划分成作为一个或多个时间上连续的帧的帧集合的视频片段。
这里，对于再现对象内容的每个视频片段，片段划分单元22将表示该视频片段的片段信息提供给片段代表图像生成单元23，并且处理从步骤S22进行到步骤S23。
在步骤S23中，对于再现对象内容的每个视频片段，片段代表图像生成单元23(图3)利用基于来自片段划分单元22的片段信息识别出的构成视频片段的帧来生成代表该视频片段的片段代表图像。
这里，片段代表图像生成单元23将每个视频片段的片段代表图像提供给地图生成单元24，并且处理从步骤S23进行到步骤S24。
在步骤S24中，地图生成单元24(图3)使用来自片段代表图像生成单元23的片段代表图像，生成片段地图，并将其提供给显示控制单元16，从而结束片段地图生成处理。
换言之，在地图生成单元24中，状态间隔距离计算单元62(图7)基于状态转变概率aij确定从作为关注模型的HMM的一个状态si到另一状态sj的状态间隔距离dij*，计算作为其中状态间隔距离dij*被设定为成分的N行N列的矩阵的状态间隔距离矩阵，并将其提供给坐标计算单元63。
坐标计算单元63(图7)在遵循诸如Sammon地图之类的多维尺度法的同时使用来自状态间隔距离计算单元62的状态间隔距离矩阵，确定使得例如上述式(1)的误差函数E最小化的作为关注模型的HMM的每个状态si在模型地图上的坐标Yi＝(xi，yi)，并将其提供给地图描绘单元64。
地图描绘单元64(图7)在来自坐标计算单元63的坐标Yi处布置相应的状态si(的图像)，并且根据状态之间的状态转变概率描绘链接这些状态之间的线段，由此作为关注模型的HMM被转换成二维模型地图(图形)。
此外，在地图生成单元24中，对于(与作为关注模型的HMM的每个状态相对应的)每个集群，集群代表图像选择单元61(图7)从属于该集群的视频片段的片段代表图像中选择代表该集群的集群代表图像。
这里，集群代表图像选择单元61将属于每个集群的片段代表图像与表示被选择为集群代表图像的片段代表图像的标志一起提供给地图描绘单元64。
对于模型地图(片段地图)的每个状态，地图描绘单元64(图7)从来自集群代表图像选择单元61的片段代表图像中提取属于与这些状态相对应的集群的片段代表图像，并且创建与片段代表图像所属的(集群所对应的)状态的关联。
此外，地图描绘单元64例如如图11中所述确定模型地图的每个状态的重要度DoI。
这里，在模型地图上的状态si的位置处，地图描绘单元64对于模型地图上的每个状态si，描绘从与状态si相关联的片段代表图像中选择为与状态si相对应的集群的集群代表图像的片段代表图像，由此生成片段地图。
这里，当描绘被选择为与状态si相对应的集群的集群代表图像的片段代表图像时，地图描绘单元64以与状态si的重要度DoI(i)相对应的大小描绘片段代表图像。
通过上述片段地图生成处理获得的片段地图被从片段地图生成单元14提供给显示控制单元16(图1)。
然后，在显示控制单元16中，片段地图被显示在显示单元17上。
在片段被显示在显示单元17上之后，在显示控制单元16中，如图2的步骤S14中所述，根据用户的操作(由操作事件处理单元12(图1)生成的操作事件)执行片段地图的显示控制。
[利用显示控制单元16对片段地图等等的显示控制]
作为在显示控制单元16执行片段地图的显示的显示控制时的显示模式(在片段地图显示时显示控制单元16的内部状态)，有层0模式、层1模式和层2模式这三种模式。
当片段地图被从片段地图生成单元14提供来时，显示控制单元16将显示模式设定到层0模式，并且在显示单元17上显示片段地图(允许片段地图的显示)。
在层0模式中，在显示单元17中，例如如图10中所示显示片段地图。
图13是示出在层0模式中当用户指示显示单元17的显示画面上的位置时片段地图的显示示例的示图。
这里，下面，为了促进对描述的理解，例如，采用鼠标作为供用户执行操作的操作设备，并且在操作事件处理单元12(图1)中，设定生成诸如鼠标的(单次)点击、双次点击或(鼠标)光标的移动之类的操作事件。
此外，操作事件可被设定为包括光标的位置的信息。
这里，作为供用户执行操作的操作设备，除了可以采用鼠标以外，还可以采用鼠标面板或者另外的指点设备。在采用触摸面板作为操作设备的情况下，例如可以使得对触摸面板的叩击和双次叩击分别对应于对鼠标的点击和双次点击。
此外，例如能够使得利用鼠标对光标的移动对应于在手指等等与触摸面板接触的状态中手指的移动。此外，在触摸面板可以检测手指等等的接近的情况下，能够使得利用鼠标对光标的移动例如对应于接近触摸面板的手指的移动。
在层0模式中，显示控制单元16将根据鼠标的操作移动的光标的位置设定到用户指示的指示位置，将片段地图上最接近指示位置的状态设定为要关注的关注状态，并且在显示单元17上以与片段地图叠加的形式显示砖块图像，砖块图像是与关注状态(对应于关注状态的集群)相关联的片段代表图像的列表的图像。
图13是示出其上叠加了砖块图像的片段地图的显示示例的示图。
在层0模式中，显示控制单元16将片段地图上与用户的指示位置最接近的状态设定为要关注的关注状态，并且在关注状态的位置与指示位置之间的距离为阈值以下的情况下，生成作为与关注状态相关联的片段代表图像的列表的图像的砖块图像，并将其叠加显示在片段地图上。
这里，在砖块图像中，与关注状态相关联的片段代表图像例如被布置为在从左到右且从上到下的方向上按时间顺序以砖块形式(格子状)排列。
图14是示出当如上所述显示砖块图像时显示控制单元16的显示控制处理的流程图。
图14的处理例如开始于诸如光标移动时之类的不定期定时，或者开始于周期性定时。
在步骤S41中，显示控制单元16从片段地图的状态之中选择最接近作为用户的指示位置的光标位置的状态作为关注状态，并且处理进行到步骤S42。
在步骤S42中，显示控制单元16判定从作为用户的指示位置的光标位置到关注状态的位置的距离(以下称为光标间隔距离)是否为阈值以下。
在步骤S42中，在判定光标间隔距离不在阈值以下的情况下，也就是说，在例如光标处于显示单元17的显示画面的端部等处、与片段地图的任何状态远离的位置的情况下，显示控制单元16跳过步骤S43和S44，并且处理结束。
此外，在光标间隔距离不在阈值以下的情况下，当砖块图像正被显示在显示单元17上时，显示控制单元16擦除该砖块图像。
另一方面，在步骤S42中，在判定光标间隔距离为阈值以下的情况下，处理进行到步骤S43，显示控制单元16生成作为其中按时间顺序排列与关注状态相关联的片段代表图像的列表的图像的砖块图像，并且处理进行到步骤S44。
这里，显示控制单元43根据与关注状态相关联的片段代表图像的数目来设定显示砖块图像的显示区域的大小。
也就是说，关于显示砖块图像的显示区域的大小，显示控制单元43设定显示砖块图像的显示区域的大小，以使得在从预先确定的最小大小到最大大小的范围内，大小随着与关注状态相关联的片段代表图像的数目增大而增大。
以下，根据与关注状态相关联的片段代表图像的数目设定的显示区域的大小也被称为设定大小。
显示控制单元43在砖块图像中水平方向上和垂直方向上分别布置的片段代表图像的数目和砖块图像中布置的片段代表图像的大小，以使得可以将与关注状态相关联的所有片段代表图像布置在设定大小的显示区域中显示的砖块图像内。
这里，预先确定在最大显示区域中显示的砖块图像内能够布置的片段代表图像的数目的最大值NUMmax(以及片段代表图像的大小的最小值)，并且在与关注状态相关联的片段代表图像的数目超过最大值NUMmax的情况下，将砖块图像中布置的片段代表图像的数目限于最大值NUMmax。也就是说，在与关注状态相关联的片段代表图像之中例如，数目等于最大值NUMmax的片段代表图像被按时间顺序布置在砖块图像中。
在步骤S44中，显示控制单元14以叠加在片段地图的关注状态附近的形式显示其中排列了与关注状态相关联的片段代表图像的砖块图像，并且结束处理。
此外，在光标间隔距离为阈值以下的情况下，当关注状态的砖块图像(其中排列了与关注状态相关联的片段代表图像的砖块图像)已经被显示在显示单元17上时，显示控制单元16跳过步骤S43和S44，并且将已经在显示的砖块图像的显示维持原样。
此外，在光标间隔距离为阈值以下的情况下，当除关注状态以外的状态的砖块图像被显示在显示单元17上时，显示控制单元16擦除该砖块图像。
如上所述，在层0模式中，由于显示了作为与片段地图上最接近用户的指示位置的状态(关注状态)相关联的片段代表图像的列表的图像的砖块图像，所以用户只要通过将光标移动到接近期望状态的位置就可以确认与期望状态相关联的片段代表图像的列表并且还可以掌握在期望状态(与期望状态相对应的集群)处集群化的场景。
这里，在上述情况下，设定显示作为与片段地图上最接近用户的指示位置的状态(关注状态)相关联的片段代表图像的列表的图像的砖块图像；然而，取代显示砖块图像，可以执行在关注状态的位置处显示的(被选择为集群代表图像的)片段代表图像的突出显示。
作为执行片段代表图像的突出显示的方法，例如，可以采用增大片段代表图像的大小的方法或者显示围绕在片段代表图像周围的红框的方法。
此外，能够根据用户的操作来设定执行砖块图像的显示和在关注状态的位置处显示的片段代表图像的突出显示中的哪一个。
下面，设定执行砖块图像的显示。
在层0模式中，当显示砖块图像时，如果用户例如执行作为预先确定的预定操作的鼠标的(单次)点击，则显示控制单元16将显示模式从层0模式转移(改变)(设定)到层1模式。
在层1模式中，显示控制单元16固定(锁定)砖块图像的显示。
换言之，在层0模式中，当用户使得光标移动时，由于按时间顺序布置与最接近移动后的光标的状态相关联的片段代表图像的砖块图像被显示，所以最接近光标的状态由于光标的移动而改变，并且砖块图像也改变。
在这种显示砖块图像的层0模式中，如果在显示砖块图像时执行点击，则显示控制单元16将显示模式从层0模式转移到层1模式，并且固定砖块图像的显示，以使得当时显示的砖块图像的显示被维持。
这里，在层1模式中，固定显示的砖块图像也被称为固定砖块图像。
图15是示出固定砖块图像的显示示例的示图。
固定砖块图像是包括就在层0模式中执行点击之前显示的砖块图像(也就是布置了与关注状态(其是与在层0模式中执行点击时光标的位置最接近的位置的状态)相关联的状态片段代表图像的砖块图像)的图像，并且在层1模式中，在固定砖块图像被显示之后，即使光标被移动(即使用户的指示位置被改变)，固定砖块图像的显示也维持原样。
图16是示出固定砖块图像的细节的示图。
在固定砖块图像中，就在层0模式中执行点击之前显示的砖块图像被布置在下部，并且页头部分被布置在其上部。
书签按钮、保存按钮、时钟标记和时间线条被布置在页头部分中。
当临时登记关注状态，也就是与布置在固定砖块图像的下部的砖块图像中布置的片段代表图像相关联的状态，作为集群化了用户的收藏场景的收藏状态时，操作(例如点击)书签按钮。
当操作书签按钮时，关注状态被临时登记为收藏状态，并且当书签按钮再次被按压时，对关注状态的临时登记被取消。
当执行收藏状态的临时登记的实际登记时操作保存按钮。
当操作保存按钮时，如果关注状态被临时登记为收藏状态，则关注状态被实际登记为收藏状态。另外，例如，在关注状态已经被实际登记为收藏状态的情况下，当保存按钮被操作时，关注状态的实际登记被取消。
这里，如上所述，由于当保存按钮被操作时，如果关注状态被临时登记为收藏状态，则关注状态被实际登记为收藏状态，所以在关注状态被临时登记为收藏状态的情况下对保存按钮的操作是请求对关注状态的实际登记的操作并且在下文中将被称为收藏操作。
在根据收藏操作执行的实际登记中，在操作事件处理单元12(图1)中，与标识用户的用户ID进行关联，并且标识作为在作为再现对象内容的片段地图的基础的模型地图的生成中使用的关注模型的HMM的模型ID和标识要被实际登记为收藏状态的状态(集群)的状态ID作为收藏信息被存储在收藏信息存储单元13中。
此外，设定用户ID在用户使用图1的图像处理装置时由用户输入。
此外，在集群化模型学习单元31中，在学习后，设定将用于标识HMM的模型ID指派给作为集群化模型的HMM。
时钟标记例如是一图标，在该图标中从再现对象内容的开头到末尾的再现时间被指派给时钟的指针的一周的时段(从0分钟到60分钟的一个小时)，并且该图标显示表示在砖块图像中布置的片段代表图像(与关注状态相关联的片段代表图像)之中要关注的关注代表图像所对应的视频片段在再现对象内容中的再现定时的时刻。
在图16中，由于没有关注代表图像(没有进行选择)，所以时钟标记显示表示再现对象内容的开头的定时的零分钟。
时间线条是一水平条，该水平条将从再现对象内容的开头到末尾的再现时间指派给从时间线条的左端到右端并且表示与在砖块图像中布置的片段代表图像分别对应的视频片段在再现对象内容中的再现定时相当的时刻(位置)。
在图16的时间线条中，以斜线标记的部分表示与在砖块图像中布置的片段代表图像分别对应的视频片段在再现对象内容中的再现定时相当的时刻。
在层1模式中，显示控制单元16将随着鼠标的操作移动的光标的位置设定为用户指示的指示位置，将固定砖块图像(的砖块图像)中布置的片段代表图像(与关注状态相关联的片段代表图像)之中最接近指示位置(光标的位置)的片段代表图像设定为要关注的关注代表图像，并且突出显示这些关注代表图像。
图17是示出关注代表图像的突出显示的显示示例的示图。
在层1模式中，显示控制单元16从固定砖块图像中布置的片段代表图像之中选择最接近用户的指示位置的片段代表图像作为关注代表图像，并且将这些关注代表图像与固定砖块图像分开突出显示。
在关注代表图像的突出显示中，例如，可以按固定砖块图像中布置的大小的两倍大小之类的较大的大小来显示关注代表图像，或者可以显示由红框围绕的关注代表图像。
在图17中，通过按比固定砖块图像中布置的大小更大的大小执行显示来执行突出显示。
此外，在层1模式中，显示控制单元16例如仅在用户的指示位置在固定砖块图像上的情况下才选择最接近指示位置的片段代表图像作为关注代表图像。
从而，在用户的指示位置(光标)不在固定砖块图像上的情况下，固定砖块图像中的片段代表图像不被选择为关注代表图像。
此外，在图17中，固定砖块图像中布置的片段代表图像之中的最接近用户的指示位置的片段代表图像被选择为关注代表图像，从而时钟标记显示表示与关注代表图像相对应的视频片段在再现对象内容中的再现定时的时刻。
此外，在图17中，为了使得用户能够识别与关注代表图像相对应的视频片段在再现对象内容中的再现定时，在时间线条中，与与关注代表图像相对应的视频片段在再现对象内容中的再现定时相当的部分(黑色部分)被显示为与其他部分不同。
在层1模式中，当选择关注代表图像时，如果用户例如作为预先确定的预定操作执行鼠标的(单次)点击，则显示控制单元16使显示模式从层1模式转移到层2模式。
在层2模式中，显示控制单元16取代固定砖块图像或叠加在固定砖块图像上显示时间线图像。
换言之，在层1模式中，当用户在固定砖块图像上移动光标时，最接近移动后的光标的片段代表图像被选择为关注代表图像并且关注图像被突出显示；然而，如果在关注代表图像被选择时执行点击，则显示控制单元16使显示模式从层1模式转移到层2模式，生成时间线图像并将其显示在显示单元17上，其中在时间线图像中，以关注图像为中心按时间顺序布置了关注代表图像和在固定砖块图像中布置的片段代表图像(与关注状态相关联的片段代表图像)之中在关注代表图像之前和之后连续的预定数目片段代表图像。
图18是示出时间线图像的显示示例的示图。
在层1模式中，如果当固定砖块图像中布置的片段代表图像(与关注状态相关联的片段代表图像)之中的任何一个片段代表图像被选择为关注代表图像时，显示控制单元16使显示模式从层1模式转移到层2模式，并且从固定砖块图像中布置的片段代表图像之中选择关注代表图像和在关注代表图像之前和之后连续的预定数目的片段代表图像作为构成时间线图像的构成图像。
这里，显示控制单元16生成例如从左到右按时间顺序排列布置了构成图像的时间线图像，并将其显示在显示单元17上。
在图18中，关注代表图像、在关注代表图像之前时间上连续的三个片段代表图像(时间上往回)和在关注代表图像之后时间上连续的三个片段代表图像(时间上往前)这总共7个片段代表图像被选择为构成图像。
这里，时间线图像是通过将7个构成图像布置为按时间顺序从左到右排列来构成的。
如上所述，在时间线图像中，由于作为构成图像按时间顺序布置了固定砖块图像中布置的片段代表图像之中的关注代表图像和分别在关注代表图像之前和之后连续的3个片段代表图像这总共7个片段代表图像，所以关注代表图像被布置在时间线图像的中央部分。
在时间线图像中，可以按相同大小布置作为构成图像的全部7个片段代表图像，并且可以执行布置，以使得对于与布置在中央部分中的关注代表图像远离的位置的构成图像，大小较小。
在图18的时间线图像中，执行布置以使得对于与布置在中央部分中的关注代表图像远离的位置的构成图像，大小较小。
此外，在时间线图像中，如图18中所示，在其上部中，可以按与固定砖块图像(图16)的页头部分中布置的相同的方式布置时钟标记和时间线条。
这里，在图18中，从固定砖块图像中布置的片段代表图像(与关注状态相关联的片段代表图像)之中，采用以关注代表图像为中心按时间顺序的7个片段代表图像作为时间线图像的构成图像；然而，时间线图像的构成图像不限于7个。
图19是示出当显示时间线图像时显示控制单元16的显示控制处理的流程图。
在层1模式中，如果当固定砖块图像中布置的片段代表图像(与关注状态相关联的片段代表图像)之中的任何一个片段代表图像被选择为关注代表图像时作为预定操作执行点击，则显示模式从层1模式转移到层2模式，并且图19的处理开始。
在步骤S51中，显示控制单元16从固定砖块图像中布置的片段代表图像(与关注状态相关联的片段代表图像)之中选择关注代表图像和在关注代表图像之前和之后连续的预定数目的片段代表图像(排列在过去侧的预定数目的片段代表图像和排列在未来侧的预定数目的片段代表图像)作为构成时间线图像的构成图像，并且处理进行到步骤S52。
在步骤S52中，显示控制单元16生成从左到右按时间顺序排列布置了构成图像的时间线图像，并且处理进行到步骤S53。
这里，从左到右按时间顺序排列布置了构成图像的时间线图像成为这样的图像：其中，在构成图像中，将关注代表图像设定为中心，作为相对于关注代表图像(的视频片段)的过去侧的构成图像的片段代表图像被布置在时间序列中的左侧，并且作为相对于关注代表图像的未来侧的构成图像的片段代表图像被布置在时间序列中的右侧。
此外，当布置构成图像时，显示控制单元16执行布置以使得对于与布置在中央部分中的关注代表图像远离的位置的构成图像，大小较小。
在步骤S53中，显示控制单元16将时间线图像显示在片段地图的关注状态附近，并且结束处理。
如上所述，在层2模式中，如图18中所示显示时间线图像。
这里，关于时间线图像，除了从固定砖块图像中布置的片段代表图像(也就是与关注状态相关联的片段代表图像)之中选择关注代表图像和在关注代表图像之前和之后连续的预定数目的片段代表图像作为构成图像以外，例如还可以从构成再现对象内容的视频片段的所有片段代表图像之中选择关注代表图像和在与关注代表图像相对应的视频片段之前和之后连续的视频片段的预定数目的相应片段代表图像(不限于与关注状态相关联的片段代表图像)作为构成图像。
以下，设定从与关注状态相关联的片段代表图像之中选择时间线图像的构成图像。
能够根据用户的操作滚动在层2模式中显示控制单元16显示的时间线图像中布置的作为构成图像的片段代表图像。
图20是示出时间线图像中布置的作为构成图像的片段代表图像的滚动的显示示例的示图。
在显示控制单元16中，时间线图像的左端侧的一部分的区域被设定为指示滚动到时间上往回那侧的过去滚动区域(未示出)，并且时间线图像的右端侧的一部分的区域被设定为指示滚动到时间上往前那侧的未来滚动区域(未示出)。
这里，在时间线图像中设定的过去滚动区域和未来滚动区域中的一者或两者在下文中被简称为滚动区域。
在作为用户的指示位置的光标的位置在层2模式中在时间线图像上设定的滚动区域内的情况下，显示控制单元16显示用于将滚动的执行通知给用户的滚动标记并且滚动在时间线图像中布置的作为构成图像的片段代表图像。
在图20中，光标被定位在时间线图像上设定的左端侧的过去滚动区域中并且表示执行向时间上往回那侧的滚动的滚动标记被显示在时间线图像的左端。
在此情况下，显示控制单元16将与关注状态相关联的按时间顺序的片段代表图像之中的与关注代表图像相邻的过去侧的片段代表图像设定为要布置在时间线图像的中央部分的中央图像，并且新选择包括中央图像和分别在中央图像之前和之后连续的3个片段代表图像在内的总共7个片段代表图像作为构成图像。
这里，显示控制单元16取代时间线图像中当前显示的构成图像按时间顺序布置新选择的构成图像。
结果，构成时间线图像的构成图像被设定为与关注状态相关联的按时间顺序的片段代表图像之中以与关注代表图像相邻的时间上往回那侧的片段代表图像设定为中心的7个片段代表图像，并且在时间上往回那侧，执行向时间上往回那侧滚动1个片段代表图像。
这里，向时间上往回那侧滚动的方向如图20中的箭头所示是从左到右的方向(在从左到右的方向上移动构成时间线图像的构成图像)。
如上所述，在执行滚动之后，如果光标保持定位在时间线图像上设定的左端侧的过去滚动区域内，则显示控制单元16维持滚动标记的显示，将与关注状态相关联的按时间顺序的片段代表图像之中与中央图像相邻的时间上往回那侧的片段代表图像设定为新的中央图像，并且新选择包括新中央图像和分别在新中央图像之前和之后连续的3个片段代表图像在内的总共7个片段代表图像作为构成图像。
这里，显示控制单元16取代时间线图像中当前显示的构成图像按时间顺序布置新选择的构成图像。
结果，构成时间线图像的构成图像被设定为与关注状态相关联的按时间顺序的片段代表图像之中以与先前中央图像相邻的时间上往回那侧的片段代表图像为中心的按时间顺序的7个片段代表图像，并且在时间上往回那侧，执行向时间上往回那侧滚动1个片段代表图像。
以下，只要光标被定位在时间线图像上设定的左端侧的过去滚动区域内，就执行相同的处理并且继续向时间线图像的时间上往回那侧滚动。
这里，虽然没有示出，但在光标被定位在时间线图像上设定的右端侧的未来滚动区域内的情况下，表示执行向时间上往前那侧的滚动的滚动标记被显示在时间线图像的右端并且时间线图像被向时间上往前那侧滚动(滚动方向是从右到左方向)。
因此，在层2模式中，用户只要通过在时间线图像上的滚动区域(过去滚动区域、未来滚动区域)中移动光标就能够滚动时间线图像，结果能够容易地找到期望的视频片段(的片段代表图像)。
[再现控制单元15对视频片段的再现控制]
即使当显示模式是层0模式、层1模式、层2模式中的任何一个时，当例如对于视频片段的片段代表图像执行双次点击作为请求该视频片段的再现的再现操作时，再现控制单元15从内容存储单元11再现与被执行了双次点击(再现操作)的片段代表图像相对应的视频片段。
再现控制单元15中再现的视频片段的图像被提供给显示控制单元16并显示在显示单元17上。
图21是示出再现控制单元15中播放的视频片段的图像的显示示例的示图。
在图21中，打开了显示片段地图的地图窗口和显示视频片段的图像的再现窗口#1、#2和#3。
在图21中，在层0模式中，首先，在地图窗口中显示的再现对象内容的片段地图中布置的片段代表图像(被选择为集群代表图像的片段代表图像)#1被双次点击，并且在再现控制单元15中，根据此双次点击，与片段代表图像#1相对应的视频片段#1的再现开始，并且视频片段#1的图像被显示在再现窗口#1中。
此外，在图21中，在地图窗口中显示的再现对象内容的片段地图中布置的片段代表图像#2在与片段代表图像#1相对应的视频片段#1的再现期间被双次点击，并且在再现控制单元15中，根据此双次点击，与片段代表图像#2相对应的视频片段#2的再现开始，并且视频片段#2的图像被显示在再现窗口#2中。
然后，在图21中，在地图窗口中显示的再现对象内容的片段地图中布置的片段代表图像#3在分别与片段代表图像#1和#2相对应的视频片段#1和#2的再现期间被双次点击，并且在再现控制单元15中，根据此双次点击，与片段代表图像#3相对应的视频片段#3的再现开始，并且视频片段#3的图像被显示在再现窗口#3中。
如上所述，在再现控制单元15中，当对再现对象内容的片段代表图像执行作为再现操作的双次点击时，执行再现与被执行了双次点击的片段代表图像相对应的视频片段的再现控制。
这里，在再现控制单元15中，当在再现与被双次点击的片段代表图像相对应的视频片段时另一视频片段的再现正被执行时，已经在执行的该另一视频片段的再现被维持原样，并且与被双次点击的片段代表图像相对应的视频片段被再现。
从而，用户将能够同时观看作为单个内容项的再现对象内容内的感兴趣的多个场景等等的多个地方。
此外，除了打开再现窗口并在该窗口中执行显示以外，正被执行再现的视频片段的图像(以下也称为再现视频片段)能够在与再现视频片段的片段代表图像相关联的状态附近按比片段代表图像的标准大小更大的大小等等被显示在片段地图上。
是将再现视频片段的图像显示在再现窗口中还是在片段地图上与再现视频片段的片段代表图像相关联的状态附近是能够例如根据用户的操作来设定的。
此外，再现视频片段的图像既能够被显示在时间窗口中也能够被显示在与再现视频片段的片段代表图像相关联的状态附近。
此外，在再现视频片段的图像被显示在再现窗口中的情况下，可以例如为再现窗口和在与其图像被显示在该代表图像中的再现视频片段(的片段代表图像)相关联的状态附近显示的片段代表图像提供相同的装饰。
在图18中，对于再现窗口#1和在与其图像被显示在再现窗口#1中的视频片段#1相关联的状态附近显示的片段代表图像#1，在围绕图像的框中提供了左上斜线的图案作为相同装饰。
此外，在图18中，对于再现窗口#2和在与其图像被显示在再现窗口#2中的视频片段#2相关联的状态附近显示的片段代表图像#2，在围绕图像的框中提供了右上斜线的图案作为相同装饰，并且对于再现窗口#3和在与其图像被显示在再现窗口#3中的视频片段#3相关联的状态附近显示的片段代表图像#3，在围绕图像的框中提供了水平线的图案作为相同装饰。
在这种情况下，用户能够立即识别出与图像被显示在再现窗口中的视频片段(的片段代表图像)相关联的状态。
此外，在再现视频片段的图像被显示在再现窗口中的情况下，对于片段代表图像每次执行作为再现操作的双次点击时就打开再现窗口，并且将与被双次点击的片段代表图像相对应的视频片段的图像显示在打开的窗口中。
紧接着对片段代表图像执行双次点击并且用于显示与该片段代表图像相对应的视频片段的图像的再现窗口被打开之后，(仅)该再现窗口变成所谓的活动窗口。
此外，在多个再现窗口已经打开的情况下，在这多个再现窗口之中作为最近的活动窗口的再现窗口中显示其图像的视频片段的音频被输出，并且在其他再现窗口中显示其图像的视频片段的音频被静音。
这里，在再现控制单元15中，即使当显示模式是层0模式、层1模式和层2模式中的任何一个时，当对片段代表图像执行双次点击时，执行与该片段代表图像相对应的视频片段的再现。
此外，除了对片段地图上的片段代表图像以外，在对层1模式中显示的固定砖块图像中布置的片段代表图像(图15)、突出显示的片段代表图像(图17)或者层2模式中显示的时间线图像中布置的片段代表图像(图18和图20)执行双次点击的情况下，也执行视频片段的再现。
从而，无论显示模式如何，只要通过对片段代表图像执行双次点击，也就是统一的操作，用户就都可以观看与片段代表图像相对应的视频片段。
图22是示出再现窗口的显示示例的示图。
再现窗口的大部分是显示视频片段的图像的显示区域。这里，在显示区域的上部，布置了时钟标记、时间线条和扬声器图标。
时钟标记和时间线条与图16的时钟标记和时间线条相同。
然而，再现窗口的时钟标记显示表示在再现对象内容内图像被显示在再现窗口上的视频片段的再现的定时的时刻。
此外，在再现窗口的时间线条中，与图像被显示在再现窗口中的视频片段在再现对象内容中的再现定时相当的部分(以斜线标记的部分)被与其他部分不同地显示。
扬声器图标是示出图像被显示在显示区域中的视频片段的音频的静音是开还是关的图标，并且在活动再现窗口中显示扬声器，而在非活动再现窗口中显示带叉号的扬声器。
图23是示出在收藏信息被存储(登记)在收藏信息存储单元13中的情况下层0模式的片段地图的显示示例的示图。
如图16中所述，在层1模式中，当用户执行收藏操作时，也就是当在关注状态被临时登记为收藏状态的情况下执行保存按钮操作时，在操作事件处理单元12(图1)中，进行与标识(执行了收藏操作的)用户的用户ID的关联，并且标识在再现对象内容的片段地图的基础的模型地图的生成中使用的作为关注模型的HMM的模型ID和标识被实际登记为收藏状态的状态的状态ID作为收藏信息被存储(登记)在收藏信息存储单元13(图1)中。
这里，状态ID作为收藏信息被存储在收藏信息存储单元13中的状态也被称为登记状态。
在用户在使用图1的图像处理装置时输入用户ID并且该用户ID作为收藏信息(的一部分)被存储在收藏信息存储单元13中时，显示控制单元16(图1)从收藏信息存储单元13中读出与使用图像处理装置的用户(以下称为使用用户)的用户ID相关联的模型ID和状态ID。
此外，在再现对象内容的片段地图的生成中使用的作为关注模型的HMM是利用与使用用户的用户ID相关联的模型ID标识的HMM的情况下，也就是说在再现对象内容的片段地图是利用用与使用用户的用户ID相关联的模型ID标识的HMM来生成的情况下，显示控制单元16突出显示片段地图的与作为利用与使用用户的用户ID相关联的状态ID标识的状态的登记状态相关联的(被选择为集群代表图像的)片段代表图像。
在图23中，与片段地图的登记状态相关联的片段代表图像通过被框围绕而被突出显示。
这里，在片段地图生成单元14中，例如，在每日等等定期广播的新闻节目的片段地图的生成中使用同一HMM。也就是说，在定期广播的新闻节目的片段地图的生成中使用的HMM被称为新闻HMM。
这里，使用用户查看某一日的新闻节目的片段地图并且执行收藏操作，由此与作为感兴趣的场景的视频片段的片段代表图像相关联的状态被设定为登记状态，并且登记状态的状态ID与使用用户的用户ID以及新闻HMM的模型ID相关联，被设定为收藏信息，并且被设定为存储在收藏信息存储单元13(图1)中。
在这种情况下，在随后的某日，当使用用户选择该日广播的最新新闻节目作为再现对象内容时，在片段地图生成单元14中利用新闻HMM生成作为再现对象内容的最新新闻节目的片段地图。
然后，在显示控制单元16中，从存储在收藏信息存储单元13中的收藏信息识别新闻HMM的登记状态，并且利用新闻HMM生成并与最新新闻节目的片段地图的登记状态相关联的片段代表图像被突出显示。
因此，例如，通过查看过去广播的新闻节目的片段地图的用户执行收藏操作并且将与作为感兴趣的场景的视频片段的片段代表图像相关联的状态设定为登记状态，在之后广播的新闻节目的片段地图中，由于与登记状态相关联的片段代表图像被突出显示，所以可以一眼识别出与作为感兴趣的场景的视频片段(的片段代表图像)相关联的状态(登记状态)。
此外，在再现控制单元15中，由于只要通过双次点击片段代表图像就再现与片段代表图像相对应的视频片段，所以用户能够容易地通过双次点击在之后广播的新闻节目的片段地图中突出显示的片段代表图像来观看感兴趣的场景，也就是对应于与登记状态相关联的片段代表图像的视频片段。
也就是说，通过用户查看某日广播的新闻节目的片段地图、执行收藏操作并且例如预先将与示出体育栏目的场景的视频片段的片段代表图像相关联的(一个或多个)状态设定为登记状态，在之后广播的新闻节目的片段地图(层0模式的片段地图)中，由于与登记状态相关联的片段代表图像也就是示出体育栏目的场景的视频片段的片段代表图像被突出显示，所以用户对于之后广播的新闻节目能够容易地仅观看体育栏目的场景。
图24是示出通过对片段地图中突出显示的片段代表图像进行双次点击而执行的视频片段的再现的示图。
在图24中，用户双次点击在层0模式的片段地图中突出显示的片段代表图像，并且根据该双次点击，视频片段的再现开始，与此同时，再现窗口被打开，并且再现开始的视频片段的视频被显示在再现窗口中。
这里，在片段地图(的生成中使用的作为集群化模型的HMM)的任何一个状态变成登记状态的情况下，再现控制单元15(图1)在片段地图中突出显示的片段代表图像(与任何一个登记状态相关联的片段代表图像)被双次点击的情况下，取代只再现与片段代表图像相对应的视频片段，还可以按时间顺序再现片段地图中与所有登记状态相关联的所有视频片段。
在这种情况下，例如，通过使用用户预先将与在新闻节目的体育栏目的场景中示出的视频片段的片段代表图像相关联的所有状态设定为登记状态，只要通过双次点击与新闻节目的片段地图的任何一个登记状态相关联的片段代表图像(突出显示的片段代表图像)，在再现控制单元15中就按时间顺序再现只有示出新闻节目的体育栏目的场景的视频片段(对应于与登记状态相关联的片段代表图像的视频片段)，结果，执行按时间顺序的仅体育栏目的摘要再现，也就是示出体育栏目的场景的视频片段的提示再现。
这里，由于登记状态(的状态ID)与用户ID相关联、被设定为收藏信息并且被存储在收藏信息存储单元13(图1)中，所以能够为每个用户预先存储。
从而，当再现控制单元15在与任何一个登记状态相关联的片段代表图像被双次点击的情况下按时间顺序再现片段地图中与所有登记状态相关联的所有视频片段时，每个用户可以再现该用户感兴趣的场景并且可以为每个用户实现突出再现(突出再现的个人化)。
这里，在片段地图的任何一个状态变成登记状态的情况下，当片段地图中突出显示的片段代表图像(与任何一个登记状态相关联的片段代表图像)被双次点击时，可以根据用户的操作设定是只再现与片段代表图像相对应的视频片段还是按时间顺序再现片段地图中与所有登记状态相关联的所有视频片段。
如上所述，在图1所示的图像处理装置中，由于将视频的内容用作学习内容，执行作为集群化模型的HMM的学习，并且将学习后的HMM投射到二维平面上，所以生成了用图表现内容的场景结构的模型地图。
同时，利用学习后的HMM来集群化再现对象内容的每个帧，并且将属于每个集群的帧划分成作为视频片段的一个或多个连续帧。
这里，生成片段地图，在该片段地图中，在模型地图上的HMM的每个状态的位置处，布置了代表属于与状态相对应的集群的(的帧构成的)视频片段的片段代表图像。
从而，用户能够通过查看片段地图来查看再现对象内容。
此外，在图1所示的图像处理装置中，当布置在片段地图等等上的片段代表图像被双次点击时，由于与片段代表图像相对应的视频片段(代表该片段代表图像的视频片段)被再现，所以用户能够容易地利用片段地图找到期望场景的片段代表图像并且迅速地访问示出该场景的视频片段(观看期望场景)。
如上所述，根据图1中的图像处理装置，可以实现具有可以俯瞰再现对象内容并高效地访问期望场景的特征的新浏览方法。
此外，在图1所示的图像处理装置中，当在再现与被双次点击的片段代表图像相对应的视频片段时正执行另一视频片段的再现时，已经在执行的该另一视频片段的再现被维持原样并且与被双次点击的片段代表图像相对应的视频片段被再现。
因此，根据图1中的图像处理装置，家族等等中的多个人中的每个人能够同时观看同一内容内他们各自感兴趣的不同地方，并且还可以提供适合于数字原生代擅长的所谓“在观看的同时”或“在查看的同时切换”的内容再现设备。
[显示模式转变和每种显示模式中执行的处理]
图25A和25B是示出显示模式的转变和在每种显示模式中执行的处理的示图。
当从片段地图生成单元14提供来再现对象内容的片段地图时，在步骤S101中，显示控制单元16将显示模式设定到层0模式并且将片段地图(显示片段地图的地图窗口)显示在显示单元17上。
此外，在步骤S101中的层0模式中，如图10中所示，只显示片段地图，而不显示砖块图像(图13)。
在步骤S101的不显示砖块图像的层0模式中，当用户执行双次点击时，处理转移到步骤S102，并且如果再现窗口被打开，则显示控制单元16将所有再现窗口显示在显示片段地图的地图窗口前方。
另外，当在步骤S101中从变成不显示砖块图像的层0模式起经过了预定时间时，处理转移到步骤S103，并且显示控制单元16判定作为用户指示的指示位置的光标位置移动到的指示位置与片段地图上最接近指示位置的状态之间的距离(光标间隔距离)是否在阈值以内。
这里，在图25中，虚线箭头表示当从执行(变成)箭头的起点侧的步骤起经过了预定时间时转移到箭头的终点侧的步骤。
在步骤S103中，在判定光标间隔距离不在阈值以内的情况下，处理转移到步骤S101。这里，当经过了预定时间时，处理从步骤S101转移到步骤S103，并且重复与以下相同的处理。
另一方面，在步骤S103中，在判定光标间隔距离在阈值以下的情况下，处理进行到步骤S104，并且显示控制单元16生成按时间顺序排列与作为片段地图上最接近指示位置的状态的关注状态相关联的片段代表图像的砖块图像，并且如图13中所示，以在片段地图的关注状态附近叠加的形式执行显示。
如上所述，在步骤S104中，在层0模式中，显示砖块图像；然而，以这种方式，当从变成在步骤S104中显示砖块图像的层0模式起经过了预定时间时，处理转移到步骤S103，并且显示控制单元16判定光标间隔距离(作为用户指示的指示位置的光标位置移动到的指示位置与片段地图上最接近指示位置的状态之间的距离)是否在阈值以内。
在步骤S103中，在判定光标间隔距离不在阈值以内的情况下，处理转移到步骤S101，擦除砖块图像并且模式变成不显示砖块图像的层0模式。
另外，在步骤S103中，在判定光标间隔距离在阈值以下的情况下，处理进行到步骤S104，显示控制单元16生成按时间顺序排列与作为片段地图上最接近指示位置的状态的关注状态相关联的片段代表图像的砖块图像，并且如图13中所示，以在片段地图的关注状态附近叠加的形式执行显示。
此外，当在步骤S104中显示砖块图像的层0模式(图13)中执行双次点击时，处理进行到步骤S105，并且再现控制单元15执行再现视频片段的视频片段再现处理。
换言之，在步骤S105的视频片段再现处理中，再现控制单元15再现与在执行双次点击时最接近用户的指示位置(双次点击的位置)的片段代表图像相对应的视频片段。
此外，在最接近指示位置的片段代表图像是与片段地图(的生成中使用的HMM)的登记状态相关联的片段代表图像的情况下，也就是说在与片段地图的登记状态相关联片段代表图像被双次点击的情况下，再现控制单元15如图24中所述执行按时间顺序再现对应于与片段地图的所有登记状态相关联的所有片段代表图像的视频片段的摘要再现。
在步骤S104的不显示砖块图像的层0模式(图13)中，当执行单次点击时，处理进行到步骤S106，并且显示控制单元16使显示模式从层0模式转移到层1模式，并且如图15中所示，显示固定了刚才显示的砖块图像的固定砖块图像。
此外，在步骤S106的层1模式中，如图15中所示，不执行固定砖块图像中布置的片段代表图像的突出显示。
当在步骤S106中的没有突出显示的层1模式中用户执行双次点击时，处理进行到步骤S107，并且以与步骤S105相同的方式，再现控制单元15执行视频片段再现处理。
也就是说，再现控制单元15再现与被双次点击的片段代表图像相对应的视频片段(在与片段地图的登记状态相关联的片段代表图像被双次点击的情况下，执行摘要再现以按时间顺序再现对应于与片段地图的所有登记状态相关联的所有片段代表图像的视频片段)。
当从变成步骤S106中的没有突出显示的层1模式起经过了预定时间时，处理转移到步骤S108，并且显示控制单元16判定作为用户指示的指示位置的光标位置移动到的指示位置与最接近指示位置的固定砖块图像(图15)中布置的片段代表图像之间的距离是否在阈值以内。
在步骤S108中，在判定指示位置与固定砖块图像中布置的最接近指示位置的片段代表图像之间的距离不在阈值以内的情况下，处理进行到步骤S109，并且显示控制单元16判定指示位置是否不在固定砖块图像上，也就是判定指示位置是否已移动到显示固定砖块图像的区域之外。
在步骤S109中，在判定指示位置在固定砖块图像(图15)上的情况下，处理进行到步骤S106。这里，当经过了预定时间时，处理从步骤S108转移到步骤S106，并且重复与以下相同的处理。
此外，在步骤S109中，在判定指示位置不在固定砖块图像(图15)上的情况下，处理进行到步骤S101，并且显示控制单元16使显示模式从层1模式转移到层0模式。
在步骤S101中的层0模式中，如图10中所示，只显示片段地图，而不显示砖块图像。
这里，就在转移到步骤S101的层0模式之前在层1模式中显示的固定砖块图像(图15)在从层1模式转移到层0模式时被擦除。
同时，在步骤S108中，在判定指示位置与固定砖块图像中布置的最接近指示位置的片段代表图像之间的距离在阈值以内的情况下，处理进行到步骤S110，并且显示控制单元16如图17中所示执行作为固定砖块图像中布置的最接近指示位置的片段代表图像的关注代表图像的突出显示。
如上所述，在步骤S110中，在层1模式中，固定砖块图像中布置的片段代表图像之中的最接近指示位置的片段代表图像作为关注代表图像被突出显示。
这里，当从这样变成步骤S110中的具有突出显示的层1模式(执行突出显示的层1模式)起经过了预定时间时，处理转移到步骤S108，并且重复与以下相同的处理。
另外，当在步骤S110中的具有突出显示的层1模式中用户执行双次点击时，处理进行到步骤S111，并且以与步骤S105相同的方式，再现控制单元15执行视频片段再现处理。
也就是说，再现控制单元15再现与被双次点击的片段代表图像相对应的视频片段(在与片段地图的登记状态相关联的片段代表图像被双次点击的情况下，执行摘要再现以按时间顺序再现对应于与片段地图的所有登记状态相关联的所有片段代表图像的视频片段)。
在步骤S110的具有突出显示的层1模式(图17)中，当执行单次点击时，处理进行到步骤S112，并且显示控制单元16使显示模式从层1模式转移到层2模式，并且如图18中所示，显示时间线图像，其中在该时间线图像中，以刚才突出显示的片段代表图像为中心，按时间顺序布置了多个片段代表图像。
当在步骤S112中的层2模式中用户执行双次点击时，处理进行到步骤S113，并且以与步骤S105相同的方式，再现控制单元15执行视频片段再现处理。
也就是说，再现控制单元15再现与被双次点击的片段代表图像相对应的视频片段(在与片段地图的登记状态相关联的片段代表图像被双次点击的情况下，执行摘要再现以按时间顺序再现对应于与片段地图的所有登记状态相关联的所有片段代表图像的视频片段)。
当从变成步骤S112中的层2模式(图18)起经过了预定时间时，处理转移到步骤S114，并且显示控制单元16判定作为用户指示的指示位置的光标位置移动到的指示位置是否位于时间线图像中设定的左端侧的过去滚动区域内。
在步骤S114中，在判定指示位置位于过去滚动区域内的情况下，处理进行到步骤S115，并且显示控制单元16如图20中的箭头所示滚动时间线图像以显示时间上更往回那侧的片段代表图像，并且处理进行到步骤S112。
另外，在步骤S114中，在判定指示位置不位于过去滚动区域内的情况下，处理转移到步骤S116，并且显示控制单元16判定指示位置是否移动了并且指示位置是否位于时间线图像中设定的右端侧的未来滚动区域内。
在步骤S116中，在判定指示位置位于未来滚动区域内的情况下，处理进行到步骤S117，并且显示控制单元16滚动时间线图像以显示时间上更往前那侧的片段代表图像，并且处理进行到步骤S112。
另外，在步骤S116中，在判定指示位置不位于未来滚动区域内的情况下，也就是在指示位置不位于过去滚动区域或未来滚动区域的任一个中的情况下，处理进行到步骤S118，并且显示控制单元16判定指示位置是否不在时间线图像(图18、图20)上，也就是指示位置是否移动到了显示时间线图像的区域之外。
在步骤S118中，在判定指示位置在时间线图像(图18、图20)上的情况下，处理进行到步骤S112。这里，当经过了预定时间时，处理从步骤S114转移到步骤S112。
另外，在步骤S118中，在判定指示位置不在时间线图像上的情况下，处理进行到步骤S101，并且显示控制单元16使显示模式从层2模式转移到层0模式。
在步骤S101中的层0模式中，如图10中所示，只显示片段地图，而不显示砖块图像。
这里，就在移动到步骤S101的层0模式之前在层2模式中显示的时间线图像(图18、图20)在从层2模式转移到层0模式时被擦除。
[对应用本技术的计算机的描述]
接下来，能够利用硬件执行或者利用软件执行上述一系列处理。在利用软件执行这一系列处理的情况下，构成软件的程序被安装在通用计算机等等中。
这里，图26示出了安装有执行上述一系列处理的程序的计算机的实施例的构成示例。
程序可被预先记录在作为内置到计算机中的记录介质的硬盘105或ROM103中。
或者，程序可被预先存储(记录)在可移除记录介质111中。此可移除记录介质111能够作为所谓的封装软件提供。这里，作为可移除记录介质111，例如，有柔性盘、CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、半导体存储器等等。
此外，除了从上述可移除记录介质111将程序安装到计算机上以外，还可以在通过通信网络或广播网络下载到计算机后执行到内置的硬盘105上的安装。换言之，例如，程序能够通过用于数字卫星广播的人造卫星被从下载站点无线地传送到计算机，或者能够通过LAN(局域网)或诸如因特网之类的网络利用线路传送到计算机。
计算机具有内置的CPU(中央处理单元)102，并且输入和输出接口110经由总线101连接到CPU102。
当经由输入和输出接口110用户通过对输入单元107的操作等等输入命令时，CPU102据此执行存储在ROM(只读存储器)103中的程序。或者，CPU102将存储在硬盘105中的程序加载到RAM(随机访问存储器)104中并执行对其的执行。
这样，CPU102执行根据上述流程图的处理，或者根据上述框图的构成执行的处理。这里，例如，CPU102根据需要通过输入/输出接口110将此处理结果从输出单元106输出，或者从通信单元108发送处理结果并且在硬盘105中执行记录等等。
此外，输入单元107由键盘、鼠标、麦克风等等构成。另外，输出单元106由LCD(液晶显示器)、扬声器等等构成。
这里，在本说明书中，计算机根据程序执行的程序可不遵循流程图中描述的顺序按时间顺序执行。也就是说，计算机根据程序执行的处理也包括并行或分开执行的处理(例如并行处理或按对象的处理)。
此外，可利用一个计算机(处理器)处理程序，或者可由多个计算机分布处理程序。此外，程序可被发送到远程计算机并执行。
这里，本技术的实施例不限于上述形式，在不脱离本技术的精神的范围中可以进行各种修改。
例如，本技术可采用云计算构成，其中通过将一个功能通过网络分配到多个合作装置来执行处理。
换言之，在图1中的图像处理装置中，例如，收藏信息存储单元13和片段地图生成单元14被设在服务器侧，并且其余的内容存储单元11、操作事件处理单元12、再现控制单元15、显示控制单元16和显示单元17能够被设在客户端侧。
另外，除了由一个装置执行以外，上述流程图中描述的每个步骤能够通过分配到多个装置来执行。
此外，在一个步骤中包括多个处理的情况下，该一个步骤中包括的多个处理除了由一个装置执行以外还能够通过分配到多个装置来执行。
换言之，在图1中的图像处理装置中，片段地图生成单元14的一部分处理是在服务器侧执行的，并且其余处理能够在客户端侧执行。
此外，本技术能够采用以下构成。
[1]一种图像处理装置，包括：显示控制单元，该显示控制单元在显示装置上显示片段地图，该片段地图是其中布置了片段代表图像的地图，片段代表图像是代表通过将内容划分成作为一个或多个时间上连续的帧的帧集合的视频片段而获得的视频片段的图像；以及再现控制单元，该再现控制单元根据对于片段代表图像请求再现的用户的再现操作来控制与该片段代表图像相对应的视频片段的再现，其中，在内容的一视频片段的再现期间对内容的另一视频片段的片段代表图像执行再现操作的情况下，再现控制单元在仍维持正被再现的视频片段的再现的同时，再现作为与被执行了再现操作的片段代表图像相对应的视频片段的另一视频片段。
[2]根据[1]所述的图像处理装置，还包括：地图生成单元，该地图生成单元生成所述片段地图；集群化单元，该集群化单元将内容的每个帧集群化到多个集群的任何一个集群中；片段划分单元，该片段划分单元对于所述多个集群分别将属于集群的帧划分成作为一个或多个时间上连续的帧的集合的视频片段；以及片段代表图像生成单元，该片段代表图像生成代表视频片段的片段代表图像，其中，所述地图生成单元对于所述多个集群中的每个集群，将属于集群的视频片段的片段代表图像与该集群相关联，从与该集群相关联的片段代表图像之中选择代表该集群的集群代表图像，并且将被选择为集群代表图像的片段代表图像布置在片段地图上。
[3]根据[2]所述的图像处理装置，其中，所述集群化单元利用具有状态和状态转变的状态转变模型确定观测到所述内容的帧的时间系列中的特征量的最大似然状态系列，并且
将所述内容的每个帧集群化到与在所述最大似然状态系列中观测到该帧的特征量的状态相对应的集群中。
[4]根据[3]所述的图像处理装置，其中，所述地图生成单元通过生成模型地图并在该模型地图上的每个状态的位置处布置被选择为与状态相对应的集群的集群代表图像的片段代表图像来生成片段地图，其中模型地图是状态转变矩阵被投射到二维平面上或三维空间中的地图。
[5]根据[4]所述的图像处理装置，其中，所述地图生成单元从与对应于状态的集群相关联的片段代表图像之中选择帧数目最大的视频片段的片段代表图像或再现时刻最早的视频片段的片段代表图像，作为所述集群代表图像。
[6]根据[4]或[5]所述的图像处理装置，其中，所述地图生成单元在所述模型地图上的每个状态的位置处按与该状态的重要度相对应的大小布置被选择为与该状态相对应的集群的集群代表图像的片段代表图像。
[7]根据[6]所述的图像处理装置，其中，所述地图生成单元确定与对应于状态的集群相关联的片段代表图像所对应的视频片段的最大帧数目作为该状态的重要度。
[8]根据[4]至[7]中的任何一项所述的图像处理装置，还包括存储单元，该存储单元根据请求状态被登记的用户的收藏操作来存储该状态作为登记状态，其中，所述显示控制单元突出显示所述片段地图的被选择为与该登记状态相对应的集群的集群代表图像的片段代表图像。
[9]根据[8]所述的图像处理装置，其中，当对被选择为与所述登记状态相对应的集群的集群代表图像的片段代表图像执行再现操作时，所述再现控制单元按时间顺序再现与对应于所述存储单元中存储的所有登记状态的集群相关联的片段代表图像所对应的视频片段。
[10]根据[4]至[9]中的任何一项所述的图像处理装置，其中，所述显示控制单元设定最接近用户指示的指示位置的片段地图上的状态作为要关注的关注状态并且执行在所述显示装置上显示砖块图像的显示控制，其中该砖块图像是与对应于该关注状态的集群相关联的片段代表图像的列表的图像。
[11]根据[10]所述的图像处理装置，其中，所述显示控制单元将所述砖块图像的片段代表图像之中的最接近所述指示位置的片段代表图像设定为要关注的关注图像并且突出显示该关注图像。
[12]根据[11]所述的图像处理装置，其中，根据用户的预定操作，所述显示控制单元执行在所述显示装置上显示时间线图像的显示控制，其中在该时间线图像中，在与所述关注状态相关联的片段代表图像之中，所述关注图像和在所述关注图像之前和之后连续的预定数目的片段代表图像被以所述关注图像为中心按时间顺序布置。
[13]根据[12]所述的图像处理装置，其中，所述显示控制单元根据用户的操作滚动所述时间线图像中布置的片段代表图像。
[14]一种图像处理方法，包括：在显示装置上显示片段地图，该片段地图是布置了片段代表图像的地图，片段代表图像是代表通过将内容划分成作为一个或多个时间上连续的帧的帧集合的视频片段而获得的视频片段的图像；以及根据对于片段代表图像请求再现的用户的再现操作来控制与该片段代表图像相对应的视频片段的再现，其中，在对视频片段的再现的控制中，在内容的一视频片段的再现期间对内容的另一视频片段的片段代表图像执行再现操作的情况下，在仍维持正被再现的视频片段的再现的同时，再现作为与被执行了再现操作的片段代表图像相对应的视频片段的另一视频片段。
[15]一种程序，使得计算机执行：在显示装置上显示片段地图，该片段地图是布置了片段代表图像的地图，片段代表图像是代表通过将内容划分成作为一个或多个时间上连续的帧的帧集合的视频片段而获得的视频片段的图像；以及根据对于片段代表图像请求再现的用户的再现操作来控制与该片段代表图像相对应的视频片段的再现，其中，在内容的一视频片段的再现期间对内容的另一视频片段的片段代表图像执行再现操作的情况下，在仍维持正被再现的视频片段的再现的同时，再现作为与被执行了再现操作的片段代表图像相对应的视频片段的另一视频片段。
本公开包含与2011年10月18日向日本专利局提交的日本优先权专利申请JP2011-228538中公开的主题相关的主题，特此通过引用将该申请的全部内容并入。

Claims (15)

1.一种图像处理装置，包括：
显示控制单元，该显示控制单元在显示装置上显示片段地图，该片段地图是其中布置了片段代表图像的地图，所述片段代表图像是代表通过将内容划分成视频片段而获得的视频片段的图像，所述视频片段是时间上连续的一个或多个帧的帧集合；以及
再现控制单元，该再现控制单元根据对片段代表图像请求再现的用户的再现操作，控制与该片段代表图像相对应的视频片段的再现，
其中，在内容的一视频片段的再现期间对内容的另一视频片段的片段代表图像的再现操作被执行的情况中，所述再现控制单元在仍维持正被再现的视频片段的再现的同时，再现作为与被执行了再现操作的片段代表图像相对应的视频片段的另一视频片段。
2.根据权利要求1所述的图像处理装置，还包括：
地图生成单元，该地图生成单元生成所述片段地图；
集群化单元，该集群化单元将所述内容的每个帧集群化到多个集群的任何一个集群中；
片段划分单元，该片段划分单元分别针对所述多个集群，将属于集群的帧划分成作为时间上连续的一个或多个帧的集合的视频片段；以及
片段代表图像生成单元，该片段代表图像生成单元生成代表视频片段的片段代表图像，
其中，所述地图生成单元对于所述多个集群中的每个集群，将属于该集群的视频片段的片段代表图像与该集群相关联，从与该集群相关联的片段代表图像之中选择代表该集群的集群代表图像，并且
将被选择为集群代表图像的片段代表图像布置在所述片段地图上。
3.根据权利要求2所述的图像处理装置，其中，所述集群化单元确定最大似然状态系列，其中利用具有状态和状态转变的状态转变模型观测所述内容的帧的时间系列中的特征量，并且
将所述内容的每个帧集群化到与在所述最大似然状态系列中观测到该帧的特征量的状态相对应的集群中。
4.根据权利要求3所述的图像处理装置，其中，所述地图生成单元通过生成模型地图并在该模型地图上的每个状态的位置处布置被选择为与该状态相对应的集群的集群代表图像的片段代表图像，来生成片段地图，其中该模型地图是其中状态转变模型被投射到二维平面上或三维空间中的地图。
5.根据权利要求4所述的图像处理装置，其中，所述地图生成单元选择与对应于状态的集群相关联的片段代表图像之中的、帧数目最大的视频片段的片段代表图像或再现时刻最早的视频片段的片段代表图像，作为所述集群代表图像。
6.根据权利要求4所述的图像处理装置，其中，所述地图生成单元在所述模型地图上的每个状态的位置处按与该状态的重要度相对应的大小布置被选择为与该状态相对应的集群的集群代表图像的片段代表图像。
7.根据权利要求6所述的图像处理装置，其中，所述地图生成单元确定与对应于状态的集群相关联的片段代表图像所对应的视频片段的最大帧数目作为该状态的重要度。
8.根据权利要求4所述的图像处理装置，还包括：
存储单元，该存储单元根据请求对状态进行登记的用户的收藏操作来存储该状态作为登记状态，
其中，所述显示控制单元突出显示所述片段地图的、被选择为与所述登记状态相对应的集群的集群代表图像的片段代表图像。
9.根据权利要求8所述的图像处理装置，
其中，当对被选择为与所述登记状态相对应的集群的集群代表图像的片段代表图像执行再现操作时，所述再现控制单元按时间顺序再现与对应于所述存储单元中存储的所有登记状态的集群相关联的片段代表图像所对应的视频片段。
10.根据权利要求4所述的图像处理装置，
其中，所述显示控制单元设定最接近用户指示的指示位置的片段地图上的状态作为要关注的关注状态，并且执行在所述显示装置上显示砖块图像的显示控制，其中该砖块图像是与对应于该关注状态的集群相关联的片段代表图像的列表的图像。
11.根据权利要求10所述的图像处理装置，
其中，所述显示控制单元将所述砖块图像的片段代表图像之中的最接近所述指示位置的片段代表图像设定为要关注的关注图像，并且突出显示该关注图像。
12.根据权利要求11所述的图像处理装置，
其中，根据用户的预定操作，所述显示控制单元执行在所述显示装置上显示时间线图像的显示控制，其中在该时间线图像中，与所述关注状态相关联的所述片段代表图像之中的、所述关注图像和在所述关注图像之前和之后连续的预定数目的片段代表图像被以所述关注图像为中心按时间顺序布置。
13.根据权利要求12所述的图像处理装置，
其中，所述显示控制单元根据用户的操作滚动所述时间线图像中布置的片段代表图像。
14.一种图像处理方法，包括：
在显示装置上显示片段地图，该片段地图是其中布置了片段代表图像的地图，所述片段代表图像是代表通过将内容划分成视频片段而获得的视频片段的图像，所述视频片段是时间上连续的一个或多个帧的帧集合；以及
根据对于片段代表图像请求再现的用户的再现操作，来控制与该片段代表图像相对应的视频片段的再现，
其中，在对视频片段的再现的控制中，在内容的一视频片段的再现期间对内容的另一视频片段的片段代表图像执行再现操作的情况下，在仍维持正被再现的视频片段的再现的同时，再现作为与被执行了再现操作的片段代表图像相对应的视频片段的另一视频片段。
15.一种程序，使得计算机执行：
在显示装置上显示片段地图，该片段地图是其中布置了片段代表图像的地图，所述片段代表图像是代表通过将内容划分成视频片段而获得的视频片段的图像，所述视频片段是时间上连续的一个或多个帧的帧集合；以及
根据对片段代表图像请求再现的用户的再现操作，控制与该片段代表图像相对应的视频片段的再现，
其中，在内容的一视频片段的再现期间对内容的另一视频片段的片段代表图像执行再现操作的情况下，在仍维持正被再现的视频片段的再现的同时，再现作为与被执行了再现操作的片段代表图像相对应的视频片段的另一视频片段。
CN201210392229.5A 2011-10-18 2012-10-11 图像处理装置和图像处理方法 Active CN103067780B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-228538 2011-10-18
JP2011228538A JP5845801B2 (ja) 2011-10-18 2011-10-18 画像処理装置、画像処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
CN103067780A true CN103067780A (zh) 2013-04-24
CN103067780B CN103067780B (zh) 2017-05-17

Family

ID=48086062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210392229.5A Active CN103067780B (zh) 2011-10-18 2012-10-11 图像处理装置和图像处理方法

Country Status (3)

Country Link
US (1) US8571381B2 (zh)
JP (1) JP5845801B2 (zh)
CN (1) CN103067780B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811745A (zh) * 2015-04-28 2015-07-29 无锡天脉聚源传媒科技有限公司 一种视频内容的展示方法及装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6090927B2 (ja) * 2013-06-28 2017-03-08 Kddi株式会社 映像区間設定装置及びプログラム
US20150051917A1 (en) * 2013-08-15 2015-02-19 Koninklijke Philips N.V. Healthcare system and method for creating a personalized care plan for a user
CN105580013A (zh) * 2013-09-16 2016-05-11 汤姆逊许可公司 通过搜索多个用户评论并将其覆盖到内容中来浏览视频
KR101581917B1 (ko) * 2014-08-12 2016-01-04 네이버 주식회사 컨텐츠 표시 제어 장치, 컨텐츠 표시 제어 방법 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램
CN104954892B (zh) * 2015-06-15 2018-12-18 海信集团有限公司 一种展示视频主题内容的方法及装置
TWI552591B (zh) * 2015-08-24 2016-10-01 晶睿通訊股份有限公司 標記視頻中物件的方法、裝置及電腦可讀取記錄媒體
EP3151243B1 (en) * 2015-09-29 2021-11-24 Nokia Technologies Oy Accessing a video segment
CN107105342B (zh) * 2017-04-27 2020-04-17 维沃移动通信有限公司 一种视频播放控制方法及移动终端
CN107911749B (zh) * 2017-10-27 2020-03-03 优酷网络技术（北京）有限公司 一种合演图谱的展示、提供方法、客户端及服务器
US10598499B2 (en) * 2018-07-25 2020-03-24 Kabushiki Kaisha Toshiba Method and device for accelerated map-matching
CN109743624B (zh) * 2018-12-14 2021-08-17 深圳壹账通智能科技有限公司 视频切割方法、装置、计算机设备和存储介质
US11876969B2 (en) * 2022-02-11 2024-01-16 Qualcomm Incorporated Neural-network media compression using quantized entropy coding distribution parameters

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120624A1 (en) * 2004-12-08 2006-06-08 Microsoft Corporation System and method for video browsing using a cluster index
EP1830361A1 (en) * 2006-03-02 2007-09-05 Sony Corporation Image displaying method and video playback apparatus
JP2008547259A (ja) * 2005-06-15 2008-12-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メタサマリデータを通じてコンテンツアイテムの提供を可能とする装置及びその方法
US20100111501A1 (en) * 2008-10-10 2010-05-06 Koji Kashima Display control apparatus, display control method, and program
CN102077580A (zh) * 2009-04-30 2011-05-25 索尼公司 显示控制设备、显示控制方法以及程序

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4717369B2 (ja) * 2004-05-07 2011-07-06 富士フイルム株式会社 画像表示装置および方法並びにプログラム
JP2008312183A (ja) 2007-05-15 2008-12-25 Sony Corp 情報処理装置および方法、並びにプログラム
JP5194776B2 (ja) * 2007-12-21 2013-05-08 株式会社リコー 情報表示システム、情報表示方法およびプログラム
JP2010206729A (ja) * 2009-03-05 2010-09-16 Sony Corp ダイジェスト再生装置、ダイジェスト再生方法、およびプログラム
JP5294932B2 (ja) * 2009-03-11 2013-09-18 キヤノン株式会社 画像再生装置、方法及びプログラム
JP5566120B2 (ja) * 2010-01-20 2014-08-06 キヤノン株式会社 表示制御装置、方法及びプログラム並びに記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120624A1 (en) * 2004-12-08 2006-06-08 Microsoft Corporation System and method for video browsing using a cluster index
JP2008547259A (ja) * 2005-06-15 2008-12-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メタサマリデータを通じてコンテンツアイテムの提供を可能とする装置及びその方法
EP1830361A1 (en) * 2006-03-02 2007-09-05 Sony Corporation Image displaying method and video playback apparatus
US20100111501A1 (en) * 2008-10-10 2010-05-06 Koji Kashima Display control apparatus, display control method, and program
CN102077580A (zh) * 2009-04-30 2011-05-25 索尼公司 显示控制设备、显示控制方法以及程序

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811745A (zh) * 2015-04-28 2015-07-29 无锡天脉聚源传媒科技有限公司 一种视频内容的展示方法及装置

Also Published As

Publication number Publication date
CN103067780B (zh) 2017-05-17
US20130094831A1 (en) 2013-04-18
US8571381B2 (en) 2013-10-29
JP5845801B2 (ja) 2016-01-20
JP2013090119A (ja) 2013-05-13

Similar Documents

Publication Publication Date Title
CN103067780A (zh) 图像处理装置、图像处理方法和程序
US10405016B2 (en) Recommending media items based on take rate signals
CN102077580B (zh) 显示控制设备、显示控制方法
US20170161773A1 (en) Methods and Systems for Targeted Advertising Using Machine Learning Techniques
JP5546632B2 (ja) マルチメディアコンテンツを分析するための方法および機構
CA2771379C (en) Estimating and displaying social interest in time-based media
JP4898581B2 (ja) ユーザインターフェース方法、表示装置、および、ユーザインターフェースシステム
US20170161772A1 (en) Methods and Systems for Targeted Advertising Using Machine Learning Techniques
US8503770B2 (en) Information processing apparatus and method, and program
CN109800325A (zh) 视频推荐方法、装置和计算机可读存储介质
US20150026718A1 (en) Systems and methods for displaying a selectable advertisement when video has a background advertisement
CN102857810A (zh) 信息处理设备、信息处理方法和程序
CN102214304A (zh) 信息处理设备、信息处理方法、和程序
WO2020207249A1 (zh) 通知消息的推送方法、装置、存储介质及电子设备
WO2020207201A1 (zh) 用户行为预测模型构建方法、装置、存储介质及电子设备
CN105635824A (zh) 个性化频道推荐方法和系统
CN103207675A (zh) 制作媒体节目集锦或扩充媒体节目
CN106164895A (zh) 用于呈现对媒体内容的建议的方法、系统和介质
WO2020259522A1 (zh) 一种内容查找方法、相关设备及计算机可读存储介质
CN107735786A (zh) 基于用户的轨迹推荐媒体内容
CN102004984A (zh) 信息处理设备、程序和信息处理系统
US10701434B1 (en) Extracting session information from video content to facilitate seeking
US20220345797A1 (en) System for summary segment association and dynamic selection for viewing with a content item of interest
CN106471819A (zh) 用于提高媒体资产推荐模型中的精确性的系统和方法
US8407575B1 (en) Video content summary

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant