CN102821261A - 显示设备、对象显示方法和程序 - Google Patents

显示设备、对象显示方法和程序 Download PDF

Info

Publication number
CN102821261A
CN102821261A CN2012101770669A CN201210177066A CN102821261A CN 102821261 A CN102821261 A CN 102821261A CN 2012101770669 A CN2012101770669 A CN 2012101770669A CN 201210177066 A CN201210177066 A CN 201210177066A CN 102821261 A CN102821261 A CN 102821261A
Authority
CN
China
Prior art keywords
personage
moving image
scene
score
occurrence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012101770669A
Other languages
English (en)
Inventor
村田诚
后藤智彦
涩谷直树
望月俊助
八重田岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102821261A publication Critical patent/CN102821261A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/22—Means responsive to presence or absence of recorded information signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

公开了一种显示设备、对象显示方法和程序。该显示设备包括：关系得分计算单元，用于使用片段元数据，基于共同出现关系来计算表示人物之间的关系的亲近度的关系得分，其中所述片段元数据表示运动图像中的、有所述人物中的各个人物出现的片段；以及对象显示单元，用于显示与出现在所述运动图像中的所述人物中的每一个相对应的对象。此外，所述对象显示单元将对应于具有高关系得分的一对人物的一对对象显示为彼此接近地定位，并将对应于具有低关系得分的一对人物的一对对象显示为彼此远离地定位。

Description

显示设备、对象显示方法和程序
技术领域
本公开涉及一种显示设备、对象显示方法和程序。
背景技术
一般公众有机会观看各种运动图像，诸如电视图像或视频图像。此外，随着广域网的广泛部署，可以在家观看通过因特网传输的运动图像的序列（下文中为“流图像”）。当观看这样的运动图像时，用户可以使用遥控装置来选择广播站或开始视频图像的回放。在运动图像是记录图像、DVD图像、蓝光视频图像或流图像的情况下，用户可以预设回放图像的开始位置或预设成跳过图像场景的一部分。例如，JP 2010-277661A公开了一种用于利用简单的操作跳过CM的技术。
发明内容
然而，尚未开发出以下技术：该技术用于选择性地回放从出现在运动图像中的人物当中选择的那个人物所出现的图像场景，或用于回放与所选择的那个人物相关的另一人物所出现的另一运动图像。此外，尚未开发出一种用于使得用户能够容易地识别出现在运动图像中的各人物之间的关系的技术。鉴于前述内容，构思出本技术，以提供如下新的且改进的显示设备、对象显示方法和程序：该显示设备、对象显示方法和程序能够使得用户容易地识别出现在一个或更多个运动图像中的人物之间的关系。
根据本公开的实施例，提供了一种显示设备，所述显示设备包括：关系得分计算单元，用于使用片段元数据，基于共同出现关系来计算表示人物之间的关系的亲近度的关系得分，其中所述片段元数据表示运动图像中的、有所述人物中的各个人物出现的片段；以及对象显示单元，用于显示与出现在所述运动图像中的所述人物中的每一个相对应的对象。此外，所述对象显示单元将对应于具有高关系得分的一对人物的一对对象显示为彼此接近地定位，并将对应于具有低关系得分的一对人物的一对对象显示为彼此远离地定位。
根据本公开的另一个实施例，提供了一种显示对象的方法，所述方法包括：使用片段元数据，基于共同出现关系来计算表示人物之间的关系的亲近度的关系得分，其中所述片段元数据表示运动图像中的、有所述人物中的各个人物出现的片段；以及显示与出现在所述运动图像中的所述人物中的每一个相对应的对象。此外，将对应于具有高关系得分的一对人物的一对对象显示为彼此接近地定位，并将对应于具有低关系得分的一对人物的一对对象显示为彼此远离地定位。
根据本公开的另一个实施例，提供了一种用于使计算机实现以下功能的程序：用于使用片段元数据而基于共同出现关系来计算表示人物之间的关系的亲近度的关系得分的功能，其中所述片段元数据表示运动图像中的、有所述人物中的各个人物出现的片段；以及用于显示与出现在所述运动图像中的所述人物中的每一个相对应的对象的功能。此外，用于显示对象的功能包括：将对应于具有高关系得分的一对人物的一对对象显示为彼此接近地定位，以及将对应于具有低关系得分的一对人物的一对对象显示为彼此远离地定位。
根据本公开的另一个实施例，提供了一种在其上记录有该程序的计算机可读记录介质。
如上所述，本技术使得用户能够容易地识别出现在一个或更多个运动图像中的人物之间的关系。
附图说明
图1是示出了根据本公开的示例性实施例的信息处理设备的功能结构的框图；
图2是示出了根据本公开的示例性实施例的运动图像时间线元数据的结构的图；
图3是示出了根据本公开的示例性实施例的片段元数据的结构和使用片段元数据检测到的信息的图；
图4是示出了根据本公开的示例性实施例的对关系进行评估的方法的图；
图5是示出了根据本公开的示例性实施例的关系矩阵的结构的图；
图6是示出了根据本公开的示例性实施例的计算关系矩阵的方法的图；
图7是示出了根据本公开的示例性实施例的计算关系矩阵的方法的图；
图8是示出了根据本公开的示例性实施例的计算关系矩阵的方法的图；
图9是示出了根据本公开的示例性实施例的计算关系矩阵的方法的图；
图10是示出了根据本公开的示例性实施例的显示对象的方法的图；
图11是示出了根据本公开的示例性实施例的显示对象的方法的图；
图12是示出了根据本公开的示例性实施例的显示对象的方法的图；
图13是示出了根据本公开的示例性实施例的显示对象的方法的图；
图14是示出了根据本公开的示例性实施例的显示对象的方法的图；
图15是示出了根据本公开的示例性实施例的显示对象的方法的图；
图16是示出了根据本公开的示例性实施例的显示对象的方法的图；
图17是示出了根据本公开的示例性实施例的显示对象的方法的图；
图18是示出了根据本公开的示例性实施例的显示对象的方法的图；
图19是示出了根据本公开的示例性实施例的显示对象的方法的图；
图20是示出了根据本公开的示例性实施例的显示对象的方法的图；
图21是示出了根据本公开的示例性实施例的显示对象的方法的图；
图22是示出了根据本公开的示例性实施例的显示对象的方法的图；
图23是示出了根据本公开的示例性实施例的显示对象的方法的图；
图24是示出了根据本公开的示例性实施例的显示对象的方法的图；
图25是示出了根据本公开的示例性实施例的显示对象的方法和显示场景图像的方法的图；
图26是示出了根据本公开的示例性实施例的显示场景图像的方法的图；
图27是示出了根据本公开的示例性实施例的显示场景图像的方法的图；
图28是示出了根据本公开的示例性实施例的显示场景图像的方法的图；
图29是示出了根据本公开的示例性实施例的显示对象的方法和显示场景图像的方法的图；
图30是示出了根据本公开的示例性实施例的显示对象的方法和显示场景图像的方法的图；
图31是示出了根据本公开的示例性实施例的显示对象的方法和显示场景图像的方法的图；
图32是示出了根据本公开的示例性实施例的显示对象的方法和显示场景图像的方法的图；
图33是示出了根据本公开的示例性实施例的显示对象的方法、显示场景图像的方法和显示相关信息的方法的图；
图34是示出了根据本公开的示例性实施例的显示回放窗口的方法的图；以及
图35是示出了根据本公开的示例性实施例的信息处理设备的硬件结构的框图。
具体实施方式
下文中，将参照附图详细描述本公开的优选实施例。注意，在本说明书和附图中，用相同的附图标记表示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。
[描述流程]
将简要提供对本公开的以下实施例的描述流程。
首先将参照图1描述根据本公开的示例性实施例的信息处理设备100的结构。接着，将参照图2描述根据本公开的示例性实施例的运动图像时间线元数据的结构。接着，将参照图3至图9描述根据本公开的示例性实施例的计算关系值的方法。接着，将参照图10至图24描述根据本公开的示例性实施例的使用关系值来显示对象的方法。
接着，将参照图25至图32描述根据本公开的示例性实施例的显示场景图像的方法。接着，将参照图33描述根据本公开的示例性实施例的显示相关信息的方法。接着，将参照图34描述根据本公开的示例性实施例的显示运动图像回放屏的方法和回放运动图像的方法。接着，将参照图35描述根据本公开的示例性实施例的被配置成实现信息处理设备100的功能的硬件结构。最后，将综述本公开的示例性实施例的技术构思并将简要描述从这些技术构思获得的效果。
<内容>
1：实施例
1-1：信息处理设备100的结构
1-2：计算关系值的方法
1-2-1：基于片段元数据评估共同出现关系的方法
1-2-2：基于共同出现作品的数目计算关系值的方法
1-2-3：基于共同出现作品的数目（加上了权重）计算关系值的方法
1-2-4：基于出现时间计算关系值的方法
1-2-5：基于出现场景时间计算关系值的方法
1-3：显示对象的方法
1-3-1：对象的尺寸
1-3-2：对象之间的距离
1-3-3：深度的表示
1-3-4：关系的表示
1-4：显示场景图像的方法
1-4-1：布置场景图像的方法（随机布置）
1-4-2：布置场景图像的方法（按照时间序列布置）
1-4-3：布置场景图像的方法（基于情绪的布置）
1-5：场景图像显示和对象显示的改变
1-5-1：年代的改变
1-5-2：区域的改变
1-5-3：改变时对象的显示
1-6：其它显示方法
1-6-1：三维（3D）显示
1-6-2：相关信息的显示
1-6-3：运动图像回放屏的显示
2：硬件的结构
3：综述
<1.实施例>
将描述本公开的示例性实施例。示例性实施例涉及以下技术：该技术用于提取出现在运动图像中的人物之间的关系，并使得用户能够容易地识别该关系以及该关系的亲近度。另外，示例性实施例涉及用于提供如下用户界面的技术：该用户界面用于观测预定人物与运动图像之间的关系。此外，示例性实施例涉及用于提供如下用户界面的技术：该用户界面用于选择性地回放预定人物所出现的图像场景或用于显示与预定人物相关的信息。下文中，将详细描述这些技术。
[1-1：信息处理设备100的结构]
将参照图1描述根据本公开的示例性实施例的信息处理设备100的结构。图1是示出了根据本公开的示例性实施例的信息处理设备100的结构的框图。
（总体结构）
如图1中所示，信息处理设备100包括元数据获取单元101、出现时间计算单元102、关系计算单元103、对象显示单元104、相关信息显示单元105、场景图像获取单元106、场景图像显示单元107、运动图像获取单元108、回放控制单元109、以及显示单元110。显示单元110可以是单独的实体。在此情况下，信息处理设备100用作被配置成通过信号线或网络在显示单元110上显示图像的显示控制单元。此外，运动图像获取单元108和回放控制单元109可以是单独的实体。
（用于对象显示的配置）
元数据获取单元101获取运动图像时间线元数据。例如，元数据获取单元101从经由信号线或网络与其相连的存储单元或者从经由网络与其相连的元数据供应系统获取运动图像时间线元数据。存储单元的示例可以包括用以读取记录在记录介质（诸如磁记录介质、光记录介质、磁光记录介质、或半导体存储器）上的数据的装置或者用以从这些记录介质读取数据并将数据写入这些记录介质的装置。元数据获取单元101可以预先获取或者在用户针对要回放的关注的运动图像而预设的预定定时处获取运动图像时间线元数据。
如图2中所示，运动图像时间线元数据包括区域元数据、片段元数据和对象元数据。区域元数据表示出现在运动图像帧中的人物或物品的位置或范围。图2示出了表示出现在运动图像帧中的人物的面部的区域元数据。片段元数据表示运动图像中有人物或物品出现的片段。对象元数据表示与出现在运动图像中的人物或物品相关的信息。
针对出现在运动图像中的每个人物或每个物品来设置运动图像时间线元数据。另外，针对每个运动图像来设置运动图像时间线元数据。因此，通过使用运动图像时间线元数据的片段元数据，可以确定人物出现在运动图像的哪个片段中。另外，通过使用区域元数据，可以确定由用户指定的屏幕上的区域与显示在屏幕上的人物或物品之间的对应性。例如，如果用户指定人物的面部，则可以通过使用区域元数据和对象元数据实现用于显示与该人物相关的信息的用户界面。
返回参照图1，将由元数据获取单元101获取的运动图像时间线元数据输入到出现时间计算单元102、关系计算单元103、相关信息显示单元105和回放控制单元109。例如，将片段元数据输入到出现时间计算单元102、关系计算单元103和回放控制单元109。此外，将区域元数据和对象元数据输入到相关信息显示单元105。另外，可以将区域元数据输入到关系计算单元103和回放控制单元109。
如果输入了片段元数据，则出现时间计算单元102使用片段元数据计算每个运动图像中的每个人物的出现时间（下文中称作“每个运动图像中的出现时间”）。片段元数据包括人物所出现的每个片段的出现开始时间和出现结束时间。在此情况下，通过获得一个运动图像中的每个出现片段的长度的和，可以针对运动图像计算每个运动图像中的出现时间。出现时间计算单元102通过获得每个关注的运动图像中的出现时间的和来计算每个人物的总出现时间。
关于由出现时间计算单元102计算的每个运动图像中的出现时间的信息被输入到关系计算单元103。关于由出现时间计算单元102计算的总出现时间的信息被输入到对象显示单元104。如果输入了片段元数据和关于每个运动图像中的出现时间的信息，则关系计算单元103使用片段元数据和每个运动图像中的出现时间来计算表示人物之间的关系的关系值。关系值是表示关系以及该关系的亲近度的得分。将描述计算关系值的方法。
由关系计算单元103计算的关系值被输入到对象显示单元104。如果输入了关于总出现时间的信息和关系值，则对象显示单元104在显示单元110上显示表示人物的对象。在此情况下，对象显示单元104基于关于总出现时间的信息来调节对象的大小，并基于关系值来调节每个对象的布置。将描述基于关于总出现时间的信息和关系值来显示对象的方法。对象显示单元104在执行改变对象的显示位置的操作、指定对象的操作或改变场景图像的以下操作时，控制对象显示。
（用于显示相关信息的配置）
区域元数据和对象元数据被输入到相关信息显示单元105。如果输入了区域元数据和对象元数据，则相关信息显示单元105使用区域元数据和对象元数据来在显示单元110上显示相关信息。例如，如果选择了对象，则相关信息显示单元105显示与对应于所选择的对象的人物或物品相关的信息。此外，如果在播放运动图像期间选择了屏幕上的区域，则相关信息显示单元105使用区域元数据来检测对应于所选择的区域的人物或物品。相关信息显示单元105显示与检测到的人物或物品相关的信息。此外，将详细描述显示相关信息的方法。
（用于显示场景图像的配置）
场景图像获取单元106获取表示运动图像的一个场景的场景图像。例如，场景图像获取单元106从经由信号线或网络与其相连的存储单元或者从经由网络与其相连的运动图像传输系统获取运动图像或场景图像。存储单元的示例可以包括用以读取记录在记录介质（诸如磁记录介质、光记录介质、磁光记录介质、或半导体存储器）上的数据的装置或者用以从这些记录介质读取数据并将数据写入这些记录介质的装置。场景图像获取单元106可以预先获取或者在用户针对要回放的关注的运动图像而预设的预定定时处获取运动图像或场景图像。
场景图像获取单元106可以使用从运动图像中提取的单个图像作为场景图像，或者使用预定场景图像。运动图像可以被作为场景图像来回放。例如，场景图像获取单元106可以使用位于运动图像的最前面的运动图像帧的图像作为场景图像，或可以使用运动图像的图片包作为场景图像。场景图像获取单元106从单个运动图像获取一个或更多个场景图像。由场景图像获取单元106获取的场景图像被输入到场景图像显示单元107。
如果输入了场景图像，则场景图像显示单元107在显示单元110上显示场景图像。在此情况下，场景图像显示单元107以平铺的方式并排地显示多个场景图像。场景图像显示单元107基于预定布置规则来布置场景图像。例如，场景图像显示单元107可以随机地或基于关于运动图像的类型或时间的信息来布置场景图像。此外，如果执行改变场景图像的操作，则场景图像显示单元107基于该改变操作来改变场景图像。将描述显示场景图像的方法。
（用于运动图像的回放控制的配置）
运动图像获取单元108从经由信号线或网络与其相连的存储单元或者从经由网络与其相连的运动图像传输系统获取运动图像。存储单元的示例可以包括用以读取记录在记录介质（诸如磁记录介质、光记录介质、磁光记录介质、或半导体存储器）上的数据的装置或者用以从这些记录介质读取数据并将数据写入这些记录介质的装置。此外，运动图像获取单元108可以预先获取或者在用户针对要回放的关注的运动图像而预设的预定定时处获取运动图像。由运动图像获取单元108获取的运动图像被输入到回放控制单元108。
如果输入了运动图像，则回放控制单元109回放运动图像并在显示单元110上显示运动图像。例如，如果选择了对象，则回放控制单元109使用由元数据获取单元101输入的片段元数据来指定对应于所选择的对象的人物所出现的片段。回放控制单元109选择性地回放所指定的片段。此外，如果在回放运动图像期间选择了人物，则回放控制单元109使用片段元数据来选择性地回放所选择的人物所出现的片段。此外，回放控制单元109可以使用片段元数据来显示在运动图像的回放期间出现的人物的出现场景或回放所选择的出现场景。
上面已经描述了根据本公开的示例性实施例的信息处理设备100的结构。
[1-2：计算关系值的方法]
将参照图3至图9描述根据本公开的示例性实施例的计算关系值的方法。关系值的计算主要由关系计算单元103来实现。
（1-2-1：基于片段元数据来评估共同出现关系的方法）
将参照图3至图5描述基于片段元数据来评估共同出现关系的方法。具体地，将描述从片段元数据获得的主要信息的类型以及用于评估人物之间的关系的评估基础。图3至图5是示出了基于片段元数据来评估共同出现关系的方法的图。
参照图3，针对如上所述的每个运动图像和每个人物准备片段元数据。每个片段元数据表示运动图像的有人物出现的片段。图3示出了运动图像M1中的表示人物A的出现片段的片段元数据、表示人物B的出现片段的片段元数据、以及表示人物C的出现片段的片段元数据。在图3中，t2~t4、t9~t11和t13~t16的出现片段针对于人物A；t1~t3、t5~t7和t10~t12的出现片段针对于人物B；并且t6~t8和t14~t15的出现片段针对于人物C。
根据图3中的三个片段元数据，可以获得出现在运动图像M1中的每个人物的出现时间（每个运动图像中的出现时间）、出现在运动图像M1中的共同人物、以及运动图像M1中的共同出现场景的长度（下文中为共同出现场景时间）。例如，出现在运动图像M1中的人物A的每个运动图像中的出现时间Δt1A是Δt1A=|t4-t2|+|t11-t9|+|t16-t13|。类似地获得出现在运动图像M1中的人物B的每个运动图像中的出现时间Δt1B以及出现在运动图像M1中的人物C的每个运动图像中的出现时间Δt1C。由于在运动图像M1中存在人物A、B和C的出现片段，所以可以看出人物A和B是共同出现人物，人物B和C是共同出现人物，并且人物C和A是共同出现人物。
此外，由于人物A和B共同出现在片段t2~t3和t10~t11中，所以人物A和B出现在运动图像M1中的共同出现场景时间Δt1AB是Δt1AB=|t3-t2|+|t11-t10|。类似地，由于人物B和C共同出现在片段t6~t7中，所以人物B和C出现在运动图像M1中的共同出现场景时间Δt1BC是Δt1BC=|t7-t6|。类似地，由于人物A和C共同出现在片段t14~t15中，所以人物A和C出现在运动图像M1中的共同出现场景时间Δt1CA是Δt1CA=|t15-t14|。
因此，通过分析每个运动图像的片段元数据，可以获得出现在每个运动图像中的每个人物的每个运动图像中的出现时间、出现在每个运动图像中的共同出现人物、以及每个运动图像中的共同出现场景时间。此外，如图4中所示，根据每个运动图像中的出现时间、每个运动图像中的共同出现人物和每个运动图像中的共同出现场景时间的组合，可以针对关注的运动图像组（图4中的M1~Mn）获得每个人物的总出现时间、每对人物的共同出现作品的数目、每对人物的总共同出现时间、以及每对人物的总共同出现场景时间。
例如，根据出现在关注的运动图像组中的同一人物在每个运动图像中的出现时间的和，可以获得该人物的总出现时间。此外，由于已知出现在每个运动图像中的共同出现人物，所以可以通过计算一对人物共同出现的运动图像的数目来获得该对人物的共同出现作品的数目。此外，通过获得一对人物的每个人物出现在该对人物共同出现的运动图像组中的每个运动图像中的出现时间的和，可以获得共同出现的该对人物在该运动图像组中的共同出现时间。此外，通过获得共同出现在运动图像组中的一对人物的共同出现场景时间的和，可以获得共同出现的该对人物在运动图像组中的共同出现场景时间。
例如，假定人物D和E共同出现在运动图像M2和M5中。在此情况下，这对人物D和E的共同出现时间等于人物D出现在运动图像M2和M5中的出现时间（即Δt2D和Δt5D）与人物E出现在运动图像M2和M5中的出现时间（即Δt2E和Δt5E）的和（即，Δt2D+Δt5D+Δt2E+Δt5E）。此外，这对人物D和E的共同出现场景时间等于运动图像M2中的共同出现场景时间（即Δt2DE）与运动图像M5中的共同出现场景时间（即Δt5DE）的和（即，Δt2DE+Δt5DE）。
具有多个共同出现作品的一对人物、具有长的共同出现时间的一对人物、或具有长的共同出现场景时间的一对人物可以被认为是人物之间具有亲近关系的一对人物。此外，随着人物在更多的共同出现作品中扮演主角，这些人物可以被认为具有更亲近的关系。此外，在显示区域方面评估人物之间的关系可能会是优选的。如果不考虑显示区域，则例如可以考虑扮演临时角色的人物和扮演男主角的人物具有更亲近的关系，而男主角和女主角没有亲近关系。可以从对象元数据获得关于主角或配角的信息。可以从区域元数据获得显示区域。
如上所述，可以使用片段元数据获得用于评估人物之间的关系的各种信息。可以使用该信息评估人物之间的关系。此外，可以通过另外使用对象元数据或区域元数据来更适当地评估人物之间的关系。例如，如图5中所示，可以以矩阵形式表示人物之间的关系。矩阵的每个元素包括关系值，该关系值表示对应于该元素的一对人物的关系的亲近度。此矩阵被称作关系矩阵。将详细描述计算关系值的方法。
（1-2-2：基于共同出现作品的数目来计算关系值的方法）
将参照图6描述基于共同出现作品的数目来计算关系值的方法。图6是示出了基于共同出现作品的数目来计算关系值的方法的图。在此情况下，关注的运动图像组是出现人物A、B和C的运动图像M1~M6。
如上所述，如图6中所示，可以使用片段元数据获得人物A、B和C之间的共同出现关系。在图6中，人物A、B和C出现在运动图像M1中；人物A和C出现在运动图像M2中；人物B出现在运动图像M3中；人物A出现在运动图像M4中；人物A和B出现在运动图像M5中；并且人物A和B出现在运动图像M6中。即，人物A和B共同出现在运动图像M1、M5和M6中；人物A和C共同出现在运动图像M1和M2中；并且人物B和C仅共同出现在运动图像M1中。
人物A和B共同出现在三（3）个作品中，人物A和C共同出现在两（2）个作品中，并且人物B和C共同出现在一（1）个作品中。因此，表示人物A与B之间的关系的关系值是三（3），人物A与C之间的关系值是二（2），并且人物B与C之间的关系值是一（1）。此外，可以形式上计算同一个人的关系值。例如，人物A和人物A共同出现的作品与人物A出现的作品是相同的。在此情况下，人物A的作品是运动图像M1、M2和M4~M6。即，人物A和人物A共同出现的作品的数目等于五（5）。因此，表示人物A与人物A之间的关系的关系值是五（5）。这对于人物B或人物C而言是相同的。
可以如图6中所示那样，从根据前述内容得到的关系值（包括同一人物的关系值）获得关系矩阵。在关系矩阵中，每个对角线元素表示对应于每个对角线元素的每个人物所出现的作品的数目。此外，由于出现在多个作品中的人物可以被认为具有高的重要级别，所以可以认为关系矩阵的对角线元素表示重要级别。尽管已将出现作品的数目用作关系值，但是可以将经处理的值视作关系值，这个经处理的值例如为被乘以预定系数的值、或者归一化的值。
上面已经描述了基于共同出现作品的数目来计算关系的方法。
（1-2-3：基于共同出现作品的数目（加上了权重）来计算关系值的方法）
接着，将参照图7描述基于共同出现作品的数目（加上了权重）来计算关系值的方法。图7是示出了根据本公开的示例性实施例的基于共同出现作品的数目（加上了权重）来计算关系值的方法的图。具体地，将描述基于权重值和共同出现作品的数目计算关系值的方法。在此情况下，权重值被用于表示扮演主角的人物与扮演配角的人物之间的差异。假定关注的运动图像组包括出现人物A、B和C的运动图像M1~M6。
如图7中所示，可以使用片段元数据获得人物A、B和C之间的共同出现关系。在图7中，人物A、B和C共同出现在运动图像M1中；人物A和C共同出现在运动图像M2中；仅人物B出现在运动图像M3中；仅人物A出现在运动图像M4中；人物A和B共同出现在运动图像M5中；并且人物A和B共同出现在运动图像M6中。即，人物A和B共同出现在运动图像M1、M5和M6中；人物A和C共同出现在运动图像M1和M2中；并且人物B和C仅共同出现在运动图像M1中。
此外，可以从对象元数据看出：在运动图像M1中，人物A和B扮演主角，而人物C扮演配角；在运动图像M2中，人物A扮演主角，而人物C扮演配角；在运动图像M3中，人物B扮演主角；在运动图像M4中，人物A扮演配角；在运动图像M5中，人物A和B扮演配角；并且在运动图像M6中，人物A扮演主角，而人物B扮演配角。
现在将描述权重。假定：如果所有人物均扮演主角，则对一个共同出现作品分配得分四（4）；如果一部分人物扮演主角而另一部分扮演配角，则对一个共同出现作品分配得分二（2）；以及如果所有人物均扮演配角，则对一个共同出现作品分配得分一（1）。
在图7中，运动图像M1是人物A和B均扮演主角的作品；运动图像M6是人物A扮演主角而人物B扮演配角或反之亦然的作品；并且运动图像M5是人物A和B均扮演配角的作品。因此，对于一对人物A和B而言，人物A和B均扮演主角的作品的数目为一（1）；人物A扮演主角而人物B扮演配角或反之亦然的作品的数目为一（1）；并且人物A和B均扮演配角的作品的数目为一（1）。结果，得分的和为4×1+2×1+1×1=7。即，表示人物A和B之间的关系的关系值为七（7）。
类似地，运动图像M2是人物A和C均扮演主角的作品；运动图像M1是人物A扮演主角而人物C扮演配角或反之亦然的作品；并且不存在人物A和C均扮演配角的作品。因此，对于一对人物A和C而言，人物A和C均扮演主角的作品的数目为一（1）；人物A扮演主角而人物C扮演配角或反之亦然的作品的数目为一（1）；并且人物A和C均扮演配角的作品的数目为零（0）。结果，得分的和为4×1+2×1+1×0=6。即，表示人物A和C之间的关系的关系值为六（6）。
类似地，不存在人物B和C均扮演主角的作品；运动图像M1是人物B扮演主角而人物C扮演配角或反之亦然的作品；并且不存在人物B和C均扮演配角的作品。因此，对于一对人物B和C而言，人物B和C均扮演主角的作品的数目为零（0）；人物B扮演主角而人物C扮演配角或反之亦然的作品的数目为一（1）；并且人物A和C均扮演配角的作品的数目为零（0）。结果，得分的和为4×0+2×1+1×0=2。即，表示人物B和C之间的关系的关系值为二（2）。
类似地，还可以按照与上面相同的方式获得同一人物的关系值。结果，可以从上述关系值获得图7中所示的关系矩阵。在关系矩阵中，每个对角线元素表示对应于每个对角线元素的每个人物的重要级别。尽管已将得分的和用作关系值，但是得分的和的平方根可以是关系值。此外，尽管已从根据角色的组合而确定的得分获得了关系值，但是例如可以基于以下等式1获得关系值Rel，其中角色权重RW(Mk,A)在人物A在运动图像Mk中扮演主角的情况下为二（2），在人物A在运动图像Mk中扮演配角的情况下为一（1），并且在人物A未出现在运动图像Mk中的情况下为零（0）。此外，Rel(A,B)代表表示人物A和B之间的关系的关系值。
Rel ( A , B ) = &Sigma; k { RW ( M k , A ) &CenterDot; RW ( M k , B ) } . . . ( 1 )
上面已经描述了基于共同出现作品的数目（加上了权重）计算关系的方法。
（1-2-4：基于出现时间计算关系值的方法）
接着，将参照图8描述基于出现时间计算关系值的方法。图8是示出了基于出现时间计算关系值的方法的图。具体地，将描述使用每个运动图像中的每个人物的出现时间来计算关系值的方法。在此情况下，关注的运动图像组是出现人物A、B和C的运动图像M1~M6。
如图8中所示，可以使用片段元数据获得人物A、B和C之间的共同出现关系。在图8中，人物A、B和C出现在运动图像M1中；人物A和C出现在运动图像M2中；仅人物B出现在运动图像M3中；仅人物A出现在运动图像M4中；人物A和B出现在运动图像M5中；并且人物A和B出现在运动图像M6中。因此，人物A和B共同出现在运动图像M1、M5和M6中；人物A和C共同出现在运动图像M1和M2中；并且人物B和C仅共同出现在运动图像M1中。
如图8中所示，使用片段元数据可以看到：出现在运动图像M1中的人物A的出现时间是四十（40），出现在运动图像M1中的人物B的出现时间是三十（30），并且出现在运动图像M1中的人物C的出现时间是十（10）；出现在运动图像M2中的人物A的出现时间是三十（30），并且出现在运动图像M2中的人物C的出现时间是四十（40）；出现在运动图像M3中的人物B的出现时间是二十（20）；出现在运动图像M4中的人物A的出现时间是十（10）；出现在运动图像M5中的人物A的出现时间是五（5），并且出现在运动图像M5中的人物B的出现时间是十（10）；并且出现在运动图像M6中的人物A的出现时间是四十（40），并且出现在运动图像M6中的人物B的出现时间是五（5）。
可以认为运动图像中的具有长出现时间的人物在该运动图像中扮演重要角色。此外，可以认为扮演重要角色的人物之间具有非常亲近的关系。相反地，可以认为运动图像中的具有短出现时间的人物之间具有疏远的关系。例如，认为扮演配角的人物之间具有疏远的关系。鉴于前述内容，提供了基于以下等式2计算关系值Rel的方法，其中出现时间PSL(Mk,A)表示出现在运动图像Mk中的人物A的出现时间。在此情况下，PSL(Mk,A)在人物A没有出现在运动图像Mk中的情况下为零（0）。此外，Rel(A,B)代表表示人物A和B之间的关系的关系值。此外，可以将等式2的右边的平方根视为关系值。
Rel ( A , B ) = &Sigma; k { PSL ( M k , A ) &CenterDot; PSL ( M k , B ) } . . . ( 2 )
在图8中，表示人物A和B之间的关系的关系值是40×30(运动图像M1)+30×0(运动图像M2)+0×20(运动图像M3)+10×0(运动图像M4)+5×10(运动图像M5)+40×5(运动图像M6)=1450。类似地，表示人物A和C之间的关系的关系值是1600，并且表示人物B和C之间的关系的关系值是300。可以根据关系值获得图8的关系矩阵。此外，这样的计算对于同一人物是相同的。可以认为具有长出现时间的人物是具有高重要级别的人物。因此，同一人物的关系值（即，关系矩阵的每个对角线元素）表示每个人物的重要级别。
上面已经描述了基于出现时间计算关系矩阵的方法。
（1-2-5：基于出现场景时间计算关系值的方法）
将参照图9描述基于出现场景时间计算关系值的方法。图9是示出了基于出现场景时间计算关系值的方法的图。具体地，将描述基于每个运动图像中的共同出现场景时间来计算关系值的方法。在此情况下，假定关注的运动图像组包括出现人物A、B和C的运动图像M1~M6。
如图9中所示，可以使用片段元数据获得出现在每个运动图像中的每对人物的共同出现场景时间。在图9中，用[X,Y]表示一对人物X和Y的共同出现场景时间。例如，出现在运动图像M1中的一对人物A和B的共同出现场景时间是[A,B]=20。类似地，对于运动图像M1而言，[A,A]=40、[B,B]=30、[C,C]=10、[A,C]=5，并且[B,C]=5。在此情况下，[A,A]表示人物A和人物A的共同出现片段的长度。然而，由于人物A和人物A是同一人物，所以一对人物A和A共同出现场景时间与人物A的出现时间是相同的。这对于[B,B]或[C,C]而言是一样的。
可以认为出现在同一图像场景中的人物之间具有亲近的关系。例如，相互之间交谈的人物出现在同一图像场景中。此外，对立的人物或友好的人物频繁地出现在运动图像中的同一图像场景中。扮演男主人公的人物和扮演女主人公的人物也频繁地出现在同一图像场景中。鉴于前述内容，提供了基于以下等式3计算关系值Rel的方法，其中共同出现场景时间CSL(Mk,A,B)表示出现在运动图像Mk中的人物A和B的共同出现片段的长度。在此情况下，如果他们中的任一个没有出现在运动图像Mk中，则共同出现场景时间CSL(Mk,A,B)变为零（0）。此外，Rel(A,B)代表表示人物A和B之间的关系的关系值。此外，可以将等式3的右边的平方根视作关系值。
Rel ( A , B ) = &Sigma; k CSL ( M k , A , B ) . . . ( 3 )
在图9中，表示人物A和B之间的关系的关系值是20(运动图像M1)+0(运动图像M2)+0(运动图像M3)+0(运动图像M4)+5(运动图像M5)+5(运动图像M6)=30。类似地，表示人物A和C之间的关系的关系值是25，并且表示人物B和C之间的关系的关系值是5。可以根据关系值获得图9的关系矩阵。这对于同一人物是一样的。同一人物中的每个的关系值（即，关系矩阵的对角线元素）表示每个人物的总出现时间。
上面已经描述了基于共同出现场景时间计算关系矩阵的方法。
如上所述，根据使用片段元数据获得的信息，可以以各种视角评估人物之间的关系。计算关系值的上述方法仅是说明性的。例如，可以使用以面部的区域来加权的出现时间或共同出现场景时间来计算关系值。此外，可以使用以主角和配角之间的差异来加权的出现时间或共同出现场景时间来计算关系值。
（其它方法1：共同出现场景时间+角色权重）
例如，将描述一种基于共同出现场景时间CSL和角色权重RW的组合来计算关系值Rel的方法。上面已经描述了CSL和RW的定义。在此情况下，以以下等式4表示关系值Rel(A,B)。这里，可以省略等式4的右边的开平方运算。在此方法中，可以基于表示每个运动图像中的每个人物的角色的重要性的角色权重以及表示每个运动图像中的人物之间的关系的亲近度的共同出现场景时间来计算关系值。
Rel ( A , B ) = &Sigma; k { RW ( M k , A ) &CenterDot; RW ( M k , B ) &CenterDot; CSL ( M k , A , B ) } . . . ( 4 )
（其它方法2：共同出现场景时间+出现时间）
又例如，将描述一种基于共同出现场景时间CSL和出现时间PSL的组合来计算关系值Rel的方法。上面已经描述了CSL和PSL的定义。在此情况下，以以下等式5表示关系值Rel(A,B)。这里，可以省略等式5的右边的开平方运算。在此方法中，可以基于表示每个运动图像中的每个人物的角色的重要性的出现时间以及表示每个运动图像中的人物之间的关系的亲近度的共同出现场景时间来计算关系值。
Rel ( A , B ) = &Sigma; k { OSL ( M k , A ) &CenterDot; PSL ( M k , B ) &CenterDot; CSL ( M k , A , B ) } . . . ( 5 )
[1-3：显示对象的方法]
接着，将参照图10至图24描述使用上述关系值来显示对象的方法。例如，如图10中所示，出现在运动图像中的每个人物被表示为对象。在此情况下，具有高关系值的对象被显示为彼此邻近。通过使用此显示方法，可以容易地识别人物之间的关系。对象主要由对象显示单元104显示。将详细描述显示对象的方法。
（1-3-1：对象的尺寸）
参照图11，关于每个人物的出现时间的信息可以用于表示对象。使用片段元数据获得的关于每个人物的出现时间的信息包括关于在每个运动图像中的出现时间的信息以及关于总出现时间的信息。这里，将描述使用总出现时间来表示对象的方法。总出现时间可以被认为是表示人物的重要级别或关注级别的指示符。例如，在许多运动图像中扮演主角的人物可以具有长的总出现时间。因此，优选的是显著地表示与具有长的总出现时间的人物相对应的对象。
鉴于以上内容，如图11中所示，表示具有长的总出现时间的人物的对象被对象显示单元104表示为具有大尺寸，并且表示具有短的总出现时间的人物的对象被对象显示单元104表示为具有小尺寸。通过这样的表示，可容易地识别出现在关注的运动图像组中的人物当中具有高的重要级别的人物。此外，可以根据总出现时间逐步地或连续地改变对象的显示尺寸。
例如，对象显示单元104使用第一阈值Th1和第二阈值Th2（Th2<Th1），以在总出现时间T为T>Th1时将显示尺寸设置为大，在总出现时间T为Th2<T≤Th1时将显示尺寸设置为中，并在总出现时间T为T≤Th2时将显示尺寸设置为小。此外，对象显示单元104可以使用线性函数或单调递增函数f来根据总出现时间T计算显示尺寸S=α*f(T)。尽管已经使用总出现时间来表示对象，但是可以使用每个运动图像中的出现时间的平均值、中值、或最大值。此外，可以不显示总出现时间不大于预定阈值的人物的对象。利用这种显示，可以不显示扮演配角或临时演员的人物的对象；由此，可以容易地识别扮演重要角色的人物的对象。
（1-3-2：对象之间的距离）
接着，将参照图12描述一种将人物之间的关系显示为对象之间的距离的方法。人物之间的关系由关系值表示。如图12中所示，人物之间的关系值越大，对象之间的距离就越小。相反，人物之间的关系值越小，对象之间的距离就越大。然而，在如图10中所示的显示多个对象的情况下，损坏可见性并不是优选的。因此，优选地将对象布置为分散的。此外，优选地将对象布置在显示区域内。
将描述以下等式6中所表示的能量函数E。能量函数E(A)表示当人物A的对象位于显示区域内的坐标(x,y)处时所生成的能量（下文中称作“势能”）。对象显示单元104确定与每个人物对应的对象的位置，使得可以将每个人物的能量函数E的和TE最小化。如在以下等式6中所表示的，能量函数E由以下两项构成：第一项E1，表示人物之间的关系的势能；以及第二项E2，表示显示区域内的位置的势能。将详细描述这些项。
E(A)=E1(A)+E2(A)………(6)
首先将描述第一项E1。例如，如以下等式7中所表示的，人物A的第一项E1(A)由人物A和Q(Q=B,C，...)之间的关系的能量函数E11(A,Q)的和来表示。此外，如以下等式8中所表示的，能量函数E11(A,Q)被定义为关系值R(A,Q)和距离D(A,Q)的函数。在此情况下，R(A,Q)表示一对人物A和Q的关系值（即，上述Rel(A,Q)），并且D(A,Q)如图14所示那样表示显示区域内的人物A的对象和人物Q的对象之间的距离。这里，k11、k12和k13表示归一化系数。
E 1 ( A ) = &Sigma; Q E 11 ( A , Q ) . . . ( 7 )
Figure BDA00001709953500192
如果人物A和Q之间存在关系，则能量函数E11(A,Q)表示如图13中所示的在D(A,Q)=k12/R(A,Q)处具有最小值（或稳定点）的下凸曲线。如上所述，对象可以被布置为使得可以将能量最小化。因此，人物A的对象和人物Q的对象之间的距离可以被确定为稳定点附近的值。稳定点的位置可以随着关系值R(A,Q)增加而移位到左侧。即，人物A和人物Q的之间的关系越亲近，人物A的对象和人物Q的对象之间的距离越靠近。尽管已经以二次函数表示了能量函数E11(A,Q)，但是可以使用除了二次函数之外的用以表示图13所示的曲线的任何函数。
另一方面，如果人物A和人物Q之间不存在关系，则能量函数E11(A,Q)是如图15中所示的随着D(A,Q)增加而单调递减的函数。在此情况下，如果人物Ａ的对象和人物Ｑ的对象更靠近彼此，则能量增加。换言之，如果人物Ａ和人物Ｑ之间不存在关系，则人物Ａ的对象和人物Ｑ的对象愈加远离彼此。然而，随着对象愈加远离彼此，对象之一可能或者两者均可能从显示区域中出去。鉴于前述内容，可以引入表示每个对象的位置的势能的第二项E2。
第二项E2被定义为从屏幕中心沿X方向测量的距离DX（参见图18）和从屏幕中心沿Y方向测量的距离DY（参见图18）的函数，将在以下等式9中表示该函数，其中，k21和k22是归一化系数并且n≥2。如果第二项E2是在DX=0且DY=0时具有最小值的、并且表示值随着增加的距离DX和DY而增加的曲线的函数，则第二项E2不限于由以下等式9表示的函数。例如，如图16和图17中所示，第二项E2可以是具有与显示区域的横向边缘的渐进方向相切的渐进曲线的函数。此外，第二项E2可以是根据距屏幕中心的距离逐步地增加的阶跃函数。
E2(A)=k21*DX n+k22*DY n   ………(9)
如果如上所述定义第二项E2，则对象的能量随着对象愈加靠近屏幕的横向边缘而增加。因此，尽管对象通过第一项E1的作用变得更靠近屏幕的横向边缘，但是可以通过第二项E2的作用防止对象太靠近屏幕的横向边缘。结果，可以防止对象从显示区域中出去。另一方面，取决于第二项E2的定义，对象可以超出显示区域。如果第二项E2由等式9表示，则可以根据索引n来确定超出显示区域的最大容许量。最大容许量可以被设置为大到足以使对象显著地超出显示区域。
如上所述，对象显示单元104确定与每个人物对应的每个对象的布置，使得可以将每个人物U（U=A,B,C,…）的能量函数E的和TE最小化（参见以下等式10）。针对要最小化的和TE来确定每个对象的位置的方法的示例可以包括最优化技术，诸如最陡下降（steepest descent）、模拟退火（simulated annealing）或遗传算法（genetic algorithm）。对象显示单元104使用上述技术确定显示区域中的每个对象的坐标，并如图10中所示那样显示对象组。
如图10中所示，具有亲近关系的人物的对象被显示为彼此邻近，而没有关系的人物的对象被显示为彼此远离。结果，相关人物（relatedcharacters）的对象在一个聚类中。例如，如图10中所示，共同出现在同一运动图像中的各人物的对象组在一个聚类中。另外，出现在不同运动图像中的各人物的对象组还可以被表示为这些组之间通过人物而具有关系。在图10中，出现在运动图像M3中的人物大多数不与出现在运动图像M4中的人物共同出现。然而，由于存在在运动图像M3和M4中均出现的人物，所以通过在运动图像M3和M4中均出现的人物的对象，将出现在运动图像M3中的各人物的对象组和出现在运动图像M4中的各人物的对象组显示为彼此靠近。因此，通过使用根据本实施的显示对象的方法，可以以视觉方式表示人物之间的直接关系以及人物之间的间接关系。
TE = &Sigma; U E ( U ) . . . ( 10 )
(1-3-3：深度的表示)
在图10中，可以看到对象组被布置在二维平面中。使用上述方法，可以将对象组适当地布置在二维平面中。然而，上述方法可以扩展成将对象组布置在三维（3D）空间中的方法。例如，如图19中所示，可以通过在深度方向上移动对象而将二维布置扩展成三维布置。在深度方向上移动对象的方法的示例可以包括以随机方式移动对象的方法或根据对象的尺寸移动对象的方法。具体地，如图19中所示，优选地，在深度方向上少量移动具有大尺寸的对象，并向前少量移动具有小尺寸的对象。
另外，假定以三维坐标表示对象，则可以使用三维空间中的距离D、以及关系值R来定义能量函数E。在此情况下，可以通过基于关系值的对象组的布置表示来在3D空间中表示人物之间的关系。3D表示对于如下用户界面尤其有效：该用户界面使得对象能够在3D空间中自由移动或放大/缩小或者允许视点改变。
第一项E1是由距离D和关系值R定义的函数。因此，尽管二维布置被扩展成3D布置，但是第一项E1的函数类型并不需要改变。另外，如果无论对象在深度方向上如何远都没有关系（假定无限空间），则第二项E2的函数类型不需要改变。然而，如果对象在深度方向上变得太远，则不能识别对象。在此情况下，优选地，第二项E2的函数类型被改变为使得能量可以随着对象在深度方向上愈加远而增加。此外，3D空间可以限于例如立方体空间或四角锥空间（在人的视觉的范围内）。
因此，可以通过加入深度表示而将对象组布置在3D空间中。
（1-3-4：关系的表示）
接着，将描述表示关系的另一方法。
（连接线的显示）
如上所述，当应用上述方法时，将具有亲近关系的人物的对象定位为彼此靠近，而将具有疏远关系的人物的对象被定位为彼此远离。因此，可以根据对象之间的距离或对象组的位置关系来估计人物之间的关系。然而，可能期望清楚地识别对象之间是否存在关系。例如，如果太多对象密集地定位在显示区域内，则不能仅根据对象之间的距离来肯定地确定这些对象之间是否存在关系。
鉴于前述问题，如图20中所示，提出了一种显示用于表示对象之间是否存在关系的连接线的方法。例如，如果用户选择了对象，则所选择的对象与到另一人物的另一对象的连接线相连，其中该另一人物与对应于所选择的对象的人物相关。即，可以根据连接线明确地识别对象之间是否存在关系。尽管在图20中在用户选择对象时形成连接线，但是可以一直形成连接线。然而，在如图10中所示的在显示区域内存在大量对象的情况下，一直显示的连接线会导致复杂的显示。因此，优选地在用户选择对象时显示连接线。
（对象的运动）
到目前为止，将每个对象的显示位置视作固定的。应理解，每个对象的显示位置可以是固定的。然而，使对象振动可以产生屏幕内的运动；由此，可以实现更加“用户友好”（user-friendly）的界面。另外，人物之间的关系可以通过对象的振动来表示。例如，如图21中所示，对象通常被设置为随机振动；然而，如果选择了对象之一，则可以将与对应于所选择的对象的人物相关的人物的对象设置为同相地振动。在此情况下，尽管没有连接线，也可以立即识别出对象之间是否存在关系。
如果基于对象元数据获得像角色的这样的信息，则可以基于该信息控制对象的运动。例如，在人物A是男主人公且人物B是女主人公的情况下，如图22中所示，对象显示单元104使人物A的对象和人物B的对象同相地振动并使这两个对象接近彼此。另一方面，在人物A和人物B彼此对立的情况下，如图23中所示，对象显示单元104使人物A的对象和人物B的对象反相地振动并使这两个对象彼此远离。因此，可以利用这样的表示来容易地识别关系。
另外，可以通过拖动操作来改变对象的位置。例如，如图24中所示，可以选择人物A的对象并将其移动到期望位置。如果仅移开人物A的对象，则不能根据对象之间的距离识别人物之间的关系。因此，在移动了人物A的对象的情况下，对象显示单元104还移动与人物A相关的人物的对象。在此情况下，对象显示单元104在移动每个对象之后调节每个对象的位置，使得对象之间的距离可以基于关系值。
另外，人物A的对象的移动可以影响与人物A没有关系的人物B的对象。如上所述，可以确定每个对象的布置，使得可以将每个对象的能量的和TE最小化。因此，如果移动了人物A的对象及相关的对象，则可以相应地改变每个对象的能量的和TE。在此情况下，对象显示单元104例如移动人物B的对象和相关的对象，使得可以将每个对象的能量的和TE最小化。
然而，如果重新计算TE是太繁重的任务，则对象显示单元104可以如图24中所示那样，移动人物B的对象和相关的对象以避开人物A的对象和相关的对象。不相关的人物的对象彼此相距越远，能量的和TE越低。另一方面，可以在不重新计算能量的和TE的情况下调节每个对象的位置，使得不相关的对象组可以变得彼此相距大于预定距离。
上面已经描述了基于关系值显示对象的方法。
[1-4：显示场景图像的方法]
接着，将参照图25至图28描述显示场景图像的方法。
场景图像是运动图像的一个场景的图像或者是代表该运动图像的图像。例如，可以从运动图像中提取第一运动图像帧并将其用作场景图像。另外，运动图像的图片包可以用作场景图像。另外，可以提取具有最长出现时间的人物出现的运动图像帧并将其用作场景图像。此外，从运动图像中随机提取的运动图像帧可以用作场景图像，扮演主角的人物出现的运动图像帧可以用作场景图像，或者运动图像可以作为场景图像被回放。像这样，可以将各种图像用作场景图像。
如图25中所示，与对象一起显示对应于关注的运动图像的场景图像。以平铺的方式并排地布置场景图像。例如，如果选择了对象，则对应于该对象的人物所出现的运动图像的场景图像被突出显示。如果对应于所选择的对象的人物出现在多个运动图像或多个图像场景中，则可以如图25中所示那样突出显示多个场景图像。因此，利用这样的突出显示表示，可容易地识别对应于所选择的对象的人物出现在多少运动图像中。
另外，如果根据预定规则布置场景图像，则可根据突出显示的场景图像的分布，容易地识别例如对应于所选择的对象的人物出现在什么类型的运动图像或者出现运动图像的什么时段。将描述布置场景图像的方法。
（1-4-1：布置场景图像的方法（随机布置））
如图26中所示，可以随机布置场景图像。在此情况下，如果选择了对象，则对应于该对象的人物所出现的运动图像的场景图像被突出显示。另外，如果将场景图像设置为在预定定时处重新布置，则突出显示的场景图像的位置频繁改变，从而实现较不单调的用户界面。
另外，由于在随机位置处突出显示场景图像，所以会实现活跃的用户界面。不管随机布置如何，都可以容易地识别突出显示的场景图像的比例。因此，可立即识别对应于所选择的对象的那个人物的出现频率。
（1-4-2：布置场景图像的方法（按照时间序列布置））
如图27中所示，可以按照时间序列布置场景图像。在图27中，沿X轴按照时间序列布置运动图像的序列，而沿Y轴按照时间序列布置出现在每个运动图像中的场景图像的序列。在这样的步骤中，可以根据所突出显示的场景图像的分布而容易地识别例如对应于所选择的对象的那个人物出现在运动图像的序列的早期阶段还是运动图像的序列的后期阶段。另外，可以根据所突出显示的场景图像的分布而容易地识别人物频繁地出现在运动图像的序列的早期阶段、中期阶段还是后期阶段。
在图27中，突出显示了第五集的后期阶段中的场景图像以及第六集和第七集的整个阶段中的场景图像。因此，可以容易地识别出对应于所选择的对象的那个人物出现在第五集的后期阶段中直到第七集的末尾。另外，在结局篇（summarized piece）的情况下，由于突出显示了结局篇的后期阶段中的场景图像，所以可以容易地识别出对应于所选择的对象的那个人物出现在运动图像的这个序列的后期阶段中。因此，通过按照时间序列布置场景图像，可容易地识别人物的出现时段或人物出现的场景的趋势。尽管上面示出了运动图像的序列，但是可以类似地按照时间序列来布置具有时间因素的运动图像组的场景图像。
（1-4-3：布置场景图像的方法（基于情绪的布置））
如图28中所示，将描述按照情绪布置场景图像的方法。例如，如图28中所示，可以按照动作、有趣的、快乐的、可爱的、恐惧的或不悦的情绪来以列布置场景图像。另外，可以按照时间序列或按照情绪的程度来以行布置场景图像。例如，在动作列的情况下，具有相对多的动作场景的运动图像的场景图像可以显示在动作列的前面，而具有相对少的动作场景的运动图像的场景图像可以显示在动作列的后面。
利用这样的布置，通过使用所突出显示的场景图像的分布，可容易地识别例如对应于所选择的对象的人物所出现的运动图像的情绪类型。另外，可以从人物A出现的运动图像当中选择具有大量动作场景的运动图像。另外，通过选择所突出显示的场景图像的操作，可以回放对应于所选择的场景图像的运动图像。利用这样的机制，用户可以立即回放期望的运动图像。此外，可以从运动图像当中选择性地回放预定情绪类型的图像场景。
上面已经描述了布置场景图像的方法。
[1-5：场景图像显示和对象显示的改变]
接着，将参照图29至图32描述显示场景图像组的方法和改变对象显示的方法。如图25中所示，与对象一起显示以平铺方式布置的场景图像组。场景图像可以在选择对象时被突出显示。另外，通过选择场景图像，可以回放对应于该场景图像的运动图像。上面已经描述了这样的配置。接着，将描述对于改变场景图像组的操作的构思。另外，改变场景图像组的操作可以跟随有改变对象显示的操作，也将对该操作进行描述。
（1-5-1：年代改变）
例如，如图29中所示，可以根据年代将每个场景图像组分类。在此情况下，可以通过改变场景图像组来改变关注的运动图像的年代。与对象组一起显示的场景图像组属于一个年代。与场景图像组一起显示的对象组对应于出现在与该场景图像组对应的运动图像中的那些人物。因此，如果改变场景图像组，则相应地改变与场景图像组一起显示的对象组。
例如，当显示1990年代的运动图像的场景图像组时，与场景图像组一起显示的对象组表示在1990年代扮演活跃角色的男演员或女演员。如果将场景图像组改变为2000年代的运动图像的场景图像组，则与场景图像组一起显示的对象组表示在2000年代扮演活跃角色的男演员或女演员。如此，利用被配置成使根据年代分类的每个场景图像组改变的用户界面，可容易地识别每个年代期间扮演活跃角色的男演员或女演员。
场景图像组可以被进一步划分成子分类。例如，场景图像组可以被划分成1990年代的电视剧、2000年代的电视剧、2010年代的电视剧、1990年代的电影、2000年代的电影、以及2010年代的电影。在此情况下，例如，通过改变场景图像组，可以识别在电视剧中扮演活跃角色的男演员或女演员的改变。另外，通过改变场景图像组，可以容易地将在电视中扮演活跃角色的男演员或女演员与同一年代期间在电影中扮演活跃角色的男演员或女演员区分开。
像这样，通过根据年代将场景图像组分类，可以根据由场景图像组的改变导致的对象组的改变，而容易地识别人物的出现趋势的改变。
（1-5-2：区域的改变）
图29是示出了一种改变对象显示、以对应于根据年代分类的场景图像组的改变的方法的图。接着，将参照图30描述根据区域来改变场景图像组和对象组的方法。如图30中所示，呈现了用户界面，该用户界面被配置为供用户在屏幕上显示的地图上选择区域。如果用户使用该用户界面选择欧洲，则对象显示单元104显示欧洲男演员/女演员出现的运动图像的场景图像组和对应于这些男演员/女演员的对象组。如果用户使用该用户界面选择美国，则对象显示单元104显示美国男演员/女演员出现的运动图像的场景图像组和对应于这些男演员/女演员的对象组。
对象显示单元104可以在地图上显示场景图像组。例如，对象显示单元104可以在地图上对应于欧洲的区域上显示欧洲男演员/女演员出现的运动图像的场景图像组。类似地，对象显示单元104可以在地图上对应于日本的区域上显示日本男演员/女演员出现的运动图像的场景图像组，或可以在地图上对应于美国的区域上显示美国男演员/女演员出现的运动图像的场景图像组。另外，可以针对每个区域执行年代的改变。例如，欧洲男演员/女演员出现的1990年代的场景图像组可以改变为欧洲男演员/女演员出现的2000年代的场景图像组。
像这样，通过根据地理区域将场景图像组分类，可以容易地识别每个区域中扮演活跃角色的男演员/女演员。另外，可以容易地识别全世界的扮演活跃角色的男演员/女演员。
（1-5-3：改变时对象的显示）
如图31中所示，当改变场景图像组时，对象可以被显示为从场景图像组中出去。例如，人物A的对象可以被显示为从表示人物A所出现的运动图像的图像场景的场景图像中出去。如果人物A出现在多个运动图像中，则人物A可以被显示为从与人物A出现了最长出现时间的运动图像相对应的场景图像中出去。利用这样的显示，可以容易地识别场景图像与人物之间的对应关系。
上面已经描述了显示场景图像组的方法和改变对象显示的方法。
[1-6：其它显示方法]
到目前为止，已经在考虑图10的显示配置的情况下描述了显示场景图像和对象的组的方法。接着，将描述显示场景图像组的方法、显示相关信息的方法和显示运动图像回放屏的方法的修改示例。
（1-6-1：3D显示）
在图10中，在对象下方显示场景图像组。然而，如图32中所示，可以在对象的上方、下方、左侧和右侧显示场景图像组。利用这样的显示，可以显示更多个场景图像。如果显示了更多个场景图像，则可以例如从单个运动图像中提取具有相对长的回放时间的多个图像场景，并显示每个图像场景的场景图像。另外，可以显示根据类型分类的场景图像组，使得可以容易地识别场景图像组。
例如，虽然场景图像组可以随机地布置在一个平面上，但是场景图像组可以按照时间序列或根据情绪布置在另一个平面上。另外，可以在每个平面上显示属于不同年代的每个场景图像组，或可以在每个平面上显示属于不同区域的每个场景图像组。同样在此情况下，如果选择了对象，则对应于所选择的对象的人物所出现的场景的场景图像被突出显示。因此，基于所突出显示的场景图像的分布，可以以视觉方式识别各种信息，诸如人物活跃的年代、区域或角色。
（1-6-2：相关信息的显示）
虽然主要描述了显示对象和场景图像的方法，但是可以如图33中所示那样使用对象元数据来显示与人物相关的信息。例如，如果用户选择了对象，则可以使用对象元数据显示与对应于所选择的对象的那个人物相对应的相关信息。
另外，如图33中所示，使用片段元数据以及对象元数据，可以提取对应于所选择的对象的那个人物的出现场景并且可以并排地显示这些出现场景的图像。如果选择了并排显示的图像之一，则可以回放对应于所选择的图像的图像场景。另外，使用片段元数据，可以检测对应于由用户同时选择的多个对象的那些人物共同出现的图像场景。此外，可以并排地显示检测到的共同出现场景的图像，或突出显示对应于共同出现场景的场景图像。关于共同出现作品的信息可以被显示为相关信息。
（1-6-3：运动图像回放屏的显示）
上面已经描述了响应于对于对象、场景图像或图像场景的图像的选择而回放整个运动图像或一部分图像场景的机制。接着，将参照图34描述运动图像回放屏的配置的示例。例如，如图34中所示，可以考虑在回放窗口中显示运动图像的回放屏的方法。另外，可以显示出现在回放屏中的人物的面部或该人物的缩略图的图像。此外，如果选择了缩略图图像，则可以显示对应于该缩略图图像的人物所出现的片段。
另外，响应于对面部或缩略图图像的选择，可以选择性地仅回放对应于所选择的面部或缩略图图像的人物所出现的片段的图像场景。如上所述，片段元数据包括关于每个人物所出现的运动图像的片段的信息。因此，使用片段元数据可以选择性地仅回放特定人物出现的片段。另外，可以使用片段元数据检测特定的人物组共同出现的共同出现场景。因此，如果选择了多个人物，则可以使用片段元数据选择性地仅回放这些人物共同出现的共同出现场景。
上面已经描述了用于显示方法的构思。
如上所述，通过使用与本实施例相关的技术，可以实现如下用户界面：该用户界面被配置为供用户容易地识别人物之间的关系。另外，可以实现如下用户界面：该用户界面被配置供用户容易地识别人物与图像场景之间的关系或人物的活跃度。
上面没有描述运动图像的类型或输入装置的类型。然而，例如，可以包括以下运动图像或输入装置。运动图像的类型的示例可以包括记录的图像内容、从记录介质提供的图像内容、电视播映的图像内容、或通过网络传输的图像内容流。输入装置的类型的示例可以包括鼠标、键盘、遥控装置、触摸板、以及触摸面板。
上面没有描述选择关注的运动图像组的方法。然而，例如，可以通过以下方法选择关注的运动图像组。例如，可以考虑选择与具有由用户输入的用户最喜爱的人物名字的那个人物相关的运动图像组的方法。与人物相关的运动图像组的示例可以是如下运动图像组：该运动图像组包括该人物出现的运动图像、以及共同出现在这些运动图像中的另一人物所出现的其它运动图像。另外，如果记录了用户的浏览历史，则可以使用浏览历史确定用户最喜爱的人物，并且可以选择与该人物相关的运动图像组。
另外，可以仅显示对应于用户最喜爱的那个人物的对象以及与该人物相关的另一人物的对象，或可以在屏幕中心显示这些对象。在此情况下，最喜爱的人物可以基于用户的输入，或可以使用用户的浏览历史来确定。另外，最初显示的第一个对象可以成为对应于用户最喜爱的人物的对象。此外，当根据区域显示场景图像组时，可以在屏幕中心显示与用户所在的区域最接近的另一区域的场景图像组，或可以特写地显示该区域上的地图。这样的示例的任何修改示例会处于本实施例的技术范围内。
<2：硬件结构>
可以使用例如图35中所示的硬件结构来实现信息处理设备100的每个元件的功能。即，通过使用计算机程序控制图35中所示的硬件来实现每个元件的功能。该硬件仅是说明性的。该硬件的示例可以包括便携式信息终端（诸如个人计算机、移动电话、PHS、或PDA）、游戏机、或各种信息设备。PHS是个人手持电话系统的缩写，而PDA是个人数字助理的缩写。
如图35中所示，该硬件主要包括CPU 902、ROM 904、RAM 906、主机总线908、以及桥910。该硬件还包括外部总线912、接口914、输入部916、输出部918、存储部920、驱动器922、连接端口924、以及通信端口926。CPU是中央处理单元的缩写。ROM是只读存储器的缩写。RAM是随机存取存储器的缩写。
CPU 902用作例如操作处理装置或控制装置。CPU 902基于记录在ROM 904、RAM 906、存储部920或可拆卸记录介质928上的各种程序而总体地或部分地控制每个元件。ROM 924被配置成存储由CPU 902读取的程序或操作中使用的数据。RAM 906被配置成暂时地或永久地存储例如由CPU 902读取的程序或当执行这些程序时相应地改变的各个参数。
元件通过例如主机总线908互连，通过主机总线908执行高速率数据传输。主机总线908通过桥910连接到例如外部总线912，通过外部总线912执行相对低速率的数据传输。输入部916的示例可以包括鼠标、键盘、触摸面板、按钮、开关和操纵杆。另外，输入部916的另一示例是被配置成通过红外线或其它无线电波传输控制信号的遥控装置。
输出部918的示例可以包括显示装置（诸如CRT、LCD、PDP或ELD）、音频装置（诸如扬声器或耳机）、或用以向用户以视觉方式或听觉方式提供所获取的信息的装置（诸如打印机、移动电话或传真机）。CRT是阴极射线管的缩写。LCD是液晶显示器的缩写。PDP是等离子体显示面板的缩写。ELD是电致发光显示器的缩写。
存储部920被配置成存储各种数据。存储部920的示例可以包括磁存储装置（诸如硬盘驱动器）、半导体存储装置、光存储装置、或磁光存储装置。HDD是硬盘驱动器的缩写。
驱动器922被配置成从可拆卸记录介质928（诸如磁盘、光盘、磁光盘、或半导体存储器）读取信息，并将信息写入可拆卸记录介质928。可拆卸记录介质928的示例可以包括DVD介质、蓝光介质、HD DVD介质、以及各种半导体存储介质。可拆卸记录介质928例如可以是配备有非接触IC芯片的IC卡、或电子装置。IC是集成电路的缩写。
连接端口924是被配置成连接到外部连接装置930的端口，诸如USB端口、IEEE1394端口、SCSI端口、RS232C端口、或光学音频终端。外部连接装置930的示例可以包括打印机、便携式音乐播放器、数码相机、数码视频摄像机、或IC记录器。USB是通用串行总线的缩写，而SCSI是小型计算机系统接口的缩写。
通信部926是被配置成连接到网络932的通信装置。通信部926的示例可以包括有线或无线LAN、蓝牙（注册商标）、用于WUSB的通信卡、用于光通信的路由器、用于ADSL的路由器、或用于各种通信的调制解调器。连接到通信部926的网络932是有线或无线网络。网络932的示例可以包括因特网、家庭LAN、红外通信、可见光通信、广播、或卫星通信。LAN是局域网的缩写。WUSB是无线USB的缩写。ADSL是非对称数字用户线路的缩写。
<3：综述>
最后，将简要综述本实施例的技术构思。以下技术构思可以应用于各种信息处理设备，诸如PC、移动电话、便携式游戏机、便携式信息终端、信息设备、电视机、记录回放装置、机顶盒、或汽车导航系统。具体地，以下技术构思可以应用于上述信息处理设备中所包括的显示设备的功能。
以下条目（1）中描述的显示设备可以使用片段元数据提取出现在运动图像中的人物的共同出现关系。例如，可以使用人物A的片段元数据和人物B的片段元数据来提取关于共同出现、共同出现作品的数目和共同出现场景的长度的信息、以及关于共同出现关系的其它信息。因此，可以根据上述信息计算表示人物A和人物B之间的关系的亲近度的关系得分。另外，通过在显示对应于每个人物的每个对象时根据计算的关系得分来控制对应于各个人物的各个对象的布置，可以容易地向用户呈现人物之间的关系。换言之，用户可以以视觉方式识别基于运动图像中的共同出现关系的、人物之间的关系的亲近度。
(1).一种显示设备，包括：
关系得分计算单元，用于使用片段元数据，基于共同出现关系来计算表示人物之间的关系的亲近度的关系得分，其中所述片段元数据表示运动图像中的、有所述人物中的各个人物出现的片段；以及
对象显示单元，用于显示与出现在所述运动图像中的所述人物中的每一个相对应的对象，
其中，所述对象显示单元将对应于具有高关系得分的一对人物的一对对象显示为彼此接近地定位，并将对应于具有低关系得分的一对人物的一对对象显示为彼此远离地定位。
(2).根据条目(1)所述的显示设备，还包括：
出现时间计算单元，用于使用所述片段元数据来计算出现在所述运动图像中的所述人物中的每一个的、表示出现时间的和的总出现时间，
其中，所述对象显示单元将与具有长的总出现时间的人物相对应的对象显示为具有大尺寸，并且将与具有短的总出现时间的人物相对应的对象显示为具有小尺寸。
(3).根据条目(1)或(2)所述的显示设备，其中，所述关系得分计算单元针对每对人物，使用所述片段元数据来计算共同出现作品的数目，并输出所述共同出现作品的数目作为所述关系得分。
(4).根据条目(1)或(2)所述的显示设备，
其中，所述关系得分计算单元针对每对人物，使用所述片段元数据来输出第一值、第二值和第三值的和作为所述关系得分，所述第一值是两个人物都扮演主角的共同出现作品的数目乘以第一权重，所述第二值是一个人物扮演主角而另一个人物扮演配角的共同出现作品的数目乘以第二权重，并且所述第三值是两个人物都扮演配角的共同出现作品的数目乘以第三权重，并且
其中，所述第一权重大于所述第二权重，并且所述第二权重大于所述第三权重。
(5).根据条目(2)所述的显示设备，其中，所述关系得分计算单元针对出现在每个共同出现作品中的每对人物，使用所述片段元数据来计算一个人物的出现时间和另一个人物的出现时间的乘积，针对每一个共同出现作品获得所计算的乘积的和，并输出所计算的乘积的和作为所述关系得分。
(6).根据条目(1)或(2)所述的显示设备，其中，所述关系得分计算单元针对每对人物，使用所述片段元数据来计算出现在同一运动图像帧中的两个人物的出现时间的和，并输出所述出现时间的和作为所述关系得分。
(7).根据条目(1)或(2)所述的显示设备，其中，所述关系得分计算单元针对每对人物，使用所述片段元数据来输出第一值、第二值和第三值的和作为所述关系得分，所述第一值是在运动图像帧中均扮演主角的两个人物的出现时间的和乘以第一权重，所述第二值是扮演主角的一个人物的出现时间和扮演配角的另一个人物的出现时间的和乘以第二权重，并且所述第三值是都扮演配角的两个人物的出现时间的和乘以第三权重。
(8).根据条目(2)所述的显示设备，其中，所述关系得分计算单元针对出现在每个共同出现作品中的每对人物，使用所述片段元数据来计算一个人物的出现时间乘以另一个人物的出现时间与出现在同一运动图像帧中的两个人物的出现时间的和的乘积，针对每一个共同出现作品获得所计算的乘积的和，并输出所计算的乘积的和作为所述关系得分。
(9).根据条目(1)至(8)中的任意一项所述的显示设备，
其中，所述对象显示单元显示每个对象，使得势函数可以具有最小值，所述势函数包括显示区域内的对象的位置的第一函数、以及对象之间的位置关系的第二函数，
其中，所述第一函数随着对象的位置变得接近所述显示区域的边缘而具有大的值，
其中，所述第二函数的值随着对应于一对相关人物的两个对象变得接近于与该对相关人物的关系得分相对应的距离而减小，并且随着对应于一对不相关人物的两个对象变得彼此接近而增加，并且
其中，对应于所述关系得分的所述距离随着所述关系得分增加而减小。
(10).根据条目(1)所述的显示设备，还包括：
场景显示单元，用于以平铺的方式显示表示运动图像的场景的图像，
其中，当用户选择对象时，所述场景显示单元将表示对应于所选择的对象的人物所出现的运动图像的场景的图像突出显示。
(11).根据条目(10)所述的显示设备，其中，所述场景显示单元从运动图像中随机地选择场景，并在随机的位置显示表示所选择的场景的图像。
(12).根据条目(10)所述的显示设备，
其中，所述场景显示单元将从运动图像中提取的图像显示为按列布置，并且
其中，在列方向上按照在所述运动图像中的每一个中的较早出现时间的顺序布置所述图像，而在行方向上按照较旧的顺序布置被各自提取图像的所述运动图像。
(13).根据条目(10)所述的显示设备，其中，所述场景显示单元显示表示所述运动图像的场景的图像，使得具有相同情绪的场景的图像可以被布置在同一列中。
(14).根据条目(10)所述的显示设备，其中，当用户选择图像时，所述对象显示单元仅显示对应于如下人物的对象：该人物出现在与该图像对应的运动图像中。
(15).根据条目(1)所述的显示设备，其中，所述对象显示单元显示将对应于一对相关人物的两个对象互连的线。
(16).根据条目(1)所述的显示设备，还包括：
运动图像回放单元，用于在用户选择对象时使用所述片段元数据提取对应于所选择的对象的人物所出现的片段，并回放所提取的片段中的运动图像帧。
(17).根据条目(1)所述的显示设备，其中，当用户选择对象时，所述对象显示单元同相地移动与如下人物对应的每个对象：所述人物与对应于所选择的对象的人物相关。
(18).一种显示对象的方法，所述方法包括：
使用片段元数据，基于共同出现关系来计算表示人物之间的关系的亲近度的关系得分，其中所述片段元数据表示运动图像中的、有所述人物中的各个人物出现的片段；以及
显示与出现在所述运动图像中的所述人物中的每一个相对应的对象，
其中，将对应于具有高关系得分的一对人物的一对对象显示为彼此接近地定位，并将对应于具有低关系得分的一对人物的一对对象显示为彼此远离地定位。
(19).一种用于使计算机实现以下功能的程序：
用于使用片段元数据基于共同出现关系来计算表示人物之间的关系的亲近度的关系得分的功能，其中所述片段元数据表示运动图像中的、有所述人物中的各个人物出现的片段；以及
用于显示与出现在所述运动图像中的所述人物中的每一个相对应的对象的功能，
其中，用于显示对象的功能包括：将对应于具有高关系得分的一对人物的一对对象显示为彼此接近地定位，以及将对应于具有低关系得分的一对人物的一对对象显示为彼此远离地定位。
（备注）
信息处理设备100是显示设备的示例。关系计算单元103是关系得分计算单元的示例。出现时间计算单元102是出现时间计算单元的示例。场景图像显示单元107是场景显示单元的示例。回放控制单元109是运动图像回放单元的示例。
本领域技术人员应理解，可以根据设计要求和其它因素想到各种修改、组合、子组合和改变，只要它们在所附权利要求或其等同的范围之内即可。
例如，本公开的优选实施例主要描述了显示人物之间的关系的方法和显示对应于人物的对象的方法。然而，实施例不限于人物。例如，可以类似地评估出现在运动图像中的物品与人物之间的关系；由此，可以显示对应于该物品的对象。例如，可以使用上述技术识别人物A喜欢穿的套装S，或可以以视觉方式显示人物A喜欢多久穿一次套装S。
这里，以视觉方式呈现的是可以根据对运动图像的分析而获得的人物A和套装S之间的关系。因此，例如，当要分析电视图像时，可以像上面描述的那样，将人物A喜欢穿的套装S提取为物品。例如，对人物A非常感兴趣的用户可以使用上述技术容易地识别人物A喜欢穿戴的物品。
类似地，可以提取物品之间的关系或以视觉方式呈现该关系。例如，可以以视觉方式呈现与人物A常穿的套装S高度相关的裙子D（例如，如果裙子D和套装S常常出现在同一场景中）。即，使用上述技术，可以容易地识别出现在电影的场景中的套装和裙子的明显组合。除了服装之外，可以容易地识别与汽车相配的衣服或眼镜，或与具有颜色的汽车协调的诸如海洋或森林的地点。
应理解，上述应用示例也在本公开的实施例的范围之内。
本公开包含与2011年6月7日向日本专利局提交的日本优先权专利申请JP 2011-127390中公开的主题相关的主题，该申请全部内容通过引用合并于此。

Claims (19)

1.一种显示设备，包括：
关系得分计算单元，用于使用片段元数据，基于共同出现关系来计算表示人物之间的关系的亲近度的关系得分，其中所述片段元数据表示运动图像中的、有所述人物中的各个人物出现的片段；以及
对象显示单元，用于显示与出现在所述运动图像中的所述人物中的每一个相对应的对象，
其中，所述对象显示单元将对应于具有高关系得分的一对人物的一对对象显示为彼此接近地定位，并将对应于具有低关系得分的一对人物的一对对象显示为彼此远离地定位。
2.根据权利要求1所述的显示设备，还包括：
出现时间计算单元，用于使用所述片段元数据来计算出现在所述运动图像中的所述人物中的每一个的、表示出现时间的和的总出现时间，
其中，所述对象显示单元将与具有长的总出现时间的人物相对应的对象显示为具有大尺寸，并且将与具有短的总出现时间的人物相对应的对象显示为具有小尺寸。
3.根据权利要求1所述的显示设备，其中，所述关系得分计算单元针对每对人物，使用所述片段元数据来计算共同出现作品的数目，并输出所述共同出现作品的数目作为所述关系得分。
4.根据权利要求1所述的显示设备，
其中，所述关系得分计算单元针对每对人物，使用所述片段元数据来输出第一值、第二值和第三值的和作为所述关系得分，所述第一值是两个人物都扮演主角的共同出现作品的数目乘以第一权重，所述第二值是一个人物扮演主角而另一个人物扮演配角的共同出现作品的数目乘以第二权重，并且所述第三值是两个人物都扮演配角的共同出现作品的数目乘以第三权重，并且
其中，所述第一权重大于所述第二权重，并且所述第二权重大于所述第三权重。
5.根据权利要求2所述的显示设备，其中，所述关系得分计算单元针对出现在每个共同出现作品中的每对人物，使用所述片段元数据来计算一个人物的出现时间和另一个人物的出现时间的乘积，针对每一个共同出现作品获得所计算的乘积的和，并输出所计算的乘积的和作为所述关系得分。
6.根据权利要求1所述的显示设备，其中，所述关系得分计算单元针对每对人物，使用所述片段元数据来计算出现在同一运动图像帧中的两个人物的出现时间的和，并输出所述出现时间的和作为所述关系得分。
7.根据权利要求1所述的显示设备，其中，所述关系得分计算单元针对每对人物，使用所述片段元数据来输出第一值、第二值和第三值的和作为所述关系得分，所述第一值是在运动图像帧中均扮演主角的两个人物的出现时间的和乘以第一权重，所述第二值是扮演主角的一个人物的出现时间和扮演配角的另一个人物的出现时间的和乘以第二权重，并且所述第三值是都扮演配角的两个人物的出现时间的和乘以第三权重。
8.根据权利要求2所述的显示设备，其中，所述关系得分计算单元针对出现在每个共同出现作品中的每对人物，使用所述片段元数据来计算一个人物的出现时间乘以另一个人物的出现时间与出现在同一运动图像帧中的两个人物的出现时间的和的乘积，针对每一个共同出现作品获得所计算的乘积的和，并输出所计算的乘积的和作为所述关系得分。
9.根据权利要求1所述的显示设备，
其中，所述对象显示单元显示每个对象，使得势函数可以具有最小值，所述势函数包括显示区域内的对象的位置的第一函数、以及对象之间的位置关系的第二函数，
其中，所述第一函数随着对象的位置变得接近所述显示区域的边缘而具有大的值，
其中，所述第二函数的值随着对应于一对相关人物的两个对象变得接近于与该对相关人物的关系得分相对应的距离而减小，并且随着对应于一对不相关人物的两个对象变得彼此接近而增加，并且
其中，对应于所述关系得分的所述距离随着所述关系得分增加而减小。
10.根据权利要求1所述的显示设备，还包括：
场景显示单元，用于以平铺的方式显示表示运动图像的场景的图像，
其中，当用户选择对象时，所述场景显示单元将表示对应于所选择的对象的人物所出现的运动图像的场景的图像突出显示。
11.根据权利要求10所述的显示设备，其中，所述场景显示单元从运动图像中随机地选择场景，并在随机的位置显示表示所选择的场景的图像。
12.根据权利要求10所述的显示设备，
其中，所述场景显示单元将从运动图像中提取的图像显示为按列布置，并且
其中，在列方向上按照在所述运动图像中的每一个中的较早出现时间的顺序布置所述图像，而在行方向上按照较旧的顺序布置被各自提取图像的所述运动图像。
13.根据权利要求10所述的显示设备，其中，所述场景显示单元显示表示所述运动图像的场景的图像，使得具有相同情绪的场景的图像可以被布置在同一列中。
14.根据权利要求10所述的显示设备，其中，当用户选择图像时，所述对象显示单元仅显示对应于如下人物的对象：该人物出现在与该图像对应的运动图像中。
15.根据权利要求1所述的显示设备，其中，所述对象显示单元显示将对应于一对相关人物的两个对象互连的线。
16.根据权利要求1所述的显示设备，还包括：
运动图像回放单元，用于在用户选择对象时使用所述片段元数据提取对应于所选择的对象的人物所出现的片段，并回放所提取的片段中的运动图像帧。
17.根据权利要求1所述的显示设备，其中，当用户选择对象时，所述对象显示单元同相地移动与如下人物对应的每个对象：所述人物与对应于所选择的对象的人物相关。
18.一种显示对象的方法，所述方法包括：
使用片段元数据，基于共同出现关系来计算表示人物之间的关系的亲近度的关系得分，其中所述片段元数据表示运动图像中的、有所述人物中的各个人物出现的片段；以及
显示与出现在所述运动图像中的所述人物中的每一个相对应的对象，
其中，将对应于具有高关系得分的一对人物的一对对象显示为彼此接近地定位，并将对应于具有低关系得分的一对人物的一对对象显示为彼此远离地定位。
19.一种用于使计算机实现以下功能的程序：
用于使用片段元数据基于共同出现关系来计算表示人物之间的关系的亲近度的关系得分的功能，其中所述片段元数据表示运动图像中的、有所述人物中的各个人物出现的片段；以及
用于显示与出现在所述运动图像中的所述人物中的每一个相对应的对象的功能，
其中，用于显示对象的功能包括：将对应于具有高关系得分的一对人物的一对对象显示为彼此接近地定位，以及将对应于具有低关系得分的一对人物的一对对象显示为彼此远离地定位。
CN2012101770669A 2011-06-07 2012-05-31 显示设备、对象显示方法和程序 Pending CN102821261A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-127390 2011-06-07
JP2011127390A JP2012256105A (ja) 2011-06-07 2011-06-07 表示装置、オブジェクト表示方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN102821261A true CN102821261A (zh) 2012-12-12

Family

ID=47292813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012101770669A Pending CN102821261A (zh) 2011-06-07 2012-05-31 显示设备、对象显示方法和程序

Country Status (3)

Country Link
US (2) US8928697B2 (zh)
JP (1) JP2012256105A (zh)
CN (1) CN102821261A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943935A (zh) * 2017-11-23 2018-04-20 北京天广汇通科技有限公司 数据的处理方法、装置和计算机可读存储介质

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014060577A (ja) * 2012-09-18 2014-04-03 Sony Corp 通信端末、プログラムおよび情報処理装置
JP2014238712A (ja) * 2013-06-07 2014-12-18 三菱電機株式会社 コンテンツ分析装置、コンテンツ分析方法及びコンテンツ分析プログラム
US9477879B2 (en) * 2013-06-28 2016-10-25 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium for obtaining a relationship between pieces of contents from use history information about the contents
JP6207260B2 (ja) * 2013-06-28 2017-10-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10291597B2 (en) 2014-08-14 2019-05-14 Cisco Technology, Inc. Sharing resources across multiple devices in online meetings
US10034038B2 (en) * 2014-09-10 2018-07-24 Cisco Technology, Inc. Video channel selection
US10542126B2 (en) 2014-12-22 2020-01-21 Cisco Technology, Inc. Offline virtual participation in an online conference meeting
US9948786B2 (en) 2015-04-17 2018-04-17 Cisco Technology, Inc. Handling conferences using highly-distributed agents
US10592867B2 (en) 2016-11-11 2020-03-17 Cisco Technology, Inc. In-meeting graphical user interface display using calendar information and system
US10516707B2 (en) 2016-12-15 2019-12-24 Cisco Technology, Inc. Initiating a conferencing meeting using a conference room device
US10783679B2 (en) * 2017-01-30 2020-09-22 Disney Enterprises Inc. Circular visual representation of media content
US10440073B2 (en) 2017-04-11 2019-10-08 Cisco Technology, Inc. User interface for proximity based teleconference transfer
US10375125B2 (en) 2017-04-27 2019-08-06 Cisco Technology, Inc. Automatically joining devices to a video conference
US10375474B2 (en) 2017-06-12 2019-08-06 Cisco Technology, Inc. Hybrid horn microphone
US10477148B2 (en) 2017-06-23 2019-11-12 Cisco Technology, Inc. Speaker anticipation
US10516709B2 (en) 2017-06-29 2019-12-24 Cisco Technology, Inc. Files automatically shared at conference initiation
US10706391B2 (en) 2017-07-13 2020-07-07 Cisco Technology, Inc. Protecting scheduled meeting in physical room
US10091348B1 (en) 2017-07-25 2018-10-02 Cisco Technology, Inc. Predictive model for voice/video over IP calls
NO343032B1 (en) * 2017-12-22 2018-10-08 Pexip AS Visual control of a video conference

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080196064A1 (en) * 2007-02-14 2008-08-14 Kabushiki Kaisha Toshiba Apparatus and method of providing a recommended broadcast program
CN101617530A (zh) * 2007-12-21 2009-12-30 索尼株式会社 图像处理设备、动态画面再现设备及其处理方法和程序
CN101751574A (zh) * 2008-12-09 2010-06-23 索尼株式会社 图像处理设备、成像装置、成像处理方法和程序

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0946305A (ja) * 1995-07-31 1997-02-14 Sony Corp Ｉｓｄｂ用送信装置およびその受信装置
JPH10207907A (ja) * 1997-01-27 1998-08-07 Mitsubishi Electric Corp ３次元空間を用いたオブジェクト配置・表示・操作方法および装置
JP4227241B2 (ja) * 1999-04-13 2009-02-18 キヤノン株式会社 画像処理装置及び方法
US7986372B2 (en) * 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
TW200806027A (en) * 2005-11-11 2008-01-16 Sony Corp Imaging/reproducing device
JP2007206919A (ja) * 2006-02-01 2007-08-16 Sony Corp 表示制御装置および方法、プログラム、並びに記録媒体
US8949895B2 (en) * 2006-08-18 2015-02-03 The Directv Group, Inc. Mosaic channel video stream with personalized interactive services
JP4945236B2 (ja) * 2006-12-27 2012-06-06 株式会社東芝 映像コンテンツ表示装置、映像コンテンツ表示方法及びそのプログラム
JP2008276340A (ja) * 2007-04-26 2008-11-13 Hitachi Ltd 検索装置
CN101334780A (zh) * 2007-06-25 2008-12-31 英特维数位科技股份有限公司 人物影像的搜寻方法、系统及存储影像元数据的记录媒体
JP4424389B2 (ja) * 2007-08-24 2010-03-03 ソニー株式会社 動画作成装置、動画作成方法、およびプログラム
JP2009089065A (ja) * 2007-09-28 2009-04-23 Toshiba Corp 電子機器および顔画像表示装置
JP4683031B2 (ja) * 2007-10-17 2011-05-11 ソニー株式会社 電子機器、コンテンツ分類方法及びそのプログラム
JP4462334B2 (ja) * 2007-11-16 2010-05-12 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報共有システム
JP5223318B2 (ja) * 2007-12-07 2013-06-26 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2009201041A (ja) * 2008-02-25 2009-09-03 Oki Electric Ind Co Ltd コンテンツ検索装置およびその表示方法
JP5266981B2 (ja) * 2008-09-02 2013-08-21 ソニー株式会社 電子機器、情報処理方法及びプログラム
JP5369776B2 (ja) * 2009-03-11 2013-12-18 カシオ計算機株式会社 撮像装置、撮像方法、及び撮像プログラム
JP2010277661A (ja) 2009-05-29 2010-12-09 Toshiba Corp 番組再生装置及び番組再生方法
US20120006630A1 (en) * 2009-06-12 2012-01-12 Min Allan Wang Elevator governor device
JP2011023828A (ja) * 2009-07-13 2011-02-03 Toshiba Corp 電子機器および映像データ処理方法
JP5227911B2 (ja) * 2009-07-22 2013-07-03 株式会社日立国際電気 監視映像検索装置及び監視システム
JP5552767B2 (ja) * 2009-07-27 2014-07-16 ソニー株式会社 表示処理装置、表示処理方法および表示処理プログラム
JP2011035837A (ja) * 2009-08-05 2011-02-17 Toshiba Corp 電子機器および画像データの表示方法
JP5524653B2 (ja) * 2010-02-26 2014-06-18 キヤノン株式会社 表示制御装置及びその制御方法
EP2549390A4 (en) * 2010-03-18 2013-10-02 Panasonic Corp DATA PROCESSING DEVICE AND DATA PROCESSING METHOD

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080196064A1 (en) * 2007-02-14 2008-08-14 Kabushiki Kaisha Toshiba Apparatus and method of providing a recommended broadcast program
CN101617530A (zh) * 2007-12-21 2009-12-30 索尼株式会社 图像处理设备、动态画面再现设备及其处理方法和程序
CN101751574A (zh) * 2008-12-09 2010-06-23 索尼株式会社 图像处理设备、成像装置、成像处理方法和程序

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943935A (zh) * 2017-11-23 2018-04-20 北京天广汇通科技有限公司 数据的处理方法、装置和计算机可读存储介质
CN107943935B (zh) * 2017-11-23 2021-02-02 北京天广汇通科技有限公司 数据的处理方法、装置和计算机可读存储介质

Also Published As

Publication number Publication date
US20120313971A1 (en) 2012-12-13
JP2012256105A (ja) 2012-12-27
US8928697B2 (en) 2015-01-06
US20150117838A1 (en) 2015-04-30

Similar Documents

Publication Publication Date Title
CN102821261A (zh) 显示设备、对象显示方法和程序
CN109618222B (zh) 一种拼接视频生成方法、装置、终端设备及存储介质
CN101443849B (zh) 视频浏览用户界面
US20190030441A1 (en) Using a Portable Device to Interface with a Scene Rendered on a Main Display
US8503770B2 (en) Information processing apparatus and method, and program
CN103460234B (zh) 用于在便携式计算装置的视频游戏内产生动态广告的方法和系统
CN103608748B (zh) 视觉搜索以及推荐用户界面和装置
CN108337532A (zh) 演出片段的标注方法、视频播放方法、装置及系统
US20120057775A1 (en) Information processing device, information processing method, and program
Strinati et al. Come on down?: popular media culture in post-war Britain
CN103620545A (zh) 媒体集合的分级、可缩放呈现
CN102981733A (zh) 信息处理装置、运动画面摘要方法以及计算机可读介质
CN101373590B (zh) 图像帧处理方法及向各种显示器显示活动图像的设备
CN102460468A (zh) 内容共享方法和系统
CN101689394A (zh) 用于视频索引和视频概要的方法和系统
CN102385512A (zh) 通过使用标记来提供增强现实（ar）的装置和方法
CN101513034A (zh) 用于产生图像拼贴画的方法和电子装置
CN108491534A (zh) 虚拟环境中的信息展示方法、装置及计算机设备
WO2024077909A1 (zh) 基于视频的交互方法、装置、计算机设备和存储介质
CN101727938A (zh) 信息处理装置、信息处理方法及程序
US20210326930A1 (en) Method for serving interactive content to a user
US20140086556A1 (en) Image processing apparatus, image processing method, and program
CN112118397B (zh) 一种视频合成的方法、相关装置、设备以及存储介质
CN103270473A (zh) 用于定制显示关于媒体资产的描述性信息的方法
CN111292280B (zh) 用于输出信息的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121212