CN101398851A - 影像显示装置及方法 - Google Patents

影像显示装置及方法 Download PDF

Info

Publication number
CN101398851A
CN101398851A CNA2008102157505A CN200810215750A CN101398851A CN 101398851 A CN101398851 A CN 101398851A CN A2008102157505 A CNA2008102157505 A CN A2008102157505A CN 200810215750 A CN200810215750 A CN 200810215750A CN 101398851 A CN101398851 A CN 101398851A
Authority
CN
China
Prior art keywords
content
dynamic image
association
visual
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008102157505A
Other languages
English (en)
Other versions
CN101398851B (zh
Inventor
三原功雄
山内康晋
关根真弘
樋口靖和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN101398851A publication Critical patent/CN101398851A/zh
Application granted granted Critical
Publication of CN101398851B publication Critical patent/CN101398851B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/732Query formulation
    • G06F16/7328Query by example, e.g. a complete video frame or video sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/743Browsing; Visualisation therefor a collection of video files or sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供一种影像显示装置及方法,将动态图像内容间的关联性可视化。使用内容信息、帧信息、图像特性中的任一或全部,算出其它动态图像内容相对处理对象动态图像内容的综合关联度,在虚拟空间中,将与根据该关联度选择到的显示对象动态图像内容相对应的可视化内容,配置在按照关联度而从与处理对象动态图像内容相对应的可视化内容的配置位置离开的位置上,并且显示该虚拟空间。

Description

影像显示装置及方法
技术领域
本发明涉及一种执行动态图像内容(content)显示的影像显示装置及方法。
背景技术
PC中,检索功能成为日常业务中广泛使用的一般技术。例如,从因特网上的Web网站上检索涉及特定关键字的信息的Web检索,为多数人所使用。这些PC中的检索功能一般是通过用户输入涉及构成检索对象的事物的关键字从而得到检索结果的、必需用户自身主动地执行的检索方式。下面,将该检索方式称为主动检索方式。另外,TV或DVD记录器、HDD记录器等AV设备也推进IT化,可连接于因特网上。与之相伴,提供即便AV设备也可采用与PC一样的主动检索方式的检索功能。
但是,由于AV设备的内容保存能力的扩大或视频点播(VOD)等服务的扩大、与未保留在设备内的设备间或因特网中存在的内容的无缝性的扩大等,用户可访问的内容数急剧增加。另外,根据HDD记录器的普及带来的用户的内容获得、视听风格的变化,即从仅录制想看内容的风格,向首先录制感兴趣的内容再从中取舍选择、或者使用推荐服务或委托录制服务等非主动风格的变化,伴随着该变化,用户可访问的内容包含用户自身未必把握的内容,这都是有可能的。
另一方面,如何从可从AV设备访问的内容群中高效地寻找到期望视听的内容成为重要的课题。由于上述内容获得、视听风格的变化,用户未必把握全部内容的实际内容,即便使用主动的检索功能检索,也不能选定将什么作为关键字来检索才好,难以寻找到想求得的内容。另外,AV设备的用户不一定是精通PC的用户,难以认为熟悉PC世界中一般的关键字输入型主动检索。因此,现状是AV设备中的主动检索成为仅部分积极的用户才使用的功能,难以认为是多数用户方便使用的检索方法。
作为该状况的解决策略,考虑提供被动的检索方式,而非主动的检索方式。这里,所谓被动的检索方式是例如呈现与某个内容有关联的内容并让用户从中选择的检索方法。这不是使用关键字等积极地(主动地)搜索用户想看与期望的内容,而是根据某个内容,向用户呈现该内容与其它内容之间的关联性,从而暗示地让用户执行内容检索。即,用户并不明示检索地,检索自己感兴趣的内容。结果,用户通过边看各内容间的关联性的可视化结果,边选择可从AV设备访问的多个内容,可被动地寻找到某些想看的内容。这样,认为在内容的被动检索方式中,向用户将内容彼此的关联性加以可视化是非常重要的。
另一方面,在照相领域中,提议可视化由数码相机等拍摄到的大量图像间的关系的各种技术。例如,在专利文献1中,公开了如下技术,即为了表示多个图像的时间系列的关系,按时间系列顺序依次扩大图像,该扩大后的图像从内周侧以时间系列的顺序显示为螺旋状。
专利文献1:国际公开WO 00/33572号公报
但是,AV设备为对象的TV或视频等动态图像由于其再现帧的图像伴随着再现而依次变化,从而其关系性也动态变化,所以不能用以静止图像为对象的专利文献1的技术来应对。
发明内容
本发明鉴于上述情况而作出,其目的在于提供一种将动态图像内容间的关联性可视化的影像显示装置及方法。
为了解决上述课题并实现本发明的目的,本发明的特征在于,具备:第1存储部件,存储多个动态图像内容;内容选择部件,从存储在所述第1存储部件中的动态图像内容中,选择处理对象动态图像内容;关联内容算出部件,根据所述处理对象动态图像内容的特性、和存储在所述第1存储部件中的该处理对象动态图像内容以外的其它动态图像内容的特性之间的类似度,算出所述其它动态图像内容各自相对所述处理对象动态图像内容的关联度;内容可视化部件,分别生成将所述处理对象动态图像内容以及其它动态图像内容象征化之后的可视化内容;配置部件,在虚拟空间内配置与所述处理对象动态图像内容相对应的可视化内容,并且,在按照所述其它动态图像内容各自的关联度而从该配置位置离开的位置上,分别配置与所述其它动态图像内容的每个相对应的可视化内容;空间可视化部件,将配置有所述可视化内容的虚拟空间可视化为能够显示的状态;和显示部件,显示所述可视化后的虚拟空间。
另外,本发明的特征在于,具备:第1存储部件,存储多个动态图像内容;内容选择部件,从存储在所述第1存储部件中的动态图像内容中,选择处理对象动态图像内容;关联内容算出部件,根据所述处理对象动态图像内容的特性、和存储在所述第1存储部件中的该处理对象动态图像内容以外的其它动态图像内容的特性之间的类似度,算出所述其它动态图像内容各自相对所述处理对象动态图像内容的关联度;显示内容选择部件,根据由所述关联内容算出部件算出的关联度,从所述其它动态图像内容中选择显示对象动态图像内容;内容可视化部件,分别生成将所述处理对象动态图像内容以及所述显示对象动态图像内容象征化之后的可视化内容;配置部件,在虚拟空间内配置与所述处理对象动态图像内容相对应的可视化内容,并且,在按照所述显示对象动态图像内容各自的关联度而从该配置位置离开的位置上,分别配置与该显示对象动态图像内容的每个相对应的可视化内容;空间可视化部件,将配置有所述可视化内容的虚拟空间可视化为能够显示的状态;和显示部件,显示所述可视化后的虚拟空间。
另外,本发明的特征在于,具备:第1存储部件,将对构成动态图像的一系列帧中的某一帧或全部帧赋予了表示该各帧的特性的帧信息之后的动态图像内容的每个,与表示该各动态图像内容的特性的内容信息相对应地加以存储;内容选择部件,从存储在所述第1存储部件中的动态图像内容中,选择处理对象动态图像内容;第1关联度算出部件,根据与所述处理对象动态图像内容相对应的内容信息、和与存储在所述第1存储部件中的该处理对象动态图像内容以外的其它动态图像内容相对应的内容信息之间的类似度,算出其它动态图像内容各自相对处理对象动态图像内容的关联度;帧选择部件,从所述处理对象动态图像内容中,选择该动态图像内容中包含的至少1个以上的帧,作为处理对象帧;第2关联度算出部件,根据赋予所述处理对象帧的帧信息、和赋予所述其它动态图像内容的帧的帧信息之间的类似度,算出其它动态图像内容各自相对处理对象动态图像内容的关联度;图像解析部件,对所述处理对象帧以及构成所述其它动态图像内容的各帧中包含的图像的图像特性进行解析;第3关联度算出部件,根据所述处理对象帧的图像解析结果、和所述其它动态图像内容的帧的图像解析结果之间的类似度,算出其它动态图像内容各自相对处理对象动态图像内容的关联度;关联内容算出部件,使用由所述第1关联度算出部件、第2关联度算出部件、第3关联度算出部件中的某一部件或全部部件所算出的关联度,算出所述其它动态图像内容各自相对所述处理对象动态图像内容的综合关联度;显示内容选择部件,根据由所述关联内容算出部件算出的综合关联度,从所述其它动态图像内容中,选择显示对象动态图像内容;内容可视化部件,分别生成将所述处理对象动态图像内容以及所述显示对象动态图像内容象征化之后的可视化内容;配置部件,在虚拟空间内配置与所述处理对象动态图像内容相对应的可视化内容,并且,在按照所述显示对象动态图像内容各自的综合关联度而从该配置位置离开的位置上,分别配置与该显示对象动态图像内容的每个相对应的可视化内容;空间可视化部件,将配置有所述可视化内容的虚拟空间可视化为能够显示的状态;和显示部件,显示所述可视化后的虚拟空间。
另外,本发明是一种影像显示方法,由影像显示装置执行,其特征在于:所述影像显示装置具备存储部件,该存储部件将对构成动态图像的一系列帧中的某一帧或全部帧赋予了表示该各帧的特性的帧信息之后的动态图像内容的每个,与表示该各动态图像内容的特性的内容信息相对应地加以存储;该影像显示方法包括:内容选择步骤,内容选择部件从所述存储部件中,选择处理对象动态图像内容;第1关联度算出步骤,第1关联度算出部件根据与所述处理对象动态图像内容相对应的内容信息、和与存储在所述存储部件中的该处理对象动态图像内容以外的其它动态图像内容相对应的内容信息之间的类似度,算出其它动态图像内容各自相对处理对象动态图像内容的关联度;帧选择步骤,帧选择部件从所述处理对象动态图像内容中,选择该动态图像内容中包含的至少1个以上的帧,作为处理对象帧;第2关联度算出步骤,第2关联度算出部件根据赋予所述处理对象帧的帧信息、和赋予所述其它动态图像内容的帧的帧信息之间的类似度,算出其它动态图像内容各自相对处理对象动态图像内容的关联度;图像解析步骤,图像解析部件对所述处理对象帧以及构成所述其它动态图像内容的各帧中包含的图像的图像特性进行解析;第3关联度算出步骤,第3关联度算出部件根据所述处理对象帧的图像解析结果、和所述其它动态图像内容的帧的图像解析结果之间的类似度,算出其它动态图像内容各自相对处理对象动态图像内容的关联度;关联内容算出步骤,关联内容算出部件使用由所述第1关联度算出步骤、第2关联度算出步骤、第3关联度算出步骤中的某一步骤或全部步骤所算出的关联度,算出所述其它动态图像内容各自相对所述处理对象动态图像内容的综合关联度;显示内容选择步骤,显示内容选择部件根据所述综合关联度,从所述其它动态图像内容中,选择显示对象动态图像内容;内容可视化步骤,内容可视化部件分别生成将所述处理对象动态图像内容以及所述显示对象动态图像内容象征化之后的可视化内容;配置步骤,配置部件在虚拟空间内配置与所述处理对象动态图像内容相对应的可视化内容,并且,在按照所述显示对象动态图像内容各自的综合关联度而从该配置位置离开的位置上,分别配置与该显示对象动态图像内容的每个相对应的可视化内容;空间可视化步骤,空间可视化部件将配置有所述可视化内容的虚拟空间可视化为能够显示的状态;和显示步骤,显示部件显示所述可视化后的虚拟空间。
发明效果
根据本发明,可提供一种将动态图像内容间的关联性可视化的影像显示装置及方法。
附图说明
图1是表示第1实施方式的影像显示装置的构成的图。
图2是表示第1实施方式的关联度算出处理的步骤的流程图。
图3是表示第1实施方式的关联内容算出处理的步骤的流程图。
图4-1是表示可视化内容一例的图。
图4-2是表示可视化内容一例的图。
图5是表示可视化后的虚拟空间一例的图。
图6是表示可视化后的虚拟空间一例的图。
图7是表示第1实施方式的可视化内容群配置处理的步骤的流程图。
图8-1是表示配置在虚拟空间内的可视化内容的一例的图。
图8-2是表示配置在虚拟空间内的可视化内容的一例的图。
图9-1是表示配置位置的修正方法一例的图。
图9-2是表示配置位置的修正方法一例的图。
图9-3是表示配置位置的修正方法一例的图。
图9-4是表示配置位置的修正方法一例的图。
图9-5是表示配置位置的修正方法一例的图。
图9-6是表示配置位置的修正方法一例的图。
图10是表示配置位置修正处理的步骤的流程图。
图11是表示第1实施方式的空间可视化处理的步骤的流程图。
图12是表示第1实施方式的影像显示处理的步骤的流程图。
图13-1是表示可视化后的虚拟空间一例的图。
图13-2是表示可视化后的虚拟空间一例的图。
图14是表示第1实施方式的变形例1的影像显示装置的构成的图。
图15是表示第1实施方式的变形例1的可视化内容群配置部执行的可视化内容群配置处理的步骤的流程图。
图16是表示第1实施方式的变形例2的影像显示装置的构成图。
图17-1是表示配置状况解析结果一例的图。
图17-2是表示配置状况解析结果一例的图。
图18-1是表示虚拟空间内的配置范围一例的图。
图18-2是表示虚拟空间内的配置范围一例的图。
图19是表示配置在虚拟空间内的可视化内容一例的图。
图20是表示第1实施方式的变形例3的影像显示装置的构成图。
图21是表示第1实施方式的变形例4的影像显示装置的构成图。
图22是表示第1实施方式的变形例5的影像显示装置的构成图。
图23是表示第1实施方式的变形例6的影像显示装置的构成图。
图24是表示第1实施方式的变形例6的关联内容算出处理的步骤的流程图。
图25是表示第1实施方式的变形例7的影像显示装置的构成图。
图26是表示第1实施方式的变形例8的影像显示装置的构成图。
图27是表示第1实施方式的变形例8的空间可视化处理的步骤的流程图。
图28是表示第1实施方式的变形例9的影像显示装置的构成图。
图29是表示配置在虚拟空间内的可视化内容一例的图。
图30是表示配置在虚拟空间内的可视化内容一例的图。
图31是表示第2实施方式的影像显示装置的构成图。
图32是表示第2实施方式的变形例1的影像显示装置的构成图。
图33是表示第2实施方式的变形例2的影像显示装置的构成图。
图34是表示第2实施方式的变形例3的影像显示装置的构成图。
图35是表示第2实施方式的变形例4的影像显示装置的构成图。
图36是表示第3实施方式的影像显示装置的构成图。
图37是表示第3实施方式的变形例1的影像显示装置的构成图。
图38是表示第3实施方式的变形例2的影像显示装置的构成图。
符号说明
100  影像显示装置
101  影像显示装置
102  影像显示装置
103  影像显示装置
104  影像显示装置
105  影像显示装置
106  影像显示装置
107  影像显示装置
108  影像显示装置
109  影像显示装置
110  影像显示装置
111  影像显示装置
112  影像显示装置
113  影像显示装置
114  影像显示装置
115  影像显示装置
116  影像显示装置
117  影像显示装置
11   动态图像数据库
12   处理对象内容选择部
13   处理对象帧选择部
14   内容信息取得部
15   帧信息取得部
16   帧图像解析部
17   关联度算出部
18   关联内容算出部
19   显示对象内容选择部
20   内容可视化部
21   可视化内容群配置部
22   空间可视化部
23   显示部
24   配置履历管理部
25   可视化内容群配置部
26   配置状况解析部
27   可视化内容群配置部
28   第2配置状况解析部
29   显示对象内容选择部
30   第3配置状况解析部
31   内容可视化部
32   第4配置状况解析部
33   显示对象内容加工部
34   内容可视化部
35   可视化内容群配置部
36   关联内容算出部
37   关联性解析部
38   空间可视化部
39  配置运动插补部
40  空间可视化部
41  共同部分可视化部
42  可视化内容群配置部
43  EPG信息取得管理部
44  调谐器
45  流信息取得管理部
46  内容可视化部
47  盘驱动器
48  盘信息取得管理部
49  内容可视化部
50  VOD取得部
51  VOD信息取得管理部
52  内容可视化部
53  音乐数据取得部
54  音乐数据库
55  音乐数据信息取得管理部
56  内容可视化部
57  商品数据取得部
58  商品数据信息取得管理部
59  内容可视化部
60  操作支援部
61  操作支援部
62  商品购入手续部
63  收费部
具体实施方式
下面,参照附图来详细说明影像显示装置及方法的最佳实施方式。
[第1实施方式]
首先,说明涉及本实施方式的影像显示装置100的硬件构成。影像显示装置100具备由CPU或GPU等构成的控制部、由存储各种程序或图像等的各种数据的ROM、RAM、HDD等构成的存储部、与外部装置进行通信的通信部、和连接上述各部的总线(均未图示),并连接有显示装置及键盘或鼠标等输入装置(均未图示)。显示装置是后述的显示部23,是LCD等显示器件。操作装置是具备输入来自用户的操作的操作键或操作按钮、鼠标等的输入器件。
下面,说明影像显示装置100的功能构成。图1是示例本实施方式的影像显示装置100的功能构成的框图。如图1所示,影像显示装置100具备动态图像数据库11、处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、关联内容算出部18、显示对象内容选择部19、内容可视化部20、可视化内容群配置部21、空间可视化部22与显示部23。
其中,处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、关联内容算出部18、显示对象内容选择部19、内容可视化部20、可视化内容群配置部21与空间可视化部22是通过影像显示装置100的控制部执行存储在存储部中的各种程序来实现的功能部。动态图像数据库11是由存储部实现的功能部。
动态图像数据库11是能够存储及管理至少一个以上动态图像内容的数据库。例如,若设影像显示装置100为HDD记录器,则动态图像数据库11是指存储录制了TV节目等的动态图像内容、并且对所存储的动态图像内容加以管理的数据库。
这里,所谓‘动态图像内容’是在时间系列上排列帧图像的动态图像数据,例如是指TV节目或电影等的内容。另外,存储在动态图像数据库11中的动态图像内容的保存形式不特别限定,例如存储为使用已知的编解码器编码后的文件。下面,将存储在动态图像数据库11中的动态图像内容称为‘内容’(content)。
动态图像数据库11对每个内容关联地存储涉及该内容的内容信息。这里,所谓‘内容信息’是表示各内容固有的特性的信息群,包含各内容的标题(title)或影像内容的类型(genre)等。例如,在内容是TV节目的情况下,利用EPG等电子节目表,提供TV节目广播日期时间或频道、节目标题、节目概要、节目类型、演出者列表、制作者信息等信息(节目信息)。因此,在可取得该EPG的情况下,也可将各内容的节目信息存储为内容信息。
另外,在VOD服务或因特网上的动态图像共享服务的情况下,涉及内容的信息作为标签信息以事先嵌入的状态分发。此时,动态图像数据库11将标签信息作为内容信息,与内容一起存储。
上述说明了内容信息以事先设定的状态加以提供的方式,但不限于此,也可是将由用户经操作装置输入的信息作为内容信息,与内容相关联地存储的方式。
另外,设在动态图像数据库11中存储的任一或全部内容中,以构成内容的帧为单位,利用标签信息等形式,向各帧事先赋予涉及该帧的信息。下面,将赋予帧的信息称为帧信息。这里,所谓‘帧信息’是表示各帧固有的特性的信息群,包含各帧中所包含的图像的标题或类型等。即,上述内容信息是以内容为单位的信息群,相反,帧信息是以帧为单位的信息群。
作为帧信息,可以列举例如帧中包含的图像(后面将其称为帧图像)中映出的演出者姓名等信息、所映出的场所或物、状态、类型等表示人物或场景的信息、(在动态图像中存在章节的情况下的)章节标题、章节内容、以及帧单位下的录制信息或节目(的角(コ—ナ—))标题、子标题、类型、内容(的角)概要、细节等。
该帧信息也可由内容的作者或分发者(例如电视台或内容制作公司)设定,或由提供这种服务的公司或第三方(例如第三方的内容视听者、动态图像共享服务等用户等)设定。另外,也可以是用户自身经操作装置输入的方式。
另外,作为其它方式,也可是如下方式,即通过在影像显示装置100的内部(或外部设备)中使用涉及帧信息赋予的规定算法,对存储在动态图像数据库11中的内容的各帧自动赋予帧信息。具体而言,也可以是如下方式,即由于可通过使用脸识别等公知技术来进行人物推定,所以通过使用该技术,执行动态图像中包含的任意帧中所映出的演出者的人物推定,将该推定结果的人物名以标签信息的形式赋予给该帧,作为帧信息。上述说明的情形不过是一例,该信息的内容或信息的赋予方法不限于此。
另外,上述中示出对每帧赋予帧信息的实例,但不限于此。例如,也可以是向构成动态图像的一系列帧中某一帧赋予帧信息的方式,或对多个帧赋予表示各帧的部分的一个帧信息的方式,或向一个帧赋予多个帧部分的帧信息的方式。
处理对象内容选择部12是从存储在动态图像数据库11中的内容群中选择一个内容作为处理对象的内容用的功能部。下面,将由处理对象内容选择部12选择出的内容称为‘处理对象内容’。
处理对象内容的选择可采用各种方法。例如,也可以是在监视动态图像数据库11中存储的各内容的视听状态(再现状态)、且当前的某个内容处于视听状态的情况下,选择该正在视听的内容作为处理对象的内容的方式,或是在任一内容均未处于视听状态的情况下,选择最近视听过的内容作为处理对象的内容的方式。
另外,也可以是在根据显示部23中显示的GUI等、由用户经操作装置选择了特定内容的情况下,选择该内容作为处理对象的内容的方式。
另外,也可以是事先准备指定特定的关键字或用户嗜好等的轮廓(profile)信息(未图示)、根据该轮廓信息的指定内容自动选择为处理对象的内容的方式。例如,作为轮廓信息,在指定为‘足球节目’的情况下,处理对象内容选择部12选择动态图像数据库11中存储的内容群中、节目信息等记述为‘足球节目’的一个内容,作为处理对象的内容。
另外,也可以是如下方式,即,记录对影像显示装置100的操作履历,作为履历信息,根据该履历信息,选择用户频繁视听的节目的内容,作为处理对象的内容。
处理对象帧选择部13是从由处理对象内容选择部12选择到的处理对象内容中,选择该处理对象内容中包含的至少1个以上的帧的功能部。下面,将由处理对象帧选择部13选择到的帧称为‘处理对象帧’。
另外,处理对象帧选择部13根据处理对象内容的帧率(frame rate),对处理对象帧的更新定时进行计时,当到达更新定时时,更新处理对象帧。
如上所述,处理对象内容是TV节目或电影等的动态图像数据。例如,若设处理对象内容是TV节目,则由于通常TV节目构成为30帧/秒的动态图像,所以30分钟的TV节目由54000个帧构成。此时,处理对象帧选择部13从构成处理对象内容(30分钟的TV节目)的54000个帧中,选择至少1个以上的帧。
处理对象帧的选择中可使用各种方法。例如,在由处理对象内容选择部12选择当前正在视听的内容作为处理对象内容的情况下,处理对象帧选择部13也可选择到目前为止视听过的最后的帧,作为处理对象帧。即,若用户再现某个内容至中途,则用户看到的最后的帧变为处理对象帧。具体而言,在用户暂时停止内容的情况下,因该暂时停止而成为当前显示的帧,成为处理对象帧。
也可以是在保持关于各内容的视听状态(表示有无视听或视听的次数、视听到哪儿的信息等)的情况下,根据该视听状态选择处理对象帧的方式。例如,在用户过去在视听处理对象内容到中途的情况下,可选择结束视听的帧中任一帧(例如最后的帧),作为处理对象帧。另外,也可以是如下方式,即对于未视听的处理对象内容或曾视听到最后的处理对象内容而言,选择全部帧中的任一帧(例如开头帧),作为处理对象帧。
另外,也可以是选择由用户经操作装置指定的帧,作为处理对象帧的方式。另外,也可以是在轮廓信息中事先记入指定处理对象帧的信息,根据该信息来选择处理对象帧的方式。或是内容自身中包含指定处理对象帧的信息,根据该信息来选择处理对象帧的方式。
上述中,作为处理对象帧,示出仅选择一个帧的实例,但处理对象帧的个数不限于此。也可从处理对象帧中同时选择2帧以上,或使用称为剪辑(cut)检测的技术,将处理对象内容分割为特定的剪辑单位,选择分割后的剪辑中包含的多个帧。另外,也可使用该剪辑检测技术,以分割后的剪辑单位来选择剪辑的开头(或末尾)帧,作为处理对象帧。
此时,也可选择距当前正在视听的帧最近的剪辑的开头(或末尾)帧,作为处理对象帧。另外,也可设分割后的剪辑中包含的特征帧作为处理对象帧,或从剪辑中的帧中随机设为处理对象帧。这里,所谓‘特征帧’是指利用例如使用图案识别等方法算出帧彼此的相关关系,算出相关最高(或最低)的帧,算出帧的直方图并算出其变化较大(或较小)的帧等方法求出的帧。另外,此外的方法也可以任何基准使用从多个帧中抽取特定帧的方法,该方法也无妨。
内容信息取得部14对应于来自关联度算出部17的指示内容,从动态图像数据库11中取得与内容相关联存储的内容信息。例如,在节目信息作为内容信息与内容相关联存储的情况下,内容信息取得部14取得该内容的节目标题或子标题、广播日期时间、频道、类型、概要等信息。
帧信息取得部15对应于来自关联度算出部17的指示内容,从动态图像数据库11中存储的内容中,取得赋予特定内容内的帧的帧信息。
帧图像解析部16对应于来自关联度算出部17的指示内容,解析构成动态图像数据库11中存储的特定内容的至少1个以上的帧中包含的图像的图像特性。具体而言,帧图像解析部16通过使用图像识别技术对帧中包含的图像进行解析,执行映出到该图像的人物的确定、场所的确定、行动的确定、状况的确定、场景的构造的确定等。
帧图像解析部16使用的图像识别技术可使用公知的技术。例如,作为图像识别技术的实例,使用脸图像识别技术,对图像执行正在摄影的事物的特征点的算出等,判别该算出的特征点是否为脸的构造(眼、鼻、口的位置或构造是否构成脸),从而可判定该图像映出的事物是否是脸。
另外,也可是不算出特征点,而使用称为模板匹配的方法,判定图像上映出的事物是否是脸的方式。另外,也可是事先登记对某个特定人物的脸附加特征的数据,判定图像中是否拍了该人物的方式,也可以是使用对多个人物的脸附加特征的数据,判定是否是图像上映出的人,并在拍了的情况下,识别其是谁的方式。帧图像解析部16通过使用这种脸识别技术,例如可判定为某个帧图像中映出人物H1与H2。
另外,也可使用场景识别技术等,解析帧图像是何场景构造。例如,通过计算图像的亮度直方图值,可解析图像的亮度分布等。由此,可得到图像的对比度差等信息。即,可判别是暗的场景、是亮的场景、是画面内变化大的场景、还是少的场景等。帧图像解析部16通过使用这种场景识别技术,例如可解析为某个帧图像是举行棒球的场景。
关联度算出部17根据由内容信息取得部14、帧信息取得部15和帧图像解析部16的至少1个以上功能部取得的信息,算出彼此不同的两个内容间的关联度。
下面,参照图2,说明关联度算出部17的动作。图2是表示由关联度算出部17执行的关联度算出处理的步骤的流程图。另外,作为该处理的前提,设算出动态图像数据库11中存储的内容C1与内容C2之间的关联度。
首先,关联度算出部17判定关联度算出中是否利用内容信息、即是否利用内容信息取得部14(步骤S101)。是否利用内容信息,也可以是由用户经操作装置等指定的方式,或事先规定为未图示的设定信息的方式。
在步骤S101中,在判定为不利用内容信息的情况下(步骤S101;否),直接移动到步骤S107的处理。另外,在步骤S101中,在判定为利用内容信息的情况下(步骤S101;是),关联度算出部17若决定构成关联度算出对象的第一个内容(内容C1)(步骤S102),则使用内容信息取得部14取得与该内容C1关联的内容信息(内容信息C11)(步骤S103)。这里,设构成算出对象的内容C1对应于来自关联内容算出部18的指示来决定。
接着,关联度算出部17若决定构成关联度算出对象的第二个内容(内容C2)(步骤S104),则使用内容信息取得部14取得与该内容C2关联的内容信息(内容信息C21)(步骤S105)。这里,设构成算出对象的内容C2对应于来自关联内容算出部18的指示来决定。
接着,关联度算出部17根据步骤S103取得的内容信息C11与步骤S105取得的内容信息C21之间的类似度,算出内容C2相对内容C1的关联度RC(步骤S106),移动到步骤S107的处理。这里,关联度RC的算出可使用下式(1)来算出。
[式1]
关联度 RC = Σ n = 1 N fa n ( C 11 ( n ) , C 21 ( n ) ) × wa n · · · · · · ( 1 )
在上式(1)中,N意味着由内容信息取得部14能够取得的内容信息的总数。另外,内容信息C11(n)、C21(n)的‘(n)’意味着由内容信息取得部14取得的第n个内容信息。fan(C11(n)、C21(n))是将内容信息C11(n)与C21(n)的关联度作为RCn返回的函数,Wan是表示加权的值(n=1、...、N)。
这里,作为内容信息取得的信息如上所述覆盖多个方面,但下面为了简化说明,设内容信息是{录制日期时间、内容的标题、频道、类型、演出者列表}等5个的集合(N=5),这5个内容信息从开头起为n=1、2、...、5,进行说明。
于是,C2相对内容C1的关联度RC可用下述所示的5个关联度RC1-RC5的加权线性和来表示。
RC1=fa1(内容信息C11的录制日期时间、内容信息C21的录制日期时间)
RC2=fa2(内容信息C11的标题、内容信息C21的标题)
RC3=fa3(内容信息C11的频道、内容信息C21的频道)
RC4=fa4(内容信息C11的类型、内容信息C21的类型)
RC5=fa5(内容信息C11的演出者列表、内容信息C21的演出者列表)
fa1是例如录制日期时间越近则取越大的值、越远则取越小的值的函数。具体而言,例如可使用CO1/|rec_data(C11)-rec_data(C21)|等关系式。这里,rec_data(x)是将x的录制日期时间唯一整数化的函数,是将某个基准日期时间作为0,整数化为距此的经过秒数等的函数。另外,CO1为任意常数,|X|是表示X的大小的函数,典型地为绝对值。
这里,示出在设fa1(C11、C12)=g(rec_data(C11)-rec_data(C21))的情况下,使用作为g(x)=CO1/|X|等函数的g,但不限于此。也可以是使用L2范数(norm)等的g,例如g(x)=CO1/‖X‖。此时,‖X‖取构成x的各个要素之差的平方和的平方根。
另外,g(x)也可使用S形(sigmoid)函数等,或使用γ函数等。上述示例了内容信息C11与C12接近时取大的值的实例,但不限于此。也可构成为相反取小的值。也可使用在特定条件时取大的值的函数g。
fa2例如由内容信息C11与C12的标题字符串中包含同样的字符串越多、则取越大的值的函数来实现。例如,若C11的标题为“あいうえお”,C21的标题为“かきうえこ”,则之间的“うえ”这两个字符包含于两者中。另一方面,在“あいうえお”与“かきくけお”的情况下,由于1个字符包含于两者中,所以前者的fa2值大。
以上示出单纯基于两者中包含的字符数的比较的实例,但不限于此。例如,也可再加入从开头起的共同字符数多的一方取较大的值、或即便没有共同的字符、若包含同样的概念则视为共同等条件。作为后者的实例,例如将“棒球”与“baseball”视为同样,在这些字符包含于各自中的情况下,视为包含共同字符串。
另外,在主要字符串相同、次要字符串不同的情况下,这些多是共同的系列的内容,所以在这种情况下,也可使fa2的值更大等。例如,由于“あいうえお#2”与“あいうえお#3”视为是相同电视剧内容的不同集,所以在这种情况下,将fa2的值变为2倍等。以上的说明只是一例,也可通过使用模糊检索等公知技术,或使用基于正规表现的检索等的公知技术,执行比上述说明高的比较。
fa3例如是在内容信息C11与C12的频道相同的情况下取大的值的函数。可以实现为在单纯地频道相同的情况下取值CO2,否则取值0的函数。这里,CO2是任意常数。再扩展,在为同系列的频道的情况下,也可取不同的值。例如,也可取在相同系列电视台的情况下,返回值CO2/2的函数。另外,也可取在同系列但广播媒体不同的情况下,返回值CO2/4的函数。以上说明的方式不过是一例,也可使用任意函数。
fa4例如是在内容信息C11与C21的类型相同的情况下取大的值的函数。例如,C11与C21双方均为‘体育’这一类型的情况下,取值CO3,否则取值0,并且,也可为在C21是C11的子类型的情况下,例如,C11的类型为‘体育’,C21的类型为‘棒球’的情况下,取CO3/2的函数。另外,也可以是在尽管C11的类型与C21的类型不直接相同、但作为双方的母类型相同的情况下,例如C11的类型为‘棒球’,C21的类型为‘足球’的情况下,由于双方的母类型为‘体育’,相同,所以取CO3/4的函数。以上说明的方式不过是一例,也可使用任意函数。
fa5与fa4一样。可使用如下函数:例如在内容信息C11与C21的登场人物列表分别是‘WW、XX、YY’、‘XX、YY、ZZ’的情况下,共同的登场人物为2人,所以取2×CO4(这里,CO4为任意常数值),在无共同登记人物的情况下,取0的函数。另外,由于登记人物中也包含组,所以在某个登场人物KK为组XX的成员的情况下,当存在‘VV、WW、XX’、‘KK、YY、ZZ’这样的内容信息C11、C21时,C11中组XX出演,即,该成员KK也出演,C21中组XX不出演但作为成员的KK出演,所以在这种情况下,也可返回CO4/2。
同样,也可扩展成,在定义登场组或登场人物的关系的情况下,例如组XX与组YY是相同所属事务所等情况下,返回CO4/4。此时,也可以是人物与组间的关系或各人物、组所属的所属事务所间的关系在内容信息内定义的方式,或事先存储在动态图像数据库中的方式,或从外部服务器(信息站点)取得的方式。
以上示出对登场人物列表中登场的人不执行关联度区别的实例,但不限于此。也可是利用登记人物列表中出现的顺序来进一步进行加权的方式。例如,在与内容信息C11的第1个出来的人比较的情况下,算出的关联度不变,若为第2个,则关联度为1/2,若为第3个,则为1/3这样的对应于出现的顺序使加权变化。另外,也可以是双方均考虑内容信息C11中的顺序与C21中的顺序的方式。例如,在比较内容信息C11的第2个人物与内容信息C21的第3个人物的情况下,若为内容信息C11的第2个,则为1/2,若为内容信息C21的第3个,则为1/3,所以也可设总的关联度为1/2×1/3=1/6。另外,作为内容信息,也可使用主演等信息,改变对主演者的关联度的加权。例如,在主演的情况下使算出的关联度变为2倍,以这样的方式使加权变化。
返回图2,接着在步骤S107中,关联度算出部17判定关联度算出中是否利用帧信息、即是否利用帧信息取得部15(步骤S107)。是否利用帧信息也可与内容信息一样,为由用户经操作装置设定的方式,或事先设定在未图示的设定信息中的方式。
在步骤S107中,在判定为不利用帧信息的情况下(步骤S107;否),直接移动到步骤S113的处理。另外,在步骤S107中,在判定为利用帧信息的情况下(步骤S107;是),关联度算出部17若决定构成关联度算出对象的第1个帧(帧F1)(步骤S108),则使用帧信息取得部15取得与该帧F1相关联的帧信息(帧信息F11)(步骤S109)。这里,帧F1根据从关联内容算出部18输入的信息来决定,但也可是上述内容C1中包含的一系列帧群中某一帧。
接着,若关联度算出部17决定构成关联度算出对象的第2个帧(帧F2)(步骤S110),则使用帧信息取得部15取得与该帧F2相关联的帧信息(帧信息F21)(步骤S111)。这里,帧F2根据从关联内容算出部18输入的信息来决定,但也可是上述内容C2中包含的一系列帧群中的某一帧。
接着,关联度算出部17根据步骤S109取得的帧信息F11与步骤S111取得的帧信息F21之间的类似度,算出帧F1与帧F2之间的关联度、即内容C2相对内容C1的关联度RF之后(步骤S112),移动到步骤S113的处理。这里,关联度RF的算出可使用下式(2)来算出。
[式2]
关联度 RF = Σ n = 1 N fb n ( F 11 ( n ) , F 21 ( n ) ) × wb n · · · · · · ( 2 )
在上述式(2)中,N意味着帧信息取得部15能够取得的帧信息的总数。另外,帧信息F11(n)、F21(n)的‘(n)’意味着由帧信息取得部15取得的第n个帧信息。fbn(F11(n)、F21(n))是将帧信息F11(n)与F21(n)之间的关联度作为RFn返回的函数,Wbn是表示加权的值(n=1、...、N)。
这里,作为帧信息取得的信息如上所述覆盖多个方面,但下面为了简化说明,设帧信息是{章节(角)标题、章节(角)类型}这2个的集合(N=2),这2个帧信息从开头起为n=1、2,进行说明。
此时,帧F1与F2的关联度RF与内容信息的关联度时一样,可用下述所示的2个关联度RF1、RF2的加权线性和来表示。
RF1=fb1(帧信息F11的章节标题、帧信息F21的章节标题)
RF2=fb2(帧信息F11的章节类型、帧信息F21的章节类型)
fb1、fb2例如可以与步骤S106中的方法(分别对应于fa2、fa4)一样的关系式算出。
返回图2,关联度算出部17判定关联度算出中是否利用帧图像解析信息、即是否利用帧图像解析部16(步骤S113)。是否利用帧图像解析信息也可与内容信息一样,为由用户经操作装置设定的方式,或事先设定在未图示的设定信息中的方式。
在步骤S113中,在判定为不利用帧图像解析信息的情况下(步骤S113;否),直接移动到步骤S119的处理。
另外,在步骤S113中,在判定为利用帧图像解析信息的情况下(步骤S113;是),关联度算出部17决定构成关联度算出对象的第1个帧(帧F1)(步骤S114),使用帧图像解析部16,取得涉及该帧F1的帧图像解析信息(帧图像解析信息G11)(步骤S115)。这里,帧F1根据从关联内容算出部18输入的信息来决定,但也可是与上述帧F1相同的帧。因此,在利用步骤S108的处理已决定帧F1的情况下,也可省略步骤S114的处理。
接着,关联度算出部17决定构成关联度算出对象的第2个帧(帧F2)(步骤S116),使用帧信息取得部15取得涉及该帧F2的帧图像解析信息(帧图像解析信息G21)(步骤S117)。这里,帧F2根据从关联内容算出部18输入的信息来决定,但也可是与上述帧F2相同的帧。因此,在利用步骤S110的处理已决定帧F2的情况下,也可省略步骤S116的处理。
接着,关联度算出部17根据步骤S115取得的帧图像解析信息G11与步骤S117取得的帧图像解析信息G21之间的类似度,算出帧F1与帧F2之间的关联度、即内容C2相对内容C1的关联度RG之后(步骤S118),移动到步骤S119的处理。这里,关联度RG的算出可使用下式(3)来算出。
[式3]
关联度 RG = Σ n = 1 N fc n ( G 11 ( n ) , G 21 ( n ) ) × wc n · · · · · · ( 3 )
在上述式(3)中,N意味着帧图像解析部16能够取得的帧图像解析信息的总数。另外,帧图像解析信息G11(n)、G21(n)的‘(n)’意味着由帧图像解析部16取得的第n个帧图像解析信息。fcn(G11(n)、G21(n))是将帧图像解析信息G11(n)与G21(n)之间的关联度作为RGn返回的函数,Wcn是表示加权的值(n=1、...、N)。
这里,作为帧图像解析信息取得的信息如上所述覆盖多个方面,但下面为了简化说明,设帧图像解析信息是{脸识别信息、亮度直方图信息}这2个的集合(N=2),这2个帧图像解析信息从开头起为n=1、2,进行说明。此时,帧F1与F2的关联度RG与内容信息的关联度和帧信息的关联度时一样,可用下述所示的2个关联度RG1、RG2的加权线性和来表示。
RG1=fc1(帧F1的脸识别信息、帧F2的脸识别信息)
RG2=fc2(帧F1的亮度直方图信息、帧F12的亮度直方图信息)
这里,fc1例如是用于算出帧F1的脸识别信息与帧F2的脸识别信息之间的类似度的函数。作为脸识别信息,在抽取可确定所识别的个人的名字或ID等的情况下,判定其是否相同,例如,可由如下函数等来实现:若相同,则返回CO5(任意常数),否则,则返回0的函数等来实现。在取得用于脸识别的参数作为脸识别信息的情况下,比较该两个参数,可进一步判定以何程度相似。参数的比较通常将两个参数看作矢量,利用两个矢量所成的角度来判定。所成的角度越接近0,则两个参数越相似,所成的角度越大,则视为越不相似,所以若使用其倒数等,则在相似的情况下,输出大的值。
fc2例如是用于算出亮度直方图彼此的类似度的函数。简单而言,通过合计亮度直方图中各亮度值的差的大小来得到。具体而言,若设Hist(X)为X的亮度直方图,则可作为CO6/(∑|Hist(F1)-Hist(F2)|)等求出。这里,CO6为任意常数。在亮度直方图的差较小的情况下,认为象素帧彼此的倾向类似。
上述示出算出关联度RG的函数一例,但不限于此,只要是将两个值的相关关系表示为值,则可使用任意函数。
返回图2,接着在步骤S119中,关联度算出部17通过使用下式(4)来将此前算出的关联度(RC、RF、RG)相加,从而算出C2相对内容C1的综合关联度R(步骤S119),结束该处理。
[式4]
关联度R=wx·RC+wy·RF+wz·RG                       ……(4)
这里,向关联度RC中代入步骤S106算出的值,在步骤S101判定为不利用内容信息的情况下为0。同样,向关联度RF中代入步骤S112算出的值,在步骤S107判定为不利用帧信息的情况下为0。另外,向关联度RG中代入步骤S118算出的值,在步骤S113判定为不利用帧图像解析信息的情况下为0。wx、wy、wz为表示加权的系数。
返回图1,关联内容算出部18通过使用关联度算出部17,算出由处理对象内容选择部12选择的处理对象内容、与存储在动态图像数据库11中的各内容之间的关联度,将与处理对象内容关联度高的内容群与关联度建立对应后列出(list up)。
下面,参照图3,说明关联内容算出部18的动作。图3是表示由关联内容算出部18执行的关联内容算出处理的步骤的流程图。作为本处理的前提,设处理对象内容及处理对象帧由处理对象内容选择部12及处理对象帧选择部13选择。
首先,关联内容算出部18决定构成动态图像数据库11中的检索对象的内容条件(步骤S201)。这里,设存储在动态图像数据库11中的全部内容为检索对象,但也可通过设定来缩小检索对象的范围。例如,也可对应于使用环境来缩小检索对象的内容的范围,或仅将特定日期时间之后录制的内容作为对象,或仅将特定类型的内容作为对象,或仅将包含特定标题的内容作为对象。另外,这些缩小范围条件可以是由用户经操作装置等输入的方式,也可以是作为设定信息事先设定的方式。
接着,关联内容算出部18对与步骤S201决定的条件相对应的全部检索对象的内容,执行是否执行步骤S208的关联度算出处理的判定(步骤S202)。下面,将检索对象的内容称为检索对象内容。
在步骤S202中,在判定为处理全部检索对象内容的情况下(步骤S202;是),直接移动到步骤S209的处理。另一方面,在步骤S202中,在判定为未对全部检索对象内容执行关联度算出处理的情况下(步骤S202;否),关联内容算出部18从检索对象内容中选择一个未处理的检索对象内容(步骤S203)。
接着,关联内容算出部18执行关联度算出中是否使用帧信息的判定(步骤S204)。这里,是否使用帧信息的判定可以是事先确定为系统设定的方式,也可以是由用户经操作装置指示的方式。
在步骤S204中,在判定为不使用帧信息的情况下(步骤S204;否),直接移动到步骤S208的处理。另一方面,在步骤S204中,在判定为使用帧信息的情况下(步骤S204;是),关联内容算出部18决定在检索对象内容中选择检索对象帧的条件(步骤S205)。
这里,作为选择检索对象帧的条件,也可将检索对象内容中包含的全部帧设为检索对象帧。另外,也可以是利用系统设定或来自用户的输入,仅将特定帧设为检索对象帧的方式。也可仅将开头帧设为检索帧,或仅将从开头起N个帧(N是系统设定或由用户提供的帧数)作为检索帧。另外,也可使用检索对象内容的章节分割结果,将章节的开头帧的集合作为检索帧,或将包含特定帧信息的帧集合作为检索帧。
接着,关联内容算出部18判定是否对全部检索对象帧执行了后述的步骤S208的关联度算出处理,在判定为已处理的情况下(步骤S206;是),再次返回步骤S202的处理。
另一方面,在步骤S206中,在判定为存在未处理的检索对象帧的情况下(步骤S206;否),在步骤S203决定的检索对象帧群中,选择一个与步骤S205决定的条件对应的未处理的检索对象帧(步骤S207)。
接着,关联内容算出部18将处理对象内容和处理对象帧设为内容C1和内容信息C11,并且,将步骤S203选择到的检索对象内容和步骤S207选择到的检索对象帧作为内容C2和内容信息C21通知给关联度算出部17,由此在由关联度算出部17执行关联度算出处理之后(步骤S208),再次返回步骤S206的处理。另外,步骤S208的关联度算出处理与图2所示的关联度算出处理一样,所以省略说明。
在步骤S208中,在使用帧信息的情况下,对一对处理对象内容与检索对象内容,算出与检索对象帧的条件匹配的检索对象帧数的与处理对象帧的关联度。关联内容算出部18例如按关联度从高到低的顺序,将其汇总成一个,作为一对处理对象内容与检索对象内容中的关联度集合来管理。具体而言,处理对象内容与处理对象帧唯一,在对某个检索对象内容存在N个与检索对象帧的条件匹配的检索对象帧的情况下,根据某个检索对象内容,对处理对象内容算出N个关联度。将该N个关联度的集合定义为各检索对象内容对处理对象内容的关联度。
之后,关联内容算出部18在步骤S209中,使用对此前算出的处理对象内容的M个(这里M是与步骤S201决定的条件匹配的内容数)关联度,生成处理对象内容与存储在动态图像数据库11中的检索对象内容群之间的关联度列表,在将其按关联度从大到小的顺序排列、作为一览表管理之后(步骤S209),结束该处理。
下面,总结上述关联内容算出部18的动作。设处理对象内容为X,该X中的处理对象帧为X(n),检索对象内容的总数为M时,第m个检索对象内容为Ym(m=0、...、M-1)。并且,设检索对象内容Ym的第p个检索对象帧为Ym(p)(若设Pm为Ym的检索对象帧数,则p=0、...、Pm-1)。这里,在使用帧信息的情况下,对于检索对象内容Ym,得到Pm-1个关联度值的集合{R(m,0),...,R(m,Pm-1)}。R(x,y)表示与检索对象内容x中的检索对象帧y的关联度。
即,检索对象内容的关联度由{m∈Ym|{R(m,0),...,R(m,Pm-1)}}表示,M个检索对象内容每1个中分别存在Pm个(m=0,...,M-1)关联度(帧信息级别(level))。此时,如下定义处理对象内容中的检索对象内容m的关联度R(m)。
R(m)=max(R(m,0),...,R(m,Pm-1))
这里,max是返回最大的函数。即,R(m)为R(m,0),...,R(m,Pm-1)中的最大的关联度。
上述中设最大的关联度为检索对象内容m中的关联度,但不限于此。例如,也可将作为平均值的R(m)=(R(m,0)+...+R(m,Pm-1))/Pm设为关联度。另外,也可将R(m,0),...,R(m,Pm-1)的中间值(中值)作为关联度。此外的算出方法也无妨。另外,在不使用帧信息的情况下,仅列出对m个的每个检索对象内容的关联度的值。
返回图1,显示对象内容选择部19从关联内容算出部18列出的内容群中,选择适合于规定条件的内容,作为显示对象内容。另外,同时也选择由处理对象内容选择部12选择的处理对象内容,作为显示对象内容。
这里,作为规定条件,可列举例如内容数。在由系统设定或用户输入得到的限度内容数为N个的情况下,在由关联内容算出部18列出的检索对象内容数(算出了关联度的检索对象内容数)超过N的情况下,从关联度的值大的一方中选择N个,作为显示对象内容群。规定的条件不限于内容数。
另外,可单一或复合地使用录制日为特定日期以后的情况、或为特定类型的情况等的缩小范围条件。在使用这些缩小范围条件的选择中,可使用内容信息取得部14、帧信息取得部15、帧图像解析部16取得的内容信息、帧信息、帧图像解析信息中包含的1个以上的信息,不限于上述内容数、录制日期时间、类型。作为结果,显示对象内容选择部19在由处理对象内容选择部12选择的处理对象内容及由关联内容算出部18列出的内容群中,选择适合于规定条件的内容,作为显示对象内容。
内容可视化部20使用由内容信息取得部14取得的内容信息、由帧信息取得部15取得的帧信息、由帧图像解析部16取得的帧图像解析信息、内容中包含的帧图像中的至少一个以上,执行由显示对象内容选择部19选择的显示对象内容的可视化。这里,所谓‘显示对象内容的可视化’是指通过使用各显示对象内容及内容信息来进行象征化,从而以视觉上可识别的状态表示各显示对象内容。
具体地,内容可视化部20使用CG(计算机图形)技术,例如图4-1、图4-2所示,通过将对显示对象内容附加特征的各要素进行布局处理(layout),执行可视化。
这里,图4-1是表示可视化后的显示对象内容一例的图。如图所示,在由矩形表现的背景A10上,重叠帧图像A11、节目标题A12、录制日期时间A13、频道名A14。这里,节目标题A12、录制日期时间A13、频道名A14从由内容信息取得部14取得的内容信息中抽取。
此时,内容可视化部20准备大小与背景A10的显示尺寸一致的板状多边形,如图4-1的布局那样,将帧图像A11纹理映射至多边形表面的一部分(或全部)。这里,帧图像A11也可以用称为缩略图像的形式来表示。此时,以与帧图像A11的显示区域一致的形式缩小(或扩大)帧图像。
另外,节目标题A12、录制日期时间A13、频道名A14等字符信息分别生成将该字符可视化的图像,作为纹理图像,在规定的位置以规定的尺寸将各纹理图像纹理映射至多边形表面的一部分。字符可视化提议各种方法,但例如可使用采用CG技术中的阴影处理(シエ—ダ)技术将由矢量数据表现的字符数据作为纹理数据来可视化(渲染)的公知技术(参照YoshiyukiKokojima,et al.,Resolution-Independent Rendering of Deformable VectorObjects Using Graphics Hardware,Sketches,SIGGRAPH2006,2006.等)来实现。
另外,帧图像A11可使用从内容可视化部20的外部(例如处理对象帧选择部13)指定的帧序号,从动态图像数据库11取得。并且,不仅以原样的状态使用取得的帧图像,也可通过剪裁其一部分,仅使用一部分,或执行扩大缩小等,用作不同分辨率的图像。剪裁例如通过以想取得的图像尺寸来选择帧图像的信息量最大的范围来指定。这可通过使用想取得的图像尺寸的窗来扫描帧图像,算出该窗内的平均信息量(エントロピ—),将平均信息量最大的窗的部分决定为剪裁图像来实现。
上述只不过是一例,也可以任意基准来执行剪裁。另外,不仅利用放大缩小来得到不同的分辨率,也可使用重定目标(リタ—ゲツテイング)等技术,生成不同分辨率的图像而加以利用。所谓编写是适应地执行分辨率变换以最好地表示该帧图像的特征的技术,正在研究开发各种技术。在本发明中,可适宜使用这些技术,利用其结果,作为帧图像A11。
另外,帧图像A11使用从显示对象内容取得的章节信息等,取得任意的章节开头或从章节开头起第任意帧等的帧图像,使用该帧图像。并且,利用根据显示对象内容算出的热烈(盛り上がり)程度等,使用最热烈的帧的帧图像。这里,热烈程度例如可采用使用显示对象内容的声音信息,设保持声音波形大的电平的部分为热烈之处等公知技术。
在图4-1中,作为可视化的要素,使用背景A10、帧图像A11、节目标题A12、录制日期时间A13、频道名A14,但不限于此。例如图4-2所示,也可在背景A10上仅重叠帧图像A11与节目标题A12。另外,要素的布局不限于图4-1、图4-2的实例,可任意布局。
上述说明的字符可视化方法不过是一例,不限于此,可使用其它方法。例如可以是背景A10由规定颜色涂布的方式,或是利用纹理映射贴附规定图像的方式。此时,例如使用内容信息取得部14取得的内容的类型信息,如在其类型为体育的情况下,将背景A10涂蓝,在其类型为电视机的情况下,将背景A10涂黄这样的根据内容的种类来使颜色变化。
若察看利用以上动作可视化的显示对象内容,则可一览察看由图像来表现该内容的类型、标题名、录制日期时间、频道、内容等实际内容的缩略。下面,将由内容可视化部20可视化后的显示对象内容称为‘可视化内容’。
可视化内容群配置部21根据由关联内容算出部18算出的关联度,将由内容可视化部20可视化后的可视化内容群配置在虚拟的三维空间内(下面称为虚拟空间)。
下面,参照图5、图6,说明由可视化内容群配置部21配置在虚拟空间内的可视化内容群。这里,图5、6是表示配置在虚拟空间内的可视化内容群的实例图,图5表示从虚拟空间的上方(Z轴正侧的远方)看的状态,图6表示在与图5相同的空间中且相同配置条件下、从虚拟空间的前方、即由Y轴正侧的远方稍靠Z轴正侧看的状态。
在图5、6中,可视化内容201或可视化内容202表示由内容可视化部20生成的可视化内容。这里,可视化内容201是对应于处理对象内容的可视化内容,配置在由圆锥状构成的配置坐标系的顶点。另外,可视化内容201以外的其它可视化内容202是由显示对象内容选择部19选择为适合于规定条件的内容的显示对象内容的可视化内容。可视化内容群配置部21将这些可视化内容群配置在虚拟三维空间内,所以通过改变观察(渲染)虚拟空间的视点(观察视点),如图6所示,即便相同配置,看到的也不同。设观察视点可由用户经操作装置变更到任意位置。
下面,参照图7、图8-1、图8-2说明基于可视化内容群配置部21的可视化内容的配置动作。
图7是表示由可视化内容群配置部21执行的可视化内容群配置处理的步骤的流程图。首先,可视化内容群配置部21将对应于处理对象内容的可视化内容201配置在虚拟空间内(步骤S301)。这里,处理对象内容是由处理对象内容选择部12选择到的内容,为关联内容算出部18算出的各个内容的关联度的基准。
这里,可视化内容201的配置位置例如配置在虚拟空间的原点(x,y)=(0,0)上,同时,将该可视化内容的法线方向配置为z轴,即法线矢量=(0,0,1)。利用这样的步骤,处理对象内容(可视化内容)被配置在图8-1、图8-2所示的可视化内容201的位置上。
这里,图8-1是从上方(Z轴正侧的远方)观察构成配置对象的虚拟空间的图,图中中央为原点(x,y)=(0,0)。如图8-1所示,设在以原点(x,y)=(0,0)为中心的XY平面中的各方位方向上,事先分配类型的种类。另外,图8-2是从正面(Y轴正侧的远方)观察构成配置对象的虚拟空间的图,图中所示的圆锥形状的轴(虚线部)方向为Z轴。
返回图7,可视化内容群配置部21判定是否配置了全部的配置对象内容(步骤S302)。这里,所谓‘配置对象内容’是指使用内容可视化部20,将由显示对象内容选择部19选择到的显示对象内容群的每个可视化之后的可视化内容。
在步骤S302中,在判定为配置了全部的配置对象内容的情况下(步骤S302;是),结束本处理。另一方面,在步骤S302中判定为存在未配置的可视化内容的情况下(步骤S302;否),决定接着执行配置的配置对象内容(步骤S303)。配置对象内容的决定只要从未配置的配置对象内容中任意选择一个即可。例如,也可以是选择未配置的配置对象内容中、由关联内容算出部18得到的关联度最大的配置对象内容。
接着,可视化内容群配置部21从关联内容算出部18取得步骤S303决定的配置对象内容的关联度(步骤S304)。
之后,可视化内容群配置部21从内容可视化部20取得由步骤S303决定的配置对象内容的内容信息、帧信息、帧图像解析信息中使用的信息(步骤S305)。下面,作为一例,说明使用内容信息中包含的类型(类型信息)的情况,但不限于此。
可视化内容群配置部21决定步骤S303决定的配置对象内容的配置位置(步骤S306),并在该决定的位置上,配置配置对象内容(步骤S307)。
这里,步骤S306中的配置位置的决定利用以下的步骤来执行。首先,可视化内容群配置部21根据配置对象内容的内容信息中包含的类型信息,决定虚拟空间内的XY平面上的配置位置。具体而言,可视化内容群配置部21比较配置对象内容的类型信息与分配给XY平面中的各方位的类型信息,将一致的方位决定为XY平面上的配置位置。
在图8-1中,示出将XY平面上的方位8分割的实例(方位D1-D8),事先向分割后的各方位分配各不相同的类型信息的种类。例如,若涉及配置对象内容的类型信息为‘综艺(variety)’,则可视化内容群配置部21将该配置对象内容在虚拟空间中的XY平面上的配置位置决定为方位D2。
在图8-1中,示出向该方位D2分配‘综艺’、向方位D6分配‘体育’、向方位D8分配‘电视剧’的实例,但不限于此。另外,也可向方位方向分配类型以外的种类。
另外,向各方位的分配不限于是固定的,也可对应于利用时的环境动态地变化。例如,也可参照用户过去的操作履历(未图示),按频繁视听的节目的类型的顺序,向各方位分配。另外,也可利用由用户经操作装置输入的指示信息,改变向各方位的分配。并且,向各方位分配的信息不限于是一个信息,例如也可以是向方位D1与方位D2分配类型、向方位D3分配录制日期时间等同时分配多种信息的方式。
接着,可视化内容群配置部21根据步骤S304取得的配置对象内容的关联度,决定虚拟空间内的Z轴上的配置位置。具体而言,如图8-2所示,在虚拟空间内设置圆锥形状的配置坐标系,决定配置配置对象内容的圆锥台在Z轴上的位置。这里,圆锥台的中心与Z轴正交,配置Z轴上的值(Z值)越大,则关联度越大,Z值越小,则关联度越小的内容。
例如,在将配置了对应于处理对象内容的可视化内容201的位置设为构成上底面的圆锥台B1,该圆锥台B1的半径为规定常数r1的情况下,算出从该上底面在Z轴上的位置Z1、离开与关联度大小相对应的距离的Z轴上的位置Z2(Z1>Z2),在该位置上生成半径r2(r1<r2)的下底面(参照图8-1、8-2圆锥台B2、B3)。这里,半径r2可根据位置Z2的值与圆锥形状的配置坐标系求出。
之后,可视化内容群配置部21将生成的下底面在Z轴上的位置Z2设为配置配置对象内容的Z坐标(Z值),并且,将在先决定的XY面中的方位(例如D2)与下底面之间的交点设为配置配置对象内容的X、X坐标,从而决定虚拟空间内的配置对象内容的配置位置。
对应于关联度的圆锥台在Z轴上的位置(Z值),若设置上底面、下底面时的参数(例如配置坐标系(圆锥)的高度或底面的半径等)确定、从关联度的值变换为Z值的变换确定,则仅通过解简单的几何式,就可唯一决定。在本实施方式中,设虚拟空间上设置的配置坐标系的参数预先确定,但不限于此,也可根据操作履历或由用户经操作装置输入的指示信息来变更。
另外,设与上述从Z1至Z2的导出相关的、对应于关联度的Z值的变换式也预先确定。例如,可使用‘Z2=CO7×(关联度的最大值-某个内容的关联度)’等关系式来求出。这里,CO7是任意常数。与Z2导出相关的关系式不限于此,只要是可对应于关联度唯一导出Z2的关系式即可。
另外,上述中设从关联度至Z2的关系式为连续函数,但不限于此,例如也可通过使用‘Z值=round(A×(关联度值的最大值-某个内容的关联度值))’等关系式,离散地决定Z值。这里,‘round’指四舍五入小数点以下的函数。即,对几个关联度输出相同Z值。另外,即便该关系式也可根据操作履历或由用户经操作装置输入的指示信息来变更。
利用上述动作,例如关联度为v1、类型信息为综艺的可视化内容在步骤S307的处理中,作为图8-1、图8-2中的可视化内容202a,配置在圆锥台B2的边缘部。另外,关联度值为v2(<v1)、类型为体育的可视化内容作为图8-1、图8-2所示的可视化内容202c,配置在圆锥台B3的边缘部。可视化内容202b、202d、202e也一样,配置在与各可视化内容的类型及关联度相对应的虚拟空间内的位置上。
通过如此配置,若如图8-1所示,从上面看虚拟空间,则可容易地识别可视化内容202a与202c的类型是不同的。另外,如图8-2所示,在从横向看虚拟空间的情况下,可容易地识别与可视化内容202c相比,可视化内容202a这一方与可视化内容201之间的关联度大。
返回图7,接着在步骤S308中,可视化内容群配置部21判定是否需要修正已配置内容的配置位置,在判定为不需要的情况下(步骤S308;否),再次返回到步骤S302的处理。这里,所谓‘已配置内容’是指已配置于虚拟空间内的可视化内容。
例如,在使用图8-1、8-2中说明的配置方法(步骤S306中的具体例)的情况下,若存在多个相同关联度、相同类型的内容,则将两者配置在完全相同的位置上。此时,在后阶段的空间可视化部22可视化虚拟空间的情况下,难以区别两者。另外,即便在存在多个相同类型且具有较近的关联度的内容的情况下,多个可视化内容(的一部分)也同样会重合,所以难以判别可视化内容各自的内容。
步骤S308的处理是用于消除这种状况的处理,通过判定所配置的可视化内容之间的位置关系是否在规定值以内,判断是否需要执行配置位置的修正(步骤S308)。这里,设构成判定基准的‘规定值’根据显示时的可视化内容的大小、或后述的空间可视化部22中显示虚拟空间时的视点方向,动态变更其值。例如图8-1所示,在以从上部看的状态显示虚拟空间时,设判定各可视化内容在XY坐标下的二维位置关系,如图8-2所示,在以从侧部看的状态显示虚拟空间时,设判定XYZ坐标下的三维位置关系。
在步骤S308中,在判定为需要修正已配置内容的配置位置的情况下(步骤S308;是),可视化内容群配置部21在执行已配置内容的配置位置的调整之后(步骤S309),移动到步骤S302的处理。
步骤S309的修正方法可考虑多种,但下面说明几个典型的修正方法。首先,作为第1个修正方法,可列举图9-1至图9-6所示,使用事先确定了配置顺序或其位置关系的位置修正信息(未图示),来修正已配置内容的配置位置的方法。
例如,设配置在虚拟空间内的5个可视化内容203a、203b、203c、203d为相同类型且具有较近的关联度。此时,这些可视化内容的配置位置局部集中,所以例如会重合于图9-1所示的可视化内容203a的位置上。此时,可通过根据位置修正信息,错开各可视化内容的配置位置,从而调整配置位置,以使可视化内容彼此不重合。
这里,图9-1示出根据位置修正信息,执行沿横向(图中箭头方向)错开重叠的可视化内容的配置位置来进行修正的实例。此时,将可视化内容203b的位置修正至可视化内容203a的位置附近、在其之后,并且,将下一可视化内容203c修正至可视化内容203b的位置附近,如此修正配置位置,使得沿横向可视化内容彼此不重合。
这里为了简化说明,示出修正成可视化内容彼此不重合的实例,但不限于此。例如也可通过对位置修正信息事先确定可允许的重合量,如图9-2所示,在有允许范围内的重合的状态下修正配置位置。
另外,图9-3示出根据位置修正信息,执行沿纵向错开重叠的可视化内容的配置位置来进行修正的实例。并且,通过组合图9-1与图9-3的修正模式,也可如图9-4所示,以下面这样的方式对位置修正信息设定修正,即:首先在修正成沿横向配置N个之后,移动到下一列,再沿横向配置N个这样的方式。图9-5、图9-6是执行再稍复杂的配置的实例,也可对位置修正信息设定成:修正配置位置后的可视化内容群看成为三角形或扇形等。
上述说明的配置修正方法不过是一例,不限于此。也可修正配置位置,使得修正后的所配置的可视化内容群看成为圆形或椭圆形、菱形等任意几何形状,即便看上去无秩序配置,但只要是可唯一确定配置方法的修正,使用哪种配置模式均无妨。
下面,作为第2个修正方法,可列举使用随机值(随机数)决定修正后的配置位置的方法。这里,参照图10的流程图,说明涉及使用随机值的配置位置修正的处理(配置位置修正处理)的步骤。
首先,可视化内容群配置部21判定是否对构成修正对象的全部可视化内容决定了修正后的配置位置(步骤S401)。这里,在判定为对构成修正对象的全部可视化内容决定了修正后的配置位置的情况下(步骤S401;是),本处理直接结束。
另一方面,在步骤S401中,在判定为存在未处理的可视化内容的情况下(步骤S401;否),将构成修正对象的可视化内容中未处理的一个可视化内容决定为修正对象(步骤S402)。
接着,可视化内容群配置部21随机地算出修正对象的可视化内容的位置修正值(步骤S403)。接着,可视化内容群配置部21分别算出将步骤S402中算出的修正值设为配置位置的修正对象的可视化内容、与已修正的可视化内容之间的重合区域的尺寸(步骤S404)。
接着,可视化内容群配置部21执行步骤S404中算出的重合区域的尺寸是否满足规定基准的判定(步骤S405)。这里,设事先确定阈值等规定基准,但也可以是由用户经操作装置输入的方式,或是根据操作履历等变更的方式。
例如,若是将重合区域的尺寸设为0的基准,则修正位置,使可视化内容彼此不重合。典型地,作为将重合区域的尺寸设为X以下等来提供。这里,X可以是绝对的区域尺寸量,也可以是用可视化内容区域的10%等相对量来指示的方式。
在步骤S405中,在判定为不满足基准的情况下(步骤S405;否),再次返回到步骤S402的处理。另外,在步骤S405中,在判定为满足基准的情况下(步骤S405;是),分别算出将步骤S402中算出的修正值设为配置位置的修正对象的可视化内容、与已修正的可视化内容之间的距离(步骤S406)。这里,‘距离’为,例如将各可视化内容的左上坐标等特定部分定义为代表可视化内容的位置,并算出该位置彼此间的距离。
接着,可视化内容群配置部21判定步骤S406算出的距离是否满足规定的距离基准(步骤S407)。这里,所谓‘距离基准’是用于控制可视化内容间的距离的条件,例如,用于抑制过于远离的条件。对距离基准事先确定可允许的间隔距离的范围,但不限于此,可使用由用户经操作装置输入的值或操作履历等变更。
在步骤S407中,在判定为不满足距离条件的情况下(步骤S407;否),再次返回到步骤S402的处理。另外,在步骤S407中,在判定为满足距离条件的情况下(步骤S407;是),可视化内容群配置部21在将以上处理中算出的修正值决定为修正对象的可视化内容的位置修正值之后(步骤S408),再次返回到步骤S401的处理。
通过对全部修正对象的可视化内容执行以上处理,根据所决定的修正值修正配置位置,从而可以在满足特定基准(重合量、距离)的范围内将可视化内容彼此随机配置。
作为第3个修正方法,可列举使上述第1个与第2个方法组合的方法。即,首先以第1个方法决定大体的修正位置,再由随机值补正该位置的方法。基于随机值的补正方法可使用与上述配置位置决定处理(参照图10)一样的步骤。此时,距离基准最好使用比第2个方法小的值。由此,相对于第1个方法中可视化内容统一地排列,第2个方法可打乱一定程度的程序性后排列可视化内容。由此,可实现宏观上有秩序的、微观上无秩序的配置。
作为第4个修正方法,可列举修正对象的可视化内容群根据整体的基准来进行配置位置的修正的方法。例如,分别使用弹簧模型(バネモデル)结合修正对象的可视化内容群,求出由以该弹簧模型结合的可视化内容群形成的网络中弹簧模型能量平衡的配置,将此设为各个修正位置。
第1个方法执行有秩序的配置,第2个方法执行无秩序的配置,但第4个方法是兼具这两者优点的方法。即,以单个来说是无秩序地进行配置,但从整体看,则是有秩序地进行配置。就弹簧模型而言,提议了各种公知技术,可使用这些方法。
另外,不仅简单的弹簧模型,也可以通过将可视化内容群视为群众,使用群众模拟技术等,决定可视化内容群的配置,从而也可执行配置位置的修正。作为群众模拟,例如可使用Boid模型等。以上说明的方法不过是一例,不限于此,可自由使用。
利用以上处理,例如在去除处理对象内容的可视化内容有5个的情况下,利用各自的类型或关联度值,将5个可视化内容分别配置在虚拟空间内的圆锥台边缘部附近的位置上(图8-1、图8-1的可视化内容202a~202e)。另外,在原点位置配置处理对象内容的可视化内容(图8-1、图8-2的可视化内容201)。
返回图1,空间可视化部22使用关联内容算出部18算出的关联度、内容可视化部20可视化时使用的信息、可视化内容群配置部21的配置结果信息中的任意一个以上,对由可视化内容群配置部21决定了配置位置的每个可视化内容,实施图像处理及CG处理,以规定的视点条件对包含可视化内容群的空间的状态进行可视化。
下面,参照图11,说明空间可视化部22的动作。图11是表示由空间可视化部22执行的空间可视化处理的步骤的流程图。
首先,空间可视化部22执行是否对全部可视化内容执行了步骤S502的处理的判定(步骤S501)。这里,所谓‘全部可视化内容’是指由可视化内容群配置部21配置在虚拟空间中的可视化内容群。
在步骤S501中,在判定为处理了全部可视化内容的情况下(步骤S501;是),移动到步骤S503的处理。另外,在步骤S501中,在判定为存在未处理的可视化内容的情况下(步骤S501;否),空间可视化部22对未处理的每个可视化内容执行CG处理、图像处理(步骤S502),再次返回到步骤S501。在步骤S502的处理中,执行各种CG处理和图像处理。下面,举出几个实例,说明具体的CG处理和图像处理。
作为图像处理,例如可考虑对可视化内容中包含的图像帧(图4中的101),对应于其配置位置,适用模糊滤波器等。作为模糊滤波器,有高斯(ガウシアン)滤波器、低通滤波器、平均值滤波器、中值滤波器等,但随着可视化内容的配置位置、例如Z值来变更对这些图像的适用程度。具体而言,Z值越小,则使模糊变得越强。由此,当如图5所示根据Z轴信息观察空间时,得到越是配置较远的可视化内容,其图像帧的部分越模糊的效果。以上示出适用‘模糊’作为图像处理的实例,但不限于此,可执行任意的CG处理。可将任意的图像处理适用于可视化内容的任意部分。
作为CG处理的实例,可列举可视化内容的半透明化。可视化内容如上所述,例如由CG多边形来实现,但通过变更该多边形顶点的参数、例如α值,可使多边形成为半透明。由此,即便在如图5所示配置多个可视化内容群的情况下,也可得到隐藏在某个可视化内容下的可视化内容透过可见的效果。以上示出执行半透明化作为CG处理的实例,但不限于此,可执行任意的CG处理。
接着,空间可视化部22设定空间可视化用的参数(步骤S503)。具体而言,从何方向可视化虚拟空间,就CG而言,即执行用于渲染虚拟空间的相机(视点)位置或方向、范围等参数的设定。另外,同时,若必要,则也可同时执行空间渲染用光源的位置或光源的强度、范围等参数设定。
另外,在步骤S503的处理中,执行渲染时的可视化范围或如何渲染的设定等。渲染的设定有各种方法,但例如使用阴影处理(シエ—ダ)程序,事先定义几个渲染手法,从这些手法中,使用用户输入或系统设定值等来决定使用的阴影程序,将其设定在GPU中。
接着,空间可视化部22根据步骤S503设定的空间可视化用的参数,通过渲染虚拟空间,执行虚拟空间的可视化(步骤S504),结束本处理。具体而言,根据步骤S503之前设定的CG参数,渲染CG空间。由此,由可视化内容群配置部21,将配置在虚拟空间内的可视化内容群的状态可视化。
另外,在步骤S504的处理时,例如若使用称为体积阴影的CG技术,则在可视化内容前后重合的情况下,面前的内容的影子可能落到深处的内容部分上。此时,在要落影子的内容群的面前侧设定灯,使用体积阴影技术来附加影子。
另外,可通过对渲染后的图像作为后期效果(post effect)进行图像处理,实现同样的效果。另外,在步骤S504中,除此之外,还可同时将可视化内容彼此的附属信息可视化。例如图8-1所示,同时渲染表示XY平面的各方位的轴、或分配给各方位的类型名、圆锥台的等值面等,重叠于在先的可视化内容群的渲染。并且,也可对以上得到的渲染图像执行基于后期效果处理的图像处理,或使用该渲染图像,使用其它阴影程序,再执行渲染,得到新的渲染图像。通过上述操作,生成从特定视点观察布局后的可视化内容群的图像。
返回图1,显示部23将空间可视化部22可视化后的虚拟空间显示于显示画面上。具体而言,显示表示空间可视化部22的渲染结果的图像。
下面,参照图12,说明该实施方式的影像显示装置100的整体动作。图12是表示影像显示装置100的各功能部执行的影像显示处理的步骤的流程图。
首先,处理对象内容选择部12从存储在动态图像数据库11中的内容群中,选择处理对象内容(步骤S601)。接着,处理对象帧选择部13从步骤S601选择的处理对象内容中包含的帧群中,选择处理对象帧(步骤S602)。
接着,关联内容算出部18执行关联内容算出处理,生成表示处理对象内容与检索对象内容群之间的关联度的一览表(步骤S603)。步骤S603的关联内容算出处理与图3中说明的关联内容算出处理一样,所以省略其说明。
接着,显示对象内容选择部19根据步骤S603生成的关联度的一览表,将适用于规定条件的内容与处理对象内容一起选择为显示对象内容时(步骤S604),则内容可视化部20执行这些各显示对象内容的可视化(步骤S605)。
接着,可视化内容群配置部21通过对步骤S605中可视化了的各内容(可视化内容)执行可视化内容群配置处理,在虚拟空间内的规定位置上配置各可视化内容(步骤S606)。步骤S606的可视化内容群配置处理与图7中说明的可视化内容群配置处理一样,所以省略其说明。
接着,空间可视化部22通过执行空间可视化处理,当以规定的视点条件渲染步骤S606中配置有可视化内容群的虚拟空间时(步骤S607),将该渲染结果显示于显示部23中(步骤S608)。
接着,处理对象帧选择部13判定处理对象帧是否到达更新的定时(步骤S609)。具体而言,在处理对象内容是30帧/秒的帧率动态图像的情况下,更新定时以约33毫秒(1000毫秒/30帧)的间隔到来。在判定为超过该定时的情况下(步骤S609;是),作为更新的定时,前进到步骤S610的处理。否则,再次返回步骤S608,重复画面显示。即,在以不足更新定时的间隔执行显示的情况下,显示相同图像。
接着,在步骤S610中,处理对象帧选择部13执行是否需要处理对象帧的更新的判定(步骤S610)。这里,是否需要更新的判定基准不特别过问,但在本实施方式中,在处理对象内容中当前的处理对象帧之后还存在帧的情况下,即判定为存在未显示的帧的情况下,判定为需要更新处理对象帧。
在步骤S610中,在判定为需要更新处理对象帧的情况下(步骤S610;是),处理对象帧选择部13更新处理对象帧之后(步骤S611),再次返回步骤S602的处理。这里,所谓处理对象帧的更新是指清除当前的处理对象帧。
通过返回到步骤S602的处理,处理对象帧选择部13选择步骤S611中更新后的新的帧,作为处理对象帧。在本实施方式中,设上次未选择为处理对象帧的帧的一下帧,被选择为更新后的处理对象帧。更新后的处理对象帧的选择方法不限于此。例如,在处理对象内容被章节分割的情况下,也可是选择下一章节的开头帧(或下一章节中包含的任意帧)的方式。另外,在当前帧是最终帧的情况下,也可是选择开头帧的方式。
下面,通过执行步骤S603~S608的处理,能够观察与更新后的处理对象帧关联性高的内容群按其关联性配置在虚拟空间中的状态。即,若处理对象帧变化,则关联的内容的选择方式或虚拟空间内的布局也变化,所以能够观察空间的可视化与处理对象帧的转变一起动态变化的情况。
另一方面,在步骤S610中,在判定为不需要更新处理对象帧的情况下(步骤S610;否),处理对象内容选择部12判定是否需要更新处理对象内容(步骤S612)。在本实施方式中,设根据来自用户的指示内容来判定有无更新的必要,例如在经操作装置,从用户选择其它内容作为新的处理对象内容的情况下,判定为需要更新处理对象内容。
处理对象内容的更新有无的判定不限于上述方式。例如,不仅用户输入,还可考虑处理对象内容选择部12自动选择处理对象内容的情况。例如,考虑自动选择与当前的处理对象内容关联度最高的内容作为新的处理对象内容的情况。另外,还考虑去除当前的处理对象内容,自动选择最近录制的内容作为新的处理对象内容的情况。即便在这种情况下,处理对象内容选择部12也判定为需要更新处理对象内容。
在步骤S612中,在判定为不需要更新处理对象内容的情况下(步骤S612;否),结束本处理。另一方面,在步骤S612中,在判定为需要更新处理对象内容的情况下(步骤S612;是),处理对象内容选择部12更新当前的处理对象内容(步骤S613),返回到步骤S601的处理,从而选择指示的内容,作为新的处理对象帧。这里,所谓处理对象内容的更新是指清除当前的处理对象内容。
通过返回到步骤S601的处理,处理对象内容选择部12对应于来自显示部23的指示,选择所指示的内容,作为新的处理对象帧。接着,通过执行步骤S602~S608的处理,能够观察与更新后的处理对象内容关联性高的内容群按其关联性配置在虚拟空间中的状态。即,若处理对象内容变化,则关联的内容群的选择方法或虚拟空间内的布局也变化,所以能观察空间的可视化与处理对象内容的转变一起动态变化的情况。
这样,通过沿帧的时间系列的流动使处理对象帧依次转变,处理对象内容自身被再现,所以例如图8-1的中心部配置的可视化内容201被再现为动态图像。另外,伴随着再现的帧的转变,与该动态图像整体和/或该动态图像当前的帧关联度高的内容群,作为可视化之后的内容群(图中的202a~202e等),以布局在可视化内容201的周围的状态显示于画面上。
图13-1、图13-2是用于说明影像显示处理的动作的图。如图13-1所示,例如在对应于处理对象内容的可视化内容201中显示涉及料理的帧图像的情况下,在可视化内容201的周边,沿周边布局了与该处理对象帧关联度高的内容群(例如料理节目等)。
这里,切换可视化内容201中显示的帧,如图13-2所示,当显示涉及特定人物的帧图像时,伴随该帧的切换,将与表示该特定人物的处理对象帧关联度高的内容群布局在可视化内容201的周边,所以为与图13-1不同的内容群和布局。
如上所述,根据本实施方式的影像显示装置100,可利用配置在虚拟空间内的可视化内容间的位置关系,来表示处理对象内容与显示对象内容之间的关联性,所以能将处理对象的动态图像内容与显示对象的动态图像内容之间的关联性可视化。由此,用户可容易地知道与处理对象内容关联度高的内容群以何种分布存在于动态图像数据库11中。
在本实施方式中,设动态图像数据库11为设置在存储装置中的数据库,但不限于此。例如,用于数据存储、取得的也不限于HDD,也可以是DVD-RAM等其它存储媒体。另外,动态图像数据库11中的数据存储、管理用的存储区域不限于单一的存储区域,也可汇总存储到HDD或DVD-RAM等多个存储媒体的存储区域中进行存储,各存储区域不需要位于同一设备内部。另外,在构成为能够访问经通信部网络连接的其它装置的动态图像数据库11的情况下,也可由自己装置的动态图像数据库11与其它装置的动态图像数据库11构成一个动态图像数据库11。
[第1实施方式的变形例1]
下面,参照图14,说明本实施方式的变形例1的影像显示装置101。对与上述影像显示装置100一样的构成附加相同符号,省略其说明。
图14是表示影像显示装置101的功能构成的框图。如图14所示,影像显示装置101除上述动态图像数据库11、处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、关联内容算出部18、显示对象内容选择部19、内容可视化部20、空间可视化部22和显示部23外,还具备配置履历管理部24与可视化内容群配置部25。
配置履历管理部24是由上述存储部实现的功能部。可视化内容群配置部25是通过上述控制部执行存储在存储部中的各种程序来实现的功能部。
配置履历管理部24将可视化内容群配置部25决定的各可视化内容的内容信息、与其配置位置和关联度相对应,并存储管理为履历信息。配置履历管理部24对应于来自可视化内容群配置部25的请求,读出履历信息,并输出到可视化内容群配置部25。存储的履历信息的个数不特别过问,可对应于使用环境来任意设定。
可视化内容群配置部25具有与可视化内容群配置部21一样的功能,并且,参照由配置履历管理部24存储管理的履历信息,在算出作为当前配置对象的可视化内容的配置位置时利用。
具体而言,例如在判定为与作为当前配置对象的可视化内容的内容信息一致、且关联度为与配置履历管理部24得到的1步骤之前的关联度相同或相近的值的情况下,不执行配置位置的算出计算,将对应于该关联度而存储的配置位置设为该可视化内容的配置位置。这里,是否是‘相近值’的判定可根据例如|X0-X1|<ε的关系式来判定。这里,X0是当前配置对象中某个可视化内容的关联度,X1是存储在履历信息中的关联度(例如构成上次配置对象的可视化内容的关联度),ε为任意的小常数。ε的值也可在后述的影像显示处理的每次重复中为不同的值。
另外,可视化内容群配置部25在判定为与作为当前配置对象的可视化内容的内容信息一致、且关联度与配置履历管理部24得到的1步骤之前的关联度不同的情况下,即判定为|X0-X1|>ε的情况下,参照包含与作为当前配置对象的可视化内容的内容信息相同的内容信息的履历信息中、过去的数个步骤的履历信息中包含的配置位置,补正算出的配置位置。这里,补正例如进行插补,将过去数个步骤的配置位置考虑为时间系列数据,执行样条(spline)插补等参数曲线插补,使其变平滑,当前的配置位置大大离开该插补曲线。以上只是一例,插补方法也可使用各种方法。
下面,参照图15,说明本实施方式的变形例1的可视化内容的配置动作。图15是表示由可视化内容群配置部25执行的、可视化内容群配置处理的步骤的流程图。首先,可视化内容群配置部25将处理对象内容配置在虚拟空间内(步骤S701)。
接着,可视化内容群配置部25判定是否配置了全部配置对象内容(步骤S702)。这里,所谓‘配置对象内容’是指使用内容可视化部20将由显示对象内容选择部19选择到的显示对象内容群的每个可视化之后的内容。
在步骤S702中,在判定为配置了全部配置对象内容的情况下(步骤S702;是),结束本处理。另一方面,在步骤S702中判定为存在未配置的可视化内容的情况下(步骤S702;否),决定接着执行配置的配置对象内容(步骤S703)。
之后,可视化内容群配置部25从关联内容算出部18取得由步骤S703决定的配置对象内容(可视化内容)的关联度(步骤S704)。
接着,可视化内容群配置部25取得步骤S703决定的可视化内容的内容信息、帧信息、帧图像解析信息中至少包含内容信息的任一或全部信息(步骤S705)。这些信息从内容信息取得部14、帧信息取得部15、帧图像解析部16取得,可视化内容群配置部25经内容可视化部20取得。
之后,可视化内容群配置部25参照由配置履历管理部24存储管理的履历信息,判定是否存在与步骤S705取得的内容信息相同、且与步骤S704取得的关联度一致或相近值的履历信息(步骤S706)。
在步骤S706中,在判定为不存在履历信息的情况下(步骤S706;否),通过与上述图7的步骤S306一样的处理,决定步骤S703决定的配置对象内容的配置位置(步骤S707)。在步骤S707中,可视化内容群配置部25参照包含与作为当前配置对象的可视化内容的内容信息相同的内容信息的履历信息中、过去的数个步骤的履历信息中包含的配置位置,执行算出的配置位置的补正。
之后,可视化内容群配置部25将作为当前配置对象的可视化内容的内容信息、步骤S707决定的配置位置,与步骤S704取得的关联度相对应,作为履历信息存储在配置履历管理部24中之后(步骤S708),移动到步骤S710的处理。
另一方面,在步骤S706中,在判定为存在与步骤S704取得的关联度一致或相近值的履历信息的情况下(步骤S706;是),从配置履历管理部24中读出对应于该关联度存储的配置位置,将该读出的配置位置决定为本次的配置对象内容的配置位置之后(步骤S709),移动到步骤S710的处理。
接着在步骤S710中,可视化内容群配置部25通过与上述图7的步骤S307一样的处理,将配置对象内容,配置在由步骤S707或步骤S709决定的配置位置(步骤S710)。
之后,可视化内容群配置部25判定是否需要修正已配置内容的配置位置,在判定为不需要的情况下(步骤S711;否),再次返回到步骤S702的处理。另一方面,在步骤S711中判定为需要修正已配置内容的配置位置时(步骤S711;是),可视化内容群配置部25在执行已配置内容的配置位置的修正之后(步骤S712),移动到步骤S702的处理。
在执行上述可视化内容群配置处理的情况下,将上述影像显示处理(参照图12)的步骤S609否时的循环目的地,设为步骤S606。步骤S606的可视化内容群配置处理执行图15所示的可视化内容群配置处理。
这样,根据第1实施方式的变形例1的构成,不仅可减轻可视化内容的配置位置算出的计算量,还可抑制对应于处理对象帧变化而变化的各可视化内容的配置位置不连续地运动,配置在空间中的可视化内容平滑运动地观看。具体而言,由于可算出不足帧的显示定时(例如不足约33毫秒)的可视化位置,所以可实现如下效果,即执行反映了不足帧的更新定时的空间可视化结果的画面显示,故可提高空间可视化结果的显示率,显示可平滑地观看。
[第1实施方式的变形例2]
下面,参照图16,说明本实施方式的变形例2的影像显示装置102。对与上述影像显示装置100一样的构成附加相同符号,省略其说明。
图16是表示影像显示装置102的功能构成的框图。如图16所示,影像显示装置102除上述动态图像数据库11、处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、关联内容算出部18、显示对象内容选择部19、内容可视化部20、空间可视化部22和显示部23外,还具备配置状况解析部26与可视化内容群配置部27。
配置状况解析部26与可视化内容群配置部27是通过上述控制部执行存储在存储部中的各种程序来实现的功能部。
配置状况解析部26通过对可视化内容群配置部27所决定的可视化内容群的配置位置状况进行解析,判定可视化内容群的配置的偏倚状态(例如配置偏向特定范围、特定范围为过密状态、过疏状态等),并将其结果反馈到可视化内容群配置部27。具体而言,通过解析按每个类型配置的可视化内容的量之比,算出每个类型下的配置数量为何比例,将其结果输出到可视化内容群配置部27。另外,算出虚拟空间每单位区域的配置数,将其结果输出到可视化内容群配置部27。
可视化内容群配置部27基本上执行与第1实施方式的说明一样的动作,并且,使用从配置状况解析部26输入的配置状况的解析结果反馈,变更可视化内容群的配置位置。在第1实施方式中,使用图8-1说明了配置位置的算出。下面,使用一样的实例来说明可视化内容群配置部27的动作。
为了简化说明,将类型设为A、B、C、D这4种。若设配置状况解析部26中的配置状况解析结果在类型A、B、C、D下的可视化内容的配置数之比为1:1:1:1,则可视化内容群配置部27如图17-1所示,将由该比得到的各1/4的区域分别设为类型A、B、C、D的配置范围。
另外,若设类型A、B、C、D下的可视化内容的配置数之比为3:2:1:2,则可视化内容群配置部27如图17-2所示,将由该比得到的各个3/8、1/4、1/8、1/4的区域分别设为类型A、B、C、D的配置范围。具体而言,可视化内容群配置部27如配置在各区域内那样,执行图7的步骤S306的配置位置决定和步骤S309的配置位置修正。
在不利用配置状况解析部26和可视化内容群配置部27执行配置位置修正的情况下,若可视化内容群中存在相对于类型的差别,则在配置后的虚拟空间中,产生可视化内容非常过密地配置的部分、和基本上未配置的部分。由此,产生难以看到非常过密地配置的部分的可视化内容的问题。但是,如上所述,若与配置内容的量一致地适应地变化配置范围,则可消除这种问题,即便可视化内容的类型倾向中存在差别,也可始终容易看到地加以配置。
另外,也可变更使用作为配置状况解析部26中的配置状况解析结果而被反馈的‘可视化内容的单位配置量’而算出的配置。这里,所谓‘可视化内容的单位配置量’是表示虚拟空间中的每单位区域配置多少可视化内容的数值(密度)。密度大的地方过密配置,小的地方过疏配置。
因此,例如若空间定义该配置量(配置密度)的倒数,并求出该空间的重心点,则该空间中密度的平衡点(重心点)确定。将该平衡量作为原点,沿虚拟空间中XY平面的方位方向绘制出类型的实例示于图18-2中。图18-1是用于与图18-2对比的图,表示将圆锥台B1、B2、B3的中央设为原点的默认状态(对应于图8-1、8-2的状态)。
在如此错开原点之后,通过执行可视化内容的配置位置算出、修正等,向解析结果的反馈前过密的部分分配比以前大的配置位置(参照图18-2的类型B的配置范围)。此时,例如图19所示,将圆锥的原点三维地从原点位置移动到算出的重心点来实现。由此,消除以前变得过密配置而难以观看的部分,可整体地容易观看。
上述说明的重心的算出方法只是一例。也可在空间中定义该配置量(配置密度)的倒数,当求出该空间的重心点时,投影到XY平面上,执行二维的重心计算,在该重心位置合用最初的Z值。另外,也可以一定程度的幅度将Z值离散值化,对该离散值化后的每个幅度分别算出重心位置。
这样,根据第1实施方式的变形例2的构成,当可视化虚拟空间时,可减轻配置的可视化内容过密的部分,实现该部分的可视化内容的实际内容容易观看的效果。以上说明的基于比(比例)的方法、基于密度倒数的重心点的方法只是一例,不限于此。只要是可使用配置状况的解析结果消除空间配置时的过密、过疏等配置的配置位置修正方法,则均可同样使用。
[第1实施方式的变形例3]
下面,参照图20,说明本实施方式的变形例3的影像显示装置103。对与上述影像显示装置100一样的构成附加相同符号,省略其说明。
图20是表示影像显示装置103的功能构成的框图。如图20所示,影像显示装置103除上述动态图像数据库11、处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、关联内容算出部18、内容可视化部20、可视化内容群配置部21、空间可视化部22和显示部23外,还具备第2配置状况解析部28与显示对象内容选择部29。
第2配置状况解析部28与显示对象内容选择部29是通过上述控制部执行存储在存储部中的各种程序来实现的功能部。
第2配置状况解析部28通过对可视化内容群配置部21所决定的可视化内容群的配置位置状况进行解析,判定可视化内容群的配置的偏倚状态(配置偏向特定范围、特定范围为过密状态、过疏状态等),并将其结果反馈到显示对象内容选择部29。具体的动作与第1实施方式的变形例2的影像显示装置102之配置状况解析部26一样。
显示对象内容选择部29执行基本上与第1实施方式的说明一样的动作。除此之外,存在伴随第2配置状况解析部28的追加的变更点。在第1实施方式中,仅使用关联内容算出部18的结果,仅适合期望条件的内容被选择为显示对象内容,但除此之外,根据由第2配置状况解析部28的解析结果得到的可视化内容群配置后的空间的过密、过疏状况,限制过密部分中配置的可视化内容。
显示对象内容选择部29在第2配置状况解析部28的解析结果为虚拟空间中的配置密度(每单位区域的配置数)超过规定量的情况下,根据预先确定的限定数,限制配置在其空间周边的可视化内容数。使用关联内容算出部18得到的关联度来限制可视化内容数,从关联度大的一方起,对超过限定数的内容,从显示对象内容选择部29的选择对象中去除。
具体而言,将虚拟空间分割成几个块,根据第2配置状况解析部28得到的配置密度,算出该块单位下的配置密度。之后,计数该块中配置的可视化内容数,对于超过限定数的,执行从关联度低的一方起舍弃的处理。设构成指标的‘限定数’作为设定信息事先存储。另外,该限定数也可是利用由用户经操作装置输入的值或操作履历等变更的方式。
这样,根据第1实施方式的变形例3的构成,通过对应于配置密度调整可视化内容的配置,可减轻可视化内容过密的部分,所以实现当可视化虚拟空间时、可视化内容的实际内容容易观看的效果。
[第1实施方式的变形例4]
下面,参照图21,说明本实施方式的变形例4的影像显示装置104。对与上述影像显示装置100一样的构成附加相同符号,省略其说明。
图21是表示影像显示装置104的功能构成的框图。如图21所示,影像显示装置104除上述动态图像数据库11、处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、关联内容算出部18、显示对象内容选择部19、可视化内容群配置部21、空间可视化部22和显示部23外,还具备第3配置状况解析部30与内容可视化部31。
第3配置状况解析部30与内容可视化部31是通过上述控制部执行存储在存储部中的各种程序来实现的功能部。
第3配置状况解析部30通过对可视化内容群配置部21所决定的可视化内容群的配置位置状况进行解析,判定可视化内容群的配置的偏倚状态(例如配置偏向特定范围、特定范围为过密状态、过疏状态等),并将结果反馈到内容可视化部31。具体的动作与第1实施方式的变形例2的影像显示装置102中的配置状况解析部26一样。
内容可视化部31具有与上述内容可视化部20一样的功能,并且,接收从第3配置状况解析部30得到的配置状况解析结果的反馈,执行多个可视化内容的合并(マ—ジ),作为新的一个可视化内容重新生成。
具体而言,当来自第3配置状况解析部30的反馈结果为存在以过密状况配置的两个(以上)可视化内容时,在其满足规定条件的情况下,合并这两个(以上)可视化内容,再构成为一个可视化内容。
这里,构成是否合并的判定指标的‘规定条件’可对应于使用环境来任意设定。例如,可将节目标题具有近似性作为条件,此时,节目标题的一部分(或全部)相同、是相同电视剧的第N集与第M集、是相同电视剧的重播、是相同电视剧的续集等成为条件。另外,也可将录制日期时间存在近似性作为条件,此时,录制日相同、或是相近日期时间、或是相同的周几、或是相同时间段、或是在过去1周中录制等成为条件。另外,也可将录制频道存在近似性作为条件,此时,是相同频道、同系列的频道等成为条件。另外,也可将演出者信息存在近似性作为条件,此时,是某个演出者X出演的节目、或是属于某个组的人物出演的节目、或是属于同一事务所的人物出演的节目、或是相同类型的演出者出演的节目等成为条件。另外,也可将类型中存在近似性作为条件,此时,是相同足球节目、体育的类型不同、但两者均为体育节目等成为条件。
在满足规定条件的情况下,合并多个可视化内容,再构成为一个可视化内容。此时,适当加工使用图4-1、图4-2说明的背景A10、帧图像A11、节目标题A12、录制日期时间A13、频道名A14等。
例如,在存在节目标题的近似性的情况下,将节目标题的共同部分汇集为一个,对其附加非共同部分。具体地,在存在某个电视剧X的1集、2集、3集的情况下,如‘电视剧X(第1集~第3集)’等所示加工节目标题A12的部分。另外,在录制日期时间存在近似性的情况下,例如将录制日期时间A13加工为‘昨天录制’,同时,将节目标题A12加工为‘节目A、节目B、节目C’,将频道名A14加工成‘频道X、频道Y、频道Z’等。这里,节目A、B、C是满足昨天录制的条件的节目,其频道分别设为X、Y、Z。在‘存在演出者信息的近似性’的情况下,同样如‘演出者X的演出节目(电视剧X、综艺Y、音乐节目Z)’等所示加工节目标题A12的部分。
另外,类型存在近似性时也一样,例如‘体育节目(足球X、棒球Y、棒球Z)’等所示加工节目标题A12的部分。同时,对录制日期时间A13或频道名A14也如上所述加工。另外,就背景A10而言,执行变为不同颜色、变为不同花纹等加工,以便知道合并这一情况。例如,作为类型A是红背景,类型B是蓝背景,执行合并两者变为从红到蓝的渐变背景等加工,或使用完全不同的颜色或图案。
另外,就帧图像A11而言,将多个帧图像合并成一个。具体而言,从多个帧图像中,以某一基准(例如信息量最多的图像(例如可使用直方图等来判断)选择一个,设为帧图像,排列多个帧图像,设为一个帧图像,制作混合多个帧图像的镶嵌图像,并设为一个帧图像,抽取多个帧图像中各个图像内的任意部分,将其混合后,生成新的图像等。另外,以上合并用的加工只是一例,实际上不限于此,只要实现适当合并各种信息变为一个即可。
这样,根据第1实施方式的变形例4的构成,通过合并虚拟空间内过密部分上配置的可视化内容,可消除该部分的过密状态,所以实现容易观看可视化内容的实际内容的效果。
[第1实施方式的变形例5]
下面,参照图22,说明本实施方式的变形例5的影像显示装置105。对与上述影像显示装置100一样的构成附加相同符号,省略其说明。
图22是表示影像显示装置105的功能构成的框图。如图22所示,影像显示装置105除上述动态图像数据库11、处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、关联内容算出部18、显示对象内容选择部19、空间可视化部22和显示部23外,还具备第4配置状况解析部32、显示对象内容加工部33、内容可视化部34与可视化内容群配置部35。
第4配置状况解析部32、显示对象内容加工部33、内容可视化部34与可视化内容群配置部35是通过上述控制部执行存储在存储部中的各种程序来实现的功能部。
第4配置状况解析部32通过对可视化内容群配置部21所决定的可视化内容群的配置位置状况进行解析,判定可视化内容群的配置的偏倚状态(例如配置偏向特定范围、特定范围为过密状态、过疏状态等),并将结果反馈到显示对象内容加工部33。具体的动作与第1实施方式的变形例2的影像显示装置102的配置状况解析部26一样。
显示对象内容加工部33接收来自第4配置状况解析部32的反馈,加工从显示对象内容选择部19得到的构成显示对象的内容群。具体而言,若接收来自第4配置状况解析部32的反馈,则加工配置过密部分的显示对象内容群,将多个显示对象内容的信息汇集成一个。涉及加工的动作与上述内容可视化部31一样。
内容可视化部34接收由显示对象内容加工部33加工的显示对象内容群,执行用于可视化各显示对象内容的动作。涉及可视化的动作与上述内容可视化部20一样。
可视化内容群配置部35根据关联内容算出部18算出的关联度,将从内容可视化部34得到的可视化内容群配置在虚拟空间内。向虚拟空间内的配置方法与上述可视化内容群配置部21一样。
这样,根据第1实施方式的变形例5的构成,通过合并虚拟空间内过密部分上配置的可视化内容所对应的显示对象内容,可消除该部分的过密状态,所以实现容易观看可视化内容的实际内容的效果。
[第1实施方式的变形例6]
下面,参照图23,说明本实施方式的变形例6的影像显示装置106。对与上述影像显示装置100一样的构成附加相同符号,省略其说明。
图23是表示影像显示装置106的功能构成的框图。如图23所示,影像显示装置106除上述动态图像数据库11、处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、显示对象内容选择部19、内容可视化部20、可视化内容群配置部21、空间可视化部22和显示部23外,还具备关联内容算出部36。
关联内容算出部36是通过上述控制部执行存储在存储部中的各种程序来实现的功能部。
关联内容算出部36具有与关联内容算出部18一样的功能,并且,将列出的内容中、从关联度高的内容开始的规定个数的内容,登记在处理对象内容列表中。另外,关联内容算出部36对登记在处理对象内容列表中的内容的每个,赋予用于作为处理对象内容而依次处理的处理次数。即,关联内容算出部36对应于该处理次数的值,将登记在处理对象内容列表中的内容依次设为处理对象内容。
也可将表示相同值的处理次数赋予多个内容,例如在存在多个关联度为同值的内容的情况下,向这些内容赋予表示相同值的处理次数。另外,赋予的处理次数的值将关联度最高的设为‘1’,在关联度下降的同时,升序赋予处理次数的值,但不限于此例。
下面,参照图24来说明关联内容算出部36的动作。图24是表示关联内容算出部36执行的关联内容算出处理的步骤的流程图。作为本处理的前提,设处理对象内容及处理对象帧是由处理对象内容选择部12和处理对象帧选择部13选择的。另外,内容可视化部20还根据该处理对象内容及处理对象帧,算出处理对象内容与其它内容之间的关联度。并且,关联内容算出部36根据由内容可视化部20算出的关联度,已生成上述处理对象内容列表。
首先,在步骤S801中,关联内容算出部36从处理对象内容列表中,选择对应于当前处理次数的一个内容,作为处理对象内容(步骤S801)。
接着,关联内容算出部36使用处理对象帧选择部13,从步骤S801选择的处理对象内容中选择处理对象帧(步骤S802)。
接着,关联内容算出部36决定构成检索对象的内容的条件时(步骤S803),对与该条件对应的全部检索对象内容执行是否执行步骤S810的关联度算出处理的判定(步骤S804)。下面,将检索对象的内容称为检索对象内容。
在步骤S804中,在判定为对全部检索对象内容执行了步骤S810的关联度算出处理的情况下(步骤S804;是),直接移动到步骤S811的处理。另一方面,在步骤S804中,在判断为未对全部检索对象内容执行关联度算出处理的情况下(步骤S804;否),关联内容算出部36从检索对象内容中选择一个未处理的检索对象内容(步骤S805)。
接着,关联内容算出部36执行在关联度算出中是否使用帧信息的判定(步骤S806)。这里,是否使用帧信息的判定可事先确定为设定信息,或由来自用户的指定来决定。
在步骤S806中,在判定为不使用帧信息的情况下(步骤S806;否),直接移动到步骤S810的处理。另一方面,在步骤S806中,在判定为使用帧信息的情况下(步骤S806;是),决定从检索对象内容中选择检索对象帧的条件(步骤S807)。
接着,关联内容算出部36判定是否对全部检索对象帧执行了步骤S810的关联度算出处理,在判定为处理了的情况下(步骤S808;是),再次返回到步骤S804的处理。
另一方面,在步骤S808中,在判定为存在未处理的检索对象帧的情况下(步骤S808;否),在与步骤S807决定的条件匹配的检索对象帧群中,选择一个未处理的检索对象帧(步骤S809)。
接着,关联内容算出部36通过向关联度算出部17通知处理对象内容、处理对象帧、检索对象内容和检索对象帧,使关联度算出部17执行关联度算出处理之后(步骤S810),再次返回到步骤S808的处理。步骤S810的关联度算出处理与图2所示的关联度算出处理一样,但执行考虑了对应于处理次数的加权后的关联度的算出。
具体而言,对于图2所示的关联度算出处理算出的关联度R,通过算出下式(5),导出变更后的关联度R’。这里,N表示总的处理次数(成为结束条件的处理次数),Rn,m表示第n次处理次数中的第m个处理对象内容的关联度。即,处理次数越大,则其加权值越小。以上的算出方法是一例,不限于此。
[式5]
R &prime; = &Sigma; n 1 N &Sigma; m R n , m &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; ( 5 )
接着,在步骤S811中,关联内容算出部36通过从处理对象内容列表中删除构成本次处理对象内容的内容,更新处理对象内容列表(步骤S811)。
接着,关联内容算出部36参照处理对象内容列表中登记的内容,判定是否存在对应于当前处理次数的内容(步骤S812)。这里,在判定为存在对应于处理次数的内容的情况下(步骤S812;是),再次返回到步骤S801的处理。
另一方面,在步骤S812中,在判定为不存在对应于处理次数的内容的情况下(步骤S812;否),通过对当前的处理次数加1,更新处理次数之后(步骤S813),判定处理次数是否满足结束条件(步骤S814)。
这里,所谓‘处理次数的结束条件’是指使步骤S801~步骤S814的循环处理结束时、构成基准的处理次数的值。作为结束条件,例如也可是向赋予处理对象内容列表的各内容列表的最大处理次数加1之后的值。另外,也可以是事先设定的值,或是由用户经操作装置输入的方式。
在步骤S814中,在判定为处理次数不满足结束条件的情况下(步骤S814;否),再次返回到步骤S801的处理。另外,在步骤S814中,在判定为处理次数满足结束条件的情况下(步骤S814;是),移动到步骤S815的处理。
之后,关联内容算出部36在步骤S815中,使用对此前算出的处理对象内容的M个(这里M是与步骤S803决定的条件匹配的内容数)的关联度,生成处理对象内容与动态图像数据库11中存储的检索对象内容群之间的关联度列表,在将其作为按关联度从大到小的顺序重新排列的一览表加以管理之后(步骤S815),结束本处理。
利用以上的处理,对于一个处理对象内容,从动态图像数据库11中选择涉及演出者的关联性高(算出高关联度)的内容群{C},并且,在将{C}中包含的各个内容设为处理对象的情况下,再从动态图像数据库11中选择涉及各个出演的演出者的关联性高的内容群。
具体而言,若设某个处理对象内容C中有出演的演出者A,则在关联内容算出部18执行的关联内容算出处理(参照图3)中,得到演出者P1出演(或与演出者A的关联性高)的内容群{C1i|i=0,...,n},相反,在关联内容算出部36执行的关联内容算出处理中,除该结果外,在内容C1o中出现演出者P2的情况下,进一步从动态图像数据库11中得到演出者P2出演的内容群{C2i|i=0,...,n}。
另外,同样,在内容C1i中出现演出者P3的情况下,得到演出者P3出演的内容群{C3i|i=0,...,n},以连锁的方式得到关联度高的内容群。即,若第1实施方式相当于关联度的1次检索,则可将该第1实施方式的变形例6的情况视为进行2次检索。
这样,根据第1实施方式的变形例6的构成,不仅仅将与处理对象内容关联性高的内容可视化,还能够将与这些内容具有关联性的其它内容可视化。由此,不仅可确认与处理对象内容具有强的关联性的可视化内容的实际内容,还可实现能够确认间接地关联这样的具有弱的关联性的内容的实际内容之效果。
[第1实施方式的变形例7]
下面,参照图25,说明本实施方式的变形例7的影像显示装置107。对与上述影像显示装置100一样的构成附加相同符号,省略其说明。
图25是表示影像显示装置107的功能构成的框图。如图25所示,影像显示装置107除上述动态图像数据库11、处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、显示对象内容选择部19、内容可视化部20、可视化内容群配置部21和显示部23外,还具备关联性解析部37与空间可视化部38。
关联性解析部37与空间可视化部38是通过上述控制部执行存储在存储部中的各种程序来实现的功能部。
关联性解析部37对关联内容算出部18算出的关联度与可视化内容群配置部21中的配置状况进行综合解析,将其结果反馈到空间可视化部38。具体而言,关联性解析部37根据对各可视化内容算出的关联度与各可视化内容的配置位置,解析虚拟空间内的配置的分布(过疏或过密化等),将该解析结果传递到空间可视化部38。
空间可视化部38执行与上述空间可视化部22一样的动作,并且,接收来自关联性解析部37的反馈,变更可视化虚拟空间时的渲染参数,或变更可视化时的渲染方法。具体而言,空间可视化部38根据来自关联性解析部37的反馈信息,在过密配置的可视化内容多的情况下,通过改变可视化用的透视台的参数,调整虚拟空间的范围,从而使可视化空间的坐标标度(scale)变化,结果,执行即便过密配置也可容易看到的渲染。
例如,在从Z轴方向的视点位置观察可视化内容群的情况下,在Z轴方向的可视化内容的分散小的情况下,在可覆盖其的范围内尽可能变窄Z缓冲器的近面与远面的间隔,容易看到,在分散大的情况下,则可以说相反。另外,在分散大的情况下,尽可能将视野角取得宽则容易看到。另外,可根据配置状况来决定容易观看的视点。例如,采用尽可能减小可视化内容彼此的重合的视点等。另外,在所配置的可视化内容多的情况下,增加渲染时的光源的光量,使其中高低变化(メリハリ)变强。
这样,通过对应于解析状况,适当变更遮光的方法、阴影的生成方法等,可执行容易观看的可视化。并且,在决定某个视点条件之后,为了容易从该视点方向观看,可对每个可视化内容变形多边形的CG模型(几何模型),或变更多边形的姿势。
例如从某个视点方向看的情况下,若构成可视化内容的多边形(代表该多边形的部分)的法线方向与视线矢量所成的角度接近90度,则该可视化内容的多边形面基本上看不到。在这种情况下,若向视点方向旋转多边形模型后所成角度比90度小,则可容易看到。同样的效果也可通过变更形成多边形的几何形状,对多边形的一部分(或全部),使与视点方向所成的角度变小来实现。就多边形的姿势变更或变形而言,可使用CG技术的一般方法。
这样,根据第1实施方式的变形例7的构成,当可视化虚拟空间时,减轻配置的可视化内容过密的部分,实现该部分的可视化内容的实际内容容易观看的效果。
[第1实施方式的变形例8]
下面,参照图26,说明本实施方式的变形例8的影像显示装置108。对与上述影像显示装置100一样的构成附加相同符号,省略其说明。
图26是表示影像显示装置108的功能构成的框图。如图26所示,影像显示装置108除上述动态图像数据库11、处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、显示对象内容选择部19、内容可视化部20、可视化内容群配置部21和显示部23外,还具备配置运动插补部39与空间可视化部40。
配置运动插补部39与空间可视化部40是通过上述控制部执行存储在存储部中的各种程序来实现的功能部。
配置运动插补部39是用于执行插补、以使由可视化内容群配置部21算出的可视化内容群的配置信息在多个可视化间隔中能平滑地进行动画的功能部。
如上所述,由图12所示的流程图来表示第1实施方式的影像显示装置100的整体动作。此时,画面中依次显示的是基于由可视化内容群配置部21算出的可视化内容群配置的画面可视化的结果。因此,可视化内容群配置部21中,在某个定时算出的可视化内容的配置位置与下一定时算出的相同可视化内容的配置位置大不相同的情况下,该可视化内容不连续(不平滑地)运动显示。本变形例旨在消除该问题。
上述问题源于以下情况,即:在画面显示间隔比空间可视化处理的执行间隔小的情况下,在空间可视化执行完成前的期间,相同的空间可视化结果显示继续,在下一定时突然变异到不同的空间可视化结果。因此,配置运动插补部39算出根据前一个空间可视化结果(可视化内容群的位置信息)插补各可视化内容的配置位置的插补位置,以使得在画面显示间隔(例如60帧每秒)期间,当前的空间可视化结果平滑地转变。另外,配置运动插补部39根据算出的插补位置,变更虚拟空间内配置的各可视化内容的配置位置。
具体而言,当设前一个可视化内容群中包含的某个可视化内容的位置为(x0,y0,z0),由可视化内容群配置部21本次算出的相同可视化内容的位置为(x1,y1,z1),用于画面显示的帧率为60帧每秒时,第n帧的插补位置(xn,yn,zn)可使用下式(6)算出。其中,t=n/60(n=1,...,60)。
(xn,yn,zn)=(t(x1-x0),t(y1-y0),t(z1-z0))                ……(6)
示出由上述式(6)来进行线性插补的实例,但不限于此。即便是使用2次曲线或3次曲线等的插补也无妨。例如,不仅前一个,还可使用前几个的位置信息,执行2次样条曲线插补。
上面说明了位置插补,但位置以外的信息不同的情况下插补方法也一样。例如,在姿势信息不同的情况下,只要以同样的方法(线性插补、样条曲线插补等)进行插补以使两者的法线矢量(或方向矢量等)平滑变化即可。配置运动插补部39向空间可视化部40输出相当于插补数的n组(后述的插补帧位置的量)的、将对虚拟空间内配置的各可视化内容算出的插补位置作为1组而变更了配置位置后的虚拟空间(下面称为1组虚拟空间)。可视化内容群配置部21配置的帧(相当于第0帧)也以原样不变的状态输出到空间可视化部40。
空间可视化部40对由配置运动插补部39配置的可视化内容的每个,实施图像处理及CG处理,以规定的视点位置为基准,可视化虚拟空间。另外,对可视化内容实施的图像处理及CG处理的内容与上述空间可视化部22一样。
下面,参照图27,说明空间可视化部40的动作。图27是表示由空间可视化部40执行的空间可视化处理的步骤的流程图。
首先,空间可视化部40当从配置运动插补部39输入利用1组的插补位置变更了配置位置后的1组的虚拟空间时(步骤S901),执行对该虚拟空间内配置的全部可视化内容是否执行步骤S903的处理的判定(步骤S902)。这里,所谓‘全部可视化内容’是指由配置运动插补部39(对于第0帧,为可视化内容群配置部21)配置在虚拟空间中的可视化内容群。
在步骤S902中,在判定为处理了全部可视化内容的情况下(步骤S902;是),移动到步骤S904的处理。另外,在步骤S902中,在判定为存在未处理的可视化内容的情况下(步骤S902;否),空间可视化部40对未处理的可视化内容执行CG处理、图像处理(步骤S903),再次返回到步骤S902。
接着,空间可视化部40设定空间可视化用的参数(步骤S904)。具体而言,执行从何方向对虚拟空间进行可视化、或对CG而言的用于渲染虚拟空间的相机(视点)位置或方向、范围等参数的设定。同时,在必要时,也可同时执行空间渲染用光源的位置或光源的强度、范围等参数设定。
接着,空间可视化部40根据步骤S904设定的空间可视化用的参数,渲染虚拟空间,从而执行虚拟空间的可视化,且将结果输出到显示部23(步骤S905)。
接着,空间可视化部40判定是否对全部插补帧位置执行了步骤S901~S905的处理(步骤S906)。这里,所谓‘插补帧位置’是指配置运动插补部39执行插补的显示画面帧——即例如画面显示为60帧每秒、空间可视化间隔为1帧每秒的情况下,0、1/60、2/60...、1秒(60/60)之前的全部显示画面帧的位置(例如第n个位置为n/60秒后的帧)。
在步骤S906中,在判定为存在未处理的插补帧位置的情况下(步骤S906;否),空间可视化部40更新插补帧位置(例如第n个位置的情况下,n=n+1)之后(步骤S907),移动到步骤S901的处理。另外,在步骤S906中,在判定为在全部插补帧位置执行了处理的情况下(步骤S906;是),结束本处理。在每次从配置运动插补部39输入一系列的帧(例如在帧率为60的情况下为60帧)时,执行本处理。
这样,根据第1实施方式的变形例8的构成,即便在画面显示间隔比虚拟空间的可视化间隔小的情况下,也可利用插补来表示中途的可视化结果,所以可平滑地显示各可视化内容的可视化结果。
[第1实施方式的变形例9]
下面,参照图28,说明本实施方式的变形例9的影像显示装置109。对与上述影像显示装置100一样的构成附加相同符号,省略其说明。
图26是表示影像显示装置109的功能构成的框图。如图28所示,影像显示装置109除上述动态图像数据库11、处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、关联内容算出部18、显示对象内容选择部19、内容可视化部20、空间可视化部22和显示部23外,还具备共同部分可视化部41与可视化内容群配置部42。
共同部分可视化部41与可视化内容群配置部42是通过上述控制部执行存储在存储部中的各种程序来实现的功能部。
共同部分可视化部41使用内容可视化部20可视化用的信息与空间可视化部22的可视化结果,抽取两个以上的可视化内容的共同信息,生成由共同信息构成的新的可视化内容,并将其追加到可视化内容群配置部42。
下面,参照图29、30,说明共同部分可视化部41的具体动作例。这里,图29、30是表示配置可视化内容的虚拟空间中的XY平面一例的图。
图29中,若设将‘记录片Z(第1集)’(图29的301a)、‘记录片Z(第2集)’(图29的301b)、‘记录片Z(第3集)’(图29的301c)这3个可视化内容配置在接近的位置上,则共同部分可视化部41抽取这些接近的可视化内容彼此的共同部分,例如‘记录片Z’。抽取方法与第1实施方式的变形例4中的内容可视化部31的说明一样。
共同部分可视化部41使用抽取的共同部分,生成新的可视化内容。这里,可视化内容的生成方法与内容可视化部20一样,但可视化时的要素或布局等也可不同。例如,也可生成表示共同部分的附加信息(参照图30的302),作为可视化内容。
以上使用标题名的实例作为共同部分,但只是一例,也可从帧图像、录制日、类型等各种信息中抽取一个以上共同部分来使用。
可视化内容群配置部42具有与可视化内容群配置部21一样的功能,并且,在从共同部分可视化部41接收了新生成的可视化内容(附加信息)的情况下,将该新的可视化内容配置在用于抽取可视化内容彼此的共同部分的可视化内容群附近。这里,图30表示将使用可视化内容301a、301b、301c的共同部分生成的新的可视化内容302配置在301a、301b、301c附近(例如这些可视化内容的重心点)的实例。
新生成的可视化内容(附加信息)的配置位置不限于图30的实例,也可布局在任意位置,但最好配置成不被用于抽取共同部分的可视化内容群遮蔽。
这样,根据第1实施方式的变形例9的构成,可合并显示表示两个以上可视化内容的共同部分的新的可视化内容。由此,可将表示两个以上可视化内容的共同部分的新的可视化内容用作表示多个可视化内容的大分类或中分类的指标,可让用户识别空间地可视化之后的可视化内容的分组(可视化内容的大分类或中分类)。
例如,在图30的情况下,即便未看到可视化内容301a、301b、301c各自的内容,用户也可通过观察可视化内容302,直观地识别为是涉及‘记录片Z’的可视化内容。
[第2实施方式]
在上述第1实施方式中,将存储在动态图像数据库11中的内容设为处理对象,但在本实施方式中,说明从其它媒体取得内容的方式。向与上述影像显示装置100一样的构成附加相同符号,省略其说明。
首先,说明涉及本实施方式的影像显示装置110的硬件构成。影像显示装置110具备由CPU或GPU等构成的控制部、由存储各种程序或图像等的各种数据的ROM、RAM、HDD等构成的存储部、与外部装置进行通信的通信部、由用于接收广播的天线或调谐器等构成的接收部、可读出记录在CD-ROM等记录媒体中的信息的媒体读出部、和连接上述各部的总线(均未图示),并且连接显示装置及键盘或鼠标等输入装置(均未图示)。
下面,说明影像显示装置110的功能构成。图31是示例第2实施方式的影像显示装置110的功能构成的框图。如图31所示,影像显示装置110除上述动态图像数据库11、处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、关联内容算出部18、显示对象内容选择部19、可视化内容群配置部21、空间可视化部22与显示部23外,还具备EPG信息取得管理部43、调谐器44、流信息取得管理部45与内容可视化部46。
其中,EPG信息取得管理部43、流信息取得管理部45与内容可视化部46是通过影像显示装置110的控制部执行存储在存储部中的各种程序来实现的功能部。调谐器44是由接收部实现的功能部。
EPG信息取得管理部43用于从管理分发EPG(电子节目表)的外部服务器取得EPG信息并进行管理。这里,设EPG中包含涉及从现在至未来某个时刻(例如1周之后)广播的节目的信息。
具体而言,从连接于因特网等网络上的服务提供者的服务器装置,经通信部取得TV、CATV、CS广播、BS广播等的EPG,将该EPG作为内容信息(广播日期时间、频道、程序、节目标题、子标题、节目概要、演出者列表),存储在存储部中。
另外,EPG信息取得管理部43检索关联于内容信息的图像或动态图像等信息,若经通信部取得这些关联的信息,则将这些信息作为内容与对应的内容(EPG)关联后,存储在存储部中。这里,关联于内容的图像等信息有时从服务提供者(或广播者)直接提供,有时从第3方的从业者作为其它服务提供。另外,也可使用图像检索站点等,取得将内容信息作为检索键进行图像检索得到的结果图像。
EPG信息取得管理部43中的信息存储方法基于动态图像数据库11中的管理方法。即,动态图像数据库11管理利用录制作业等取得的现有(过去)的内容,相反,EPG信息取得管理部43可管理还未取得的未来的内容。也可是将EPG信息取得管理部43取得的内容和内容信息存储在动态图像数据库11中的方式。
调谐器44用于解释流分发的内容。具体而言,将从TV天线分发的地面波TV内容的数据解释为内容。另外,将使用BS、CS天线接收到的数据解释(解码)为BS广播内容、CS广播内容。CATV也一样,将各个分发数据解释(解码)为内容。
流信息取得管理部45取得并管理从调谐器44得到的流分发的内容,并且还一起取得并管理涉及该内容的信息(内容信息)。具体而言,取得经调谐器44取得的地面波TV广播、BS、CS广播、CATV广播等内容,并且,将涉及该内容的信息作为内容信息(广播日期时间、频道、类型、节目标题、子标题、节目概要、演出者列表等)取得管理。内容信息也可从由EPG信息取得管理部43取得的EPG取得。
动态图像数据库11管理已利用录制作业等取得的现有内容,EPG信息取得管理部43管理还未取得的未来的内容,相反,流信息取得管理部45可管理当前分发中的内容。也可将由流信息取得管理部45取得的内容及内容信息存储在动态图像数据库11中。
在本实施方式中,处理对象内容选择部12、内容信息取得部14、关联内容算出部18的动作与第1实施方式一样,但除存储在动态图像数据库11中的内容群外,还将由EPG信息取得管理部43和流信息取得管理部45管理的内容群设为处理对象。
内容可视化部46具有与内容可视化部20一样的功能,并且,使用EPG信息取得管理部43或流信息取得管理部45管理的内容及内容信息,执行由显示对象内容选择部19选择的显示对象内容的可视化。
内容可视化部46根据取得源的信息的种类来变更可视化方法或布局构成等。例如,若是来自TV天线的地面波TV广播,则同时配置可使人明白这一情况的‘表示TV的图标’、将背景变为特殊的背景、改变配置要素来区别等。
如上所述,在第1实施方式的影像显示装置100中,仅存储在动态图像数据库11中的内容为对象,在虚拟空间中将处理对象内容与其它内容群之间的关联性可视化。即,可仅知道已录制的内容的关联性。
相反,在第2实施方式的影像显示装置110中,无缝处理利用EPG(电子节目表)得到的内容信息、流分发内容的信息、由动态图像数据库11得到的内容信息的全部,可知道这些全部内容的关联性。即,第1实施方式的影像显示装置100以过去的内容为关联性可视化对象,相反,第2实施方式的影像显示装置110可以过去、现在、未来的全部内容为关联性可视化对象。
如上所述,根据本实施方式的影像显示装置110,由于可动态地可视化某个内容(处理对象内容)与过去、现在、未来的其它内容群之间的关联性,所以用户可容易地确认媒体不同的更多内容间的关联性。
[第2实施方式的变形例1]
下面,参照图32,说明本实施方式的变形例1的影像显示装置111。对与上述影像显示装置110一样的构成附加相同符号,省略其说明。
图32是表示影像显示装置111的功能构成的框图。如图32所示,影像显示装置111除上述动态图像数据库11、处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、关联内容算出部18、显示对象内容选择部19、内容可视化部20、可视化内容群配置部21、空间可视化部22、显示部23、EPG信息取得管理部43、调谐器44及流信息取得管理部45外,还具备盘驱动器47、盘信息取得管理部48与内容可视化部49。
盘驱动器47是由上述媒体读出部实现的功能部。另外,盘信息取得管理部48与内容可视化部49是通过上述控制部执行存储在存储部中的各种程序来实现的功能部。
盘驱动器47例如是读入DVD盘、HD-DVD盘、蓝光光盘、VideoCD盘等保存动态图像数据的盘媒体用的驱动器装置。
盘信息取得管理部48将从盘驱动器47得到的数据解释为内容,并且,取得并管理该内容的信息。具体而言,例如从使用盘驱动器47读入的DVD盘中,取得其中保存的动态图像数据,作为内容,并且,取得涉及该动态图像数据的信息(类型、标题、子标题、节目概要、演出者列表、章节信息等),作为内容信息,并将这些信息建立关联而管理。也可将由盘信息取得管理部48取得的内容及内容信息存储在动态图像数据库11中。
在本实施方式的变形例1中,处理对象内容选择部12、内容信息取得部14、关联内容算出部18的动作与第1实施方式一样,但除存储在动态图像数据库11中的内容群、由EPG信息取得管理部43及流信息取得管理部45管理的内容群外,还将盘信息取得管理部48管理的内容群也设为处理对象。
内容可视化部49具有与内容可视化部46一样的功能,并且,使用盘信息取得管理部48中管理的内容及内容信息,执行由显示对象内容选择部19选择的显示对象内容的可视化。
内容可视化部49根据取得源的信息的种类来变更可视化方法或布局构成等。例如,若是从DVD得到的电影,则同时配置可使人明白这一情况的‘表示DVD的图标’、将背景变为特殊的背景、改变配置要素来区别等。
这样,根据本实施方式的变形例1的构成,除可视化过去、现在、未来的内容群的关联性外,还可无缝处理DVD等记录媒体中保存的电影等内容,所以用户可容易地确认媒体不同的更多内容间的关联性。
[第2实施方式的变形例2]
下面,参照图33,说明本实施方式的变形例2的影像显示装置112。对与上述影像显示装置110一样的构成附加相同符号,省略其说明。
图33是表示影像显示装置112的功能构成的框图。如图33所示,影像显示装置112除上述动态图像数据库11、处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、关联内容算出部18、显示对象内容选择部19、内容可视化部20、可视化内容群配置部21、空间可视化部22、显示部23、EPG信息取得管理部43、调谐器44及流信息取得管理部45外,还具备VOD取得部50、VOD信息取得管理部51与内容可视化部52。
VOD取得部50是由上述媒体读取部实现的功能部。另外,VOD信息取得管理部51与内容可视化部52是通过上述控制部执行存储在存储部中的各种程序来实现的功能部。
VOD取得部50从分发动态图像数据的服务器取得动态图像数据。具体而言,例如从经因特网执行动态图像数据提供的服务事业者,通过执行购入手续等规定手续,取得动态图像数据。在动态图像数据免费的情况下,也可不履行购入手续而直接下载动态图像数据。
VOD信息取得管理部51将从VOD取得部50得到的动态图像数据解释为内容,并且,取得并管理涉及该内容的内容信息。具体而言,例如将经因特网取得的内容存储在存储部中,并且,将经VOD取得部50取得的、涉及该内容的信息(类型、标题、子标题、节目概要、演出者列表等)作为内容信息,建立对应而存储。也可将由VOD信息取得管理部51取得的内容及内容信息存储在动态图像数据库11中。
在本实施方式的变形例2中,处理对象内容选择部12、内容信息取得部14、关联内容算出部18的动作与第1实施方式一样,但除存储在动态图像数据库11中的内容群、由EPG信息取得管理部43及流信息取得管理部45管理的内容群外,还将VOD信息取得管理部51管理的内容群也设为处理对象。
内容可视化部52具有与内容可视化部46一样的功能,并且,使用VOD信息取得管理部51中管理的内容及内容信息,执行由显示对象内容选择部19选择的显示对象内容的可视化。
内容可视化部52根据取得源的信息类型来变更可视化方法或布局构成等。例如,若是从外部VOD服务器得到的动态图像数据,则同时配置可使人明白这一情况的图标、将背景变为特殊的背景、改变配置要素来区别等。
这样,根据本实施方式的变形例2的构成,除可视化过去、现在、未来的内容的关联性外,还可无缝处理从VOD服务器取得的内容,所以用户可容易地确认媒体不同的更多内容间的关联性。
[第2实施方式的变形例3]
下面,参照图34,说明本实施方式的变形例3的影像显示装置113。对与上述影像显示装置110一样的构成附加相同符号,省略其说明。
图34是表示影像显示装置113的功能构成的框图。如图34所示,影像显示装置113除上述动态图像数据库11、处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、关联内容算出部18、显示对象内容选择部19、内容可视化部20、可视化内容群配置部21、空间可视化部22、显示部23、EPG信息取得管理部43、调谐器44及流信息取得管理部45外,还具备音乐数据取得部53、音乐数据库54、音乐数据信息取得管理部55与内容可视化部56。
音乐数据取得部53是由上述通信部的功能部。另外,音乐数据库54是由上述存储部实现的功能部。音乐数据信息取得管理部55与内容可视化部56是通过上述控制部执行存储在存储部中的各种程序来实现的功能部。
音乐数据取得部53从分发音乐数据的外部服务器取得音乐数据,存储在音乐数据库54中。具体而言,例如从经因特网提供音乐数据的服务事业者,通过执行购入手续等规定手续,取得音乐数据。在音乐数据免费的情况下,也可不履行购入手续而直接下载音乐数据。
音乐数据库54是能存储并取得至少一个以上音乐数据的数据库。基本上,仅处理的媒体不同,与动态图像数据库11为一样的构成。音乐数据例如以WAV形式、MP3形式、AIFF形式等形式保存。音乐数据中,对应地存储了专辑的标题、艺术家名、曲名、作词者名、作曲者名、编曲者名、参加艺术家列表、概要等文本信息。另外,也可将封套照片、艺术家照片等图像数据或促销视频片段等动态图像数据与该信息对应地存储。
音乐数据信息取得管理部55取得从音乐数据取得部53和/或音乐数据库54得到的音乐数据,作为内容,并且,取得涉及该音乐数据的信息(文本信息等),作为内容信息,将它们建立关联而管理。更详细而言,取得涉及音乐数据的信息中、图像数据或动态图像数据,作为内容,将涉及构成这些数据的图像(或帧图像)的信息处理为帧信息。另外,取得帧信息以外的信息,作为内容信息。也可将由音乐数据信息取得管理部55取得的内容及内容信息存储在动态图像数据库11中。
在本实施方式的变形例3中,处理对象内容选择部12、内容信息取得部14、关联内容算出部18的动作与第1实施方式一样,但除存储在动态图像数据库11中的内容群、由EPG信息取得管理部43及流信息取得管理部45管理的内容群外,还将音乐数据信息取得管理部55管理的内容群也设为处理对象。
内容可视化部56具有与内容可视化部46一样的功能,并且,使用音乐数据信息取得管理部55中管理的内容及内容信息,执行显示对象内容的可视化。
内容可视化部56根据取得源的信息种类来变更可视化方法或布局构成等。例如,同时配置可明白是音乐数据的‘表示CD或音符等的图标’、将背景变为特殊的背景、改变配置要素来区别等。
这样,根据本实施方式的变形例3的构成,除可视化过去、现在、未来的内容的关联性外,还可将音乐数据无缝处理为内容,所以能可视化无区别地处理全部内容的关联性。
以上使用‘音乐数据’等非动态图像内容进行说明,但不限于此,也可使用同样的方法无缝地处理各种非动态图像内容。
[第2实施方式的变形例4]
下面,参照图35,说明本实施方式的变形例4的影像显示装置114。对与上述影像显示装置110一样的构成附加相同符号,省略其说明。
图35是表示影像显示装置114的功能构成的框图。如图35所示,影像显示装置114除上述动态图像数据库11、处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、关联内容算出部18、显示对象内容选择部19、内容可视化部20、可视化内容群配置部21、空间可视化部22、显示部23、EPG信息取得管理部43、调谐器44及流信息取得管理部45外,还具备商品数据取得部57、商品数据信息取得管理部58与内容可视化部59。
商品数据取得部57是由上述通信部实现的功能部。另外,商品数据信息取得管理部58与内容可视化部59是通过上述控制部执行存储在存储部中的各种程序来实现的功能部。
商品数据取得部57从执行Web销售或通信销售的站点(外部服务器)取得涉及商品的数据。具体而言,例如从经因特网销售商品的服务事业者,取得商品的目录数据。目录数据的取得例如可以是接收在服务事业者侧变为商品数据取得部57容易取得的形式的数据,或也可以是商品数据取得部57解释事业者的商品阅览Web页的源代码(由HTML语言或XML语言记述)并取得的方式。
商品数据信息取得管理部58经商品数据取得部57取得商品数据,作为内容,并且,取得涉及该商品数据的信息,作为内容信息,将其建立关联而管理。这里,所谓涉及商品数据的信息是示为商品数据固有特征的信息,例如商品名、规格、销售时期、价格、销售者、型号、商品概要等文本信息、或商品照片等图像数据、促销视频片段等动态图像数据等。
更详细而言,例如取得涉及商品数据的信息中的图像数据或动态图像数据,作为内容,将涉及构成这些数据的图像(或帧图像)的信息处理为帧信息。另外,将帧信息以外的信息作为内容信息取得。也可将由商品数据信息取得管理部58取得的内容及内容信息存储在动态图像数据库11中。
在本实施方式的变形例4中,处理对象内容选择部12、内容信息取得部14、关联内容算出部18的动作与第1实施方式一样,但除存储在动态图像数据库11中的内容群、由EPG信息取得管理部43及流信息取得管理部45管理的内容群外,还将商品数据信息取得管理部58管理的内容群也设为处理对象。
内容可视化部59具有与内容可视化部46一样的功能,并且,使用商品数据信息取得管理部58中管理的内容及内容信息,执行显示对象内容的可视化。
内容可视化部59根据取得源的信息种类来变更可视化方法或布局构成等。例如,同时配置可明白是商品数据的‘表示是Web销售的图标’等、将背景变为特殊的背景、改变配置要素来区别、将Web页的渲染结果变为缩略图像等。
这样,根据本实施方式的变形例4的构成,除可视化过去、现在、未来的内容的关联性外,还可无缝处理‘Web销售或通信销售中的商品’这样完全不同的对象,可与关联性一起,同时将全部影像媒体和与其关联的商品数据可视化。
在本变形例中,以Web销售的商品数据为例进行说明,但不限于此,也可同样处理任意的物理对象。
[第3实施方式]
在本实施方式中,说明具备支援用户操作输入的操作支援部60的影像显示装置。向与上述影像显示装置100一样的构成附加相同符号,省略其说明。
首先,说明涉及本实施方式的影像显示装置115的硬件构成。影像显示装置115具备由CPU或GPU等构成的控制部、由存储各种程序或图像等的各种数据的ROM、RAM、HDD等构成的存储部、与外部装置进行通信的通信部、由用于接收广播的天线或调谐器等构成的接收部、和连接上述各部的总线(均未图示),并且连接显示装置及键盘或鼠标等输入装置(均未图示)。
下面,说明影像显示装置115的功能构成。图36是示例第3实施方式的影像显示装置115的功能构成的框图。如图36所示,影像显示装置115除上述动态图像数据库11、处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、关联内容算出部18、显示对象内容选择部19、内容可视化部20、可视化内容群配置部21、空间可视化部22与显示部23外,还具备操作支援部60。
其中,操作支援部60是通过影像显示装置115的控制部执行存储在存储部中的各种程序来实现的功能部。
操作支援部60根据来自用户的输入,承担影像显示装置115的操作。具体而言,若使用鼠标或遥控器等操作装置(未图示)从用户执行操作,则将该信息输入操作支援部60。下面,说明使用鼠标作为操作装置的实例。
用户通过将显示部23的画面中出现的鼠标游标作为依托,操作鼠标,从而将该鼠标的位置信息输入操作支援部60。操作支援部60向空间可视化部22发送该鼠标的位置信息,传递在空间可视化部22的对应位置显示鼠标游标的意思。
另外,操作支援部60使用从可视化内容群配置部21得到的可视化内容群的配置位置信息和从空间可视化部22得到的渲染用视点信息等,确定存在于当前的鼠标位置(鼠标游标位置)下的可视化内容。具体而言,使用放射线跟踪(ray trace)技术,从鼠标游标位置(画面空间状的鼠标坐标位置)向虚拟空间内的视点矢量方面发射放射线,确定该放射线交叉的可视化内容中、从视点看的情况下正确位于最靠近面前的可视化内容。这可通过对从视点观看三维直线与可视化内容的三维交点的全部可视化内容使用简单的几何运算来计算求出。
另外,操作支援部60还对应于来自用户的操作内容,向空间可视化部22提供执行不同可视化的指示。具体而言,在用户执行基于鼠标左点击按钮按下等的决定操作的情况下,操作支援部60对处理对象内容选择部12执行选择存在于鼠标游标位置下的可视化内容作为新的处理对象内容的通知。若选择新的处理对象内容,则利用各功能部,移动到表示以该新的处理对象内容为中心的关联性的空间可视化。即,是指从原来的内容中心的关联度可视化,移动到新的内容中心的关联度可视化。
另外,操作支援部60在由用户对关于处理对象内容显示的特定帧图像执行了决定操作的情况下,对处理对象帧选择部13执行将该帧图像选择为新的处理对象帧的通知。若选择新的处理对象帧,则利用各功能部,移动到表示以该新的处理对象帧为中心的关联性的空间可视化。即,是指从以原来的帧为中心的关联度可视化,移动到以新的帧为中心的关联度可视化。
并且,对应于用户的决定操作,对显示对象内容选择部19执行选择构成显示对象的内容的通知。空间可视化部22执行空间可视化的结果是存在多个显示对象内容的情况下,由于可视化内容群配置部21的配置,关联度低的可视化内容有时会被关联度高的可视化内容遮蔽,难以看到。例如图8-1所示从上面看虚拟空间的情况下,在可视化内容202a的下面存在可视化内容202d,在可视化内容202a遮蔽可视化内容202d的大部分区域的情况下,可视化内容202d的内容基本上无法看到。
对显示对象内容选择部19的选择指示在这种情况下有用,显示对象内容选择部19根据来自操作支援部60的通知内容,改变显示对象内容的选择方式。此时,例如不仅仅选择关联度高的上位几个,还可选择特定的有效范围,以便仅选择关联度为规定值以下、规定值以上的内容等。该选择不限于在虚拟空间内为均匀的,也可在用户选择特定区域的情况下,仅在该区域内如上所述改变选择方法。
通过用户以可视化内容单位进行选择,也可不选择遮蔽其内容的内容。操作支援部60通过用户使用鼠标等操作部,利用拖拉等作业选择特定的矩形,或以可视化内容单位使用鼠标等选择,或使用设定画面等决定关联度的有效范围,从而实现以上动作。
并且,用户也可通过鼠标的右点击等操作,从该空间的可视化状态,移动到当前处理对象内容在画面整体中的再现状态。即,是指从关联度的可视化画面移动到通常的整个画面的影像视听状态。另外,用户通过从通常的整个画面的影像视听状态,执行鼠标的右点击等操作,选择当前视听中的内容及帧,作为处理对象内容及处理对象帧,使用影像显示装置115的各功能部,也可移动到关联性的可视化画面。操作支援部60执行上述移动用的管理或指示。
如上所述,根据第3实施方式的影像显示装置115,由于可对应于来自用户的操作内容,给予指示以便在空间可视化部22中执行不同的可视化,所以用户可交互地操作影像显示装置的显示内容。即,根据第3实施方式的影像显示装置115,用户可边自由地选择内容,边交互地执行内容视听、以该内容为中心的关联性的可视化结果的享受等作业。
在本实施方式中,示出使用鼠标的实例,但不限于此,例如也可使用遥控器或键盘等。
本实施方式可与上述第1实施方式和第2实施方式组合。例如,在与第1实施方式的变形例8组合的情况下,如下所示是有效的。
如第3实施方式中说明的那样,用户通过使用鼠标等,可从通常的影像视听推移到可视化关联性的画面。另外,在可视化关联性的画面中,选择利用鼠标操作配置的内容群中的任意内容,将该内容设为可视化的中心(即新的处理对象内容)。
此时,若组合第1实施方式的变形例8,则可以平滑的动画来显示利用用户操作选择的内容转变到可视化中心的状态。此时,最好对应于与本实施方式的关系,执行用于动画插补的、配置运动插补部39中配置位置的插补值的算出方法。具体而言,当算出插补值时,最好为比其它任何可视化内容群都靠面前而看到的、即未被其它任何可视化内容群遮蔽的可视化位置的插补位置。
例如,在视点为Z轴上方的情况下,可通过将配置用Z轴变为配置在最面前的可视化内容之前来实现。视点为其它位置的情况也一样。另外,以使用称为放射线跟踪的方法等,将光线从视点放射到插补位置算出对象的可视化内容,存在与该光线交叉的其它可视化内容的情况下,变为比交叉的其它可视化内容中、比距视点最靠前的还在前面的插补位置也可对应。
如上所述,根据本实施方式的影像显示装置115,通过用户经操作装置操作所显示的虚拟空间内的可视化内容,可使其显示内容变化,所以可在提高影像显示装置的操作性的同时,对期望的内容,将与其它内容之间的关联性可视化。
[第3实施方式的变形例1]
下面,参照图37,说明本实施方式的变形例1的影像显示装置116。对与上述影像显示装置114、影像显示装置115一样的构成附加相同符号,省略其说明。
图37是表示影像显示装置116的功能构成的框图。如图37所示,影像显示装置116除上述动态图像数据库11、处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、关联内容算出部18、显示对象内容选择部19、内容可视化部20、可视化内容群配置部21、空间可视化部22、显示部23、EPG信息取得管理部43、调谐器44、流信息取得管理部45、商品数据取得部57、商品数据信息取得管理部58与内容可视化部59外,还具备操作支援部61与商品购入手续部62。
操作支援部61与商品购入手续部62是通过上述控制部执行存储在存储部中的各种程序来实现的功能部。
操作支援部61除第3实施方式说明的功能外,还在用户选择由商品数据信息取得管理部58管理的数据作为可视化的内容数据的情况下,让用户执行是否购入该数据表示的商品的选择,将选择结果输出到商品购入手续部62。选择例如通过显示表现是否购入商品的消息的GUI画面、利用鼠标来选择其中配置的‘是’、‘否’按钮来实现。
商品购入手续部62根据由操作支援部61处理后的用户输入,执行作为商品数据取得部57的商品数据取得目的地的Web销售或通信销售站点购入商品的手续。具体而言,商品购入手续部62若从操作支援部61接收用户选择了商品购入的通知,则代替用户代行作为商品数据取得部57的商品数据取得目的地的Web销售或通信销售站点的商品购入手续。也可以中途使用GUI画面等,使用户输入购入所需要的用户信息等。
这样,根据第3实施方式的变形例1的构成,通过用户从可视化的内容中选择引起Web销售、通信销售的内容,可轻松地购入该内容所示的商品。另外,在正在视听某个动态图像数据的情况下,该动态图像数据中登场的物等作为关联性高的、引起Web销售、通信销售的内容,配置在处理对象内容的周围,所以可无需积极执行商品检索地购入位于当前看到的影像中的商品。
另外,在本变形例中,为具备商品购入手续部62的方式,但也可具备用于将用户引导到构成商品数据取得部57的商品数据取得目的地的Web销售或通信销售站点的商品站点引导部(未图示),代替该商品购入手续部62。
此时,商品站点引导部用于将用户引导到作为商品数据取得部57的商品数据取得目的地的Web销售或通信销售站点。具体而言,使用GUI等启动Web浏览器,其中显示作为商品数据取得部57的商品数据取得目的地的Web销售或通信销售站点的首页或商品购入页等。由此,用户可容易地寻找到Web销售或通信销售站点。
[第3实施方式的变形例2]
下面,参照图38,说明本实施方式的变形例2的影像显示装置117。对与上述影像显示装置115、影像显示装置116一样的构成附加相同符号,省略其说明。
图38是表示影像显示装置117的功能构成的框图。如图38所示,影像显示装置117除上述动态图像数据库11、处理对象内容选择部12、处理对象帧选择部13、内容信息取得部14、帧信息取得部15、帧图像解析部16、关联度算出部17、关联内容算出部18、显示对象内容选择部19、内容可视化部20、可视化内容群配置部21、空间可视化部22、显示部23、EPG信息取得管理部43、调谐器44、流信息取得管理部45、商品数据取得部57、商品数据信息取得管理部58、内容可视化部59、操作支援部61与商品购入手续部62外,还具备收费部63。
收费部63是通过上述控制部执行存储在存储部中的各种程序来实现的功能部。
收费部63在用户使用商品购入手续部62购入商品的情况下,对该影像显示装置117的提供者支付对商品购入引导的报酬。此时,影像显示装置117的提供者与作为商品数据取得部57的商品数据取得目的地的Web销售或通信销售站点的事业者事先订立关于商品销售的合同。这里,合同内容例如是在使用影像显示装置117的商品购入手续部62购入了商品的情况下,对影像显示装置117的提供者支付劳务费作为对商品购入引导的报酬等涉及报酬的协议。
这样,根据第3实施方式的变形例2的构成,在用户通过影像显示装置117从Web销售或通信销售站点购入了商品的情况下,可实现该影像显示装置117的提供者接收劳务费的服务。并且,通过组合该变形例与在先说明的商品站点引导部(未图示),通过仅将用户引导到作为商品数据取得部57的商品数据取得目的地的Web销售或通信销售站点的页面,可提供向影像显示装置117的提供者支付劳务费作为对商品站点引导的报酬的服务。
以上说明了第1~第3实施方式,但本发明不限于此,在不脱离本发明的精神的范围内,可进行各种变更、置换、追加等。
例如,可由计算机能执行的程序来实现上述各实施方式中的处理,并将该程序实现为计算机可读取的存储媒体。作为本发明的存储媒体,只要是磁盘、光盘、磁光盘、半导体等可存储程序且计算机或组装系统可读取的存储媒体,则其存储形式可以是任意方式。
另外,根据从存储媒体安装到计算机或组装系统中的程序的指示,在计算机上运行的OS或数据库管理软件、网络等的中间件等也可执行用于实现本实施方式的各处理的一部分。
并且,本发明中的存储媒体不限于与计算机或组装系统独立的媒体,也包含下载由LAN或因特网等传递的程序后存储或暂时存储的存储媒体。
另外,存储媒体不限于一个,即便在从多个存储媒体执行本实施方式的处理的情况下,也包含于本发明的存储媒体中。本发明的计算机或组装系统根据存储在存储媒体中的程序,执行上述各实施方式的各处理,由PC、微处理器等一个构成的装置、多个装置可以是网络连接的系统等任一构成。
所谓本发明的计算机不限于PC,还包含信息处理设备中包含的运算处理装置、微控制器等,统称可由程序实现本申请发明的功能的设备、装置。
上述各实施方式中包含各种阶段的发明,利用公开的多个构成要件中的适当组合,抽取各种发明。例如,即便从上述各实施方式所示的全部构成要件中删除几个构成要件,也可解决发明要解决的课题一栏中描述的课题,得到发明效果栏中描述的效果的情况下,抽取该构成作为本发明。

Claims (15)

1、一种影像显示装置,其特征在于,具备:
第1存储部件,存储多个动态图像内容;
内容选择部件,从存储在所述第1存储部件中的动态图像内容中,选择处理对象动态图像内容;
关联内容算出部件,根据所述处理对象动态图像内容的特性、和存储在所述第1存储部件中的该处理对象动态图像内容以外的其它动态图像内容的特性之间的类似度,算出所述其它动态图像内容各自相对所述处理对象动态图像内容的关联度;
内容可视化部件,分别生成将所述处理对象动态图像内容以及其它动态图像内容象征化之后的可视化内容;
配置部件,在虚拟空间内配置与所述处理对象动态图像内容相对应的可视化内容,并且,在按照所述其它动态图像内容各自的关联度而从该配置位置离开的位置上,分别配置与所述其它动态图像内容的每个相对应的可视化内容;
空间可视化部件,将配置有所述可视化内容的虚拟空间可视化为能够显示的状态;和
显示部件,显示所述可视化后的虚拟空间。
2、一种影像显示装置,其特征在于,具备:
第1存储部件,存储多个动态图像内容;
内容选择部件,从存储在所述第1存储部件中的动态图像内容中,选择处理对象动态图像内容;
关联内容算出部件,根据所述处理对象动态图像内容的特性、和存储在所述第1存储部件中的该处理对象动态图像内容以外的其它动态图像内容的特性之间的类似度,算出所述其它动态图像内容各自相对所述处理对象动态图像内容的关联度;
显示内容选择部件,根据由所述关联内容算出部件算出的关联度,从所述其它动态图像内容中选择显示对象动态图像内容;
内容可视化部件,分别生成将所述处理对象动态图像内容以及所述显示对象动态图像内容象征化之后的可视化内容;
配置部件,在虚拟空间内配置与所述处理对象动态图像内容相对应的可视化内容,并且,在按照所述显示对象动态图像内容各自的关联度而从该配置位置离开的位置上,分别配置与该显示对象动态图像内容的每个相对应的可视化内容;
空间可视化部件,将配置有所述可视化内容的虚拟空间可视化为能够显示的状态;和
显示部件,显示所述可视化后的虚拟空间。
3、一种影像显示装置,其特征在于,具备:
第1存储部件,将对构成动态图像的一系列帧中的某一帧或全部帧赋予了表示该各帧的特性的帧信息之后的动态图像内容的每个,与表示该各动态图像内容的特性的内容信息相对应地加以存储;
内容选择部件,从存储在所述第1存储部件中的动态图像内容中,选择处理对象动态图像内容;
第1关联度算出部件,根据与所述处理对象动态图像内容相对应的内容信息、和与存储在所述第1存储部件中的该处理对象动态图像内容以外的其它动态图像内容相对应的内容信息之间的类似度,算出其它动态图像内容各自相对处理对象动态图像内容的关联度;
帧选择部件,从所述处理对象动态图像内容中,选择该动态图像内容中包含的至少1个以上的帧,作为处理对象帧;
第2关联度算出部件,根据赋予给所述处理对象帧的帧信息、和赋予给所述其它动态图像内容的帧的帧信息之间的类似度,算出其它动态图像内容各自相对处理对象动态图像内容的关联度;
图像解析部件,对所述处理对象帧以及构成所述其它动态图像内容的各帧中包含的图像的图像特性进行解析;
第3关联度算出部件,根据所述处理对象帧的图像解析结果、和所述其它动态图像内容的帧的图像解析结果之间的类似度,算出其它动态图像内容各自相对处理对象动态图像内容的关联度;
关联内容算出部件,使用由所述第1关联度算出部件、第2关联度算出部件、第3关联度算出部件中的某一部件或全部部件所算出的关联度,算出所述其它动态图像内容各自相对所述处理对象动态图像内容的综合关联度;
显示内容选择部件,根据由所述关联内容算出部件算出的综合关联度,从所述其它动态图像内容中,选择显示对象动态图像内容;
内容可视化部件,分别生成将所述处理对象动态图像内容以及所述显示对象动态图像内容象征化之后的可视化内容;
配置部件,在虚拟空间内配置与所述处理对象动态图像内容相对应的可视化内容,并且,在按照所述显示对象动态图像内容各自的综合关联度而从该配置位置离开的位置上,分别配置与该显示对象动态图像内容的每个相对应的可视化内容;
空间可视化部件,将配置有所述可视化内容的虚拟空间可视化为能够显示的状态;和
显示部件,显示所述可视化后的虚拟空间。
4、根据权利要求3所述的影像显示装置,其特征在于:
所述虚拟空间是三维空间,
所述配置部件根据构成所述三维空间的一个坐标系,在按照所述显示对象动态图像内容的关联度而从与所述处理对象动态图像内容相对应的可视化内容的配置位置离开的位置上,分别配置与该各显示对象动态图像内容相对应的可视化内容,并且,根据所述显示对象动态图像内容各自的内容信息,在按所述动态图像内容的每个特性而区分的所述三维空间的其它两个坐标系构成的平面内的规定区域中,分别配置与该显示对象动态图像内容的每个相对应的可视化内容。
5、根据权利要求4所述的影像显示装置,其特征在于:
所述配置部件向以与所述处理对象动态图像内容相对应的可视化内容的配置位置为基准的所述平面内的各方位方向,分配所述动态图像内容的各特性。
6、根据权利要求1~4中任意一项所述的影像显示装置,其特征在于:
还具备受理部件,该受理部件受理下述选择,该选择是从由所述显示部件显示的虚拟空间内存在的所述可视化内容中选择特定的可视化内容的选择,
所述内容选择部件选择与所述选择到的特定的可视化内容相对应的动态图像内容,作为处理对象动态图像内容。
7、根据权利要求1~5中任意一项所述的影像显示装置,其特征在于:
还具备配置履历管理部件,该配置履历管理部件将由所述配置部件配置在所述虚拟空间内的可视化内容在所述虚拟空间内的配置位置、对应于该可视化内容的动态图像内容的特性、和关联度建立关联地加以存储,
所述配置部件根据所述配置履历管理部件,将所述动态图像内容的特性相同且关联度大致为相同值的动态图像内容的可视化内容,配置在与该特性以及关联度建立了关联而存储的配置位置上。
8、根据权利要求1~5中任意一项所述的影像显示装置,其特征在于:
还具备解析部件,该解析部件对配置在所述虚拟空间内的可视化内容的偏倚状态进行解析,
所述配置部件按照所述解析部件的解析结果,使构成所述虚拟空间的坐标系偏倚。
9、根据权利要求2~5中任意一项所述的影像显示装置,其特征在于:
还具备解析部件,该解析部件对配置在所述虚拟空间内的可视化内容的偏倚状态进行解析,
所述显示内容选择部件按照所述解析部件的解析结果,限制从所述其它动态图像内容中选择的显示对象动态图像内容的数量。
10、根据权利要求1~5中任意一项所述的影像显示装置,其特征在于:
还具备解析部件,该解析部件对配置在所述虚拟空间内的可视化内容的偏倚状态进行解析,
所述内容可视化部件按照所述解析部件的解析结果,合并处于偏倚状态的多个可视化内容,生成新的一个可视化内容。
11、根据权利要求2~5中任意一项所述的影像显示装置,其特征在于:
还具备:
解析部件,对配置在所述虚拟空间内的可视化内容的偏倚状态进行解析;和
内容加工部件,按照所述解析部件的解析结果,合并所述显示对象内容,生成新的一个显示对象内容。
12、根据权利要求2~5中任意一项所述的影像显示装置,其特征在于:
还具备关联性解析部件,该关联性解析部件根据由所述关联内容算出部件算出的关联度、和由所述配置部件配置所述可视化内容的配置状况,对配置在所述虚拟空间内的可视化内容的偏倚状态进行解析,
所述空间可视化部件按照所述关联性解析部件的解析结果,变更与所述虚拟空间的可视化有关的条件。
13、根据权利要求2~5中任意一项所述的影像显示装置,其特征在于:
还具备配置运动插补部件,该配置运动插补部件按所述显示部件的每个画面显示间隔,对配置在所述虚拟空间内的各可视化内容的配置位置进行插补,
所述显示部件按每个所述显示间隔,更新虚拟空间的显示。
14、根据权利要求1~5中任意一项所述的影像显示装置,其特征在于:
还具备:
电子节目表管理部件,从分发电子节目表的服务器取得电子节目表,将该电子节目表作为所述内容信息进行管理,并且,将与该电子节目表有关系的动态图像数据作为所述内容信息进行管理;
接收部件,取得流分发的数据;和
流管理部件,将由所述接收部件取得的数据作为所述动态图像内容进行管理,并且,将与该数据有关的信息作为所述内容信息进行管理。
15、一种影像显示方法,由影像显示装置执行,其特征在于:
所述影像显示装置具备存储部件,该存储部件将对构成动态图像的一系列帧中的某一帧或全部帧赋予了表示该各帧的特性的帧信息之后的动态图像内容的每个,与表示该各动态图像内容的特性的内容信息相对应地加以存储;
该影像显示方法包括:
内容选择步骤,内容选择部件从所述存储部件中,选择处理对象动态图像内容;
第1关联度算出步骤,第1关联度算出部件根据与所述处理对象动态图像内容相对应的内容信息、和与存储在所述存储部件中的该处理对象动态图像内容以外的其它动态图像内容相对应的内容信息之间的类似度,算出其它动态图像内容各自相对处理对象动态图像内容的关联度;
帧选择步骤,帧选择部件从所述处理对象动态图像内容中,选择该动态图像内容中包含的至少1个以上的帧,作为处理对象帧;
第2关联度算出步骤,第2关联度算出部件根据赋予所述处理对象帧的帧信息、和赋予所述其它动态图像内容的帧的帧信息之间的类似度,算出其它动态图像内容各自相对处理对象动态图像内容的关联度;
图像解析步骤,图像解析部件对所述处理对象帧以及构成所述其它动态图像内容的各帧中包含的图像的图像特性进行解析;
第3关联度算出步骤,第3关联度算出部件根据所述处理对象帧的图像解析结果、和所述其它动态图像内容的帧的图像解析结果之间的类似度,算出其它动态图像内容各自相对处理对象动态图像内容的关联度;
关联内容算出步骤,关联内容算出部件使用由所述第1关联度算出步骤、第2关联度算出步骤、第3关联度算出步骤中的某一步骤或全部步骤所算出的关联度,算出所述其它动态图像内容各自相对所述处理对象动态图像内容的综合关联度;
显示内容选择步骤,显示内容选择部件根据所述综合关联度,从所述其它动态图像内容中,选择显示对象动态图像内容;
内容可视化步骤,内容可视化部件分别生成将所述处理对象动态图像内容以及所述显示对象动态图像内容象征化之后的可视化内容;
配置步骤,配置部件在虚拟空间内配置与所述处理对象动态图像内容相对应的可视化内容,并且,在按照所述显示对象动态图像内容各自的综合关联度而从该配置位置离开的位置上,分别配置与该显示对象动态图像内容的每个相对应的可视化内容;
空间可视化步骤,空间可视化部件将配置有所述可视化内容的虚拟空间可视化为能够显示的状态;和
显示步骤,显示部件显示所述可视化后的虚拟空间。
CN2008102157505A 2007-09-25 2008-09-09 影像显示装置及方法 Expired - Fee Related CN101398851B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP247997/2007 2007-09-25
JP2007247997A JP2009080580A (ja) 2007-09-25 2007-09-25 映像表示装置及び方法

Publications (2)

Publication Number Publication Date
CN101398851A true CN101398851A (zh) 2009-04-01
CN101398851B CN101398851B (zh) 2011-06-22

Family

ID=39495286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008102157505A Expired - Fee Related CN101398851B (zh) 2007-09-25 2008-09-09 影像显示装置及方法

Country Status (4)

Country Link
US (1) US8041155B2 (zh)
EP (1) EP2043047A3 (zh)
JP (1) JP2009080580A (zh)
CN (1) CN101398851B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867708A (zh) * 2009-04-15 2010-10-20 奥林巴斯映像株式会社 摄影装置、显示装置、再现装置、摄影方法以及显示方法
CN102075816A (zh) * 2009-11-17 2011-05-25 索尼公司 显示控制系统、显示控制设备以及显示控制方法
CN102426573A (zh) * 2010-07-13 2012-04-25 富士胶片株式会社 内容分析装置和方法
CN103455935A (zh) * 2012-05-31 2013-12-18 索尼公司 信息处理设备、程序以及信息处理方法
CN103902639A (zh) * 2012-12-27 2014-07-02 国际商业机器公司 用于快速探查紧密连接网络中的关系的控制方法和装置
CN107004004A (zh) * 2014-09-22 2017-08-01 汤姆逊许可公司 使用深度知觉作为搜索、用户兴趣或偏好的指示符
CN107005675A (zh) * 2014-09-05 2017-08-01 富士胶片株式会社 动态图像编辑装置、动态图像编辑方法及动态图像编辑程序
CN110825561A (zh) * 2018-08-10 2020-02-21 横河电机株式会社 控制系统以及控制装置
CN110892441A (zh) * 2017-07-19 2020-03-17 三菱电机株式会社 行动可视化装置和行动可视化方法

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7886024B2 (en) * 2004-07-01 2011-02-08 Microsoft Corporation Sharing media objects in a network
JP2009080580A (ja) 2007-09-25 2009-04-16 Toshiba Corp 映像表示装置及び方法
JP5121367B2 (ja) 2007-09-25 2013-01-16 株式会社東芝 映像を出力する装置、方法およびシステム
US9513765B2 (en) 2007-12-07 2016-12-06 Sony Corporation Three-dimensional sliding object arrangement method and system
US8762891B2 (en) * 2008-05-30 2014-06-24 T-Mobile Usa, Inc. Relationship-based and context-based user interfaces for exchanging data
US8805110B2 (en) * 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
US8473854B2 (en) * 2008-08-19 2013-06-25 Rockwell Automation Technologies, Inc. Visualization profiles and templates for auto-configuration of industrial automation systems
JP2010055424A (ja) * 2008-08-28 2010-03-11 Toshiba Corp 画像を処理する装置、方法およびプログラム
JP4675995B2 (ja) * 2008-08-28 2011-04-27 株式会社東芝 表示処理装置、プログラムおよび表示処理方法
JP5060430B2 (ja) 2008-08-28 2012-10-31 株式会社東芝 表示制御装置、及び方法
JP2010073126A (ja) * 2008-09-22 2010-04-02 Toshiba Corp 情報可視化装置および情報可視化方法
JP5104709B2 (ja) 2008-10-10 2012-12-19 ソニー株式会社 情報処理装置、プログラム、および情報処理方法
JP5388631B2 (ja) 2009-03-03 2014-01-15 株式会社東芝 コンテンツ提示装置、及び方法
CN102349048B (zh) * 2009-03-11 2015-09-30 索尼公司 访问从显示图像选定的项目的项目信息
JP4852119B2 (ja) 2009-03-25 2012-01-11 株式会社東芝 データ表示装置、データ表示方法、データ表示プログラム
EP2252051B1 (en) * 2009-05-13 2014-06-11 Sony Europe Limited A method of content retrieval
US20100333140A1 (en) * 2009-06-29 2010-12-30 Mieko Onodera Display processing apparatus, display processing method, and computer program product
JP4585597B1 (ja) * 2009-06-29 2010-11-24 株式会社東芝 表示処理装置、プログラムおよび表示処理方法
JP2011013860A (ja) * 2009-06-30 2011-01-20 Toshiba Corp 表示処理装置、表示処理方法およびプログラム
JP4635097B1 (ja) * 2009-08-28 2011-02-23 株式会社東芝 表示処理装置、及び表示処理方法
WO2011042946A1 (ja) 2009-10-05 2011-04-14 株式会社 東芝 類似コンテンツ検索装置及びプログラム
JP5609056B2 (ja) 2009-10-14 2014-10-22 ソニー株式会社 コンテンツ関係可視化装置、表示制御装置、コンテンツ関係可視化方法およびプログラム
JP4745437B2 (ja) 2009-10-29 2011-08-10 株式会社東芝 表示処理装置及び表示処理方法
KR20110062982A (ko) * 2009-12-04 2011-06-10 삼성전자주식회사 실시간 방송 컨텐츠의 방송 요약 정보 생성 방법 및 장치와, 그 제공방법 및 방송 수신 장치
US20110138340A1 (en) * 2009-12-09 2011-06-09 Microsoft Corporation Rotating Hierarchy Cone User Interface
JPWO2011070705A1 (ja) * 2009-12-11 2013-04-22 日本電気株式会社 情報表示装置、そのコンピュータプログラムおよびデータ処理方法
JP2011128981A (ja) * 2009-12-18 2011-06-30 Toshiba Corp 検索装置及び検索方法
JP4802275B2 (ja) * 2009-12-21 2011-10-26 株式会社東芝 表示装置及び表示方法
EP2357802A1 (en) 2009-12-25 2011-08-17 Kabushiki Kaisha Toshiba Display processing device, display processing method, and computer program product
US8555324B2 (en) * 2010-02-02 2013-10-08 Microsoft Corporation Video download mechanism for transferring large data
KR101647044B1 (ko) * 2010-02-11 2016-08-09 삼성전자 주식회사 휴대 단말기의 화면 표시 방법 및 장치
JP5985991B2 (ja) * 2010-02-19 2016-09-06 トムソン ライセンシングThomson Licensing メディアコンテンツ空間ナビゲーション
JP4977241B2 (ja) * 2010-07-16 2012-07-18 株式会社東芝 表示装置及び表示方法
JP5744660B2 (ja) * 2010-08-26 2015-07-08 キヤノン株式会社 データ検索結果の表示方法およびデータ検索結果の表示装置、プログラム
JP2011040099A (ja) * 2010-11-09 2011-02-24 Toshiba Corp 表示処理装置、プログラムおよび表示処理方法
JP4977247B2 (ja) * 2010-12-09 2012-07-18 株式会社東芝 表示処理装置、及び表示処理方法
WO2012112164A1 (en) * 2011-02-18 2012-08-23 Research In Motion Limited Methods and apparatus for providing updated content in a user interface
JP4762376B2 (ja) * 2011-04-13 2011-08-31 株式会社東芝 表示処理装置、表示処理方法及びプログラム
US20120272171A1 (en) * 2011-04-21 2012-10-25 Panasonic Corporation Apparatus, Method and Computer-Implemented Program for Editable Categorization
US8984051B2 (en) * 2011-07-26 2015-03-17 Salesforce.Com, Inc. Computer implemented methods and apparatus for communicating feed information to one or more recipients
JP2013097700A (ja) * 2011-11-04 2013-05-20 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP5487247B2 (ja) * 2012-06-01 2014-05-07 株式会社東芝 データ処理方法
WO2014073060A1 (ja) * 2012-11-07 2014-05-15 株式会社日立製作所 管理対象システムを管理するシステム及びプログラム
JP6003626B2 (ja) * 2012-12-26 2016-10-05 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US20140232723A1 (en) * 2013-02-19 2014-08-21 Schlumberger Technology Corporation Moving visualizations between displays and contexts
EP2979162A1 (en) * 2013-03-26 2016-02-03 RealityGate (Pty) Ltd Distortion viewing with improved focus targeting
JP6144968B2 (ja) * 2013-06-05 2017-06-07 日本電信電話株式会社 情報提示装置、方法、及びプログラム
US9201900B2 (en) * 2013-08-29 2015-12-01 Htc Corporation Related image searching method and user interface controlling method
US9589595B2 (en) 2013-12-20 2017-03-07 Qualcomm Incorporated Selection and tracking of objects for display partitioning and clustering of video frames
US10089330B2 (en) * 2013-12-20 2018-10-02 Qualcomm Incorporated Systems, methods, and apparatus for image retrieval
GB201406023D0 (en) * 2014-04-03 2014-05-21 Sony Corp A method, system, server and client
KR102328823B1 (ko) 2014-11-12 2021-11-19 삼성전자 주식회사 화면 내 빈 영역 활용 방법 및 장치
US9773087B2 (en) * 2015-08-27 2017-09-26 Taiwan Semiconductor Manufacturing Co., Ltd. Method and system for creating a device layout
US10754514B1 (en) 2017-03-01 2020-08-25 Matroid, Inc. Machine learning in video classification with schedule highlighting
CN107742099A (zh) * 2017-09-30 2018-02-27 四川云图睿视科技有限公司 一种基于全卷积网络的人群密度估计、人数统计的方法
CN111489448A (zh) * 2019-01-24 2020-08-04 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境系统及记录介质
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
WO2021140669A1 (ja) * 2020-01-10 2021-07-15 日本電気株式会社 可視化画像表示装置

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05282379A (ja) * 1992-02-06 1993-10-29 Internatl Business Mach Corp <Ibm> 動画像の管理方法及び管理装置
JP3407840B2 (ja) 1996-02-13 2003-05-19 日本電信電話株式会社 映像要約方法
JPH113346A (ja) 1997-06-11 1999-01-06 Hitachi Ltd 動画像ファイル管理装置
JP3134825B2 (ja) * 1997-09-18 2001-02-13 日本電気株式会社 情報表示装置および情報表示プログラムを記録した記録媒体
JPH11249774A (ja) 1998-03-04 1999-09-17 Ntt Data Corp 3次元情報表示システム及び方法
JP3123501B2 (ja) * 1998-03-16 2001-01-15 日本電気株式会社 空間視点制御装置
JP3473419B2 (ja) * 1998-07-22 2003-12-02 日本電気株式会社 三次元空間メディア情報表示装置、三次元空間メディア情報表示方法および記録媒体
JP2000076267A (ja) * 1998-08-31 2000-03-14 Sharp Corp 情報検索方法、情報検索装置、及び情報検索プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2000017777A1 (fr) * 1998-09-17 2000-03-30 Sony Corporation Dispositif et procede de visualisation d'images
US7607150B1 (en) 1998-11-30 2009-10-20 Sony Corporation Information providing device and method
JP3572215B2 (ja) 1999-02-18 2004-09-29 日本電信電話株式会社 検索画像の空間表示方法及び装置及びこの方法のプログラムを記憶した記憶媒体
EP1041790B1 (en) * 1999-03-30 2004-11-24 Nec Corporation Symbol timing recovery for OFDM demodulator
JP2000305946A (ja) 1999-04-26 2000-11-02 Canon Inc 情報検索装置、情報検索方法、及び記憶媒体
US6853389B1 (en) * 1999-04-26 2005-02-08 Canon Kabushiki Kaisha Information searching apparatus, information searching method, and storage medium
JP3451985B2 (ja) * 1999-05-27 2003-09-29 日本電気株式会社 動画像類似度算出装置および方法
JP3656986B2 (ja) * 2000-02-14 2005-06-08 日本電信電話株式会社 関連発見型情報閲覧システム
JP2001292383A (ja) 2000-04-07 2001-10-19 Sony Corp 受信装置および受信方法
JP4378837B2 (ja) * 2000-04-07 2009-12-09 ソニー株式会社 受信装置
JP3648130B2 (ja) 2000-05-15 2005-05-18 日本電信電話株式会社 映像一覧方法及び映像一覧処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US6874052B1 (en) 2000-09-29 2005-03-29 Lucent Technologies Inc. Expansion bridge apparatus and method for an I2C bus
JP3842545B2 (ja) 2000-09-29 2006-11-08 日本電信電話株式会社 コンテンツ提供システムおよび提供方法
JP2002209178A (ja) 2001-01-09 2002-07-26 Funai Electric Co Ltd 録画再生装置
JP4202622B2 (ja) * 2001-07-13 2008-12-24 富士通株式会社 コンテンツ配信方法、コンテンツ情報処理装置、および、プログラム
JP2003061038A (ja) * 2001-08-20 2003-02-28 Univ Waseda 映像コンテンツ編集支援装置および映像コンテンツ編集支援方法
JP3880358B2 (ja) * 2001-10-04 2007-02-14 シャープ株式会社 Ofdm復調回路及びこれを用いたofdm受信装置
JP2003162543A (ja) * 2001-11-22 2003-06-06 Nippon Telegr & Teleph Corp <Ntt> コンテンツ管理装置、コンテンツ管理方法、コンテンツ管理プログラム、及びコンテンツ管理プログラムを記録した記録媒体
US7171344B2 (en) * 2001-12-21 2007-01-30 Caterpillar Inc Method and system for providing end-user visualization
KR100876280B1 (ko) * 2001-12-31 2008-12-26 주식회사 케이티 통계적 모양기술자 추출 장치 및 그 방법과 이를 이용한 동영상 색인 시스템
US20030126601A1 (en) * 2001-12-31 2003-07-03 Koninklijke Philips Electronics N.V. Visualization of entertainment content
JP2003215494A (ja) * 2002-01-22 2003-07-30 Canon Inc 複合現実感提示装置および画像処理方法
JP2003330969A (ja) 2002-05-16 2003-11-21 Sony Corp 情報管理システム、情報処理装置、情報処理方法、情報処理プログラム、及び記憶媒体
JP2004030112A (ja) * 2002-06-25 2004-01-29 Nippon Telegr & Teleph Corp <Ntt> コンテンツ提示方法及びシステム並びにプログラム及び媒体
JP2004178085A (ja) 2002-11-25 2004-06-24 Nippon Telegr & Teleph Corp <Ntt> 情報表示装置、情報表示プログラム、プログラム記録媒体及び情報表示方法
JP2004258390A (ja) 2003-02-26 2004-09-16 Canon Inc 画像処理装置
US7245677B1 (en) * 2003-03-14 2007-07-17 Ralink Technology, Inc. Efficient method for multi-path resistant carrier and timing frequency offset detection
JP2005010854A (ja) 2003-06-16 2005-01-13 Sony Computer Entertainment Inc 情報提示方法および装置
KR100562904B1 (ko) 2003-09-02 2006-03-21 삼성전자주식회사 미니맵을 이용한 epg 정보 표시 방법
JP4325449B2 (ja) 2004-03-19 2009-09-02 ソニー株式会社 表示制御装置,表示制御方法,記録媒体
JP4581446B2 (ja) * 2004-03-22 2010-11-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7557774B2 (en) * 2004-08-13 2009-07-07 Microsoft Corporation Displaying visually correct pointer movements on a multi-monitor display system
US7721311B2 (en) 2004-09-24 2010-05-18 Canon Kabushiki Kaisha Displaying EPG information on a digital television
JP4602044B2 (ja) * 2004-10-15 2010-12-22 株式会社東芝 画像表示装置
JP2007066285A (ja) 2004-12-28 2007-03-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP2007006095A (ja) * 2005-06-23 2007-01-11 Matsushita Electric Ind Co Ltd コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラムを格納した記録媒体およびコンテンツ再生装置に用いられる集積回路
JP4849301B2 (ja) * 2005-07-27 2012-01-11 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4346591B2 (ja) * 2005-08-25 2009-10-21 株式会社東芝 映像処理装置、映像処理方法およびプログラム
JP4536637B2 (ja) * 2005-10-28 2010-09-01 株式会社スクウェア・エニックス 情報散策装置及び方法、プログラム並びに記録媒体
JP4536638B2 (ja) * 2005-10-28 2010-09-01 株式会社スクウェア・エニックス 表示情報選択装置及び方法、プログラム並びに記録媒体
JP2007148669A (ja) 2005-11-25 2007-06-14 Hitachi Software Eng Co Ltd らせん式ファイルフォルダ表示システム
JP5212610B2 (ja) * 2006-02-08 2013-06-19 日本電気株式会社 代表画像又は代表画像群の表示システム、その方法、およびそのプログラム並びに、代表画像又は代表画像群の選択システム、その方法およびそのプログラム
JP4972966B2 (ja) 2006-03-16 2012-07-11 日本電気株式会社 関係性表示方法及び装置並びにそのプログラム
JP4622901B2 (ja) 2006-03-17 2011-02-02 パナソニック株式会社 空気調和装置
JP4359685B2 (ja) 2006-03-31 2009-11-04 大学共同利用機関法人情報・システム研究機構 映像提供装置及び映像提供方法
JP4917412B2 (ja) 2006-11-24 2012-04-18 シャープ株式会社 コンテンツ抽出装置、方法、プログラム、及び記録媒体
JP5086617B2 (ja) 2006-11-27 2012-11-28 シャープ株式会社 コンテンツ再生装置
JP4535072B2 (ja) * 2007-01-19 2010-09-01 ソニー株式会社 情報媒介装置、及びクライアント装置
JP2008242504A (ja) * 2007-03-23 2008-10-09 Toshiba Corp ユーザインタフェース装置、表示方法及び表示プログラム
JP2008276410A (ja) * 2007-04-26 2008-11-13 Toshiba Corp 画像処理装置及び方法
US7941429B2 (en) * 2007-07-10 2011-05-10 Yahoo! Inc. Interface for visually searching and navigating objects
JP5121367B2 (ja) * 2007-09-25 2013-01-16 株式会社東芝 映像を出力する装置、方法およびシステム
JP2009080580A (ja) 2007-09-25 2009-04-16 Toshiba Corp 映像表示装置及び方法
JP2010055431A (ja) 2008-08-28 2010-03-11 Toshiba Corp 表示処理装置および表示処理方法
JP4675995B2 (ja) 2008-08-28 2011-04-27 株式会社東芝 表示処理装置、プログラムおよび表示処理方法
JP2010055429A (ja) 2008-08-28 2010-03-11 Toshiba Corp コンテンツ表示装置及びコンテンツ表示方法
JP5060430B2 (ja) * 2008-08-28 2012-10-31 株式会社東芝 表示制御装置、及び方法
US20100058173A1 (en) 2008-08-28 2010-03-04 Kabushiki Kaisha Toshiba Display processing apparatus, display processing method, and computer program product
JP2010055424A (ja) * 2008-08-28 2010-03-11 Toshiba Corp 画像を処理する装置、方法およびプログラム
US20100058388A1 (en) * 2008-08-28 2010-03-04 Kabushiki Kaisha Toshiba Display processing apparatus, display processing method, and computer program product
JP2010073126A (ja) * 2008-09-22 2010-04-02 Toshiba Corp 情報可視化装置および情報可視化方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103973953A (zh) * 2009-04-15 2014-08-06 奥林巴斯映像株式会社 摄影装置、显示装置、再现装置、摄影方法以及显示方法
CN103973953B (zh) * 2009-04-15 2017-07-21 奥林巴斯株式会社 摄影装置、显示装置、再现装置、摄影方法以及显示方法
CN101867708A (zh) * 2009-04-15 2010-10-20 奥林巴斯映像株式会社 摄影装置、显示装置、再现装置、摄影方法以及显示方法
CN102075816A (zh) * 2009-11-17 2011-05-25 索尼公司 显示控制系统、显示控制设备以及显示控制方法
CN102075816B (zh) * 2009-11-17 2013-11-06 索尼公司 显示控制系统、显示控制设备以及显示控制方法
CN102426573A (zh) * 2010-07-13 2012-04-25 富士胶片株式会社 内容分析装置和方法
CN103455935A (zh) * 2012-05-31 2013-12-18 索尼公司 信息处理设备、程序以及信息处理方法
CN103902639A (zh) * 2012-12-27 2014-07-02 国际商业机器公司 用于快速探查紧密连接网络中的关系的控制方法和装置
US10169372B2 (en) 2012-12-27 2019-01-01 International Business Machines Corporation Control for rapidly exploring relationships in densely connected networks
CN107005675B (zh) * 2014-09-05 2019-08-06 富士胶片株式会社 动态图像编辑装置、动态图像编辑方法及存储介质
CN107005675A (zh) * 2014-09-05 2017-08-01 富士胶片株式会社 动态图像编辑装置、动态图像编辑方法及动态图像编辑程序
CN107004004A (zh) * 2014-09-22 2017-08-01 汤姆逊许可公司 使用深度知觉作为搜索、用户兴趣或偏好的指示符
US11347793B2 (en) 2014-09-22 2022-05-31 Interdigital Madison Patent Holdings, Sas Use of depth perception as indicator of search, user interest or preference
CN110892441A (zh) * 2017-07-19 2020-03-17 三菱电机株式会社 行动可视化装置和行动可视化方法
CN110825561A (zh) * 2018-08-10 2020-02-21 横河电机株式会社 控制系统以及控制装置
CN110825561B (zh) * 2018-08-10 2023-07-28 横河电机株式会社 控制系统以及控制装置

Also Published As

Publication number Publication date
CN101398851B (zh) 2011-06-22
US8041155B2 (en) 2011-10-18
US20090080698A1 (en) 2009-03-26
EP2043047A3 (en) 2012-03-07
JP2009080580A (ja) 2009-04-16
EP2043047A2 (en) 2009-04-01

Similar Documents

Publication Publication Date Title
CN101398851B (zh) 影像显示装置及方法
US9854277B2 (en) System and method for creation and management of advertising inventory using metadata
US9922448B2 (en) Systems and methods for generating a three-dimensional media guidance application
US20110137727A1 (en) Systems and methods for determining proximity of media objects in a 3d media environment
US11164362B1 (en) Virtual reality user interface generation
US20150249865A1 (en) Context-based content recommendations
US20130054319A1 (en) Methods and systems for presenting a three-dimensional media guidance application
CN116668788B (zh) 一种智能电视内容推荐装置及方法
CN114238776A (zh) 一种基于多维候选集的iptv内容推荐系统
AU2013203157A1 (en) Systems and Methods for Navigating a Three-Dimensional Media Guidance Application

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110622

Termination date: 20130909