CN101441650A - 影像输出装置、方法和系统 - Google Patents

Abstract

本发明要解决的技术问题是提供一种能够通过输入的影像数据生成多种输出影像并显示的影像输出装置。所述影像输出装置具有：输入影像数据的影像输入部(101)；参考数据输入部(102)，输入与影像数据相关联的多个参考数据；提取条件确定部(103)，从多个参考数据的识别信息中，根据自接收到输出请求开始经过的时间确定识别信息；参考数据提取部(104)，提取确定的识别信息的参考数据；解析部(105)，计算输入的影像数据中的帧与参考数据的相似度，提取计算出的相似度比第一阈值大的帧；影像生成部(106)，生成包含提取的帧的输出影像数据；以及输出部(153)，输出生成的输出影像数据。

Description

影像输出装置、方法和系统

技术领域

本发明涉及一种影像输出装置、方法和系统，输出从影像数据中提取视听的影像数据所生成的影像数据。

背景技术

近年来，随着通信网络宽带化、电视播放高视频化，伴随着数字视频照相机的发展，用户要处理庞大的影像数据。而且，这样的影像数据中，也包括对某个用户来说冗长的影像数据。因此，用户难以从庞大而且冗长的影像数据中检索出要视听的影像数据和难以立刻理解影像数据的内容。

对于这样的问题，通过表示影像内有代表性的图像来浏览影像数据的内容的所谓微缩(Thumb nail)技术是众所周知的。最单纯的影像数据表示方法有提取影像数据起始帧、缩小提取的起始帧，进行微缩处理，表示影像数据内容的方法。

可是，由于起始帧不限于具有所述影像内容特征的代表性帧，因此多数情况下只看所述微缩图像不能充分理解影像数据的内容。

因此，提出了将影像数据的起始帧和文本数据进行合成并微缩显示的技术(例如专利文献1)。该技术是为了解决随着时间变化及只通过起始帧的图像难以判断影像数据的内容的问题。因此，该技术中，将包含节目名称、演出人员、录像时间等文本数据的标题图像合成在起始帧的图像上解决该问题，实现更容易有把握地显示影像数据的方法。

而且，还提出了解析影像数据、选择并显示具有所述影像数据特征的图像的技术(例如专利文献2)。该技术利用检索影像数据场景转折点的场景变化检测功能，提取代表图像的候补图像，从多个有代表性的候补图像中人工选择有代表图像进行显示。从这样以某种程度加入的候补图像中，用户选择认为最有代表性的图像，能够有效地实现微缩显示。

而且，提出了根据影像数据的种类进行微缩制作的技术(例如专利文献3)。由于影像、新闻、商业(CM)等影像数据的种类，特性和结构不同，该技术根据影像数据的类型属性进行影像区间分割、图像提取及合成。通过这样的方法，能够制作出适合每钟影像数据的微缩，能够实现更有效率地进行微缩显示。

专利文献1日本特开2002-209178号公报

专利文献2日本特开平11-3346号公报

专利文献3日本特开平9-219835号公报

发明内容

可是，上述技术中存在只显示以规定判断标准选择或者制成的固定图像的问题。例如，专利文献1中的方法，合成前面帧的图像和含有节目名称等文本数据的标题图像，表示微缩图像。即，对于某个影像数据，即使用户或用户的视听状况不同的情况下，通过各技术确定的方法显示确定的同一微缩图像。因此，存在不能考虑用户嗜好或者各种状况制作并显示图像的问题。

本发明就是鉴于上述问题提出的，目的是提供一种装置、方法和系统，能够通过输入的影像数据生成多种输出影像并显示。

为了解决上述问题，实现本发明的目的，本发明是一种影像输出装置，生成并输出输出影像数据，所述输出影像数据包含从输入的影像数据提取的帧，所述影像输出装置的特征在于，具有：输入影像数据的影像输入部；参考数据输入部，输入与输入的影像数据相关联的图像数据、文本数据、以及声音数据中的至少一种的多个参考数据；确定部，基于预定的规则，从多个上述参考数据的识别信息中，根据包含自接收到上述输出影像数据的输出请求开始经过的时间在内的动态变化的预定的变动信息，确定上述识别信息；参考数据提取部，从多个上述参考数据中提取确定的上述识别信息的上述参考数据；帧提取部，计算输入的影像数据中的帧与作为上述参考数据提取的上述图像数据之间的相似度、作为上述元数据给予给上述帧的文本数据与作为上述参考数据提取的文本数据之间的相似度、以及给予给上述帧的声音数据与作为上述参考数据提取的上述声音数据之间的相似度中的至少一个，并提取计算出的相似度比预定的第一阈值大的上述帧或者被给予了计算出的相似度比上述第一阈值大的上述声音数据的上述帧；影像生成部，生成包含提取的上述帧的上述输出影像数据；以及输出部，输出生成的上述输出影像数据。

而且本发明还包括能够实现上述装置的方法。

此外，本发明是一种买入系统，具有：提供装置，提供有关商品的影像数据；计费装置，根据与买入的上述商品相关的买入信息，对上述商品提供者进行计费处理；以及影像输出装置，通过网络连接到上述提供装置和上述计费装置，生成包含从输入的影像数据中提取的帧的输出影像数据并输出；上述影像输出装置具有：输入影像数据的影像输入部；参考数据输入部，输入与所输入的影像数据相关的图像数据、文本数据以及声音数据中的至少一种的多个参考数据；确定部，基于预定规则，从多个上述参考数据的识别信息中，根据包含自接收到上述输出影像数据的输出请求开始经过的时间的动态变化的预定的变动信息，确定上述识别信息；参考数据提取部，从多个上述参考数据中提取确定的上述识别信息的上述参考数据；帧提取部，计算输入的影像数据中的帧与作为上述参考数据提取的上述图像数据之间的相似度、作为上述元数据给予给上述帧的文本数据与作为上述参考数据提取的文本数据之间的相似度、以及给予给上述帧的声音数据与作为上述参考数据提取的上述声音数据之间的相似度中的至少一个，提取计算出的相似度比预定的第一阈值大的上述帧或者被给予了计算出的相似度比上述第一阈值大的上述声音数据的上述帧；影像生成部，生成包含提取的上述帧的上述输出影像数据；输出部，输出生成的上述输出影像数据；买入处理部，根据通过上述输出部输出的上述输出影像数据，进行与指定的上述商品的买入相关的处理；以及计费处理部，把通过上述买入处理部买入的上述商品有关的上述买入信息发送到上述计费装置。

根据本发明，能够达到从输入的影像数据生成并显示多样输出影像的效果。

附图说明

图1是关于第一实施例的影像输出装置的结构方块图；

图2是示出输入的影像数据的一个例子的图；

图3是示出影像索引的一个例子的模拟图；

图4是示出影像索引的记载例子的图；

图5是示出作为影像数据的参考数据组的例子的图；

图6是作为文本数据的参考数据组的例子的图；

图7是作为声音数据的参考数据组的例子的图；

图8是示出解析部详细结构的方块图；

图9是示出影像选择及合成条件的一个例子的图；

图10是示出用帧占有率优先条件选择的影像的一个例子的图；

图11是示出布局条件的一个例子的图；

图12是第一实施例中影像输出处理的整个过程的流程图；

图13是影像输出处理中处理的各种数据的例子的图；

图14是影像输出处理中处理的各种数据的例子的图；

图15是影像输出处理中处理的各种数据的例子的图；

图16是关于第二实施例的影像输出装置的结构方块图；

图17是参考数据存储部存储的参考数据的数据结构的一个例子；

图18是第二实施例中影像输出处理的整个过程的流程图；

图19是关于第三实施例的影像输出装置的结构方块图；

图20是对应信息存储部存储的对应信息数据的数据结构的一个例子的说明图；

图21是第三实施例中影像输出处理的整个过程的流程图；

图22是第三实施例的变形例中影像输出处理结构的方块图；

图23是第四实施例中买入系统的结构的方块图；

图24是第四实施例中影像输出处理的整个过程的流程图；

图25是第一至第四实施例中影像输出装置的硬件结构说明图。

符号说明：

10  买入系统

51  CPU

52  ROM

53  RAM

54  通信I/F

61  总线

101 影像输入部

102 参考数据输入部

103 提取条件确定部

104 参考数据提取部

105 解析部

105a 影像解析部

105b 文本解析部

105c 声音解析部

106 影像生成部

107 输出控制部

151 操作部

152 通信部

153 输出部

401、402、411、412、413 设定项目

601、602 文本

701、702 声音

1301 影像数据

1302 参考数据组

1303、1304、1305、1307 帧

1306、1308 输出影像数据

1402 文本数据

1403、1404 单词

1502 声音数据

1503、1504 声音

1604 参考数据提取部

1608 解析结果判断部

1609 生成结果判断部

1621 参考数据存储部

1622 履历存储部

1701、1702 联系信息

1908 解析结果判断部

1909 生成结果判断部

1910 制约条件输入部

1911 生成条件取得部

1923 对应信息存储部

2212 生成条件输入部

2313 输入处理部

2314 计费处理部

2400 商品提供服务器

2500 计费服务器

2600 网络

具体实施方式

下面参考附图，详细说明本发明的装置、方法及系统的最佳实施例。

第一实施例

关于第一实施例的影像输出装置利用根据提取条件从影像数据有关的参考数据组中提取的参考数据，从影像数据中提取帧，生成并显示包含提取的帧的输出用的影像数据。

其中，影像数据是指由至少一个影像帧构成的数据。即，影像数据中含有动态图像数据和静止图像数据。而且，参考数据是含有例如与输入的影像数据不同的其他影像数据、文字列或者数值等的文本数据和声音数据，是为了由影像数据生成输出用的影像数据而参考的数据。因此，参考数据组是多个参考数据的集合，是指可以根据提取条件提取一个以上参考数据的信息。

而且，下面把输出用的影像数据称为输出影像数据。输出影像数据可以仅由静止图像、动态图像数据、或者二者的组合构成。

而且，下面用普通的个人计算机(PC)实现影像输出装置作为例子进行说明。可以适用的装置不限于PC机，只要是可以输出影像的装置就可以，例如PDA(个人数字助理装置)、手机、TV、和视频记录装置等任何装置均适用。

而且，可以适用的数据不限于影像数据，对于音乐、因特网络上的主页信息、电子节目(EPG)信息和地图信息等其他各种媒介同样适用。

图1是示出第一实施例的PC 100的结构的方块图。如图1所示，PC 100主要硬件结构有：操作部151、通信部152、输出部153。PC 100主要软件结构有影像输入部101、参考数据输入部102、提取条件确定部103、参考数据输出部104、解析部105、影像生成部106、输出控制部107。

操作部151是接受用户输入操作的部件。具体地，操作部151可以由键盘、鼠标、遥控器和触摸屏等构成。用户一边确认后面所述的输出部153上显示的各种影像数据或者输入的参考数据和提取条件等，一边通过操作部151，能够指定使用的提取条件等。

通信部152是通过图中未示出的网络与外部装置之间进行数据发送和接收的装置。通信部152根据使用的有线LAN网(局域网)、无线LAN网或者蓝牙等网络形式具有不同的接口功能。由于具有接口功能，使其他用户可以接收影像数据、参考数据和提取条件等。

输出部153是输出后面所述的影像生成部106生成的输出影像数据的部件。例如，输出部153可以由普通的显示装置等构成。而且，输出部153也可以由把影像数据作为印刷品输出的打印机装置等构成。

影像输入部101是输入预先给予了表示影像内容的标识信息(元数据)的影像数据、或者输入全部没有给予标识信息的一个以上的影像数据的部件。影像输入部101可以输入如下所有的影像数据：广播视频记录装置刻录的电视节目、播放的电视节目、视频照相机或者具有视频照相机功能的便携装置拍摄的影像数据、数字照相机或者具有照相机功能的便携式装置拍摄的影像、通过因特网发送的影像数据、画面和其他PC上制作或者编辑的影像数据等。

图2是示出输入的影像数据的一个例子的图。图2是由包含Jack和Olivia两个人登场的多帧构成的影像数据的例子。

一般，影像数据是指只存放影像内容的数据。一方面，近年来，如同通过MPEG(Moving Picture Experts Grop)7等技术规定的一样，通常把表示影像数据的属性和结构的标识信息赋予影像数据。

下面，把被给予到这样的影像数据的标记信息称为影像索引。如上所述，影像输入部101可以输入预先给予影像索引的影像数据和没有给予影像索引的影像数据。只是如后面所述，预先给予影像索引的影像数据能够使解析部105更有效地解析影像数据。

影像索引存在针对全体影像数据的影像索引、针对影像数据的一部分片断(帧组)的影像索引、针对影像数据的一部分帧的影像索引。

针对全体影像的影像索引中，例如含有：所述影像数据的标题、拍摄日期、录像日期、题材、出场人物(表演人员)、平均视听率、瞬间最高视听率以及介绍所述影像数据的因特网主页上的URL(Uniform Resource Locator)信息等。

而且，针对影像一部分片断(帧组)或者一部分帧的影像索引中，例如含有所述帧的热烈程度(盛り上がり度)、出场人物(表演人员)、拍摄场所、拍摄时间、瞬间视听率、所述帧中出场的物品(出场人物穿的衣服或者拿着的包等)信息、以及介绍所述物品的因特网主页上的URL信息。

图3是影像索引的一个例子的模拟图。图3是视觉显示预先给予的影像索引的例子，用于显示图2中的2个人物分别出场的任何一帧(帧组)。

图4是表示影像索引的记载例子的图。图4是以XML(Extensible Markuplanguage)形式记载的影像索引的例子。而且，影像索引的记载形式不限于此，也可以使用包含其他标记形式的任何记载形式。

在图4中，用标记<all>概括的设定项目401表示针对整个影像的影像索引。而且，用标记<part>概括的设定项目402表示针对影像部分片断或者一部分帧的影像索引。

用针对全部影像的影像索引设定影像数据的标题是“OOOOO”、刻录开始时间是“####年##月##日##时##分”，出场人物是“Jack”和“Olivia”两人。

而且，针对影像部分片断或一部分帧的影像索引设定在第30帧至第389帧之间“Jack”出场、在第270帧至第1799帧之间“Olivia”出场。

而且，对于出场人物(表演者)等，不仅在该人物的名字之前存储文本数据，还把包含该人物的脸部照片的图象数据或者包含该人物声音的声音数据设定为影像索引数据。这种情况下，例如，如图4的设定项目411所示，代替把出场人物的名字“Olivia”设定为文本数据，而如设定项目412那样，把影像数据的文件名称“Olivia.bmp”或者如设定项目413那样把声音数据的文件名称“Olivia.wav”设定为文本数据。

影像索引可以是播放电视节目的播放台给予的影像索引，也可以在刻录完节目后用户自动或者人工给予的影像索引，也可以是在因特网上通信的影像索引。假设，这些影像索引的格式不同情况下，构成为影像输入部101输入影像数据时变换格式。

而且，影像输入部101能够输入MPEG2、MPEG4以及H.264等所有格式的影像数据。而且，在输入2个以上的影像数据情况下，影像输入部101也可以构成为把识别各个影像数据的识别信息作为影像索引重新给予。例如，也可以根据表示输入顺序的ID或者输出时的优先顺序分割的ID等作为影像索引进行给予。

返回图1，参考数据输入部102用于输入参考数据组，所述参考数据组包含与输入的影像数据有关的多个参考数据。图5—图7示出参考数据组的一个例子。图5是由影像排列构成的影像数据的参考数据组的一个例子。

而且，图6示出作为文本数据的参考数据组的一个例子。而且，该图示出文本数据中包含表示人物名字“Jack”的文本601和表示人物名字“Olivia”的文本602。

而且，图7示出作为声音数据的参考数据组的一个例子。而且，该图示出声音数据中包含表示人物名字“Jack”的声音701和表示人物名字““Olivia”的声音702。

参考数据输入部102与影像输入部101相同，可以把以下所有影像数据作为参考数据输入：用视频记录设备记录的电视节目、播放的电视节目、视频照相机或者具有视频照相机功能的便携设备拍摄的影像、数字照相机或者具有照相机功能的便携设备拍摄的影像、通过因特网传输的影像数据、画面以及其他PC机上制作或者编辑的图像数据等。而且，参考数据输入部102可以把本子上书写的文本或者朗读所述本子的人的声音、电光显示板上流动的文本、指定地图上场所时该场所的地名等作为参考数据输入。

而且，参考数据输入部102能够输入以下所有文本数据：其他PC机或者便携设备制作或者编辑的文本数据、因特网上发送的文本数据、电视节目等上给予的字幕信息、利用影像扫描装置的OCR(光学特征识别)功能等获得的文本数据、通过声音识别技术使声音文本化的文本数据等。

而且，参考数据输入部102能够输入以下所有声音数据：用户自然说话的声音、电话、便携电话等通话时的说话声、给予在影像数据上的声音数据、因特网上传送的的声音数据、收音机上传输的声音数据、CD(小型盘)等传输的音乐和效果音等。

而且，在输入两个以上的参考数据组的情况下，参考数据输入部102也可以构成为给予识别各个参考数据组的识别信息。例如，能够把表示输入顺序的ID、或者根据使用时的优先顺序分割的ID等给予到各个参考数据组。

返回图1，提取条件确定部103接受用户对输出影像数据的输出要求，根据预定的规则，确定从参照数据输入部102输入的参考数据组中提取一个以上参考数据的提取条件。提取条件例如用识别参考数据组中各个参考数据的识别信息的排列地址或者地址范围表示。

在此，分别对作为影像数据、文本数据以及声音数据而提取参考数据的提取条件的具体例子进行说明。

提取影像数据的情况能够利用帧号作为提取条件。通过指定帧号，能够从影像数据构成的参考数据组中提取特定的帧图像，把所述帧图像作为参考数据。

通过这样指定帧号的范围，能够把多个帧作为影像数据提取。而且，在对影像数据进行节分割的情况下，能够利用节编号或者从节编号和从节的起始帧开始数的帧号等作为提取条件。

在提取文本数据情况下，例如，如果是利用表形式等排列的文本数据，可以利用所述表的行号和列号作为提取条件。而且，通常的文本文章作为参考数据组输入的情况下，可以利用“从头开始哪个序号的文件”或者“从头开始哪个段落”或者“从头开始哪个单词”等作为提取条件。

通过这样指定在文本文章中出现的单词的序号，能够从文本数据构成的参考数据组中提取特定的单词，把所述单词作为参照数据。而且，通过指定提取单词的范围(单词数)，能够把多个单词作为参考数据提取。而且，不仅文章、段落和单词这样的单位，也可以利用只提取名词的条件或者只提取动词的条件等作为提取条件。

提取声音数据的情况下，例如如果音源标记在表上等，可以利用所述表的行号和列号作为提取条件。而且，在以通常的声音(朗读或者会话等)作为参考数据组输入的情况下，对输入的声音进行声音识别的文本数据，可以利用指定单词序号的提取条件等，作为与上述相同的提取条件。

通过这样指定声音中出现的单词的序号，能够从声音数据构成的参考数据组中提取特定的单词，把所述声音作为参考数据。而且，声音数据的情况能够利用以数据开头为基准的发声时间作为提取条件。

下面，说明提取条件确定部103确定提取条件的方法。提取条件确定部103根据动态变化的变动信息确定提取条件的规定规则确定提取条件。变化信息例如可以利用从开始接收输出影像数据的输出请求的处理开始时所经过的时间。因此，规则例如可以利用每经过规定时间之后影像数据的后面帧的序号作为提取条件的规则。

而且，变化信息不限于此，可以利用输出影像数据的显示位置、用户的视点位置、视听者的声音大小、以及气温和温度等，动态变化的任何信息。

因此，规则可以根据利用的变动信息而选择适用。例如，变动信息是利用输出影像数据的显示位置情况下，可以适用如下规则，即表示输出影像数据的显示位置的坐标值增加作为提取条件，确定的帧序号增加。

而且，例如，变动信息利用气温的情况适用这样的规则，即参照每次提取气温的帧的序号对应的信息等，确定把对应视听环境的气温的帧序号作为提取条件。这样，例如，根据季节能够动态变化输出的影像数据。

而且，能够利用参考数据组中动态变化的信息作为动态信息。例如，能够利用作为参考数据的影像数据上给予的声音数据内的欢呼声作为变动信息。欢呼声之外，也可以利用影像的瞬间视听率等受欢迎度和受注意度确定的属性作为变动信息。

而且，提取条件确定部103构成为根据变动信息的值变更确定提取条件的契机也可以。例如，利用视听者的欢呼声大小作为变动信息的情况可以构成为如下形式，视听者的欢呼声大时增加确定提取条件的时间间隔，欢呼声小时减小时间间隔。

提取条件确定部103通过根据变动信息确定提取条件，例如，根据时间的变化能够增大帧号。因此，根据这样动态变化的提取条件，后面所述的参考数据提取部104可以从显示“Jack”的图像到显示“Olivia”的图像，使作为参考数据的影像数据动态变化。

文本数据作为参考数据组输入的情况，例如通过对应时间的变化出现的单词序号增大，参考数据提取部104可以从称为“Jack”的单词到称为“Olivia”的单词，使作为参考数据的文本数据动态变化。

而且，声音数据作为参考数据组输入的情况，例如，通过增大随着时间的变化出现的单词序号，参考数据提取部104可以从称为“Jack”的声音到称为“Olivia”的声音，使作为参考数据的声音数据动态变化。

而且，提取条件确定部103也可以根据用户的操作确定提取条件。例如，提取条件确定部103可以根据作为参考数据的影像数据的再生时刻而变化，根据用户可以操作的滑杆的位置，确定作为参考数据提取的影像数据的帧号。而且，也可以构成为用户通过操作部151输入用于更新提取条件的触发(Trigger)。例如，用户通过操作部151可以指定作为参考数据组输入的影像数据开始再生、变更作为参考数据所提取的帧、以及停止再生。

参考数据提取部104用于从参考数据输入部102输入的参考数据组中，提取一个以上适合提取条件的参考数据。如上所述，由于从参考数据组中提取参考数据的提取条件动态变化，参考数据提取部104提取的参考数据也动态变化。

在本实施例中，按照用户的喜好，以输入包含与用户希望视听的内容相关联的参考数据的参考数据组作为前提。因此，例如在把称为“Jack”的文本数据或者声音数据或者放映“Jack”的影像数据作为参考数据提取的情况，解释为用户希望视听影像数据中“Jack”演出的场景。

而且，称为“Olivia”的文本数据或者声音数据或者放映“Olivia”的影像数据作为参考数据提取的情况，解释为用户希望视听影像数据中“Olivia”演出的场景。

而且，称为“Jack Olivia”的文本数据或者声音数据或者同时放映“Jack”和“Olivia”的影像数据作为参考数据提取的情况，解释为用户希望视听影像数据中“Jack”和“Olivia”同时演出的场景。

解析部105解析输入的影像数据，把适合参考数据提取部104提取的参考数据的帧作为输出图像数据中包含的候补图像提取。

例如，存在如图4所示的影像索引，给予文本数据“Olivia”作为参考数据。这种情况下，解析部105从影像索引中区分“Olivia”登场的场景为第270帧至第1799帧，因此把此区间的帧图像作为输出影像数据中包含的候补图像提取。

而且，图3所示，给予各个人物登场的帧作为影像索引。此时，“Jack”作为参考数据被给予的情况下，解析部105提取实线部分“Jack”出场的帧组。而且，“Olivia”作为参考数据被给予的情况下，解析部105提取虚线部分“Olivia”出场的帧组。而且，“Jack”和“Olivia”作为参考数据给予的情况下，解析部105提取实线和虚线共同的部分“Jack”和“Olivia”两人同时出场的帧组。

而且，解析部105根据影像数据中是否预先给予影像索引，或者给予的情况下所给予的影像索引的形式，变更处理方法。而且，解析部105根据参考数据的形式变更处理方法。参考数据的形式包括影像数据形式、文本数据形式和声音数据形式。

下面，详细说明这样的解析部105的功能。图8是解析部105的详细结构的方块图。如图8所示，解析部105具有影像解析部105a、文本解析部105b和声音解析部105c。

影像解析部105a对照影像数据形式的参考数据、作为影像数据给予的影像索引或者输入的影像数据本身，提取输出影像数据中包含的候补图像。

例如，“Olivia”出场的帧图像作为参考数据被给予的影像数据中，在图4所示的设定项目412那样的影像数据的文件名称“Olivia.bmp”作为影像索引被预先给予。这种情况下，影像解析部105a对参考数据的帧图像和影像索引指定的文件的图像数据进行匹配处理。因此，在参考数据的帧图像和文件的图像数据之间的相似度达到规定阈值以上的情况，影像解析部105a判断二者匹配，能够把从第270帧到第1799帧之间的帧图像提取作为输出影像中含有的候补图像。影像数据之间的相似度可以用例如差的绝对值之和(SAD，绝对差值之和)或者误差平方和(SSD，差值平方和)、S/N比值等计算出来。而且，也可以利用目标检测技术(头像检测)技术或者目标比较(头像检测)技术计算出来。

而且，没有给予影像索引的情况，影像解析部105a解析输入的影像数据，通过与参考数据对比，把比较的帧作为候补图像提取。例如，作为参考数据，给予“Jack”的图像或者“Olivia”的图像的情况，影像解析部105a把影像数据的各帧与作为参考数据给予的图像数据进行匹配处理。这样，影像解析部105a能够检测出各个演出者在哪一帧出场。

而且，构成为把通过这样的处理制作的影像索引给予在影像数据上也可以。这样，能够再利用影像数据的解析结果。而且，即使是给予影像索引的情况，构成为如下形式也可以，即如果不提取匹配的帧，进行与不给予影像索引的情况相同的处理。

下面，说明文本解析部105b。文本解析部105b通过对比文本数据形式的参考数据与作为文本数据给予的影像索引，提取输出影像数据中含有的候补图像。

例如，称为“Olivia”的文本数据作为参考数据给予，图4的设定项目411所示的文本数据形式的出场人物名称“Olivia”作为影像索引被预先给予在影像数据中。这种情况下，文本解析部105b对参考数据的文本数据和影像索引的文本数据进行匹配处理。因此，文本解析部105b在参考数据的文本数据和影像索引的文本数据之间的相似度达到规定阈值以上的情况下判断为二者匹配，能够把从第270帧到第1799帧之间的帧图像作为输出影像中含有的候补图像而提取。文本数据之间的相似度可以用例如全部文本数据的对照处理或者部分对照处理计算出来。而且，也可以利用记载文本数据之间相似度的词典数据计算出来。而且，即使没有给予影像索引的情况，文本解析部105b也可以利用文本数据进行相同的处理。

下面说明声音解析部105c。声音解析部105c通过对比声音数据形式的参考数据与作为声音数据给予的影像索引或者给予在声音数据本身上的声音数据，提取输出影像数据中含有的候补图像。

例如，称为“Olivia”的声音数据作为参考数据被给予，图4的设定项目413所示的声音数据的文件名称“Olivia.wav”作为影像索引被预先给予在影像数据中。这种情况下，声音解析部105c对参考数据的声音数据和影像索引指定的文件的声音数据进行匹配处理。因此，声音解析部105c在参考数据的声音数据和影像索引指定的文件的声音数据之间的相似度达到规定阈值以上的情况下判断二者匹配，能够把声音数据匹配的从第270帧到第1799帧之间的帧图像提取作为输出影像中含有的候补图像。声音数据之间的相似度可以通过例如声音的波形数据的相关计算进行计算。

而且，没有给予影像索引的情况，声音解析部105c解析输入的影像数据中被给予的声音数据，通过与参考数据对照，把对照的帧作为候补图像提取。只是这样的处理能够提取发出“Olivia”的场景，但是不限于提取“Olivia”出场的场景。因为，在“Olivia”出场的画面中，通常不限于给予称为“Olivia”的声音数据。

这样，在给予作为参考数据的声音数据的情况下，给予影像索引的情况与不给予的情况提取的候补图像的种类差别很大。因此，构成为如下形式也可以，即指定用何种方法进行提取的信息与参考数据同时输入，根据所述信息变更提取方法。

而且，声音解析部105c不利用发出“Olivia”这样的出场人物名称声音的声音数据作为参考数据，把称为“Olivia”的出场人物发出的声音的声音数据作为参考数据，能够提取发出“Olivia”声音的情形。这种情况下，声音解析部105c不仅能够匹配声音数据的语句，还可以通过图象解析使音质匹配。

返回图1，影像生成部106根据确定输出影像数据中包含的帧属性或者输出状态的预定生成条件(下面，称为输出影像数据生成条件)，选择通过解析部105提取的候补图像中合适的图像，对选择的图像进行合成处理，生成输出影像数据。

输出影像数据生成条件中含有图像选择/合成条件和布局条件。图像选择/合成条件中设定为解析部105提取的候补图像给予优先顺序的标准和合成选择的影像的方法。

图9是影像选择/合成条件的一个例子。影像的选择/合成条件中含有例如从候补影像中选择单一影像的条件、从候补图像中选择多个图像的条件、以及合成多个图像的条件等。

用于选择单一图像的条件可以指定为与帧占有率优先、目标数优先、受欢迎程度优先和视听率优先等帧属性相关条件。

帧占有率优先是指对照时使用的人物等在帧内尽可能大地放映的影像优先包含在输出影像数据中的条件。目标数优先是指例如参考数据中给予的人物之外的其他人物或者事物放映较多的画面优先包含在输出影像数据中的条件。受欢迎程度高的优先是指例如根据体育画面受欢迎度高等计算出受欢迎程度高的图像优先包含在输出影像数据中的条件。视听率优先是指播放时瞬间视听率特别高的图像或者瞬间视听率在规定阈值之上的高视听率图像优先包含在输出影像数据中。而且，受欢迎程度、视听率等能够利用作为影像索引预先给予的数值信息。

而且，选择多个图像的条件可以指定与帧之间相似度优先以及帧之间的间隔优先等帧属性相关的条件。

帧之间的相似度优先可以用差的绝对值之和(SAD，绝对差值之和)或者误差平方和(SSD，差值平方和)等计算候补图像之间的相似度，是指相似度小的图像包含在优先输出影像数据中的条件。

选择相似度小的图像的方法也可以使用图像特征量进行分类的方法。即，例如在选择3个图像的情况下，根据图像特征量(向量)对候补图像的帧组进行分类，选择分割为3个的各个组中最靠近中心的帧作为输出影像数据。通过这样的处理，能够从3个图像把握人物以各种形态出场的情况。

帧之间的间隔优先条件是指候补图像的帧之间间隔大的图像即再现时间间隔长的图像包含在输出影像中。而且，与此相反，也可以构成为指定相似度大的图像优先包含在输出影像数据中的条件，或者帧之间的间隔小的图像包含在输出影像数据中的条件。

而且，图像的选择/合成条件的其他例子可以使用不选择某帧后面的候补图像作为输出影像数据的条件。这样，例如对于体育或者戏剧等影像数据，可以生成比赛结果或者开始和结尾不先被看见的输出影像数据。

而且，合成多个图像的条件能够指定合成2个图像的条件、合成3个图像的条件等与帧的输出形态相关的条件。更具体的条件如图9右侧所示，可以指定通过单纯并列排列设置进行合成的条件或者对图象进行无缝紧处理为合成的条件。而且，无缝影像合成条件之外，也可以包含以前使用的各种图像过滤条件作为合成条件。

在此，对通过图像的选择/合成条件从候补图像中选择图像的例子进行说明。图10示出用帧占有率优先条件选择图像的一个例子。

例如，选择“Jack”出场的图像时，解析部105把“Jack”登场的全部帧作为候补图像提取。然后，影像生成部106为了把提取的候补图像排序，利用登场人物的帧占有率。即，影像生成部106通过进一步解析候补图像的帧，求出各帧中放映的“Jack”画面有多大，选择放映最大的帧。在同一图的例子中，由于“Jack”在帧A中出场最大，因此影像生成部106选择帧A作为输出影像数据。

选择“Olivia”出场的图像的情况也通过同样的处理，影像生成部106能够选择帧B作为输出影像数据。而且，选择“Jack”和“Olivia”同时出场的场景的情况，影像生成部106通过查找两者同时放映大的帧，选择帧C作为输出影像数据。

下面，说明作为输出影像数据生成条件中含有的条件之一的布局条件。

布局条件中含有与输出影像数据中使用的帧数、对各帧影像进行布局时的位置坐标、各帧图像的尺寸(屏幕值)、显示时间等与帧的输出状态相关的条件。而且，布局条件中还含有各帧图像的优先顺序信息、按照优先顺序高的顺序进行布局的位置或者大小分割。一般把优先顺序最高的帧图像设置在最容易注意的位置，以最大尺寸进行布局设计。

图11示出布局条件的一个例子。如图11所示，各个布局条件以“布局##”的形式记载的布局名称识别。该形式的左边符号“#”部分设定表示布局中含有的图像数量的数值。而且，右边符号“#”部分设定影像数目连同布局条件的通用序号。

在图像是一个的情况下，单纯地把一个图像显示在画面的整体或者一部分。在图像是两个以上的情况下，可以指定各个图像的位置关系或者大小不同的各种布局条件。

而且，布局条件的各个图像的帧中记载的数值表示图像的优先顺序。影像生成部106例如根据对比的图像数据的帧占有率高的顺序给予优先顺序等规定基准，对选择的图像给予优先顺序。因此，影像生成部106根据给予的优先顺序，把各图像布局在对应的优先顺序记载的帧中。

而且，布局条件中含有例如“布局2-3”以及“布局3-2”这样的长宽比不同的帧并列条件。例如，在选择“布局2-3”的情况下，影像生成部106把优先顺序第一的图像原样定标处理也可以。另一方面，影像生成部106把优先顺序第二的图像变换为横向长的图像后，必须分配在该帧内。

变换为横向长的图像的方法有通过放大缩小变换长宽比的方法，或者通过修边处理变化长宽比等多种方法。因此，在这样的布局条件的情况下，布局条件中含有能够确定变换方法的信息。

而且，进行修边处理的情况也可以包含这样的修边条件，即完全包含通过参考数据指定的目标(例如称为“Jack”的人物)，不能缺少。

而且，布局条件中还包含“布局3-3”、“布局3-4”和“布局4-4”等多个帧重合的条件。在这样的布局条件的情况下，还可以包含重叠领域的各帧的透过率。例如，选择“布局3-3”的情况下，可以包含如下条件，即显示优先顺序第二和第三的图像的区域中，表示各个图像用0.8比例的透过率表示，优先顺序第一的图像用透过率0.2比例重合。

如上所述，影像生成部106根据图像的选择/合成条件进行帧图像选择和合成，而且根据布局条件进行帧图像的布局，生成输出影像数据。而且，图像的选择/合成条件或者布局条件可以利用预先设定的固定条件，各个用户也可以使用可以定制的布局条件。而且，也可以下载并使用因特网等公布的布局信息。

而且，更简单的方法是构成为如下形式，即影像生成部106从提取的候补影像中选出起始帧影像、中间的帧图像或者随机选择的帧图像中的一个，把选择的帧图像原样作为输出影像数据生成。这种情况下，输出影像数据的生成条件通过图像选择条件“起始帧图像”、“中间的帧图像”或者“随机选择的帧图像”等指定。而且，影像的合成条件指定为“不合成”。而且，布局条件指定为“在画面上原样显示画面(整个画面显示)”。

输出控制部107用于控制把输出影像数据和参考数据提取部104提取的参考数据输出到输出部153的处理。输出控制部107把输出影像数据和参考数据对应输出到输出部153。这样，能够比较输出影像数据和参考数据，能够容易把握用什么样的参考数据生成什么样的输出影像数据。而且，能够比较参考数据组和影像数据的哪部分之间怎样关联、如何近似。

在参考数据是影像数据的情况下，输出控制部107用与输出影像数据显示相同的方法把参考数据表示在输出部153。而且，在参考数据是文本数据的情况下，输出控制部107用矢量光源方法或者光栅光源等方法把文本数据显示在输出部153。而且，在参考数据是声音数据的情况下，输出控制部107输出未图示的说话者的声音。而且，参考数据和输出影像数据可以在相同输出介质上，也可以分别显示在输出介质上并列显示。

下面，利用图12和图13说明用这样构成的第一实施例的PC100进行影像输出处理。图12是表示第一实施例的影像输出处理整个过程的流程图。而且，图13示出通过影像输出处理的各种数据的一个例子。

首先，影像输入部101输入一个以上的预先给予影像索引的影像数据或者全部没有给予影像索引的影像数据(步骤S1202)。影像输入部101例如输入图13的下部所示的影像数据1301。

然后，参考数据输入部102输入一个以上的参考数据组(步骤S1202)。参考数据输入部102输入例如图13的上部所示影像数据的参考数据组1302。

然后，提取条件确定部103确定从输入的参考数据组中提取一个以上的参考数据的提取条件(步骤S1203)。提取条件确定部103把例如从作为影像数据的参考数据组1302开始的帧1303的帧号确定为提取条件。

然后，参考数据提取部104从输入的参考数据组中提取满足确定的提取条件的一个以上参考数据(步骤S1204)。图13的例子中，参考数据提取部104把帧1303作为参考数据提取。

然后，解析部105把输入的影像数据解析，把适合提取的参考数据的帧作为输出影像数据中包含的候补图像提取(步骤S1205)。如图13所示，解析部105提取例如影像数据中含有“Jack”的帧1305作为候补图像。

然后，影像生成部106根据输出影像数据的生成条件，从提取的候补图像中选择合适的图像，通过合成处理生成输出影像数据(步骤S1206)。如图13所示，影像生成部106例如生成含有帧1305原样的输出影像数据1306。

然后，输出控制部107把生成的影像数据输出到输出部153(步骤S1207)。而且，输出控制部107把步骤S1204中提取的参考数据输出到输出部153(步骤S1208)。

然后，输出控制部107确认影像数据的再现时刻(步骤S1209)、判断输出是否结束(步骤S1210)。即，输出控制部107判断影像数据是否全部再现。而且，输出控制部107在用户指示输出结束的情况下也判断输出结束。

在输出没有结束的情况下(步骤S1210：否)，提取条件确定部103判断是否是更新提取条件的时刻(步骤S1211)。例如，提取条件确定部103每次经过规定的时间判断为更新提取条件的时刻。

不是更新时刻的情况下(步骤S1211：否)，返回再现时刻的确认处理进行处理(步骤S1209)。是更新时刻的情况下(步骤S1211：是)，选择后面的提取条件重复处理(步骤S1204)。

例如，提取条件确定部103每次经过规定时间更新提取条件，把图13所示的帧1304的帧号确定为提取条件。这种情况下，参考数据提取部104把帧1304作为参考数据提取。而且，解析部105把与帧1304匹配的影像数据内的帧1307作为候补图像提取，影像生成部106生成包含所述帧1307原样的输出影像数据1308。

在步骤S1210，判断输出结束的情况下(步骤S1210：是)，影像输出处理结束。

通过这样的处理，通过动态更新的提取条件使提取的参考数据动态变化，而且，能够使与此相应生成的输出影像数据动态变化。因此，不是像以前那样输出根据规定判断基准选择或者制作的固定图像，而是可以生成并显示动态变化的多样输出影像。而且，如上所述，根据用户的操作变更提取条件，因此用户能够自由操作输出的影像。

然后，作为参考数据组，说明输入文本数据和声音数据的情况下的影像输出处理的具体例子。图14和图15分别示出输入文本数据和声音数据作为参考数据组的情况下，影像输出处理的各种数据的一个例子。其中，示出影像数据作为参考数据组输入的情况的例子的图13相同，以输入影像数据1301为前提。

图14示出参考数据组输入文本数据1402的例子。影像数据1301的帧1305和1306分别用文本数据给予“Jack”和“Olivia”作为影像索引，与图13相同，例如提取适合单词1403的帧1305作为候补图像，生成输出影像数据1306。

然后，如果提取条件更新为单词1404的编号，把提取的参考数据变化为单词1404，提取的候补图像也变化为帧1307。而且，生成的影像数据从输出影像数据1306动态变化为输出影像数据1308。

图15示出参考数据组输入声音数据1502的例子。影像数据1301的帧1305和1306分别用声音数据给予“Jack”和“Olivia”作为影像索引，与图13相同，例如提取适合声音1503的帧1305作为候补图像，生成输出影像数据1306。

然后，如果提取条件更新为声音1504的编号，把提取的参考数据变化为声音1504，提取的候补图像也变化为帧1307。而且，生成的影像数据从输出影像数据1306动态变化为输出影像数据1308。

这样，第一实施例的影像输出装置使用根据提取条件从影像数据相关联的参考数据组中提取的参考数据，从影像数据中提取帧，能够生成并显示包含提取的帧的输出影像数据。而且，由于提取条件根据经过的时间等动态变化，动态变更提取的参考数据，作为结果生成的输出影像数据也能够动态变更。

这样，可以根据用户的嗜好或者各种情况，从输入的影像数据生成并显示多样输出影像。而且，由于不把输入的影像数据全部输出，只输出由适合提取的参考数据的帧合成的输出影像数据，因此能够有效地只显示用户所希望的影像。

而且，第一实施例的影像输出装置能够用于把已经存储的影像数据进行编辑的用途。即，输入已经存储的影像数据，通过输入动态变化的参考数据，由于根据所述参考数据随时生成输出影像数据，因此能够把生成的输出影像数据作为新的影像数据保存。

而且，影像数据的提供者不需要把大量的影像数据提供给用户，只提供小容量的参考数据组和提取条件，提供者通过奖励方法使用户能够视听用户已经保存的影像数据。例如，如果提供者输入某人物、物体、和场所等的评论文章作为文本数据，用户能够视听与所述评论文章吻合的与所述人物、物体和场所相关的影像。而且，也可以提供“最好注目视听某个影像的该部分”的信息或者“最好按照这样的顺序视听某影像”的信息等，作为观看影像的动态条件，即参考数据。

而且，参考数据组和提取条件不限于用户自身输入，与用户一起的其他人也可以直接输入，也可以输入HDD、CD或DVD等存储介质上存储的参考数据组和提取条件。而且，也可以使用因特网等发布的内容。

第二实施例

根据第二实施例的图像输出装置，具有与参考数据相互对应的参考数据存储部，可以利用从参考数据存储部获得的参考数据。而且，判断适合的帧的提取处理、输出影像数据的生成处理的处理结果的妥当性，通过反馈判断结果，能够利用适当的参考数据。

图16示出作为第二实施例的图像输出装置的PC 1600的结构的方块图。如图16所示，PC1600主要硬件结构具有：操作部151、通信部152、输出部153、参考数据存储部1621、履历存储部1622。而且，PC 1600主要软件结构具有：影像输入部101、参考数据输入部102、提取条件确定部103、参考数据提取部1604、解析部105、影像生成部106、输出控制部107、解析结果判断部1608、生成结果判断部1609。

第二实施例中，参考数据提取部1604的功能和参考数据存储部1621、履历存储部1622、解析结果判断部1608、以及生成结果判断部1609，与第一实施例不同。其他结构和功能与表示第一实施例的PC 100的结构方块图1相同，因此使用相同符号，并省略说明。

参考数据存储部1621存储参考数据输入部102输入的参考数据组、或者与参考数据提取部1604提取的参考数据相同的参考数据组或者参考数据以及表示这些参考数据之间关联性的联系信息等。

为了有效地使候补图像包含在输出影像数据中，调整输出影像数据中包含的候补图像的数量和质量，解析部105最好把从参考数据组中提取的参考数据变化为其他形式，或者生成并利用与所述参考数据关联的新的参考数据。

参考数据存储部1621提供上述参考数据提取部1604变换或生成参考数据所需要的数据。而且，在不存在参考数据存储部1621的情况下，参考数据提取部1604只从输入的参考数据组中提取合适的参考数据。

图17是示出参考数据存储部1621中存储的参考数据的数据结构的一个例子。如图17所示，参考数据存储部1621对于各种人物、事物和场所，把姓名、图像、声音和URL等附加信息作为参考数据存储。而且，参考数据存储部1621含有与参考数据相关联的连接信息。

例如，从参考数据组中提取所谓“Olivia”的文本数据作为参考数据的情况下，通过如图17所示的参考数据存储部1621进行访问，能够获得“Olivia”的图像信息或声音数据，作为与所述文本数据相关联的数据。

而且，对于某个人物、事物或场所，参考数据存储部1621中存储的影像数据、文本数据和声音数据等的参考数据不限于一个，也可以构成为存储多个参考数据。

例如，“Olivia”的图像数据，例如可以存储笑的面部图像、哭的面部图像、和惊奇的面部图像这样内容不同的3个影像数据。而且，能够选择所述3个图像数据作为参考数据。通过这样多个图像数据、文本数据和声音数据的各种组合，能够增加参考数据的变化。

如上所述，参考数据存储部1621能够存储表示人物与人物、人物与事物、事物与事物、事物与场所等的关联性的连接信息。图17中，示出包含称为“Olivia”的人物与称为“Emily”的人物相似的连接信息1701以及称为“Olivia”的人物与称为“Jack”的人物“同时演出”的连接信息1702的例子。通过利用这样的连接信息，能够生成与从参考数据组中提取的参考数据关联的人物、事物和场所等其他数据作为新的参考数据。

而且，参考数据存储部1621也可以构成为存储预定的数据，也可以构成为从外部存储介质或者因特网上的数据库下载。而且，也可以构成为把通过参考数据输入部102输入的参考数据组或者将参考数据追加到参考数据存储部1621。

履历存储部1622存储影像生成部106过去生成的输出影像数据。具体地，履历存储部1622在判断后面所述的生成结果判断部1609成功生成输出影像数据的时候，逐次保存输出影像数据。履历存储部1622构成为保存输出影像数据中包含的影像数据中的帧的帧号也可以。而且，也可以构成为履历存储部1622中把输出影像数据与生成时的参考数据对应保存。

这样保存的过去的输出影像数据利用生成结果判断部1609的判断，产生对参考数据提取部1604的反馈(后面描述)。

而且，参考数据存储部1621和履历存储部1622一般可以使用HDD(硬盘驱动器)、光盘、存储卡、RAM(随机存储器)等任何存储介质构成。

参考数据提取部1604通过使用参考数据存储部1621，提取有效果的参考数据。参考数据提取部1604可以根据预定提取方法提取新的参考数据，也可以根据解析结果判断部1608等其他构成部指定的提取方法提取新的参考数据。而且，根据其他构成部的指定提取参考数据的方法在后面说明解析结果判断部1608和生成结果判断部1609时描述。

参考数据提取部1604的单纯提取方法可以利用例如“把文本数据形式的人物姓名作为参考数据提取，把该人物的面部图像作为新的参考数据追加”的提取方法、“图像信息形式的人物面部图像作为参考数据提取，把该人物的其他表情的面部图像作为新参考数据追加”的提取方法。

解析结果判断部1608判断解析部105解析的结果，把判断结果反馈到参考数据提取部1604。例如，解析结果判断部1608判断参考数据的形式与影像数据的形式的匹配情况，对于参考数据提取部1604进一步指定提取什么样的参考数据更好。

而且，影像数据的形式是通过是否给予影像索引、给予情况下给予什么形式的数据等进行分类的形式。

下面，详细说明解析结果判断部1608的判断处理、参考数据提取部1604提取新的参考数据的处理。

首先，说明判断参考数据的形式与影像数据形式的匹配情况。影像数据的解析是为了更有效地提取候补图像，在影像数据中给予影像索引，所述影像索引和参考数据的信息是相同方法(数据形式)的情况。

例如，图4的设定项目411形式的文本数据的出场人物名字“Olivia”作为影像索引给予的情况，希望参考数据也是称为“Olivia”的文本数据。同样，给予作为图像文件“Olivia.bmp”的影像索引的情况下，希望参考数据也是“Olivia”的图像信息。而且，给予作为声音文件“Olivia.wav”的影像索引的情况下，希望参考数据也是“Olivia”的声音数据。

因此，解析结果判断部1608比较参考数据的形式和影像数据的形式，在各自形式不同的情况下，解析结果判断部1608判断为不能够适当提取候补图像，向参考数据提取部1604发出指定，以便同时把参考数据变化为影像数据的形式。

指令方法可以适用如下方法等，例如把包含表示变换参考数据的信息和变化目标的参考数据形式的指令信息发送给参考数据提取部1604。而且，指令方法不限于此，只要参考数据提取部1604能够根据判断结果再提取参考数据，可以适用任何方法。

例如，与影像索引中给予演出作为“Olivia”图像信息给予无关，所谓“Olivia”的文本数据作为参考数据被给予的情况下，解析结果判断部1608向参考数据提取部1604发出指令，以便把参考数据从所谓“Olivia”的文本数据变换为“Olivia”的图像信息。参考数据提取部1604可以利用参考数据存储部1621变换参考数据的形式。

而且，在不存在影像索引的情况下，即不存在补充说明影像数据内容的文本数据、影像数据、和声音数据的情况下，解析部105解析影像数据的帧信息和给予到影像数据上的声音数据，与参考数据对照。因此，在不存在影像索引，而且所谓“Olivia”的文本数据作为参考数据被给予的情况下，解析部105即使解析影像数据也不能提取“Olivia”演出的帧组。

因此，解析结果判断部1608在处理不存在影像索引的影像数据的情况下，为了能够解析影像自身的帧信息或者声音数据，向参考数据提取部1604发出指令，以便把“Olivia”的图像信息或者声音数据作为参考数据。

其他方法，与影像数据中不给予影像索引无关，文本数据作为参考数据被给予的情况下，解析结果判断部1608也可以构成为发出将文本数据自身变换为图像信息的指令。这样，可以进行与影像数据中包含的字幕信息等文本数据的匹配处理，能够把所述文本数据表示的帧图像作为输出影像数据中包含的候补图像提取。

而且，也可以构成为预先进行这样的形式变换的反馈处理。这种情况下，例如，解析部105不在最初的解析处理中提取候补图像，只输出影像数据的形式和参考数据的形式。因此，解析结果判断部1608判断输出的影像数据形式和参考数据的形式是否匹配，把判断结果反馈到参考数据提取部1604。因此，参考数据提取部1604根据反馈进行参考数据的形式变换，利用作为所述结果的参考数据，解析部105提取候补图像。

下面，说明提取的输出影像数据中可能含有的候补图像的数目(帧数)。最终适合的候补图像数目由后面描述的生成结果判断部1609判断，但是在一个候补图像也没有发现的情况下，最好解析结果判断部1608判断是否妥当，反馈到参考数据提取部1604。

例如，输入图2所示的影像数据，把“同时放映Jack、Olivia和狗”的影像数据作为参考数据输入。这种情况下，由于图2所示的影像数据中不存在放映狗的帧，因此解析部105不能发现适合参考数据的候补图像。

这种情况下，解析结果判断部1608判断候补图像的数目为0，指令变更参考数据。具体地，解析结果判断部1608对参考数据提取部1604发出指令，把参考数据分割为“放映Jack”的影像数据、“放映Olivia”的影像数据和“放映狗”的影像数据。

而且，解析结果判断部1608进一步通过这样分割的参考数据判断提取的候补图像。因此，例如，分辨出放映狗的帧不存在的情况下，解吸结果判断部1608再次对参考数据提取部1604发出指令，以便变更为“同时放映Jack和Olivia”的参考数据。

而且，如上所述从“同时放映Jack、Olivia和狗”的条件变化为“同时放映Jack和Olivia”的条件意味着放松条件。即使放松条件也没有发现候补图像的情况下，反复进行进一步的条件放松处理。例如，变化为“放映Jack”或者“放映类似Jack的人”等条件。而且，也可以构成为除了称为“Jack”的文本数据之外参考数据中追加“Jack的绰号”等。

而且，表示放松条件提取的候补图像的情况下，也可以构成为用表示放松的程度多大、透过率高并以低亮度表示。而且，在即使放松条件也没有发现候补图像的情况下，构成为例如用一幅黑色图像或者特定图像表示。

而且，为了避免候补图像的数目多大，解析结果判断部1608在候补图像数量超过规定阈值的情况下，也可以指令变更为使候补图像数目减少的参考数据。

例如，称为“Jack”的文本数据作为参考数据给予，提取大量候补图像作为合适的帧的情况下，构成为解析结果判断部1608指令参考数据中不仅包含称为“Jack”的文本数据，而且还包含“Jack”的有代表性的面部图像”。而且，从参考数据存储部1621获得“Jack”的中间名字或者姓等，命令把“Jack”变更为的完整的文本数据作为参考数据。而且，在候补图像的数目比规定阈值多或者少的情况下，虽然解析结果判断部1608能够指令如上所述变更参考数据本身，但是也可以命令解析部105提取输出影像数据中可能包含的候补图像时使用的阈值。例如，解析部105中把“Jack”的面部图像作为参考数据，根据某个阈值解析提取的候补图像少的情况下，解析结果判断部1608向参考数据提取部104反馈所述阈值小，再次把相同的“Jack”的面部图像作为参考数据，解析部105中通过根据小阈值解析，能够提取合适数目的候补图像。

这样，解析结果判断部1608反复操作，发出重新提取参考数据的指令，可以提取最合适的候补图像。

而且，解析结果判断部1608可以根据上述方法中规定的反馈方法进行判断处理，也可以根据外部输入的反馈方法进行判断处理。

返回图16，说明生成结果判断部1609的功能。生成结果判断部1609判断影像生成部106生成的结果，把判断结果反馈到参考数据提取部1604。具体地，生成结果判断部1609判断输出影像数据中可能含有的候补图像的数目和质量，在判断出候补图像的数目或质量不合适的情况下，指令参考数据提取部1604提取不同的参考数据。

解析部105提取的候补图像的数目或者质量是否合适依赖于输出影像数据生成条件。例如，最终输出影像数据中可能含有的图像数目多的情况下，需要更多的候补图像。一方面，例如，即使提取相互类似的多数候补图像，在“只能选择不同图像”的条件作为图像选择条件的情况下，不能说是质量好的候补图像。因此，生成结果判断部1609判断根据输出影像数据生成条件生成的输出影像数据中包含的候补图像的数目或者质量，把判断结果反馈到参考数据提取部1604。

而且，可以构成为生成结果判断部1609在影像生成部106生成输出影像数据之后判断所生成的输出影像数据是否满足输出影像数据生成条件，也可以构成为影像生成部106在生成输出影响数据之前判断是否能够生成满足输出影像数据生成条件的输出影像数据。

首先，说明判断候补图像的质量。例如，输出影像数据中包含名字叫“Jack”的人物以各种姿态出场的3张图像的情况下，希望提取“Jack”尽可能不同姿态放映的3张图像作为候补图像。但是，对于没有给予影像索引的影像数据，只包含一幅图像的信息的参考数据中提取候补图像的情况下，只有与所述一幅图像信息相符的帧作为候补图像提取。即，相互类似的帧作为候补图像提取的可能性高。

这种情况下，生成结果判断部1609首先计算提取的候补图像之间的相似度。然后，生成结果判断部1609比较针对图像选择条件“选择尽可能不同的图像”事先设定的相似度的阈值和计算出的相似度。

因此，生成结果判断部1609在计算出的相似度比阈值高的情况下，即判断出选择相似的图像的情况下，向参考数据提取部1604发出指令，新追加参考数据存储部1621中存储的不同的2幅图像的信息作为参考数据。这样，名字叫“Jack”的人物以各种姿态出场的3幅图像作为候补图像提取。而且，通过组合声音数据等，能够进一步增加候补图像的变化。

下面，说明判断候补图像的数目。如上所述，候补图像的数目通过解析结果判断部1608判断。但是，即使解析结果判断部1608判断出适当的候补图像数目的情况下，在生成输出影像数据阶段，也存在候补图像不足的情况和候补图像多的情况。

在这种情况下，生成结果判断部1609能够向参考数据生成部1604反馈，使候补图像数目合适。例如，布局条件内的输出影像数据中使用的帧数指定为超过解析结果判断部1608可以判断的范围的帧数的情况下，生成结果判断部1609把需要更多的候补图像反馈到参考数据提取部1604。

而且，例如，图像的选择和合成条件与指定的视听率优先无关，在提取的候补图像中不含有视听率高于阈值之上的候补图像的情况下，生成结果判断部1609进一步向参考数据提取部1604反馈需要更多的候补图像。

而且，生成结果判断部1609也可以构成为发出输出影像数据生成条件反映在参考数据中的命令。例如，应该是指定输出影像数据的左上方表示必要类型的显示帧图像的条件、输出影像数据的右上方表示显示瞬间视听率高的帧影像的条件为输出影像数据生成条件的情况。这样的情况下，最初的候补图像提取处理不限于能够提取满足所述条件的帧图像。因此，生成结果判断部1609判断满足条件的帧图像是否包含在候补图像中。因此，不包含的情况下，例如向参考数据提取部1604发出类型的文本数据包含在参考数据中的命令或者瞬间视听率最高的帧的数值信息包含在参考数据中的命令。

通过这样的反馈处理，进行一部分图像不依赖参考数据的静态显示，剩余的图像依赖参考数据进行动态显示，能够更有效地实现输出影像数据的显示。

而且，生成结果判断部1609构成为发出参考数据中反映输出影像数据的命令。例如，“Jack”演出的节目A作为影像数据给予，“Jack”演出的其他节目B作为参考数据组给予。而且，节目A和节目B中“Jack”所穿的服装不同。在这个前提下，从节目B中提取的放映“Jack”的影像数据作为参考数据，还从节目A中提取适当的场面，由于服装不同，存在不能提取合适的“Jack”出场的场面。

这种情况下，生成结果判断部1609命令参考数据提取部1604向参考数据中追加最初的处理中提取的节目A的候补图像本身。因此，解析部105通过追加的参考数据再次提取候补图像。这样，穿相同服装的“Jack”的影像数据作为参考数据，能够提取“Jack”出场的场面。即，能够提取更合适的候补图像。

下面，说明利用履历存储部1622的判断。例如，参考数据提取部1604提取的参考数据几乎不随着时间变化的情况下，不能通过参考数据动态变化获得动态变化输出影像数据的效果。因此，生成结果判断部1609判断履历存储部1622中存储的参考数据的变化，在判断出一定时间没有变化的情况下，命令参考数据提取部1604使参考数据变化。

例如，选择“Jack”的某个面部图像作为参考数据，在所述状态持续5秒钟的情况下，对参考数据提取部1604进行反馈，“Jack”的其他面部图像能够作为新的参考数据。这样，能够在5秒钟间隔内看到各种表情的“Jack”出场场面。

而且，生成结果判断部1609判断输出影像数据的变化，在判断出输出影像数据在一定时间间隔内没有变化的情况下，命令参考数据提取部1604使参考数据变化。通过帧号在履历存储部1622中保存输出影像数据的情况下，生成结果判断部1609通过判断帧号是否一致，判断输出影像数据的变化。而且，履历存储部1622中保存输出影像数据本身的情况下，生成结果判断部1609通过图像解析输出影像数据判断影像数据之间的类似程度。具体地，生成结果判断部1609计算图像之间的S/N比值，通过计算出的数值确定类似程度。因此，在类似程度小于规定阈值的情况下，生成结果判断部1609判断输出影像数据变化。而且，与上述例子相反，履历存储部1622能够产生抑制输出影像数据急剧变化的效果。生成结果判断部1609判断出输出影像数据变化，在相对于所输出的前一个输出影像数据的变化大的情况下，能够命令向参考数据提取部1604进行反馈，在现在的参考数据中追加前面一个数据使用的参考数据、或者把现在的参考数据和前影像输出数据使用的参考数据之间的插值数据作为参考数据。例如，如果前一个是提取“Jack”的参考数据，现在是提取“Olivia”的参考数据，则从“Jack”出场的影像突然变化为“Olivia”出场的影像。因此，通过在一定时间追加前一个“Jack”的参考数据，不会突然变化为“Olivia”出场的影像，能够产生从“Jack”出场的影像流畅地变化为“Olivia”出场影像的效果。

而且，生成结果判断部1609根据上述方法中预定的反馈的方法进行判断处理也可以，根据外部输入的反馈方法进行判断处理也可以。

下面，利用图18说明这样构成的第二实施例的PC1600进行影像输出处理。图18是示出第二实施例中影像输出处理的整个流程的方块图。

由于步骤S1801至步骤S1805与第一实施例的PC100中的步骤S1201至步骤S1205的处理相同，省略其说明。

在解析部105解析影像数据提取候补图像之后，解析结果判断部1608判断解析部105的解析结果(步骤S1806)。具体地，解析结果判断部1608如上所述判断参考数据的形式与影像数据的形式的匹配度以及提取的输出影像数据中可能包含的候补图像的数目。

然后，解析结果判断部1608根据判断结果判断是否再次提取参考数据(步骤S1807)。再次提取的情况下(步骤S1807：是)，解析结果判断部1608指令参考数据提取部1604再次提取。因此，参考数据提取部1604根据指令进行参考数据的再次提取处理(步骤S1805)。

在不再次提取的情况下(步骤S1807：否)，影像生成部106根据输出影像数据生成条件生成输出影像数据(步骤S1808)。

然后，生成结果判断部1609判断影像生成部106生成输出影像数据的结果(步骤S1809)。具体地，生成结果判断部1609如上所述判断输出影像数据中可能含有的候补图像的数目和质量。

然后，生成结果判断部1609根据判断结果判断是否再次提取参考数据(步骤S1810)。再次提取的情况下(步骤S1810：是)，生成结果判断部1609指令参考数据提取部1604再次提取。因此，参考数据提取部1604根据指令进行参考数据的再次提取处理(步骤S1805)。

由于步骤S1811至步骤S1815与第一实施例的PC100中的步骤S1207至步骤S1211的处理相同，省略其说明。

这样，根据第二实施例的影像输出装置，通过参考与参考数据相互对应的参考数据存储部以及判断影像数据解析结果或者输出影像数据的生成结果，能够更适当地利用参考数据。这样，能够补正参考数据，更有效地生成输出影像数据。而且，由于参照过去输出的输出影像数据的履历判断输出影像数据的生成结果，因此能够更有效地生成输出影像数据。

(第三实施例)

第三实施例的影像输出装置利用根据输入的显示图像的尺寸和解像度等影像数据的视听状况相关的制约条件确定的输出影像数据生成条件，生成输出影像数据。

图19是示出第三实施例的输出影像装置的PC1900的结构的方块图。如图19所示，PC 1900主要硬件结构有：操作部151、通信部152、输出部153、参考数据存储部1621、履历存储部1622、对应信息存储部1923。而且，PC 1900主要软件结构有影像输入部101、参考数据输入部102、提取条件确定部103、参考数据提取部1604、解析部105、影像生成部106、输出控制部107、解析结果判断部1908、生成结果判断部1909、制约条件输入部1910、生成条件取得部1911。

第三实施例中，解析结果判断部1908和生成结果判断部1909的功能以及追加了对应信息存储部1923、制约条件输入部1910、生成条件取得部1911的情况与第二实施例不同。其他结构和功能与表示第二实施例中的PC1600的结构的方块图的图16相同，因此使用相同符号，并省略说明。

对应信息存储部1923存储预定的制约条件、与输出影像数据生成条件对应的对应信息。图20是说明对应信息存储部1923中存储的对应信息的数据结构的一个例子的说明图。如图20所示，对应信息包含制约条件和输出影像数据生成条件。

制约条件中例如指定与显示介质相关的制约条件、与影像数据种类相关的制约条件以及与用户状况相关的制约条件等。与显示介质相关的制约条件包含显示画面的尺寸、显示画面的解像度、可以显示的画面数目、以及可以显示的图像尺寸等。影像数据种类相关的制约条件包含影像的分类信息等。与用户状况相关的制约条件包含用户的嗜好、视听经历、与其他用户的位置关系、从显示介质到用户的距离、视力以及健康状况等。

而且，制约条件栏内可以指定多个制约条件的组合。而且，制约条件不限于这些，能够适用与影像的视听相关的任何条件。

输出影像数据生成条件可以指定第一实施例中说明的图9的图像选择及合成条件或者图11中的布局条件。输出影像数据生成条件栏可以指定多个输出影像数据生成条件的组合。

这里，进一步说明制约条件和输出影像数据生成条件之间的关系。制约条件分为主要输出影像数据生成条件内的图像选择及合成条件有关的条件和主要输出影像数据生成条件内的布局有关的条件。

首先，说明与图像选择及合成条件相关的制约条件的具体例子。例如，举例来说，与显示介质相关的制约条件中的一个是显示画面的尺寸。即，表示是在电视等比较大尺寸的画面上显示、或者在手机等比较小尺寸的画面上显示的制约条件。

例如，生成某个人物出场的场面作为输出影像数据时，在画面尺寸大的情况下，由于能够显示大的图像，因此所述人物本身不必放映很大。相反，可以利用帧生成输出影像数据，所述帧也放映其他人物或者其他事物，能够看清楚所述人物进行什么动作。因此，希望输出影像数据生成条件例如对应目标数目优先。

一方面，画面尺寸小的情况下，由于只能显示小图像，只能把所述人物放映大，利用能够看到所述人物自身的帧生成输出影像数据也可以。因此，输出影像数据生成条件最好是例如对应帧占有率优先。

一方面，影像数据的种类相关的制约条件之一举影像的种类信息作为例子。例如，体育或者戏剧等种类的影像必须生成比赛结果或者结尾不能预先看到的输出影像数据。因此，影像的种类信息对于所谓体育或者戏剧的制约条件作为输出影像数据生成条件，例如对应于不选择比较结果或者结尾部分的图像的选择及合成条件。

而且，与用户状况相关的制约条件之一举用户的视听履历的例子。例如，用户视听结束后，即使是如上所述的体育等种类影像，生成包含比赛结果的输出影像数据也没有问题。因此，对于影像数据存在视听履历的制约条件，输出影像数据生成条件对应于选择比赛结果或者结尾部分的图像选择和合成条件。

下面，说明布局条件相关的制约条件的具体例子。例如，与显示介质相关的制约条件之一是举显示画面的尺寸、显示画面的解像度、可以显示的画面数目、以及可以显示的图像尺寸组合的条件。

例如，42英寸的显示器，解像度是1920×1080像素，制约条件应该是所述显示画面中能够显示最多4幅640×480像素的图像。这种情况下，输出图像数据生成条件对应于图11的“布局4-1”到“布局4-4”等这样的4幅图像。

而且，影像数据的种类相关的制约条件之一举与上述相同的影像种类信息。例如，自然风景等种类的影像，少数用尽可能大的图像尺寸显示的图像能够显示得很亮丽。因此，对于影像的种类信息是自然风景的制约条件，输出影像数据生成条件对应布局条件，例如显示对应图11的“布局1-1”等这样尺寸大的1幅图像。

一方面，例如综合节目等的种类影像，虽然多数影像用尽可能小的影像尺寸显示，但是能够适当地传播节目内容。因此，对于影像的种类信息是综合节目的制约条件，输出影像数据生成条件对应布局条件，例如显示图11的“布局4-1”至“布局4-4”等这样的4幅图像。

而且，用户的状况相关的制约条件的一个例子举显示介质到用户的距离作为例子。例如，用户在距离电视远的距离位置上视听影像的情况下，与显示4幅640×480像素的影像比较，显示1幅1280×1024像素的图像更好。因此，显示介质到用户的距离大于规定阈值的制约条件，例如对应显示1幅图11的“布局1-1”等这样尺寸大的图像的布局条件。

而且，作为用户的状况相关的制约条件的其他例子，举多个用户各自不同的嗜好和多个用户之间的位置关系组合的制约条件的例子。例如，2个用户通过电视视听图2所示的影像数据。而且，看“Jack”出场场面的用户A坐在对着电视机的右侧，看“Olivia”出场场面的用户B坐在对着电视机的左侧。而且，给出与“Jack”有关的参考数据及与“Olivia”相关的参考数据，提取相关的帧。

这种情况下最好以如下方式显示，将用与“Jack”有关的参考数据提取的帧设置在输出影像数据的右侧，将与“Olivia”相关的参考数据提取的帧设置在输出影像数据的左侧。因此，包含用户A希望视听“Jack”的影像、用户B希望视听“Olivia”的影像、以及用户A和用户B分别坐在对着电视机的右侧和左侧的位置关系的制约条件，例如对应包含4幅图11的“布局4-4”等这样图像的布局条件。而且，这样的布局条件最好还包括如下条件，即在优先顺序是第一节目或者第四的帧中显示各个用户希望的出场人物同时出场的图像，在优先顺序是第三的帧中显示坐在右侧的用户希望的出场人物出场的图像，在优先顺序是第二的帧中显示坐在左侧的用户希望的出场人物出场的图像。

而且对应信息存储部1923构成为存储预定的对应信息也可以，构成为存储从外部存储介质或者网络的数据库下载对应信息也可以。

制约条件输入部1910输入上述预定制约条件中任何制约条件。制约条件输入部1910输入例如用户通过操作部151指定的制约条件。而且，如果是显示介质相关的制约条件，制约条件输入部1910最好构成从PC1900内存储的系统信息等输入制约条件。而且，制约条件输入部1910构成为把摄像机或者传感器等检测出的用户状况作为制约条件输入也可以。而且，制约条件输入部1910通过通信部152从外部装置输入制约条件也可以。

生成条件获得部1911从对应信息存储部1923获得与输入的制约条件对应的输出影像数据生成条件。例如，输入“显示画面尺寸＝42英寸、解像度＝1920×1080像素”的制约条件的情况下，生成条件获得部1911从图20所示的对应信息存储部1923获得“布局4-1”，作为对应的输出影像数据生成条件。

而且，生成条件获得部1911根据来自解析结果判断部1908和生成结果判断部1909的反馈。可以再次获得输出影像数据生成条件。再次获得对应反馈的输出影像数据生成条件的处理在后面详细说明。

而且，如图11所示的布局条件是以某个显示画面的解像度显示时的画面尺寸作为基准确定的布局条件为例子。生成条件获得部1911构成为对于所述布局条件，对应于输入的显示画面尺寸或者解像度等制约条件，进行变更屏幕和长宽比、平行移动等微调处理。

解析结果判断部1908判断解析部105解析的结果，在追加把判断结果反馈到生成条件获得部1911的功能方面，与第二实施例的解析结果判断部1608不同。

如上所述，输出影像数据生成条件多数受影像数据的种类影响。因此，解析结果判断部1908通过影像数据的解析结果，判断影像数据的种类信息或者用户的视听履历，发送给生成条件获得部1911。对应接收的种类信息等制约条件，生成条件获得部1911能够进一步获得对应的输出影像数据生成条件。影像数据中给予受诸如种类信息或者用户视听履历等输出影像生成条件左右的影像索引的情况下，通过解析影像数据从影像索引中提取种类信息或者用户的视听履历等，发送给生成条件获得部1911。一般，多数情况下种类信息等包含在电子节目表数据中，用户视听履历等作为每个节目的属性存储在装置中，但是本装置中这些数据也可以作为影像索引处理。

而且，解析结果判断部1908能够根据参考数据相关条件的放宽或者参考数据的数目对生成条件获得部1911进行反馈。例如，通过把“同时放映Jack、Olivia和狗”的参考数据放宽条件，变更为“放映Jack”的参考数据的情况下，解析结果判断部1908把通过所述参考数据提取的帧反馈到生成条件获得部1911，以便以更小亮度显示。

而且，例如在给予与“Jack”有关的参考数据和与“Olivia”有关的参考数据的情况下，必须确定通过各个参考数据提取的候补图像可能包含在什么样的输出影像数据中。因此，解析结果判断部1908对生成条件获得部1911进行反馈，能够指令对两种候补图像获得图像选择及合成条件、布局条件。例如，考虑给予与“Jack”有关的参考数据和与“Olivia”有关的参考数据的情况。与参考数据怎么样无关，例如，作为布局条件，生成条件获得部1911获得图11所示的“布局2-1”，以及生成只有一帧大的输出影像。从参考数据中分辨出希望显示2幅大的“Jack”和“Olivia”分别出场的帧的情况下，可以指令变更为图11的“布局2-2”。而且，与参考数据怎么样无关，例如，如果生成条件获得部1911获得以视听率优先选择的条件作为图像选择及合成条件，考虑由于视听率的影响，不喜欢选择“Jack”和“Olivia”分别出场的帧(“Olivia”出场的帧的视听率极低的情况等)。为了更有效地选择“Jack”和“Olivia”分别出场的帧，例如能够指令变更为帧占有率优先等。

而且，解析结果判断部1908构成只对生成条件获得部1911进行反馈也可以。

生成结果判断部1909增加如下功能方面，即判断影像生成部106解析的结果，把判断结果反馈到生成条件获得部1911，与第二实施例的生成结果判断部1609不同。

首先，示出一个例子，即生成结果判断部1909判断输出影像数据的生成结果对图像选择和合成条件的取得进行反馈的例子。例如，帧占有率优先是在指定为图像选择及合成条件时，由于提取相同帧占有率的候补图像，因此存在不能专心地确定优先顺位的情况。

这样的情况下，生成结果判断部1909能够对生成条件获得部1911发出指令，除了帧占有率优先之外，还可以采用视听率优先作为图像选择和合成条件。

下面，示出生成结果判断部1909判断输出影像数据的生成结果反馈获得的布局条件的例子。例如，与指定需要3幅图像的布局条件无关，存在只提取2幅候补图像的情况。在这样的情况下，生成结果判断部1909向生成条件获得部1911发出指令，变更为设计2幅图像的布局条件。

而且，如果根据指定的布局条件设置帧，关注的目标被其他帧隐藏的情况下，生成结果判断部1909能够指令变更布局条件。例如，在优先顺序第一的图像的右上部分指定其他优先顺序的图像重叠的图11的“布局3-4”所示的布局条件，适合参考数据的目标(例如“Jack”的面部图像)应该存在该部分的情况等。这种情况下，例如，生成结果判断部1909能够对生成条件获得部1911发出指令，把布局条件变更为“布局3-3”。

而且，生成结果判断部1909构成为只对生成条件获得部1911进行反馈也可以。一方面，与第二实施例中向参考数据提取部1604进行反馈的情况相同，构成为判断向参考数据提取部1604和生成条件获得部1911中哪一个反馈也可以。

例如，与指定需要3幅图像的布局条件无关，只提取2幅候补图像。在这样的情况下，向参考数据提取部1604反馈增加候补图像，能够补正参考数据。另一方面，向生成条件获得部1911进行反馈，变更为配置2幅候补图像的布局条件。

生成结果判断部1909通过比较参考数据的柔性和输出影像数据生成条件的柔性，确定反馈顺序。参考数据的柔性表示是否容易追加相关的其他参考数据，容易追加的情况判断为具有柔性的参考数据。

例如，称为“Jack”文本数据的参考数据能够容易地通过增加“Jack”的绰号的文本数据等其他参考数据来增加候补图像的情况下，所述参考数据是具有柔性的参考数据。

另一方面，输出影像数据生成条件的柔性表示是否容易变更为其他输出影像数据生成条件，容易变更的情况判断为具有柔性的参考数据。

例如，对于输入的制约条件，在可以采用利用3幅图像的布局条件和利用2幅图像的布局条件中任何一个的情况下，与所述制约条件对应的输出影像数据生成条件是具有柔性的输出影像数据生成条件。

下面，说明利用履历存储部1622进行判断。首先，参考履历存储部1622，说明对图像的选择和合成条件变更进行反馈的例子。

例如，与动态提取条件更新无关，通常只提取与“Jack”相关的参考数据，3秒钟期间输出相同的输出影像数据。这样的情况下，生成结果判断部1909首先判断履历存储部1622中存储的输出影像数据变化，判断出一定时间没有变化。因此，生成结果判断部1909向生成条件取得部1911发出指令，例如变更为所谓“选择过去的输出影像数据利用的帧后面的帧”的图像选择及合成条件。

这样，在连续输入相同的参考数据的情况下，能够控制成如下形式，即只在3秒钟把输出影像数据作为静止画面显示，然后从所述静止画面开始显示动态画面。

而且，例如连续给予所谓“Jack”和“Olivia”的参考数据，将2幅图像以无缝合成的形式在30秒钟内连续相同显示。这样的情况下，生成结果判断部1909首先判断履历存储部1622中存储的输出影像数据变化，判断出一定时间没有变化。因此，生成结果判断部1909向生成条件取得部1911发出指令，例如变更为所谓“选择包含与参考数据无关的有代表性的出场物的图像，转移到3幅图像无缝合成”的图像选择及合成条件。

这样，转移到将3幅图像无缝合成的图像选择及合成条件，能够向参考数据提取部1604反馈追加有代表性的出场物有关的参考数据，例如有关狗的参考数据。因此，通过追加的参考数据提取狗出场的图像，把3幅图像合成为1幅图像。

而且，在这种情况下，可以以如下形式显示，即以1/30秒间隔或者1/60秒间隔的短时间间隔更新图像的合成条件，“Jack”和“Olivia”出场的图像缓缓移动到合成图像的上侧，狗出场的图像缓缓插入合成图像的下侧。这样，能够产生无缝地从2幅合成向3幅合成的视觉效果。

下面，参考履历存储部1622说明反馈布局条件的变更的例子。

例如，通过给予“Jack”的某个面部图像作为参考数据，指定图11的“布局3-3”，显示“Jack”出场的3幅图像的状态持续1分钟。这样的情况下，生成结果判断部1909首先判断履历存储部1622中存储的输出影像数据的变化，判断出一定时间没有变化。因此，生成结果判断部1909向生成条件取得部1911发出指令，例如变更为所谓“布局4-3”的布局条件。

这样，能够使用户的输出影像数据的精彩场面动态变化。这种情况下，可以以如下形式显示，即以1/30秒间隔或者1/60秒间隔的短时间间隔更新布局条件，使开始优先顺序第2和第3的图像缓缓移动到显示画面的上侧，然后将优先顺序第4的新图像缓缓移动到显示画面的下侧。这样，能够产生从“布局3-3”无缝转移到“布局4-3”的视觉效果。如上所述例子中，在履历存储部1622中输出影像数据仍然没有变化情况下考虑如何有效地变化，相反，针对输出影像数据急剧变化，考虑与此相应也反馈到生成条件取得部1911。例如，输出影像数据急剧变化，图像选择条件也从“帧占有率优先”变化为“目标数目优先”。这种情况下，通过指令把图像选择条件恢复为“帧占有率优先”，例如，由于显示的人物变化，所述人物的帧占有率大原样显示，能够产生最小限度抑制影像的气氛变化的效果。而且，在输出影像数据急剧变化的布局条件全部不变的情况下，通过指令变更布局条件，例如，由于根据显示的人物变化，布局也变化，能够产生有效把握变化时间的效果。

下面，利用图21说明上述结构的第三实施例的PC1900进行影像输出处理。图21是第三实施例的影像输出处理整个流程图。

从步骤S2101至步骤S2104与第二实施例中的PC1600中的步骤S1801开始至S1804的处理相同，因此省略说明。

提取参考数据后，制约条件输入部1910输入显示画面尺寸或者解像度等制约条件(步骤S2105)。然后，生成条件取得部1911从对应信息存储部1923获得与输入的制约条件对应的输出影像数据生成条件(步骤S2106)。

步骤S2107的影像数据解析处理与第二实施例中PC1600的步骤S1806的处理相同，省略说明。

然后，解析结果判断部1908判断解析部105解析的结果(步骤S2108)。与第二实施例相同，解析结果判断部1908首先判断参考数据的形式与影像数据的形式匹配程度以及提取的输出影像数据中可能包含的候补图像的数目。而且，解析结果判断部1908如上所述判断影像数据的种类信息等。

然后，解析结果判断部1908根据判断结果判断是否再次提取参考数据(步骤S2109)。在再次提取的情况下(步骤S2109中：是)，解析结果判断部1908指令参考数据提取部1604再次提取。

在不再次提取的情况下(步骤S2109中：否)，解析结果判断部1908根据判断结果判断是否再次取得输出影像数据生成条件(步骤S2110)。在再次取得的情况下(步骤S2110中：是)，解析结果判断部1908指令生成条件取得部1911再次取得。因此，生成条件取得部1911根据命令进行输出影像数据生成条件的再次取得处理(步骤S2106)。

在不再次取得的情况下(步骤S2110中：否)，影像生成部106根据输出影像数据生成条件生成输出影像数据(步骤S2111)。

然后，生成结果判断部1909判断影像生成部106生成输出影像数据的结果(步骤S2112)。首先，与第二实施例相同，生成结果判断部1909判断输出影像数据中可能包含的候补图像的数目和质量。而且，生成结果判断部1909如上所述判断输出影像数据中可能包含的候补图像是否满足输出影像数据生成条件。

然后，生成结果判断部1909根据判断结果判断是否再次提取参考数据(步骤S2113)。在再次提取的情况下(步骤S2113中：是)，生成结果判断部1909指令参考数据提取部1604再次提取。

在不再次提取的情况下(步骤S2113中：否)，生成结果判断部1909根据判断结果判断是否再次取得输出影像数据生成条件(步骤S2114)。在再次取得的情况下(步骤S2114中：是)，生成结果判断部1909指令生成条件取得部1911再次取得。因此，生成条件取得部1911根据命令进行输出影像数据生成条件的再次取得处理(步骤S2106)。

从步骤S2115至步骤S2119与第二实施例中的PC1600中的步骤S1811开始至S1815的处理相同，因此省略说明。

这样，在第三实施例的影像输出装置中，由于输入的制约条件，因此能够从多个输出影像数据生成条件中选择合适的输出影像数据生成条件。这样，能够通过各种图像选择和合成条件、布局条件等生成输出影像数据。

(变形例)

而且，如上所述，第三实施例中，输入制约条件，根据输入的制约条件选择输出影像数据生成条件。与此相反，也可以构成为直接输入输出影像数据生成条件，利用输入的输出影像数据生成条件生成输出影像数据。

图22是这样构成的第三实施例的变形例中PC2200的结构方块图。在该变形例中，去除制约条件输入部1910、生成条件取得部1911、以及对应信息存储部1923，增加生成条件输入部2212。

生成条件输入部2212用于输入输出影像生成条件。影像生成部106根据通过生成条件输入部2212输入的输出影像数据生成条件生成输出影像数据。

通过这样的结构，能够根据用户的嗜好，参考因特网上传输的信息等输入多种输出影像数据生成条件。

而且，该变形例的生成条件输入部2212利用第三实施例的制约条件输入部1910、生成条件取得部1911、以及对应信息存储部1923构成也可以。

即，构成为通过生成条件输入部2212直接输入输出影像数据生成条件的方法与通过制约条件输入部1910间接指定输出影像数据生成条件的方法并用。

这种情况下，例如从生成条件输入部2212输入优先，只对于没有从生成条件输入部2212输入的条件，根据从制约条件输入部1910的输入选择输出影像数据生成条件。

第四实施例

第四实施例中说明将上述影像输出装置用于进行买入商品处理的买入系统中的例子。根据第四实施例的买入系统显示商品提供者提供的商品的有关影像数据，显示的同时进行商品买入处理、伴随着商品买入进行计费。

图23示出根据第四实施例的买入系统10的结构方块图。如图23所示，买入系统10由PC2300、商品提供服务器2400、以及计费服务器2500通过因特网等网络2600连接构成。

商品提供服务器2400是管理商品提供者提供的商品有关信息的装置，具有提供商品有关影像数据的功能。而且，商品提供服务器2400构成为具有进行商品买入处理的WEB网址等也可以。

PC2300的用户视听商品提供服务器2400提供的影像数据，在视听的同时买入商品的情况下，计费服务器2500用于对商品提供者进行计费处理。计费服务器2500例如从PC2300接收表示伴随着视听商品有关影像数据买入的信息或者包含买入金额的买入信息，参考买入信息，对商品提供者计费买入金额规定比例。

PC2300显示商品提供服务器2400提供的影像数据，在显示的同时可以进行商品买入处理。

如图23所示，PC2300主要硬件结构有：操作部151、通信部152、输出部153、参考数据存储部1621、履历存储部1622、对应信息存储部1923。而且，PC2300主要软件结构有影像输入部101、参考数据输入部102、提取条件确定部103、参考数据提取部1604、解析部105、影像生成部106、输出控制部107、解析结果判断部1908、生成结果判断部1909、制约条件输入部1910、生成条件取得部1911、买入处理部2313、计费处理部2314。

第四实施例中，增加买入处理部2313和计费处理部2314与第三实施例不同，其他结构和功能与表示第三实施例的PC1900的结构方块图19相同，因此使用相同符号，并省略说明。

买入处理部2313进行作为输出影像数据显示的商品买入相关的处理。例如，在用户通过操作部151选择买入商品的情况下，买入处理部2313向商品提供服务器2400发送选择的商品个数等信息。买入处理部2313构成为在买入处理过程中让用户输入买入所必须的用户信息等。在商品提供服务器2400具有进行买入处理的WEB网址的情况下，买入处理部2313构成为显示该WEB网址，用户进行买入手续。

计费处理部2314向计费服务器2500发送买入信息，所述买入信息包含通过买入处理部2313买入的商品个数、买入金额等。

PC2300的提供者，例如用户利用PC2300的买入处理部2313买入商品的情况下，以支付作为商品买入诱导的对价的利润的内容，结算与商品提供者之间的预定合同。计费处理部2314向计费服务器2500发送信息，用于根据所述合同向商品提供者计费。因此，计费服务器2500根据所述信息向商品提供者进行计费。

而且，本实施例中的影像输入部101输入商品提供者提供的商品的商业影像等商品相关的影像数据。商品提供者包含WEB销售或者通信销售网站经营者等。而且，本实施例的参考数据输入部102把商品提供者提供的商品的评论文章等作为参考数据组输入。而且，本实施例的提取条件决定部103输入例如用于指定评论文章内注目的文本等的提取条件。

下面，利用图24说明通过上述结构的第四实施例中的PC1600显示商品影像和买入处理。图24是示出第四实施例的影像输出处理的整个流程的流程图。

首先，PC2300的通信部152接收来自商品提供服务器2400的商品影像数据、参考数据组以及提取条件(步骤S2401)。然后，利用接收的影像数据、参考数据组以及提取条件进行影像输出处理(步骤S2402)。影像输出处理的内容与示出第三实施例的影像输出处理的图21相同。

然后，买入处理部2313根据用户的指示，进行与显示的输出影像数据相关的商品的买入处理(步骤S2403)。在买入商品的情况下，计费处理部2314向计费服务器发送与买入商品相关的买入信息(步骤S2404)，结束商品影像显示及买入处理。

由于各个用户的嗜好不同，商品提供者难以制作任何用户都接受的商业影像。如果使用第四实施例的影像输出装置，能够根据表示用户嗜好的数据显示影像，因此能够显示符合各个用户嗜好的商业影像。因此，商品提供者能够比以前更有效率地使商品受欢迎。

而且，用户通过操作操作部能够自由地使参考数据动态变化，因此能够很早地把握商品的特征，能够轻松购买显示的影像所示出的商品。

下面，利用图25说明第一至第四实施例的影像输出装置的硬件结构。图25是示出第一至第四实施例的影像输出装置的硬件结构的说明图。

根据第一至第四实施例的影像输出装置具有：CPU(中央处理单元)51等构成的控制装置、ROM(只读存储器)52或者RAM(随机存储器)53等存储装置、连接到网络进行通信的通信I/F54、HDD(硬盘驱动器)、CD(小型盘)装置等外部存储装置、显示器等显示装置、键盘或者鼠标等输入装置、连接各部分的总线61，利用通常的计算机构成硬件。

利用根据第一至第四实施例的影像输出装置运行的影像输出程序是可以安装形式或者可以运行形式的文件，记录在CD-ROM(小型盘只读存储器)、柔性盘(FD)、CD-R(可记录小型盘)、DVD(数字视频盘)等计算机可读取的记录介质上提供。

而且，构成为如下形式也可以，即根据第一至第四实施例的影像输出装置运行的影像输出程序是存储在连接到因特网等网络上的计算机上，经过因特网路径下载提供。而且，构成为如下形式也可以，即根据第一至第四实施例的影像输出装置运行的影像输出程序通过因特网等网络路径提供或者分发。

而且，构成为根据第一至第四实施例的影像输出程序预先组装在ROM等上提供也可以。

根据第一至第四实施例的影像输出装置运行的影像输出程序包含上述各部分(影像输入部、参考数据输入部、提取条件确定部、参考数据提取部、解析部、影像生成部、输出控制部、解析结果判断部、生成结果判断部、制约条件输入部、生成条件取得部、买入处理部、计费处理部)的构成也可以，实际的硬件CPU51(处理器)从上述存储介质上读出影像输出程序并运行，把上述各部分加载在主存储装置上，上述各部分生成在主存储装置上。

Claims (18)

1、一种影像输出装置，生成并输出输出影像数据，所述输出影像数据包含从输入的影像数据提取的帧，所述影像输出装置的特征在于，具有：

输入影像数据的影像输入部；

参考数据输入部，输入与输入的影像数据相关联的图像数据、文本数据、以及声音数据中的至少一种的多个参考数据；

确定部，基于预定的规则，从多个上述参考数据的识别信息中，根据包含自接收到上述输出影像数据的输出请求开始经过的时间在内的动态变化的预定的变动信息，确定上述识别信息；

参考数据提取部，从多个上述参考数据中提取确定的上述识别信息的上述参考数据；

帧提取部，计算输入的影像数据中的帧与作为上述参考数据提取的上述图像数据之间的相似度、作为上述元数据给予给上述帧的文本数据与作为上述参考数据提取的文本数据之间的相似度、以及给予给上述帧的声音数据与作为上述参考数据提取的上述声音数据之间的相似度中的至少一个，并提取计算出的相似度比预定的第一阈值大的上述帧或者被给予了计算出的相似度比上述第一阈值大的上述声音数据的上述帧；

影像生成部，生成包含提取的上述帧的上述输出影像数据；以及

输出部，输出生成的上述输出影像数据。

2、根据权利要求1所述的影像输出装置，其特征在于：

还具有解析结果判断部，该解析结果判断部判断给予给上述帧的上述元数据和提取的上述参考数据分别是图像数据、文本数据或者声音数据中的哪一种数据形式，判断上述元数据的数据形式与上述参考数据的数据形式是否一致；

在上述元数据的数据形式与上述参考数据的数据形式不一致的情况下，上述参考数据提取部提取数据形式与上述元数据一致的上述参考数据。

3、根据权利要求1所述的影像输出装置，其特征在于：

还具有解析结果判断部，该解析结果判断部判断提取的上述帧的数目是否在预定的范围内；

在上述数目不在上述范围之内的情况下，上述参考数据提取部提取与确定的上述识别信息的上述参考数据不同的上述参考数据。

4、根据权利要求1所述的影像输出装置，其特征在于：

上述影像生成部基于规定上述输出影像数据中包含的上述帧的属性以及输出状态的预定生成条件，从提取的上述帧中选择上述生成条件中包含的上述属性的上述帧，将选择的上述帧以上述生成条件中包含的上述输出状态输出，生成上述输出影像数据。

5、根据权利要求4所述的影像输出装置，其特征在于：

还具有生成结果判断部，判断提取的上述帧内是否包含上述属性的上述帧，或者/以及提取的上述帧中是否包含能够以上述输出状态输出的上述帧；

在提取的上述帧内不包含上述属性的上述帧的情况下，或者/以及提取的上述帧中不包含能够以上述输出状态输出的上述帧的情况下，上述参考数据提取部还提取与确定的上述识别信息的上述参考数据不同的上述参考数据。

6、根据权利要求1所述的影像输出装置，其特征在于：

上述帧提取部还计算输入的影像数据中的帧与上述输出影像数据中包含的帧之间的相似度或者给予给上述帧的声音数据与给予给上述输出影像数据中包含的帧的声音数据之间的相似度，上述帧提取部提取计算出的相似度比上述第一阈值大的上述帧或者被给予了计算出的相似度比上述第一阈值大的上述声音数据的上述帧。

7、根据权利要求1所述的影像输出装置，其特征在于，还具有：

履历存储部，随时存储生成的上述输出影像数据；以及

生成结果判断部，计算出上述影像生成部新生成的上述输出影像数据与上述履历存储部中存储的上述输出影像数据之间的相似度，判断计算出的相似度是否比预定的第二阈值大；

上述参考数据提取部根据计算出的相似度与上述第二阈值之间的大小关系，还提取与确定的上述识别信息的上述参考数据不同的上述参考数据。

8、根据权利要求1所述的影像输出装置，其特征在于：

还具有参考数据存储部，该参考数据存储部将上述参考数据和与上述参考数据相关联的其他参考数据对应地存储；

上述参考数据提取部还从上述参考数据存储部获得与提取的上述参考数据相关联的上述其他参考数据。

9、根据权利要求1所述的影像输出装置，其特征在于，还具有：

对应信息存储部，存储如下对应信息，该对应信息是将规定上述输出影像数据中包含的上述帧的属性及输出状态的预定生成条件和与上述输出影像数据的视听状况相关的预定制约条件相对应的信息；

制约条件输入部，输入上述制约条件；以及

生成条件获得部，从上述对应信息存储部获得与输入的上述制约条件对应的上述生成条件；

上述影像生成部从提取的上述帧中，选择取得的上述生成条件中包含的上述属性的上述帧，将选择的上述帧以取得的上述生成条件包含的上述输出状态输出，生成上述输出影像数据。

10、根据权利要求9所述的影像输出装置，其特征在于，还具有：

解析结果判断部，对提取的上述帧进行解析，取得与上述帧相关联的上述制约条件；

上述生成条件获得部还从上述对应信息存储部获得与取得的上述制约条件相对应的上述生成条件。

11、根据权利要求9所述的影像输出装置，其特征在于，还具有：

生成结果判断部，判断提取的上述帧内是否包含取得的上述生成条件中包含的上述属性的上述帧，或者/以及提取的上述帧中是否包含能够以取得的上述生成条件中包含的上述输出状态输出的上述帧；

在提取的上述帧内不包含上述属性的上述帧的情况下，或者/以及提取的上述帧中不包含能够以上述输出状态输出的上述帧的情况下，上述生成条件获得部还从上述对应信息存储部获得与获取的上述生成条件不同的上述生成条件。

12、根据权利要求9所述的影像输出装置，其特征在于，还具有：

履历存储部，随时存储生成的上述输出影像数据；以及

生成结果判断部，计算出上述影像生成部新生成的上述输出影像数据与上述履历存储部中存储的上述输出影像数据的相似度，判断计算出的相似度是否比预定的第三阈值大；

上述生成条件获得部还根据计算出的相似度与上述第三阈值之间的大小关系，从上述对应信息存储部获得与取得的上述制约条件不同的上述制约条件所对应的上述生成条件。

13、根据权利要求1所述的影像输出装置，其特征在于，还具有：

生成条件输入部，输入预定的生成条件，所述生成条件规定上述输出影像数据中包含的上述帧的属性和输出状态；

上述影像生成部从提取的上述帧中，选择输入的上述生成条件中包含的上述属性的上述帧，把选择的上述帧以输入的上述生成条件包含的上述输出状态输出，生成上述输出影像数据。

14、根据权利要求1所述的影像输出装置，其特征在于：

上述输出部还将提取的上述参考数据和生成的上述输出影像数据相对应地输出。

15、根据权利要求1所述的影像输出装置，其特征在于：

上述输出部还以能够指定的方式显示上述识别信息；

上述影像输出装置还具有操作部，该操作部用于指定所显示的上述识别信息中至少一个上述识别信息；

上述确定部将通过上述操作部指定的上述识别信息确定为应提取的上述参考数据的上述识别信息。

16、根据权利要求1所述的影像输出装置，其特征在于：

上述影像输出装置通过网络与提供装置和计费装置相连，所述提供装置提供有关商品的影像数据，所述计费装置根据与买入的上述商品相关的买入信息，对上述商品提供者进行计费处理；

上述影像输入部从上述提供装置输入与商品有关的影像数据；

还具有：

买入处理部，根据通过上述输出部输出的上述输出影像数据，进行与指定的上述商品的买入相关的处理；以及

计费处理部，把通过上述买入处理部买入的上述商品有关的上述买入信息发送到上述计费装置。

17、一种影像输出方法，是在生成并输出输出影像数据的影像输出装置中进行的影像输出方法，所述输出影像数据包含从输入的影像数据提取的帧，其特征在于，所述影像输出方法包括：

影像输入步骤，由影像输入部输入影像数据；

参考数据输入步骤，由参考数据输入部输入与输入的影像数据相关联的图像数据、文本数据、以及声音数据中的至少一种的多个参考数据；

确定步骤，由确定部基于预定规则，从多个上述参考数据的识别信息中，根据包含自接收到上述输出影像数据的输出请求开始经过的时间在内的动态变化的预定变动信息，确定上述识别信息；

参考数据提取步骤，由参考数据提取部从多个上述参考数据中提取确定的上述识别信息的上述参考数据；

帧提取步骤，由帧提取部计算输入的影像数据中的帧与作为上述参考数据提取的上述图像数据之间的相似度、作为上述元数据给予给上述帧的文本数据与作为上述参考数据提取的文本数据之间的相似度、以及给予给上述帧的声音数据与作为上述参考数据提取的上述声音数据之间的相似度中的至少一个，提取计算出的相似度比预定的第一阈值大的上述帧或者被给予了计算出的相似度比上述第一阈值大的上述声音数据的上述帧；

影像生成步骤，由影像生成部生成包含提取的上述帧的上述输出影像数据；以及

输出步骤，由输出部输出生成的上述输出影像数据。

18、一种买入系统，具有：提供装置，提供有关商品的影像数据；计费装置，根据与买入的上述商品相关的买入信息，对上述商品提供者进行计费处理；以及影像输出装置，通过网络连接到上述提供装置和上述计费装置，生成包含从输入的影像数据中提取的帧的输出影像数据并输出；

上述影像输出装置具有：

输入影像数据的影像输入部；

参考数据输入部，输入与所输入的影像数据相关的图像数据、文本数据以及声音数据中的至少一种的多个参考数据；

确定部，基于预定规则，从多个上述参考数据的识别信息中，根据包含自接收到上述输出影像数据的输出请求开始经过的时间的动态变化的预定的变动信息，确定上述识别信息；

参考数据提取部，从多个上述参考数据中提取确定的上述识别信息的上述参考数据；

帧提取部，计算输入的影像数据中的帧与作为上述参考数据提取的上述图像数据之间的相似度、作为上述元数据给予给上述帧的文本数据与作为上述参考数据提取的文本数据之间的相似度、以及给予给上述帧的声音数据与作为上述参考数据提取的上述声音数据之间的相似度中的至少一个，提取计算出的相似度比预定的第一阈值大的上述帧或者被给予了计算出的相似度比上述第一阈值大的上述声音数据的上述帧；

影像生成部，生成包含提取的上述帧的上述输出影像数据；

输出部，输出生成的上述输出影像数据；

买入处理部，根据通过上述输出部输出的上述输出影像数据，进行与指定的上述商品的买入相关的处理；以及

计费处理部，把通过上述买入处理部买入的上述商品有关的上述买入信息发送到上述计费装置。

Images