CN101950288A - 信息处理装置、信息处理方法及程序 - Google Patents

Abstract

本发明公开了信息处理装置、信息处理方法及程序。提供了信息处理装置，包括：存储部件，用于存储多个图像和与多个图像中的每个图像有关的多个相关词语，多个图像与多个相关词语相关联；输入部件，用于输入指示预定概念的概念词语；提取部件，用于当所输入的概念词语对应于相关词语时，提取各自与相关词语相关联的多个图像；选择部件，用于从所提取的多个图像中选择与概念词语的概念相匹配的图像；收集部件，用于收集与概念词语的概念相匹配的所选图像相关联的相关词语；以及计算部件，用于计算所收集的相关词语的词语组的词语特征量。

Description

信息处理装置、信息处理方法及程序

技术领域

本发明涉及信息处理装置、信息处理方法及程序，并且更具体地涉及用于创建/控制用户简档(profile)的信息处理装置、信息处理方法及程序。

背景技术

近年来，已基于用户的搜索历史或购买历史创建了每个用户的简档，并且已利用该简档来执行商品的搜索或内容的推荐。在创建简档时，使用了基于用户购买的商品的种类和制造商来预先准备的用户的属性、用户输入的关键词等。例如，用户输入的关键词与预先准备的用户的属性彼此匹配，并且推荐与输入的关键词有关的商品或内容。

然而，在上述方法中，存在许多这样的情况，其中，用户输入的关键词与预先准备的关键词或属性彼此不相匹配。即，即使在用户心里具有某种概念时输入关键词时，存在这样的一些情况，其中，非常少的具有该概念的结果存在或者获得了具有与用户的概念不同的概念的结果。此外，当用户在用言语表达用户想象的概念方面具有困难时，存在作为搜索关键字(search key)的查询的创建本身难以执行的问题。

因此，公开了一种技术，用于基于搜索查询词语(term)和使用该搜索查询词语的搜索历史来创建每个用户的简档并且提供用户所需的搜索结果(例如，日本专利申请早期公开No.2008-507041)。

发明内容

然而，在日本专利申请早期公开No.2008-507041中，能够针对具体对象名称和适当名词来提取偏好，但是存在如下可能性：在包括形容词(对其的解释依个人而不同)的情感表达情况中，非用户的概念的信息被提供。

鉴于前面的状况，希望提供能够基于针对用户想象的每个概念而进行归类的图像组来创建用户简档的新颖的经改进的信息处理装置、信息处理方法和程序。

根据本发明的一个实施例，提供了一种信息处理装置，其中，多个图像被与多个相关词语相关联，多个相关词语与多个图像中的每个图像有关，该装置包括：输入部件，用于输入指示预定概念的概念词语；提取部件，用于当由输入部件输入的概念词语对应于相关词语时，提取各自与相关词语相关联的多个图像；选择部件，用于从由提取部件提取的多个图像中选择与概念词语的概念相匹配的图像；收集部件，用于收集与概念词语的概念所匹配的并且由选择部件选出的图像相关联的相关词语；以及计算部件，用于计算由收集部件收集的相关词语的词语组的词语特征量。

根据上面的配置，当通过用户操作等输入了指示预定概念的概念词语时，并且在概念词语和与存储在存储部件中的多个图像有关的相关词语彼此对应的情况中，与该相关词语相关联的多个图像从存储部件被提取出。然后，根据用户的操作，与概念词语的概念相匹配的图像从提取出的多个图像中被选出。与所选概念词语的概念所匹配的图像相关联的相关词语被收集，并且所收集相关词语的词语组的词语特征量被计算。因此，可以基于针对用户想象的每个概念进行了归类的图像组来创建用户简档。

此外，选择部件可以根据用户的操作从由提取部件提取的多个图像中选择与概念词语的概念相匹配的图像。此外，计算部件可以根据由收集部件收集的相关词语的出现频率来计算词语特征量。另外，计算部件可以根据与这样的图像的图像组相关联的相关词语的出现频率来计算词语特征量，这样的图像被选择部件选为与概念词语不匹配的图像。

信息处理装置还可以包括创建部件，用于创建图像识别器，该图像识别器能够从与概念词语的概念相匹配并且由选择部件选择的图像组中识别出预定图像特征量。另外，信息处理装置还可以包括记录部件，用于将与计算部件计算出的词语特征量相联系的概念词语作为概念信息记录到存储介质中。

此外，记录部件可以根据词语特征量通过将概念词语映射到预定概念映射表(concept map)来记录概念词语。此外，记录部件可以将与包括选择部件选出的图像的相关图像组相联系的概念词语、包括相关词语并且是由收集部件收集的相关词语组，以及由计算部件计算出的词语特征量作为概念信息记录到存储介质中。

此外，当除了多个图像以外，其它的多个图像新近被与与其它多个图像中的每个图像有关的多个相关词语相关联时，提取部件可以提取各自与概念词语所对应的相关词语相关联的多个图像，选择部件可以新选择与概念词语的概念相匹配的图像，收集部件可以再收集与概念词语的概念所匹配的图像相关联的相关词语，并且计算部件可以再计算由收集部件再收集的相关词语的词语组的词语特征量。

此外，选择部件可以根据用户的操作新选择与概念词语的概念相匹配的图像。

信息处理装置还可以包括创建部件，用于创建图像识别器，图像识别器能够从与概念词语的概念相匹配的并且由选择部件选出的图像组和识别出预定图像特征量。此外，选择部件根据从由创建部件创建的图像识别器获得的图像识别度(image recognition degree)来新选择与概念词语的概念相匹配的图像。

此外，当概念词语依据记录在记录部件中的词语特征量而在概念映射表上的映射根据用户的操作被改变时，计算部件可以基于概念映射表上被更新的概念词语的映射位置来再计算概念词语的词语特征量。

此外，选择部件可以根据从创建部件创建的图像识别器获得的图像识别度来从自提取部件提取的多个图像中选择与概念词语的概念相匹配的图像。

根据本发明的另一实施例，提供了一种信息处理方法，其包括以下步骤：输入指示预定概念的概念词语；当所输入概念词语对应于与多个图像相关联的相关词语时，提取各自与相关词语相关联的多个图像；从提取出的多个图像中选择与概念词语的概念相匹配的图像；收集与概念词语的概念所匹配的所选图像相关联的相关词语；以及计算所收集的相关词语的词语组的词语特征量。

根据本发明另一实施例，提供了一种用于使得计算机用作信息处理装置的程序，在信息处理装置中，多个图像与多个相关词语相关联，多个相关词语与多个图像中的每个图像有关，信息处理装置包括：输入部件，用于输入指示预定概念的概念词语；提取部件，用于当由输入部件输入的概念词语对应于相关词语时，提取各自与相关词语相关联的多个图像；选择部件，用于从由提取部件提取的多个图像中选择与概念词语的概念相匹配的图像；收集部件，用于收集与概念词语的概念相匹配的并且由选择部件选出的图像相关联的相关词语；以及计算部件，用于计算由收集部件收集的相关词语的词语组的词语特征量。

根据上述本发明的实施例，可以基于针对用户想象的每个概念进行了归类的图像组来创建用户简档。

附图说明

图1是例示出根据本发明实施例的简档创建的概况的说明图；

图2是示出根据本实施例的信息处理装置的硬件配置的示例的说明图；

图3是示出根据本实施例的信息处理装置的功能配置的框图；

图4是例示出根据本实施例的词语和图像数据库的内容的说明图；

图5是例示出根据本实施例的存储在概念信息数据库中的概念信息的内容的说明图；

图6是例示出根据本实施例的在概念映射表上示出的概念词语之间的关联度的说明图；

图7是示出根据实施例的简档创建处理的细节的流程图；

图8是例示出根据本实施例的使用SVM的反馈处理的说明图；

图9是例示出根据本实施例的TF-IDF的使用的说明图；

图10是例示出根据本实施例的更新简档示例的说明图；

图11是例示出根据本实施例的更新简档示例的说明图；

图12是例示出根据本实施例的简档应用示例的说明图；以及

图13是例示出根据本实施例的简档应用示例的说明图。

具体实施方式

下面，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，用相同的标号来表示具有基本上相同的功能和结果的结构元件，并且省略对这些结构元件的重复描述。

[1]本实施例的目的

[2]信息处理装置的硬件配置

[3]信息处理装置的功能配置

[4]信息处理装置中的简档创建处理的细节

[5]更新简档的示例

[6]简档应用的示例

[1]本实施例的目的

近年来，已基于用户的搜索历史或购买历史创建了每个用户的简档，并且已利用该简档来执行商品的搜索或内容的推荐。期望继续扩展对利用简档的那些推荐技术以及利用简档的可用性的增强。此外，简档不依赖于特定站点或目的，而是在各种状况下被共享，例如在其它站点和消费电子设备中对其进行利用。

现在，在创建简档时，使用了基于用户购买的商品的种类和制造商来预先准备的用户的属性、用户输入的关键词等。例如，用户输入的关键词与预先准备的用户的属性彼此匹配，并且推荐与输入的关键词有关的商品或内容。

然而，在上述方法中，存在许多这样的情况，其中，用户输入的关键词与预先准备的关键词或属性彼此不相匹配。即，即使在用户心里具有某种概念时输入关键词时，存在这样的一些情况，其中，非常少的具有该概念的结果存在或者获得了具有与用户的概念不同的概念的结果。此外，当用户在用言语表达用户想象的概念方面具有困难时，存在作为搜索关键字的查询的创建本身难以执行的问题。此外，假设了用户想象的概念不太匹配的各种情形，包括：对同音异义字、部分匹配的关键词以及诸如人名和商品名称之类的全新词的处理；以及词语之间的距离测量。

因此，公开了这样的技术，用于基于搜索查询词语和使用该搜索查询词语的搜索历史来创建每个用户的简档并且提供用户所需的搜索结果。然而，在该技术中，能够针对具体对象名称和适当名词来提取偏好，但是存在如下可能性：在包括形容词(对其的解释依个人而不同)的情感表达情况中，非用户的概念的信息被提供。

上面的问题对简档的使用或更新造成了极大的障碍。具体地，在自动更新简档的情况中，新的信息利用一词语来收集，而用户的概念与该词语之间的对应程度仍然含糊不清。在此情况中，为了获得用户所需的信息，必须校正暂时生成的简档。因此，通过考虑上面的状况，产生了根据本发明实施例的信息处理装置10。根据本实施例的信息处理装置10，可以基于针对用户想象的每个概念进行归类的图像组来创建用户简档。

接下来，参考图1，描述根据本实施例的信息处理装置10中的简档创建的概况。例如，考虑如下情况，其中，用户50从诸如个人计算机之类的计算机设备输入“sakura”(日本的樱树)作为查询词语(关键词)51。于是，在信息处理装置10中，各自与包括词语“sakura”的相关词语相对应的图像被收集。相关词语是指与图像相关联的词语或者由用户设置给图像的词语。作为各自与包括词语“sakura”的相关词语相对应的图像，例如可以考虑“sakura饼”(包含豆沙并且用盐浸渍过的樱桃树叶包裹的粉色米糕)、“印有sakura的衣服”、“sakura树”(樱树)、“sakura茶”的图像。

例如，即使用户在想象“sakura树”时输入“sakura”作为查询词语，各自与“sakura”有关的所收集图像包括了不是用户的概念“sakura树”的那些图像。因此，用户以使所收集图像与用户的概念相对应的方式来对所收集图像归类。即，用户从各自与包括词语“sakura”的相关词语相对应的图像中选出包括“sakura树”的图像。因此，当用户的概念被暂时表达为图像并且根据用户的操作来选择图像时，仅从查询词语来考虑时是含糊的用户的概念可以被弄清楚。

另外，信息处理装置10收集与通过用户操作选出的图像相关联的文本信息54，并且将文本信息54与所输入的查询词语“sakura”相关联。以这种方式，和用户50想象的“sakura”概念匹配的文本信息被与查询词语“sakura”相关联。例如，即使当将用户想象的概念链接到图像的词语以及将内容创建者想象的概念链接到图像的词语彼此不相对应时，该概念与两者的词语也可以通过图像被彼此链接起来。

另外，信息处理装置10能够计算所收集文本信息54的词语特征量并且基于该特征量来更精确地表达用户的概念。词语特征量是在考虑到与图像组相关联的词语组不与用户的概念相匹配并且未被用户的操作选择的出现频率或者特定词语包括在所收集文本信息54中的出现频率来计算的。以这种方式，针对指示预定概念的词语(概念词语)，向用户的简档添加与概念词语相匹配的图像组、被链接到图像的词语组以及基于词语组计算出的词语特征量，来作为新的概念信息。在上面，描述了信息处理装置10的概况。

[2]信息处理装置的硬件配置

接下来，参考图2，将描述信息处理装置10的硬件配置。图2是示出根据本实施例的信息处理装置10的硬件配置的示例的说明图。

信息处理装置10包括CPU(中央处理单元)101、ROM(只读存储器)102、RAM(随机存取存储器)103、主机总线104、桥接器105、外部总线106、接口107、输入设备108、输出设备109、存储设备(HDD)110、驱动器111和通信设备112。

CPU 101用作算术处理单元和控制单元，并且根据各种程序来控制信息处理装置10的整体操作。此外，CPU 101可以是微处理器。ROM 102存储CPU 101使用的程序、计算参数等。RAM 103主要存储在CPU 101运行时使用的程序、由于运行而适当改变的参数等。它们经由包括CPU总线等的主机总线104相连。

主机总线104经由桥接器105连接到诸如PCI(外围组件互连/接口)总线之类的外部总线106。注意，主机总线104、桥接器105和外部总线106不一定彼此相分离地来提供，并且它们的功能可以在一条总线上来实现。

输入设备108例如包括供用户输入信息的输入装置，例如鼠标、键盘、触摸面板、按钮、麦克风、开关和操作杆，并且包括基于来自用户的输入生成输入信号并将输入信号输出给CPU 101的输入控制电路。信息处理装置10的用户可以通过操作输入设备108来输入各种数据并且可以向信息处理装置10指示处理操作。

输出设备109例如包括诸如CRT(阴极射线管)显示设备、液晶显示(LCD)设备、OLED(有机发光显示)设备以及灯之类的显示设备，以及诸如扬声器和耳机之类的音频输出设备。输出设备109例如输出经再现的内容。具体地，显示设备显示各种信息，例如文本或图像形式的经再现视频数据。另一方面，音频输出设备将经再现的音频数据等转换为声音并且输出该声音。

存储设备110是用于存储数据的设备，其被配置为本实施例的信息处理装置10的存储部件的一个示例。存储设备110例如可以包括存储介质、用于将数据记录在存储介质中的记录设备、用于从存储介质读出数据的读出设备，以及用于删除记录在存储介质中的数据的删除设备。存储设备110被配置为例如包括HDD(硬盘驱动器)。存储设备110驱动硬盘，并且存储由CPU 101执行的程序和各种数据。

驱动器111是用于存储介质的读写器并且被内置在信息处理装置10中或者从外部附接到信息处理装置10。驱动器111读出记录在安装到它的可移除存储介质120中的信息，并且将信息输出给RAM 103，可移除存储介质120例如是磁盘、光盘、磁光盘或半导体存储器。

通信设备112例如是指被配置为包括用于建立与通信网络50的连接的通信设备的通信接口。此外，通信设备112可以是无线LAN(局域网)使能的通信设备、无线USB使能的通信设备或者用于执行有线通信的有线通信设备。

[3]信息处理装置的功能配置

上面，描述了信息处理装置10的硬件配置。接下来，参考图3，描述信息处理装置10的功能配置。如图3所示，信息处理装置10包括输入部件152、提取部件154、存储部件156、选择部件160、收集部件162、计算部件164、记录部件166、创建部件168、图像识别器170等。

输入部件152具有根据用户的操作输入指示预定概念的概念词语的功能。这里，概念是指用户个人具有的意图或图像、表达该意图或图像的信息组。在本实施例中，将这种指示用户想象的概念的词语称为概念词语。概念词语例如包括文本信息，例如“sakura”和“时钟”。用户经由上述输入设备108输入指示用户想象的概念的概念词语，例如“sakura”或“时钟”。

在由输入部件152输入的概念词语与后面将描述的与存储在存储部件156中的图像有关的相关词语彼此对应的情况中，提取部件154具有提取各自与来自存储部件156的相关词语相关联的多个图像。多个图像与多个相关词语(其每个与图像有关)被彼此相关联，并且存储在存储部件156中作为词语和图像数据库157。在本实施例中，存储部件156被设置在信息处理装置10中，然而本实施例不局限于此，而是存储部件156还可以设置在与信息处理装置10分离的设备中，并且信息处理装置10可以经由网络获得存储在该存储部件156中的信息。

这里，参考图4，描述词语和图像数据库157的内容。图4是例示出词语和图像数据库157的内容的说明图。例如，如图4所示，链接到包括海和沙滩的图像201的是与图像201有关的多个相关词语，例如“海”、“冲绳岛”、“旅行”、“阳光”和“游泳衣”。此外，例如，链接到包括天体的图像202的是诸如“银河”、“星”和“太空”之类的相关词语，并且链接到包括蛋糕的图像203的是“蛋糕”、“银座”(Ginza)和“名人”。存储在词语和图像数据库157中的图像和相关词语可以由内容推荐器或用户来设置或添加。

如上所述，提取部件154从存储在词语和图像数据库157中的多个相关词语中搜索与输入部件152所输入的概念词语相对应的词语。然后，与该概念词语所对应的相关词语相关联的图像组被提取出。例如，在“sakura”被输入作为概念词语的情况中，各自与包括“sakura”的相关词语相对应的图像被提取出。作为各自与包括“sakura”的相关词语相对应的图像，不仅可以考虑“sakura树”的图像，而且可以考虑“sakura饼”、“印有sakura的衣服”、“sakura茶”等的图像。提取部件154将从存储部件156提取出的多个图像提供给选择部件160。

选择部件160具有从自提取部件154提供的多个图像中选择与概念词语的概念相匹配的图像的功能。与概念词语的概念相匹配的图像是指与输入该概念词语的用户想象的概念相匹配的图像。例如，在用户输入“sakura”作为概念词语的情况中，虽然用户想象“sakura树”，然而“sakura树”以外的图像也包括在各自与相关词语相对应的图像中，例如“sakura饼”和“印有sakura的衣服”。在此情况中，与概念词语的概念相匹配的图像不是指“sakura饼”和“印有sakura的衣服”的图像，而是指“sakura树”的图像。

此外，选择部件160可以根据用户的操作从由提取部件154提取出的多个图像中选择与概念词语的概念相匹配的图像。例如，由提取部件154提取出的多个图像可以显示在显示设备(未示出)的显示画面上，并且用户可以经由输入设备来从这多个图像中选择与概念词语的概念相匹配的图像。可以通过将多个图像归类为与概念词语的概念匹配的图像和与概念词语的概念不匹配的图像，来执行通过用户的操作选择图像。

此外，还可以通过从显示画面删除与概念词语的概念不匹配的图像来执行通过用户的操作选择图像。此外，可以通过用户的操作逐步地选择图像。例如，数个图像通过用户的操作被选择，并且随后，可以基于图像的图像特征量来从其中选择适当的图像。此后，被选图像被示出给用户，并且可以再次通过用户的操作来从其中选择适当的图像。以此方式，针对概念是否与图像相对应的反馈可以被执行多次。

例如，用户可能在仅想象“sakura树”的图像时输入概念词语“sakura”。在此情况中，在第一次选择图像的阶段，包括“sakura树”的图像和包括“sakura树”以外的对象的图像(例如建筑)被选择，然而在反馈被执行了多次之后，仅“sakura树”的图像被选择。上述反馈功能可以通过装置与包括诸如SVM(支持向量机)和Boosting之类的机器学习的技术之间的交互来实现。将在后面描述反馈功能的细节。

当通过用户的操作来执行针对图像是否与用户想象的概念相对应的反馈时，选择部件160能够选择更适合于用户的图像。例如，仅从文本信息“sakura”不能够弄明白(figure out)用户想象的概念指示“sakura树”，然而通过显示与“sakura”有关的图像来允许用户选择图像，变得能够更清楚地弄明白用户想象的图像的概念。选择部件160将所选图像的信息提供给收集部件162。此外，选择部件160还将所选图像的信息提供给创建部件168。创建部件168具有创建图像识别器170的功能，图像识别器170能够识别来自与概念词语的概念相匹配的并且由选择部件160选出的图像组的预定图像特征量。为每个概念词语创建一个图像识别器170。图像识别器170提取并学习多个图像的图像特征量。

例如，图像识别器170将从与概念词语“sakura”相匹配的图像组提取出的图像特征量与输入图像的图像特征量相比较，并且可以判断输入图像是否与概念词语“sakura”相匹配。即，虽然上面描述了输入图像通过用户的操作来选择，然而还可以利用已学习了多个图像的图像识别器170来选择输入图像。但是，在选择输入图像之前，图像识别器170必须预先学习与预定概念相匹配的并且根据用户的操作选出的图像组。

收集部件162具有收集与匹配概念词语的概念的并且由选择部件160选出的图像有关的相关词语的功能。收集部件162可以收集作为元数据被添加到图像的文本信息，或者可以收集被链接到来自词语和图像数据库157的图像的词语。例如，最终被选择的图像仅是“sakura树”的图像，并且包括在相关词语中的词语不仅是直接链接到“sakura”概念的那些词语，而且是不直接链接到“sakura”概念的那些词语，例如“日本樱树”、“四月”、“入学仪式”、“微距模式”和“特写”。收集部件162将所收集的相关词语提供给计算部件164。

计算部件164具有计算由收集部件162收集的相关词语的词语组的词语特征量的功能。计算部件164根据由收集部件162收集的相关词语的出现频率来计算词语特征量。此外，计算部件164可以根据与一图像的图像组相关联的相关词语的出现频率来计算词语特征量，该图像是被选择部件160选择作为与概念词语不匹配的图像。

词语特征量是指利用收集部件162所收集的词语组及其出现频率生成的词语特征向量。如上所述，词语特征向量是在考虑到与通过反馈移除的图像组相关联的词语组的出现频率，或者来自数据库中的所有词语组的具体词语的出现频率的情况下来计算的，因此，可以更精确地表达用户的概念。作为从词语组中提取重要词语的方法，使用了词素分析(morphological analysis)、TF-IDF等。下面将详细描述使用这些方法创建词语特征量。计算部件164将计算出的词语特征量提供给记录部件166。

记录部件166具有将与计算部件164所提供的词语特征量相联系的概念词语作为概念信息记录在存储介质中的功能。另外，记录部件166可以将与和选择部件160选择的概念词语有关的相关图像组、收集部件162收集的相关词语组以及计算部件164计算出的词语特征量相联系的概念词语作为概念信息记录在存储介质中。在本实施例中，概念信息数据库158与词语和图像数据库157一起记录在存储部件156中，然而本实施例不限于此，而且这些数据库可以记录在不同的存储介质中。

这里，参考图5，描述存储在概念信息数据库158中的概念信息的内容。如图5所示，针对通过用户操作输入的查询词语(概念词语)221，与该概念相匹配的图像组222、被链接到图像组222的相关词语组223，以及相关词语组223的词语特征量224彼此相联系，并且它们被存储为一条概念信息。另外，还将从图像组222创建的图像识别器170与它们相关联并存储。如上所述，图像和与该图像有关的相关词语已经在词语和图像数据库157中彼此相联系并被存储在其中。因此，在概念信息数据库158中，可以利用包括在词语和图像数据库157中的相关信息来管理数据。

此外，在本实施例中，图像识别器170被包括在信息处理装置10中。然而，图像识别器170还可以被提供为从信息处理装置10分离的设备。在此情况中，必须在信息处理装置10与该分离设备之间执行图像识别器170与概念信息之间的关联。返回图3，继续描述信息处理装置10的功能配置。

此外，记录部件166可以通过根据由计算部件164计算出的词语特征量将概念词语映射到预定概念映射表上来记录概念词语。在使用用户输入的概念词语作为用户简档的情况中，需要弄明白概念词语之间的关系。例如，可以通过计算概念词语之间的距离来弄清楚概念词语之间的关系。可以通过直接比较概念词语之间的距离来计算概念词语之间的距离。直接比较概念词语之间的距离是指基于例如在概念词典中示出的词语的层次结构来比较层次上的差异。

然而，在概念词典等中示出的词语的层次结构未反映出每个用户的概念，因此，基于这种层次结构来执行比较是不恰当的。因此，在本实施例中，通过基于由计算部件164计算出的词语特征量来计算概念词语之间的距离，从而执行反映了每个用户的概念的距离计算。然后，基于计算出的概念词语之间的距离来获得概念词语之间的关联程度，并且关联程度可被映射到概念映射表上。这里，参考图6，描述概念映射表上所示的概念词语之间的关联程度。图6是例示出概念映射表上所示的概念词语之间的关联程度的说明图。

如图6所示，例如，“Orange”包括“orange(桔子)水果”的概念和“Orange公司”的概念。针对每个概念词语计算词语特征量，并且例如，诸如词语特征量235之类的词语特征量是针对指示Orange公司概念的“Orange”计算出的。此外，对于指示“orange水果”概念的“Orange”，诸如词语特征量236之类的词语特征量被计算出。虽然它们具有相同的字符串“Orange”，然而，认为词语特征量235与词语特征量236之间的关联程度较低并且其间的距离较大。因此，概念映射表230上示出的Orange公司的“Orange”231与水果的“Orange”232被映射在彼此远离的位置处。另外，作为用于概念词语的映射方法，可以使用多维缩放方法(multidimensional scaling method)等，以由此执行用于提供视觉信息的映射。

此外，在指示Orange公司概念的“Orange”231与附近，映射了均指示公司概念的词语，例如针对Somy公司的“Somy”、针对Bell公司的“Bell”等。此外，在指示orange水果的“Orange”232附近，映射了指示诸如“Apple”(苹果)之类的水果概念的词语。因此，即使在通过用户操作输入的概念词语中存在具有相同字符串的概念词语，当概念词语包括两个或更多个不同概念时，可以获得针对每个不同概念的词语特征量。此外，可以将这些概念词语作为不同概念创建到每个用户的简档中。上面，描述了信息处理装置10的功能配置。

[4]信息处理装置中的简档创建处理的细节

接下来，参考图7，将描述在信息处理装置10中执行的简档创建处理的细节。图7是示出在信息处理装置10中执行的简档创建处理的细节的流程图。如图7所示，首先，根据用户的操作，查询词语(概念词语)由输入部件152输入(S102)。在步骤S102，提取部件154搜索与输入的查询词语所对应的词语(相关词语)相关联的图像组(S104)。

然后，在步骤S104中搜索到的相关图像组被示出给用户(S106)。在步骤S106中示出给用户的相关图像可以是由提取部件154提取的所有图像或者可以是这些图像中的一些。然后，由用户判断所示图像组是否与由用户示出的概念相对应。选择部件160根据用户的操作判断多个图像是否与所输入查询词语的概念相匹配(S108)。在步骤S108，选择部件160基于用户的判断结果来搜索适合于用户的图像(S110)。在步骤S110，多个图像被归类为与概念词语的概念相匹配的图像和与概念词语的概念不匹配的图像。

然后，通过搜索获得的结果再次被示出给用户(S106)。另外，用户从在步骤S106中示出的图像中选择与用户想象的概念更匹配的图像。以这种方式，基于与用户的交互来执行学习，因此，适合于用户的图像被搜索到。步骤S106到步骤S110的处理被重复直到在步骤S108中获得适当图像为止。步骤S106至步骤S110的反馈处理使得能够选出适当图像。

这里，参考图8，将详细描述使用SVM的反馈处理。图8是例示出使用SVM的反馈处理的说明图。首先，描述SVM的概要。SVM是用于利用数个正样本和负样本来创建数据空间中的标识界面的算法，并且该界面是由称为支持向量的样本组形成的。训练数据包括N个输入向量x₁，…，x_N和与其相对应的标签t₁，…，t_N，N表示数据片段的数目，并且假设未知数据点x通过下面的符号来归类。

[式1]

在此情况中，加权向量w和偏置参数b是通过在裕量(margin)最大化的基础上优化下面的公式来获得的。

[式2]

裕量是指从标识表面到支持向量的最短距离，并且通过最大化裕量，可以获得高度一般化的性能。

公式(1.2)可以通过引入拉格朗日乘数和KKT条件来针对目的函数α而被重写为下面的最大化：

[式3]

$\tilde{L}\left(a\right)=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{a}_n-\frac{1}{2}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{N}{\mathrm{\Σ}}}{a}_n{a}_m{t}_n{t}_{m}k(x_n,x_m)...\left(1.3\right)$

假设α满足下面的约束条件。

a_n≥0，n＝1，...，N

$\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{a}_n{t}_n=0...\left(1.4\right)$

当公式(1.1)基于这些公式被重写时，其被表示为如下。

[式4]

$y\left(x\right)=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{a}_n{t}_{n}k(x,x_n)+b...\left(1.5\right)$

可以通过求解二次规划问题来获得公式(1.3)的优化问题的解，并且当α的值被求解出时，也可以求解出偏置参数b的值。

自适应反馈(adaptive feedback)是这样的技术，其中，用户评估所收集数据，并且对所收集数据的归类基于该评估而被校正。根据自适应反馈的学习和归类由“选择器”(Selector)和“学习器”(Learner)执行。选择器基于先前的学习和归类来决定哪个数据要接收来自用户的反馈，并且学习器基于接收到的反馈执行再学习。

这里，参考图8，将描述根据自适应反馈的图像归类。图8是例示出根据自适应反馈的图像归类的说明图。下面是这样的情况中的自适应反馈的流程，在该情况中，用于反馈的输入被限制为两个值，即“相匹配”和“不匹配”。下面，将描述在归类对象图像组301被示出给用户(步骤202)之后执行的反馈处理，并且匹配图像与不匹配图像之间的选择由用户来执行。

选择器对来自数据库的要成为反馈的对象的图像执行采样，并且将图像示出给用户(步骤210)。然后，用户针对所示出的图像提供相匹配(正的)或不匹配(负的)的反馈(步骤204)。此后，学习器将在步骤204中接收到的反馈添加到训练数据，并且执行学习和归类(步骤206)。用户对在步骤206中获得的归类结果是否与用户想象的概念相符执行评估(步骤208)。当归类结果不足时，步骤210的采样再次被执行以继续反馈，并且新选择的图像被示出给用户(步骤204)。

选择器在步骤210中进行的采样是利用诸如最含糊(MostAmbiguous)之类的标准来执行的。最含糊对与SVM所创建的标识界面最接近的数据执行采样，并且可以减少标识中的含糊性。在学习被执行之前开始交互时，通过词语搜索获得的图像组被示出给用户。

通过在自适应反馈中利用用于学习器的SVM，与用户的概念相匹配的图像组可被收集。作为由图像组构建的图像归类器，可以使用在自适应反馈时所用的原样的SVM的归类器，或者由于在交互完成时无需考虑针对用户的响应速度，因此，可以使用利用Boosting或Bootstrap的学习算法(虽然其计算费用高，然而是强大的)。

上面，描述了使用SVM的反馈处理。返回图7，将继续描述在信息处理装置10中执行的简档创建处理。在步骤S108在判定图像与用户想象的概念相匹配的情况中，收集部件162收集与通过反馈处理选择的图像相关联的词语信息(S112)。在步骤S112中收集的词语组包括在用户输入的查询词语中未示出的词语。

可以认为，在用户输入的查询词语中未被示出的词语组适当地示出了用户的概念。这表明，即使当将用户的概念链接到图像的词语与将内容创建者的概念链接到图像的词语彼此不对应时，也可以通过将用户的概念表达为图像，来经由图像将这些概念与两者的词语彼此链接起来。

接下来，计算部件164从在步骤S112中收集的词语信息创建词语特征向量(S114)。这里，将描述从被链接到图像的相关词语组计算词语特征量的方法。在图7的步骤S112中，通过已经执行的概念匹配，数据库中的图像被归类为与用户的概念相符的图像组以及与用户的概念不相符的图像组。此外，经归类的图像组中的每个图像组伴随有与各个图像相关联的词语组。基于这些信息，可以考虑TF-IDF方法来作为用于创建词语特征量的一种手段。

TF-IDF方法是用于对在文档中出现的词语的重要度执行加权的技术。重要度的权重可以利用表示具体词语在文档中的出现频率的TF(词语频率)和表示包括该具体词语的文档的缺乏的IDF(逆向文档频率)来计算的。

[式5]

tfidf＝tf·idf

当包括在文档中的词语t_i的出现频率用n_i表示时，tf_i表示为如下：

[式6]

${\mathrm{tf}}_i=\frac{n_i}{{\mathrm{\Σ}}_k{n}_k}$

并且idf_i表示为如下。

[式7]

${\mathrm{idf}}_i=\log \frac{D}{\left\{d\right|t_i\∈d\}}$

在此情况中，{d|t_i∈d}表示均包括词语t_i的文档的数目，D表示所有文档的数目，并且idf具有降低出现在许多文档中的词语的重要度并提高仅出现在特定文档中的词语的重要度的功能。因此，tfidf表示从如下两个方面来表征文档的词语的性质：文档内词语的出现频率；以及词语出现在其中的文档的缺乏。

接下来，参考图9，描述根据本技术的TF-IDF的使用。图9是例示出TF-IDF的使用的说明图。首先，通过概念匹配来执行如图9所示的图像归类。即，图像被归类为词语概念1的图像组、词语概念2的图像组，以及不属于任何概念的图像组。此时，这些图像组的每个被认为是一个文档，并且与图像组相关联的相关词语组被认为是包括在文档中的词语。当TF-IDF方法被用于这些组的文档和词语时，表征用户的概念的词语在每个文档中具有大的tfidf值。通过将从各个文档获得的所有词语的tfidf值w存储为向量，可以获得词语特征量。可以利用欧几里德距离或余弦距离来计算特征量之间的距离。

上面，描述了计算词语特征量的方法。返回图7，继续描述简档创建处理。当在步骤S114中创建了词语特征向量之后，记录部件166将图5所示的概念信息添加到用户的简档(S116)。在步骤S116，图5所示的所有概念信息可以被记录，或者仅查询词语和词语特征量可被记录。此外，图6所示的概念映射表上示出的概念词语的关联程度可被记录。

在根据本实施例的信息处理装置10中，在指示预定概念的概念词语通过用户的操作被输入并且该概念词语对应于与存储在存储部件156中的多个图像有关的相关词语时，各自与相关词语相关联的多个图像从存储部件被提取出。然后，根据用户的操作，与概念词语的概念相匹配的图像从提取出的多个图像中被选出。与匹配概念词语的概念的所选图像相关联的相关词语被收集，并且包括所收集的相关词语的词语组的词语特征量被计算。

这表明，即使将用户的概念链接到图像的词语与将内容创建者的概念链接到图像的词语彼此不对应，也可以通过将用户的概念表达为图像来经由图像将两者的这些概念与词语彼此链接起来。即，当利用图像通过与装置的交互来执行简档创建时，可以减小依用户而不同的概念与词语之间的差距(gap)。此外，当给予图像的词语组直接被利用时，可以创建与用户的概念相匹配的词语特征量。此外，可以通过利用所创建的词语特征量来创建与用户的概念相符的概念映射表。

[5]更新简档的示例

上面，描述了在信息处理装置10中执行的简档创建处理的细节。接下来，参考图10和图11，描述更新简档的示例。简档的更新可以通过用户的有意操作或信息处理装置10的自动操作来执行。首先，参考图10，描述由用户的有意操作执行的简档的更新。

作为通过用户的有意操作来更新简档的方法之一，可以以更新查询词语为例。例如，在更新已经存在于简档上的查询词语(概念词语)的情况中，基于通过对图像的反馈而与装置的交互来收集相关图像，这已在简档创建功能中示出。当相关图像被收集并被更新时，被链接到相关图像的相关词语组也被更新，并且隶属于概念词语的信息被更新。此外，在针对同一查询词语创建不同概念的情况中，通过利用同一查询词语来新创建概念信息从而更新简档。

此外，在多个查询词语(概念词语)被创建在简档上的情况中，也可以认为图6所示的概念映射表被更新。如上所述，概念映射表是基于词语特征向量通过距离计算被创建的。在创建概念映射表时，各个特征量中的维度权重彼此相等。因此，在根据用户的操作校正了概念映射表上的各个概念的位置关系的情况中，可以通过各个特征量中的维度权重来实现映射表和距离尺度的更新。例如，如图10所示，作为实现权重更新的方法，可以考虑一种方法，包括：二维地投影概念映射表，用户经由GUI操作(箭头402)每个概念的位置，并且在操作之后利用位置关系确定权重。

接下来，参考图11，描述由信息处理装置10执行的简档的更新。在未通过用户的操作进行输入的情况下执行的自动更新中，需要谨防朝着用户不希望的方向更新简档信息。因此，在本实施例中未使用查询词语、相关词语等，这些词语是解释、词语之间的距离等依人而显著不同的多条信息。下面，将描述利用从与查询词语相匹配的图像创建的图像识别器170来更新简档。

如图11所示，用于识别每个概念的图像识别器170在适当定时处识别词语和图像数据库157中的图像。然后，图像识别器170收集与图像识别器170相匹配的图像和相关词语组410。如图5所示，由于图像识别器170被链接到特定概念，因此，与所收集的数据有关的概念被弄明白。

因此，通过将新收集的图像和相关词语组添加到已有的图像和相关词语组并创建词语特征量来执行与每个查询词语相关联的概念信息数据库的更新。通过应用这样的更新方法，可以在不脱离用户的概念的情况下采用新的词语。注意，简档的自动更新可以在词语和图像数据库157被更新时或者在用户指定的时间时被执行。可以通过利用图像识别器170来更新简档从而执行与用户的概念相匹配的更新。

[6]简档的应用示例

上面，描述了更新简档的示例。接下来，将参考图12和图13，描述简档的应用示例。可以通过利用与简档上所创建的每个概念相关联的各种信息以及示出了概念之间的距离的概念映射表来实现对由信息处理装置10创建的简档的使用。作为利用简档的服务，可以考虑搜索辅助、推荐服务、内容创建辅助等。下面，将描述针对各个服务的简档应用示例。

在利用简档作为搜索辅助时，例如可以示出与用户输入的查询词语有关的相关词语。以这种方式，即使在用户难以表达出指示用户心里具有的概念的词语的情况中，也可以从所示出的相关词语中选出与用户的概念相匹配的词语。此外，通过利用来自所示出的相关词语中的两个或更多个词语，还可以缩窄搜索对象。此外，还可以基于用户输入的查询词语的词语特征量来执行搜索。

另外，可以经由所创建的图像识别器170来使用通过搜索获得的图像的识别结果。此外，在与用户输入的查询词语有关的概念信息数据库158未被存储但是该查询词语被登记为另一概念的相关词语的情况中，另一概念和相关词语可被示出。

此外，所创建的简档可被用于推荐内容等。图12是例示出利用简档的推荐的说明图。例如，如图12所示，可推荐内容501的词语特征量502被计算。接下来，词语特征量502出现在每个用户的概念映射表上的位置被计算。例如，在用户A的概念映射表503和用户C的概念映射表505的每个上，在可推荐内容506的概念附近存在将成为感兴趣对象的概念，因此，内容501被推荐给用户A和用户C。此外，在用户B的概念映射表503上，在可推荐内容506的概念附近没有将成为感兴趣对象的概念，因此，内容501不被推荐给用户B。以这种方式，可以利用各个用户的概念映射表准确地弄明白要接收内容等的推荐的用户。

此外，通过利用存储在概念信息数据库158中的图像识别器170，可以使图像识别器示出了对其的反应的内容成为推荐对象。此外，可将简档用作创建内容的辅助。例如，通过调查用户具有的概念的相关图像和相关词语，可以对要检测何种内容进行研究以便增强可用性。

接下来，将参考图13，描述对物理代理的简档的使用。如图13所示，例如，词语“那个”被登记为概念，并且例如“那个”的概念被登记为“遥控器”。在此情况中，当用户说出短语“去拿那个”时，物理代理511获取“那个”的图像识别器。接下来，物理代理511搜索位于其附近的识别对象并且利用图像识别器识别出遥控器515，因此，可对用户的指令作出响应。因此，所创建的简档可被利用，而不局限于特定应用。此外，可提供包括与每个用户的意图相符的搜索和推荐的各种服务和信息。

上面，已参考附图详细描述了本发明的优选实施例，但是本发明不限于此。本领域的技术人员应当明白，可以根据设计要求和其它因素进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围之内。

例如，包括在根据本说明书的信息处理装置10的处理中的各个步骤不一定按根据流程图的时间顺序来处理。即，包括在信息处理装置10的处理中的各个步骤可以是不同的处理或者可以以并行方式来执行。

此外，还可以创建计算机程序，用于使得内置于信息处理装置10中的诸如CPU、ROM和RAM之类的硬件实现与信息处理装置10的每个配置的功能等同的功能。此外，提供了存储有该计算机程序的存储介质。

本申请包含与2009年7月8日向日本专利局提交的日本优先专利申请JP 2009-161970中公开的主题有关的主题，该申请的全部内容通过引用结合于此。

Claims (15)

1.一种信息处理装置，其中，多个图像与多个相关词语相关联，所述多个相关词语与所述多个图像中的每个图像有关，该装置包括：

输入部件，用于输入指示预定概念的概念词语；

提取部件，用于当由所述输入部件输入的所述概念词语对应于相关词语时，提取各自与该相关词语相关联的多个图像；

选择部件，用于从由所述提取部件提取的多个图像中选择与所述概念词语的概念相匹配的图像；

收集部件，用于收集与所述概念词语的概念相匹配的并且由所述选择部件选出的图像相关联的相关词语；以及

计算部件，用于计算由所述收集部件收集的相关词语的词语组的词语特征量。

2.根据权利要求1所述的信息处理装置，

其中，所述选择部件根据用户的操作从由所述提取部件提取的多个图像中选择与所述概念词语的概念相匹配的图像。

3.根据权利要求1所述的信息处理装置，

其中，所述计算部件根据由所述收集部件收集的相关词语的出现频率来计算词语特征量。

4.根据权利要求3所述的信息处理装置，

其中，所述计算部件根据与如下图像的图像组相关联的相关词语的出现频率来计算词语特征量，所述图像被所述选择部件选为与所述概念词语不匹配的图像。

5.根据权利要求1所述的信息处理装置，还包括：

创建部件，用于创建图像识别器，所述图像识别器能够从与所述概念词语的概念相匹配并且由所述选择部件选择的图像组中识别出预定图像特征量。

6.根据权利要求1所述的信息处理装置，还包括：

记录部件，用于将与所述计算部件计算出的词语特征量相联系的概念词语作为概念信息记录到存储介质中。

7.根据权利要求6所述的信息处理装置，

其中，所述记录部件通过根据词语特征量将概念词语映射到预定概念映射表来记录概念词语。

8.根据权利要求6所述的信息处理装置，

其中，所述记录部件将与包括由所述选择部件选出的图像的相关图像组、包括相关词语并且是由所述收集部件收集的相关词语组，以及由所述计算部件计算出的词语特征量相联系的所述概念词语作为概念信息记录到所述存储介质中。

9.根据权利要求1所述的信息处理装置，当除了所述多个图像以外，其它的多个图像新近被与与所述其它多个图像中的每个图像有关的多个相关词语相关联时，

其中，所述提取部件提取各自与所述概念词语所对应的相关词语相关联的多个图像，

其中，所述选择部件新选择与所述概念词语的概念相匹配的图像，

其中，所述收集部件再收集与所述概念词语的概念相匹配的图像相关联的相关词语，以及

其中，所述计算部件再计算由所述收集部件再收集的相关词语的词语组的词语特征量。

10.根据权利要求9所述的信息处理装置，

其中，所述选择部件根据用户的操作新选择与所述概念词语的概念相匹配的图像。

11.根据权利要求9所述的信息处理装置，还包括

创建部件，用于创建图像识别器，所述图像识别器能够从与所述概念词语的概念相匹配的并且由所述选择部件选出的图像组识别出预定图像特征量，

其中，所述选择部件根据从由所述创建部件创建的所述图像识别器获得的图像识别度来新选择与所述概念词语的概念相匹配的图像。

12.根据权利要求7所述的信息处理装置，

其中，当依据记录在所述记录部件中的词语特征量的所述概念词语在所述概念映射表上的映射根据用户的操作被改变时，

所述计算部件基于所述概念映射表上所述概念词语的被更新的映射位置来再计算所述概念词语的词语特征量。

13.根据权利要求5所述的信息处理装置，

其中，所述选择部件根据从所述创建部件创建的所述图像识别器获得的图像识别度来从自所述提取部件提取的多个图像中选择与所述概念词语的概念相匹配的图像。

14.一种信息处理方法，包括以下步骤：

输入指示预定概念的概念词语；

当所输入概念词语对应于与多个图像相关联的相关词语时，提取各自与所述相关词语相关联的多个图像；

从提取出的多个图像中选择与所述概念词语的概念相匹配的图像；

收集与所述概念词语的概念相匹配的所选图像相关联的相关词语；以及

计算所收集的相关词语的词语组的词语特征量。

15.一种用于使得计算机用作信息处理装置的程序，在所述信息处理装置中，多个图像被与多个相关词语相关联，所述多个相关词语与所述多个图像中的每个图像有关，所述信息处理装置包括

输入部件，用于输入指示预定概念的概念词语；

提取部件，用于在由所述输入部件输入的所述概念词语对应于相关词语时，提取各自与所述相关词语相关联的多个图像；

选择部件，用于从由所述提取部件提取的多个图像中选择与所述概念词语的概念相匹配的图像；

收集部件，用于收集与所述概念词语的概念所匹配的并且由所述选择部件选出的图像相关联的相关词语；以及

计算部件，用于计算由所述收集部件收集的相关词语的词语组的词语特征量。

Images