CN105574067A

CN105574067A - 项目推荐装置以及项目推荐方法

Info

Publication number: CN105574067A
Application number: CN201510724756.5A
Authority: CN
Inventors: 浜田伸一郎
Original assignee: Toshiba Corp; Toshiba Solutions Corp
Current assignee: Toshiba Corp; Toshiba Digital Solutions Corp
Priority date: 2014-10-31
Filing date: 2015-10-29
Publication date: 2016-05-11
Anticipated expiration: 2035-10-29
Also published as: CN105574067B; US10089364B2; US20160125048A1

Abstract

一种项目推荐装置以及项目推荐方法。实施方式涉及项目推荐装置以及项目推荐方法。实施方式的项目推荐装置具备上下文信息生成部以及排序部。上下文信息生成部对所输入的自然语言请求进行语义解析，生成包括用户的意图在内的上下文信息并输出。排序部基于上述上下文信息、对用户的属性进行表示的用户信息、以及对用户的项目利用履历进行表示的履历信息，进行对于向用户提示的项目的候选的排序。

Description

项目推荐装置以及项目推荐方法

关联申请

本申请享受以日本专利申请2014－223222号(申请日：2014年10月31日)以及日本专利申请2015－050664号(申请日：2015年3月13日)为基础申请的优先权。本申请通过参照该基础申请而包含基础申请的全部的内容。

技术领域

实施方式涉及项目推荐装置以及项目推荐方法。

背景技术

对期待用户寄予关心的项目进行推荐的技术在例如电子商务(EC：ElectronicCommerce)、网络广告、行动引导服务等各种各样的领域中被广泛利用。在项目推荐中最广泛使用的处理方式是,生成表示用户与项目的相关关系(或用户对项目的关心的程度)的矩阵，以该矩阵为基础进行统计分析的方式。但是，在该方式中，并没有考虑到用户对项目的兴趣、需求由于上下文而发生变化这点。因此，近年来提出例如以餐厅推荐任务为对象，追加地使用时间段、机会(节假日、生日、记念日等)、场所、同伴者等上下文信息的方式。

在使用上下文信息进行项目的推荐的以往的方式中，能够利用的上下文信息限于从外部能够容易地观测的信息。但是，在这些从外部能够观测的上下文信息以外，用户的活动目的、情绪等不向用户询问意图就不清楚的内心的信息，在进行项目的推荐处理的方面上被认为是有用的。因此，要求能够推定内心的信息并精度更良好地进行项目的推荐的结构的构建。

发明内容

实施方式的项目推荐装置具备上下文信息生成部以及排序部。上下文信息生成部对所输入的自然语言请求进行语义解析，生成包括用户的意图在内的上下文信息并输出。排序部基于上述上下文信息、对用户的属性进行表示的用户信息、以及对用户的项目利用履历进行表示的履历信息，进行对于向用户提示的项目的候选的排序。

附图说明

图1是表示第1实施方式的项目推荐装置的构成例的框图。

图2是表示店铺DB的数据构造的一个例子的图。

图3是表示检索标签的一个例子的图。

图4是表示检索标签字典的数据构造的一个例子的图。

图5是表示根据自然语言请求来生成检索标签组的处理顺序的一个例子的流程图。

图6是表示根据检索标签组生成候选项目组的处理顺序的一个例子的流程图。

图7是表示上下文标签的一个例子的图。

图8是表示上下文标签字典的数据构造的一个例子的图。

图9是表示根据自然语言请求来生成上下文标签组的处理顺序的一个例子的流程图。

图10是表示用户DB的数据构造的一个例子的图。

图11是表示利用记录DB的数据构造的一个例子的图。

图12是表示预测处理的处理顺序的一个例子的流程图。

图13是表示第2实施方式的项目推荐装置的构成例的框图。

图14是表示利用记录DB的数据构造的一个例子的图。

图15是说明用于上下文向量生成的在统计处理中使用的数理模型的图。

图16是说明图15的数理模型中的各种参数的学习方法的图。

图17是表示各种参数的学习处理的处理顺序的一个例子的流程图。

图18是表示生成上下文向量的处理顺序的一个例子的流程图。

图19是表示第3实施方式的项目推荐装置的构成例的框图。

图20是表示人物属性推定器的处理顺序的一个例子的流程图。

图21是示意地表示项目推荐装置的硬件构成的一个例子的框图。

具体实施方式

实施方式的项目推荐装置具备语义解析引擎以及上下文识别型推荐引擎。语义解析引擎以从用户输入的自然语言请求为基础，对情绪、期望、目的等用户的内心的信息进行推定。上下文识别型推荐引擎将外部观测信息(日期时间、场所等)与上述内心的信息共同作为上下文信息进行分析。自然语言请求是基于自然语言的项目的推荐请求。近年来，以声音识别技术的成熟、便携终端的普及等为背景，对话处理向系统、服务的导入被扩展并变成基于自然语言的请求的输入容易被用户接受的土壤。

在以下的实施方式中，作为本发明的应用事例，假想作为项目而推荐店铺的店铺推荐任务。实施方式的项目推荐装置受理自然语言请求作为输入，输出被排序后的店铺列表作为推荐项目列表。另外，假设作为后备数据(backdata)而保持有保存了用户组对各店铺的利用记录后的利用记录DB。但是，在本实施方式中说明的推荐处理是通用的，并不限定于店铺推荐任务的应用事例，能够应用到各种各样的任务。

在下面表示具体的应用事例。在实施方式的项目推荐装置中，例如在输入了将“下周末，想召开同期的欢送会”这样的目的作为主体的自然语言请求时，进行以下的处理。

根据“欢送会”这样的关键字，推荐候选被集中到店铺类别为酒馆、酒吧、餐厅、咖啡馆、花店(礼品购入用)的店铺。

根据“周末”这样的关键字，推荐候选被集中到在周末开放的店铺。

“欢送会”这样的关键字与预先准备的标签字典对照，生成“宴会”这样的标签。

“同期”这样的关键字与预先准备的标签字典对照，生成“同事”这样的标签。

在通过欢送会以及周末而被集中的推荐候选之中，重视与“宴会”以及“同事”这样的标签容易共现的店铺(即，作为实际成果作为同事的宴会被较多地利用的店铺)，并且以利用记录为基础，对推荐店铺的候选进行排序并输出推荐项目列表。

由此，在通过缩小(对应日语：絞込)处理排除不可能符合意图的店铺、进而通过标签使与意图相符的可能性高的店铺被优先这样的条件下，输出与用户的嗜好性相适合的推荐结果。

＜第1实施方式＞

图1是表示第1实施方式的项目推荐装置的构成例的框图。如图1所示，本实施方式的项目推荐装置具备语义解析引擎10、以及上下文识别型推荐引擎20。

语义解析引擎10受理含有用户期望等的自然语言请求D1作为输入，输出检索标签组D2以及上下文标签组D4。检索标签组D2所含有的各检索标签是说明店铺应满足的性质的询问信息片。上下文标签组D4所含有的各上下文标签是说明用户侧的状况的询问信息片。为了生成上述的标签，语义解析引擎10在内部具备语素解析器11、检索标签提取器12(检索信息生成部)、以及上下文标签生成器13(上下文信息生成部)。

上下文识别型推荐引擎20受理通过语义解析引擎10生成的检索标签组D2以及上下文标签组D4作为输入，输出推荐项目列表D5作为推荐结果。检索标签组D2作为对店铺的限制条件而与店铺DB103对照，生成缩小后的候选项目组D3。上下文标签组D4与用户DB104所保存的用户信息以及利用记录DB105所保存的利用记录共同地被利用于候选项目组D3所包含的各候选项目的排序中。被排序后的候选项目的列表是推荐项目列表D5。为了进行上述的处理，上下文识别型推荐引擎20在内部具备候选提取器21(候选提取部)以及排序器22(排序部)。

在下面，将本实施方式的项目推荐装置的处理的细节分成“店铺缩小处理”、“上下文标签组的生成处理”、以及“推荐处理”这3个进行说明。上述的处理以跨模块的方式执行。

(店铺缩小处理)

所谓店铺缩小处理是，以被输入的包括用户期望表现的自然语言请求D1为基础，对成为推荐候选的店铺(候选项目)进行缩小的处理。在自然语言请求D1中含有店铺名的情况下，推荐候选利用该店铺名而被缩小。在自然语言请求D1中含有店铺类别名的情况下，推荐候选利用该店铺类别名而被缩小。除此以外，在自然语言请求D1中含有“便宜”、“有自助餐”等表示店铺的属性的表现的情况下，推荐候选利用该属性而被缩小。

店铺DB103是保存本实施方式的项目推荐装置进行处理的全部店铺的店铺信息的数据库，该店铺DB103所保存的店铺信息是店铺缩小处理的对象。图2表示店铺DB103的数据构造的一个例子。店铺DB103所保存的店铺信息成为例如图2所示那样的表形式，各记录包括店铺ID、店铺名、类别名、以及其他属性的栏。

对店铺ID栏分配唯一的序列号。在店铺名栏保存有本实施方式的项目推荐装置进行处理的全部店铺的店铺名。在类别名栏保存有酒馆、咖啡馆等预先设定的类别之中的某种类别。其他属性栏成为多标签形式，从便宜、有自助餐等表示店铺的特征的预先设定的其他属性的标签之中列举出0个以上的标签。作为其他属性的标签，希望准备服务内容、商品特征、气氛等各种各样的观点下的标签。

对根据自然语言请求D1生成检索标签组D2的处理进行说明。图3表示本实施方式的项目推荐装置进行处理的检索标签的一个例子。如图3所示，检索标签包括与店铺名有关的标签、与类别名有关的标签、以及与其他属性有关的标签。

在此，对在生成检索标签组D2的处理之中使用的检索标签字典101进行说明。检索标签字典101作为在被输入的自然语言请求D1中，将基于不同的措辞、不同的观点的提及的方式的差异吸收的知识源而被利用。由此，即使在用户的请求表现中没有直接的提及，也能够汲取其意图而得到将对象店铺缩小的效果。

图4表示检索标签字典101的数据构造。检索标签字典101成为例如如图4所示那样的表形式，各记录包括检索标签、应用目标属性、以及触发词的栏。

检索标签栏按照每个记录是唯一的，该检索标签栏保存有本实施方式的项目推荐装置进行处理的检索标签。但是，也可以不必保存所有的检索标签。应用目标属性栏保存有栏名，该栏名成为检索标签布置限制的对象。例如，在是检索标签表示酒馆那样的类别名的记录的情况下，在该记录的应用目标属性栏中保存有“类别名”的值。触发词栏成为多标签形式，列举有成为检索标签生成的触发的单词、短语等语句(下面，称为“触发词”。)。通过在生成检索标签组D2的处理中使用图4所例示的检索标签字典101，从而，对于含有“酒”、“饮酒会”、“用餐”这样的触发词的自然语言请求D1，生成“酒馆”这样的检索标签，进行作为对类别名的限制条件的店铺缩小。

图5是表示根据自然语言请求D1生成检索标签组D2的处理顺序的一个例子的流程图。本实施方式的项目推荐装置通过以下的步骤S101～步骤S109的处理，根据自然语言请求D1生成检索标签组D2。

步骤S101：语素解析器11将自然语言请求D1分割成单词或者短语并进行词形还原(Lemmatize，字典标题字化(日语：辞書見出し語化))。

步骤S102：检索标签提取器12从在步骤S101中得到的单词或者短语组中取出1个单词或者短语。

步骤S103：检索标签提取器12判断在步骤S102中取出的单词或者短语是否是检索标签。进而，判断的结果为是(Yes)时进入步骤S104，为否(No)时进入步骤S105。

步骤S104：检索标签提取器12将与在步骤S102中取出的单词或者短语一致的检索标签和与该检索标签对应的应用目标属性的对(pair)追加到输出缓冲区，进入步骤S108。

步骤S105：检索标签提取器12判断在步骤S102中取出的单词或者短语是否是触发词。进而，判断的结果为是(Yes)时进入步骤S106，为否(No)时进入步骤S108。

步骤S106：检索标签提取器12将与在步骤S102中取出的单词或者短语一致的触发词转换成与该触发词对应的检索标签。

步骤S107：检索标签提取器12将在步骤S106中根据触发词进行转换后的检索标签和与该检索标签对应的应用目标属性的对(pair)追加到输出缓冲区。

步骤S108：检索标签提取器12判断是否取出了在步骤S101得到的单词或者短语组所含有的所有的单词或者短语。进而，判断的结果为是(Yes)时进入步骤S109，为否(No)时返回到步骤S102。

步骤S109：检索标签提取器12将输出缓冲区内的检索标签和应用目标属性的对(pair)全部输出，结束一系列的处理。在该步骤S109输出的检索标签和应用目标属性的对(pair)的集合是检索标签组D2。

随后，对根据检索标签组D2生成候选项目组D3的处理进行说明。图6是表示根据检索标签组D2生成候选项目组D3的处理顺序的一个例子的流程图。本实施方式的项目推荐装置通过以下的步骤S201～步骤S204的处理，根据检索标签组D2生成候选项目组D3。

步骤S201：候选提取器21对于在检索标签组D2所含有的检索标签之中、应用目标属性为店铺名或者类别名的检索标签，生成应用目标属性的栏值与检索标签严格一致这样的条件。

步骤S202：候选提取器21对于在检索标签组D2所含有的检索标签之中、应用目标属性为其他属性的检索标签，生成其他属性包括了该检索标签这样的条件。

步骤S203：候选提取器21将在步骤S201以及步骤S202中生成的条件组以“与”运算(AND)连接。

步骤S204：候选提取器21以在步骤S203中生成的条件为基础进行相对于店铺DB103的检索，输出所得到的店铺记录组作为候选项目组D3，结束一系列的处理。

(上下文标签组的生成处理)

所谓上下文标签组的处理是以所输入的包括用户期望表现在内的自然语言请求D1为基础，生成作为包括用户的内心的信息在内的上下文信息的上下文标签组D4的处理。

图7表示本实施方式的项目推荐装置进行处理的上下文标签的一个例子。上下文标签如上所述，是说明用户侧的状况的询问信息片(日语：情報片)。如图7所示，本实施方式中的上下文标签包括与场景有关的标签、与同伴者有关的标签、与目的有关的标签、与状况有关的标签、以及与时间段有关的标签。

在此，对在生成上下文标签组D4的处理之中使用的上下文标签字典102进行说明。上下文标签字典102作为在被输入的自然语言请求D1中，对基于不同的措辞、不同的观点的提及的方式的差异进行吸收的知识源而被利用。由此，即使在用户的请求表现中没有直接的提及，也能够汲取其意图，输出预先设定的上下文标签之中对应的1个以上的上下文标签。

图8表示上下文标签字典102的数据构造。上下文标签字典102成为例如图8所示那样的表形式，各记录包括上下文标签以及触发词的栏。

上下文标签栏按照每个记录是唯一的，该上下文标签栏保存有本实施方式的项目推荐装置进行处理的上下文标签。但是，也可以不必保存所有的上下文标签。触发词栏成为多标签形式，列举有成为上下文标签生成的触发的触发词。通过在生成上下文标签组D4的处理中使用图8所例示的上下文标签字典102，对于含有“忘年会”、“联谊会”、“娱乐(日语：レク)”、“饮酒会”、“欢送会”这样的触发词的自然语言请求D1，生成“宴会”这样的上下文标签。

图9是表示根据自然语言请求D1生成上下文标签组D4的处理顺序的一个例子的流程图。本实施方式的项目推荐装置通过以下的步骤S301～步骤S309的处理，根据自然语言请求D1生成上下文标签组D4。

步骤S301：语素解析器11将自然语言请求D1分割成单词或者短语(phrase)并进行词形还原(Lemmatize，字典标题字化)。

步骤S302：上下文标签生成器13从在步骤S301中得到的单词或者短语组中取出1个单词或者短语。

步骤S303：上下文标签生成器13判断在步骤S302中取出的单词或者短语是否是上下文标签。进而，判断的结果为是(Yes)时进入步骤S304，为否(No)时进入步骤S305。

步骤S304：上下文标签生成器13将与在步骤S302中取出的单词或者短语一致的上下文标签追加到输出缓冲区，进入步骤S308。

步骤S305：上下文标签生成器13判断在步骤S302中取出的单词或者短语是否是触发词。进而，判断的结果为是(Yes)时进入步骤S306，为否(No)时进入步骤S308。

步骤S306：上下文标签生成器13将与在步骤S302中取出的单词或者短语一致的触发词转换成与该触发词对应的上下文标签。

步骤S307：上下文标签生成器13将在步骤S306中根据触发词进行转换后的上下文标签追加到输出缓冲区。

步骤S308：上下文标签生成器13判断是否取出了在步骤S301中得到的单词或者短语组所含有的所有的单词或者短语。进而，判断的结果为是(Yes)时进入步骤S309，为否(No)时进入步骤S302。

步骤S309：上下文标签生成器13将输出缓冲区内的上下文标签全部输出，结束一系列的处理。在该步骤S309中被输出的上下文标签的集合是上下文标签组D4。

(推荐处理)

在本实施方式的项目推荐装置中，基于上下文标签组D4、用户DB104所保存的用户信息、以及利用记录DB105所保存的利用记录，在上下文识别型推荐引擎20的排序器22中，进行候选项目组D3所含有的候选项目的排序，并输出其结果作为推荐项目列表D5。排序器22中的候选项目的排序通过机械学习的学习处理以及预测处理被进行。对于该学习处理以及预测处理，例如，能够使用非专利文献1所记载的概率的潜在关系模型(ProbabilisticLatentRelationalModel)。但是，也可以使用能够对上下文信息进行处理的其他的方法。

在算法说明之前，对在上下文识别型推荐引擎20的排序器22中所使用的用户DB104以及利用记录DB105进行说明。

用户DB104是针对本实施方式的项目推荐装置进行处理的全部注册用户、保存用于表示用户的属性的用户信息的数据库。图10表示用户DB104的数据构造的一个例子。用户DB104所保存的用户信息成为例如图10所示那样的表形式，各记录包括用户ID、姓名、年龄段、以及性别的栏。但是，还可以追加例如职业、喜欢的音楽流派等在进行推荐方面有用的任意的栏。

在用户ID栏分配唯一的序列号。在姓名栏保存有各注册用户的姓名。在年龄段栏保存有各注册用户的年龄段(10岁～19岁、20岁～29岁、30岁～39岁等)。在性别栏保存有各注册用户的性别。

利用记录DB105是保存对各注册用户的过去的店铺利用履历进行表示的利用记录(履历信息)的数据库。图11表示利用记录DB105的数据构造的一个例子。利用记录DB105所保存的利用记录成为例如图11所示那样的表形式，各记录包括用户ID、店铺ID、时间段、上下文标签、评估值的栏。

各记录与用户的1次店铺访问对应，在用户ID栏、店铺ID栏、时间段栏中分别保存有对访问后的用户的用户ID、访问目标的店铺的店铺ID、访问时间段进行表示的信息。上下文标签栏是仅在店铺访问前对于本实施方式的项目推荐装置、通过自然语言请求D1进行了项目的推荐请求的情况下保存有值的栏，保存有在此时的处理中使用了的上下文标签。评估值栏保存有评估值，该评估值是在店铺访问后由用户输入的对店铺的评价值。在此，评估值取0～5的整数值，设5为最好。在使用户输入评估值困难的情况下，还可以通过导入例如5等固定值来代替。在该情况下，与对用户访问后的店铺赋予5、对没有访问的店铺赋予0这样的评估值的情况等同。

在算法说明之前，对在上下文识别型推荐引擎20的排序器22内部使用的概率模型进行说明。该概率模型是基于非专利文献1所记载的概率的潜在关系模型(ProbabilisticLatentRelationalModel)的概率模型。为平衡良好地反映上下文适合性和用户嗜好性的模型。

下述式(1)以及式(2)是对被赋予了成为对象的用户、上下文以及店铺时的评估值的概率分布进行模型化后的式。

【数学式1】

y_i，j，c～N(u_i，j，c，1/λ^(y))…(1)

u_{i, j, c} = u_{i}^{T} {Av}_{j} + {(w_{u} f_{i})}^{T} (w_{v} f_{j}) ... (2)

其中，设为以下的变量定义。

i：用户ID

j：店铺ID

c：上下文标签组

y_i，j，c：赋予了用户i、上下文标签组c时的对店铺j的评估值

u_i，j，c：赋予了用户i、上下文标签组c时的对店铺j的评估值的平均

赋予了用户i、上下文标签组c时的对店铺j的评估值的模型预测值

λ^(y)：y_i，j，c的精度(方差的倒数)

u_i：表示用户i的潜在特征的特征向量

v_j：表示店铺j的潜在特征的特征向量

A：u_i和v_j的相关矩阵

f_i：关于用户i和自然语言请求内的上下文标签而提取出的(明显的)特征向量

f_j：关于店铺j而提取出的(明显的)特征向量

以因子分解式记述的f_i和f_j的相关矩阵

式(2)的右边第1项将用户对店铺的长期的嗜好性进行模型化，式(2)的右边第2项将该用户对当前上下文的适合性(短期的嗜好性)进行模型化。由于两者的和作为目的函数，因此，使两者平衡良好地进行反映的推荐模型被学习。式(1)以及式(2)的变量之中，从数据集被赋予的变量是y_i，j，c、f_i、以及f_j，其以外的变量的值或者概率分布通过学习被决定。

所谓用户的潜在特征向量u_i是根据基于例如喜欢处理辣的食物的餐厅、喜欢高级的饰品店等数据集的学习结果而被决定的表示用户的嗜好性的向量。店铺的潜在特征向量v_j也相同。f_i，f_j基于预先被赋予的特征向量的设计和被观测到的事实而决定性地被赋予要素值，与此相对，u_i，u_j预先被赋予的是维数，仅在这点上不同。

式(2)是以用户以及店铺的潜在特征的分布对式(1)进行了边缘化后的式。

随后，对各种参数的学习算法进行说明。其中，设为算法使用了非专利文献1所记载的方法。

学习处理中的数理上的目的是求出由上述式(1)以及式(2)算出的、对利用记录DB105内的全部事例组(将各记录作为事例。)的同时概率进行最大化那样的u_i的概率分布、v_j的概率分布、矩阵A、以及矩阵W。

首先，作为准备，按照各记录，对上述式(1)以及式(2)的以下的变量分配值。

λ^(y)：赋予适当的值(超参数)

y_i，j，c：赋予了用户i、店铺j、以及上下文标签组c时的评估值

f_j：关于店铺j而提取出的(明显的)特征向量

对于y_i，j，c，保持赋予利用记录DB105的评估值栏的值。对于f_i，按照预先设计的特征向量的构成，来赋予向量的要素值。其中，假设使用用户DB104所保存的相应用户的各种属性、以及利用记录DB105所保存的该记录的时间段及上下文标签来作为生成向量方面上的材料，并取得各特征向量的要素值是否相应的两值。f_j也同样，对于材料使用店铺DB103所保存的相应店铺的各种属性。将通过以上而被公式化后的各记录的y_i，j，c的概率关于全部记录进行累计而成的概率是，全部事例的同时概率。通过以上，完成反映了数据集的问题公式化。

随后，简单地说明与u_i的概率分布、v_j的概率分布、矩阵A、以及矩阵W有关的求解的顺序。首先，由于直接解是困难的，因此，u_i以及v_j的概率分布设想成按照平均：0、精度：λ^(u)以及λ^(v)的高斯分布。由此应求解的变量变成λ^(u)、λ^(v)、矩阵A、以及矩阵W。

对于λ^(u)及λ^(v)、矩阵A及矩阵W，使用EM算法，交替进行固定一方并优化另一方的操作。具体地讲，在E－Step中，将矩阵A以及矩阵W固定成当前值，使用变分贝叶斯对λ^(u)以及λ^(v)进行优化。随后，在M－Step中，将λ^(u)以及λ^(v)固定成当前值，使用最速下降法对矩阵A和矩阵W进行优化。在将以上的E－Step和M－Step收束(日语：収束)之前进行重复。以上是学习算法。

随后，对各种参数的预测算法进行说明。对于预测处理使用下述式(3)。首先，说明基本方针。

【数学式2】

{\hat{y}}_{i, j, c} = {&Integral;}_{u_{i}, v_{j}} P (u_{i}) P (v_{j}) (u_{i}^{T} {Av}_{j} + {(w_{u} f_{i})}^{T} w_{v} f_{j}) {du}_{i} {dv}_{j} ... (3)

首先，作为准备，将已通过学习处理而获得的λ^(u)、λ^(v)λ、矩阵A、以及矩阵W运用到式(3)。随后，以用户DB104所保存的当前用户的各种属性、以及利用记录DB105内所保存的该记录的上下文标签组D4为基础，生成特征向量f_i。将其运用到式(3)。在该阶段，未设定的变量仅是f_j。最后，对于店铺DB103所保存的各店铺，将根据店铺的属性而生成的特征向量f_j按顺序运用到式(3)，使用由此而完成的数式来求出评估预测值，在此基础上，将店铺组按评估的从高到低的顺序进行排序并输出。这是推荐项目列表D5。

图12是表示预测处理的处理顺序的一个例子的流程图。上下文识别型推荐引擎20的排序器22通过以下的步骤S401～步骤S407的处理，生成推荐项目列表D5并输出。

步骤S401：排序器22将已通过学习处理而获得的λ^(u)、λ^(v)、矩阵A、以及矩阵W运用到上述式(3)。

步骤S402：排序器22以用户DB104所保存的当前用户的各种属性和利用记录DB105内所保存的该记录的上下文标签组D4为基础，生成特征向量f_i，并运用到上述式(3)。

步骤S403：排序器22从店铺DB103中按顺序取出1个店铺。

步骤S404：排序器22根据在步骤S403中取出的店铺的属性，生成特征向量f_j，并运用到上述式(3)。

步骤S405：排序器22计算上述式(3)并求出评估预测值，与店铺信息建立关联并注册到输出用缓冲区。

步骤S406：排序器22判断是否从店铺DB103中取出了所有的店铺。进而，判断的结果为是(Yes)时进入步骤S407，为否(No)时返回步骤S403。

步骤S407：排序器22使用评估预测值对输出用缓冲区所保存的店铺信息进行降顺序排序，将高位k个店铺信息作为推荐项目列表D5进行输出，结束一系列的处理。另外，k是预先设定的常数。

由此，得到附有排名的推荐项目列表D5，该推荐项目列表D5是反映了通过自然语言请求D1而被赋予的内心的上下文信息、以及根据用户和店铺的利用履历而被分配的嗜好性的列表。另外，使用该推荐项目列表D5并在画面等进行显示的方法是任意的，因此，在此省略说明。

以上，如列举了具体的例子并详细地进行了说明那样，根据本实施方式的项目推荐装置，能够不仅利用从外部能够观测的上下文信息、还利用根据自然语言请求D1而被推定的内心的信息来精度更良好地进行项目的推荐。

另外，在上述的实施方式中，设置成在候选提取器21使用检索标签组D2而进行了成为候选项目的店铺的缩小的基础上、排序器22进行对于候选项目组D3的排序的构成，但不限于此。例如，还可以设置成排序器22将使用了检索标签组D2的候选项目的缩小以及排序合并进行的构成，还可以设置成在进行了排序器22的排序后，进行基于检索标签组D2的候选项目的缩小的构成。

＜第2实施方式＞

随后，对第2实施方式的项目推荐装置进行说明。本实施方式的项目推荐装置是将第1实施方式的项目推荐装置的语义解析引擎10的上下文标签生成处理置换成统计基础(base)的装置。下面，对与第1实施方式的区别进行说明。

图13是表示第2实施方式的项目推荐装置的构成例的框图。如图13所示，本实施方式的项目推荐装置具备语义解析引擎10A以及上下文识别型推荐引擎20A。在语义解析引擎10A的内部代替第1实施方式中说明的语素解析器11而设有语素解析以及构文解析器14，代替上下文标签生成器13而设有上下文向量生成器15。另外，在上下文识别型推荐引擎20A的内部，代替第1实施方式中说明的排序器22而设有排序器22A。排序器22A代替第1实施方式说明的上下文标签组D4而使用上下文向量D6，代替利用记录DB105而使用利用记录DB105A，但是，学习以及预测的处理自身与第1实施方式的排序器22相同。

图14是表示在本实施方式的学习处理以及预测处理中所使用的利用记录DB105A的数据构造的一个例子的图。在本实施方式中使用的利用记录DB105A是将图11所示的第1实施方式的利用记录DB105的上下文标签栏置换成上下文向量栏而成的。上下文向量栏是仅在店铺访问前对于本实施方式的项目推荐装置、通过自然语言请求D1进行了项目的推荐请求的情况下保存值的栏，保存有在此时的处理中使用的上下文向量。

第1实施方式的上下文标签生成器13使用被称为上下文标签字典102的规则组，进行将自然语言请求D1所含有的任意的语句映射到上下文标签的处理。上下文标签在上下文识别型推荐引擎20中作为表示上下文的向量而被使用。因此，换句话说，以上的处理还能够称为根据任意的语句生成特定维数的上下文向量的处理。

本实施方式的上下文标签生成器13也同样地进行根据自然语言请求D1所含有的任意的语句来生成特定维数的上下文向量D6的处理。处理上的不同仅在于：作为前处理不仅进行语素解析还进行构文解析这点、在上下文向量D6的生成中使用后述的被称为矩阵向量RNNs(Matrix－VectorRNNs)的统计的方法这点、被输出的向量不是两值向量而成为实数向量这点。

对效果影响的差异是，无需事先生成如上下文标签字典102那样的规则(作为替代，从外部仅赋予上下文向量D6的维数)这点。用户的需求不计其数，写下普遍覆盖用户的需求的规则基本上是困难的，因此，从规则的生成得到释放成为优点。但是，对于关于特定的观点来控制推荐处理来说，在第1实施方式中仅通过记述规则就能够对应，在本实施方式是困难的。

在此，对在用于上下文向量D6生成的统计处理中使用的数理模型进行说明。其中，该模型基于下述的参考文献1所提出的Matrix－VectorRNNs(MV－RNN)。图15是说明在用于上下文向量D6生成的统计处理中使用的数理模型的图，是由下述的参考文献1所图示的数理模型。

(参考文献1)SemanticCompositionalitythroughRecursiveMatrix-VectorSpaces，RichardSocher，BrodyHuval，ChristopherD.ManningandAndrewY.Ng.ConferenceonEmpiricalMethodsinNaturalLanguageProcessing，2012.

首先，对数理模型的构造进行说明。MV―RNN是形成了树结构的递归神经网络(RecursiveNeuralNetwork)。各末端节点是将文本所含有的各单词按出现顺序进行排列而成的。树结构按照文本的构文解析构造被构成。

随后，对计算式进行说明。末端节点配置有各单词的语义向量。其中，对于各单词的语义向量，使用通过下述的参考文献2所提出的被称为Word2Vec的方法而被预先算出的结果。

(参考文献2)Recurrentneuralnetworkbasedlanguagemodel，TMikolov，MKarafiat，LBurget，JCernocky，SKhudanpur.INTERSPEECH2010.

对于非末端节点，设定下述式(4)所示出的演算。其中，c₁、c₂是子节点输出的向量，C_x(C₁，C₂等)是按照子节点的单词种类而准备的语义操作矩阵，W是所有非末端节点所共有的加权矩阵，b是所有非终节点所共有的偏差(标量(scalar)变量)，顶部节点的输出是表示输入文本整体的构成的语义的实数向量。

【数学式3】

p = \tanh (w^{T} (\begin{matrix} C_{2} c_{1} \\ C_{1} c_{2} \end{matrix}) + b) ... (4)

随后，对上述的MV－RNN的各种参数的学习方法进行说明。其中，该方法基于下述的参考文献3所提出的非监管展开(UnsupervisedUnforlding)RAE。图16是说明图15的数理模型中的各种参数的学习方法的图，是下述的参考文献3所图示的数理模型。

(参考文献3)DynamicPoolingandUnfoldingRecursiveAutoencodersforParaphraseDetection，RichardSocher，EricH.Huang，JeffreyPennington，AndrewY.Ng，andChristopherD.Manning.AdvancesinNeuralInformationProcessingSystems2011.

图17是表示各种参数的学习处理的处理顺序的一个例子的流程图。语义解析引擎10A的上下文向量生成器15通过以下的步骤S501～步骤S503的处理，学习MV－RNN的各种参数。

步骤S501：上下文向量生成器15复制成为学习对象的迭代神经网络(RecursiveNeuralNetwork)的顶部节点下属的森林，悬挂于顶部节点。其中，被复制的森林的加权矩阵(在图16中记载为W_d)以及偏差(在图16中省略标记)，作为与原始的森林的加权矩阵(在图16中记载为W_e)以及偏差(在图16中省略标记)不同的变量而进行处理。

步骤S502：上下文向量生成器15使用反向误差传播等标准的方法来学习各参数，以使将原始的森林的末端节点所带有的各向量以链状连接的向量X与将被输出到被复制的森林的末端节点后的各向量以链状连接的向量X’之间的欧几里得距离成为最小。其中，对于训练数据，使用被构文解析后的任意的文本组。

步骤S503：上下文向量生成器15将作为结果而得到的原始的森林的加权矩阵(在图16中记载为W_e)和偏差(在图16中省略标记)作为学习结果，结束一系列的处理。

随后，对使用了MV－RNN的上下文向量D6的生成处理进行说明。图18是表示生成上下文向量D6的处理顺序的一个例子的流程图。语义解析引擎10A的语素解析以及构文解析器14和上下文向量生成器15通过以下的步骤S601～步骤S604的处理，根据自然语言请求D1生成上下文向量D6。

步骤S601：语素解析以及构文解析器14对于自然语言请求D1进行语素解析以及构文解析。

步骤S602：上下文向量生成器15基于由步骤S601的处理得到的构文构造，生成迭代神经网络(RecursiveNeuralNetwork)构造。

步骤S603：上下文向量生成器15将通过由图17的流程图所示的顺序得到的已学习完成的参数分配到迭代神经网络(RecursiveNeuralNetwork)。

步骤S604：上下文向量生成器15将使用通过以上而完成的RecursiveNeuralNetwork算出的顶部节点的输出向量作为上下文向量D6，结束一系列的处理。

由上下文向量生成器15生成的上下文向量D6在上下文识别型推荐引擎20A的排序器22A的处理中，被编入第1实施方式中说明的f_i(关于用户i和自然语言请求D1内的上下文标签而提取出的(明显的)特征向量)。通过仅变化向量的值，上下文识别型推荐引擎20A的排序器22A的处理自身与第1实施方式的排序器22的处理相同。另外，只要将上述式(1)以及式(2)的说明中标记成“上下文标签”的部分改读成“上下文向量”即可。

以上，如列举具体的例子并且详细地进行了说明那样，根据本实施方式的项目推荐装置，能够与第1实施方式的项目推荐装置同样地，不仅利用从外部能够观测的上下文信息、还利用根据自然语言请求D1推定的内心的信息来精度更良好地进行项目的推荐。

另外，根据本实施方式的项目推荐装置，没有事先生成如上下文标签字典102那样的规则，能够根据自然语言请求D1来推定内心的信息，因此，能够实现与用户的广泛的需求对应的有效的项目的推荐。

另外，在上述的实施方式中构成为，在候选提取器21使用检索标签组D2进行了成为候选项目的店铺的缩小的基础上，排序器22A进行对于候选项目组D3的排序，但不限于此。还可以构成为，例如排序器22A将使用了检索标签组D2的候选项目的缩小和排序合并进行，还可以构成为，在进行了排序器22A的排序后，进行基于检索标签组D2的候选项目的缩小。

＜第3实施方式＞

随后，对第3实施方式的项目推荐装置进行说明。本实施方式的项目推荐装置除了上述的第1实施方式的项目推荐装置的功能之外，还具有作为输入而进一步受理对人群进行了摄影而得到的图像，将基于该图像而推定出的人际关系标签与根据自然语言请求D1生成的上下文标签组D4进行统合的功能。进而，本实施方式的项目推荐装置使用统合了人际关系标签的上下文标签组来进行推荐项目的排序。另外，本实施方式的项目推荐装置通过图像识别处理而选择被推定为人群中的核心人物(主人公)的人物，使用该选择出的人物的属性来代替用户DB104所保存的用户信息。由此，除了能够应用于不能预先准备用户DB104的应用以外，还能够推荐与人际关系对应的项目。另外，这样的功能追加还可以对于第2实施方式的项目推荐装置进行。在该情况下，例如，与人际关系标签相当的信息作为上下文向量的维的一部分被编入。

本实施方式的项目推荐装置在例如，在使用了设置于街中的交互型的引导板等的项目推荐的用途中是有效的。例如假设小组为了搜索近的餐厅而想要利用引导板。小组的核心人物对于引导板进行基于声音的自然语言请求。此时，通过引导板中内置的摄像机，对构成小组的人群进行摄影，通过解析该图像(图像识别处理)，生成表示小组的人际关系的人际关系标签，并将其利用到推荐项目的排序中。由此，在小组为家庭时能够推荐面向家庭的餐厅，在小组为情侣时能够推荐面向情侣的餐厅。另外，能够利用从对人群进行摄影而得到的图像中选择出的核心人物的属性来代替用户信息，因此，如街中的引导板那样，由于设想了不特定多数的人利用的情况，因此，即使在不能预先准备用户DB104的情况下，也能够实现精度良好的项目推荐。

下面，对与第1实施方式的区别进行说明。图19是表示第3实施方式的项目推荐装置的构成例的框图。如图19所示，本实施方式的项目推荐装置具备上下文识别型推荐引擎20B来代替第1实施方式的上下文识别型推荐引擎20。另外，本实施方式的项目推荐装置还具备图像解析引擎30(人际关系信息生成部)、以及统合引擎40(统合部)。另外，在第1实施方式中用于候选项目的排序的用户DB104在本实施方式中没有设置。

在上下文识别型推荐引擎20B的内部，代替在第1实施方式中说明的排序器22而设有排序器22B。排序器22B使用带人际关系的上下文标签组D15来代替第1实施方式中说明的上下文标签组D4、使用主人公属性D14来代替从用户DB104提取的用户信息，但是，学习以及预测的处理自身与第1实施方式的排序器22相同。

图像解析引擎30作为输入受理对人群进行摄像而得到的图像D11，通过对图像D11进行公知的图像识别处理而生成人物属性组D12。人物属性组D12是根据图像D11检测出的各人物的属性的集合。另外，图像解析引擎30通过将生成出的人物属性组D12与预先设定的人际关系推定规则110进行对照，生成并输出人际关系标签D13(人际关系信息)。另外，图像解析引擎30在根据图像D11检测出的人物之中选择被推定为小组的核心人物(主人公)的人物，输出该人物的属性作为主人公属性D14。为了实现上述的功能，图像解析引擎30在内部具备人物属性推定器31和小组属性推定器32。

统合引擎40受理由语义解析引擎10生成的上下文标签组D4以及由图像解析引擎30生成的人际关系标签D13作为输入，将人际关系标签D13与上下文标签组D4统合而生成并输出带人际关系的上下文标签组D15。为了生成带人际关系的上下文标签组D15，统合引擎40在内部具备标签统合器41。

在下面，对人物属性推定器31、小组属性推定器32以及标签统合器41的处理的具体例进行说明。

首先，对人物属性推定器31进行说明。图20是表示人物属性推定器31的处理顺序的一个例子的流程图。人物属性推定器31在内部具备图像识别器，通过例如以下的步骤S701～步骤S706的处理，根据图像D11生成人物属性组D12并进行输出。

步骤S701：人物属性推定器31根据图像D11对所有的人物的脸区域进行检测。根据图像来检测人物的脸区域的技术是众所周知的，因此省略详细的说明。

步骤S702：人物属性推定器31取出1个在步骤S701中检测出的脸区域。

步骤S703：人物属性推定器31以在步骤S702取出的脸区域的特征量为基础，推定人物的属性(例如年龄和性别)。其中，假设这里推定出的年龄的小于10的被舍去而设成输出0(小于10岁)、10(10岁～19岁)、20(20岁～29岁)、···、这样的信息。在下面，将此称为年龄段。作为根据脸区域的特征量来推定人物的年龄的技术，例如，能够使用日本特开2014－153815号公报所记载的技术。另外，在此，设想了作为人物的属性而推定年龄段、性别的例子，但是，除了年龄段、性别以外，还能够利用例如日本特开2012－3623号公报所记载的各种各样的属性。

步骤S704：人物属性推定器31将在步骤S703中推定出的人物的属性信息与在步骤S702中取出的脸区域的坐标信息一起追加到输出缓冲区。

步骤S705：人物属性推定器31判断是否取出了根据图像D11检测出的所有的脸区域。进而，判断的结果为是(Yes)时进入步骤S706，为否(No)时返回到步骤S702。

步骤S706：人物属性推定器31将输出缓冲区内的所有的属性信息与坐标信息的对(pair)作为人物属性组D12输出。

随后，对小组属性推定器32进行说明。小组属性推定器32通过对所输入的人物属性组D12应用人际关系推定规则110，从而，推定图像D11所含有的人群的人际关系，生成并输出表示推定出的人际关系的人际关系标签D13。另外，小组属性推定器32从图像D11所含有的人群之中推定主人公，将推定出的主人公的属性信息从人物属性组D12取出并作为主人公属性D14进行输出。将小组属性推定器32生成并输出人际关系标签D13的处理称为人际关系推定处理，将输出主人公属性D14的处理称为主人公推定处理。主人公属性D14成为在第1实施方式中从用户DB104取出的用户信息的替代。

首先，对人际关系推定处理进行说明。下面表示在人际关系推定处理中使用的人际关系推定规则110的例子。箭头的源是匹配规则，箭头的目标是人际关系标签D13。

含有小于10岁的人→带有小孩

20岁～29岁以上的男女分别含有1人，且年龄段差是20以下→情侣

20岁～29岁以上的男女分别含有1人以及含有小于10岁的人→家庭

在人际关系推定处理中，对于人物属性组D12依次应用像这样被预先设定的人际关系推定规则110，在进行匹配后的阶段输出相应的人际关系标签D13。因此，人际关系标签D13仅被输出1种。

随后，对主人公推定处理进行说明。在本实施方式中，将根据图像D11检测出的脸区域最大的人推定成主人公。具体地讲，根据人物属性组D12所含有的脸区域的坐标信息来判断脸区域的大小，选择脸区域的大小最大的人并将其作为主人公。另外，还可以将根据图像D11检测出的脸区域位于最靠近图像D11的中心的位置的人推定成主人公。在这种情况下，根据人物属性组D12所含有的脸区域的坐标信息来判断图像D11中的脸区域的位置，选择脸区域的位置位于最靠近图像D11的中心的位置的人并将其作为主人公。进而，将像这样被确定的主人公的属性(例如年龄段、性别)作为主人公属性D14输出。

另外，如上述的交互型的引导板所示，在使用声音来输入自然语言请求D1的应用例中，还有将基于嘴唇区域的动静判断而检测出的说话者作为主人公的方法。对于嘴唇区域的动静判断，例如，能够使用下述的参考文献4所记载的方法。例如，按照嘴的每次张开，准备基准图像，对于根据图像D11检测出的脸区域的各帧，使用采用了Haar-Like特征的AdaBoost法对嘴唇区域进行检测。进而，对于各帧的嘴唇区域，以基准图像为基础，识别嘴的打开方式，在嘴的打开方式在帧间不同的情况下，判断为嘴唇区域有动作。

(参考文献4)甲斐宽规，宫崎大辅，古川亮，青山正人，日浦慎作，浅田尚纪，基于嘴唇区域的提取以及识别的说话检测，信息处理学会研究报告，Vol.2011-CVIM-177，No.13，pp.1-8(2011)

随后，对标签统合器41进行说明。标签统合器41将在第1实施方式中说明的上下文标签组D4以及上述的人际关系标签D13统合，生成带人际关系的上下文标签组D15。更具体地讲，通过编入人际关系标签D13作为上下文标签组D4的一部分，从而生成带人际关系的上下文标签组D15。即，如图7所例示，上下文标签组D4包括例如与场景有关的标签、与同伴者有关的标签、与目的有关的标签、与状况有关的标签、以及与时间段有关的标签。标签统合器41编入人际关系标签D13作为上述标签之中的与同伴者有关的标签，生成带人际关系的上下文标签组D15。但是，优选的是，在上下文标签组D4中已经含有与同伴者有关的标签的情况下，使它们优先而不编入人际关系标签D13。这是因为认为将用户明确地期望的上下文优先是自然的解决方法。

带人际关系的上下文标签组D15是为了在上下文识别型推荐引擎20B的排序器22B中进行推荐项目的排序而使用的。排序器22B代替上下文标签组D4而受理带人际关系的上下文标签组D15、代替从用户DB104提取的用户信息而受理主人公属性D14作为输入，通过与第1实施方式相同的处理进行推荐项目的排序。另外，在利用记录DB105的上下文标签栏中，代替上下文标签组D4而对带人际关系的上下文标签组D15进行处理。

以上，如举出具体的例子并详细地进行了说明那样，根据本实施方式的项目推荐装置，能够与第1实施方式的项目推荐装置相同地，不仅利用从外部能够观测的上下文信息，还利用根据自然语言请求D1以及图像D11推定的内心的信息而精度更良好地进行项目的推荐。

另外，根据本实施方式的项目推荐装置，即使在为了不特定多数的用户利用而不能预先准备用户DB104的情况下，也通过使用主人公属性D14代替从用户DB104提取的用户信息，从而能够与第1实施方式同样地实现高精度的项目的推荐。

＜补充说明＞

上述的实施方式的项目推荐装置中的各处理部(例如第1实施方式的语素解析器11、检索标签提取器12、上下文标签生成器13、候选提取器21、排序器22)能够在硬件、或者与硬件协作地动作的软件(程序)中安装。在软件中安装上述的各处理部的情况下，项目推荐装置例如图21所示，具备CPU(CentralProcessingUnit)51等处理器电路、ROM(ReadOnlyMemory)52、RAM(RandomAccessMemory)53等存储装置、连接有显示面板、各种操作设备的输入输出I/F54，与网络连接并进行通信的通信I/F55、以及连接各部的总线56等，能够设成利用了普通的计算机的硬件构成。

在上述的实施方式的项目推荐装置中所执行的程序以例如能够安装的形式或者能够执行的形式的文档的方式被记录在CD－ROM(CompactDiskReadOnlyMemory)、软盘(FD)、CD－R(CompactDiskRecordable)、DVD(DigitalVersatileDisc)等能够由计算机读取的记录介质中并作为计算机程序产品被提供。

另外，还可以构成为将在上述的项目推荐装置中所执行的程序保存到与互联网等网络连接的计算机上，通过网络进行下载而进行提供。另外，还可以构成为将在上述的实施方式的项目推荐装置中所执行的程序通过互联网等网络进行提供或者分配。另外，还可以构成为将在上述的实施方式的项目推荐装置中所执行的程序预先编入ROM32等进行提供。

在上述的实施方式的项目推荐装置中所执行的程序成为包括项目推荐装置的各处理部(例如第1实施方式的语素解析器11、检索标签提取器12、上下文标签生成器13、候选提取器21、排序器22)在内的模块构成，作为实际的硬件设成，例如通过CPU51(处理器电路)从上述记录介质读出程序进行执行，上述的各处理部被加载到RAM53(主存储)中，上述的各处理部在RAM53(主存储)上被生成。另外，上述的实施方式的项目推荐装置也能够使用ASIC(ApplicationSpecificIntegratedCircuit)、FPGA(Field-ProgrammableGateArray)等专用的硬件来实现上述的各处理部的一部分或者全部。

对本发明的实施方式进行了说明，但这些实施方式是作为例子而提出的，并没有意图限定发明的范围。在此说明的新的实施方式可以以其他各种方式进行实施，在不超出发明主旨的范围内，可进行各种省略、替换以及变更。这些实施方式及其变形包括在发明的范围和主旨内，同样，也包括在权利要求书所记载的发明和与其等同的范围内。

Claims

1.一种项目推荐装置，具备：

上下文信息生成部，对所输入的自然语言请求进行语义解析，生成包括用户的意图在内的上下文信息并输出；以及

排序部，基于上述上下文信息、表示用户的属性的用户信息以及表示用户的项目利用履历的履历信息，进行对于向用户提示的项目的候选的排序。

2.如权利要求1所述的项目推荐装置，

上述项目推荐装置还具备上下文标签字典，该上下文标签字典将直接表示上下文的上下文标签与和该上下文标签在语义上相类似的语句建立对应并保存，

上述上下文信息生成部在从所输入的自然语言请求提取出的语句与上述上下文标签字典所保存的上述上下文标签一致的情况下，输出该上下文标签作为上述上下文信息，在从所输入的自然语言请求提取出的语句与上述上下文标签字典所保存的语句一致的情况下，将与该语句建立对应地保存在上述上下文标签字典中的上述上下文标签作为上述上下文信息。

3.如权利要求1所述的项目推荐装置，

上述上下文信息生成部对于所输入的自然语言请求，使用统计的语义解析，生成对该自然语言请求的文本整体的语义进行表示的特征向量，输出该特征向量作为上述上下文信息。

4.如权利要求1所述的项目推荐装置，

上述项目推荐装置还具备：

检索信息生成部，对所输入的自然语言请求进行语义解析，生成对于累积部的检索中使用的检索信息，上述累积部将项目的信息累积；以及

候选提取部，使用上述检索信息进行对于上述累积部的检索，提取向用户提示的项目的候选。

5.如权利要求4所述的项目推荐装置，

上述项目推荐装置还具备检索标签字典，该检索标签字典将成为检索关键字的检索标签、与和该检索标签在语义上相类似的语句及对该检索标签被应用的属性进行表示的应用目标属性建立对应并保存，

上述检索信息生成部在从所输入的自然语言请求提取出的语句与上述检索标签字典所保存的上述检索标签一致的情况下，输出该检索标签以及与该检索标签建立对应地保存在上述检索标签字典中的上述应用目标属性，作为上述检索信息，在从所输入的自然语言请求提取出的语句与上述检索标签字典所保存的语句一致的情况下，输出与该语句建立对应地保存在上述检索标签字典中的上述检索标签、以及与该检索标签建立对应地保存在上述检索标签字典中的上述应用目标属性，作为上述检索信息。

6.如权利要求1所述的项目推荐装置，

上述项目推荐装置还具备：

人际关系信息生成部，对所输入的图像进行解析，生成表示该图像所含有的人群的人际关系的人际关系信息并输出；以及

统合部，将上述人际关系信息与上述上下文信息进行统合，

上述排序部基于统合了上述人际关系信息的上述上下文信息、上述用户信息、以及上述履历信息，进行对于向用户提示的项目的候选的排序。

7.如权利要求6所述的项目推荐装置，

上述人际关系信息生成部从上述图像检测人并推定各人的属性，将从上述图像检测出的各人的属性的集合与规定的规则进行对照而生成上述人际关系信息。

8.如权利要求7所述的项目推荐装置，

上述人际关系信息生成部进一步选择根据上述图像检测出的各人之中的、上述图像中的尺寸最大的人、或者从最靠近上述图像的中心的位置检测出的人、或者判断为嘴唇区域正动着的人，

上述排序部将由上述人际关系信息生成部选择出的人物的属性作为上述用户信息而使用。

9.一种项目推荐方法，该项目推荐方法在项目推荐装置中执行，

该项目推荐方法包括：

对所输入的自然语言请求进行语义解析，生成包括用户的意图在内的上下文信息并输出的工序；以及

基于上述上下文信息、表示用户的属性的用户信息、以及表示用户的项目利用履历的履历信息，进行对于向用户提示的项目的候选的排序的工序。