CN112136151A - 图像检索装置，图像检索方法，商品目录生成系统和记录介质 - Google Patents

Abstract

一种图像检索装置获取待处理图像，所述待处理图像包括至少一个物品。所述图像检索装置从分别属于与所述待处理图像包含的物品所属的类别为不同的特定类别的多个商品的商品图像中，特定具有与所述物品的评价值存在预定关系的评价值的商品的商品图像，作为与所述待处理图像相关联的关联图像。

Description

图像检索装置，图像检索方法，商品目录生成系统和记录介质

技术领域

本发明涉及一种图像检索装置，图像检索方法，商品目录生成系统和记录介质。

背景技术

最新的系统推荐最适合顾客的商品。例如，在专利文献1中描述的计算方法中，预先学习商品数据和用户的属性数据之间的关系，并且将新用户的属性数据输入到学习结果中，以计算与各商品数据的适合程度。通过使用这种计算方法，可以根据适合程度推荐商品。

引文列表

专利文献

【专利文献1】JP2016-181196A

发明内容

技术问题

然而，根据专利文献1，在用户购买多个类别(上衣，下装，鞋子，帽子等)的商品的情况下，针对每个类别推荐该商品。另一方面，为每个类别单独推荐的商品不一定是合适的组合。

鉴于上述缺点做出了本发明，本发明的目的在于，当推荐不同类别的商品时，使得能够推荐成为合适组合的商品。

解决问题的方案

本发明的示例实施例包括一种图像检索装置，包括：获取单元，配置为获取待处理图像，所述待处理图像包括至少一个物品；以及特定单元，从与所述待处理图像包含的物品属于的类别不同的类别的多个商品的商品图像中，特定具有与所述物品的评价值存在预定关系的评价值的商品的商品图像，作为与所述待处理图像相关联的关联图像。可以互相关联地输出所述待处理的图像和所述特定的关联图像。

在一个示例中，预定关系表示商品图像的评价值和待处理图像中包含的物品的评价值可以最佳地组合。例如，如下所述，预定关系可以由评价值模式表示。

本发明的效果

根据本发明的实施例，当推荐不同类别的商品时，使得能够推荐成为合适组合的商品。

附图说明

附图旨在描述本发明的示例实施例，而不应被解释为限制其范围。除非明确说明，否则附图不应视为按比例绘制。而且，相同或相似的附图标记在若干视图中表示相同或相似的组件。

图1是表示具有根据第一实施例的图像检索装置的销售系统的系统配置的示例的图。

图2是表示销售系统中每个阶段的处理流程的序列图。

图3是表示图像检索装置的硬件配置的示例的图。

图4是表示图像检索装置的功能配置的示例的图。

图5是表示图像检索装置的信息获取单元的功能配置的细节的图。

图6是表示第一学习信息的示例的图。

图7是表示图生成单元的处理的示例的图。

图8是表示第二学习信息的示例的图。

图9是表示第二学习信息的示例的图。

图10是表示商品图像信息的示例的图。

图11是表示图像检索装置的学习单元的功能配置的细节的图。

图12A和图12B是各自表示评价值学习单元的处理的示例的图。

图13A和图13B是各自表示组合学习单元的处理的示例的图。

图14A至图14D是分别示意性地表示最佳可组合物品之间的评价值的关系的图。

图15A和图15B是各自表示组合学习单元的处理的示例的图。

图16A至图16F是分别示意性地表示最佳可组合物品之间的评价值的关系的图。

图17是表示图像检索装置的分析单元和销售图像生成单元的功能配置的细节的图。

图18A和图18B是各自表示组合候选计算画面的示例的图。

图19A和图19B是各自表示组合候选计算画面和组合候选计算结果画面的示例的图。

图20是表示组合候选计算单元的处理的示例的图。

图21是表示推荐候选计算单元的处理的示例的图。

图22是表示图像检索装置的分析单元进行的分析处理的流程的流程图。

图23A和图23B是各自表示销售图像生成单元的处理示例的视图。

图24A和图24B是各自表示由服务器装置提供的显示画面的示例的视图。

图25A和25B是表示服务器装置提供的显示画面的示例的图。

图26是表示服务器装置提供的显示画面的示例的图。

图27是表示服务器装置的推荐服务提供处理的流程的流程图。

具体实施方式

本文所使用的术语仅出于描述特定实施例的目的，而无意于限制本发明。如本文所用，单数形式“一”，“一个”和“该”也意图包括复数形式，除非上下文另外明确指出。

在描述附图中表示的实施例时，为了清楚起见采用特定术语。然而，本说明书的公开内容不旨在限于如此选择的特定术语，并且应当理解，每个特定元件包括具有相似功能，以相似方式操作并且获得相似结果的所有技术等同物。

在下文中，将详细描述每个实施例。在每个实施例的描述和附图中，具有基本上相同的功能配置的组件由相同的附图标记表示，并且省略多余的描述。

[第一实施例]

<销售系统的系统配置>

首先，将描述具有根据第一实施例的图像检索装置的销售系统的系统配置。图1是表示具有根据第一实施例的图像检索装置的销售系统的系统配置的示例的图。

如图1所示，销售系统100包括：顾客111具有的移动终端110，用于提供商品的销售服务的服务器装置120，图像检索装置130，卖方141具有的终端140，以及打印装置150。

移动终端110经由网络160访问服务器装置120，通过服务器装置120提供的销售服务执行顾客111想要的商品的购买处理。在执行购买处理时，移动终端110接收来自服务器装置120的“商品图像”和“组合商品图像”，并显示“商品图像”和“组合商品图像”。所谓“商品图像”是指通过拍摄例如服装制造商当前销售的商品而获得的拍摄图像。所谓“组合商品图像”是指通过确定为服装制造商当前销售的商品中的最佳组合的商品、对时装模特穿着该商品进行拍摄而获得的拍摄图像。顾客111在参考所显示的组合商品图像的同时选择商品图像，以指示期望商品的购买。

此外，当顾客111选择商品图像时，移动终端110可以将“顾客图像”发送到服务器装置120。所谓“顾客图像”例如是指由顾客拍摄并由顾客输入以便接收推荐服务的图像。可替代地，“顾客图像”也可以是上传到云服务器或社交网络服务器(SNS)的图像(但是，假设服务器装置120可以获取并处理该图像)，其可以由云服务器实现。移动终端110可以接收并显示包括确定为对于包含在顾客图像112中的物品(例如，顾客111所穿的夹克衫)的最佳组合的商品(图1中的示例中的毛衣)的商品图像，作为推荐商品图像113。

结果，顾客111可以在识别出与顾客所具有的物品(夹克衫)组合最适合的商品(毛衣)之后，选择商品图像。

服务器装置120响应于来自移动终端110的访问，向移动终端110提供商品图像和组合商品图像。服务器装置120从图像检索装置130获取要提供给移动终端110的商品图像和组合商品图像。

服务器装置120在接收到从移动终端110发送来的顾客图像112时，将顾客图像112发送到图像检索装置130，并从图像检索装置130接收推荐商品图像。服务器装置120向移动终端110发送接收到的推荐图像。

图像检索装置130从终端140接收学习信息和商品图像的输入。所谓“学习信息”是指学习属于预定类别的物品的评价值与属于其它类别的物品的评价值之间的关系时使用的信息，详细情况将在后面描述。所谓“评价值”是指基于表示物品印象的指标而给予每个物品的值或信息。所谓“类别”是指用于对物品进行区分的分类，如后所述，包括仅定义大分类的类别以及定义大分类和小分类的类别。例如，即使大分类和小分类相同，也要将成人用品和小孩用品分类为不同的类别。

基于使用学习信息学习到的关系，图像检索装置130特定属于另一类别的商品，该商品对于与属于预定类别的商品组合最合适。因此，例如，图像检索装置130生成组合商品图像132。图像检索装置130将商品图像和组合商品图像发送到服务器装置120和打印装置150。

终端140接收由卖方141输入的学习信息，将该信息发送到图像检索装置130。终端140接收由卖方141输入的商品图像，将商品图像发送到图像检索装置130。终端140接收卖方141输入的各种指令，将指令通知图像检索装置130。

打印装置150生成并打印包括从图像检索装置130发送的商品图像和组合商品图像的商品目录151。在图1所示的示例中，表示印刷商品目录151时，利用服装制造商具有的打印装置150。但是，也可以使用服装制造商以外的制造商具有的印刷装置。例如，既可以使用印刷公司具有的印刷装置，或者也可以使用安装在便利店等中的印刷装置。

例如，由打印装置150打印的商品目录151递送到顾客111。尽管图1中的示例表示交付是由服装制造商执行，但是，向顾客111的交付也可以委托给服装制造商以外的其他公司(诸如印刷公司或另一配送公司)。然而，当顾客111通过使用安装在便利店等中的打印装置打印商品目录151时，不需要商品目录151的配送。

<销售系统的各阶段的处理流程>

接下来，描述销售系统100中每个阶段的处理流程。图2是表示销售系统中每个阶段的处理流程的序列图。如图2所示，销售系统100中的处理可以大致分为“准备阶段”，“执行阶段”，“商品销售阶段”和“个别支持阶段”。

所谓准备阶段是收集图像检索装置130用于学习的学习信息、进行学习的阶段。如图2中所示，在步骤S201中，终端140将过去图像以及表示该过去图像中包含的每个商品的印象的指标和评价值作为学习信息发送到图像检索装置130。所谓“过去图像”是通过拍摄服装制造商过去出售的商品而获得的拍摄图像。设为对于过去出售的商品定义了对于各指标的评价值，终端140将已经定义的对于各指标的评价值与过去图像相关联地发送到图像检索装置130。

在过去出售的商品中，对于未定义对于各指标的评价值的商品，卖方141在输入过去图像时，确定评价值输入。

在步骤S202中，图像检索装置130存储从终端140发送的过去图像、指标、以及评价值，作为第一学习信息。

在步骤S203中，终端140将参照图像作为学习信息发送到图像检索装置130。所谓“参照图像”是指例如拍摄穿着另一服装制造商(著名品牌)的商品的时装模特而获得的拍摄图像。参照图像可以包括例如表示物品的最佳组合的任何图像，诸如由卖方141在网络160上检索的图像，或通过扫描时装杂志而获得的图像。

在步骤S204中，图像检索装置130将从终端140发送的参照图像存储作为第二学习信息。

在步骤S205中，图像检索装置130使用第一学习信息执行学习处理，存储学习结果(评价值学习结果)。图像检索装置130使用第一学习信息执行学习处理，学习过去图像和评价值之间的关系。图像检索装置130使用第二学习信息执行学习处理，存储学习结果(组合学习结果)。图像检索装置130使用第二学习信息执行学习处理，学习最佳组合物品之间的评价值的关系，所述物品各自属于不同的类别(第一类别和第二类别)。

所谓执行阶段是执行准备阶段中的学习结果(评价值学习结果和组合学习结果)的阶段。如图2所示，在步骤S211中，终端140将商品图像发送到图像检索装置130。在步骤S212中，图像检索装置130存储从终端140发送的商品图像。

在步骤S213中，图像检索装置130执行分析处理。具体地说，图像检索装置130基于通过学习过去图像与评价值之间的关系而获得的评价值学习结果，计算每个商品图像中包含的商品的评价值。此外，图像检索装置130基于通过学习最佳组合物品之间的评价值的关系而获得的组合学习结果，为每个类别不同并且可以被最佳组合的商品特定商品图像，生成组合商品图像。将在后文详细描述分析处理(步骤S213)。

所谓商品销售阶段是执行用于销售商品的处理的阶段。如图2所示，在步骤S221中，图像检索装置130将所获取的商品图像和所生成的组合商品图像发送至打印装置150。

在步骤S222中，打印装置150生成包括商品图像和组合商品图像的商品目录151，在步骤S223中，将商品目录151发送给顾客111。

在步骤S224中，图像检索装置130将获取的商品图像和所生成的组合商品图像发送到服务器装置120。

在步骤S225中，服务器装置120执行销售服务提供处理。具体地说，在步骤S226中，从移动终端110接收到访问时，服务器装置120在步骤S227中将商品图像和组合商品图像发送到移动终端110。

结果，顾客111可以通过移动终端110浏览商品图像和组合商品图像，可以指示购买期望的商品。关于购买指令之后的移动终端110和服务器装置120的处理，描述省略。

所谓个别支持阶段是在销售商品时与每个顾客的个别需求对应的阶段。如图2所示，在步骤S231中，移动终端110将顾客图像112发送到服务器装置120。在步骤S232中，服务器装置120执行推荐服务提供处理。所谓推荐服务提供处理是用于将与顾客图像112对应的推荐商品图像113提供给顾客111的处理。

在步骤S233中，服务器装置120将接收到的顾客图像112发送到图像检索装置130。在步骤S234中，图像检索装置130执行分析处理。具体地说，图像检索装置130基于通过学习过去图像和评价值之间的关系而获得的评价值学习结果计算包含在顾客图像112中的物品的评价值。此外，图像检索装置130基于通过学习最佳组合商品之间的评价值的关系而获得的组合学习结果，对于顾客图像112中包含的物品，特定成为最佳组合的商品的商品图像。

在步骤S235中，图像检索装置130将对于顾客图像112中包含的物品成为最佳组合的商品的商品图像作为推荐商品图像113发送至服务器装置120。服务器装置120将接收到的推荐商品图像113发送到移动终端110。

因此，顾客111可以在识别与顾客图像112中包含的物品的组合最佳的商品之后，选择商品图像。

<服务器装置和图像检索装置的硬件配置>

接下来，将描述服务器装置120和图像检索装置130的硬件配置。由于服务器装置120的硬件配置与图像检索装置130的硬件配置基本相同，因此下面将描述图像检索装置130的硬件配置。

图3是表示图像检索装置的硬件配置的示例的图。如图3所示，图像检索装置130包括中央处理单元(CPU)301，只读存储器(ROM)302和随机存取存储器(RAM)303。CPU301，ROM302和RAM 303形成所谓的计算机。

图像检索装置130包括辅助存储装置304，显示器305，操作装置306，I/F(接口)装置307和驱动器308。图像检索装置130的硬件通过总线309互相连接。

CPU 301是执行安装在辅助存储装置304中的各种程序(例如，图像检索程序等)的计算装置。

ROM 302是非易失性存储器。ROM 302用作主存储装置，该主存储装置存储用于CPU301执行安装在辅助存储装置304中的各种程序的各种程序、数据等。具体地说，ROM 302用作主存储装置，存储例如基本输入/输出系统(BIOS)或可扩展固件接口(EFI)等的引导程序。

RAM 303是易失性存储器，诸如动态随机存取存储器(DRAM)或静态随机存取存储器(SRAM)。RAM 303用作主存储装置，其提供用于扩展存储在辅助存储装置304中的各种程序以供CPU 301执行的工作区域。

辅助存储装置304是存储各种程序和执行各种程序时使用的信息的辅助存储装置。

显示器305是显示诸如图像检索装置130的内部状态之类的信息的任何显示器。操作装置306是用于向图像检索装置130输入各种指令的输入装置。

I/F装置307是用于连接到网络160、服务器装置120、或打印装置150的连接装置。

驱动器308是用于设置记录介质310的装置。记录介质310包括以光学、电气、或磁性方式存储信息的介质，例如CD-ROM，软盘，或磁光盘。记录介质310还可以包括电存储信息的半导体存储器等，诸如ROM或闪存。

例如，将配布的记录介质310设置在驱动器308，由驱动器308读取记录在记录介质310中的各种程序，安装要安装在辅助存储装置304中的各种程序。可替代地，可以通过I/F装置307从网络160下载，安装要安装在辅助存储装置304中的各种程序。

<图像检索装置的功能配置的详细>

接下来，描述图像检索装置130的功能配置。图4是表示图像检索装置的功能配置的示例的图。如上所述，图像检索程序安装在图像检索装置130中。当执行该程序时，图像检索装置130起着作为信息获取单元401、学习单元402、分析单元403、以及销售图像生成单元404(参照图4)。

信息获取单元401从终端140接收学习信息(过去图像，指标和评价值，以及参照图像)和商品图像。信息获取单元401将获取的学习信息之中的过去图像、指标和评价值作为第一学习信息存储在第一学习信息存储单元411中。

信息获取单元401将获取的学习信息之中的参照图像作为第二学习信息存储在第二学习信息存储单元412中。此外，信息获取单元401将获取的商品图像存储在商品图像存储单元414中。

学习单元402从第一学习信息存储单元411读取过去图像、指标及评价值，学习过去图像与评价值之间的关系，将评价值学习结果存储在学习结果存储单元413中。学习单元402从第二学习信息存储单元412读取参照图像，学习属于不同类别的物品、且可以最佳组合的物品之间的评价值的关系，将组合学习结果存储在学习结果存储单元413中。

在执行阶段，分析单元403基于来自终端140的各种指令进行操作。具体地说，分析单元403从商品图像存储单元414读取商品图像，通过将商品图像输入到评价值学习结果，计算商品图像中包含的商品的评价值。分析单元403在基于过去图像生成的图(map,详细将在后面描述)上，在与计算的评价值相对应的位置处绘制并显示商品图像。

此外，分析单元403在执行阶段和个别支持阶段中，使用学习结果特定对于“要处理的图像”的“关联图像”。所谓“要处理的图像”是指商品图像中，为了生成组合商品图像，卖方141所选择的商品图像，或者是指为了接受推荐服务，顾客111输入的顾客图像。所谓“关联图像”是指对于“要处理的图像”特定的商品图像，对于在“要处理的图像”中包含的物品，判定为最佳组合的、不同类别中的商品的商品图像。

例如，当在执行阶段中，由卖方141选择商品图像作为“要处理的图像”时，分析单元403对于所选择的商品图像中包含的商品，计算评价值，通过输入到组合学习结果，特定关联图像。然后，分析单元403获取基于所选择的商品图像和关联图像而生成的组合商品图像，将组合商品图像通知销售图像生成单元404。在分析单元403中，当将组合商品图像通知销售图像生成单元404时，分析单元403读取存储在商品图像存储单元414中的所有商品图像，一起通知销售图像生成单元404。

当分析单元403在个别支持阶段中接收到从服务器装置120发送的顾客图像112作为待处理图像(处理对象的图像)时，分析单元403对于顾客图像112计算评价值，输入到组合学习结果，特定关联图像。然后，分析单元403将特定的关联图像作为推荐商品图像发送到服务器装置120。

销售图像生成单元404使用从分析单元403通知的商品图像和组合商品图像，生成销售图像。具体而言，销售图像生成单元404生成用于生成包含商品图像和组合商品图像的商品目录的销售图像，并将图像发送到打印装置150。此外，销售图像生成单元404生成用于生成包含商品图像和组合商品图像的销售服务画面的销售图像，并将图像发送到服务器装置120。

<图像检索装置的各部分的详细处理>

接下来，将详细描述图像检索装置130的每个单元(信息获取单元401，学习单元402，分析单元403和销售图像生成单元404)的详细处理。

<信息获取单元的详细处理>

(1)信息获取单元的功能配置的详细

首先，详细描述图像检索装置130的信息获取单元401的功能配置。图5是表示图像检索装置的信息获取单元的功能配置的详细的图。如图5所示，信息获取单元401包括图像信息获取单元501，评价值输入单元502和图生成单元503。

图像信息获取单元501将从终端140发送的过去图像存储在第一学习信息存储单元411中。图像信息获取单元501将从终端140发送的参照图像存储在第二学习信息存储单元412中。

评价值输入单元502将与过去图像相关联的指标和评价值与过去图像相关联地存储在第一学习信息存储单元411中。评价值表510中表示与过去图像相关联地存储的每个指标的评价值的示例。

评价值表510包括“对象”、“时尚意识”、“场合”、“外观”和“主题”五个指标，关于每个指标定义评价值。例如，在指标＝“对象”的情况下，将“青少年”、“年轻”、“年轻成年人”、“成人”和“老年人”定义作为评价值。

图生成单元503通过将存储在第一学习信息存储单元411中的每个过去图像绘制在由预定的两轴指标规定的二维平面上，生成图。

(2)第一学习信息的例子

接下来，描述存储在第一学习信息存储单元411中的第一学习信息的示例。图6是表示第一学习信息的示例的图。如图6所示，第一学习信息600按大分类和小分类区分管理。在图6的最前面，表示第一学习信息，其中存储大分类＝“上装”、小分类＝“衬衫”的过去图像、指标、以及评价值。

如图6的最前面所示，在第一学习信息600，作为信息项目，包括“图像ID”、“过去图像”、以及“指标”。在“图像ID”存储用于识别关联的过去图像的标识符。在“过去图像”存储关于过去图像的信息，例如表示过去图像的图像。在“指标”存储包含五个指标(“对象”、“时尚意识”、“场合”、“外观”和“主题”)，关于每个指标的评价值。

(3)图示例

接下来，描述由图生成单元503在准备阶段生成的图的示例。图7是表示图生成单元的处理的示例的图。如图7所示，图生成单元503将存储在第一学习信息600中的过去图像划分为大分类和小分类，在由预定的两轴指标规定的二维平面上，在基于评价值的位置进行绘制，生成图。图生成单元503将生成的各图存储为图信息710。

作为图信息710，图7的图显示画面720表示在由x轴指标＝“对象”、y轴指标＝“时尚意识”规定的二维平面上，在基于评价值的位置绘制属于大分类＝“上装”、小分类＝“衬衫”的过去图像而生成的图。

关于由图生成单元503保存的图信息710中包含的任意图，卖主141设为可以经由图像检索装置130的显示器305或终端140浏览。

具体地说，在图显示画面720上，通过指定大分类、小分类、x轴指标、y轴指标，卖方141设为可以显示包含在图信息710中的任意图。

(4)第二学习信息的第一个例子

接下来，描述存储在第二学习信息存储单元412中的第二学习信息的第一示例。图8是表示第二学习信息的示例的图。如图8所示，第二学习信息800包括“图像ID”、“参照图像”、“类别”，作为信息项目。

在“图像ID”存储用于识别关联的参照图像的标识符。在“参照图像”存储关于参照图像的信息，例如表示参照图像的图像。存储在第二学习信息800中的参照图像是被摄体为1人(单个)的情况下的参照图像。在“类别”中，作为信息项目，包含进一步区分物品的具体分类，例如“帽子”、“上装”、“下装”等。

具体地说，对于诸如“帽子”、“上装”、“下装”等的每个这样的特定物品，“类别”信息指示特定物品是否与参照图像相关联。例如，在由图像ID＝“ID-S001”识别的参照图像，包括“上装”和“下装”的物品。此外，在图8中，“F”表示该物品用于女性，“M”表示该物品用于男性。

(5)第二学习信息的第二个例子

接下来，描述存储在第二学习信息存储单元412中的第二学习信息的第二示例。图9是表示第二学习信息的示例的图。如图9所示，第二学习信息900包括“图像ID”、“参照图像”、以及“类别”，作为信息项目。

在“图像ID”存储用于识别关联的参照图像的标识符。在“参照图像”存储关于参照图像的信息，例如表示参照图像的图像。存储在第二学习信息900中的参照图像是被摄体为两人(多个)的情况下的参照图像。在“类别”中，作为信息项目，包含进一步区分物品的具体分类，例如“帽子”、“上装”、“下装”等。

具体地说，对于诸如“帽子”、“上装”、“下装”等的每个这样的特定物品，“类别”信息指示特定物品是否与参照图像相关联。例如，在由图像ID＝“ID-S501”识别的参照图像中，表示包括“上装”和“下装”物品。在分成两栏之中的上栏，存储表示是否包含用于成人的物品的信息，而在下栏，存储表示是否包含用于小孩的物品的信息。此外，在图9中，“F”表示该物品用于女性，“M”表示该物品用于男性。

(6)商品图像信息示例

接下来，描述存储在商品图像存储单元414中的商品图像信息的示例。图10是表示商品图像信息的示例的图。如图10中所示，商品图像信息1000按大分类和小分类区分管理。在图10的最前面，表示存储大分类＝“上装”和小分类＝“衬衫”的商品图像的商品图像信息。

如图10的最前面所示，在商品图像信息1000包括“图像ID”、“商品图像”、以及“指标”，作为信息项目。在“图像ID”存储用于识别关联的商品图像的标识符。在“商品图像”存储关于商品图像的信息，例如表示商品的图像。在“指标”中包括五个指标(“对象”、“时尚意识”、“场合”、“外观”和“主题”)。由于分析单元403使用评价值学习结果计算商品图像信息1000的各指标的评价值，因此，当将商品图像存储在商品图像存储单元414中时，不存储评价值。

<学习单元的处理详细>

(1)学习单元的功能配置详细

接下来，描述图像检索装置130的学习单元402的功能配置。图11是表示图像检索装置的学习单元的功能配置的详细的图。如图11所示，学习单元402还包括评价值学习单元1101和组合学习单元1102。

评价值学习单元1101读取存储在第一学习信息存储单元411中的过去图像、指标、以及评价值，学习过去图像和评价值之间的关系。评价值学习单元1101将通过学习过去图像和评价值之间的关系而获得的评价值学习结果存储在学习结果存储单元413中。

组合学习单元1102读取存储在第二学习信息存储单元412中的参照图像，获取包括在参照图像中的每个物品的评价值。组合学习单元1102将参照图像中包括的每个物品的图像输入到评价值学习结果，获取参照图像中包括的每个物品的评价值。

组合学习单元1102使用参照图像中包括的每个物品的评价值，学习最佳可组合物品之间的评价值的关系。组合学习单元1102将通过学习最佳可组合物品之间的评价值的关系而获得的组合学习结果存储在学习结果存储单元413中。

(2)评价值学习单元的处理示例

接下来，描述评价值学习单元1101的处理的示例。图12A和图12B是分别表示评价值学习单元的处理的具体示例的图。参照图12A和图12B，评价值学习单元1101将过去图像划分为大分类和小分类，按照大分类和小分类，学习过去图像和评价值之间的关系，获得评价值学习结果。评价值学习单元1101例如由卷积神经网络实现。

图12A表示使用评价值学习单元1101对于大分类＝“上装”、小分类＝“衬衫”学习过去图像和评价值之间的关系。过去图像之中，属于大分类＝“上装”、小分类＝“衬衫”的商品的过去图像输入到评价值学习单元1101。

如图12A所示，在评价值学习单元1101的输出中，作为评价值的组合(称为评价值模式(evaluation value pattern))，规定评价值模式1至评价值模式m。“评价值模式1”是指例如对象＝“青少年”、时尚意识＝“当代”、场合＝“镇休闲”、外观＝“乡村”、主题＝“趋势”的组合。此外，“评价值模式2”是指例如对象＝“年轻”、时尚意识＝“当代”、场合＝“城市休闲”、外观＝“优雅”、主题＝“趋势”的组合。

评价值学习单元1101进行学习，使得例如当输入图像ID＝“ID001”的过去图像时，“评价值模式1”的确定性等于或大于预定阈值。评价值学习单元1101进行学习，使得例如当输入图像ID＝“ID002”的过去图像时，“评价值模式2”的确定性等于或大于预定阈值。

类似地，图12B表示使用评价值学习单元1101对于大分类＝“下装”学习过去图像与评价值之间的关系。过去图像之中，属于大分类＝“下装”的商品的过去图像输入到评价值学习单元1101。在图12B中，与图12A相同，评价值学习单元1101的输出规定为评价值模式1至评价值模式m。

与图12A相同，同样，在图12B中，评价值学习单元1101进行学习，以使得与输入的过去图像分别相关联的评价值模式的确定性等于或大于预定阈值。

以这种方式，评价值学习单元1101获得按大分类及小分类的评价值学习结果。

(3)组合学习单元处理的第一个例子

接下来，描述组合学习单元1102的处理的第一示例。图13A和图13B是各自表示组合学习单元的处理的具体示例的图。如上所述，组合学习单元1102首先通过将参照图像中包括的每个物品的图像输入到评价值学习结果中获取评价值。

图13B中的示例表示组合学习单元1102如何在大分类＝“上装”、小分类＝“衬衫”、大分类＝“下装”的组合中学习评价值之间的关系。

如图13A所示，组合学习单元1102首先将参照图像中包括的物品(上装和衬衫)的图像输入到学习关于大分类＝“上装”、小分类＝“衬衫”的评价值学习结果1301。组合学习单元1102将参照图像中包括的物品(下装)的图像输入到学习关于大分类＝“下装”的评价值学习结果1302。

具体地说，组合学习单元1102将包括在图像ID＝“ID-S001”的参照图像中的衬衫图像1311输入到评价值学习结果1301，获得例如评价值模式1。组合学习单元1102将包括在图像ID＝“ID-S001”的参照图像中的下装的图像1312输入到评价值学习结果1302，获得例如评价值模式3。

类似地，组合学习单元1102将包括在图像ID＝“ID-S002”和图像ID＝“ID-S003”的参照图像中的衬衫图像1321、1331输入到评价值学习结果1301，获得例如评价值模式5和评价值模式7。此外，组合学习单元1102将包含在图像ID＝“ID-S002”、图像ID＝“ID-S003”的参照图像中的下装的图像1322和1332输入到评价值学习结果1302，获得例如评价值模式4和评价值模式5。

如上所述，组合学习单元1102使用参照图像中包括的每个物品的评价值，学习最佳可组合物品之间的评价值的关系。因此，如图13B所示，在组合学习单元1102中，在输入衬衫图像1311的“评价值模式”的情况下，进行学习，以使关联的下装图像1312的“评价值模式3”的确定性等于或大于预定阈值。此外，组合学习单元1102在输入衬衫图像1321的“评价值模式5”的情况下，进行学习，以使关联的下装的图像1322的“评价值模式4”的确定性等于或大于预定阈值。

另外，组合学习单元1102在输入衬衫图像1331的“评价值模式7”的情况下，进行学习，以使关联的下装图像1332的“评价值模式4”的确定性等于或大于预定阈值。

如上所述，组合学习单元1102获得不同类别(大分类和小分类)的物品之间的组合学习结果。

(4)最佳组合物品之间的评价值的关系

接下来，说明由组合学习单元1102学习的组合学习结果表示的、最佳可组合物品之间的评价值的关系。图14A至图14D是示意性地表示最佳可组合物品之间的评价值的关系的第一图。参照图14A至图14D，为了简化说明，将以在多维指标空间之中由两个特定指标规定的二维平面为例，描述最佳可组合物品之间的评价值的关系。

图14A表示在由指标A和指标B规定的、按大分类和小分类的二维平面1401至1404中，最佳可组合物品之间的评价值的关系成为相似关系的示例。

图14A表示例如对于具有评价值1405的衬衫，组合具有相似评价值1406的下装，获得最佳组合。此外，图14A表示可以通过组合具有相似的评价值1407的夹克衫，获得最佳组合。此外，图14A表示可以通过组合具有相似的评价值1408的鞋，获得最佳组合。

另一方面，图14B表示在由指标A和指标B规定的、按大分类和小分类的二维平面1411至1414中，最佳可组合物品之间的评价值的关系成为非相似关系的示例。

图14B表示例如对于具有评价值1415的衬衫，组合具有非相似评价值1416的下装，获得最佳组合。此外，图14B表示可以通过组合具有非相似评价值1417的夹克衫，获得最佳组合。此外，图14B表示可以通过组合具有非相似评价值1418的鞋，获得最佳组合。

此外，图14C表示在由指标C和指标D规定的、按大分类和小分类的二维平面1421至1424中，最佳可组合物品之间的评价值的关系成为相似关系的示例。

图14C表示例如对于具有评价值1425的衬衫，组合具有相似评价值1426的下装，获得最佳组合。此外，图14C表示可以通过组合具有相似的评价值1427的夹克衫，获得最佳组合。此外，图14C表示可以通过组合具有相似的评价值1428的鞋子，获得最佳组合。

图14D表示在由指标C和指标D规定的、按大分类和小分类的二维平面1431至1434中，最佳可组合物品之间的评价值的关系成为非相似关系的示例。

图14D表示例如对于具有评价值1435的衬衫，组合具有非相似评价值1436的下装，获得最佳组合。此外，图14D表示可以通过组合具有非相似评价值1437的夹克衫，获得最佳组合。此外，图14D表示可以通过组合具有非相似评价值1438的鞋，获得最佳组合。

(5)组合学习单元处理的第二个例子

接下来，描述组合学习单元1102的处理的第二示例。图15A和图15B是各自表示组合学习单元的处理的具体示例的图。图13A和图13B各自表示使用被摄体为1人(单个)场合的参照图像进行学习的情况。然而，图15A和图15B各自表示使用被摄体为两人(多个)场合的参照图像进行学习的情况。

如上所述，组合学习单元1102通过将参照图像中包括的每个物品的图像输入到评价值学习结果中获取评价值。

图15B中的示例表示组合学习单元1102学习以下关系：

大分类＝“上装”、小分类＝“夹克衫”与大分类＝“上装”、小分类＝“夹克衫”的组合中的评价值之间的关系，以及

大分类＝“下装”与大分类＝“下装”的组合中的评价值之间的关系。

于是，如图15A所示，组合学习单元1102首先将参照图像中包括的物品(上装和夹克衫)的图像输入到关于大类别＝“上装”、小分类＝“夹克衫”学习的评价值学习结果1501中。组合学习单元1102将参照图像中包括的物品(下装)的图像输入到关于大分类＝“下装”学习的评价值学习结果1302。

具体地说，组合学习单元1102将图像ID＝“ID-S501”的参照图像中包含的夹克衫图像1511a输入到评价值学习结果1501，获得例如评价值模式1。组合学习单元1102将图像ID＝“ID-S501”的参照图像中包含的夹克衫图像1511b输入到评价值学习结果1501，获得例如评价值模式2。此外，组合学习单元1102将图像ID＝“ID-S501”的参照图像中包含的下装图像1512a输入到评价值学习结果1302，获得例如评价值模式1。组合学习单元1102将图像ID＝“ID-S501”的参照图像中包含的下装图像1512b输入到评价值学习结果1302，获得例如评价值模式3。

类似地，组合学习单元1102将图像ID＝“ID-S502”的参照图像中包含的夹克衫图像1521a输入到评价值学习结果1501，获得例如评价值模式5。组合学习单元1102将图像ID＝“ID-S502”的参照图像中包含的夹克衫图像1521b输入到评价值学习结果1501，获得例如评价值模式2。此外，组合学习单元1102将图像ID＝“ID-S502”的参照图像中包含的下装图像1522a输入到评价值学习结果1302，获得例如评价值模式3。组合学习单元1102将图像ID＝“ID-S502”的参照图像中包含的下装图像1522b输入到评价值学习结果1302，获得例如评价值模式3。

此外，如图15B所示，当输入夹克衫图像1511a的“评价值模式1”时，组合学习单元1102进行学习，以使得关联的夹克衫图像1511b的“评价值模式2”的确定性等于或大于预定阈值。此外，组合学习单元1102在输入夹克衫图像1521a的“评价值模式5”的情况下，进行学习，以使关联的夹克衫图像1521b的“评价值模式2”的确定性为等于或大于预定阈值。

类似地，当组合学习单元1102输入下装图像1512a的“评价值模式1”时，进行学习，以使相关联的下装图像1512b的“评价值模式3”的确定性等于或大于预定阈值。此外，组合学习单元1102在输入下装图像1522a的“评价值模式3”的情况下，进行学习，以使关联的下装图像1522b的“评价值模式3”的确定性为等于或大于预定阈值。

如上所述，组合学习单元1102获得不同类别(成人和小孩)的物品之间的组合学习结果。

(6)最佳组合物品之间的评价值的关系

接下来，描述由组合学习单元1102学习的组合学习结果表示的、最佳可组合物品之间的评价值的关系。图16A至图16F是分别示意性地表示最佳可组合物品之间的评价值的关系的第二图。

图16A表示在由指标A和指标B规定的、按面向成人和面向小孩的二维平面1601至1602中，最佳可组合物品之间的评价值的关系成为相似关系的示例。

图16A表示例如将具有评价值1603的夹克衫(用于成人)与具有相似评价值1604的夹克衫(用于小孩)，获得最佳组合。

另一方面，图16B表示在由指标A和指标B规定的、按面向成人和面向小孩的二维平面1611至1612中，最佳可组合物品之间的评价值的关系成为非相似关系的示例。

图16B表示例如对于具有评价值1613的夹克衫(用于成人)组合具有非相似评价值1614的夹克衫(用于小孩)，获得最佳组合。

此外，图16C表示在由指标C和指标D规定的、按面向成人和面向小孩的二维平面1621至1622中，最佳可组合物品之间的评价值的关系成为相似关系的示例。

图16C表示例如对于具有评价值1623的夹克衫(用于成人)组合具有相似评价值1624的夹克衫(用于小孩)，获得最佳组合。

此外，图16D表示在由指标C和指标D规定的、按面向成人和面向小孩的二维平面1631至1632中，最佳可组合物品之间的评价值的关系成为非相似关系的示例。

图16D表示例如对于具有评价值1633的夹克衫(用于成年人)组合具有非相似评价值1634的夹克衫(用于小孩)，获得最佳组合。

图16E表示在由指标A和指标B规定的、按面向成人和面向小孩的二维平面1641至1642中，最佳可组合物品之间的评价值的关系成为相似关系的示例。

图16E表示例如对于具有评价值1643的下装(用于成人)组合具有相似评价值1644的下装(用于小孩)，获得最佳组合。

此外，图16F表示在由指标A和指标B规定的、按面向成人和面向小孩的二维平面1641至1642中，最佳可组合物品之间的评价值的关系成为非相似关系的示例。

图16F表示例如对于具有评价值1653的下装(用于成人)组合具有非相似评价值1654的下装(用于小孩)，获得最佳组合。

<分析单元和销售图像生成单元的处理详细>

(1)分析单元和销售图像生成单元的功能配置的详细

接下来，描述图像检索装置130的分析单元403和销售图像生成单元404的功能配置。图17是表示图像检索装置的分析单元和销售图像生成单元的功能配置的详细的图。如图17所示，分析单元403包括指令单元1701，处理目标获取单元1702，组合候选计算单元1703和推荐候选计算单元1704。

指令单元1701向终端140提供各种画面，从终端140接收各种指令。指令单元1701包括例如选择成为待处理图像的商品图像的指令、显示包含所选择的商品图像的图的指令、以及检索与所选择的商品图像相关联的关联图像的指令，作为各种指令。

指令单元1701基于接收到的各种指令执行处理。例如，当接收到选择成为待处理图像的商品图像的指令时，指令单元1701从商品图像存储单元414读取选择的商品图像。

例如，接收到显示包含所选择的商品图像的图的指令时，指令单元1701从第一学习信息存储单元411读取过去图像，生成图，并在生成图上绘制并显示所选择的商品图像。

例如，接收到检索与所选择的商品图像相关联的关联图像的指令时，指令单元1701将选择的商品图像通知处理对象获取单元1702。

处理对象获取单元1702是获取单元的示例，获取待处理图像，将获取的图像通知组合候选计算单元1703或推荐候选计算单元1704。具体地说，在执行阶段中，当处理对象获取单元1702从指令单元1701获取所选择的商品图像作为待处理图像时，处理对象获取单元1702将所选择的商品图像通知组合候选计算单元1703。

当在个别支持阶段从服务器装置120发送顾客图像作为待处理图像时，处理对象获取单元1702将顾客图像通知推荐候选计算单元1704。

组合候选计算单元1703是特定单元的示例。组合候选计算单元1703读取存储在学习结果存储单元413中的评价值学习结果和组合学习结果。组合候选计算单元1703基于读取的评价值学习结果和组合学习结果，从选择的商品图像中特定关联图像。

结果，销售者141可以拍摄穿着成为最佳组合的商品(待处理图像中包含的商品和关联图像中包含的商品)的时装模特，生成组合商品图像。

组合候选计算单元1703获取生成的组合商品图像，将获取的组合商品图像通知销售图像生成单元404。此时，组合候选计算单元1703读取存储在商品图像存储单元414中的商品图像，将读取的商品图像和组合商品图像通知销售图像生成单元404。

推荐候选计算单元1704是特定单元的另一示例。推荐候选计算单元1704读取存储在学习结果存储单元413中的评价值学习结果和组合学习结果。推荐候选计算单元1704基于所读取的评价值学习结果和组合学习结果，从顾客图像中特定关联图像。

此外，推荐候选计算单元1704将特定的关联图像作为推荐商品图像发送到服务器装置120。

由于已经参考图4描述了销售图像生成单元404的功能，因此，这里省略描述。

(2)指令单元提供的显示画面示例

接下来，描述在执行阶段中由指令单元1701在终端140上显示的显示画面的示例。图18A和图18B是各自表示组合候选计算画面的示例的视图。

当指令单元1701启动时，组合候选计算画面1800显示在终端140上。如图18A所示，组合候选计算画面1800包括条件指定区域1801。

在条件指定区域1801，包括用于输入待处理图像中包含的商品所属的大分类和小分类的输入栏。在条件指定区域1801，包括当根据属于输入的大分类和小分类的商品的过去图像生成图时使用的、用于输入x轴指标和y轴指标的输入栏。

当在条件指定区域1801中输入大分类、小分类、x轴指标和y轴指标时，指示单元1701读取属于输入的大分类和小分类的商品的过去图像。因此，在图显示区域1808中，显示将读取的过去图像绘制在由输入的x轴指标和y轴指标规定的二维平面上的图。

组合候选计算画面1800包括商品图像读取(“读取商品图像”)按钮1802。当按下商品图像读取按钮1802时，指示单元1701从商品图像存储单元414读取属于在条件指定区域1801输入的大分类、小分类的商品的商品图像，在商品图像显示区域1803中显示读取的商品图像。

图18B的组合候选计算画面1800表示如下状态：为了从在商品图像显示区域1803中显示的商品图像中选择待处理图像，将确认标记输入到确认区域1811。

如图18B所示，组合候选计算画面1800包括评价值计算按钮1804，清除按钮1805，候选计算按钮1806和清除按钮1807。当在确认标记输入到确认区域1811的状态下，按压评价值计算按钮1804时，计算所选择的商品图像中包含的商品的评价值。因此，在图显示区域1808中，在由计算出的评价值所确定的位置处，显示绘制有所选择的商品图像1812(更具体地，表示所选择的商品图像1812的点)的图。

因此，卖方141可以把握所选择的商品图像中包含的商品的在图中的位置，识别评价值。

当在组合候选计算画面1800中按下清除按钮1805时，清除输入到确认区域1811的确认标记。清除绘制在图显示区域1808中的所选择的商品图像1812。

图19A和图19B是各自表示组合候选计算画面和组合候选计算结果画面的示例的图。当在图18B所示的组合候选计算画面1800中按下候选计算按钮1806时，如图19A所示，显示从选择的商品图像特定关联图像时的、指定大分类和小分类的条件指定区域1901。

在组合候选计算画面1900的条件指定区域1901中，当输入大分类、小分类、按下执行按钮1902时，对于所选择的商品图像，特定属于所指定的大分类和小分类的商品的关联图像。结果，显示图19B所示的组合候选计算结果画面1910。

如图19B所示，组合候选计算结果画面1910包括所选择的商品图像1911和特定的关联图像1912、1913和1914。

(3)组合候选计算单元的处理示例

接下来，将描述组合候选计算单元1703的处理的示例。图20是表示组合候选计算单元的处理的具体示例的图。如图20所示，合成候选计算单元1703从学习结果存储单元413中读取关于在合成候选计算画面1800的条件指定区域1801中输入的大分类、小分类的评价值学习结果1301。

组合候选计算单元1703在组合候选计算画面1800中获取将确认标记输入到确认区域1811的商品图像。此外，组合候选计算单元1703将读取的商品图像输入到评价值学习结果1301，计算评价值模式i(例如，图14B中的评价值1415)。

此外，组合候选计算单元1703从学习结果存储单元413读取以下物品之间的组合学习结果2001：

属于在组合候选计算画面1800的条件指定区域1801中按压商品图像读取按钮1802时指定的大分类及小分类的物品；以及

属于在组合候选计算画面1900的条件指定区域1901中按压执行按钮1902时指定的大分类及小分类的物品。

此外，组合候选计算单元1703将计算出的评价值模式i输入到组合学习结果2001，计算评价值模式j(例如，图14B中的评价值1416)。

此外，组合候选计算单元1703从商品图像存储单元414中读取属于在组合候选计算画面1900中按下执行按钮1902时指定的大分类及小分类的商品的商品图像。

组合候选计算单元1703从学习结果存储单元413读取评价值学习结果1302，用于计算所读取的商品图像的评价值模式。

此外，组合候选计算单元1703将读取的商品图像输入到评价值学习结果1302，计算评价值模式。此外，组合候选计算单元1703基于所计算的评价值模式在图上绘制读取的商品图像。因此，可以为属于按下执行按钮1902时指定的大分类及小分类的商品的商品图像，生成图(例如，图14B中的二维平面1412)。

组合候选计算单元1703通过将在组合学习结果2001中计算出的评价值模式j绘制到所生成的图上，特定评价值图案j在图中的位置。因此，可以提取具有与评价值模式j相对应的评价值模式的关联图像1912至1914。

(4)推荐候选计算单元的处理示例

接下来，描述推荐候选计算单元1704的处理的示例。图21是表示推荐候选计算单元的处理的具体示例的图。如图21所示，推荐候选计算单元1704从学习结果存储单元413中读取关于从服务器装置120发送来的顾客图像指定的大分类及小分类的评价值学习结果2101。

此外，推荐候选计算单元1704将顾客图像输入到读取的评价值学习结果2101，以计算评价值模式k。

此外，推荐候选计算单元1704从学习结果存储单元413读取以下物品之间的组合学习结果2111：

属于与顾客图像相关联地发送来的、与顾客图像所包含的物品相同大分类及小分类的物品；以及

属于与顾客图像相关联地发送来的、推荐商品的大分类及小分类的物品。

推荐候选计算单元1704将计算的评价值模式k输入到读取的组合学习结果2111，以计算评价值模式l。

此外，推荐候选计算单元1704从商品图像存储单元414中读取属于与顾客图像相关联地发送来的推荐商品的大分类及小分类的商品的商品图像。

此外，推荐候选计算单元1704从学习结果存储单元413中读取关于与顾客图像相关联地发送来的推荐商品的大分类及小分类的评价值学习结果2102。

此外，推荐候选计算单元1704将属于与顾客图像相关联地发送来的推荐商品的大分类及小分类的商品的商品图像输入到评价值学习结果2102中，以计算评价值模式。此外，推荐候选计算单元1704基于计算出的评价值模式，在图上绘制属于与顾客图像相关联地发送来的推荐商品的大分类及小分类的商品的商品图像。

推荐候选计算单元1704通过将在组合学习结果2111中计算出的评价值图案l绘制到所生成的图上，特定评价值模式l在图中的位置。因此，可以提取具有与评价值模式l相对应的评价值模式的关联图像。

推荐候选计算单元1704将所提取的关联图像作为推荐商品图像113发送到服务器装置120。

(5)分析单元的分析处理流程(执行阶段和个别支持阶段)

接下来，描述分析单元403的分析处理的流程。图22是表示图像检索装置的分析单元进行的分析处理的流程的流程图。

在步骤S2201中，分析单元403获取待处理图像(选择的商品图像或顾客图像)。

在步骤S2202中，分析单元403计算待处理图像的评价值模式。

在步骤S2203中，分析单元403获取属于由为特定关联图像而指定的大小分类(由卖方141指定的大小分类或由顾客111指定的推荐商品的大小分类)的商品的商品图像。

在步骤S2204中，分析单元403计算在步骤S2203中获取的商品图像的评价值模式，以生成图。

在步骤S2205中，分析单元403将待处理图像的评价值模式输入到组合学习结果，计算与待处理图像的评价值模式相对应的评价值模式。

在步骤S2206中，分析单元403基于在步骤S2204中生成的图确定与在步骤S2205中计算出的评价值模式相对应的商品图像，提取该商品图像作为关联图像。

在步骤S2207中，分析单元403将所提取的关联图像与待处理图像相关联地输出。

(6)销售图像生成单元的处理示例

接下来，描述销售图像生成单元404的处理的示例。图23A和图23B是各自表示销售图像生成单元的处理的具体示例的图。如上所述，销售图像生成单元404使用从分析单元403通知的商品图像和组合商品图像生成销售图像。

图23A是包括从分析单元403通知的商品图像和组合商品图像的销售图像的示例。如图23A所示，由销售图像生成单元404生成的销售图像2310包括包含组合商品图像的区域和包含商品图像的区域。

图23B是包括从分析单元403通知的商品图像和组合商品图像的销售图像的另一示例。如图23B所示，由销售图像生成单元404生成的销售图像2320包括包含组合商品图像的区域和包含商品图像的区域。

<服务器装置的处理详细>

接下来，将详细描述服务器装置120执行的处理。

(1)服务器装置提供的显示画面示例

首先，描述在提供销售服务时由服务器装置120提供给移动终端110的显示画面的示例。图24A和图24B是各自表示由服务器装置提供的显示画面的示例的图。

图24A表示当移动终端110访问服务器装置120时显示的销售服务画面2410的示例。如图24A所示，销售服务画面2410包括由销售图像生成单元404生成的销售图像2310。销售服务画面2410包括“进行到推荐请求画面”按钮2411和“进行到购买画面”按钮2412。在此，说明按下“进行到推荐请求画面”按钮2411的情况下的画面转移。

当按下“进行到推荐请求画面”按钮2411时，转换到图24B所示的推荐服务画面2420。如图24B所示，推荐服务画面2420包括顾客图像的显示区域2422。通过按下“读取图像”按钮2421，顾客111读取图像，该图像显示在顾客图像的显示区域2422中(参照图25A和25B)。

图25A和25B是各自表示由服务器装置提供的显示画面的示例的图。如图25A和25B所示，当图像显示在顾客图像的显示区域2422中时，预定消息(“请指定对象区域”)显示在推荐服务画面2510上。响应于此，顾客111指定顾客图像112中包含的预定物品的区域作为对象区域2511。图25A的示例表示顾客111指定对象区域2511的情况，但也可以构成为自动提取对象区域2511。当自动提取对象区域2511时，设为可以使用任何现有的图像处理技术。

当顾客111完成指定对象区域2511时，转换到图25B所示的推荐服务画面2520。如图25B所示，推荐服务画面2520包括用于输入对象区域2511中包括的物品的大分类及小分类的输入栏。此外，推荐服务画面2520包括用于输入推荐商品的大分类及小分类的输入栏。图25B中的示例表示顾客111输入对象区域2511中包括的物品的大分类及小分类，输入推荐商品的大分类及小分类的情况。然而，这些输入可以构成为自动执行，而不是由顾客111执行。当自动输入对象区域2511中包括的物品的大分类及小分类，推荐商品的大分类及小分类时，设为可以使用任何现有的图像识别技术。

图25B的示例表示指定“上装”，作为对象区域2511中包括的物品的大分类，指定“外套”作为小分类。图25B的示例表示指定“上装”作为推荐商品的大分类，指定“毛衣”作为小分类。

推荐服务画面2520进一步包括“推荐请求”按钮2521和“返回”按钮2522。当按下“推荐请求”按钮2521时，以下信息发送到服务器装置120:

显示在顾客图像的显示区域2422中的顾客图像(也包括表示对象区域2511的信息)；

关于顾客图像的对象区域2511中包括的物品的大小分类的信息；以及

关于推荐商品的大小分类的信息。

当按下“返回”按钮2522时，例如，屏幕返回到推荐服务画面2420。

若接收到顾客信息、关于对象区域2511中包括的物品的大小分类的信息、以及关于推荐商品的大小分类的信息，服务器装置120将这些信息发送到图像检索装置130。结果，在服务器装置120中，从图像检索装置130接收推荐商品图像，显示推荐商品画面2610。

图26是表示服务器装置提供的显示画面的示例的图。如图26所示，推荐商品画面2610包括顾客图像的显示区域2422和推荐商品图像的显示区域2611。在推荐商品图像的显示区域2611中，显示推荐商品图像113。图26的示例表示仅显示一个推荐商品图像113的情况，但是，可以显示多个推荐商品图像。此外，在图25B中，当顾客111未指定推荐商品的类别时，可以显示所有类别的推荐商品图像。

推荐商品画面2610还包括“进行到购买画面”按钮2612和“返回”按钮2613。当顾客111希望购买由推荐商品图像113特定的商品时，顾客按下“进行到购买画面”按钮2612。另一方面，当顾客111不希望购买由推荐商品图像113特定的商品时，顾客按下“返回”按钮2613。

(2)由服务器装置提供的推荐服务提供处理

接下来，描述服务器装置120进行的推荐服务提供处理的流程。图27是表示服务器装置的推荐服务提供处理的流程的流程图。

在步骤S2701中，服务器装置120获取从移动终端110发送的顾客图像。

在步骤S2702中，服务器装置120提取在顾客图像中指定的对象区域。

在步骤S2703中，服务器装置120获取关于对象区域中包括的物品的大小分类的信息。

在步骤S2704中，服务器装置120获取关于推荐商品的大小分类的信息。

在步骤S2705中，服务器装置120向图像检索装置130通知从顾客图像提取的对象区域，关于对象区域中包括的物品的大小分类的信息，以及关于推荐商品的大小分类的信息。

在步骤S2706中，服务器装置120从图像检索装置130获取推荐商品图像，将图像显示在移动终端110上。

如上所述，根据第一实施例的图像检索装置例如执行以下处理。

首先，通过学习属于不同类别的物品、成为最佳组合的物品之间的评价值的关系，获得组合学习结果。

其次，将关于待处理图像中包括的物品计算出的评价值输入到组合学习结果中，并且是与待处理图像中包括的物品的类别不同的类别的商品，计算相对待处理图像中包括的物品成为最佳组合的商品的评价值。

第三，将至少一个具有计算出的评价值的商品的商品图像，作为关联图像，与待处理图像相关联地输出。

因此，根据第一实施例的图像检索装置，可以推荐与待处理图像中包含的物品不同类别的商品，相对待处理图像中包含的物品成为最佳组合的商品。

[第二实施例]

在第一实施例中，已经描述了在组合候选计算画面1800上逐个指定待处理图像的情况。然而，可以同时指定多个待处理图像。

此外，上述第一实施例描述在组合候选计算画面1900中，将对于待处理图像中包括的商品成为最佳组合的商品指定为一个类别。但是，也可以构成为对于待处理图像中包括的商品成为最佳组合的商品指定为多个类别。

此外，上述第一实施例描述在组合候选计算画面1900中，指定与待处理图像中包括的商品组合的商品的大小分类。然而，在条件指定区域1901中指定的项目不限于大小分类，也可以构成为能指定诸如“面向成年人”、“面向小孩”的项目。

这样，通过提高组合候选计算画面的操作性，卖方141可以更容易地检索商品的各种组合。

[第三实施例]

在第一和第二实施例中，以图18A和图18B以及图19A和19B为例，描述分析单元403经由组合候选计算画面执行的各种功能。然而，由分析单元403经由组合候选计算画面执行的功能不限于图18A和图18B以及图19A和19B所示的那些例子。

例如，也可以在分析单元403中设置打印输出单元，其经由组合候选计算画面执行以下那样的打印输出操作。在一个示例中，该操作包括从商品图像存储单元414读取属于在条件指定区域1801中输入的大分类(上装)和小分类(衬衫)的商品的商品图像，计算各商品图像包含的商品的所有评价值，生成图(第一图)，打印输出该图。在另一示例中，该操作包括从商品图像存储单元414读取属于在条件指定区域1901中输入的大分类(下装)的商品的商品图像，计算各商品图像中包含的商品的所有评价值，生成图(第二图)，打印输出该图。

执行所述两个操作印刷输出的图之中，某一方的图例如可以打印输出到作为打印介质的透明胶片上。结果，这两个图可以互相重叠浏览。

在通过以上两个操作打印输出的图上，可以清楚地表示所选择的商品图像1812以及关联图像1912、1913和1914。结果，卖方141可以以重叠多个图方式一边浏览一边确认商品图像1812与关联图像1912、1913和1914之间的关系。结果，卖方141可以在考虑其他关联图像之后生成用于商品目录151的组合商品图像132。

[变化]

在上述第一实施例中，描述通过卷积神经网络配置评价值学习单元1101和组合学习单元1102，但是，评价值学习单元1101和组合学习单元1102的配置不限于此。关于评价值学习单元1101，只需要具有从待处理图像能合适地输出待处理图像中包含的物品的评价值模式的学习功能即可。关于组合学习单元1102，只需要具有从待处理图像中包含的物品的评价值输出成为最佳组合的物品的评价值的学习功能即可。

在第一实施例中，服务器装置120和图像检索装置130分别配置，但是，服务器装置120和图像检索装置130也可以整体配置。也可以构成为在服务器装置120中实现图像检索装置130的部分功能。

在第一实施例中，图像检索装置130具有每个存储单元(第一学习信息存储单元411，第二学习信息存储单元412，学习结果存储单元413和商品图像存储单元414)。然而，每个存储单元也可以由与图像检索装置130分开的外部装置提供。

在第一实施例中，形成销售系统100，其将图像检索装置130与服务器装置120和打印装置150连接，对于顾客111通过服务器装置120提供销售服务，通过打印装置150提供商品目录。然而，具有图像检索装置130的系统不限于此，也可以形成提供销售服务和商品目录之一的系统(例如，通过打印装置150提供商品目录的商品目录生成系统)。

本发明不限于在此描述的配置，例如在以上实施例中提到的配置中，可以在不脱离本发明的精神和范围的情况下进行改变，可以根据其应用形式适当地确定。

本发明可以以任何方便的形式实现，例如使用专用硬件，或专用硬件和软件的混合。本发明可以实现为由一个或多个联网处理设备实现的计算机软件。处理设备可以为任何适当编程的设备，例如通用计算机，个人数字助理，移动电话(例如WAP或3G兼容电话)等。由于本发明可以实现为软件，因此本发明的每个方面都包含可在可编程设备上实现的计算机软件。可以使用诸如记录介质的任何常规载体介质将计算机软件提供给可编程设备。载体介质可以是瞬态载体介质，例如携带计算机代码的电、光、微波、声学、或射频信号。这种瞬态介质的示例是在IP网络(例如因特网)上承载计算机代码的TCP/IP信号。载体介质还可以包括用于存储处理器可读代码的存储介质，例如软盘、硬盘、CDROM、磁带设备、或固态存储设备。

所描述的实施例的每个功能可以由一个或多个处理电路或电路实现。处理电路包括编程处理器，因为处理器包括电路。处理电路还包括诸如专用集成电路(ASIC)，DSP(数字信号处理器)，FPGA(场可编程门阵列)之类的设备以及用于执行所述功能的传统电路部件。

本专利申请基于并根据35U.S.C.§119(a)要求于2018年5月28日向日本专利局提交的日本专利申请Nos.2018-101852的优先权,其全部公开内容通过引用作为参考。

附图标记列表

100 销售系统

110 移动终端

120 服务器装置

130 图像检索装置

140 终端

150 印刷装置

112 顾客图像

113 推荐商品图像

132 组合商品图像

401 信息获取单元

402 学习单元

403 分析单元

404 销售图像生成单元

501 图像信息获取单元

502 评价值输入单元

503 图生成单元

600 第一学习信息

800 第二学习信息

900 第二学习信息

1000 商品图像信息

1101 评价值学习单元

1102 组合学习单元

1701 指令单元

1702 处理对象获取单元

1703 组合候选计算单元

1704 推荐候选计算单元

1800、1900 组合候选计算画面

1910 组合候选计算结果画面

2410 销售服务画面

2420 推荐服务画面

2610 推荐商品画面

Claims (14)

1.一种图像检索装置，包括：

获取单元，配置为获取待处理图像，所述待处理图像包括至少一个物品；以及

特定单元，从分别属于与所述待处理图像包含的物品所属的类别为不同的特定类别的多个商品的商品图像中，特定具有与所述物品的评价值存在预定关系的评价值的商品的商品图像，作为与所述待处理图像相关联的关联图像。

2.根据权利要求1所述的图像检索装置，其中，

所述特定单元在图上，在由所述商品图像的所述商品的所述评价值所确定的位置处，绘制所述待处理图像，

所述图已绘制属于与所述待处理图像中所包含的物品所属的类别相同类别的一种或多种商品的图像。

3.根据权利要求2所述的图像检索装置，

其中，所述图具有由从多个指标中选择的两个不同指标定义的坐标系。

4.根据权利要求1至3中的任一项所述的图像检索装置，其中，所述特定单元配置为：

获取通过学习属于与所述商品所属的类别相同的第一类别的商品的过去图像和该商品的评价值之间的关系而获得的评价值学习结果，使用所获取的评价值学习结果，计算所述待处理图像中所包含的所述物品的评价值；以及

获取通过学习属于与所述商品所属的类别不同的第二类别的商品的过去图像和该商品的评价值之间的关系而获得的评价值学习结果，使用所获取的评价值学习结果，计算所述商品图像中包含的商品的评价值。

5.根据权利要求4所述的图像检索装置，其中，所述特定单元配置为：

使用包含属于所述第一类别的物品和属于所述第二类别的物品的参照图像，

获取通过学习属于所述参照图像中包含的第一类别的物品的评价值与属于所述参照图像中包含的第二类别的物品的评价值之间的关系而获得的组合学习结果，以及

使用获取的组合学习结果，特定所述关联图像。

6.根据权利要求1至5中的任一项所述的图像检索装置，其中，所述获取单元获取所述多个商品图像的任意一个，作为所述待处理图像。

7.根据权利要求1所述的图像检索装置，其中，所述预定关系表示所述商品图像的评价值与所述待处理图像中所包含的物品的评价值能够最佳地组合。

8.根据权利要求1至7中任一项所述的图像检索装置，其中，所述获取单元获取从顾客终端发送来的顾客图像的一部分，作为待处理图像。

9.根据权利要求1至8中任一项所述的图像检索装置，其中，

所述特定单元根据输入的类别确定特定类别。

10.根据权利要求1所述的图像检索装置，进一步包括：

打印输出单元，配置为打印输出第一图以及第二图，在所述第一图中，在与所述商品的评价值相对应的位置处，绘制与属于待处理图像中所包含的物品所属的类别相同的类别的商品的商品图像，在所述第二图中，将属于特定类别的商品的商品图像绘制在与该商品的评价值相对应的位置。

11.根据权利要求10所述的图像检索装置，其中，所述打印输出单元将透明胶片指定为记录介质，在该记录介质记录所述第一图和所述第二图中的一个。

12.一种商品目录生成系统，包括：

根据权利要求1至9中任一项所述的图像检索装置；以及

打印装置，配置为打印输出包含待处理图像和所述特定的关联图像的销售图像，作为商品目录。

13.一种图像检索方法，包括：

获取待处理图像，所述待处理图像包括至少一个物品；

从分别属于与所述待处理图像包含的物品所属的类别为不同的特定类别的多个商品的商品图像中，特定具有与所述物品的评价值存在预定关系的评价值的商品的商品图像，作为与所述待处理图像相关联的关联图像；以及

相互关联地输出待处理图像和特定的关联图像。

14.一种记录介质，存储有计算机可读代码，其用于控制计算机系统执行权利要求13的图像检索方法。

Images