CN103678445B - 图像合成系统、图像处理设备和图像处理方法 - Google Patents

Abstract

本发明提供了图像合成系统、图像处理设备和图像处理方法。根据本发明的图像处理设备包括：图像获取单元，其从图像管理服务器中获取多幅图像；图像分析单元，其分析所获取的图像以确定其评价值；分组单元，其基于所获取图像的附属信息将所获取的图像分成多个组；组选择单元，其从多个组中选择包括以操作信息作为附属信息的图像的组；图像选择单元，其基于评价值和操作信息从所选组包括的图像中选择图像；和图像布置单元，其以预定的布局布置所选择的图像，以生成合成图像。

Description

图像合成系统、图像处理设备和图像处理方法

技术领域

本发明涉及可利用存储在提供云服务的服务器的存储器中的用户图像生成诸如相簿或拼贴版画的合成图像，并且可将生成的合成图像提供给用户的图像合成系统、图像处理设备和图像处理方法。

背景技术

目前，社交网络服务(SNS)、在线存储服务等以云服务为人熟知，在这些服务中，用户图像通过诸如互联网的网络存储在服务器的存储器中。

SNS是一种社交类型的网络服务，其旨在使用户彼此通信并具有例如允许用户共享和观看(或发布)由用户通过网络上传到服务器的图像的功能等。

在线存储服务是一种将服务器的存储器(磁盘空间)出借给用户的服务，通过这种服务用户可通过网络将图像上传到服务器或从服务器下载图像。

在诸如SNS或在线存储服务的云服务中，利用存储在服务器的存储器中的用户图像生成诸如相簿或拼贴版画的合成图像，并将该合成图像提供给用户。

这里，相簿是一种生成图像集的服务，其中选自用户图像的预定数量的图像按照预定布局布置在预定数量的页面中。

拼贴版画是一种生成合成图像的服务，其中选自用户图像的预定数量的图像按照预定布局布置在单个页面中。

例如，在本发明相关的领域中，JP 2009-265886 A、JP 2006-120076 A、JP 2004-70614 A和JP 2004-246868 A作为技术文献为人熟知。

JP 2009-265886 A公开了一种通过网络将图像提供给多个信息处理设备的图像管理设备，其中针对每个访问者单独设置对高度引起访问者爱好的图像的行为模式，从提供的图像中取出访问者对其的先前操作历史与所设置的该访问者的行为模式对应的图像，并且将取出的图像显示在屏幕上，或者针对每个访问者单独地生成包括取出的图像的相簿数据(book data)。

JP 2006-120076 A公开了一种图像处理方法，其通过以下步骤生成相册：将挑选人员的“喜爱程度”作为挑选关键字添加到每幅图像；挑选属于同一类别的多幅图像；用预定的多个相册模板设置相册的各页面；以及基于添加的“喜爱程度”提取和布置将被布置在设置的相册中的照片。

JP 2004-70614A公开了一种控制通过通信线路连接至多个终端的图像处理服务器的方法，其中存储包括从终端接收的多个图像的至少一个图像组，计数和存储与从终端接收的图像中的特定图像组中的特定图像相关的选票信息，以及基于选票信息的计数结果生成将在可接入图像处理服务器的终端或其它终端上显示的显示信息。

JP 2004-246868 A公开了一种从多幅图像中提取预定数量的图像的图像提取方法，其中通过以下步骤生成相册：针对所述多幅图像，按次序输入“喜爱程度”作为用户对一图像的评价值；基于输入的“喜爱程度”从所述多幅图像中提取预定数量的图像；以及将提取的图像布置在相册的每一页。

JP 2009-265886 A、JP 2006-120076 A、JP 2004-70614 A和JP 2004-246868 A各自描述了基于喜爱程度从多幅图像中选择预定数量的图像，并且显示选择的图像或者利用选择的图像生成相簿。

不过，由于使用诸如SNS或在线存储服务的云服务上传的图像不是用户针对诸如相簿或拼贴版画的合成图像准备的图像，因此其中可能混有不适用于合成图像的图像。

发明内容

本发明的一个目的是提供使用图像的附属信息来生成使用户具有较高满意度的诸如相簿或拼贴版画的合成图像的图像合成系统、图像处理设备和图像处理方法。

为了实现上述目的，本发明提供了一种图像处理设备，其利用存储在图像管理服务器中的多幅图像生成合成图像，所述设备包括：

图像获取单元，其从图像管理服务器中获取多幅图像；

图像分析单元，其分析所获取的每幅图像以确定其评价值；

分组单元，其基于所获取的每幅图像的附属信息将所获取的图像分为多个组；

组选择单元，其从所述多个组中选择预定数量的包括以操作信息作为附属信息的图像的组，所述操作信息是用户对所获取的每幅图像执行的操作的信息并且被添加到每幅图像中；

图像选择单元，其基于评价值和操作信息中的至少一项从所选组包括的图像中选择预定数量的图像；和

图像布置单元，其以预定的布局布置所选择的预定数量的图像，以生成合成图像。

另外，本发明提供了一种利用存储在图像管理服务器中的多幅图像生成合成图像的图像处理方法，包括以下步骤：

从图像管理服务器中获取多幅图像；

分析所获取的每幅图像以确定其评价值；

基于所获取的每幅图像的附属信息将所获取的图像分为多个组；

从所述多个组中选择预定数量的包括以操作信息作为附属信息的图像的组，所述操作信息是用户对所获取的每幅图像执行的操作的信息并且被添加到每幅图像中；

基于评价值和操作信息中的至少一项从所选组包括的图像中选择预定数量的图像；和

以预定的布局布置所选择的预定数量的图像，以生成合成图像。

另外，本发明提供了一种图像合成系统，包括：

图像管理服务器；以及

根据权利要求1所述的图像处理设备，其利用存储在图像管理服务器中的多幅图像生成合成图像。

根据本发明的图像处理设备基于图像的附属信息从通过对多幅图像分组所获得的多个组中选择包括添加有操作信息的图像的组，基于评价值和操作信息从所选组包括的图像中选择预定数量的图像，并使用所选择的图像生成合成图像。根据本发明，由于使用操作信息生成了合成图像，因此能够生成使用户具有较高满意度的合成图像。

附图说明

图1是示出根据本发明的图像合成系统的构造的实施例的概念示图。

图2是示出图像处理服务器的构造的第一实施例的框图。

图3是示出图像处理服务器的构造的第二实施例的框图。

图4是示出合成图像生成单元的构造的框图。

图5是将在线相册的图像分为多个组的状态的概念示图。

图6是示出从多个组中选择包括添加有操作信息的图像的组的状态的概念示图。

图7是示出从日期与所选组相同的多个组中选择第一附加组的状态的概念示图。

图8是示出从日期与所选组最接近的组中选择第二附加组的状态的概念示图。

图9是示出组1和组2的概念示图，组1中的图像数量为15并包括添加有操作信息的10幅图像，组2中的图像数量为最大图像数量20并包括添加有操作信息的单幅图像。

图10是示出包括最大数量的图像的组2中的20幅图像被分为10幅图像的两组的状态的概念示图。

图11是示出包括最大数量的添加有操作信息的图像的组1中的15幅图像被分为8幅图像和7幅图像两组的状态的概念示图。

图12是示出通过图像分析单元执行的图像分析处理的概念示图。

具体实施方式

在下文中，将参照在附图中示出的优选实施例详细描述根据本发明的图像合成系统、图像处理设备和图像处理方法。

图1是示出根据本发明的图像合成系统的构造的实施例的概念示图。附图中所示的图像合成系统10是这样一种系统：其结合诸如SNS或在线存储服务的云服务利用用户上传到服务器的图像自动生成诸如相簿或拼贴版画的合成图像并将合成图像提供给用户，并且结合在线结算系统或在线订单接收系统将生成的合成图像作为虚拟产品或真实产品售卖和为生成的合成图像结算账单。

这里，虚拟产品是利用多幅图像的图像数据(数字数据)生成的诸如相簿或拼贴版画的合成图像的图像数据(数字数据)。通过诸如互联网的网络24下载和售卖虚拟产品，或者，虚拟产品在生产工厂22中记录在诸如CD或DVD的记录介质上，并且将记录介质配送给用户。

另一方面，真实产品是基于虚拟产品的图像数据生成的作为真实物体的诸如相簿或拼贴版画的合成图像。真实产品在生产工厂22中生产并配送给用户。

虚拟产品和真实产品不限于付费产品，而是包括免费产品。

如图1所示，图像合成系统10包括用户终端12、图像管理服务器14、图像处理服务器16(根据本发明的图像处理设备的实施例)、结算服务器18和订单接收服务器20。

用户使用用户终端12将用户处理后的图像(例如，照片)通过网络24从用户终端12上传到图像管理服务器14、将上传到图像管理服务器14的图像或通过图像处理服务器16生成的合成图像通过网络24下载到用户终端12、观看图像或合成图像、以及订购虚拟产品或真实产品。

例如，用户终端12是诸如移动电话或智能电话的移动终端、台式PC(个人计算机)、笔记本PC或平板PC。

在示出的实例中，仅示出了单个用户终端12以避免附图复杂，但是实际上，提供了利用图像合成系统10的用户具有的多个用户终端12。

图像管理服务器14用于通过网络24将诸如SNS或在线存储服务的云服务提供给用户，并包括存储器26。

图像管理服务器14存储和管理从用户终端12经网络24上传到存储器26中的图像，并将存储在存储器26中的图像或者从图像处理服务器16获取的诸如相簿或拼贴版画的合成图像经网络24提供至用户终端12。

图像管理服务器14并不是一定要提供云服务。

另外，图像管理服务器14可以以诸如如在线相册的相册格式(文件夹格式)、利用日期的存储格式和其它存储格式的多种图像存储格式存储多幅图像。

在该实施例中，其中图像合成系统10与SNS的图像管理服务器14协作的情况称为SNS式，并且其中图像合成系统10与在线存储服务的图像管理服务器14协作的情况称为存储器式。

云服务不限于SNS或在线存储服务，还可以包括将用户图像经网络24上传到图像管理服务器14和将上传的图像存储在存储器26中的多种服务。

图像处理服务器16用于利用存储在图像管理服务器14的存储器26中的图像生成诸如相簿或拼贴版画的合成图像(其图像数据)，并包括存储器28。

在该实施例中，图像处理服务器16针对存储在图像管理服务器14的存储器26中的每个在线相册生成合成图像并将生成的合成图像存储在存储器28中。

另外，图像处理服务器16从用户终端12接收到来自用户的针对虚拟产品或真实产品的订单，并管理存储在存储器28中的合成图像的有效期。

将在稍后描述图像处理服务器16的细节。

结算服务器18用于响应于用户的在线订单执行结算处理。现有的在线结算系统可用作结算服务器18。

订单接收服务器20用于响应于用户的在线订单执行订单接收处理。现有的在线订单接收系统可用作订单接收服务器20。

将在下面描述图像处理服务器16的细节。

图2是第一实施例的框图，示出了图像处理服务器的构造。附图中示出的图像处理服务器16是SNS式，并包括图像获取单元29、合成图像生成单元30、合成图像管理单元32、订单接收单元34和产品合成单元36。

SNS具有这样的特征，其中图像非常频繁地上传，以使得一个用户允许其它用户观看这些图像(与其它用户共享图像)。用户在特定时间段内上传的一组图像被称为在线相册。当上传新的图像或上传的图像发生变化时，SNS式图像合成系统10通过在线相册实时生成合成图像并将生成的合成图像提供给用户终端12。

当用户将新图像上传至图像管理服务器14或添加、删除或编辑存储在图像管理服务器14的存储器26中的在线相册中的图像时，图像获取单元29从图像管理服务器14接收图像改变的通知并从图像管理服务器14的存储器26中获取包括在关注的在线相册中的图像。

合成图像生成单元30用于针对包括已改变图像的每个在线相册利用获取的图像实时生成诸如相簿或拼贴版画的合成图像。

针对包括已改变图像的每个在线相册，合成图像生成单元30从图像管理服务器14的存储器26中获取该在线相册中包括的所有图像。合成图像生成单元30分析和评价各获取的图像、基于它们的评价值选择用于合成图像的多幅图像并排布选择的图像以生成合成图像。当合成图像的生成结束时，合成图像生成单元30将生成的合成图像存储在存储器28中并通知图像管理服务器14合成图像的生成已结束。

当用户删除在线相册中包括的所有的图像时，合成图像生成单元30删除与在线相册对应的合成图像。

将在稍后描述合成图像生成单元30的细节。

合成图像管理单元32用于管理存储在存储器28中的合成图像。

合成图像管理单元32管理合成图像的有效期。当假设从存储器28中删除在合成图像存储在存储器28中之后的一定时间段(例如两周)内未被订购的合成图像时，合成图像管理单元32正好在该合成图像的有效期之前例如利用SNS的通知功能或电子邮件将指示从存储器28删除合成图像的日期和时间的提醒通知到用户终端12。

另外，合成图像管理单元32例如在其中图像处理服务器16的负载较低的夜晚通过批处理删除过期的合成图像，并将过期合成图像的删除通知给用户终端12。

当存在包括违背公共秩序和道德的图像的相册并且假设图像管理服务器14的操作员删除这样的图像并将所述删除通知给图像处理服务器16时，合成图像管理单元32管理合成图像生成单元30以使得单元30可新生成合成图像，并基于删除违背公共秩序和道德的图像的通知收集和管理关于每个用户生成了多少合成图像、每个用户购买了多少产品等的统计信息。

订单接收单元34从用户终端12接收针对虚拟产品或真实产品的用户订单。

订单接收单元34在用户终端12的显示器上显示用于输入结算信息的画面，获取结算信息(诸如指示用户订购的虚拟产品或真实产品和产品数量的订购信息；诸如信用卡支付、货到付款、和银行转账的支付信息；指示配送订购的产品所用的运输公司的配送信息；和诸如用户地址、用户名称和电话号码的用户信息)并将获取的结算信息和结算指令通知到结算服务器18。

当订购结束时，订单接收单元34通知图像管理服务器14订购已结束。

当从结算服务器18接收到结算已结束的通知时，产品合成单元36利用用户订购的在线相册中包括的图像和在线相册的合成图像的图像数据合成用户订购的虚拟或真实产品(其图像数据)。

在该实施例中，当图像从用户终端12上传到图像管理服务器14中时，图像管理服务器14根据上传的图像生成具有不同分辨率的多幅图像(例如，具有五种不同分辨率的图像)并将生成的图像存储在存储器26中。

在虚拟产品的情况下，由于仅需要在用户终端12的屏幕上观看虚拟产品，因此产品合成单元36例如用640×480像素图像作为输入执行输出800×600像素图像的合成处理。

另一方面，在经受卤化银印刷的真实产品的情况下，产品合成单元36例如利用图像校正工具执行图像校正处理，然后利用具有高分辨率(与虚拟产品的情况相比)的1024×768像素图像作为输入执行输出具有高分辨率(与虚拟产品的情况相比)的3000×2000像素图像的合成处理。

产品合成单元36将合成的虚拟产品或真实产品的图像数据、结算信息和订购指令通知到订单接收服务器20。

接下来，下面将描述图1和图2中所示的SNS式图像合成系统10的操作。

首先，用户从用户终端12将一幅或多幅图像(其图像数据)经网络24上传到图像管理服务器14。

图像管理服务器14接收在特定时间段内从用户终端12上传的一系列图像，将接收的图像作为在线相册存储到存储器26中，并将存储器26中图像的变化通知到图像处理服务器16。

当上传的图像存储在图像管理服务器14的存储器26中时，针对每个在线相册，用户可利用用户终端12随时观看在线相册中包括的图像。

在SNS网站中，例如，将在线相册的代表性图像的缩略图显示为用户上传的在线相册列表。

当用户用诸如鼠标的输入装置点击在线相册列表中的一个在线相册时，各图像的缩略图显示为点击的在线相册中包括的各图像的列表。

随后，在图像处理服务器16中，当从图像管理服务器14中接收到图像变化的通知时，针对新上传的每个在线相册，合成图像生成单元30利用在线相册中包括的图像实时生成诸如相簿或拼贴版画的合成图像。合成图像生成单元30将生成的合成图像存储在存储器28中并通知图像管理服务器14合成图像的生成已结束。

随后，当从图像处理服务器16接收到合成图像的生成已结束的通知时，图像管理服务器14例如利用SNS的动态消息(news-feed)功能将所述通知通知到用户终端12。

当用户利用诸如鼠标的输入装置在用户终端12的显示器上显示的动态消息列表中点击对应于所述合成图像的生成已结束的通知的消息时，图像管理服务器14从图像处理服务器16的存储器28中获取对应于合成图像的生成已结束的通知的合成图像，并将获取的合成图像显示在用户终端12的显示器上。

也就是说，当用户上传图像时，针对每个在线相册，用户可观看利用在线相册中包括的图像实时地生成的诸如相簿或拼贴版画的合成图像。

在SNS中，可设置上传到图像管理服务器14的图像的发布范围(设置共享所述图像的用户)。相似地，针对合成图像，可设置合成图像的发布范围，并且合成图像可发布给多个用户(在用户间共享)。

用户可将新图像添加到在线相册，对在线相册中包括的现有图像进行诸如删除、旋转和校正(色彩调整、修正等)等的编辑、改变相册的封面图像、改变在线相册的标题或说明文本等。

例如，当用户改变存储器26中的在线相册中存储的图像时，图像管理服务器14将存储器26中的图像的改变通知到图像处理服务器16。

这里，图像改变的通知不仅包括图像的改变，而且包括相册的封面图像的改变、在线相册的标题或说明文本的改变等。

在图像处理服务器16中，当从图像管理服务器14接收到图像改变的通知时，合成图像生成单元30针对包括改变的图像的每个在线相册再次实时地生成合成图像。合成图像生成单元30将再次生成的合成图像存储在存储器28中，并通知图像管理服务器14合成图像的再次生成已结束。

图像管理服务器14的后续操作与上述的相同。

也就是说，当在线相册中包括的图像改变时，再次实时地生成对应于改变的图像的合成图像并将其显示在用户终端12的显示器上。

当针对用户对图像的每次编辑再次生成合成图像时，服务器的负载变得非常大。因此，优选的是，例如，在其中编辑所有图像的操作结束的步骤中，当用户利用诸如鼠标的输入装置点击在图像编辑画面显示在用户终端12的显示器上的同时所显示的合成图像更新按钮时，合成图像生成单元30再次生成合成图像，而不是自动再次生成合成图像。

在这种情况下，在用户想要再次生成合成图像时，用户可通过按下合成图像更新按钮来显示更新的合成图像。当用户不想显示更新的合成图像时，用户不需要按下更新按钮。

另一方面，作为后端处理，当服务器的负载低(诸如在夜晚)时，合成图像生成单元30可将不反映在线相册的最新状态的合成图像自动更新为反映在线相册的最新状态的合成图像。

此外，优选的是，当图像管理服务器14的操作员通知图像处理服务器16删除了违背公共秩序和道德的图像时，合成图像生成单元30更新包括删除的图像的在线相册的合成图像。

在图像处理服务器16中，合成图像管理单元32将指示正好在合成图像的有效期之前将从存储器28删除合成图像的日期和时间的提醒通知到用户终端12。

当从图像处理服务器16接收到指示接近有效期的提醒时，用户正好在在线相册的虚拟产品或真实产品的有效期之前确定是否订购在线相册的虚拟产品或真实产品。然后，用户可利用诸如鼠标的输入装置通过点击在合成图像显示在用户终端12的显示器上的同时所显示的订购按钮在显示器中订购在线相册的虚拟产品或真实产品。

这里，当在编辑在线相册中的图像时生成反映在线相册的最新状态的合成图像时，在订购时不执行合成图像的再次生成，并且将在编辑的过程中更新的合成图像作为用于订单确认的合成图像显示在用户终端12的显示器上。

另一方面，当用户在编辑在线相册中的图像之后尚未点击合成图像更新按钮时，也就是说，当未在合成图像中反映在线相册的最新状态时，在订购时执行合成图像的再次生成，并且将在订购时更新的合成图像作为用于订单确认的合成图像显示在用户终端12的显示器上。

随后，当用户利用鼠标等点击显示在用户终端12的显示器上的订购按钮时，图像处理服务器16中的订单接收单元34在用户终端12的显示器上显示用于输入结算信息的画面，并获取包括订购信息、支付信息、配送信息、用户信息等的结算信息。然后，当用户点击最终订单的确认按钮时，订单接收单元34将获取的结算信息和结算的指令发送到结算服务器18，并通知图像管理服务器14订购已结束。

图像管理服务器14从图像处理服务器16中接收订购结束的通知，并管理订购历史。用户可在用户终端12的显示屏幕上随时观看订购历史。

当从图像处理服务器16中接收到结算信息和结算的指令时，结算服务器18利用结算信息对用户的订单执行结算处理。也就是说，响应于用户的订购，从结算服务器18至订单接收服务器20在线执行产品购买款的支付。当结算处理结束时，结算服务器18通知图像处理服务器16结算处理已结束。

随后，当从结算服务器18接收到结算处理已结束的通知时，图像处理服务器16的产品合成单元36合成用户订购的虚拟产品或真实产品。

产品合成单元36将合成的虚拟产品或真实产品的图像数据、结算信息和订购指令通知到订单接收服务器20。

当从图像处理服务器16接收到合成的虚拟产品或真实产品的图像数据、结算信息和订购指令的通知时，订单接收服务器20针对用户的订购执行订单接收处理。利用结算信息，订单接收服务器20在用户终端12的显示器上显示下载虚拟产品的画面，或者要求生产工厂22生产用于存储虚拟产品的图像数据的CD或DVD或者生产真实产品。

另外，从订单接收服务器20至生产工厂22在线执行支付用户订购的产品的生产费用，并且从订单接收服务器20至图像管理服务器14在线执行支付针对用户订购的许可使用费(royalty)。

当从订单接收服务器20接收到生产虚拟产品或真实产品的请求时，生产工厂22基于虚拟产品或真实产品的图像数据和结算信息生产产品并利用指定的运输公司将生产的产品配送给用户。

接下来，图3是第二实施例的框图，示出了图像处理服务器的构造。附图中示出的图像处理服务器16是存储器式，并包括图像获取单元38、合成图像生成单元40、合成图像管理单元42、订单接收单元44和产品合成单元46。

在在线存储器中，用户例如出于备份的目的上传图像。在存储器式图像合成系统10中，根据附着到图像的Exif等的标签信息(附属信息)，基于各种条件(诸如日期、主题和诸如暑假的事件)对图像进行分类(分组)。积累图像并在特定类图像到达预定数量(例如，30或更多)的时间点生成合成图像并根据类别将其提供到用户终端12。

图像获取单元38用于周期性地(例如，三天一次)执行获取存储在图像管理服务器14的存储器26中的图像的同步处理，并包括存储器48和50。

图像获取单元38从图像管理服务器14的存储器26获取图像，选择性地改变图像的分辨率，并将图像存储在存储器48中。另外，图像获取单元38从获取的图像中提取标签信息，并将提取的标签信息存储在存储器50中。

标签信息附着至每幅图像。除通过图像拍摄装置自动附着到图像的诸如图像的拍摄日期和时间、图像尺寸和图像拍摄装置的类型的标签信息之外，用户可利用诸如键盘的输入装置输入任意标签信息。例如，任意标签信息包括诸如生日、运动会日等的事件信息；诸如家庭、朋友等的人员信息；和指示用户喜爱的图像的喜爱信息。图像获取单元38可针对每次同步处理再次获取所有图像，但考虑到同步处理的负载，优选的是，仅获取在先前同步处理之后改变的图像。

与SNS式图像处理服务器16的合成图像生成单元30相似，合成图像生成单元40针对其中存储在存储器50中的标签信息满足预定条件的每个在线相册，利用存储在存储器48中的在线相册中包括的图像生成合成图像。

例如，基于标签信息，合成图像生成单元40生成包括生日图像的在线相册的合成图像，或生成包括家庭图像的在线相册的合成图像。

合成图像管理单元42、订单接收单元44和产品合成单元46分别与SNS式图像处理服务器16的合成图像管理单元32、订单接收单元34和产品合成单元36相同。

接下来，将在以下描述图1和图3中所示的存储器式图像合成系统10的操作。

用户将一幅或多幅图像(其图像数据)从用户终端12经网络24上传至图像管理服务器14。

图像管理服务器14接收在特定时间段内从用户终端12上传的一系列图像，并将接收的图像作为在线相册存储在存储器26中。

在图像处理服务器16中，图像获取单元38针对每个在线相册执行周期性地获取存储在图像管理服务器14的存储器26中的图像以及将图像和标签信息分别存储在存储器48和50中的同步处理。

合成图像生成单元40针对标签信息满足预定条件的每个在线相册来利用存储在存储器48中的在线相册中包括的图像生成合成图像。然后，合成图像生成单元40将生成的合成图像存储在存储器28中，并通知图像管理服务器14合成图像的生成已结束。

当从图像处理服务器16接收到合成图像的生成结束的通知时，图像管理服务器14例如利用电子邮件将所述通知通知到用户终端12。

当用户利用诸如鼠标的输入装置点击(选择)电子邮件中描述的合成图像的链接时，图像管理服务器14从图像处理服务器16的存储器28获取合成图像并将获取的合成图像显示在用户终端12的显示器上。

后续操作与SNS式图像合成系统10的操作相同。

接下来，将在以下描述合成图像生成单元30的细节。

针对合成图像生成单元40也一样。

图4是示出合成图像生成单元的构造的框图。附图中示出的合成图像生成单元30包括图像分析单元54、分组单元56、组选择单元58、再分组单元60、图像选择单元62和图像布置单元64。

在合成图像生成单元30中，图像分析单元54分析通过图像获取单元29获取的在线相册中包括的每幅图像，以确定其评价值。

稍后将描述图像分析单元54的细节。

分组单元56基于各个获取的图像的附属信息将通过图像获取单元29获取的在线相册中的多幅图像分为多个组。

当将拍摄日期和时间用作附属信息时，分组单元56将获取的在线相册中的多幅图像分为多个组，以使得具有相对长的拍摄时间间隔的两幅图像可被包括在不同的组中。

在图5中示出的实例中，基于拍摄日期和时间，将多幅图像分为以下组：在2月23日拍摄的组、在4月2日10：00及以后拍摄的组、同一日在12：00及以后拍摄的组、同一日在14：00及以后拍摄的组、在4月3日拍摄的组、在4月5日拍摄的组、在7月12日拍摄的组……。

当将拍摄位置用作附属信息时，分组单元56根据拍摄位置将多幅图像分为多个组。可利用拍摄日期和时间或拍摄位置以外的附属信息将图像分组。

随后，组选择单元58从所述多个组中选择预定数量的组，这些被选组中包括添加了用户对每幅图像执行的操作的操作信息作为每幅图像的附属信息的图像。

在图6所示的实例中，选择在4月2日12：00及以后拍摄的组、同一日在14：00及以后拍摄的组、在7月12日拍摄的组……(包括用粗框显示的图像的组)。在附图中，有星号标记的图像是添加有操作信息作为附属信息的图像。

这里，操作信息的实例包括：附加信息，诸如用户添加到图像的“喜欢”(喜爱信息)和“评论”；评价信息，诸如用户添加到图像的5级重要水平；用户添加到图像的标签信息；用户对图像执行编辑的编辑信息；图像(如作为数码相机印刷品而订购的图像或用于相簿的图像)的订购信息；和图像的观看信息(如观看频率及观看时间)。当图像被发布(共享)时，该观看信息包括除了将该图像上传至图像管理服务器14的用户(图像拥有者)的观看信息之外还包括其他用户(图像共享者)的观看信息。

例如，如果用户利用诸如鼠标的输入装置点击显示有图像的网页中与图像相关联显示的按钮“喜欢”，则附加信息“喜欢”就被添加到SNS中的用户的喜爱图像中。相似地，如果用户利用诸如键盘的输入装置在显示有图像的网页中与图像相关联显示的评论输入框中写评论，则附加信息“评论”被添加到SNS中的例如用户想要对其写评论的图像。

这里，当所有所选组中包括的图像的数量等于或大于推荐的图像数量时，组选择单元58结束处理。

例如，可利用16幅图像生成16页的相簿，但在这种情况下在一页中布置一幅图像，这导致吸引力较差。因此，为了提高相簿的吸引力(为了在一页中布置多幅图像)，定义将被推荐的图像数量(推荐的图像数量)。例如，当在每一页中布置四幅图像时，推荐的图像数量是4幅图像×16页＝64。

另一方面，当所有所选组中包括的图像的数量小于推荐的图像数量时，组选择单元58从相同日期的组(未添加有操作信息的组)中选择预定数量的第一附加组作为所选组。

在图7所示的实例中，从与首先选择的组相同的在4月2日拍摄的三个组中选择在10：00及以后拍摄的组(由虚线包围)。第一附加组可选自与另一所选组日期相同的组，如7月12日拍摄的组。

这里，当包括第一附加组的迄今选择的所有组中包括的图像的数量等于或大于推荐的图像数量时，组选择单元58结束处理。

另一方面，当包括第一附加组的迄今选择的所有组中包括的图像的数量小于推荐的图像数量时，组选择单元58从与所选组在日期(拍摄日期和时间)上最接近的组(未添加有操作信息的组)中选出预定数量的第二附加组。

在图8所示的实例中，选择了与所选择的在4月2日拍摄的组在日期上最接近的在4月3日拍摄的组(由虚线包围)。相似地，可从与另一所选组(诸如7月12日拍摄的组)在日期上最接近的组中选出第二附加组。

当包括目前选择的第一和第二附加组的所有的组中包括的图像数量等于或大于推荐的图像数量时，组选择单元58结束处理。

另一方面，当包括第一和第二附加组的迄今选择的所有的组中包括的图像数量小于推荐的图像数量时，组选择单元58从与所选择组在日期上第二接近的组(未添加有操作信息的组)中选出预定数量的第三附加组。然后，如果包括迄今选择的第一至第三附加组的所有的组中包括的图像数量小于推荐的图像数量，就重复地选择附加组直至包括迄今选择的第一至第三附加组的所有的组中包括的图像数量等于或大于推荐的图像数量为止。

推荐图像数量可以被提前确定为固定的值，例如，可以根据相簿的页数确定，或者可以根据相簿的页数和图像详情(适用于相簿的图像的数量)动态地确定。

在根据相簿的页数将推荐图像数量设定为一个固定值的情况下，例如，当页数为24并且每页布置两个图像时，则推荐图像数量为48。例如，当页数为32并且类似地每页布置两个图像时，推荐图像数量为64。即使页数和每页的图像数量变化，也可以同样的方式确定推荐图像数量。

在根据相簿的页数和图像详情(适用于相簿的图像数量)动态地确定推荐图像数量的情况下，根据页数来设置推荐图像数量的范围(上下限)，从通过图像选择单元62选择的预定数量的图像中提取不适用于相簿的图像(诸如较暗的图像、模糊图像及类似图像的图像)，并根据提取后剩余的适用于相簿的图像的数量来动态确定处在推荐数量范围内的推荐图像数量。

当要布置在相簿每页中的图像数量过大时，每幅图像的图像尺寸变小。相反，当图像的数量过小时，相簿的视觉质量变差。

因此，根据页数来设置推荐图像数量的范围(具有上限和下限)，使得各页的图像数量是恒定的。

当适用于相簿的图像数量等于或大于推荐图像数量范围的上限时，将推荐图像数量确定为该上限。当适用于相簿的图像数量处于推荐图像数量的范围内时，将推荐图像数量确定为适用于相簿的图像数量。不过，当适用于相簿的图像数量等于或小于推荐图像数量范围的下限时，对在相簿内使用不低于固定数量的图像赋予优先权，并将推荐图像数量确定为推荐图像数量范围的下限。

例如，如果相簿的页数为24，并且推荐图像数量的范围为40至60，当提取后剩余的适用于相簿的图像数量为65时，该数量超过了推荐图像数量范围的上限，则将推荐图像数量确定为60，即推荐图像数量范围的上限。当提取后剩余的适用于相簿的图像数量为48时，该数量落入推荐图像数量的范围内，由此将推荐图像数量确定为48，即适用于相簿的图像数量。当提取后剩余的适用于相簿的图像数量为34时，该数量小于推荐图像数量范围的下限，由此将推荐图像数量确定为40，即推荐图像数量范围的下限。在推荐图像数量的范围和提取后剩余的适用于相簿的图像数量变化的情况下，以上设置同样适用。

随后，再分组单元60根据相簿的页数将给定数量的所选组再分组。例如，当相簿的页数为10时，再分组单元60将所选组再分为10组。

例如，如图9所示，假设组1(包括最大数量的添加有操作信息的图像的组)中图像的数量为15，则组1中添加有操作信息的图像数量是10，组2(包括最大数量的图像的组)中的图像数量为20，并且组2中添加有操作信息的图像数量为1。

包括大量添加有操作信息的图像的组1是对用户来说重要的组，并且组1中的图像(即使未添加操作信息)的重要水平比其它组图像高。

因此，如图10所示，当将包括最大数量的图像的组2中的20幅图像分为各自包括10幅图像的两组时，将包括大量添加有操作信息的图像并具有更高重要水平的组1的图像充满相簿的一页。在附图中示出的实例中，当组1中添加有操作信息的图像的数量为10并且将被布置在相簿的一页中的图像数量为8时，组1中存在未用于相簿中的图像，即使所述图像添加有操作信息。

因此，当相簿的页数大于所选组的数量时，再分组单元60执行再划分处理以将添加有操作信息的图像的数量大于将布置在相簿的一页中的最大图像数量的组中的图像划分为两组，在这两组的图像之间具有最长的拍摄时间间隔。

优选的是，在通过再划分处理获得的组中的添加有操作信息的图像的数量等于或小于将被布置在相簿的一页中的最大图像数量之前，重复地执行再划分处理。

另外，当不存在其中添加有操作信息的图像的数量大于将被布置在相簿的一页中的最大图像数量的组时，包括最大数量的图像的组中的图像被划分为两组，在这两组的图像之间具有最长的拍摄时间间隔。

另一方面，当相簿的页数小于所选组的数量时，再分组单元60执行再组合处理，以将具有最短拍摄时间间隔的两组组合成一组。

这里，当通过再组合处理获得的组中添加有操作信息的图像的数量变得大于将被布置在相簿的一页中的最大图像数量时，不执行再组合处理，并且将具有第二最短拍摄时间间隔的两组组合为一组。

例如，在图9所示的实例中，再分组单元60将具有最大数量的添加有操作信息的图像的组1中的15幅图像划分为两组，即，包括8幅图像的组1-1和包括7幅图像的组1-2，如图11所示。

因此，具有高重要水平的组1的图像被划分为两组，并且因此获得的各组中的所有添加有操作信息的图像分别布置在相簿的两页中。

在通过组的再划分或再组合使得组中添加有操作信息的图像的数量大于将被布置在相簿的一页中的最大图像数量的情况下，上述考虑到添加有操作信息的图像执行再划分处理或再组合处理的原因是防止添加有操作信息的图像未被用于相簿的布局中。

当所选组的数量等于相簿页数并且组中添加有操作信息的图像的数量等于或小于将被布置在相簿的一页中的最大图像数量时，再分组单元60既不需要执行再划分处理也不需要执行再组合处理。

随后，针对每个再分组的组，图像选择单元62基于操作信息和评价值从相关组中包括的多幅图像中选出预定数量的图像。

例如，当将被布置在相簿的一页中的最大图像数量为8并且添加有操作信息的图像数量为8时，图像选择单元62选择所有添加有操作信息的图像。

当添加有操作信息的图像的数量在1至7的范围内时，图像选择单元62选择所有添加有操作信息的图像，并基于由图像分析单元54确定的评价值从该组中未添加有操作信息的图像中选出一幅或多幅图像，直到图像总数达到将被布置在相簿的一页中的最大图像数量为止。

当相关的组中不存在添加有操作信息的图像时，图像选择单元62基于通过图像分析单元54确定的评价值从该组中未添加有操作信息的图像中选出8幅图像。

在图11所示的实例中，选择组1-1的全部8幅图像，选择组1-2的全部7幅图像，从组2的20幅图像中选出8幅图像(其中包括一幅添加有操作信息的图像)。

随后，图像布置单元64按照预定的布局将预定数量的所选图像布置在相簿的对应页面中(也就是说，实现自动布局)以生成合成图像。

在图11所示的实例中，从每个组中选择的图像布置在两个对页中。

优选的是，图像布置单元64将从预定数量的所选图像中的添加有操作信息的图像中选出的图像布置在较大的区域(具有大的图像尺寸)内。

如上所述，合成图像生成单元30从多个组中选出包括添加有操作信息的图像的组，基于评价值和操作信息从所选组中包括的图像中选出预定数量的图像，并利用所选图像生成合成图像。

也就是说，由于图像处理服务器16利用包括附加信息(诸如“喜欢”或“评论”)的操作信息生成诸如相簿或拼贴版画的合成图像，例如，可生成具有更高的用户满意度的合成图像。

虽然以实例的方式描述了相簿的生成，但是拼贴版画的生成也是相同的。当生成拼贴版画时，例如，可生成与组选择单元58选择的组的数量相对应的拼贴版画并将其按次序呈现给用户。当生成拼贴版画时，可执行或可不执行通过再分组单元60进行的再分组。

可以考虑诸如“喜欢”和“评论”的附加信息的重要程度。例如，可以根据添加这些诸如“喜欢”和“评论”的附加信息的人员、“评论”的长度、对“评论”的回复、“喜欢”的添加频率、“喜欢”的添加次数等来设置重要程度。

关于添加这些诸如“喜欢”和“评论”的附加信息的人员，可以例如将朋友设为高重要程度，而将第三方设为低重要程度。

关于“评论”的长度，可以例如将长评论(字数大于等于预定字数的评论)设为高重要程度，而将短评论(字数小于等于预定字数的评论)设为低重要程度。

关于对“评论”的回复，可以例如当用户回复评论时设置高重要程度，而当没有用户回复评论时设置低重要程度。

关于“喜欢”的添加频率，可以例如当添加频率较低(也即从“喜欢”按钮被第一次点击之后到“喜欢”按钮被第二次点击之间的时间间隔较长)时设置高重要程度，这是因为可以认为是通过充分考虑才添加了“喜欢”。当添加频率较高时设置低重要程度，这是因为可以认为没有经过充分考虑就添加了“喜欢”。

关于“喜欢”的添加次数，当“喜欢”的添加次数较少(例如一个在线相册中仅有一幅图像被添加了“喜欢”)时设为高重要程度，例如一个在线相册中仅有一幅图像被添加了“喜欢”。当“喜欢”的添加次数较多(即当一个在线相册中的多幅图像被添加了“喜欢”)时设为低重要程度。

该重要程度不限于高低两级，还可以设置三级或更多级。例如，关于添加这些诸如“喜欢”和“评论”的附加信息的人员，可以对诸如家庭成员、朋友、熟人和第三方的多个类别给予分级的重要程度。对于其他因素也是如此。

例如，当组选择单元58选择组或者当图像选择单元62选择图像时，可以根据诸如“喜欢”和“评论”的附加信息的重要程度确定是否应当使用诸如“喜欢”和“评论”的附加信息。例如，当重要程度为低(或者重要程度设为多个级别并且为预定或较低时)，不使用诸如“喜欢”和“评论”的附加信息。

对诸如“喜欢”和“评论”的附加信息的重要程度的使用不限于在选择组或图像时。此外，不限于诸如“喜欢”和“评论”的附加信息，还可以根据操作信息的重要程度确定是否应当使用操作信息。

最后，将在下面描述图像分析单元54的细节。

如图12所示，图像分析单元54执行多个图像分析处理，包括，例如，脸部检测处理、亮度确定处理、色彩评价处理、模糊评价处理、事件分类处理和相似图像确定处理。

脸部检测处理是一种检测图像中包括的人的脸部(脸部区域)的数量、脸部尺寸、脸部朝向、脸部位置等的处理。

例如，作为脸部检测处理的结果，图像分析单元54确定其中具有大量脸部的图像、具有较大脸部尺寸的图像、脸部面向前的图像、脸部位于中央的图像等具有高重要水平，并将作为脸部检测处理的结果的评价值的脸部分数设为高。

亮度确定处理是一种评价例如整幅图像或预定区域(诸如在脸部检测处理中检测到的脸部区域)的图像亮度的处理。

图像分析单元54确定例如在作为亮度确定处理的脸部检测处理中检测到的脸部区域的亮度；当脸部区域的亮度合适时，将作为亮度确定处理的结果的评价值的亮度分数设为1.0；并当所述区域太亮或太暗时将亮度分数设为较低。

在上述方法中，由于仅可确定包括脸部的图像的亮度分数，例如，可如上述确定包括脸部的图像的亮度分数，并且可基于整幅图像的亮度确定结果确定不包括脸部的图像的亮度分数。

色彩评价处理是一种评价例如整幅图像或诸如脸部区域的预定区域的色调的处理。

例如当图像的色彩鲜艳时，图像分析单元54将作为色彩评价处理的结果的评价值的色彩分数设为相对高，并当图像色彩不鲜明或无色彩时将色彩分数设为相对低。将适度曝光的图像的色彩分数设为相对高，并将曝光不足或曝光过度的图像的色彩分数设为相对低。

模糊评价处理是一种评价图像的模糊程度的处理。

作为模糊评价处理的结果，图像分析单元54将作为模糊评价处理的结果的评价值的模糊分数设为1.0，例如，当不模糊时，根据模糊程度将分数设为较低。

事件分类处理是基于针对每个事件(诸如生日聚会或运动会日)的图像的拍摄日期和时间对图像进行分类(分组)的处理。相似图像确定处理是针对每个事件等从多幅图像中确定相似的图像的处理。

作为事件分类处理和相似图像确定处理的结果，图像分析单元54将具有大量图像的事件、具有大量检测到的脸部的事件、具有大量相似图像的事件等确定为重要事件，并将作为事件分类处理和相似图像确定处理的结果的评价值的事件分数设为高。

相似图像确定处理不限于针对每个事件确定相似图像，而是可以包括在任意组中包括的图像(诸如由一个相同的用户上传的图像和同时上传的图像)中确定相似图像。

由于上述图像分析处理是常用的并且可在本发明中使用多种已知的图像分析方法，因此将不在本文中描述其详细方法。图像分析单元54可执行除上述之外的图像分析处理。

在图像分析部分54中，基于诸如脸部检测处理、亮度确定处理、色彩评价处理、模糊评价处理、事件分类处理和相似图像确定处理的图像分析处理的结果，确定0.0至1.0的范围内的脸部分数、亮度分数、色彩分数、模糊分数和事件分数，并且计算作为图像分析处理的结果的所述各分数的总分数。

可将图像分析处理的所得分数乘以预定权重所得的结果相加来计算总分数。在该实施例中，将脸部检测处理的结果的分数的权重设为最大。也就是说，将脸部加权系数设为1.00，将亮度加权系数设为0.05，将色彩加权系数设为0.10，将模糊加权系数设为0.05，并将事件加权系数设为0.20。利用等式(1)计算总分数。

总分数＝脸部分数*脸部加权系数+亮度分数*亮度加权系数+色彩分数*色彩加权系数+模糊分数*模糊加权系数+事件分数*事件加权系数…(1)

以上进行了本发明的基本描述。

虽然已经详细地描述了本发明，但本发明不限于上述实施例，而是在不脱离本发明的主旨的情况下可按照各种形式改进或修改。

Claims (19)

1.一种图像处理设备，其利用存储在图像管理服务器中的多幅图像生成合成图像，该设备包括：

图像获取单元，其从图像管理服务器中获取多幅图像；

图像分析单元，其分析所获取的每幅图像以确定其评价值；

分组单元，其基于所获取的每幅图像的附属信息将所获取的图像分为多个组；

组选择单元，其从所述多个组中选择预定数量的包括以操作信息作为附属信息的图像的组，所述操作信息是用户对所获取的每幅图像执行操作的信息并且被添加到每幅图像中；

图像选择单元，其基于评价值和操作信息中的至少一项从所选组包括的图像中选择预定数量的图像；和

图像布置单元，其以预定的布局布置所选择的预定数量的图像，以生成合成图像。

2.根据权利要求1所述的图像处理设备，

其中，当所有所选组中包括的图像的数量小于推荐图像数量时，组选择单元适用于从日期与每个所选组相同的多个组中选择预定数量的第一附加组。

3.根据权利要求2所述的图像处理设备，

其中，当包括所述第一附加组的所有所选组中包括的图像的数量小于推荐图像数量时，组选择单元适用于从日期最接近每个所选组的多个组中选择预定数量的第二附加组。

4.根据权利要求3所述的图像处理设备，

其中，当包括所述第一附加组和第二附加组的所有所选组中包括的图像的数量小于推荐图像数量时，组选择单元适用于从日期第二接近每个所选组的多个组中选择预定数量的第三附加组，然后重复选择附加组，直到包括所述第一附加组、所述第二附加组和所述第三附加组的所有所选组中包括的图像的数量等于或大于推荐图像数量为止。

5.根据权利要求2所述的图像处理设备，

其中，所述合成图像为相簿，并且

所述推荐图像数量为根据相簿的页数预先确定的固定值。

6.根据权利要求2所述的图像处理设备，

其中，所述合成图像为相簿，并且

所述推荐图像数量是根据相簿的页数和从所述预定数量的所选图像中提取的适合于相簿的图像的数量来动态确定的处在预定的推荐图像数量范围之内的值。

7.根据权利要求6所述的图像处理设备，

其中，当适合于相簿的图像的数量等于或大于推荐图像数量范围的上限时，将推荐图像数量确定为所述推荐图像数量范围的上限；

当适合于相簿的图像的数量处于所述推荐图像数量范围之内时，将推荐图像数量确定为适合于相簿的图像的数量；以及

当适合于相簿的图像的数量等于或小于所述推荐图像数量范围的下限时，将推荐图像数量确定为所述推荐图像数量范围的下限。

8.根据权利要求1至7中任一项所述的图像处理设备，

其中，所述合成图像为相簿，并且

所述图像处理设备还包括再分组单元，所述再分组单元根据相簿的页数对预定数量的所选组进行再分组。

9.根据权利要求8所述的图像处理设备，

其中，当相簿的页数大于所选组的数量时，所述再分组单元适用于执行再划分处理以将添加有操作信息的图像的数量大于将布置在相簿的一页中的最大图像数量的组的图像划分为两组，在这两组的图像之间具有最长的拍摄时间间隔。

10.根据权利要求9所述的图像处理设备，

其中，所述再分组单元适用于重复地执行再划分处理，直到在经过再划分处理的组中添加有操作信息的图像的数量等于或小于将被布置在相簿的一页中的最大图像数量为止。

11.根据权利要求8所述的图像处理设备，

其中，当不存在其中添加有操作信息的图像的数量大于将被布置在相簿的一页中的最大图像数量的组时，所述再分组单元适用于将具有最大数量的图像的组中的图像划分为两组，在这两组的图像之间具有最长的拍摄时间间隔。

12.根据权利要求8所述的图像处理设备，

其中，当相簿的页数小于所选组的数量时，所述再分组单元适用于执行再组合处理，以将具有最短拍摄时间间隔的两组组合成一组。

13.根据权利要求12所述的图像处理设备，

其中，当通过再组合处理使得一个组中添加有操作信息的图像的数量变得大于将被布置在相簿的一页中的最大图像数量时，所述再分组单元不执行该再组合处理，而是将具有第二最短拍摄时间间隔的两组组合为一组。

14.根据权利要求8所述的图像处理设备，

其中，所述图像选择单元从所选组中包括的图像中选择所有添加有操作信息的图像，并且基于评价值从所选组中包括的未添加有操作信息的图像中选择其他图像，直到总图像数量达到将被布置在相簿的一页中的最大图像数量为止。

15.根据权利要求14所述的图像处理设备，

其中，当所选组不包括添加有操作信息的图像时，所述图像选择单元基于评价值从所选组中包括的未添加有操作信息的图像中选择图像。

16.根据权利要求1所述的图像处理设备，

其中，所述组选择单元和所述图像选择单元根据操作信息的重要程度来确定是否使用该操作信息。

17.根据权利要求16所述的图像处理设备，

其中，所述重要程度被设为两级或更多级。

18.一种利用存储在图像管理服务器中的多幅图像生成合成图像的图像处理方法，包括以下步骤：

从图像管理服务器中获取多幅图像；

分析所获取的每幅图像以确定其评价值；

基于所获取的每幅图像的附属信息将所获取的图像分为多个组；

从所述多个组中选择预定数量的包括以操作信息作为附属信息的图像的组，所述操作信息是用户对所获取的每幅图像执行的操作的信息并且被添加到每幅图像中；

基于评价值和操作信息中的至少一项从所选组包括的图像中选择预定数量的图像；和

以预定的布局布置所选择的预定数量的图像，以生成合成图像。

19.一种图像合成系统，包括：

图像管理服务器；和

根据权利要求1至17中任一项所述的利用存储在图像管理服务器中的多幅图像生成合成图像的图像处理设备。