CN108595486A - 图像检索装置及其动作控制方法、以及图像检索服务器 - Google Patents

图像检索装置及其动作控制方法、以及图像检索服务器 Download PDF

Info

Publication number
CN108595486A
CN108595486A CN201810209583.7A CN201810209583A CN108595486A CN 108595486 A CN108595486 A CN 108595486A CN 201810209583 A CN201810209583 A CN 201810209583A CN 108595486 A CN108595486 A CN 108595486A
Authority
CN
China
Prior art keywords
image
characteristic quantity
mentioned
value
page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810209583.7A
Other languages
English (en)
Other versions
CN108595486B (zh
Inventor
野口幸典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN108595486A publication Critical patent/CN108595486A/zh
Application granted granted Critical
Publication of CN108595486B publication Critical patent/CN108595486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及图像检索装置及其动作控制方法、以及图像检索服务器。找到用户喜欢的图像。如果在对构成电子相册的页图像进行编辑的编辑图像中,使显示于候补区域的图像移动至页图像中,则将该移动的图像视作用户喜欢的图像,使得在除了页图像的页图像中容易对具有与该移动的图像的特性相似的特性的图像进行显示。如果使图像移动至删除区域,则将该移动的图像视作用户不喜欢的图像,使得在除了页图像的页图像中难以对具有与该移动的图像的特性相似的特性的图像进行显示。

Description

图像检索装置及其动作控制方法、以及图像检索服务器
本申请是基于2015年9月21日提出的中国国家申请号201480017106.0(PCT/JP2014/055961)申请(图像检索装置及其动作控制方法、以及图像检索服务器)的分案申请,以下引用其内容。
技术领域
本发明涉及图像检索装置及其动作控制方法、以及图像检索服务器。
背景技术
存在如下技术,即,在制作电子相册的情况下,自动选择应当在设置于模板上的配置框中配置的图像,将所选择的图像配置于配置框中(专利文献1)。
专利文献1:日本特开2011-103135号公报
发明内容
在专利文献1所记载的技术中,在对自动制作的电子相册进行修正的情况下,要从大量图像中重新选择期望的图像,因此难以找到用户喜欢的图像。
本发明的目的在于,比较简单地找到用户喜欢的图像。
第1发明所涉及的图像检索装置的特征在于,具备:显示控制单元,其对显示装置进行控制,以在显示画面的候补区域中显示多个图像;特征量计算单元,其针对大量图像中的每一个图像,计算表示图像特性的特征量的值;评分单元,其基于由特征量计算单元计算出的特征量的值,对图像进行评分;第1评分控制单元,其对评分单元进行控制,以使得与被施加了将在候补区域中显示的图像移动至检索结果区域的第1移动指令相应地,提高与被施加了第1移动指令的图像的特征量相对应的特征量的值,对图像进行评分;以及图像配置决定单元,其将图像配置决定为,使得通过评分单元而获得的分数高的规定数量的图像显示于显示画面的检索结果区域中,其他图像显示于显示画面的候补区域中。
第1发明还提供适合于图像检索装置的动作控制方法。即,在该方法中,显示控制单元对显示装置进行控制,以在显示画面的候补区域中显示多个图像,特征量计算单元针对大量图像中的每一个图像,计算表示图像特性的特征量的值,评分单元基于由特征量计算单元计算出的特征量的值,对图像进行评分,评分控制单元对评分单元进行控制,以使得与被施加了使在候补区域中显示的图像移动至检索结果区域的第1移动指令相应地,提高与被施加了第1移动指令的图像的特征量相对应的特征量的值,对图像进行评分,图像配置决定单元将图像配置决定为,使得通过评分单元而获得的分数高的规定数量的图像显示于显示画面的检索结果区域中,并使得其他图像显示于显示画面的候补区域中。可以利用在检索结果区域中显示的图像而制作电子相册。
第1发明还提供一种程序,该程序控制图像检索装置的计算机。可以提供对这种程序进行存储的记录媒体。
根据第1发明,将多个图像显示于显示画面的候补区域中。针对大量图像中的每一个图像计算表示图像特性的特征量的值,基于计算出的特征量的值对图像进行评分。以如下方式进行评分,即,如果将显示于候补区域的图像移动至检索结果区域,则提高与该移动的图像的特征量相对应的特征量的值。将图像配置决定为,使得分数高的规定数量的图像显示于显示画面的检索结果区域中,使得其他图像显示于显示画面的候补区域中。将移动至检索结果区域的图像视作用户喜欢的图像,使具有诸如与这种图像的特征量相同的特征量的图像显示于检索结果区域中,因此在检索结果区域中对用户喜欢的图像进行显示。
显示控制单元例如将显示装置控制为,与被施加了由图像配置决定单元决定的配置的图像显示指令相应地,按照决定的配置对图像进行显示。
显示控制单元可以将显示装置控制为,除了候补区域以外,将删除区域也显示于显示画面中。在该情况下,优选还具备第2评分控制单元,其以如下方式控制评分单元,即,与被施加了使在候补区域中显示的图像、或者在检索结果区域中显示的图像移动至删除区域的第2移动指令相应地,针对大量图像中的、除了多个图像以外的图像,降低与被施加了第2移动指令的图像的特征量相对应的特征量的值,对图像进行评分。
第1评分控制单元例如以如下方式控制评分单元,即,与被施加了使根据第1移动指令而显示于检索结果区域的图像移动至候补区域的第3移动指令相应地,使提高后的特征量的值恢复为原来的值,对图像进行评分。第2评分控制单元例如以如下方式控制评分单元,即,与被施加了使根据第2移动指令而显示于检索结果区域的图像移动至候补区域的第3移动指令相应地,使降低后的特征量的值恢复为原来的值,对图像进行评分。
还可以具备电子相册制作单元,该电子相册制作单元利用通过图像配置决定单元而显示于检索结果区域中的图像,制作电子相册。
第2发明是构成具备客户端计算机和图像检索服务器的图像检索系统的图像检索服务器,其特征在于,具备:特征量计算单元,其针对大量图像中的每一个图像,计算表示图像特性的特征量的值;评分单元,其基于由特征量计算单元计算出的特征量的值,对图像进行评分;以及第1评分控制单元,其对评分单元进行控制,以使得与被施加了将在形成于客户端计算机的显示画面的候补区域中显示的多个图像中的一个图像移动至检索结果区域的第1移动指令相应地,提高与被施加了第1移动指令的一个图像的特征量相对应的特征量的值,对图像进行评分。
第2发明还提供一种适合于图像检索服务器的动作控制方法。即,该方法是构成具备客户端计算机和图像检索服务器的图像检索系统的图像检索服务器的动作控制方法,特征量计算单元针对大量图像中的每一个图像,计算表示图像特性的特征量的值,评分单元基于由特征量计算单元计算出的特征量的值,对图像进行评分,评分控制单元对图像进行评分,以使得与被施加将在形成于客户端计算机的显示画面的候补区域中显示的多个图像中的一个图像移动至检索结果区域的第1移动指令相应地,提高与被施加了第1移动指令的一个图像的特征量对应的特征量的值。
在第2发明中,也与第1发明同样地在检索结果区域中对用户喜欢的图像进行显示。
可以还具备第2评分控制单元,该第2评分控制单元以如下方式控制评分单元,即,与被施加了将在形成于客户端计算机的显示画面上的候补区域中显示的多个图像中的一个图像、或者在形成于客户端计算机的显示画面的上检索结果区域中显示的多个图像中的一个图像移动至删除区域的第2移动指令相应地,降低与被施加了第2移动指令的图像的特征量相对应的特征量的值,对图像进行评分。
第3发明是构成具备客户端计算机和图像检索服务器的图像检索系统的图像检索服务器,其特征在于,具备:特征量计算单元,其针对大量图像中的每一个图像,计算表示图像特性的特征量的值;评分单元,其基于由特征量计算单元计算出的特征量的值,对图像进行评分;以及第1评分控制单元,其对评分单元进行控制,以使得与被施加了将在形成于客户端计算机的显示画面的候补区域中显示的图像移动至检索结果区域的第1移动指令相应地,提高与被施加了第1移动指令的图像的特征量相对应的特征量的值,对图像进行评分,其中,所述客户端计算机在显示画面的检索结果区域中显示通过评分单元而获得的分数高的多个图像,在显示画面的候补区域中显示其他图像。
第2发明还提供一种适合于图像检索服务器的动作控制方法。即,该方法是构成具备客户端计算机和图像检索服务器的图像检索系统的图像检索服务器的动作控制方法,特征量计算单元针对大量图像中的每一个图像,计算表示图像特性的特征量的值,评分单元基于由特征量计算单元计算出的特征量的值,对图像进行评分,评分控制单元对评分单元进行控制,以使得与被施加了将在形成于客户端计算机的显示画面上的候补区域中显示的图像移动至检索结果区域的第1移动指令相应地,提高与被施加了第1移动指令的图像的特征量相对应的特征量的值,对图像进行评分,其中,所述客户端计算机在显示画面的检索结果区域中显示通过评分单元而获得的分数高的多个图像,在显示画面的候补区域中显示其他图像。
在第2发明中,也与第1发明同样地在检索结果区域中对用户喜欢的图像进行显示。
优选还具备第2评分控制单元,该第2评分控制单元以如下方式控制上述评分单元,即,与被施加了将在形成于客户端计算机的显示画面上的候补区域中显示的图像、或者在形成于客户端计算机的显示画面上的检索结果区域中显示的图像移动至删除区域的第2移动指令相应地,降低与被施加了第2移动指令的图像的特征量相对应的特征量的值,对图像进行评分。
附图说明
图1是表示照片书制作装置的电气结构的框图。
图2是表示照片书制作装置的处理流程的流程图。
图3是表示照片书制作装置的处理流程的流程图。
图4表示将图像分组后的情况。
图5是图像列表的一个例子。
图6是图像特征量表的一个例子。
图7是特征量权重系数表的一个例子。
图8是未阅览页列表的一个例子。
图9表示图像分数。
图10是虚拟编辑图像的一个例子。
图11是页面编辑处理流程的流程图。
图12是编辑图像的一个例子。
图13表示照片书制作系统的结构。
图14是表示照片书制作系统的处理流程的流程图。
图15是表示照片书制作系统的处理流程的流程图。
图16是表示照片书制作系统的处理流程的流程图。
图17是表示照片书制作系统的处理流程的流程图。
图18是页面编辑处理流程的流程图。
图19是表示客户端计算机和图像检索服务器的处理流程的流程图。
图20是表示客户端计算机和图像检索服务器的处理流程的流程图。
图21是表示客户端计算机和图像检索服务器的处理流程的流程图。
图22是表示客户端计算机和图像检索服务器的处理流程的流程图。
图23是检索结果图像的一个例子。
具体实施方式
图1表示本发明的实施例,且是表示照片书(电子相册)制作装置1的电气结构的框图。
照片书制作装置1整体的动作由CPU2集中控制。
照片书制作装置1中包含CD-ROM(Compact Disc Read-Only Memory,只读光盘)驱动器6。将存储有后述的动作程序的CD-ROM7装填于该CD-ROM驱动器6中,由此读取该动作程序并将其安装于照片书制作装置1中。照片书制作装置1中还设置有通信装置10。利用该通信装置10接收动作程序,接收到的动作程序可以安装于照片书制作装置1中。
照片书制作装置1中包含由显示控制装置3控制的显示装置4。在该显示装置4的显示画面上形成有触摸面板5。对触摸面板5进行触摸等的信号输入至CPU2。另外,照片书制作装置1中还设置有通过硬盘驱动器11进行访问的硬盘12以及读卡器8。如果存储有表示大量图像的图像文件的存储卡9被装填于读卡器8中,则利用读卡器8读取该图像文件。
图2及图3是表示照片书制作装置1的处理流程的流程图。
本实施例所涉及的照片书制作装置1在显示画面上显示自动进行布局的照片书的页,在用户进行变更图像的编辑作业的情况下,以编辑作业为参考,使得在照片书的页中进行布局的图像成为用户喜欢的图像。
由用户指定照片书中包含的图像的拍摄期间(步骤21)。将存储卡9(也可以是其他介质)装填于读卡器8中,对表示在存储卡9中所存储的大量图像的图像文件进行读取(步骤22)。基于拍摄日期时间而对由读取的图像文件表示的大量图像进行分组,针对每一组制作图像列表(步骤23)。
图4表示对读取的大量图像进行分组的情况。
在图4中,横轴为拍摄日期时间。基于拍摄日期时间而对读取的大量图像i进行排列,针对每段接近的拍摄日期时间进行分组化。在图4中,制作了从组G1至G11的11个组。以使得每组中包含的图像的数量大致相同的方式进行分组,但也可以不必大致相同。当然,拍摄日期时间被记录在图像文件的头部。
如果进行分组化,则针对每一组制作图像列表。
图5是组G1及G2的图像列表的一个例子。
在组G1中,从图像I1至I100的100个图像构成一组而制作图像列表。在组G2中,从图像I101至I213的113个图像构成一组而制作图像列表。在其他组中也同样地制作图像列表。
返回到图2,针对所有图像列表的所有图像而计算特征量的值(步骤24)。
图6是关于组G2的图像特征量表的一个例子。
在图像特征量表中,以与表示图像特性的特征量(模糊度、亮度、构图等)相对应的方式存储有图像列表中包含的图像的特征量的值。例如,图像I101的模糊度、亮度以及构图的特征量的值分别为u101、b101以及a101。同样,图像I102的模糊度、亮度以及构图的特征量的值分别为u102、b102以及a102。对于组G1中包含的I103至I212的其他图像,也同样地存储有特征量的值。
计算所有图像列表的所有图像的特征量的值,由此针对分组后的所有组G1至G21而制作这种图像特征量表。
然后,将照片书页码n设定为1(图2的步骤25)。照片书页码n表示用户编辑的页,在显示画面对通过该页码n而确定的页进行显示(参照图12)。另外,对特征量权重系数进行初始化(步骤26)。
图7是特征量权重系数表的一个例子。
特征量权重系数表与特征量对应地存储权重系数。权重系数是如上所述(参照图5)与特征量的值相乘的系数。如后所述,与权重系数相乘后的特征量的值的总和作为针对该图像的分数。
如后详细所述,根据用户的编辑操作而使权重系数变更。因此,除了权重系数的初始值以外,特征量权重系数表中还不断存储操作后的权重系数的履历。例如,模糊度、亮度以及构图的特征量的各自的初始值均为k,通过第1次的编辑操作,模糊度、亮度以及构图的特征量的权重系数变为k1、k2以及k3。
然后,将所有页追加到未阅览页列表中(图2的步骤27)。
图8是未阅览页列表的一个例子。
未阅览页列表表示用户未进行编辑操作的照片书的页。在初始状态下,用户未对任1页进行编辑操作,因此照片书的所有页都被加入到未阅览页列表中。另外,在本实施例中,利用对开页进行编辑操作(也可以不必利用对开页进行编辑操作),因此除了第1页以外,将每2页的页追加到未阅览页列表中。
之后,将第n页从未阅览页列表中删除(图3的步骤28)。设定为n=1,因此将第1页从未阅览页列表中删除。
然后,利用特征量权重系数对所有图像列表的图像进行评分(图3的步骤29)。
图9是表示组G2的图像列表辖下的图像的分数的分数表的一个例子。
分数表中与图像相对应地存储有分数。这些分数是对存储于图5所示的图像特征量表中的每个图像的特征量,乘以存储于图6所示的特征量权重系数表中的特征量的权重系数而得到的特征量的值的总和。例如,如图6所示,图像101的模糊度的特征量的值、亮度的特征量的值、构图的特征量的值分别为u101、b101、a102,模糊度的特征量的权重系数、亮度的特征量的权重系数、构图的特征量的权重系数全部都为k,因此通过P101=u101×k+b101×k+a101×k···而计算图像I101的分数P101。针对组G1至G21的所有图像列表辖下的图像,以每个图像列表(每组)为单位进行这样的评分。针对所有组制作分数表。
在本实施例中,首先,对于用户编辑的除了页面n(在该情况下设定为n=1,因此为页面1)以外的页面,在照片书制作装置1中进行布局。
图10表示未阅览列表中包含的页面2和页面3的虚拟编辑图像40。
虚拟编辑图像40相当于在照片书制作装置1的显示装置4的显示画面上实际显示的图像,在显示画面实际进行显示之前,在照片书制作装置1内部制作虚拟编辑图像40。在发出针对制成的虚拟编辑图像40的编辑指令时,作为编辑用图像而在显示画面上显示虚拟编辑图像40,用户一边观察显示的图像一边进行布局变更等。
虚拟编辑图像40中包含虚拟候补区域41、虚拟布局区域42以及虚拟删除区域43。虚拟布局区域42用于对构成照片书的页的布局进行显示,包含与照片书的页相对应的对开的虚拟页44。将图像分配至左侧的虚拟页(页面2)45以及右侧的虚拟页(页面3)46。如上所述,这些图像是与页面2和页面3相对应的组G2的图像列表中包含的图像中的、分数从高到低前10位为止的图像。将与页面2和页面3相对应的组G2的图像列表中包含的图像中的、分数小于或等于第11位的分数的图像分配至虚拟候补区域。可以不必利用虚拟删除区域43。
对存储于未阅览列表的所有页进行图10所示的图像的分配处理。
返回到图3,如上所述,在未阅览列表的对开页中,将与该对开页相对应的图像列表辖下的图像中的、分数从高到低的前10位为止的图像分配至虚拟布局区域(进行布局)(步骤30),将分数小于或等于第11位的分数的图像分配至虚拟候补区域(步骤31)。
如果页面n的编辑未完毕(步骤32中为NO),则由用户进行页面编辑(步骤33)。如果页面n的编辑完毕(步骤32中为YES),则确认照片书的所有页的编辑是否完毕(步骤34),如果未完毕(步骤34中为NO),则由用户指定接下来进行编辑的页码n(步骤35)。由于是对开页而指定偶数页。将页码n设定为指定的页码n(步骤36),对于设定的页码n反复进行上述的步骤28至33的处理。
图11是表示页面编辑处理流程(图3的步骤33的处理流程)的流程图。图12是在照片书制作装置1的显示装置4的显示画面上实际显示的编辑图像40A的一个例子。
在显示画面显示与第n页相对应的组的编辑图像(步骤51)。编辑图像40A与上述的虚拟编辑图像40相对应,包含候补区域41A、布局区域42A以及删除区域43A。布局区域42A中包含对开页图像44A。在该对开页图像44A中对分数从高到低的前10位为止的图像进行显示。但是,包含第1页的对开页44A的左侧的页面45A中不包含图像,右侧的页面46A成为第1页,因此在右侧的页46A中对第n页的组的图像列表中包含的图像中的、分数从高到低的前5位为止的图像进行显示。在候补区域41A中,对第n页的组的图像列表中包含的图像中的、第6位及其以后的分数的图像进行显示。在删除区域43中,对无需加入到电子相册的图像进行显示。
用户利用在显示画面中显示的编辑图像进行图像、布局的变更。例如,如图12中的箭头47A所示,如果通过拖放而使在候补区域41A或者删除区域43A中显示的图像移动至布局区域42A的对开页图像44A上(步骤52中为YES),则可以认为用户喜欢该移动的图像的特性。因此,如果进行编辑操作,则使与移动的图像的特征量相对应的特征量的权重系数变更(步骤53)。例如,在移动的图像的特征量中,如果模糊度的特征量比平均的特征量高,则可以认为,相对于清晰度高的图像,用户喜欢模糊的图像。因此,提高模糊度的权重系数。例如,使模糊度的特征量从初始值k变更为k1。将这样变更后的权重系数存储于特征量权重系数表中。对于亮度、构图等其他特征量的权重系数也一样。
另外,如图12中的箭头47B所示,如果使在候补区域41A或者布局区域42A中显示的图像移动至删除区域43A(步骤54中为NO),则可以认为用户不喜欢该移动的图像的特性。如果进行这样的编辑操作,则使与被移动的图像的特征量相对应的特征量的权重系数降低(步骤55)。
并且,如图12中的箭头47C所示,如果使在布局区域41A中显示的图像移动至候补区域(步骤56中为YES),则判断为该图像的特性未得到喜欢,使提高后的权重系数恢复原状(步骤57)。另外,如图12中的箭头47D所示,如果使在删除区域43A中显示的图像移动至候补区域(步骤56中为YES),则判断为并不讨厌该图像的特性,使降低后的权重系数恢复原状(步骤57)。
如上所述,如果通过页面编辑对权重系数进行变更,则利用变更后的权重系数,再次利用权重系数对所有图像列表的图像进行评分(图3的步骤29)。对于用户喜欢的特征量的图像以使得其分数升高的方式变更权重系数,对于用户讨厌的特征量的图像以使得其分数降低的方式变更权重系数。因此,用户喜欢的图像的分数升高,从而如图10所示,在虚拟布局区域42的虚拟页44中对用户喜欢的图像进行布局。
如上所述,如果指定了页码n,则在显示画面上实际显示对用户喜欢的图像进行了布局的页图像。以该方式生成表示电子相册(照片书)的文件,不断制作电子相册。
图13至图18表示其他实施例,涉及由经由网络进行通信的照片书制作装置60和图像检索服务器61构成的照片书制作系统。
照片书制作装置60和图像检索服务器61彼此能够经由因特网之类的网络进行通信。
照片书制作装置60以及图像检索服务器61的结构与图1所示的结构相同。但是,图像检索服务器61不需要图1中的与显示相关的装置、读卡器8等。
图14至图17是表示照片书制作装置60和图像检索服务器61的处理流程的流程图。
上述处理全部都在照片书制作装置1中进行,但在接下来叙述的处理中,在照片书制作装置1中进行页面编辑,在图像检索服务器61中进行布局。
与上述处理相同地,在照片书制作装置60中,对期间进行设定(图14的步骤71),从装填于照片书制作装置60的存储卡9读取图像文件(图14的步骤72)。将读取的图像文件以及表示设定期间的数据从照片书制作装置60发送至图像检索服务器61(图14的步骤73)。可以仅将表示设定期间内的图像的图像文件从照片书制作装置60发送至图像检索服务器61。
如果在图像检索服务器61中接收到表示大量图像的图像文件和表示设定期间的数据(图14的步骤81),则与上述方式相同地,对大量图像进行分组,针对每一组制作图像列表(图14的步骤82)。对所有图像列表的所有图像的特征量的值进行计算(图14的步骤83),将照片书页码n设定为1(图14的步骤84)。对特征量权重系数进行初始化(图14的步骤85),将所有页追加至未阅览页列表(图14的步骤86)。
将第n页(第1页)从未阅览页列表中删除(图15的步骤87),利用特征量权重系数对所有图像列表的图像进行评分(图15的步骤88)。在未阅览列表的对开页中,以与上述相同的方式对从高到低的前10位为止的分数的图像在虚拟布局区域42中进行布局,将第11位及其以后的分数的图像配置于虚拟候补区域41(图15的步骤89、90)。
另外,还生成表示第n页的编辑图像(参照图12)的HTML(HyperText MarkupLanguage)文件,将该HTML文件从图像检索服务器61发送至照片书制作装置60(图15的步骤91)。
如果在照片书制作装置60中接收到从图像检索服务器61发送的HTML文件,则只要该第n页的编辑未完毕(图17的步骤74),就进行页面编辑(图17的步骤75)。在后文中对页面编辑进行详细叙述。如果页面编辑完毕(图17的步骤76中为NO),则对页码进行指定(图17的步骤78),将表示指定的页码的数据发送至图像检索服务器61(图17的步骤79)。如果所有页面的编辑都结束(图17的步骤76中为YES),则将结束指令发送至图像检索服务器61(图17的步骤77)。
图18是表示页面编辑处理流程(图17的步骤75的处理流程)的流程图的一个例子。在该图中,对与图11中示出的处理相同的处理,标注相同的标号。
参照图18,如果在照片书制作装置60中接收到从图像检索服务器61发送的第n页的HTML文件,则如图12所示在照片书制作装置60的显示画面中对编辑图像40A进行显示(图18的步骤51)。
与上述处理相同地,如果使图像从候补区域或者删除区域移动至布局区域(步骤52中为YES),则将变更与该图像的特征量相对应的特征量的权重系数的指令发送至图像检索服务器61(步骤53A)。如果使图像从候补区域或者布局区域移动至删除区域(步骤54中为YES),则将降低与移动的图像的特征量相对应的特征量的权重系数的指令发送至图像检索服务器61(步骤55A)。如果使图像从删除区域或者布局区域移动至候补区域(步骤56中为YES),则将使变更后的权重系数恢复原状的指令发送至图像检索服务器61(步骤57A)。
参照图16,如果在图像检索服务器61中接收到权重系数变更指令(步骤92中为YES),则根据该指令而变更权重系数(步骤93)。只要未接收到结束指令(步骤94中为NO),就确认是否接收到表示页码n的数据(步骤95)。如果接收到表示页码n的数据(步骤95中为YES),则对指定的页码设定页码n(步骤96)。此后,与上述处理相同。
在上述实施例中,可以在显示画面设置不要人物垃圾箱(不要人物区域)。在显示于显示画面的图像中,如果使包含人物的图像移动至这样的不要人物垃圾箱,则形成为该人物未包含于照片书这样的布局结构。因此,预先针对每个图像分别检测出人物相似度的特征量,将这些人物相似度的特征量(甲先生的特征量、乙先生的特征量、丙先生的特征量等)存储于图6所示的特征量表中。确定被移动至不要人物垃圾箱的图像中包含的人物。使对该确定的人物的特征量赋予的权重系数向负的方向增大,从而不对被移动至不要人物垃圾箱的图像中包含的人物的图像进行布局。
但是,即使不重新设置不要人物垃圾箱,如果预先将每个人物的特征量加入到图6所示的特征量表中,则通过使包含不要人物的图像移动至上述删除区域,也不会使包含该不要人物的图像的分数升高,因此也能预先防止对包含不要人物的图像进行布局。
图19至图23表示其他实施例,是找到期望的商品图像的图。在图13所示的系统结构中,取代照片书制作装置60而利用客户端计算机。客户端计算机的结构与图1中示出的结构相同。
图19至图22是表示客户端计算机和图像检索服务器61的处理流程的流程图。
客户端计算机与因特网连接,对期望的购物网站进行访问。如果将第1关键词(例如,钟表)输入至客户端计算机(图19的步骤101),则表示所输入的第1关键词的数据被发送至图像检索服务器61(购物网站的服务器)(步骤102)。
如果在图像检索服务器61中接收到表示第1关键词的数据,则从图像数据库读取与该第1关键词相对应的图像,制作第1图像列表(图19的步骤121)。与上述处理相同地,对制作的第1图像列表的所有图像的特征量的值进行计算(参照图6)。另外,对特征量权重系数进行初始化(图19的步骤123)。利用特征量权重系数对图像列表的图像进行评分(图19的步骤124)。
在检索结果显示区域中对分数从高到低的前10位为止的图像进行布局,制作表示将第11位及其以后的分数的图像配置于候补区域中的HTML页的HTML文件(图21的步骤125)。将制成的HTML文件从图像检索服务器61发送至客户端计算机(图21的步骤126)。
如果在客户端计算机中接收到从图像检索服务器61发送的HTML文件,则在客户端计算机的显示装置的显示画面中对由该HTML文件表示的检索结果图像进行显示(图19的步骤103)。接着,将第2关键词(例如,模拟手表)输入至客户端计算机,将表示所输入的第2关键词的数据从客户端计算机发送至图像检索服务器61(图19的步骤105)。
如果在图像检索服务器61中接收到表示从客户端计算机发送的第2关键词的数据,则从第1图像列表中选择与第2关键词吻合的图像,制作第2图像列表(图21的步骤127)。制作如下HTML文件,即,在检索结果区域中对来自制成的第2图像列表中的分数从高到低的前10位为止的图像进行布局,将第11位及其以后的图像配置于候补区域(图21的步骤128)。将制成的HTML文件从图像检索服务器61发送至客户端计算机(图21的步骤129)。
如果在客户端计算机中接收到从图像检索服务器61发送的HTML文件,则在客户端计算机的显示装置的显示画面中对由该HTML文件表示的检索结果图像进行显示(图20的步骤106)。
图23是检索结果图像140的一个例子。
检索结果图像140中包含候补区域141、检索结果区域142以及删除区域143。如上所述,在检索结果区域142中对分数高的前10个商品图像152进行显示。在候补区域141中对分数小于或等于上述分数的商品图像151进行显示。如果检索未结束(图20的步骤107中为NO),则确认在检索结果区域142中显示的图像150是否被移动至候补区域141(图20中的步骤108),或者在检索结果区域142中显示的图像150是否被移动至删除区域143(图20的步骤109)。如果存在上述任一种移动,则将表示该移动的内容的移动指令从客户端计算机发送至图像检索服务器61(图20的步骤110)。如果在客户端计算机中接收到表示从图像检索服务器61发送的检索结果图像的HTML文件,则再次对检索结果图像进行显示,如果未接收到,则返回到步骤107的处理(图20的步骤110)。
如果在图像检索服务器61中接收到从客户端计算机发送的移动指令(图22的步骤130中为YES),则根据移动指令对特征量的权重系数进行更新(图22的步骤131)。例如,在显示于检索结果区域152的图像150被移动至候补区域141的情况下,将该移动的图像150视作接近期望的商品的图像。因此,提高与该移动的图像150的特征量相对应的权重系数。在显示于检索结果区域152的图像150被移动至删除区域143的情况下,将该移动的图像150视作与期望的商品相差很远。因此,降低与该移动的图像150的特征量相对应的权重系数。
以该方式更新权重系数,再次对第2图像列表的图像进行评分。制作如下HTML文件,即,在检索结果区域142中对该评分的前10位进行布局,在候补区域141中对第11位及其以后的图像进行显示(图22的步骤132)。将制成的HTML文件发送至客户端计算机(图22的步骤133),在客户端计算机中找到期望的商品图像。如果未结束(图22的步骤134中为NO),重复从步骤130开始的处理。
标号的説明
1、60 相册制作装置
2 CPU
41A、141 候补区域
42A 布局区域(检索结果区域)
43A、143 删除区域
61 图像检索服务器
142 检索结果区域。

Claims (5)

1.一种图像检索装置,其具备:
显示控制单元,其对显示装置进行控制,以在显示画面的候补区域中显示多个图像;
特征量计算单元,其针对大量图像中的每一个图像,计算表示图像特性的特征量的值;
评分单元,其基于由上述特征量计算单元计算出的特征量的值,对图像进行评分;以及
第1评分控制单元,其对上述评分单元进行控制,以使得与被施加了将在形成于上述显示画面上的上述候补区域中显示的多个图像中的一个图像移动至检索结果区域的第1移动指令相应地,针对上述大量图像中的除了上述多个图像以外的图像,提高与被施加了第1移动指令的一个图像的特征量相对应的特征量的值,对图像进行评分。
2.根据权利要求1所述的图像检索装置,其中,
还具备第2评分控制单元,其对上述评分单元进行控制,以使得与被施加了将在形成于上述显示画面上的候补区域中显示的多个图像中的一个图像、或者在形成于上述显示画面上的检索结果区域中显示的多个图像中的一个图像移动至删除区域的第2移动指令相应地,针对上述大量图像中的除了上述多个图像以外的图像,降低与被施加了第2移动指令的图像的特征量相对应的特征量的值,对图像进行评分。
3.根据权利要求2所述的图像检索装置,其中,
上述第2评分控制单元对上述评分单元进行控制,以使得与被施加了将根据上述第2移动指令而显示于检索结果区域中的图像移动至候补区域的第3移动指令相应地,使降低后的特征量的值恢复为原来的值,对图像进行评分。
4.根据权利要求1至3中任一项所述的图像检索装置,其中,
上述第1评分控制单元对上述评分单元进行控制,以使得与被施加了将根据上述第1移动指令而显示于检索结果区域中的图像移动至候补区域的第3移动指令相应地,使提高后的特征量的值恢复为原来的值,对图像进行评分。
5.一种图像检索服务器的动作控制方法,其中,
显示控制单元对显示装置进行控制,以在显示画面的候补区域中显示多个图像,
特征量计算单元针对大量图像中的每一个图像,计算表示图像特性的特征量的值,
评分单元基于由上述特征量计算单元计算出的特征量的值,对图像进行评分,
评分控制单元对上述评分单元进行控制,以使得与被施加了将在形成于上述显示画面上的上述候补区域中显示的多个图像中的一个图像移动至检索结果区域的第1移动指令相应地,针对上述大量图像中的除了上述多个图像以外的图像,提高与被施加了第1移动指令的一个图像的特征量相对应的特征量的值,对图像进行评分。
CN201810209583.7A 2013-03-28 2014-03-07 图像检索装置及其动作控制方法、以及图像检索服务器 Active CN108595486B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-068199 2013-03-28
JP2013068199A JP5883821B2 (ja) 2013-03-28 2013-03-28 画像検索装置およびその動作制御方法ならびに画像検索サーバ
CN201480017106.0A CN105074771B (zh) 2013-03-28 2014-03-07 图像检索装置及其动作控制方法、以及图像检索服务器

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480017106.0A Division CN105074771B (zh) 2013-03-28 2014-03-07 图像检索装置及其动作控制方法、以及图像检索服务器

Publications (2)

Publication Number Publication Date
CN108595486A true CN108595486A (zh) 2018-09-28
CN108595486B CN108595486B (zh) 2022-01-18

Family

ID=51623545

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480017106.0A Active CN105074771B (zh) 2013-03-28 2014-03-07 图像检索装置及其动作控制方法、以及图像检索服务器
CN201810209583.7A Active CN108595486B (zh) 2013-03-28 2014-03-07 图像检索装置及其动作控制方法、以及图像检索服务器

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480017106.0A Active CN105074771B (zh) 2013-03-28 2014-03-07 图像检索装置及其动作控制方法、以及图像检索服务器

Country Status (5)

Country Link
US (2) US9805253B2 (zh)
EP (2) EP2980751B1 (zh)
JP (1) JP5883821B2 (zh)
CN (2) CN105074771B (zh)
WO (1) WO2014156559A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6677527B2 (ja) * 2016-02-23 2020-04-08 株式会社 ミックウェア サーバ装置、およびプログラム
JP6750094B2 (ja) * 2017-03-15 2020-09-02 富士フイルム株式会社 画像評価装置,画像評価方法および画像評価プログラム
CN107256111A (zh) * 2017-06-16 2017-10-17 深圳市金立通信设备有限公司 一种删除应用的方法、终端及计算机可读存储介质
CN107424080A (zh) * 2017-08-07 2017-12-01 四川长虹电器股份有限公司 多终端协同制作、管理照片书的方法
WO2019155852A1 (ja) * 2018-02-08 2019-08-15 富士フイルム株式会社 電子アルバム装置とその作動方法および作動プログラム
US11055344B2 (en) * 2018-03-21 2021-07-06 Walmart Apollo, Llc Product image evaluation system and method
US10852698B2 (en) * 2018-06-19 2020-12-01 Andy TSENG Watch storage device with intelligent watch recommendation function
WO2020073317A1 (zh) * 2018-10-12 2020-04-16 华为技术有限公司 文件管理方法及电子设备
JP7335186B2 (ja) 2020-02-28 2023-08-29 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1900933A (zh) * 2005-07-21 2007-01-24 富士施乐株式会社 图像搜索系统、图像搜索方法和存储介质
CN101681367A (zh) * 2007-04-24 2010-03-24 诺基亚公司 用于在搜索系统中确定相关度和/或模糊度的方法、设备及计算机程序产品
US7773811B2 (en) * 2006-12-06 2010-08-10 D & S Consultants, Inc. Method and system for searching a database of graphical data
CN102222232A (zh) * 2011-06-24 2011-10-19 常州锐驰电子科技有限公司 人脸多阶层快速过滤匹配装置及方法
JP2011221794A (ja) * 2010-04-09 2011-11-04 Kddi Corp 画像選定装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101970A (ja) * 1995-10-06 1997-04-15 Omron Corp 画像検索方法および画像検索装置
JP4074366B2 (ja) * 1998-02-24 2008-04-09 コニカミノルタビジネステクノロジーズ株式会社 画像検索装置及び方法並びに画像検索プログラムを記録した記録媒体
JP2000132554A (ja) * 1998-10-21 2000-05-12 Sharp Corp 画像検索装置および画像検索方法
KR100351400B1 (ko) * 1999-09-22 2002-09-10 엘지전자 주식회사 사용자 피드백 변화를 반영한 멀티미디어 데이타의 특징소 정보 생성방법 및 멀티미디어 데이타의 특징소 가중치 결정방법
JP2004259061A (ja) * 2003-02-26 2004-09-16 Intec Web & Genome Informatics Corp 情報検索装置、情報検索方法、及び情報検索プログラム
JP2008529150A (ja) * 2005-01-28 2008-07-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ダイナミックフォトコラージュ
US8732025B2 (en) * 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
JP2007072823A (ja) * 2005-09-08 2007-03-22 Seiko Epson Corp 画像選択装置および画像選択方法
CN101331522B (zh) 2005-10-18 2012-10-10 富士胶片株式会社 图册创建设备
JP2009277177A (ja) * 2008-05-19 2009-11-26 Fujifilm Corp 画像レイアウト装置、記録媒体および画像レイアウト方法
JP2010068225A (ja) * 2008-09-10 2010-03-25 Noritsu Koki Co Ltd 画像処理装置、画像形成装置、画像処理方法及び画像処理プログラム
US8515212B1 (en) * 2009-07-17 2013-08-20 Google Inc. Image relevance model
US8131786B1 (en) * 2009-11-23 2012-03-06 Google Inc. Training scoring models optimized for highly-ranked results
JP2012058940A (ja) * 2010-09-08 2012-03-22 Seiko Epson Corp 類似画像検索装置、類似画像検索方法およびコンピュータープログラム
US9189128B2 (en) * 2013-02-07 2015-11-17 Verizon Patent And Licensing Inc. Graphically managing electronic communications
US9361278B2 (en) * 2013-03-15 2016-06-07 Facebook, Inc. Overlaying photographs with text on a social networking system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1900933A (zh) * 2005-07-21 2007-01-24 富士施乐株式会社 图像搜索系统、图像搜索方法和存储介质
US7773811B2 (en) * 2006-12-06 2010-08-10 D & S Consultants, Inc. Method and system for searching a database of graphical data
CN101681367A (zh) * 2007-04-24 2010-03-24 诺基亚公司 用于在搜索系统中确定相关度和/或模糊度的方法、设备及计算机程序产品
JP2011221794A (ja) * 2010-04-09 2011-11-04 Kddi Corp 画像選定装置
CN102222232A (zh) * 2011-06-24 2011-10-19 常州锐驰电子科技有限公司 人脸多阶层快速过滤匹配装置及方法

Also Published As

Publication number Publication date
US20160019416A1 (en) 2016-01-21
EP3367338B1 (en) 2019-07-10
CN105074771A (zh) 2015-11-18
EP2980751B1 (en) 2018-04-25
JP2014191701A (ja) 2014-10-06
JP5883821B2 (ja) 2016-03-15
WO2014156559A1 (ja) 2014-10-02
EP3367338A1 (en) 2018-08-29
US9805253B2 (en) 2017-10-31
EP2980751A1 (en) 2016-02-03
CN105074771B (zh) 2018-11-27
EP2980751A4 (en) 2016-08-31
CN108595486B (zh) 2022-01-18
US20180018506A1 (en) 2018-01-18
US9959456B2 (en) 2018-05-01

Similar Documents

Publication Publication Date Title
CN105074771B (zh) 图像检索装置及其动作控制方法、以及图像检索服务器
US11023666B2 (en) Narrative-based media organizing system for transforming and merging graphical representations of digital media within a work area
EP0758115B1 (en) Scenario editor for multimedia data and scenario reproducing apparatus
US9880709B2 (en) System and method for creating and displaying previews of content items for electronic works
EP3998610A1 (en) Synchronizing audio and video components of an automatically generated audio/video presentation
AU2009257930B2 (en) Copying of animation effects from a source object to at least one target object
US8612428B2 (en) Image ranking based on popularity of associated metadata
US20080155459A1 (en) Associating keywords to media
CN103197850A (zh) 信息处理设备、信息处理方法和计算机可读介质
JP5883843B2 (ja) 画像評価装置,画像評価方法,画像評価プログラム,およびそのプログラムを格納した記録媒体
CN101165689A (zh) 文件管理设备和控制文件管理设备的方法
KR20070006760A (ko) 한 그룹의 이미지를 나타내는 아이콘을 생성하는 방법,컴퓨터 시스템, 컴퓨터 프로그램 제품 및 이 방법을실행하기 위해 마련된 데이터 운반매체
CN101192241A (zh) 内容查看方法、装置及存储内容查看程序的存储介质
JP2004007421A (ja) ネットワークを介した大容量高品質デジタルイメージのリアルタイムサービス方法
CN108780654A (zh) 生成用于视频的移动缩略图
US20150355799A1 (en) Electronic album apparatus and method of controlling operation of same
US11294947B2 (en) Method for line up contents of media equipment, and apparatus thereof
JPH05108288A (ja) 情報分類支援装置
CN106339496A (zh) 用于对照片进行清理的方法和装置
JP2009140453A (ja) 情報処理装置および方法、並びにプログラム
JP2021128425A (ja) 画像処理装置、画像処理方法、プログラムおよび画像処理システム
KR101997121B1 (ko) 미디어 기기에서의 콘텐츠 정렬 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
JPH05210700A (ja) カード型データ処理装置
JP2001312714A (ja) 画像管理装置、画像管理方法および記録媒体
JPS61120567A (ja) 画像フアイルシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant