CN1952934A

CN1952934A - 图像显示控制装置

Info

Publication number: CN1952934A
Application number: CNA2006100819649A
Authority: CN
Inventors: 松崎英一; 北明希; 舟木勇夫
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2005-10-17
Filing date: 2006-05-12
Publication date: 2007-04-25
Anticipated expiration: 2026-05-12
Also published as: US20070088748A1; JP2007109136A; KR20070042064A; CN100456294C; JP4413844B2

Abstract

图像显示控制装置。本发明旨在通过按与关键字的满足度和图像的相似度对应的布局来显示各个对象图像以便于选择希望的图像。接收关键字的输入，选择基准图像，基于指配给多个对象图像的关键字和输入的关键字来计算满足度，计算对象图像与基准图像的相似度，并且在多维坐标上按与关键字的满足度和图像的相似度对应的布局来显示各个对象图像。

Description

图像显示控制装置

技术领域

本发明涉及按对应于相似度的布局来显示多个图像的技术。

背景技术

近年来，已经提出了多种由用户使用以从多条图像数据中获得希望的图像的搜索方法，例如，提供了如下的已知方法。

(1)计算机通常具有按一维布局显示文件的功能(例如资源管理器(Explorer))。利用此功能，将图像文件根据文件名、文件大小、日期等按顺序列表显示。用户顺序地查看列表显示的文件名和缩略图像，从而搜索出希望的图像。在这个时候，也可以在用文件名中包含的日期和字符缩小了图像文件的范围之后列表显示图像文件。

(2)作为用于搜索图像的软件可以获得的[Miyoue](一种三维图像浏览器)(注册商标)使得可以通过使用图像的颜色分布、图像捕获时间或者与基准图像的相似度而将图像布置在二维空间或者三维空间内(非专利文献1)。

(3)提出了一种图像搜索装置，其用于通过用关键字来搜索图像并将该图像设置为基准图像从而搜索相似的图像(专利文献1)。

此外，已知有下列文件：(专利文献2、3)

[非专利文献1]Miyoue，2000-2005，Fujitsu Oita SoftwareLaboratory Corp.，[2005年6月6日]，因特网<http://www.osl.fujitsu.com/miyoue/first.html>

[专利文献1]日本特开2000-148794号公报

[专利文献2]日本特开2001-117936号公报

[专利文献3]日本特开2000-148793号公报

发明内容

如上所述，如果根据文件名和日期对图像进行一维显示，则图像是在不考虑图像相似性的情况下被列举的，因此难以搜索希望的图像。

此外，以上给出的[Miyoue]对应于与基准图像的相似度地确定图像布局，因而不适于搜索表现出低相似度的图像。

此外，在基于关键字的搜索中，不显示不包含关键字的文件。因此，不能考虑关键字之间的相关性。

此外，在采用包含关键字的图像作为基准图像来搜索相似图像的方法中，不能同时搜索图像本身的相似度低但是与该图像相关联的关键字的相关度高的图像。

既然如此，根据本发明，按与关键字的满足度和图像的相似度对应的布局来显示各个对象图像，从而便于选择希望的图像。

本发明采用如下配置以解决上述问题。

即，本发明的图像显示控制装置是按对应于多个对象图像的相似度的布局来显示所述多个对象图像的图像显示控制装置，所述图像显示控制装置包括：

关键字输入单元，接收关键字的输入；

基准图像选择单元，选择基准图像；

关键字评估单元，基于指配给各对象图像的关键字和所输入的关键字来计算关键字的满足度；

图像评估单元，通过将各个对象图像与基准图像进行比较来计算该对象图像的相似度；以及

显示控制单元，按与关键字的满足度和图像的相似度对应的布局显示各个对象图像。

显示控制单元可以将所述多个图像显示在对应于其满足度和相似度的坐标上，其中在坐标轴上至少采用关键字的满足度和图像的相似度。

关键字评估单元可以查阅分级地存储关键字的关键字表，并且可以基于指配给对象图像的关键字与所输入的关键字之间的等级差来计算满足度。

基准图像选择单元可以在所述多个对象图像中选择表现出满足预定条件的关键字满足度的图像作为基准图像。

此外，本发明的图像显示控制方法是一种计算机通过其来按与多个对象图像的相似度对应的布局显示所述多个对象图像的方法，所述控制方法包括如下步骤：

接收关键字的输入；

选择基准图像；

基于指配给各个对象图像的关键字和所输入的关键字来计算满足度；

通过将各个对象图像与基准图像进行比较来计算该对象图像的相似度；以及

按与关键字的满足度和图像的相似度对应的布局来显示各个对象图像。

在该图像显示控制方法中，对象图像显示步骤可以包括如下步骤：将所述多个图像显示在对应于其满足度和相似度的坐标上，其中在坐标轴上至少采用关键字的满足度和图像的相似度。

在该图像显示控制方法中，关键字满足度计算步骤可以包括如下步骤：查阅分级地存储关键字的关键字表，基于指配给对象图像的关键字与所输入的关键字之间的等级差来计算满足度。

在该图像显示控制方法中，基准图像选择步骤可以包括如下步骤：在所述多个对象图像中选择表现出满足预定条件的关键字满足度的图像作为基准图像。

此外，本发明还可以是一种用于使得计算机执行所述图像显示控制方法的图像显示控制程序。此外，本发明进一步可以是一种记录有该图像显示控制程序的计算机可读记录介质。使得计算机读取并执行该记录介质上的程序，从而可以提供其功能。

在此，计算机可读记录介质意味着可以从计算机进行读取的、能够通过电、磁、光、机械或者化学作用来存储诸如数据和程序的信息的记录介质。在这些记录介质中，例如，提供有软盘、磁光盘、CD-ROM、CD-R/W、DVD、DAT、8mm带、存储卡等作为可以从计算机卸下的记录介质。

此外，提供有硬盘、ROM(只读存储器)等作为固定在计算机内的记录介质。

根据本发明，可以提供按与关键字的满足度和图像的相似度对应的布局显示各个对象图像从而便于对希望图像进行选择的技术。

附图说明

图1是根据本发明的图像显示控制装置的示意图。

图2是根据本发明的第一实施例中的图像显示控制方法的流程图。

图3是用户界面的说明图。

图4是示出显示结果的示例的图。

图5是从关键字树中的等级深度来获得满足度的处理的流程图。

图6是示出关键字树的显示示例的图。

图7是示出关键字树的存储格式的图。

图8是对象关键字表的说明图。

图9是获取父列表的处理的流程图。

图10是获得关键字距离的处理的说明图。

图11示出从关键字树的等级深度获得的满足度的示例的图。

图12是从关键字树的结构获得满足度的处理的流程图。

图13是示出从关键字树的结构获得的满足度的示例的图。

图14是根据本发明的第二实施例中的图像显示控制方法的流程图。

具体实施方式

<第一实施例>

图1是根据本发明的图像显示控制装置(图像搜索显示装置)的示意图。本示例中的图像搜索显示装置1按对应于相似度的布局三维地显示多个对象图像，从而使得用户能够容易地找出希望的图像。

如图1所示，图像搜索显示装置1是通用计算机，包括：算术处理单元12，执行对信息的算术处理；存储单元13，存储有用于算术处理的数据和软件；以及输入/输出端口14等。

诸如键盘(关键字输入单元)15、鼠标和输入板的输入设备以及诸如显示装置(显示器)16和打印机的输出设备适当连接到I/O端口14。

存储单元13是诸如硬盘的存储装置，并且预安装有操作系统(OS)和应用程序(图像显示控制程序)。此外，存储单元13包括按树结构(分级结构)存储关键字作为评估关键字的标准的评估关键字表、以及将对象图像与关键字一起存储的数据库。

由CPU(中央处理单元)、主存储器等构成的算术处理单元12从存储单元13适当地读取OS和应用程序，随后执行OS和应用程序，并且执行对从I/O端口14输入的信息和从存储单元13读取的信息的算术处理，从而起到基准图像选择单元22、关键字评估单元23、图像评估单元24以及显示控制单元25的作用。

作为基准图像选择单元22，算术处理单元12基于用户的操作选择基准图像。该基准图像可以是从对象图像中选择的，也可以使用其他图像。

起关键字评估单元23的作用的算术处理单元12基于指配给各对象图像的关键字(对象关键字)和从关键字输入单元输入的关键字(输入关键字)来计算关键字的满足度。在本实施例中，关键字评估单元23查阅评估关键字表，由此基于对象关键字与输入关键字之间的等级差来计算相似度。

起图像评估单元24的作用的算术处理单元12通过将各对象图像与基准图像进行比较来计算图像的相似度。

起显示控制单元25的作用的算术处理单元12将各个对象图像按与关键字的满足度和图像的相似度对应的布局显示在多维坐标上。例如，显示控制单元25对于显示区域采用诸如关键字的满足度、图像的相似度以及日期/时间的三个坐标轴，其中，通过将对象图像布置在与关键字的满足度、图像的相似度和日期/时间对应的坐标中来三维地显示该对象图像。

图2是图像搜索显示装置1显示对希望图像的搜索结果的图像显示控制方法的说明性流程图。

当用户进行操作以开始搜索时，图像搜索显示装置1从存储单元13读取图像显示控制程序，并且执行该控制程序，从而在显示器16上显示用作用户界面的窗口31，如图3所示。当用户向窗口31输入与想要搜索的图像相似的图像时，图像搜索显示装置1的基准图像选择单元22选择此输入图像作为基准图像，并将该基准图像显示在基准图像显示框32中(步骤1，此后例如简写为S1)。在此，如果能够指定图像，就可以通过任何方法进行图像输入，例如将图像拖放到显示框32、从键盘15输入图像路径、以及利用鼠标和输入板进行手写输入。

接着，当用户从键盘15向关键字输入框33输入想要搜索的图像的关键字(输入关键字)时，接收到关键字输入的图像搜索显示装置1将该输入关键字临时存储在算术处理单元12的主存储器(S2)。

为了执行计算各个对象图像关于基准图像和输入关键字的相似度及其满足度的处理，判断图像数据库是否包含尚未处理的对象图像(S3)，如果其中存在尚未处理的对象图像，则获取该图像(S4)。

图像评估单元24针对获取的对象图像计算与基准图像的相似度(S5)。应该注意，用于获得该相似度的算法可以包括使用能够将图像的相似度转换成数值的任何方法。例如，通过将形成对象图像和基准图像的各个像素的RGB(红、绿、蓝)值设置在二维空间坐标中来生成三维直方图，将各个图像的颜色分布转换成数值，获得对象图像与基准图像的相似度。此外，在此示例中，存储各个对象图像的颜色分布。注意，可以将该颜色分布表示为与颜色分布对应的数值，其中，例如将主要颜色的位置和特定颜色(例如肤色和天空颜色)的位置转换成数值。

随后，关键字评估单元23计算指配给对象图像的对象关键字对于输入关键字的满足度(S6)。

显示控制单元25通过使用对象关键字的满足度、图像的相似度、图像捕获日期和图像颜色分布作为参数来确定布局(坐标)(S7)，并且如图4所示，在窗口31上的结果显示框37内按该布局显示缩小图像(缩略图像)(S8)。在图4中，X轴取图像捕获日期，Y轴取图像颜色分布，Z轴取关键字满足度和图像相似度的总值。注意，在X轴上，最新的图像捕获日期/时间用作其原点，其中距离原点越远的位置表示越旧(越早)的图像捕获日期/时间。在Y轴上，基准图像的颜色分布的值用作其原点，其中距离原点越远的位置表示与基准图像的值差别越大。此外，在Z轴上，其原点对应于满足度为“1”并且相似度也为“1”的情况，距离原点越远表示满足度以及相似度越低。

接着，返回步骤3，重复对应于满足度和相似度的显示处理，其中，当不存在尚未处理的图像时处理结束。注意，图4示出了在处理完成的时间点的初始画面(原位置)。在此，显示控制单元25设置缩尺以使得按根据各个参数布置对象图像的方式将全部图像显示在单个画面内，并且提供各个轴上的原点在左下端会聚的显示。在本实施例中，基准图像显示在原点。此外，按如下方式来显示图像：对应于移动按钮34的操作在X-Y平面内移动视点，对应于移动按钮35的操作在Z方向移动视点。在此，当选择各个图像时，放大地显示所选择的图像。此外，通过按下复原按钮36使显示返回原位置(初始画面)。

因此，从与用户输入的关键字和基准图像相似度最高的对象图像开始按顺序显示多个对象图像，并且可以在移动视点的同时选择图像，从而使得能够容易地搜索希望的图像。

应该注意，在各轴上采用的参数不限于上述给定情况，可以是使用关键字的满足度和对象图像的相似度的值。例如，Y轴可以取关键字的满足度，X轴可以取对象图像的相似度，Z轴可以取图像捕获日期/时间。另选地，也可以在二维坐标上显示图像，其中X轴取关键字的满足度，Y轴取对象图像的相似度。

接下来，参照图5给出对步骤6中的获得关键字满足度的处理的深入说明。

首先，关键字评估单元23判断是否仍然剩有尚未计算其满足度的输入关键字(S21)，如果剩有尚未计算的关键字，则获取该输入关键字的父列表(L1)(S22)。

此外，判断在对象关键字中是否存在尚未计算其对该输入关键字的满足度的任何对象关键字(S23)。如果存在尚未计算的对象关键字，则获取父列表(L2)(S24)。

判断父列表L1和父列表L2二者中都包括的关键字的数目(关键字数)是否不为“0”(S25)，如果该关键字数为“0”，则在将满足度设置为“0”之后，处理返回步骤S23(S26)。反之，如果不为“0”，则通过以下公式计算输入关键字与对象关键字之间的距离(S27)。

D＝CL1+CL2-2×C…(公式1)

其中，

D：输入关键字与对象关键字之间的距离，

CL1：父列表L1中包含的关键字的数目

CL2：父列表L2中包含的关键字的数目

C：父列表L1和父列表L2二者中都包含的关键字的数目

关键字评估单元23利用该距离D获得满足度M(S28)。

M＝(1/2)^D…(公式2)

在获得该满足度M之后，关键字评估单元23返回步骤23并且重复这些步骤(S23到S28)，直到不存在尚未获得其满足度M的对象关键字。随后，当不存在应该获得其满足度M的对象关键字时，将多个对象关键字对该输入关键字的满足度中的最大值设置为对该输入关键字的满足度(S29)，处理返回步骤21。

在步骤21，关键字评估单元23重复步骤22到步骤29，直到判断出没有剩下尚未获得满足度的输入关键字。随后，在获得了对全部输入关键字的满足度的情况下，将对全部这些输入关键字的满足度的平均值确定为最终的满足度(S30)。

注意，预先设置有示出各个关键字之间的关系的关键字树以获得该关键字的满足度。图6是示出本实施例中设置的关键字树的显示示例的图。

在图6中，左端示出最上层的关键字(一郎，父亲)，较右侧示出较下层的关键字。即，在“一郎”之下的下层设置有“学校事件”和“幼儿园”，在“学校事件”下的层设置有“入学典礼”和“运动会”。

具体地，如图7所示，各个关键字被给出为包括指向高层关键字的父指针和指向低层关键字的子指针的集合。应该注意，最高层上的关键字的父指针是无效的，同时最低层上的关键字的子指针是无效的。

用户可以根据其意愿来编辑关键字树，其中，例如，显示图6中的窗口41，用户选择“学校事件”，随后给出添加低层关键字的指令并从键盘15输入关键字，从而添加了与“入学典礼”和“运动会”同位的关键字。

此外，如图8所示，存储在图像数据库的各个对象图像都被指配有对象关键字。对于该对象关键字，存储单元13具有按将标识信息(在本示例中为文件名)与对象关键字彼此相关联的方式存储有多条各个对象图像的标识信息和关键字的关键字表。应该注意，可以不限于如上所述的用于存储具有对象关键字的独立表的结构地向各个对象文件指配关键字。此外，也可以采用对象图像文件的属性和文件名作为对象关键字。

接下来给出对从关键字树获得此对象关键字和输入关键字的父列表的处理的说明。图9是获取此父列表的处理的流程图。

首先，关键字评估单元23准备空的父列表(S31)，并且将指定的关键字添加到该父列表中(S32)。

随后，关键字评估单元23准备指向关键字树上的指定关键字的指针(S33)，并判断该指针指向的关键字的父指针是否有效(S34)。

如果该父指针有效，则将指针改变为指向该父指针指向的关键字(S35)。

在改变之后，将该指针指向的关键字添加到父列表(S36)，随后处理返回步骤34，并且重复步骤35和36，直到父指针变成无效，即直到将最上层的关键字添加到父列表。

通过此处理，如果对象关键字例如是“入学典礼”，则父列表包括诸如“一郎”、“学校事件”以及“入学典礼”的三个关键字。此外，如果输入关键字是“运动会”，则父列表包括诸如“一郎”、“学校事件”以及“运动会”的三个关键字。因此，二者都包含的关键字的数目是“2”，即“一郎”和“学校事件”。

注意，如图10所示，“入学典礼”与“运动会”之间的距离D如下：从“运动会”到恰在该关键字之上的“学校事件”的距离为“1”，从“学校事件”到“入学典礼”的距离为“1”，因此总共为“2”。用于计算该距离的公式是上文给出的公式1。

具体地，如下给出距离D：

D＝CL1+CL2-2×C…(公式1)

＝3+3-2×2

＝2

随后，从上文给出的公式2，如下地获得“入学典礼”对“运动会”的满足度。

M＝(1/2)^D…(公式2)

＝(1/2)²

＝1/4

图11示出了如上所述的根据关键字树中的等级深度来获得满足度的示例。

应该注意，在本实施例中根据关键字树的等级深度获得满足度，然而并不限于此方法，只要能够将对象关键字与输入关键字之间的相关度获得为数值，就也可以使用其他方法。图12是例如根据关键字树结构来计算满足度的处理的流程图。

在这种情况下，关键字评估单元23首先判断在输入关键字中是否还剩有尚未计算其满足度的任何输入关键字(S41)。在此，如果剩有尚未计算的输入关键字，则获取该输入关键字的父列表L1(S42)。

此外，关键字评估单元23判断在对象关键字中是否剩有尚未计算其对该输入关键字的满足度的任何对象关键字(S43)。如果存在尚未计算的对象关键字，则获取该对象关键字的父列表(L2)(S44)。

随后，关键字评估单元23根据以下公式获得关键字的满足度M(S45)。

M＝C/CL1…(公式3)

在获得该满足度M之后，关键字评估单元23返回步骤43，并且重复这些步骤(S44到S45)，直到不存在尚未获得其满足度M的对象关键字。随后，如果不存在应该获得其满足度M的对象关键字，则将多个对象关键字对该输入关键字的满足度中的最大值设置为对该输入关键字的满足度(S46)，并且处理返回步骤41。

在该步骤41，关键字评估单元23重复步骤42到46，直到判断出没有剩下尚未获得满足度的输入关键字。随后，在获得了对所有输入关键字的满足度的情况下，将对所有这些输入关键字的满足度的平均值确定为最终的满足度(S47)。

例如，如果对象关键字是“入学典礼”并且输入关键字是“运动会”，则如下地给出满足度M：

M＝C/CL1…(公式3)

＝2/3

图13示出了如上所述的根据关键字树结构获得满足度的示例。

如上所述，根据本实施例，根据关键字的满足度和与基准图像的相似度来在多维坐标上显示对象图像，从而使得能够容易地搜索希望的图像。

<第二实施例>

图14是根据本发明的第二实施例中的图像显示控制方法的说明图。第二实施例与上述的第一实施例的不同点在于基准图像不是用户指定的而是图像显示控制装置确定的，其他配置是相同的。因此，在第二实施例中，用相同的数字和符号来标记相同的部件，并且省略其重复说明。应该注意，第二实施例中的图像搜索显示装置1的硬件配置与图1中的第一实施例中的硬件配置相同。

当用户进行操作以开始搜索时，图像搜索显示装置1从存储单元13读取图像显示控制程序并执行该程序，从而在显示器16上显示用作用户界面的窗口31，如图3所示。当用户从键盘15将想要搜索的图像的关键字(输入关键字)输入到该窗口31上的关键字输入框33时，接收到输入关键字的输入的图像搜索显示装置1将该输入关键字临时存储在算术处理单元12的主存储器(S2)。

接下来，图像搜索显示装置1判断图像数据库是否包含尚未计算其对该输入关键字的满足度的任何对象图像(S3a)，如果存在尚未计算的对象图像，则获取该对象图像(S4)。

针对此获得的对象图像，关键字评估单元23计算指配给该对象图像的对象关键字对输入关键字的满足度(S6)。此后，处理返回步骤3a，并且重复步骤4和6，直到不存在尚未计算满足度的对象图像。

随后，在步骤3a中判断出不存在尚未计算其满足度的对象图像的情况下，将计算出的满足度最大的对象图像设置为基准图像(S51)。

接下来，图像搜索显示装置1判断图像数据库是否包含尚未计算其与该基准图像的相似度的任何对象图像(S3b)，如果存在尚未计算的对象图像，则获取该尚未计算的对象图像(S4)。

图像评估单元24计算此获得的对象图像与基准图像的相似度(S5)。

显示控制单元25通过使用对象关键字的满足度、图像的相似度、图像捕获日期和图像颜色分布作为参数来确定布局(坐标)(S7)，并且如图4所示，在窗口31上的结果显示框37中按该布局显示缩小的图像(缩略图像)(S8)。

因此，根据第二实施例，基于用户输入的关键字来确定基准图像，而不是由用户指定基准图像，从而使得进行简单操作就能够搜索希望的图像。

<其他>

本发明不仅限于在上文给出的图示示例，并且当然可以在不脱离本发明的要旨的范围内以多种形式进行变化。

例如，即使在以下附记中给出的配置也可以获得与上述实施例中的效果相同的效果。此外，可以最大限度地组合其部件。

Claims

1、一种图像显示控制装置，其按与多个对象图像的相似度对应的布局来显示所述多个对象图像，该图像显示控制装置包括：

关键字输入单元，接收关键字的输入；

基准图像选择单元，选择基准图像；

关键字评估单元，基于指配给各个对象图像的关键字和所输入的关键字来计算关键字的满足度；

显示控制单元，按与关键字的满足度和图像的相似度对应的布局来显示各个对象图像。

2、根据权利要求1所述的图像显示控制装置，其中，显示控制单元将所述多个图像显示在对应于其满足度和相似度的坐标上，其中在坐标轴上至少采用关键字的满足度和图像的相似度。

3、根据权利要求1所述的图像显示控制装置，其中，关键字评估单元查阅分级地存储关键字的关键字表，并基于指配给对象图像的关键字与所输入的关键字之间的等级差来计算满足度。

4、根据权利要求1所述的图像显示控制装置，其中，基准图像选择单元在所述多个对象图像中选择表现出满足预定条件的关键字满足度的图像作为基准图像。

5、一种图像显示控制方法，计算机通过该图像显示控制方法来按与多个对象图像的相似度对应的布局显示所述多个对象图像，所述图像显示控制方法包括如下步骤：

接收关键字的输入；

选择基准图像；

6、根据权利要求5所述的图像显示控制方法，其中，对象图像显示步骤包括如下步骤：将所述多个图像显示在对应于其满足度和相似度的坐标上，其中在坐标轴上至少采用关键字的满足度和图像的相似度。

7、根据权利要求5所述的图像显示控制方法，其中，关键字满足度计算步骤包括如下步骤：查阅分级地存储关键字的关键字表，基于指配给对象图像的关键字与所输入的关键字之间的等级差来计算满足度。

8、根据权利要求5所述的图像显示控制方法，其中，基准图像选择步骤包括如下步骤：在所述多个对象图像中选择表现出满足预定条件的关键字满足度的图像作为基准图像。