CN101517575A - 图像管理方法、图像管理系统以及制造品 - Google Patents

Abstract

说明了图像管理方法、图像管理系统(10)以及制造品(17)。根据一个实施例，图像管理方法包括使用存储电路(16)存储多个图像，存储用于各相应图像的多个表征，所述多个表征包括与人可读懂的词汇中多个人可理解的词语对应，并且描述了各图像的相应内容特征的数据，把各个表征与各相应图像关联起来，得到搜索标准，将搜索标准与所述表征进行比较，响应于所述比较找出某一选定的图像，并响应于所述找出从存储电路(16)中访问该选定的一个图像。

Description

图像管理方法、图像管理系统以及制造品

技术领域

本公开的方面涉及图像管理方法、图像管理系统以及制造品。

背景技术

颜色是不同频率的光波撞击人眼的反应所产生的视觉属性。对颜色的感察来自于具有对电磁波谱的红、绿、蓝部分有峰值敏感性的三组视锥的合成输出。对不同组的视锥的不同程度的刺激造就了人类认识到大范围的颜色的能力。

描述颜色的传统方法包括基于颜色编码的系统，颜色编码是基于多维颜色空间中的位置或坐标来表示颜色分量的。颜色可以用表示颜色空间中的位置或坐标的数字数据来数学化地表示。虽然对应于颜色的数据可以对应于颜色空间特定地定义颜色，但这些表示通常不给人们直观地传达颜色的信息。

至少本公开的某些方面提供了使用属于人可读的词汇、并且以人理解的图像特征(例如颜色)的术语来描述的词语，对图像进行操作的方法和装置。

发明内容

根据本公开的若干方面说明了图像管理方法、图像管理系统以及制造品。

根据一个方面，图像管理方法包括使用存储电路存储多个图像，存储用于这些图像中相应的图像的多个表征，所述多个表征包括与人可读的词汇中多个人可理解的词语相对应的、描述了各相应图像的相应内容特征的数据，把各表征与各相应图像联系起来，得到搜索标准，将搜索标准与表征进行比较，响应于所述比较找出某一选定的图像，并响应于所述找出从存储电路中访问该选定的图像。

根据另一个方面，图像管理系统包括配置为存储多个图像和存储多个表征的存储电路，所述多个表征与人可读的词汇中人可理解的词语相对应并与各相应图像相关联，其中所述词语描述了各图像的内容特征，各个表征指示各相应图像中存在的相应特征的程度；以及与存储电路连接的、配置为使用与一个图像和其他图像关联的表征来把该一个图像从其它图像识别出来的处理电路。

根据再另一个方面，制造品包括介质，该介质包括配置为使处理电路进行处理的程序设计，所述处理包括得到可用来找出具有至少一种期望颜色的图像的搜索标准；使用该搜索标准搜索多个存储图像的数字数据，其中所述存储图像中某一图像的数字数据包括与人可读的词汇中多个词汇颜色名称相对应的多种颜色的多个值，并且其中所述多个值表示在存储图像中的相应的一个图像中出现的各相应颜色的量；以及响应于所述搜索，选出具有至少一种期望颜色的至少一个存储图像。

从以下的讨论中明显可知，也说明了其它的实施例和方面。

附图说明

图1是基于一个实施例的图像管理系统的功能框图。

图2是基于一个实施例的处理和存储多个图像的图像数据的典型方法的流程图。

图3是基于一个实施例的处理图像数据，包括把图像数据词汇式量化，的典型方法的流程图。

图4是基于一个实施例的找出图像和访问图像的典型方法的流程图。

具体实施方式

数字成像设备经历了广泛的接受和普及。长时间使用成像设备可能会导致建立了许多图像和相关的数字数据。对用户来说，随着创建和保存的图像数量历时而增，图像管理、图像存储和访问以前存储的图像可能会越来越费时。至少本公开的某些方面提供了对管理诸如静止图像或视频图像等数字图像有用的方法和装置。基于一些更具体的方面披露了利用图像的词汇量化帮助用户管理图像的方法和装置。用户请参阅题为“一种自适应词汇分类系统”的共同待批美国专利申请号11/259,597，提交日：2005年10月25号，发明人：莫洛尼(Nathan M.Moroney)，委托案件号200407751-1)(“‘597申请”)中讨论的典型词汇量化方案，这里其教示被引用并入。在下面说明的更具体的示例实施例中，指示图像内容的词汇命名表示(如直方图或矢量)可用于包括照片或多帧视频图像内容的图像的索引和检索。基于其它实施例的有关图像管理的其它典型细节在题为“图像处理方法、图像管理系统以及制造品”的，与本申请同日提交，发明人为奥伯拉多(Pere Obrador)和莫洛尼(NathanM.Moroney)，委托案件号200408243-1的共同待批美国专利申请中有说明，这里其教示被引用并入。

参考图1，示出了基于一实施例的一种典型的图像管理系统10。根据所示实施例，图示的图像管理系统10包括通信接口12，处理电路14，存储电路16，用户接口18和扫描装置20。系统10的其它设置可包括更多或更少的元件和/或替代元件。

通信接口12用于实现计算机装置10和未图示的外围装置间的通信。举例来说，可使通信接口12与计算机装置10双向交流信息。通信接口12可为网络接口卡(NIC)，串或并行连接，USB口，火线接口，闪存接口，软盘驱动器或任何其它适宜于与计算机装置10通信的设置。

在一个实施例中，处理电路14用于处理数据，控制数据访问及存储，发布命令以及控制其它期望的操作。在至少一个实施例中，处理电路14可包括设置为执行由合适的介质提供的期望程序设计的电路。举例来说，处理电路14可以是处理器和/或其它设置为执行可执行指令的结构和/或硬件电路中的一个或多个，可执行指令例如包括软件和/或固件指令。处理电路14的典型实施例包括硬件逻辑、PGA、FPGA、ASIC、状态机和/或其它结构自身或其与处理器的组合。这些处理电路14的例子只作为说明用，也可有其它的配置。

存储电路16用于存储诸如可执行代码或指令的程序设计(如软件和/或固件)、电子数据、图像数据、与图像数据关联的元数据、数据库或其它数字信息，并且可以包括处理器可用的介质。处理器可用的介质可在任何计算机程序产品或制造品中包含，它们可包含、储存或保持程序设计、数据和/或数字信息，为包括本实施例的处理电路16的指令执行系统所用或与之结合使用。举例来说，处理器可用的典型介质可包括诸如电、磁、光、电磁、红外或半导体介质等物理介质中的任一种。处理器可用的介质的一些更具体的例子包括但不限于可携式磁性计算机盘，如软盘、压缩盘、硬驱、随机访问存储器、只读存储器、闪存、高速缓冲存储器和/或其它能存储程序设计、数据或其它数字信息的配置。

这里说明的至少一些实施例或方面可用存储在上文所述的适宜的存储电路16中和/或通过网络或其他传播媒介传递，并且配置为控制适当的处理电路的程序设计来实现。举例来说，程序设计可通过适当的介质来提供，包括，例如包括在制造品17中，包括在通过诸如通信网(如互联网和/或个人网)、有线电连接、光连接和/或电磁能传递的数据信号(如调制载波、数据包、数字表示等)中，例如通过通信接口，或者用其它适当的通信结构或介质来提供。仅举一例，包括处理器可用的代码的典型程序设计可作为包含在载波中的数据信号来进行传递。

用户接口18配置为与用户进行交互，包括给用户传送数据(如显示数据供用户观察、用声音向用户传递数据等)和从用户处接收输入(如触觉输入，声音指令等)。相应地，在一个典型实施例中，用户接口可包括配置为描绘视觉信息的显示器24(例如阴极射线管，液晶显示器等)和键盘、鼠标和/或其他输入设备22。也可利用任何其它与用户进行交互的适当装置。

图像输入设备20可实施为配置为为系统10提供的、提供与例如照片的图像相应的数字数据的任何合适的设备。在典型实施中，扫描仪20可以是平板彩色照片扫描仪或数码相机。

如上所述，可以用词汇化量化来处理图像以及协助管理图像。词汇化量化使用人可读的词汇中人可理解的词语(例如，英语或其他语言的词语)来描述图像内容的视觉特征。人可理解的词语可与图像数据关联，并用于协助和/或方便图像管理。在一个典型实施例中，人可理解的词语可以以自然语言，一个实施例中以普通人易于理解的词语，来描述图像内容的特征(例如颜色、灰度级)。例如，人可理解的词语可以包括在人可读和可理解的词汇内的词汇颜色名称(例如，作为人类语言的一部分内容而容易为人阅读和理解的内容，不同于机器语言或代码，程序员或可理解这些机器语言或代码，但通常需要某种类型的数学关系到颜色的映射或理解)。一些人容易认识的可用于一实施例的典型的词汇颜色名称包括白色、浅灰色、灰色、深灰色、黑色、红色、黄色、绿色、蓝色、紫色、粉红色、天蓝色、深青色、暗深青色、橙色、肉色、酸橙绿、深蓝色、橄榄绿、棕色、橙红色、深绿色、海绿色、蓝绿色、浅黄色、浅蓝绿色和浅粉红色。

正如“‘597申请”中说明的，可由相对大的人口的定义的集合来生成与各量化支(quantization bin)对应的词汇颜色名称。因此，在一些实施例中，在至少一个实施中，词语描述可见电磁光谱中的频率范围，这些词语是容易理解的人类词汇词语，而不同于标识电磁能的、或许只有受过这些技术术语教育的技术人员才懂的技术术语。词语可以指任何有意义的词汇符号序列，举例来说可包括缩写和词条。

在一个针对颜色的实施例中，词汇化量化的类别或支(bin)的数量根据用来特征化图像的颜色名称的数量来确定。词汇化量化的更多的细节在下面以及在前面索引引入的“‘597申请”中有详细讨论。

一旦图像词汇化量化，说明图像内容的词语(例如词汇颜色名称)就与图像联系起来。根据一个实施例，可使用与图像联系的词语来方便例如图像存储和检索的图像管理。例如，用户可根据人可读的词汇提出命令或请求以找出要检索的存储图像，图像管理系统10可使用这些命令或请求以及与图像相关的词汇词语来对图像执行操作。在下文所述的一个实施例中，用户可以使用包括词汇词语的搜索标准(例如“定位大部分是红色的图像”)通过输入22提出图像请求，图像管理系统10可使用与存储的图像相关联的词汇词语来搜索存储在存储电路16中的图像，并根据其与搜索标准匹配的接近程度来对存储图像进行评级。在另一典型实施例中，用户可以向扫描设备20提交一份照片，系统10就根据各存储图像与扫描照片的相应相似度来对各存储的图像进行评级。在其他实施例中可使用另外的搜索标准。

参考图2，示出了可用处理电路14执行的典型方法。图2的方法是基于一个实施例的处理和储存图像的典型方法。也可有包括更少、更多和/或其他步骤的其他方法。

在步骤S10，处理电路可以访问要使用图像管理系统存储的图像的图像数据(例如，基于像素的RGB或CMYK数据)。

在步骤S11，处理电路处理图像数据以使用期望的人可读词汇中描述了图像的特征(如颜色)的词汇词语来表征图像内容。在一个实施例中，处理电路可以在步骤S11在处理图像数据的过程中执行词汇化量化。在一个实现中，访问具有期望数目的量化类别或量化支的词汇表。在一个在其中进行关于图像颜色的词汇化量化的实现中，词汇表可包括人可读的词汇中的词汇颜色名称。如上所述，在一个实施例中，词汇颜色名称是人可理解的词语，可以被读到这些词语的人从字面直接确定相关联的图像内容特性。

在所述实施例中，处理电路可以把词汇颜色名称中的一个与图像的多个图像形成基本单位(例如像素)中的每一个联系起来。基于一种可能的安排的所述联系的更多细节在上面引用结合的“‘597专利申请”和本文的图3中有说明。一旦图像数据的各单独的图像形成基本单位被赋予一个词汇词语，处理电路14就可用这些词汇词语来产生数字数据，该数字数据表明了与相应图像中存在的词汇词语(如颜色)对应的相应特征的程度。在一个实施例中，处理电路14可以产生包括多个类别或支和与之关联的数字数据的诸如向量或直方图的表示，与和图像相关联的词汇词语对应。在一实现中，数字数据可表示在各自的图像中存在的各相应特征的程度(例如，表示给定图像中具有例如颜色的相关联的词汇颜色名称的特征的图像形成基本单位的数量)。具有与像素的可能数值对应的若干个支的直方图的典型形成在题为“利用局部颜色校正和累积直方图的图像处理”的共同待批美国专利申请公开号2005/0052665，序号10/658987，发明人莫洛尼，中有所讨论，这里引入其教义作为参考。在一个实施例中，可以使用具有用于期望数量的颜色的词汇词语的直方图。在其他实施例中可使用用于不同数量的颜色的数字数据。此外，在所述实施例中，数字数据可以是图像的颜色内容的任何类型的可量化的表示，可以是整数、百分数、比值、小数等。在一个实施例中，数字数据可被标准化。

在步骤S12，图像数据可使用存储电路16存储，处理电路14可另外存储步骤S11的处理结果(例如，各表示)并将其与各自图像的图像数据联系起来。在一个实施例中，可以用包括数字数据的矢量或直方图的形式存储保存的各表示，数字数据是表示对应于各自的特征(例如，词汇颜色名称)的图像内容的多个值的形式，并且可作为各相应图像的元数据存储。

参考图3，示出了基于一实施例的图像数据关于颜色的词汇化量化的典型方法的细节。在一实现中图3的方法可用处理电路14执行。在一个实施例中，图3的方法可在图2的步骤S11处理期间进行。也可有包括更少、更多和/或其他步骤的其他方法。

在步骤S15，访问的正被处理的图像的图像数据可以从最初的格式转换为另一种格式以便于处理。举一个例子，其中的图像是24位的RGB像素的图像，处理电路可把各像素的RGB值转换为YCC值然后转换为极YCC(polar YCC)值。

在步骤S16，处理电路针对每一个图像形成基本单位把步骤S15转换的图像数据与使用的词汇表中的词汇词语中的每一个的图像数据进行比较。例如，处理电路14可使用上面引用结合的“‘597专利申请”中讨论的最近邻方法或模糊逻辑方法，来把各图像形成基本单位的图像数据与对于每一个词汇颜色名称的中间颜色值进行比较。在一例中，把单个图像形成基本单位的形心(centroid)与每个词汇词语的中间颜色值的形心进行比较。在其他的实现中也可使用其他方法来把图像形成基本单位与各词汇词语进行比较。

在步骤S17，响应步骤S16的处理，处理电路为图像的各图像形成基本单位找出最接近的词汇词语(例如，词汇颜色名称)。

在步骤S18，在一个实施例中，为每个图像形成基本单位分配一个步骤S17中确定的、最接近地描述了该图像形成基本单位的内容特征(如颜色)的词汇词语。

在步骤S19，在一个实施例中，图像形成基本单位的图像数据可能会进行修改。在一个可能的实施例中，各图像形成基本单位的RGB数据被转化为在步骤S17-S18中确定的、与相应的图像形成基本单位对应的词汇词语的相应的中间颜色值(如中间RGB值)。

在图3的处理之后，在一个实施例中，可如图2的步骤S11所述生成图像的矢量或直方图，并可如图2的步骤S12所述使用存储电路16存储矢量或直方图。在一个实施例中，矢量或直方图包括有多个值的数字数据。在一个实施例中，多个值中的每一个表示存在于相应图像中的相应特征的程度(例如，直方图的各值可以表示相应图像中存在的词汇颜色名称中相应的那些的像素数量)。与词汇词语对应的数字数据可作为图像的元数据存储，如下所述可被用来索引图像。在一个实施例中，如上所述数字数据被标准化以允许处理大小不同的图像。

参考图4，示出了基于一实施例的定位和检索存储的图像的典型方法。在一个实现中图4的方法可用处理电路14执行。也可有包括更少、更多和/或其他步骤的其他方法。

在步骤S20，处理电路14访问用来找出要检索的期望图像的搜索标准。

在步骤S22，处理电路14辨识表明了搜索标准的内容的一个或多个词汇词语。在一例中，如前所述，用户可以输入含有表明要出现在搜索结果的图像中的特征的词汇词语的搜索请求。例如，可能的搜索请求是“定位70％是蓝色的图像”(例如，试图找出含有大量的天空或海洋内容的户外照片)或“定位主要是绿色的图像”(例如，试图找到森林或草地的图像)。典型的文本搜索标准使用词汇词语和指示期望搜索结果中的特征的程度的数字数据来表明期望的图像特征。在另一个例子中，用户可以以照片的形式提交搜索标准，在说明性的例子中，或者通过通信接口12数字地提交，或作为对图像输入设备20的打印来提交(提交的用于搜索的图像可称为搜索图像)。处理电路14可执行搜索图像的词汇化量化以确定搜索图像中存在的词汇词语和表示各词汇词语的特征的程度的相应的数字数据。

在步骤S24，处理电路14提供与搜索标准的词汇词语对应的、可以用来定位与搜索标准匹配或类似的图像的数字数据。处理电路14可根据用户输入的搜索请求或用上述例子中的搜索图像的词汇化量化来获得数字数据。在一个实施例中，处理电路14可以将搜索标准提供到人工表示，也称为搜索表示中，人工表示可以是以包括数字数据的矢量或直方图的形式，其中数字数据表示期望的要出现在定位的图像中的词汇词语中的相应特征的程度。例如，如果搜索标准指定70％蓝色，处理电路14可以在搜索直方图或矢量中的相应支中提供与蓝色对应的值，指示有70％的标准化的蓝色内容的图像。如果用户提交照片或其他图像来提供搜索标准(例如，试图从存储电路中检索类似的图像)，如上所述，处理电路14可分析照片来生成搜索表示，搜索表示包括矢量或直方图并包括表示提交的照片中的各相应特征(词汇颜色名称)的程度的数字值。

在步骤S26，处理电路14把搜索标准的数字数据与各存储图像的、指示与所关联图像的词汇词语对应的特征的相应数字数据进行比较。在一个使用词汇直方图形式的表示的实施例中，处理电路可确定搜索标准直方图与进行比较的各存储图像的词汇直方图中相应的单个的相交。在一个实现中，处理电路14可使用典型的欧几里德距离测量的度量来把搜索标准的数字数据与相应的存储图像的数字数据进行比较。把搜索标准的数字数据与相应的图像的数字数据进行比较的典型公式是：

(公式1)

其中x1，x2...xn是搜索标准中与相应词汇词语对应的值，y1，y2......yn是存储图像中与相应词汇词语对应的值。公式1的处理的结果得到了搜索标准相对于每一个图像的数字数据的距离。

在步骤S28，处理电路可根据与搜索标准的相似度来关于该搜索标准对存储的图像评级(例如，从最相似(或最接近)于搜索标准到最不相似(或最远)于搜索标准)。

在步骤S30，处理电路可找出图像中的一个作为最接近于搜索标准的，找出最接近于搜索标准的(n)个图像(例如，n＝10个图像)，或按照用户所期望的结果来找出图像。

在步骤S32，处理电路可以访问步骤S30中辨识的一个或多个图像并用显示器24为用户显示结果。在其它的实施例中，处理电路也可利用其他特征(例如纹理、脸、时间/日期等)来管理图像。

至少本公开的某些方面描述了用于索引和检索照片或视频图像内容的词汇颜色命名表示(如直方图或矢量)。根据至少一个实施例，系统10对光照变化(阴影，实际光源)的相对不敏感性增强了图像的索引和检索。更具体地说，使用颜色空间的均匀量化时，单一颜色的物体的颜色变化可能会落入许多均匀颜色量化支中(即，归因于三维物体的曲率导致的照明变化、光照估计或数码相机的其它的捕捉参数从图片到图片的变化等)。然而，根据一些实施例，考虑到人的颜色感察和人起的颜色名称，这些颜色的变化仍然是位于单个的词汇化量化支中。在本公开的至少一个实施例中，可关于照明和/或捕捉参数有变化的数据内容的处理减少错误的索引或检索结果，示出了基于颜色相似度的图像索引和检索的增加的鲁棒性。

要寻求的保护不仅限于披露的实施例，实施例只是作为例子，要寻求的保护仅由所附权利要求书的范围来限定。

Claims (10)

1.一种图像管理方法，包括：

使用存储电路16存储多个图像；

存储用于这些图像中相应的图像的多个表征，其中所述多个表征各自包括与人可读的词汇中多个人可理解的词语相对应，并且描述了相应图像的相应内容特征的数据；

把各相应表征与各相应图像关联起来；

得到搜索标准；

将搜索标准与所述表征进行比较；

响应于所述比较找出某一选定的图像；以及

在所述找出之后从存储电路16中访问该选定的一个图像。

2.如权利要求1所述的方法，其中存储所述表征包括存储与各相应的词语对应并指示各相应图像中存在的各相应特征的程度的数字数据。

3.如权利要求1或2所述的方法，其中所述词语描述了包括图像的不同颜色的特征。

4.如权利要求1、2或3所述的方法，其中搜索标准包括所述人可读的词汇中至少一个所述词语，和指示要在该选定的一个图像中存在的对应于该至少一个所述词语的相应特征的期望程度的数字数据。

5.如权利要求1、2或3所述的方法，其中得到搜索标准包括：

提供一搜索图像；和

使用该搜索图像提供搜索标准的数字数据，所述数字数据指示搜索图像中存在的相应特征的程度。

6.一种图像管理系统10，包括：

配置为存储多个图像和存储多个表征的存储电路16，所述多个表征与人可读的词汇中多个人可理解的词语相对应，并与各相应图像相关联，其中所述词语描述了各图像的内容特征，各相应表征指示各相应图像中存在的各相应特征的程度；和

与存储电路16连接的、配置为使用与一个图像和其它图像关联的表征来把该一个图像从其它图像识别出来的处理电路14。

7.如权利要求6所述的图像管理系统，其中所述词语描述了包括图像中存在的不同颜色的特征，所述多个表征包括指示各相应图像中存在的各相应颜色的程度的数字数据。

8.如权利要求6或7所述的图像管理系统，其中处理电路14配置为得到搜索标准并使用搜索标准找出该一个图像。

9.如权利要求8所述的图像管理系统，其中处理电路14配置为使用搜索图像生成包括各相应特征的数字数据的搜索标准。

10.如权利要求8所述的图像管理系统，其中搜索标准包括所述人可读的词汇中至少一个所述词语，和指示要在该选定的一个图像中存在的对应于该词语的相应特征的期望程度的数字数据。

Images