CN102667767A - 色彩描述分析设备、色彩描述分析方法及色彩描述分析程序 - Google Patents

色彩描述分析设备、色彩描述分析方法及色彩描述分析程序 Download PDF

Info

Publication number
CN102667767A
CN102667767A CN2010800466618A CN201080046661A CN102667767A CN 102667767 A CN102667767 A CN 102667767A CN 2010800466618 A CN2010800466618 A CN 2010800466618A CN 201080046661 A CN201080046661 A CN 201080046661A CN 102667767 A CN102667767 A CN 102667767A
Authority
CN
China
Prior art keywords
color
description
natural language
dictionary
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800466618A
Other languages
English (en)
Other versions
CN102667767B (zh
Inventor
细见格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN102667767A publication Critical patent/CN102667767A/zh
Application granted granted Critical
Publication of CN102667767B publication Critical patent/CN102667767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture

Abstract

本发明提供了一种色彩描述分析设备，将自然语言描述转换为对指定色彩空间中的值的分布加以表示的数据，自然语言描述是以与以自然语言表达的色彩相关的描述，所述色彩描述分析设备包括色彩比率确定装置，通过使用对色彩之间的关系加以指示且包括在自然语言描述中的词和短语，来确定在自然语言描述中包括的每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率。

Description

色彩描述分析设备、色彩描述分析方法及色彩描述分析程序
技术领域
本发明涉及一种色彩描述分析设备、色彩描述分析方法和色彩描述分析程序，用于基于与自然语言文本中的色彩相关的描述来分析色彩。
背景技术
近年来，能够直接拍摄数字静止/视频图像的数字静止照相机和数字视频照相机是普遍的，因而可以将大量数字图像累积为数据并容易地参考所累积的数据。例如，诸如静止图像共享服务“Flickr”(http://www.flickr.com)和视频图像共享服务“YouTube”(http://www.youtube.com)之类的网站提供允许世界范围的用户自由地登记、搜索和参考静止/视频图像的服务。此外，大多数在线商品销售网站和拍卖网站提供丰富的照片图像，以使用户检查并比较商品。
此外，还将利用监视照相机拍摄的视频图像累积为数字数据。通过计算机以图像分析的方式执行搜索，来增加搜索个人、对象等的效率。
在针对数字图像的搜索中，如果与搜索的目标相同或相类似的对象的数字图像就在手边，则可以通过计算机进行图像数据之间的图像匹配，来高速地搜索和检索类似图像(例如，参见非专利文献1)。然而，有时候，不容易获取或产生作为用于匹配的样本的这种数字图像。例如，当还没有看见要搜索的真实物品并且必须通过使用诸如从人处获悉的故事或文档中的描述之类的线索来检索图像时，必须基于描述(其通过使用词表达了图像的特征)来进行图像搜索。
存在基于以自然语言描述的查询文本(查询)来搜索图像的相关技术。在这种方法中，通过将查询文本与先前分配给每个图像的每个元数据(以自然语言的词和短语描述)相匹配来执行搜索。还存在通过将与查询文本中包括的色彩和形状相关的自然语言表述相应地转换为图像的特征量来进行搜索的方法。
在采用了使用元数据的前一种搜索方法的情况下，执行与普通关键字搜索基本相同的过程。例如，非专利文献2公开了能够通过使用工具来进行图像搜索的方法，其中该图像搜索与通过分配元数据给(从文档(博客)自动地提取的)每个图像来进行的文档全文本搜索相类似。在将元数据与查询文本相匹配的这种方法中，必须提前分配必要且足够量的元数据给每个图像。因此，操作成本以及元数据的理解程度成为了问题。
在后一种的搜索方法中，存在通过将关于形状的自然语言表述转换为图像的形状特征量来进行搜索的方法。例如，非专利文献3公开了如下方法：通过将诸如“有角的”和“轮廓鲜明的”之类的感观词与形状特征量相关联来执行搜索，其中形状特征量通过使用符号和数字值来表达在图像中包括的对象(例如，椅子)的一部分的长度、角度等。
后一种搜索方法还包括通过将关于色彩的自然语言表述转换为图像的色彩特征量来进行搜索的方法。例如，专利文献1公开了如下方法，即通过将诸如“蓝色”或“类似黄色”之类的色彩相关的表述转换为以色彩空间(RGB、HIS等)中的值的分布来表达的色彩特征量，来搜索外衣、风景相片等。这种使用色彩特征量的图像搜索方法还可用于搜索没有提前分配元数据的图像。使用色彩特征量的图像搜索方法还对以下情形有效：不能有效地执行使用形状特征量的图像搜索(当专门检索相同形状的条项(T恤，手帕等)，当检索具有不确定形状的对象的照片图像(例如，自然风景)时，等等)。
引用列表
专利文献
专利文档1：JP-2009-3581A
非专利文献
非专利文献1：Kobayakawa等，″Interactive Image Retrieval Basedon Wavelet Transform and Its Application to Japanese Historical ImageData″，Transactions of Information Processing Society of Japan，Vol.40，No.3，pp.899-911，1999
非专利文献2：Ihara等，″Mobloget：A Retrieval System for Texts andImages in Blogs″，Workshop on Interactive Systems and Software(WISS2005)，pp.69-74，2005
非专利文献3：Harada等，″On Constructing Shape Feature Space forInterpreting Subjective Expressions″，Transactions of Information ProcessingSociety of Japan，Vol.40，No.5，pp.2356-2366，1999
发明内容
技术问题
然而，在将自然语言文本描述的色彩相关的表述转换为色彩特征量的方法中(例如，专利文档1中描述的方法)，对于一个搜索图像或图像中的一个对象，仅可以指定一种色彩。例如，在由例如“具有红色和蓝色图案的针织衫”或“在白色背景上有蓝色线的衬衣”等两种或多种色彩的组合来表达查询文本的情况下，不可以执行指定两种或多种色彩的图像搜索，并且不能高精度地搜索并检索目标图像。
要解决以上问题的本发明的目的在于，提供一种色彩描述分析设备、色彩描述分析方法和色彩描述分析程序，使得当基于自然语言形式的颜色相关的描述来进行图像搜索时，即使当以自然语言表达的色彩相关的描述描述了两种或多种色彩时，也可以高精度地搜索并检索期望图像。
问题的解决方案
根据本发明的一个方面，提供了一种色彩描述分析设备，将自然语言描述转换为对指定色彩空间中的值的分布加以表示的数据，自然语言描述是与以自然语言表达的色彩相关的描述，所述色彩描述分析设备包括色彩比率确定装置，所述色彩比率确定装置通过使用对色彩之间的关系加以指示且在包括在自然语言描述中的词和短语，来确定在自然语言描述中包括的每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率。
根据本发明的另一方面，提供了一种色彩描述分析设备，将自然语言描述转换为对指定色彩空间中的值的分布加以表示的数据，自然语言描述是与以自然语言表达的色彩相关的描述，所述色彩描述分析设备包括色彩比率确定装置，其中，对于自然语言描述指定的色彩以及先前存储的指定色彩，所述色彩比率确定装置确定每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率。
根据本发明的另一方面，提供了一种色彩描述分析方法，其中，通过如下步骤产生对指定色彩空间中的值的分布加以表示的数据：通过使用对色彩之间的关系加以指示且包括在自然语言描述中的词和短语，确定在自然语言描述中包括的每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率，所述自然语言描述是以自然语言表达的色彩相关的描述。
根据本发明的另一方面，提供了一种色彩描述分析方法，其中，通过如下步骤产生对指定色彩空间中的值的分布加以表示的数据：对于自然语言描述指定的色彩以及先前存储的指定色彩，确定每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率。
根据本发明的另一方面，提供了一种用于使计算机执行如下过程的色彩描述分析程序：通过使用对色彩之间的关系加以指示且包括在自然语言描述中的词和短语，来确定在自然语言描述中包括的每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率；以及产生对指定色彩空间中的值的分布加以表示的数据，所述自然语言描述是以自然语言表达的色彩相关的描述。
根据本发明的另一方面，提供了一种用于使计算机执行如下过程的色彩描述分析程序：对于自然语言描述指定的色彩以及先前存储的指定色彩，确定每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率；以及产生对指定色彩空间中的值的分布加以表示的数据。
本发明的有益效果
根据本发明，当基于自然语言形式的颜色相关的描述来进行图像搜索时，即使当以自然语言表达的色彩相关的描述描述了两种或多种色彩时，也可以高精度地搜索并检索期望图像。
附图说明
[图1]描述了示出根据本发明的色彩描述分析设备的功能性结构的示例的框图。
[图2]描述了示出向色彩描述分析设备输入的输入/输出数据及通过使用色彩描述分析设备进行的图像搜索的示例的说明性示图。
[图3]描述了示出字典的具体示例的说明性示图。
[图4]描述了示出由色彩比率确定装置执行的过程的示例的说明性示图。
[图5]描述了示出色彩描述分析装置的硬件结构的示例的说明性示图。
[图6]描述了示出色彩描述分析设备输入自然语言文本并分析在搜索目标图像中包括的色彩的示例的流程图。
[图7]描述了示出根据第二示例性实施例的色彩描述分析设备的功能性结构的示例的框图。
[图8]描述了示出第二示例性实施例中的字典的具体示例的说明性示图。
[图9]描述了示出指示每种类别的信息以及指示在第二示例性实施例中的对象结构知识中包括的类别之间的关系的信息的具体示例的说明性示图。
[图10]描述了示出第二示例性实施例中的色彩值调节装置校正在搜索目标图像中包括的每种色彩(在色彩空间中)的区域的执行的示例的说明性示图。
[图11]描述了示出第二示例性实施例中的色彩比率调节装置调节色彩区域的面积比率的示例的说明性示图。
[图12]描述了示出根据第三示例性实施例的色彩描述分析设备的功能性结构的示例的框图。
[图13]描述了示出第三示例性实施例中的色彩区域调节装置调节色彩空间中的每个局部区域的尺寸的示例的说明性示图。
[图14]描述了示出色彩描述分析设备的最小功能性结构的示例的框图。
具体实施方式
<第一示例实施例>
在下文中，将参考附图描述本发明的第一示例性实施例。图1是示出了根据本发明的色彩描述分析设备的功能性结构的示例的框图。如图1所示，本示例实施例中的色彩描述分析设备包括字典101、自然语言文本输入装置102、色彩描述提取装置103、色彩比率确定装置104及图像特征量产生装置105。色彩描述分析设备能够通过使用这些装置产生与关于色彩的输入自然语言描述相对应的图像特征量数据。换句话说，本发明的色彩描述分析设备将自然语言文本中的关于色彩的描述转换为图像特征量。具体地，通过根据程序操作的信息处理设备(例如，个人计算机)来实现色彩描述分析设备。
例如，根据本发明的色彩描述分析设备可适用于对利用照相机拍摄的累积图像进行图像检索(图像搜索)。基于此目的，通过采用色彩描述分析设备，使得能够基于从人处获悉的图像的对象的特征(通过询问获得的信息等等)进行图像搜索。根据本发明的色彩描述分析设备尤其适用于搜索期望的产品/装备(衣服、鞋等)、适用于将根据自然语言文本产生的色彩分布与搜索的原始预期目标的色彩分布相比较，从而分析人记忆的色彩与实际色彩之间的差异，分析照明的效果或者调节照明等等。
字典101是包括了表示色彩的自然语言词(自然语言形式的词)(在下文中，也被称作“色彩描述”)和表示色彩之间的关系的自然语言词(在下文中，也被称作“相关术语”)的字典。具体地，在诸如磁盘设备或光盘设备之类的存储设备中存储字典101。
具体地，通过信息处理设备的CPU根据程序及诸如键盘和鼠标之类的输入设备操作来实现自然语言文本输入装置102。自然语言文本输入装置102具有根据用户操作输入作为自然语言形式的关于搜索目标图像(作为搜索的目标的图像)的描述的查询文本的功能。附带地，在本示例实施例中，具体地假设自然语言文本输入装置102输入了对搜索目标图像的关于色彩的特征加以描述的查询文本。
自然语言文本输入装置102还可以被配置为输入或接收包括查询文本的文件，其中该查询文本描述了搜索目标图像。
具体地，通过根据程序操作的信息处理设备的CPU来实现色彩描述提取装置103。色彩描述提取装置103具有如下功能：通过使用字典101从自然语言文本输入装置102输入的查询文本中提取表示了色彩的词(色彩描述)。色彩描述提取装置103还具有如下功能：通过使用字典101从自然语言文本输入装置102输入的查询文本中提取相关术语。
具体地，通过根据程序操作的信息处理设备的CPU来实现色彩比率确定装置104。色彩比率确定装置104具有如下功能：基于色彩描述提取装置103提取的色彩描述及相关术语来确定在查询文本中包括的色彩之间的比率。在本示例实施例中，色彩比率确定装置104提取对与色彩描述提取装置103提取的色彩描述相对应的色彩空间加以表示的值以及与来自字典101的相关术语相对应的分比率。色彩比率确定装置104基于提取的值(表示色彩空间)和分比率确定搜索目标图像中的色彩区域和色彩比率(由在查询文本中包括的色彩所表示的区域的比率)。
具体地，通过根据程序操作的信息处理设备的CPU来实现图像特征量产生装置105。图像特征量产生装置105具有如下功能：基于色彩比率确定装置104确定的色彩比率，产生图像特征量，图像特征量表示搜索目标图像的关于色彩的特征(表示指定色彩空间中的值的分布的数据)。在该示例实施例中，图像特征量产生装置105产生图像特征量，其中包括由色彩比率确定装置104确定的色彩区域与色彩比率，同时色彩区域与色彩比率彼此相关联。
图2是示出了向色彩描述分析设备输入的输入/输出数据以及通过使用色彩描述分析设备进行的图像搜索的示例的说明性示图。例如，如图2所示，本示例实施例中的自然语言文本输入装置102根据用户操作输入查询文本，例如“具有蓝色背景上的黄色线的衬衣…”。如图2的示例所示，即使对于使用多个色彩来描述的搜索目标图像(例如，“蓝色背景上的黄色线”)，本示例实施例中的色彩描述分析设备也能够根据以自然语言描述的文本(在下文中，被称作“自然语言文本”)来产生图像特征量数据，该图像特征量数据包括关于如下内容的信息：占据了色彩空间中特定区域的一个或多个局部区域，以及每个局部区域中色彩在搜索目标图像的整个区域中的占有率(占有的面积比率)。可以通过使用由色彩描述分析设备产生的图像特征量来进行图像匹配，由此执行诸如针对搜索目标图像的图像搜索之类的操作。
图3是示出了字典101的具体示例的说明性示图。可以通过参考准备包括如图3所示内容的字典101来执行色彩描述提取装置103从自然语言文本中提取关于色彩的描述(色彩描述)，以及色彩比率确定装置104确定色彩比率(以自然语言文本描述的色彩的区域在色彩空间中的占有率)的操作。
例如，当由自然语言文本输入装置102输入的自然语言文本是“蓝色背景上的黄线”时，色彩描述提取装置103能够通过参考图3所示的字典101来提取“蓝色”和“黄色”作为色彩名称。色彩描述提取装置103还能够提取存在于色彩名称之间的相关术语(表示关系的词)“on”。作为表示关系的词(相关术语)，色彩描述提取装置103从位于查询文本中包括的两个色彩名称之间的字符串排他地提取相关词。在本示例中，色彩描述提取装置103按照提取的顺序从查询文本中提取色彩描述和相关术语，例如[色彩名称：黄色]，[关系：上]以及[色彩名称：蓝色]。
接下来，以下将描述色彩比率确定装置104根据提取的词序列确定每种色彩在色彩空间中的区域以及每个区域的色彩比率的过程。图4是示出了由色彩比率确定装置104执行的过程的示例的说明性示图。当如图4(a)所示，输入的自然语言文本是“蓝色背景上的黄色线”时，色彩描述提取装置103根据与以上过程相似的过程提取[色彩名称：黄色]，[关系：上]以及[色彩名称：蓝色]。此处，色彩比率确定装置104可以通过再次参考图3所示的字典101，来确定[色彩名称：蓝色]的区域(240，1.0，0.5，0.15)，其中通过将[色彩名称：蓝色]的色彩区域宽度W加到[色彩名称：蓝色]的色彩空间(图3所示的字典101中的HSV空间)的值[色彩名称：蓝色]，来获得[色彩名称：蓝色]的区域(240，1.0，0.5，0.15)。色彩比率确定装置104还可以根据类似过程确定[色彩名称：黄色]的区域(60，1.0，0.5，0.08)。
随后，对于色彩空间中的两个色彩的每个确定区域，色彩比率确定装置104通过采用(色彩区域之间的)区域分比率来确定色彩间比率，其中通过结合了两个色彩的相关术语[关系：上]来表示区域分比率。在本示例中，图3所示的字典101已经指定比率0.2∶0.8，作为与[关系：ON]相对应的分比率。因此，色彩比率确定装置104能够判断目标图像中的[色彩名称：黄色]的区域的占有率(面积比率)等于0.2(20％)，以及目标图像中的[色彩名称：BLUE]的区域的占有率(面积比率)等于0.8(80％)。
作为另一示例，以下将输入的自然语言文本包括色彩描述“白色背景上的蓝色和红色”的情况。此外，在这种情况下，色彩比率确定装置104能够根据与图4(a)所示的过程类似的过程将色彩“蓝色”、“红色”和“白色”的面积比率分配成如图4(b)所示的0.1∶0.1∶0.8，其中通过该比率可以确定构成特定目标图像的色彩的色彩比率。附带地，图4(b)的示例中的色彩比率确定装置104被配置为关于色彩名称的结合，通过将[关系：与]优先于[关系：上]来确定比率。
色彩比率确定装置104还可以进一步通过使用在图3所示的字典101中包括的默认色彩的值来确定色彩区域的面积比率。例如，色彩比率确定装置104可以被配置为，仅当从自然语言文本提取的色彩相关的描述中包括的色彩名称的数目是0时，或者仅当包括了一个色彩相关的描述时，通过使用默认色彩来确定色彩比率。备选地，即使当在查询文本中包括了两个或多个色彩名称时，如果结合了两个或多个色彩的相关术语表示等分(例如，[关系：与])，则色彩比率确定装置104可以通过附加地将默认色彩用作作为等分对象的色彩中的一个色彩，来确定色彩比率。
在图3所示的字典101的示例中，将默认色彩指定为白色。因此，例如，当从自然语言文本提取了仅一个色彩[色彩名称：红色]时，则色彩比率确定装置104可以通过将默认色彩用作作为等分的对象的色彩中的一个色彩，来确定色彩比率。在这种情况下，色彩比率确定装置104判断在查询文本中包括的色彩描述和相关术语与[色彩名称：白色]、[关系：与]以及[色彩名称：红色]相对应，并且根据以下表达式(1)确定色彩比率：
[HSVW：180，0，1.0，0.1]×[0.5]
[HSVW：0，1.0，0.5，0.1]×[0.5]…(1)
附带地，假设例如先前已经通过管理色彩描述分析设备的系统管理员等输入并登记在字典101中包括的每个色彩的表示了色彩空间的值(在本示例中，采用了HSV的值)及每个相关术语的分比率的值。可以例如通过对过去进行的图像搜索的历史日志进行汇总，来将每个相关术语的分比率的值确定为统计量。假定在本示例性实施例中，例如由于对先前图像搜索的历史日志的汇总而获得了指示如下内容的统计量并且根据统计量来设置字典101：在使用了相关术语“与”的情况下，色彩间比率是约50％，以及在使用了相关术语“上”的情况下，色彩间比率是80∶20。
尽管在本示例性实施例中将HSV空间用作每个色彩的色彩空间，但是色彩空间的类型不限于在本示例性实施例中示出的色彩空间；只要空间表示色彩空间，就可以使用不同类型的空间，例如RGB空间或HLS空间。
根据以上描述的过程，如图4所示，对于由在字典101中描述的色彩名称所标识的每个对象(一个图像中)的色彩，可以确定色彩区域和色彩比率。因此，图1所示的图像特征量产生装置105能够输出由色彩比率确定装置104确定的一组或多组数据(每个数据包括色彩区域和色彩比率)，作为图像特征量。
根据以上描述的结构和过程，色彩描述分析设备能够根据输入的自然语言文本(查询文本)产生图像特征量，该图像特征量包括色彩空间中的区域以及与构成图像的一个或多个色彩相关的占有率。这使得能够基于如图2所示示例中的自然语言文本搜索由两个或多个色彩形成的图像。
接下来，以下将描述色彩描述分析设备的硬件结构。图5是示出了色彩描述分析设备的硬件结构的示例的框图。如图5所示，可以通过与通用计算机设备的硬件结构相类似的硬件结构来实现色彩描述分析设备12。色彩描述分析设备12包括CPU(中央处理单元)121、主存储单元122、输出单元123、输入单元124、通信单元125和辅助存储单元126。
例如，主存储单元122是由RAM(随机访问存储器)实现的主存储器。主存储单元122被用作数据的工作区域及临时回收区域(临时保存区域)。输出单元123由显示设备(例如，液晶显示器)或打印设备(例如，打印机)来实现。输出单元123具有输出数据的功能。输入单元124由诸如键盘或鼠标之类的输入设备来实现。输入单元124具有输入数据的功能。在通过加载文件来进行数据输入的情况下，输入单元124还可以通过用于从外部记录介质读取数据的设备等来实现。通信单元125与外围设备相连。通信单元125具有发送和接收数据的功能。辅助存储单元126例如由ROM(只读存储器)或硬盘设备来实现。
通过如图5所示的系统总线127将以上部件121-126连接在一起。
在图5所示的示例中，色彩描述分析设备12的辅助存储单元126存储了各种程序，其中所述各种程序用于基于作为自然语言文本输入的查询文本来分析在搜索目标图像中包括的色彩。例如，辅助存储单元126存储了用于使计算机执行如下过程的色彩描述分析程序：通过使用指示了色彩之间的关系并包括在自然语言描述中的词和短语，确定自然语言描述(作为与以自然语言表达的色彩相关的描述)中包括的每个色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率，以及产生对指定色彩空间中的值的分布加以表示的数据。
还可以通过安装电路部件来以基于硬件的方式实现色彩描述分析设备12，其中电路部件包括硬件部件，例如嵌入了用于在色彩描述分析设备12中实现图1所示功能的程序的LSI(大规模集成电路)。备选地，还可以通过使计算机的CPU121执行提供了图1所示部件的上述功能的程序来以基于软件的方式实现色彩描述分析设备12。因此，CPU121能够通过从辅助存储单元126加载程序到主存储单元122中并运行该程序来控制色彩描述分析设备12，由此以基于软件的方式实现前述功能。
接下来，将描述操作。图6是示出了色彩描述分析设备输入自然语言文本并分析在搜索目标图像中包括的色彩的过程的示例的流程图。首先，由想要进行图像搜索的用户操作色彩描述分析设备，从而指示该设备输入查询文本，其中该查询文本通过使用自然语言(自然语言文本)来描述了用户想要搜索的图像(搜索目标图像)的特征(具体是色彩)。然后，色彩描述分析设备的自然语言文本输入装置102根据用户操作来输入自然语言(步骤S10)。
随后，色彩描述分析设备的色彩描述提取装置103基于字典101从自然语言文本输入装置102输入的自然语言文本中提取关于搜索目标图像的色彩描述和相关术语(步骤S11)。随后，色彩描述分析设备的色彩比率确定装置104基于色彩描述提取装置103提取的色彩描述和相关术语确定在查询文本中包括的色彩之间的比率(步骤S12)。在本示例性实施例中，色彩比率确定装置104从字典101提取对与提取的色彩描述相对应的色彩空间加以表示的值以及与相关术语相对应的分比率，然后基于提取的(表示色彩空间)值和分比率来确定搜索目标图像中的色彩区域和色彩比率。
随后，色彩描述分析设备的图像特征量产生装置105基于由色彩比率确定装置104确定的色彩比率，产生对搜索目标图像中关于色彩的特征加以表示的图像特征量(步骤S13)。在本示例性实施例中，图像特征量产生装置105产生了图像特征量，该图像特征量包括由色彩比率确定装置104确定的色彩区域和色彩比率，同时色彩区域与色彩比率彼此相关联。
此后，由色彩描述分析设备产生的图像特征量被输入到执行图像搜索的图像搜索设备(未示出)。图像搜索设备基于色彩描述分析设备产生的图像特征量来执行图像搜索，图像搜索设备搜索并提取与搜索目标图像相匹配的图像。附带地，可以通过使用单个(公共)信息处理设备或分离的信息处理设备，来实现色彩描述分析设备和图像搜索设备。
如上所描述，根据本示例性实施例，色彩描述分析设备根据通过键盘输入的自然语言文本或由通信单元经由网络加载或接收的文件，来产生表示图像特征量的数据。通过使用经由网络与色彩描述分析设备12相连的图像搜索设备(未示出)，或者通过使用在与色彩描述分析设备12相同的硬件中执行的图像搜索程序，可以实现针对一个色彩或者两个或多个色彩形成的图像的图像搜索。
具体地，色彩描述分析设备提取在输入的自然语言文本中包括的多个色彩描述，同时还提取相关术语。色彩描述分析设备基于提取的色彩描述和相关术语确定关于多个色彩的色彩区域和色彩比率。然后，色彩描述分析设备产生图像特征量，该图像特征量包括了彼此相关联的确定的色彩区域和色彩比率。因此，即使当以自然语言描述的色彩相关的描述描述了两个或多个色彩时，当基于自然语言的色彩相关的描述进行图像搜索时，可以将色彩相关的描述转换为关于图像的色彩特征量。因此，当基于自然语言的色彩相关的描述进行图像搜索时，即使当以自然语言描述的色彩相关的描述描述了两个或多个色彩时，也可以高精度地搜索并检查期望的图像。换句话说，即使当搜索目标图像由两个或多个色彩构成时，也可以基于自然语言形式的清楚且简单的表述来搜索并检索期望的图像。
<第二示例性实施例>
接下来，将参考附图描述本发明的第二示例性实施例。图7是示出了根据第二示例性实施例的色彩描述分析设备的功能性结构的示例的框图。如图7所示，本示例性实施例中的色彩描述分析设备与第一示例性实施例中的色彩描述分析设备的不同之处在于，除了图1所示的部件之外，该设备还包括对象结构知识107、对象描述提取装置108、色彩值调节装置109和色彩比率调节装置110。此外，在本示例性实施例中的字典106中包括的信息与在第一示例性实施例中的字典101中包括的信息不同。
本示例性实施例中的自然语言文本输入装置102、色彩描述提取装置103、色彩比率确定装置104和图像特征量产生装置105的功能与第一示例性实施例中描述的这些装置相同，从而为了简洁而省略了其中的重复说明部分。
图8是示出了第二示例性实施例中字典106的具体示例的说明性示图。如图8所示，本示例性实施例中的字典106与第一示例性实施例中的字典101的不同之处在于，与图3所示的字典101相比较，字典106还包括对象名称字典、前置修饰词字典和后置修饰词字典。
对象名称字典包括非色彩的对象(例如，诸如衣服之类的对象)的名称，其中从可以是搜索目标图像的特征的词中选择该对象。例如，在图8所示的对象名称字典中包括的描述“衣服名称：运动衫、衣服、蓝色”指示了由词“衣服名称：运动衫”表示的对象是类别“衣服”的实例。在图8的示例中，色彩“蓝色”是“衣服名称：运动衫”的默认色彩。可以按照与第一示例性实施例中说明的字典101中的默认色彩相同的方式将针对“衣服名称：运动衫”的这种默认色彩用于图像中被辨认为运动衫的区域中。
附带地，尽管通过将衣服(运动衫、夹克等)当作可能在搜索目标图像中包括的对象的示例来说明本示例性实施例，但是对象不限于本示例性实施例中所示出的这些对象；还可以针对诸如个人物品(包、照相机等)之类的其它对象来进行分析。
如图8所示，前置修饰词字典包括从可以是搜索目标图像的特征的词选择的前置修饰词(“明亮”、“薄”等)。同时，后置修饰词字典包括从可以是搜索目标图像的特征的词选择的后置修饰词(“类似”、“类型”等)。
对象结构知识107包括了指示每种类别(搜索目标图像中可能包括的对象所属的目录)的信息以及指示类别之间的关系的信息。图9是示出了如下信息的具体示例的说明性示图：指示每种类别的信息，以及指示在第二示例性实施例中的对象结构知识107中包括的类别之间的关系。具体地，在诸如磁盘设备或光盘设备之类的存储设备中存储对象结构知识107。
在图9的示例中，“衣服”、“上衣”、“外套”、“上半身”等表示类别，以及附着于将类别相连的箭头上的“类别”、“盖写”、“优先级”等表示特定关系(每种关系表示了类别之间的关系)。对于类别间关系中的关系“盖写”和“优先级”，对象结构知识107还描述了(参见图9)处于每个箭头(表示类别之间的关系)的尾部的类别与处于箭头的顶部的类别占据了图像中多少百分比的共享区域。
在图9所示的对象结构知识107中，例如，设置类别“上衣外套”和“上衣”(它们由于被归类到了相同的类别“上半身”而共享了相同区域)，使得类别“上衣外套”具有优于类别“上衣”的“优先级”。根据该设置，当同时以自然语言文本描述与“上衣外套”相对应的对象以及与“上衣”相对应的对象时，可以根据图9所示的设置来判断与“上衣外套”相对应的对象的色彩占据了共享区域的0.7(70％)以及与“上衣”相对应的对象的色彩占据了相同共享区域的余下0.3(30％)。相反，当已经设置了“盖写”时，可以判断与处于箭头尾部的类别相对应的对象的色彩占据了共享区域的1.0(100％)，即，整个区域。
附带地，假设例如先前已经通过管理色彩描述分析设备的系统管理员等输入并登记了在字典106中包括的对象名称字典、前置修饰词字典和后置修饰词字典。还假定例如先前已经通过管理色彩描述分析设备的系统管理员等输入并登记了对象结构知识107。
在图7中，具体地，通过根据程序操作的信息处理设备的CPU实现对象描述提取装置108。对象描述提取装置108具有参考字典106从而从自然语言文本输入装置102输入的自然语言文本提取(在字典106中的对象名称字典中描述的)对象名称的功能。对象描述提取装置108还具有从对象名称字典提取所提取的对象名称所属的类别的功能。对象描述提取装置108还具有判断对象名称所属的类别与关于色彩描述提取装置103提取的对象名称的色彩描述(即，色彩描述提取装置103提取的所有色彩描述中与对象描述提取装置108提取的对象名称相关的色彩描述)之间的相应关系的功能。简而言之，对象描述提取装置108通过使用字典106从自然语言文本提取对象的名称并判断对象的类型。
尽管在图7的示例中将对象描述提取装置108设置为在色彩描述提取装置103之后用于执行过程的装置，色彩描述提取装置103与对象描述提取装置108之间的前后关系不限于图7所示的关系。例如，还可以在色彩描述提取装置103之前设置对象描述提取装置108。在这种情况下，对象描述提取装置108首先执行从自然语言文本输入装置102输入的自然语言文本提取对象名称的过程，以及此后色彩描述提取装置103执行从自然语言文本提取色彩描述的过程。还可以并发且并行地执行由色彩描述提取装置103与对象描述提取装置108进行的过程。
在图7中，具体地，通过根据程序操作信息处理设备的CPU实现了色彩值调节装置109。色彩值调节装置109具有参考字典106从而从自然语言文本输入装置102输入的自然语言文本中提取色彩名称以及关于色彩的修饰词的功能。具体地，色彩值调节装置109从自然语言文本提取在前置修饰词字典中包括的前置修饰词以及在后置修饰词字典中包括的后置修饰词。色彩值调节装置109还具有基于提取的前置修饰词和后置修饰词来校正色彩空间中的每种颜色的区域的功能。简而言之，色彩值调节装置109通过使用在字典106中包括的色彩相关的修饰词来调节自然语言文本中以自然语言描述的每种色彩在指定色彩空间中占据的区域的位置或尺寸。
图10是示出了如下过程的示例的说明性示图：第二示例性实施例中的色彩值调节装置109校正在搜索目标图像中包括的每种色彩(在色彩空间中)的区域。例如，当在图10所示的输入的自然语言文本中存在描述“红色类似”时，色彩值调节装置109从描述“红色类似”提取连续元素[色彩名称：红色]和[后置修饰词：类似]的集合。随后，色彩值调节装置109通过使用(在本示例中，“相加”)“类似”的校正值(0，-0.1，0，0.2)来校正对色彩空间中的“红色”的区域加以表示的值(0，1.0，0.5，0.1)，从而确定对校正区域加以表示的值(0，0.9，0.5，0.3)。然后，色彩值调节装置109将校正值用作表示了“红色类似”的值。
在本示例性实施例中，色彩比率确定装置104通过使用由色彩值调节装置109获得的校正值，来确定搜索目标图像中的色彩区域和色彩比率。
在图7中，具体地，通过根据程序操作的信息处理设备的CPU实现色彩比率调节装置110。色彩比率调节装置110具有参考字典106和对象结构知识107，由此调节由色彩比率确定装置104确定的整个对象中每种色彩的区域的占有的面积比率(占有率)的功能。具体地，在由两个或多个部分对象的结合形成对象区域的情况下，色彩比率调节装置110基于部分对象之间的组成比率，来相应地改变占据了部分对象的色彩之间的面积比率。简而言之，色彩比率调节装置110通过使用在对象结构知识107中包括的对象类型之间的关系，来确定占据了图像中与每个对象相对应的特定区域的每种色彩的面积比率。
图11是示出了第二示例性实施例中色彩比率调节装置110调节色彩区域的面积比率过程的示例的说明性附图。在图11所示的示例中，假定至少描述了作为字典106中衣服名称的属于类别“上衣外套”的“夹克”和属于类别“上衣”的“针织衫”。还假定对象结构知识107(在图11中简单表示为“知识”)至少描述了如下信息：指示了关系-类别“上衣外套”被“归类”到类别“上半身”下的信息、指示了关系-“上衣”被“归类”到类别“上半身”下的信息、指示了关系-类别“上衣外套”具有由于类别“上衣”的“优先级”)的信息、以及指示了具有“优先级”的类别中的实例的色彩的占有率等于0.7(70％)(优先级：0.7)的信息。
在图11所示的示例中，当输入的自然语言文本是“米色夹克和红色针织衫”(步骤0)时，色彩比率调节装置110基于字典106的内容判断占据夹克的色彩中的米色的比率是100％(色彩比率：1.0)以及占据针织衫的色彩中的红色的比率是100％(色彩比率：1.0)(步骤1)。
随后，色彩比率调节装置110基于字典106的内容判断夹克是一种上衣外套(类别“上衣外套”的实例)以及针织衫是一种上衣(类别“上衣”的实例)(步骤2)。
此外，色彩比率调节装置110能够基于对象结构知识107的内容判断类别“上衣外套”和类别“上衣”均被归类到了类别“上半身”下。色彩比率调节装置110还能够判断在重叠的情况下(当上衣外套与上衣彼此重叠的情况下，类别“上衣外套”具有优于类别“上衣”的“优先级”)。色彩比率调节装置110还能够判断，在类别“上半身”中的所有实例中，具有“优先级”的实例的色彩具有“0.7”(70％)的占有率。因此，色彩比率调节装置110能够确定，整个“上半身”中的“米色”(作为夹克的色彩)的占有率等于1.0×0.7以及整个“上半身”中的“红色”(作为针织衫的色彩)的占有率等于1.0×(1.0-0.7)(步骤3)。因此，色彩比率调节装置110能够确定色彩组成比率是米色0.7∶red 0.3(步骤4)。
在本示例性实施例中，在经历了由色彩比率调节装置110进行的面积比率调节之后，图像特征量产生装置105基于色彩区域产生图像特征量。
可以通过与图5所示的第一示例性实施例中的色彩描述分析设备相类似的硬件结构来实现本示例性实施例中所示的色彩描述分析设备。
如上所描述，根据本示例性实施例，色彩描述分析设备从输入的自然语言文本提取对象名称和类别，从而校正在搜索目标图像中包括的每种色彩的(色彩空间中的)区域。然后，色彩描述分析设备调节在搜索目标图像中包括的色彩区域的面积比率，并且在面积比率调节之后基于色彩区域产生图像特征量。因此，本示例性实施例使得即使当不同色彩的两个或多个对象重叠时，也能够根据自然语言文本产生图像的色彩空间中的图像特征量。因此，可以通过对自然语言文本的使用来搜索并提取其中不同色彩的两个或多个对象重叠的图像。
<第三示例性实施例>
接下来，将参考附图描述本发明的第三示例性实施例。图12是示出了根据第三示例性实施例的色彩描述分析设备的功能性结构的示例的框图。如图12所示，本示例性实施例中的色彩描述分析设备与第一示例性实施例中的色彩描述分析设备的不同之处在于，除了图1所示的部件之外，该设备还包括色彩区域调节装置111。
此外，在本示例性实施例中的字典101中包括的信息与在第一示例性实施例中的字典101中包括的信息等同，因而为了简洁而省略了其重复说明部分。本示例性实施例中的自然语言文本输入装置102、色彩描述提取装置103、色彩比率确定装置104和图像特征量产生装置105的功能与第一示例性实施例中描述的这些装置等价，从而为了简洁而省略了其中的重复说明部分。
如图12所示，除了在第一示例性实施例中描述的部件之外，本示例性实施例中的色彩描述分析设备还配置有色彩区域调节装置111。具体地，通过根据程序操作的信息处理设备的CPU来实现色彩区域调节装置111。色彩区域调节装置111具有如下功能：当色彩描述提取装置103从自然语言文本提取了多个色彩名称时，根据色彩空间中所提取的色彩名称表示的局部区域之间的距离来调节色彩空间中的每个局部区域的尺寸。换句话说，对于作为自然语言文本的对象的图像的整个区域，色彩区域调节装置111根据在自然语言文本中包括的色彩在指定色彩空间中占据的区域之间的距离，来调节在自然语言文本中包括的每种色彩占据的每个区域的尺寸。
图13是示出了第三示例实施例中的色彩区域调节装置111调节色彩空间中的每个局部区域的尺寸的过程的示例的示意性示图。例如，在色彩空间的局部区域1和2处于特定位置关系(其中局部区域1和2的边界色彩之间的距离等于如图13(a)所示的特征值(特定距离))的情况下，色彩区域调节装置111不执行改变色彩空间中从每个局部区域1、2的中心色彩至边界色彩的距离的过程。在局部区域1和2之间的距离大于如图13(b)所示的特定距离的情况下，色彩区域调节装置111执行增大从每个局部区域1、2的中心色彩至边界色彩的距离的过程，直到局部区域1和2的边界色彩之间的距离的最小值下降到特定值为止。相反，在局部区域1和2之间的距离小于如图13(c)所示的特定距离的情况下，色彩区域调节装置111执行减小从每个局部区域1、2的中心色彩至边界色彩的距离的过程，直到局部区域1和2之间的距离的最小值增大到特定值为止，或者直到局部区域1和2之间的重叠消失为止。
在图13(b)和13(c)所示的情况下，可以设置限制值，该限制值与增大或减小从每个局部区域的中心色彩至边界色彩的距离的比率相关。色彩区域调节装置111还可以通过测量局部区域1和2的中心色彩之间的距离来执行调节，而不是增大/减小局部区域的边界色彩之间的距离。在这种情况下，色彩区域调节装置111执行如下过程：通过减小彼此面对的局部区域1和2的部分(区域)的尺寸来避免重叠，同时通过增大如图13(d)所示局部区域1和2的另一侧的部分(区域)来维持或增大色彩空间中的局部区域1和2的占有尺寸。
在本示例性实施例中，在经历了由色彩区域调节装置111进行的尺寸调节之后，图像特征量产生装置105基于色彩区域产生图像特征量。
可以通过与图5所示的第一示例性实施例的色彩描述分析设备的硬件结构相类似的硬件结构来实现本示例性实施例所示的色彩描述分析设备。
如上所描述的，根据本示例性实施例，已经从自然语言文本提取了多个色彩名称的色彩描述分析设备调节色彩空间中的每个局部区域的尺寸。然后，色彩描述分析设备在尺寸调节之后基于色彩区域产生图像特征量。因此，通过根据色彩空间中与以自然语言指定的色彩相对应的局部区域之间的相对距离来调节每个局部区域的尺寸，可以维持以自然语言指定的每种色彩的独立性，同时还可以保持宽目标范围的与产生的图像特征量相匹配的图像。这能够有效地进行图像搜索，其中自然语言文本被用作输入，可理解度高，以及很好地结合了以自然语言文本输入的条件。
尽管已经通过以上第一至第三示例性实施例描述了本发明的优选实施例，但是根据本发明的色彩描述分析设备不限于以上示例性实施例。因此，可以对根据本发明的色彩分析设备的结构和功能进行本领域技术人员可理解的在本发明的范围内的多种修改。
接下来，将描述根据本发明的色彩分析设备的最小结构。图14是示出了色彩描述分析设备的最小功能性结构的实例的框图。如图14所示，色彩描述分析设备包括作为其最小结构部件的色彩比率确定装置104。如图14所示的最小结构中的色彩描述分析设备执行将自然语言描述转换为对指定色彩空间中的值的分布加以表示的数据的过程，其中自然语言描述作为与以自然语言表达的色彩相关的描述。色彩比率确定装置104具有如下功能：通过使用对色彩之间的关系加以指示并且在自然语言描述中包括的词和短语，确定在自然语言描述中包括的每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率。
根据在图14所示的最小结构中的色彩描述分析设备，当基于自然语言形式的色彩相关的描述进行图像搜索时，即使当以自然语言表达的色彩相关的描述描述了两种或多种色彩时，也可以高精度地搜索并检索期望图像。
在以上描述的示例性实施例中示出了色彩描述分析设备的以下特性的结构(1)-(16)：
(1)色彩描述分析设备，将自然语言描述转换为对指定色彩空间中的值的分布加以表示的数据(例如，图像特征量)，自然语言描述是与自然语言表达的色彩相关的描述(例如，自然语言文本)，所述色彩描述分析设备包括(例如，由色彩比率确定装置104实现的)色彩比率确定装置，所述色彩比率确定装置通过使用对色彩之间的关系加以指示且包括在自然语言描述中的词和短语(例如，相关术语)，来确定在自然语言描述中包括的每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率(例如，色彩比率)。
(2)色彩描述分析设备可以被配置为包括(例如，由图像特征量产生装置105实现的)数据产生装置，基于由色彩比率确定装置确定的结果来产生对指定色彩空间中的值的分布加以表示的数据。数据产生装置产生包括如下数据的数据作为对色彩空间中的值的分布加以表示的数据：对自然语言描述中以自然语言表达的色彩在指定色彩空间中占据的区域加以表示的数据，以及对以自然语言表达的色彩在作为自然语言描述的对象的图像的整个区域中的占有率(例如，色彩比率)加以表示的数据。
(3)色彩描述分析设备还可以被配置为包括(例如，存储字典101的存储设备)字典存储装置，存储了至少包括如下信息的字典(例如，字典101)：与色彩名称相关的信息，以及与指示了色彩之间的关系的词和短语相关的信息，色彩名称用于识别与自然语言文本中的色彩相关的描述。
(4)在色彩描述分析设备中，字典存储装置可以被配置为存储字典，其中该字典至少包括作为指示色彩之间的关系的词和短语的平行标记(例如，诸如“ni”和“to”之类的日语的后置词缀(诸如“on”和“and”之类的英语词缀))。
(5)在色彩描述分析设备中，字典存储装置可以被配置为存储字典，其中该字典还包括关于色彩相关的修饰词(例如，前置修饰词和后置修饰词)的信息。色彩描述分析设备还可以包括(例如，由色彩值调节装置109实现的)色彩值调节装置，通过使用在字典中包括的色彩相关的修饰词，来调节在自然语言描述中以自然语言表达的色彩在指定色彩空间中占据的区域的位置或尺寸。
(6)色彩描述分析设备，将自然语言描述转换为对指定色彩空间中的值的分布加以表示的数据，自然语言描述是与以自然语言表达的色彩相关的描述，所述色彩描述分析设备包括(例如，由色彩比率确定装置104实现的)色彩比率确定装置，其中，对于自然语言描述指定的色彩以及先前存储的指定色彩(例如，图3所示的默认色彩)，所述色彩比率确定装置确定每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率。
(7)在色彩描述分析设备中，字典存储装置可以被配置为存储字典，其中所述字典还包括要辨认为图像的一部分的对象的名称以及关于对象类型的信息(例如，在图8所示的对象名称字典中存储的信息)。色彩描述分析设备还可以包括：存储了对象结构知识(例如，对象结构知识107)的知识存储装置(例如，存储了对象结构知识107的存储设备)，其中所述对象结构知识107至少包括与不同对象类型之间的关系相关的信息；(例如，由对象描述提取装置108实现的)对象描述提取装置，通过使用在字典存储装置中存储的字典来从自然语言描述提取对象的名称，以判断每个对象的类型；以及(例如，由色彩比率调节装置110实现的)色彩比率调节装置，通过使用在对象结构知识中包括的对象类型之间的关系，来确定占据了图像中与每个对象相对应的特定区域的每种色彩的面积比率。
(8)色彩描述分析设备还可以被配置为还包括(例如，由色彩区域调节装置111实现的)色彩区域调节装置，其中对于作为自然语言描述的对象的图像的整个区域，所述色彩区域调节装置根据包括在自然语言描述中的色彩所占据的区域之间的指定色彩空间中的距离，来调节在自然语言描述中包括的每种色彩占据的每个区域的尺寸。
(9)色彩描述分析设备，将自然语言描述转换为对指定色彩空间中的值的分布加以表示的数据(例如，图像特征量)，自然语言描述是与以自然语言(例如，自然语言文本)表达的色彩相关的描述，所述色彩描述分析设备包括(例如，由色彩比率确定装置104实现的)色彩比率确定装置，其中，所述色彩比率确定装置通过使用对色彩之间的关系加以指示且包括在自然语言描述中的词和短语(例如，相关术语)，来确定在自然语言描述中包括的每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率(例如，色彩比率)。
(10)色彩描述分析设备可以被配置为包括(例如，由图像特征量产生装置105实现的)数据产生单元，其基于色彩比率确定单元确定的结果产生对指定色彩空间中的值的分布加以表示的数据。数据产生单元产生包括如下数据的数据作为对色彩空间中的值的分布加以表示的数据：对自然语言描述中以自然语言表达的色彩在指定色彩空间中占据的区域加以表示的数据，以及对以自然语言表达的色彩在作为自然语言描述的对象的图像的整个区域中的占有率(例如，色彩比率)加以表示的数据。
(11)色彩描述分析设备还可以被配置为包括(例如，存储字典101的存储设备)字典存储单元，存储了至少包括如下信息的字典(例如，字典101)：关于色彩名称的信息，以及与指示了色彩之间的关系的词和短语相关的信息，色彩名称用于识别与自然语言文本中的色彩相关的描述。
(12)在色彩描述分析设备中，字典存储单元可以被配置为存储字典，字典至少包括平行标记，作为指示色彩之间的关系的词和短语(例如，诸如“ni”和“to”之类的日语的后置词缀(诸如“on”和“and”之类的英语的词缀))。
(13)在色彩描述分析设备中，字典存储装置可以被配置为存储字典，字典还包括关于色彩相关的修饰词(例如，前置修饰词和后置修饰词)。色彩描述分析设备还可以包括(例如，由色彩值调节装置109实现的)色彩值调节装置，其中所述色彩值调节装置通过使用在字典中包括的色彩相关的修饰词，来调节在自然语言描述中以自然语言表达的色彩在指定色彩空间中占据的区域的位置或尺寸。
(14)色彩描述分析设备，将自然语言描述转换为对指定色彩空间中的值的分布加以表示的数据，自然语言描述是与以自然语言表达的色彩相关的描述，所述色彩描述分析设备包括(例如，由色彩比率确定装置104实现的)色彩比率确定装置，其中，对于自然语言描述指定的色彩以及先前存储的指定色彩(例如，图3所示的默认色彩)，所述色彩比率确定装置确定每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率。
(15)在色彩描述分析设备中，字典存储单元可以被配置为存储字典，字典还包括要辨认为图像的一部分的对象的名称以及关于对象类型的信息(例如，在图8所示的对象名称字典中存储的信息)。色彩描述分析设备还可以包括：存储了对象结构知识(例如，对象结构知识107)的知识存储装置(例如，存储了对象结构知识107的存储设备)，其中所述对象结构知识107至少包括与不同对象类型之间的关系相关的信息；(例如，由对象描述提取装置108实现的)对象描述提取装置，通过使用在字典存储装置中存储的字典来从自然语言描述中提取对象的名称，并据此判断每个对象的类型；以及(例如，由色彩比率调节装置110实现的)色彩比率调节装置，通过使用在对象结构知识中包括的对象类型之间的关系，来确定占据了图像中与每个对象相对应的特定区域的每种色彩的面积比率。
(16)色彩描述分析设备还可以被配置为还包括(例如，由色彩区域调节装置111实现的)色彩区域调节装置，其中对于作为自然语言描述的对象的图像的整个区域，所述色彩区域调节装置根据在自然语言描述中包括的色彩所占据的区域之间的指定色彩空间中的距离，来调节在自然语言描述中包括的每种色彩占据的每个区域的尺寸。
尽管以上已经参考示例性实施例描述了本发明，但是本发明不限于特定说明性示例实施例。可以对本发明范围内的本发明的结构和细节进行本领域技术人员可理解的多种修改。
本申请要求2009年10月16日提交的号2009-239000的日本专利申请的优先权，在此并入其整个公开以供参考。
工业适用性
本发明可适用于进行对利用照相机拍摄的累积图像的图像检索(图像搜索)。本发明尤其可适用于搜索期望的产品/装备(衣服、鞋等)，适用于将根据自然语言文本产生的色彩分布与搜索的原始预期目标的色彩分布相比较，从而分析由人记忆的色彩与实际色彩之间的差异，分析照明的效果或者调节照明等等。
参考标记列表
101字典
102自然语言文本输入装置
103色彩描述提取装置
104色彩比率确定装置
105图像特征量产生装置
106字典
107对象结构知识
108对象描述提取装置
109色彩值调节装置
110色彩比率调节装置
111色彩区域调节装置
12色彩描述分析设备
121CPU
122主存储单元
123输出单元
124输入单元
125通信单元
126辅助存储单元
127系统总线

Claims (21)

1.一种色彩描述分析设备，将自然语言描述转换为对指定色彩空间中的值的分布加以表示的数据，自然语言描述是与以自然语言表达的色彩相关的描述，所述色彩描述分析设备包括色彩比率确定装置，所述色彩比率确定装置通过使用对色彩之间的关系加以指示且包括在自然语言描述中的词和短语，来确定在自然语言描述中包括的每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率。
2.根据权利要求1所述的色彩描述分析设备，包括数据产生装置，基于所述色彩比率确定装置确定的结果，来产生对指定色彩空间中的值的分布加以表示的数据，
其中所述数据产生装置产生包括如下数据的数据作为对色彩空间中的值的分布加以表示的数据：对自然语言描述中以自然语言表达的色彩在指定色彩空间中占据的区域加以表示的数据，以及对以自然语言表达的色彩在作为自然语言描述的对象的图像的整个区域中的占有率加以表示的数据。
3.根据权利要求1或2所述的色彩描述分析设备，包括字典存储装置，存储了至少包括如下信息的字典：与色彩名称相关的信息，以及与指示了色彩之间的关系的词和短语相关的信息，所述色彩名称用于识别自然语言文本中关于色彩的描述。
4.根据权利要求3所述的色彩描述分析设备，其中所述字典存储装置存储了字典，该字典至少包括平行标记，作为指示色彩之间的关系的词和短语。
5.根据权利要求3或4所述的色彩描述分析设备，其中：
所述字典存储装置存储了字典，所述字典还包括关于色彩相关的修饰词的信息，以及
所述色彩描述分析设备还包括色彩值调节装置，通过使用在所述字典中包括的所述色彩相关的修饰词，来调节在自然语言描述中以自然语言表达的色彩在指定色彩空间中占据的区域的位置或尺寸。
6.一种色彩描述分析设备，将自然语言描述转换为对指定色彩空间中的值的分布加以表示的数据，自然语言描述是与以自然语言表达的色彩相关的描述，所述色彩描述分析设备包括色彩比率确定装置，对于自然语言描述指定的色彩以及先前存储的指定色彩，所述色彩比率确定装置确定每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率。
7.根据权利要求3-5中任一项所述的色彩描述分析设备，其中：
所述字典存储装置存储了字典，所述字典还包括要辨认为图像的一部分的对象的名称以及关于对象类型的信息，以及
所述色彩描述分析设备还包括：
存储了对象结构知识的知识存储装置，其中所述对象结构知识至少包括关于不同对象类型之间关系的信息；
对象描述提取装置，通过使用在所述字典存储装置中存储的字典来从自然语言描述中提取对象的名称，以判断每个对象的类型；以及
色彩比率调节装置，通过使用在所述对象结构知识中包括的对象类型之间关系，来确定占据了与每个对象相对应的特定区域的每种色彩的面积比率。
8.根据权利要求1-7中任一项所述的色彩描述分析设备，还包括色彩区域调节装置，其中对于作为自然语言描述的对象的图像的整个区域，所述色彩区域调节装置根据自然语言描述中包括的色彩所占据的区域之间的指定色彩空间中的距离，来调节自然语言描述中包括的每种色彩占据的每个区域的尺寸。
9.一种色彩描述分析方法，其中，通过如下步骤产生对指定色彩空间中的值的分布加以表示的数据：通过使用对色彩之间的关系加以指示且包括在自然语言描述中的词和短语，来确定在自然语言描述中包括的每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率，所述自然语言描述是与以自然语言表达的色彩相关的描述。
10.根据权利要求9所述的色彩描述分析方法，其中产生包括如下数据的数据作为对色彩空间中的值的分布加以表示的数据：对自然语言描述中以自然语言表达的色彩在指定色彩空间中占据的区域加以表示的数据，以及对以自然语言表达的色彩在作为自然语言描述的对象的图像的整个区域中的占有率加以表示的数据。
11.根据权利要求9或10所述的色彩描述分析方法，其中所述色彩描述分析方法包括存储字典，所述字典至少包括如下信息：关于色彩名称的信息，以及与指示了色彩之间关系的词和短语相关的信息，所述色彩名称用于识别自然语言文本中关于色彩的描述。
12.根据权利要求11所述的色彩描述分析方法，其中所存储的所述字典至少包括平行标记，作为指示色彩之间的关系的词和短语。
13.根据权利要求11或12所述的色彩描述分析方法，其中：
所存储的字典还包括关于色彩相关的修饰词的信息，以及
通过使用在所述字典中包括的所述色彩相关的修饰词，来调节自然语言描述中以自然语言表达的色彩在指定色彩空间中占据的区域的位置或尺寸。
14.一种色彩描述分析方法，其中，通过如下步骤产生对指定色彩空间中的值的分布加以表示的数据：对于自然语言描述指定的色彩以及先前存储的指定色彩，确定每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率。
15.根据权利要求11-13中任一项所述的色彩描述分析方法，包括：
存储字典，所述字典还包括要辨认为图像的一部分的对象的名称、关于对象类型的信息以及关于不同对象类型之间关系相关的信息；
存储对象结构知识，所述对象结构知识至少包括关于不同对象类型之间关系的信息；
通过使用所述字典从自然语言描述中提取对象的名称，来判断每个对象的类型；以及
通过使用在所述对象结构知识中包括的对象类型之间的关系，来确定占据了图像中与每个对象相对应的特定区域的每种色彩的面积比率。
16.根据权利要求9-15中任一项所述的色彩描述分析方法，其中对于作为自然语言描述的对象的图像的整个区域，根据在自然语言描述中包括的色彩所占据的区域之间的指定色彩空间中的距离，来调节在自然语言描述中包括的每种色彩占据的每个区域的尺寸。
17.一种用于使计算机执行如下过程的色彩描述分析程序：
通过使用对色彩之间的关系加以指示且包括在自然语言描述中的词和短语，来确定在自然语言描述中包括的每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率，所述自然语言描述是与以自然语言表达的色彩相关的描述；以及
产生对指定色彩空间中的值的分布加以表示的数据。
18.根据权利要求17所述的色彩描述分析程序，其中所述色彩描述分析程序使得所述计算机执行如下过程：通过使用自然语言描述中包括的色彩相关的修饰词，来调节在自然语言描述中以自然语言表达的色彩在指定色彩空间中占据的区域的位置或尺寸。
19.一种用于使计算机执行如下过程的色彩描述分析程序：
对于自然语言描述指定的色彩以及先前存储的指定色彩，确定每种色彩占据的每个区域与作为自然语言描述的对象的图像的整个区域的比率；以及
产生对指定色彩空间中的值的分布加以表示的数据。
20.根据权利要求17-19中任一项所述的色彩描述分析程序，其中所述色彩描述分析程序使得所述计算机执行如下过程：
从自然语言描述中提取要辨认为图像的一部分的对象的名称，从而判断每个对象的类型；以及
通过使用关于不同对象类型之间关系的信息，来确定占据了图像中与每个对象相对应的特定区域的每种色彩的面积比率。
21.根据权利要求17-20中任一项所述的色彩描述分析程序，其中所述色彩描述分析程序使得所述计算机执行如下过程：
对于作为自然语言描述的对象的图像的整个区域，根据在自然语言描述中包括的色彩所占据的区域之间的指定色彩空间中的距离，来调节在自然语言描述中包括的每种色彩占据的每个区域的尺寸。
CN201080046661.8A 2009-10-16 2010-10-12 色彩描述分析设备、色彩描述分析方法 Active CN102667767B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009239000 2009-10-16
JP2009-239000 2009-10-16
PCT/JP2010/006058 WO2011045920A1 (ja) 2009-10-16 2010-10-12 色彩解析装置、色彩解析方法、及び色彩解析プログラム

Publications (2)

Publication Number Publication Date
CN102667767A true CN102667767A (zh) 2012-09-12
CN102667767B CN102667767B (zh) 2015-01-07

Family

ID=43875976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080046661.8A Active CN102667767B (zh) 2009-10-16 2010-10-12 色彩描述分析设备、色彩描述分析方法

Country Status (5)

Country Link
US (1) US9400808B2 (zh)
EP (1) EP2490132A4 (zh)
JP (1) JP5682569B2 (zh)
CN (1) CN102667767B (zh)
WO (1) WO2011045920A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298786A (zh) * 2014-11-12 2015-01-21 广州出益信息科技有限公司 一种图像检索方法及装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5724430B2 (ja) * 2011-02-15 2015-05-27 カシオ計算機株式会社 情報検索装置およびプログラム
WO2013005262A1 (ja) * 2011-07-07 2013-01-10 パイオニア株式会社 画像抽出方法、画像抽出装置、画像抽出システム、サーバー、ユーザー端末、通信システムおよびプログラム
WO2013021889A1 (ja) * 2011-08-05 2013-02-14 楽天株式会社 色名決定装置、色名決定方法、情報記録媒体、ならびに、プログラム
EP2741254B1 (en) * 2011-08-05 2018-07-04 Rakuten, Inc. Color determination device, color determination system, color determination method, information recording medium, and program
JP6019968B2 (ja) * 2012-09-10 2016-11-02 株式会社リコー レポート作成システム、レポート作成装置及びプログラム
WO2015145766A1 (ja) * 2014-03-28 2015-10-01 楽天株式会社 色推定装置、色推定方法及び色推定プログラム
US10409822B2 (en) * 2014-05-06 2019-09-10 Shutterstock, Inc. Systems and methods for presenting ranked search results
ES2929842T3 (es) 2014-05-19 2022-12-02 Avery Dennison Retail Information Services Llc Transferencia térmica de imagen compuesta con marca legible mediante escaneo
CN105574046B (zh) * 2014-10-17 2019-07-12 阿里巴巴集团控股有限公司 一种设置网页色彩的方法及装置
JP6028130B1 (ja) * 2016-02-09 2016-11-16 楽天株式会社 色分類装置、色分類方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US11062142B2 (en) 2017-06-29 2021-07-13 Accenture Gobal Solutions Limited Natural language unification based robotic agent control
US11436771B2 (en) * 2020-11-20 2022-09-06 International Business Machines Corporation Graph-based color description generation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070288435A1 (en) * 2006-05-10 2007-12-13 Manabu Miki Image storage/retrieval system, image storage apparatus and image retrieval apparatus for the system, and image storage/retrieval program
CN101529422A (zh) * 2006-10-17 2009-09-09 惠普开发有限公司 通过词汇表示的图像管理

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108728A (ja) * 1991-10-21 1993-04-30 Hitachi Ltd 画像のフアイリングならびに検索方法
JP4144961B2 (ja) * 1999-01-14 2008-09-03 富士フイルム株式会社 画像データ通信システム，サーバ・システムおよびその制御方法ならびにサーバ・システムを制御するためのプログラムを格納した記録媒体
JP5170961B2 (ja) * 2006-02-01 2013-03-27 ソニー株式会社 画像処理システム、画像処理装置および方法、プログラム、並びに記録媒体
JP2007206919A (ja) * 2006-02-01 2007-08-16 Sony Corp 表示制御装置および方法、プログラム、並びに記録媒体
JP2007206920A (ja) * 2006-02-01 2007-08-16 Sony Corp 画像処理装置および方法、検索装置および方法、プログラム、並びに記録媒体
US8885236B2 (en) * 2006-06-30 2014-11-11 Geoffrey J. Woolfe Natural language color communication and system interface
JP2009003581A (ja) 2007-06-19 2009-01-08 Viva Computer Co Ltd 画像蓄積・検索システム及び画像蓄積・検索システム用プログラム
US20090192990A1 (en) * 2008-01-30 2009-07-30 The University Of Hong Kong Method and apparatus for realtime or near realtime video image retrieval
JP2009239000A (ja) 2008-03-27 2009-10-15 Dainippon Screen Mfg Co Ltd 基板処理システム
US8229210B2 (en) * 2008-04-02 2012-07-24 Bindu Rama Rao Mobile device with color detection capabilities

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070288435A1 (en) * 2006-05-10 2007-12-13 Manabu Miki Image storage/retrieval system, image storage apparatus and image retrieval apparatus for the system, and image storage/retrieval program
CN101529422A (zh) * 2006-10-17 2009-09-09 惠普开发有限公司 通过词汇表示的图像管理

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298786A (zh) * 2014-11-12 2015-01-21 广州出益信息科技有限公司 一种图像检索方法及装置
CN104298786B (zh) * 2014-11-12 2018-07-10 广州出益信息科技有限公司 一种图像检索方法及装置

Also Published As

Publication number Publication date
WO2011045920A1 (ja) 2011-04-21
EP2490132A4 (en) 2016-10-05
US9400808B2 (en) 2016-07-26
JP5682569B2 (ja) 2015-03-11
JPWO2011045920A1 (ja) 2013-03-04
CN102667767B (zh) 2015-01-07
EP2490132A1 (en) 2012-08-22
US20120195499A1 (en) 2012-08-02

Similar Documents

Publication Publication Date Title
CN102667767B (zh) 色彩描述分析设备、色彩描述分析方法
US20210073531A1 (en) Multi-page document recognition in document capture
US6772145B2 (en) Search method in a used car search support system
US8577882B2 (en) Method and system for searching multilingual documents
US20080162469A1 (en) Content register device, content register method and content register program
CN1714361B (zh) 制造工程分析支持方法、制造工程分析支持装置
US11158349B2 (en) Methods and systems of automatically generating video content from scripts/text
US20160283564A1 (en) Predictive visual search enginge
KR101896404B1 (ko) 컴퓨터 비전을 이용한 상품 추천 시스템
EP1154355B1 (en) Document processing method, system and computer readable storage medium
KR101667199B1 (ko) 키워드 검색을 통한 웹 페이지의 상대적 품질 지수 평가 장치
JP2018205978A (ja) 情報抽出装置及び情報抽出方法
KR20080060547A (ko) 문맥기반 광고 장치와 그 방법 및 이를 구현할 수 있는컴퓨터로 읽을 수 있는 기록 매체
JP2011203776A (ja) 類似画像検索装置、方法及びプログラム
JP5256273B2 (ja) 意図抽出装置、方法及びプログラム
CN110020110B (zh) 媒体内容推荐方法、装置及存储介质
CN108369647B (zh) 基于图像的质量控制
JP5462917B2 (ja) 画像検索インデックス生成方法、画像検索インデックス生成プログラム及び画像検索インデックス生成装置
CN102023996A (zh) 依据网站文章内容对网站进行排序的系统及其方法
JP2006171931A (ja) テキストマイニング装置およびテキストマイニングプログラム
JP2020181332A (ja) 高精度類似画像検索方法、プログラム及び高精度類似画像検索装置
JP2006133933A (ja) コンピュータ処理方法
TWI731666B (zh) 利用多維度評級資料之文章推薦系統及方法
Nurhas et al. Examining competing entrepreneurial concerns in a social question and answer (SQA) platform
JP2007213481A (ja) 情報提示システム、情報提示方法及び情報提示プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant