CN106980867A - 将嵌入空间中的语义概念建模为分布 - Google Patents

将嵌入空间中的语义概念建模为分布 Download PDF

Info

Publication number
CN106980867A
CN106980867A CN201610995187.2A CN201610995187A CN106980867A CN 106980867 A CN106980867 A CN 106980867A CN 201610995187 A CN201610995187 A CN 201610995187A CN 106980867 A CN106980867 A CN 106980867A
Authority
CN
China
Prior art keywords
image
text
region
text label
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610995187.2A
Other languages
English (en)
Other versions
CN106980867B (zh
Inventor
金海琳
任洲
林哲
方晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adobe Inc
Original Assignee
Adobe Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adobe Systems Inc filed Critical Adobe Systems Inc
Publication of CN106980867A publication Critical patent/CN106980867A/zh
Application granted granted Critical
Publication of CN106980867B publication Critical patent/CN106980867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

描述了将嵌入空间中的语义概念建模为分布。在嵌入空间中，图像和文本标签二者被代表。文本标签描述在图像内容中展示的语义概念。在嵌入空间中，由文本标签描述的语义概念被建模为分布。通过使用分布，每个语义概念被建模为可以与对其它语义概念建模的其它聚类重叠的连续聚类。例如，用于语义概念“苹果”的分布可以与用于语义概念“水果”和“树木”的分布重叠，因为苹果可以是指水果和树木二者。与使用分布形成对照，常规地配置的可视语义嵌入空间将语义概念代表为单个点。因此，不同于这些常规地配置的嵌入空间，这里描述的嵌入空间被生成以将语义概念建模为分布，比如高斯分布、高斯混合等。

Description

将嵌入空间中的语义概念建模为分布
技术领域
本申请的各实施例涉及将嵌入空间中的语义概念建模为分布。
背景技术
图像分类是计算机视觉中的基本问题。广而言之，图像分类尝试从图像提取语义信息，从而使得图像可以被标注以描述图像的内容。语义信息可以例如包括在图像中描绘的物体(和图像的其中描绘物体的位置)、在图像中描绘的景象(例如，图像是否描绘海滩或者日落)、与在图像中描绘的人脸或者脸部表情关联的情绪、图像审美(例如，良好组成、不良组成、遵守三分法(rule-of-thirds)等)、图像感情(例如，恐惧、愤怒等)等等。
一些常规图像分类技术利用可视语义嵌入空间，在这些可视语义嵌入空间中嵌入了描述语义概念的文本标签和举例说明语义概念的图像二者。根据常规技术创建的可视语义嵌入空间通常地代表由文本标签描述为嵌入空间中的单个点的语义概念。然而，由于在语义概念与单个语义概念可以传达的含义的多样性之间的复杂关系，将语义概念代表为嵌入空间中的单个点可能没有反映在现实世界中理解它们的方式。常规地配置的可视语义嵌入空间因此可能不准确地代表语义概念。由于在用来标注图像时这些不准确性可能遗留下来，所以这样的嵌入空间可能不适合用于用文本标签准确地标注图像以描述它们的内容。
发明内容
描述了将嵌入空间中的语义概念建模为分布。在嵌入空间中，图像和文本标签二者被代表。文本标签描述在图像内容中展示的语义概念。在嵌入空间中，由文本标签描述的语义概念被建模为分布。通过使用分布，每个语义概念在嵌入空间中被建模为可能与对其它语义概念建模的其它聚类重叠的连续聚类。例如，用于语义概念“苹果”的分布可以与用于语义概念“水果”和“树木”的分布重叠，因为苹果可以是指水果和树木二者。与使用分布对照，常规地配置的可视语义嵌入空间将语义概念代表为单个点。因此，不同于这些常规地配置的嵌入空间，这里描述的嵌入空间被生成以将语义概念建模为分布(例如，高斯分布、高斯混合等)、从而产生语义概念的更准确代表、用于用更准确地描述图像的描绘的内容对图像作注解的更大能力等等。
一旦嵌入空间被训练，嵌入空间就可以用来发现用于描述图像的内容的文本标签。为了使用训练的嵌入空间以发现描述图像的内容的文本标签，可以确定图像的多个语义有意义区域，并且可以在用于区域中的每个区域的训练的嵌入空间中发现对应的文本标签。为图像的多个区域发现的文本标签然后可以与图像关联，例如，用来对图像作注解。
这一发明内容以简化形式介绍了以下在具体实施方式中被进一步描述的概念的选集。这样，这一发明内容未旨在于标识要求保护的主题内容的实质特征、也未旨在于在确定要求保护的主题内容的范围时用作辅助。
附图说明
参照附图描述具体实施方式。在各图中，标号的最左数字标识该标号在其中首次出现的图。在描述和各图中在不同实例中使用相同标号可以指示相似或者相同项目。在各图中代表的实体可以指示一个或者多个实体，并且因此可以在讨论中可互换地指代实体的单数或者复数形式。
图1是示例实现方式中的数字环境的图示，该数字环境可操作用于运用这里描述的技术。
图2是描绘具有多个文本标签的图像和图像的与多个文本标签对应的区域的指示的示例实现方式。
图3是被配置为嵌入文本标签和被映射到文本标签的图像区域二者的嵌入空间的示例实现方式。
图4是嵌入空间的另一示例实现方式，其中由文本标签描述的语义概念被建模为嵌入空间中的分布。
图5是描绘示例实现方式中的过程的流程图，在该过程中，与多个文本标签关联的训练图像的区域被映射到嵌入空间中的对应的文本标签，并且在该过程中，标签发现技术被应用于查询图像以发现嵌入空间中的与查询图像的区域对应的文本标签。
图6是描绘另一示例实现方式中的过程的流程图，在该过程中，训练的嵌入空间被用来将多个文本标签与待注解的图像的相应的区域关联。
图7是描绘另一示例实现方式中的过程的流程图，在该过程中，嵌入空间被生成以将由文本标签描述的语义概念建模为嵌入空间中的分布。
图8图示了包括示例设备的各种部件的示例系统，该设备可以被运用以用于这里描述的用于将嵌入空间中的语义概念建模为分布的技术的一个或者多个实现方式。
具体实施方式
概述
常规可视语义嵌入技术利用来自无注解文本数据的语义信息以学习在文本标签之间的语义关系并且将图像显式地映射到丰富语义嵌入空间中。然而，常规地配置的可视语义嵌入空间通常地将语义概念代表为嵌入空间中的单个点。然而，由于在语义概念与单个语义概念可以传达的含义的多样性之间的复杂关系，将语义概念代表为单个点可能没有反映在现实世界中理解它们的方式。因而，常规地配置的可视语义嵌入空间可能不准确地代表语义概念。另外，在这样的嵌入空间用来标注图像时这些不准确性可能遗留下来。这样，常规地配置的可视语义嵌入空间可能不适合用于用文本标签准确地标注图像以描述它们的内容。
描述了将嵌入空间中的语义概念建模为分布。具体而言，生成其中图像和文本标签二者被代表的嵌入空间。与常规技术对照，生成嵌入空间涉及将由文本词汇表的文本标签描述的语义概念建模为分布，比如高斯分布、高斯混合等。考虑由字词“树木”、“苹果”和“水果”描述的语义概念。在语义概念之间存在至少一些重叠，因为苹果是水果并且也是树木的类型。将这样的语义概念代表为分布而不是单个点允许语义概念重叠，从而使得用于苹果的语义概念的分布与用于树木和水果二者的语义概念的分布重叠。
嵌入空间被配置为其中文本标签和代表性图像(例如，图像的区域)二者被代表的联合图像-文本嵌入空间。在嵌入空间中，分布对可以在图像中展示的并且由文本词汇表的文本标签描述的语义概念建模。在将语义概念建模为分布时，也考虑在这些文本标签之间的语义关系。换而言之，对语义概念建模，从而使得代表语义概念如“太阳”和“日落”的分布比代表语义概念“太阳”和“鸟”的分布被更接近地相关。
嵌入空间一旦如这里描述的那样被训练就可以用来用文本标签对图像作注解。考虑其中尚未与文本标签关联的图像被接收作为输入以用于作注解的示例。标签发现技术可以被应用于输入图像以从训练的嵌入空间发现文本标签以描述输入图像的内容。为了这样做，例如使用测地对象提议来提议输入图像的语义有意义区域。术语“测地对象提议”是指其中根据为放置在图像中的种子计算的测地距离变换中的临界水平集合标识给定的图像中的候选对象的集合的技术。为了放置种子，测地对象提议使用被优化为发现对象的训练的分类器。一旦被提议，然后例如通过比较指示嵌入的图像区域和输入图像的提议的区域的可视特性的矢量来比较为输入图像提议的语义有意义区域与相对于被建模为分布的语义概念在嵌入空间中嵌入的图像区域。基于比较，可以将图像的提议的区域映射到可视地相似的嵌入的图像区域，并且因此也映射到文本标签，这些文本标签描述相似的嵌入的图像区域对应于的语义概念。然后可以用在这一过程中发现的文本标签对输入图像作注解。
这里描述的可视语义嵌入空间(例如，这些可视语义嵌入空间将由文本标签描述的语义概念代表为分布)比将语义概念代表为单个点的常规地配置的可视语义嵌入空间更准确地代表语义概念和在它们之间的关系。另外，这里描述的技术实现使用具有多个文本标签的训练图像来训练联合图像-文本嵌入空间，并且实现使用联合图像-文本嵌入空间用多个文本标签对图像作注解。这里描述的技术也实现对于与图像关联的多个文本标签中的每个文本标签发现语义有意义区域。附加地，这里描述的技术在零射(zero shot)学习中提供较常规技术而言的优点，例如，在嵌入空间的文本标签先前没有描述的新类别中对图像分类。
在以下讨论中，首先描述可以运用这里描述的技术的示例环境。然后描述可以在示例环境以及其它环境中执行的示例实施细节和过程。因而，对示例过程的执行不限于示例环境并且示例环境不限于执行示例过程。
示例环境
图1是示例实现方式中的环境100的图示，环境100可操作用于运用这里描述的技术。图示的环境100包括计算设备102，计算设备102具有包括一个或者多个处理设备(例如，处理器)的处理系统104和一个或者多个计算机可读存储介质106。图示的环境100也包括在计算机可读存储介质106上体现并且经由处理系统104可操作用于实施这里描述的对应的功能的图像数据108、文本标签110、多实例嵌入模型112、多实例嵌入模块114(“MIE模块114”)和基于区域的多标签图像116。在至少一些实现方式中，计算设备102包括如以下进一步具体描述的用于访问各种种类的基于web的资源(内容和服务)、与在线提供方交互等等的功能。
计算设备102可被配置为任何适当类型的计算设备。例如，计算设备102可以被配置为服务器、台式计算机、膝上型计算机、移动设备(例如，假设手持配置，比如平板计算机或者移动电话)、平板计算机、被配置为接收手势输入的设备、被配置为接收三维(3D)手势作为输入的设备、被配置为接收话音输入的设备、被配置为接收基于触笔的输入的设备、被配置为接收那些输入的组合的设备等等。因此，计算设备102可以范围从具有大量存储器和处理器资源的全资源设备(例如，服务器、个人计算机、游戏控制台)到具有有限存储器和/或处理资源的低资源设备(例如，移动设备)。附加地，虽然示出了单个计算设备102，但是计算设备102可以代表用于如关于图8进一步描述的那样“在云之上”执行操作的多个不同设备。
环境100还描绘被配置为通过网络120(比如因特网)与计算设备102通信以提供“基于云”的计算环境的一个或者多个服务提供方118。一般而言，服务提供方118被配置为使各种资源122通过网络120可用于客户端。在一些场景中，用户签注被运用以访问来自提供方的对应的资源的账户。提供方在批准对账户和对应的资源122的访问之前认证用户的证书(例如，用户名和口令)。使其它资源122自由地可用(例如，无认证或者基于账户的访问)。资源122可以包括通常地由一个或者多个提供方通过网络使其可用的服务和/或内容的任何适当组合。服务的一些示例包括但不限于图像存储和/或共享服务(例如，社交网络服务(例如， 等)、能够返回图像作为搜索结果的搜索引擎服务等等。
这些服务用作为大量图像数据的来源。图像数据108代表可以在包括但不限于JPEG、TIFF、RAW、GIF、BMP、PNG等的多种图像格式中的任何图像格式中被格式化的这样的图像数据。通过服务使其可用的图像数据可以由具有与那些服务的账户的用户发表。例如，具有与图像存储和/或共享服务的账户的用户上传图像，比如利用用户的数字相机拍摄的图像，或者经由电子手段向用户发送的图像。图像存储和/或共享服务的用户然后可以比如通过提供指向图像的相册或者指向用户的简档的链接来与其他人共享他们的上传的图像。
附加地，图像能够与附加信息关联以描述图像。例如，由图像数据108代表的图像可以包括描述图像的元数据。举例而言，图像的元数据可以描述图像的按像素的大小、图像的存储大小、用来捕获图像的相机设备、捕获图像的日期、上次修改图像的日期等等。附加地，由图像数据108代表的图像可以与描述在图像中描绘的内容的元数据关联。例如，元数据可以被配置为文本标签，并且可以用描述图像的内容的那些文本标签对图像作注解。这样的文本标签可以描述在图像中描绘的对象(以及图像的描绘对象的位置)、在图像中描绘的景象(例如，图像是否描绘海滩或者日落)、与在图像中描绘的人脸或者脸部表情关联的情绪、图像审美(例如，良好组成、不良组成、遵守三分法等)、图像感情(例如，恐惧、愤怒等)等等。广而言之，文本标签110代表可以用来对图像作注解的多种文本标签。
MIE模块114代表用来实施如这里描述的用于将嵌入空间中的语义概念建模为分布的技术的功能。作为这样做的部分，MIE模块114创建被配置为联合图像-文本嵌入空间的嵌入空间。“联合图像-文本嵌入空间”意味着可以在其中嵌入文本标签110和来自图像数据108的代表性图像(例如，图像的区域)二者。多实例嵌入模型112代表这样的嵌入空间。另外，MIE模块114代表如下功能，该功能用于训练多实例嵌入模型112，从而使得在图像区域给定时，多实例嵌入模型112可以用来发现文本标签，该文本标签描述在图像区域中描绘的内容。
为了训练多实例嵌入模型112，MIE模块114根据由文本标签描述的语义概念来将在多实例嵌入模型112中嵌入的文本标签语义地相关。例如，MIE模块114将文本标签语义地相关，从而使得文本标签“太阳”和“日落”在多实例嵌入模型112中比文本标签“太阳”和“鸟”被更接近地定位。
MIE模块114也使用可以作为图像数据108的部分而被包括的训练图像来训练多实例嵌入模型112。训练图像各自在训练之前已经与描述描绘的内容的多个文本标签关联。对于每个训练图像，MIE模块114处理图像以生成图像的与训练图像的多个文本标签对应的区域的集合。因此，MIE模块114形成用于每个训练图像的区域到标签对应性，从而使得训练图像的区域被选择以代表多个文本标签中的每个文本标签。MIE模块114然后将区域的集合嵌入到多实例嵌入模型112中。具体而言，MIE模块114基于区域的对应的标签被嵌入的位置来将区域嵌入到多实例嵌入模型112中。例如，在训练图像与文本标签“太阳”关联时，选择训练图像的与“太阳”对应的区域。MIE模块114然后至少部分地基于多实例嵌入模型112中的其中嵌入文本标签“太阳”的位置来嵌入训练图像的与“太阳”对应的区域。MIE模块114可以对于训练图像的集合中的每个训练图像执行这一过程。
在一个或者多个实现方式中，多实例嵌入模型112被配置为将由文本标签描述的和由代表性图像描绘的语义概念建模为分布，例如，高斯分布、高斯混合等等。这与将语义概念代表为单个点的技术形成对照。将与多个文本标签关联的图像嵌入到可视语义嵌入空间中的单个点可能使可视语义嵌入函数被容易地混淆，例如，使技术在预测在图像中描绘的内容时更不准确。
附加地，MIE模块114表示用于对图像作注解的功能。“注解”意味着描述在图像中描绘的内容的文本标签可以被选择并且与图像关联。为了对图像作注解，MIE模块114提议图像的区域的集合。具体而言，MIE模块114例如使用测地对象提议(因为它覆盖前景区域和背景区域二者)来从图像提取语义有意义的区域。MIE模块114然后将一种或者多种标签发现技术应用于区域的集合以发现用于区域的标签。这涉及比较每个区域与在多实例嵌入模型112中嵌入的代表性图像。MIE模块114然后可以确定在多实例嵌入模型112中嵌入的图像中的哪些图像与待注解的区域相似，并且关联与相似的嵌入的图像对应的文本标签与待注解的区域。
以这一方式，图像可以初始地与大量文本标签关联，例如，每个文本标签用于提议的区域中的一个区域。然而，可以减少文本标签的数目，从而使得用被确定为最代表图像内容的标签对图像作注解。例如，MIE模块114可以用预定数目的文本标签对图像作注解。在这一场景中，MIE模块114选择预定数目的如下文本标签，对于这些文本标签，图像的区域与在多实例嵌入模型112中嵌入的图像最相似。备选地，MIE模块114选择用于待注解的图像的可变数目的文本标签。在这一备选场景中，选择的文本标签的数目可以基于阈值相似度，从而使得对于图像的任何如下区域(对于这些区域，与嵌入的图像的相似度在阈值相似度以上)，发现的文本标签用来对图像作注解。在任何情况下，基于区域的多标签图像116代表MIE模块114通过确定图像区域和使用多实例嵌入模型112以发现用于图像区域的标签来用多个文本标签作注解的图像。
在一个或者多个实现方式中，MIE模块114可实施为软件模块、硬件设备或者使用软件、硬件、固件、固定逻辑电路装置等的组合可实施。另外，MIE模块114可以可实施为如图所示的计算设备102的单独部件。附加地或者备选地，MIE模块114可以被配置为web服务的部件、应用、计算设备102的操作系统、插件模块或者如关于图8进一步描述的其它设备应用。
已经考虑了示例环境，现在考虑对根据一个或者多个实现方式的用于将嵌入空间中的语义概念建模为分布的技术的一些示例细节的讨论。
将嵌入空间中的语义概念建模为分布
这一节描述根据一个或者多个实现方式的用于将嵌入空间中的语义概念建模为分布的技术的一些示例细节。该讨论参照图2，图2图示了具有多个文本标签的图像并且图示了与这里描述的功能有关的概念。
具体而言，图2大体地在200处描绘了具有文本标签204、206、208、210、212的图像202。图2也描绘了图像区域214、216、218、220。图像202可以代表训练图像，该训练图像已经与文本标签204、206、208、210、212关联，并且对于该训练图像，MIE模块114选择图像区域214、216、218、220与文本标签对应，例如，图像区域214与文本标签208对应、图像区域216与文本标签206对应、图像区域218与文本标签204对应、图像区域220与文本标签210对应并且代表图像202的全部的图像区域与文本标签212对应。备选地，图像202可以代表由MIE模块114作注解的图像，从而使得MIE模块114生成用于图像202的提出的区域、使用多实例嵌入模型112来发现用于提出的区域的文本标签并且从发现的文本标签选择与图像区域214、216、218、220(以及与图像的全部对应的区域)对应的文本标签204、206、208、210、212以用于描述图像202的内容。
图3大体地在300处描绘了其中文本标签和被映射到文本标签的图像区域二者可以被嵌入的示例嵌入空间。具体而言，图3包括联合图像-文本嵌入空间302(其可以对应于图1的多实例嵌入模型112)、图像数据库304(其包括由MIE模块114用来训练联合图像-文本嵌入空间302的图像)和文本词汇表306(其可以对应于图1的可用来描述在图像中描绘的语义概念的文本标签110)。
联合图像-文本嵌入空间302被配置为让文本标签和图像(全部图像和图像的部分)二者嵌入在其中。图像数据库304和文本词汇表306分别代表图像和文本标签，MIE模块114使用这些图像和文本标签以训练联合图像-文本嵌入空间302，例如，从而使得联合图像-文本嵌入空间302可以用来发现描述图像的内容的文本标签。组成文本词汇表306的文本标签被配置为描述可以在图像内容中展示的语义概念。图像数据库304的图像描绘举例说明由文本词汇表306的文本标签描述的语义概念的图像内容。
在训练中，MIE模块114将在文本词汇表306内的文本标签语义地相关。例如，取得用于“树木”的文本标签308。MIE模块114表示如下功能，其用于例如通过在联合图像-文本嵌入空间302中的位置处嵌入文本标签308、310、312来将用于“树木”的文本标签308语义地相关到用于“女人”的文本标签310和用于“建筑”的文本标签312。文本标签在联合图像-文本嵌入空间302中被嵌入的位置依赖于由文本标签描述的语义概念多么接近地被相关。举例而言，用于“树木”的文本标签308可以被嵌入在联合图像-文本嵌入空间302中，从而使得它被定位得比与用于“女人”的文本标签310和用于“建筑”的文本标签312更接近用于“松树”、“森林”和“植物”(未示出)的文本标签。
在图3中，在表示相应的文本标签的填入形状旁边图示了文本标签308、310、312中的每个文本标签，例如，在填入星号旁边图示了用于“树木”的文本标签308，在填入十字形旁边图示了用于“女人”的文本标签310，并且在填入X旁边图示了用于“建筑”的文本标签312。也在联合图像-文本嵌入空间302中包括这些填入形状中的每个填入形状以代表对文本标签308、310、312的嵌入。应当认识到联合图像-文本嵌入空间302的描绘的形状和填入形状的描绘的位置可能没有准确地反映联合图像-文本嵌入空间302的实际形式或者MIE模块114实际地嵌入文本标签308、310、312的位置。实际上，联合图像-文本嵌入空间302的描绘的形状和填入形状的描绘的位置对于说明这里描述的技术有用。
MIE模块114也将图像数据库304中的图像相关到文本词汇表306的文本标签。如以上提到的那样，图像数据库304的训练图像可以描绘举例说明由文本词汇表306的文本标签描述的语义概念的图像内容。为了将图像相关到文本标签，MIE模块114部分基于对应的文本标签的位置在联合图像-文本嵌入空间302中的位置处嵌入每个图像。换而言之，MIE模块114将每个图像映射到描述图像的图像内容的文本标签，并且基于该文本标签的位置嵌入图像。
例如，图像数据库304的描绘树木的图像基于用于“树木”的文本标签308被嵌入的位置而被嵌入在联合图像-文本嵌入空间302中，例如，MIE模块114将描绘树木的图像映射到用于“树木”的文本标签308。以相似方式，描绘女人的图像基于用于“女人”的文本标签310被嵌入的位置被嵌入，并且描绘建筑的图像基于用于“建筑”的文本标签312被嵌入的位置被嵌入。换而言之，图像在比与其它文本标签更接近图像对应于的文本标签的位置被嵌入在联合图像-文本嵌入空间302中。图像也被嵌入在联合图像-文本嵌入空间302中比与更不接近地相关的语义概念对应的图像更接近与接近地相关的语义概念对应的图像。举例而言，树木的图像一般地比与建筑的图像或者妇女的图像更接近松树和森林的图像被嵌入在联合图像-文本嵌入空间302中。
在图3中，图像集合314代表图像数据库304的描绘树木的图像，图像集合316代表图像数据库304的描绘妇女的图像，并且图像集合318代表图像数据库304的描绘建筑的图像。用表示图像的未填充形状图示每个图像集合314、316、318的图像，例如，用未填充星形图示图像集合314的图像(其描绘树木)，用未填充十字形图示图像集合316的图像(其描绘女人)，并且用未填充“X”图示图像集合318的图像(其描绘建筑)。
也在联合图像-文本嵌入空间302中包括这些未填充形状以代表对来自图像集合314、316、318的图像的嵌入，这些图像的位置基于对应的文本标签308、310、312被嵌入的位置。因而，在填入星形周围图示了代表描绘树木的图像的未填充星形，这些未填充星形代表用于“树木”的文本标签308，在填入十字周围图示了代表描绘女人的图像的未填充十字，这些未填充十字代表用于“女人”的文本标签310，并且在填入X周围图示了代表描绘建筑的图像的未填充X，这些未填充X代表用于“建筑”的文本标签312。
关于在联合图像-文本嵌入空间302中嵌入的代表性图像，MIE模块114从训练图像提取它们作为区域。因此，描绘女人的图像的集合314可以对应于从训练图像提取的区域(例如，图像的少于全部的部分)。广而言之，为了训练联合图像-文本嵌入空间302，MIE模块114从各自与多个文本标签关联的训练图像开始。举例而言，MIE模块114从训练图像(比如已经与文本标签204、206、208、210、212关联的图像202)开始。
对于每个训练图像，MIE模块114生成与训练图像的文本标签对应的区域的集合。考虑图2的示例，在该示例中，图像202与文本标签204、206、208、210、212关联。在这一示例中，MIE模块114可以生成与文本标签204、206、208、210、212中的每个文本标签对应的区域，从而使得图像区域214对应于用于“女人”的文本标签208，图像区域216对应于用于“埃菲尔铁塔”的文本标签206，图像区域218对应于用于“包”的文本标签204，图像区域220对应于用于“建筑”的文本标签210，并且代表图像202的全部的图像区域对应于用于“都市风景”的文本标签212。
为了生成与训练图像的文本标签对应的区域，MIE模块114初始地将区域提议技术应用于训练图像。例如，MIE模块114应用测地对象提议技术、随机区域提议技术等中的至少一种技术。图像的语义有意义区域并非仅包括在图像的前景中描绘的对象。实际上，图像的背景部分也可以语义有意义。与一般对象提议技术形成对照，由MIE模块114使用的区域提议技术覆盖图像的前景区域和背景区域二者以提议图像区域。
一旦为训练图像提议了候选区域的集合，MIE模块114就丢弃提议的候选区域中的至少一些提议的候选区域。MIE模块114使用的由对象提议技术最初提议的候选区域的数目可以是数千个，并且使用提议的候选区域中的每个提议的候选区域用于训练将使计算资源有大量负担。因而，MIE模块114可以应用一种或者多种后处理技术以丢弃提出的候选区域中的至少一些提出的候选区域。例如，MIE模块114可以应用一种或者多种后处理技术以丢弃未能满足预定义的大小标准或者纵横比标准的提议的候选区域。举例而言而非限制，预定义的大小标准可以指定为了使用提议的候选区域，提议的候选区域的边将是图像的对应的边的长度的至少百分之三十，例如，对于400像素×500像素的图像，MIE模块114通过丢弃具有小于120像素×150像素的大小的任何提出的候选区域来实行标准。关于示例纵横比，预定义的纵横比标准可以指定为了使用提出的候选区域，提出的候选区域的纵横比将在1：4与4：1之间。
从剩余的提出的候选区域，MIE模块114然后向训练图像的每个文本标签联合地指派最佳匹配的候选区域以构建区域到标签对应性。在这样做时，MIE模块114被配置为使用单标签嵌入模型。这具有丢弃甚至更大数目的提出的候选区域以使得剩余区域的数目对应于与图像关联的文本标签的数目的效果。MIE模块114然后将这些区域嵌入到联合图像-文本嵌入空间302中。参照图2中的示例并且在其中图像202用来训练联合图像-文本嵌入空间302的场景中，MIE模块可以将由区域提议技术提议的数千个候选区域减少成图像区域214、216、218、220以及与图像202的全部对应的区域。
为了在联合图像-文本嵌入空间302中嵌入训练图像的区域，MIE模块114计算用于区域的d维特征矢量。MIE模块114可以例如通过用卷积神经网络(CNN)(例如，包括卷积、汇合(pooling)和起始层的CNN)提取图像特征来计算用于区域的特征矢量。在一个具体示例中，MIE模块114用快速的基于区域的CNN(RCNN)技术来提取图像特征。换而言之，在训练图像和将在联合图像-文本嵌入空间302中嵌入的区域给定时，MIE模块114单次通过CNN传递训练图像。MIE模块114然后可以将生成的区域的集合的每个区域汇合成固定大小的特征映射以获得最终特征矢量。
考虑如下示例，在该示例中，MIE模块114使用各自与多个文本标签关联的训练图像的集合来训练联合图像-文本嵌入空间302。这样的训练图像的集合可以被定义为其中xi代表集合中的第i个图像，并且N代表集合中的训练图像的数目。另外，每个图像可以由可以如以上讨论的那样计算的d维特征矢量代表，从而使得对于集合的第i个图像，另外，每个训练图像与文本标签的集合关联，从而使得对于第i个图像xi，文本标签的集合yi被定义为其中t代表与第i个图像关联的文本标签的数目。应当注意到，用于文本标签的集合的这一定义允许与训练图像关联的标签数目从图像到图像变化。
为了简化，待嵌入的训练图像的集合可以被表示为常规技术将用于与多个文本标签关联的图像的分类或者注解问题用公式表示为多类分类。与这里描述的技术形成对照，这一常规公式表示预定义固定的类标签的集合(比如学习m向分类器或者m个一比全部型分类器，并且使用一个或者多个学习的分类器以将训练图像的集合X分类成固定的类标签的集合Y，从而使得(X→Y)。然而，这样的常规技术的可伸缩性就标签的数目而言有限制，因为常规技术在新标签显现时重新训练它们利用的模型。
取代如这些常规技术所做的那样将文本标签定义为离散集合，可视语义模型学习连续语义空间S，该连续语义空间S捕获在文本标签之间的语义关系并且显式地学习从训练图像的集合X到连续语义空间S的映射函数(X→S)。因此，MIE模块114被配置为构造图像标签训练数据对{(xi，s(yi))}以学习用于联合图像-文本嵌入空间302的嵌入函数f：X→S。MIE模块114学习嵌入函数以便将训练图像的集合的第i个图像xi映射到联合图像-文本嵌入空间302。MIE模块114将这学习为与第i个图像xi关联的文本标签的集合yi的函数s(yi)。函数s(yi)被学习，从而使得使用的标签的集合Y被映射到连续语义空间S，从而使得S：Y→S。
在一个或者多个实现方式中，MIE模块114被配置为使用用未注解文本数据(例如，来自因特网的未注解文本数据)训练的文本建模架构技术来学习连续语义标签空间S(例如，在文本标签之间的关系)。文本建模架构使MIE模块114能够学习用于语义相关的文本标签的相似嵌入位置，因为同义词更可能出现在相似语义情境中。举例而言，MIE模块114使用Glove模型以构造将在文本标签之间的语义关系具体化的300维文本标签空间S。
关于学习嵌入函数，一些常规可视语义方式用L2损耗函数或者排行损耗函数学习用于嵌入空间的嵌入函数f：X→S。一般而言，这样的函数鼓励用于给定的图像的投影的嵌入点更接近它在嵌入空间中的对应的标签。以下是由常规可视语义方式使用的这样的排行损耗函数的示例，具体而言，它对应于按对铰接排行损耗函数：
这里，项f(·)代表待学习的嵌入函数，项m代表裕度。为了符号表示简化，使用y取代s(y)以表示连续语义标签空间S中的标签矢量。另外，τ+表示正文本标签的集合，τ-表示负文本标签的集合，表示正标签矢量，并且表示负标签矢量。项指示在用于第i个图像xi的嵌入矢量f(xi)与用于图像的标签的矢量yi之间的距离。
然而，使用以上指出的按对铰接排行函数的常规可视语义方式具有缺点。例如，虽然每个图像xi可以对应于文本标签的集合yi中的多个标签，但是那些标签的一对或者多对可以被嵌入在连续语义标签空间S中的相互相对地远离的位置中。因此，推动对整个图像f(xi)的嵌入，从而使得第i个图像xi被嵌入在嵌入空间中的与多个文本标签(这些文本标签被嵌入在相互相对地远离的位置)接近的位置可能引起嵌入函数的误差。附加地或者备选地，这样做可能造成将图像xi映射到标签矢量的平均位置，从而使得平均位置对应于与由个体文本标签描述的概念不同的语义概念。
与常规可视语义嵌入技术形成对照，MIE模块114被配置为在一个或者多个实现方式中使用以下损耗函数以学习用于联合图像-文本嵌入空间302的多实例嵌入：
这里，项代表第i个图像xi的特定区域c，例如，用以上描述的方式生成的与关联于第i个图像xi的文本标签之一对应的区域。项C代表为第i个图像xi生成的区域的集合。另外，表示正标签矢量，表示负标签矢量，并且表示在对图像区域的嵌入之间与该图像区域被生成用于的对应的文本标签yj的距离。在一个或者多个实现方式中，MIE模块114将距离计算为平方欧几里得距离。另外并且如用于学习多实例嵌入的损耗等式中所示，MIE模块114可以通过对从标签到区域的集合的每个区域的距离应用最小值运算(例如，min项)对区域到标签的对应性建模。在这样做时，MIE模块114选择训练图像的至少一个区域以说明由训练图像的每个文本标签描述的语义概念。附加地，MIE模块114更可能为文本标签选择在嵌入空间中具有与文本标签最接近的嵌入位置的区域。
在一个或者多个实现方式中，MIE模块114优化对用于训练图像的区域的预测的文本标签的排行。为了这样做，MIE模块114使用调整的多实例嵌入损耗公式，该公式鼓励正文本标签(例如，与训练图像关联的文本标签)具有比大多数负文本标签更小的min距离。以这一方式，MIE模块114将正文本标签排行在用于训练图像的给定的区域的预测的文本标签的列表的顶部。换而言之，MIE模块114惩罚将正文本标签排行在列表的底部的错误预测。举例而言，MIE模块114可以被配置为根据以下调整的公式优化对预测的文本标签的排行：
这里，项w(·)是权值函数，并且项rj是正文本标签在用于训练图像的给定的区域的预测的文本标签的列表中的排行。在一个或者多个实现方式中，MIE模块114根据以下公式确定项rj：
这里，是指示符函数，MIE模块114对于第i个图像xi使用该指示符函数以根据预测的文本标签yt(例如，在联合图像-文本嵌入空间302中)与区域的集合C中的每个区域的距离来对它排行。具体而言，MIE模块114将排行计算为由项代表的与每个区域的最小距离的函数。另外，MIE模块114可以被配置为使用定义如下的权值函数：
这里，项#(τ+)代表与第i个图像xi关联的文本标签的数目。因此，如果与第i个图像xi关联的文本标签之一是预测列表中的前#(τ+)个文本标签之一，则MIE模块114通过向权值指派更小数来惩罚损耗。例如，如果第i个图像xi与五个文本标签关联并且关联的文本标签之一是为图像而预测的文本标签的列表中的前五个排行的标签之一，则MIE模块114通过向权值指派更小数来惩罚计算出的损耗。对照而言，如果与第i个图像xi关联的标签之一不是预测列表中的前#(τ+)个文本标签之一，则MIE模块114通过向权值指派更大数来惩罚损耗。
继续其中第i个图像xi与五个文本标签关联的示例，考虑如下场景，在该场景中，关联的文本标签之一不是为图像而预测的文本标签的列表中的前五个排行的标签之一。在这一情况中，MIE模块114通过向权值指派更大数来惩罚计算出的损耗。通过以这一方式向损耗函数应用惩罚，MIE模块114将语义有意义标签映射得更接近它们在联合图像-文本嵌入空间302中的对应的标签。在训练图像(例如，在图像数据库304中包括的训练图像)的区域被映射到联合图像-文本嵌入空间302中的文本标签(例如，在文本词汇表306中包括的文本标签)之后，它可以由MIE模块114用来发现用于未注解图像的文本标签。
考虑如下示例，其中例如结合对图像编索引以用于搜索来向MIE模块114给定待注解的图像x’。以与为训练图像生成区域的相似方式，MIE模块114生成用于待注解的图像x’的区域的集合C’，例如，MIE模块114将区域提议技术(例如，测地对象提议或者随机区域提议)应用于待注解的图像，然后将后处理技术应用于提议的区域以减少用于待注解的图像的提议的区域的数目。
MIE模块114然后通过联合图像-文本嵌入空间302传递待注解的图像和从其生成的区域的集合以获得用于区域中的每个区域的嵌入矢量。在以上讨论的嵌入函数给定时，MIE模块114计算用于待注解的图像的区域的集合的嵌入矢量，从而使得为给定的区域c获得嵌入矢量f(x′c)。然后对于联合图像-文本嵌入空间302中的文本标签y’中的任何文本标签，MIE模块114通过计算在待注解的图像x’与联合图像-文本嵌入空间302中的文本标签y’的位置之间的距离。因此，MIE模块114为待注解的图像的每个区域例如基于在为区域确定的嵌入矢量与联合图像-文本嵌入空间302中的文本标签的位置之间的距离来确定区域在联合图像-文本嵌入空间302中最接近的文本标签。
MIE模块114然后对为待注解的图像确定的文本标签排行。具体而言，MIE模块114根据在区域的嵌入矢量与相应的文本标签之间的距离对确定的文本标签排行，从而使得与相应的区域的距离更少的文本标签被更有利地排行。因而，与相应的区域的距离最小的确定的文本标签是最高排行的文本标签。使用排行，MIE模块114生成被确定为与待注解的图像的区域对应的文本标签的排行的列表。MIE模块114然后可以用来自列表的预定数目的标签对待注解的图像作注解。举例而言而非限制，MIE模块114可以用来自与区域对应的文本标签的列表的前五个排行的文本标签对待注解的图像作注解。无论预定数目如何，MIE模块114都被配置为使用联合图像-文本嵌入空间302以用多个文本标签对图像作注解。
如以上简要地描述的那样，联合图像-文本嵌入空间302也被配置为将由文本标签描述的并且代表性图像被映射到的语义概念建模为分布，例如，高斯分布、高斯混合等。
图4在400处描绘了嵌入空间的示例，该嵌入空间将由文本标签描述的语义概念代表为分布。具体而言，示例400描绘了包括分布404、406、408的联合图像-文本嵌入空间402。分布404、406、408可以例如分别代表树木、苹果和水果这些语义概念。应当注意到，在分布404、406、408之间有一些重叠，该重叠代表由文本标签代表的语义概念可以重叠。换而言之，由用于“树木”、“苹果”和“水果”的文本标签代表的语义概念可以重叠，部分因为苹果可以对应于树木并且也可以对应于水果。因而，语义概念被建模为联合图像-文本嵌入空间402中的分布而不是被建模为单个点。
MIE模块114学习联合图像-文本嵌入空间402以通过对由文本标签描述的每个语义概念建模来生成它。举例而言，MIE模块114将语义概念中的每个语义概念建模为高斯分布如下：
这里，项M代表用来训练联合图像-文本嵌入空间402的文本词汇表中的文本标签的数目。项tk代表文本词汇表中的第k个文本标签t，项μk代表第k个文本标签t的矢量(例如，从用于文本标签代表的Glove模型获得的文本标签的Glove特征)，项∑k代表被初始化到联合图像-文本嵌入空间402的单位矩阵，并且N(·)代表分布建模函数(例如，标准高斯分布，但是可以使用其它分布)。在一个或者多个实现方式中，MIE模块114通过深度神经网络来学习用于联合图像-文本嵌入空间402的分布。MIE模块114可以通过卷积神经网络(CNN)来代表训练图像的集合中的给定的图像I，并且可以根据损耗函数(例如，排行损耗)来初始化用于图像的图像嵌入权值。关于项∑k，MIE模块114通过最小化用于训练图像的集合中的每个图像I的损耗来如下学习它：
参照这一等式，MIE模块114被配置为将用于给定的图像I的正文本标签ti建模为N(μi，∑i)，并且将用于给定的图像的负文本标签tn建模为N(μn，Σn)。如在以上等式中那样，m代表裕度项。
虽然主要地参照高斯分布描述了将语义概念建模为嵌入空间中的分布的实现方式，但是应当认识到，MIE模块114被配置为使用多种其它分布对由嵌入空间中的文本标签描述的语义概念建模而未脱离这里描述的技术的精神实质或者范围。举例而言而非限制，MIE模块114也能够将由嵌入空间中的文本标签描述的语义概念建模为高斯混合、对数正态分布、Pareto分布等等。
通过将由文本标签描述的语义概念建模为分布而不是单个点，这里描述的技术使语义概念能够重叠。这造成生成嵌入空间，该嵌入空间比将语义概念建模为单个点的嵌入空间更准确地代表在语义概念之间的关系，例如，因为许多语义概念重叠。例如，太阳和日落这些语义概念重叠，但是太阳和日出这些语义概念也是这样。在任何情况下，MIE模块114被配置为生成将由文本词汇表的文本标签描述的语义概念建模为分布的嵌入空间。
已经讨论用于将嵌入空间中的语义概念建模为分布的技术的示例细节，现在考虑一些示例过程以举例说明技术的附加方面。
示例过程
这一节描述一个或者多个实现方式中的用于将嵌入空间中的语义概念建模为分布的示例过程。可以在硬件、固件或者软件或者它们的组合中实施过程的方面。过程被示出为指定由一个或者多个设备执行的操作的块的集合而未必限于所示的用于由相应的块执行操作的顺序。在至少一些实现方式中，过程由适当地配置的设备(比如图1的利用MIE模块114的示例计算设备102)执行。
图5描绘了示例过程500，在该过程中，与多个文本标签关联的训练图像的区域被映射到嵌入空间中的对应的文本标签以训练嵌入空间，并且在该过程中，标签发现技术被应用于查询图像以发现嵌入空间中的与查询图像的区域对应的文本标签。与多个文本标签关联的训练图像被处理以生成与相应的多个文本标签对应的图像区域的集合(块502)。
例如，假设图像202对应于训练图像并且已经与文本标签204、206、208、210、212关联。在这一场景中，MIE模块114处理图像202以生成图像区域214、216、218、220以对应于文本标签，从而使得图像区域214被生成以对应于文本标签208，图像区域216被生成以对应于文本标签206，图像区域218被生成以对应于文本标签204，图像区域220被生成以对应于文本标签210，并且代表图像202的全部的图像区域被生成以对应于文本标签212。如以上更具体讨论的那样，MIE模块114通过应用区域提议技术并且对提议的候选区域执行后处理技术来生成图像区域。MIE模块114也通过例如基于在区域将在嵌入空间中被嵌入的位置与嵌入空间中的文本标签的位置之间的距离选择用于文本标签204、206、208、210、212中的每个文本标签的最佳匹配区域来生成对应的区域。
在被配置为嵌入文本标签和被映射到文本标签的图像区域二者的嵌入空间内嵌入区域的集合(块504)。另外，至少部分基于与训练图像的图像区域对应的多个文本标签在嵌入空间中被嵌入的位置来嵌入区域的集合。举例而言，MIE模块114在联合图像-文本嵌入空间302中嵌入图像区域214、216、218、220和对应于图像202的全部的图像区域。MIE模块114也至少部分基于文本标签204、206、208、210、212在联合图像-文本嵌入空间302中被嵌入的位置来这样做。
如以上更具体讨论的那样，MIE模块114例如通过用卷积神经网络(CNN)(比如快速的基于区域的CNN(RCNN)技术)提取图像特征来计算用于图像区域214、216、218、220和对应于图像202的全部的图像区域中的每个图像区域的特征矢量，以在联合图像-文本嵌入空间302中嵌入它们。附加地，在MIE模块114在联合图像-文本嵌入空间302中嵌入图像区域214、216、218、220和对应于图像202的全部的图像区域时，MIE模块114将区域映射到对应的文本标签以学习嵌入函数，例如，从而使得无文本标签的图像和图像区域可以被映射到联合图像-文本嵌入空间302中的位置。
一旦嵌入空间被训练，它可用来发现用于图像(例如，用于图像加标记、用于基于多文本的图像搜索(以将图像标识为对应于搜索)、图像加字幕等等)的文本标签。标签发现技术被应用于查询图像以将查询图像的图像区域映射到在嵌入空间中嵌入的文本标签以发现对应于图像区域的文本标签(块506)。
现在假设图像202对应于查询图像并且文本标签204、206、208、210、212尚未与图像202关联。在这一场景中，至少一种标签发现技术被应用于图像202以将图像区域214、216、218、220和对应于图像202的全部的图像区域映射到联合图像-文本嵌入空间302中的文本标签。
应用的标签发现技术可以涉及执行图像区域214、216、218、220和对应于图像202的全部的图像区域与在联合图像-文本嵌入空间302中嵌入的图像区域的比较。在一个或者多个实现方式中，通过比较为图像区域214、216、218、220和对应于图像202的全部的图像区域提取的特征矢量与在联合图像-文本嵌入空间302中嵌入的图像区域的特征矢量来作为训练的部分执行比较。基于比较，MIE模块114确定与图像区域214、216、218、220和对应于图像202的全部的图像区域相似的嵌入的区域。MIE模块114向图像区域214、216、218、220和对应于图像202的全部的图像区域指派相似的嵌入的图像区域被映射到的嵌入的文本标签。以这一方式，MIE模块114为图像区域214、216、218、220和对应于图像202的全部的图像区域发现联合图像-文本嵌入空间302中的文本标签204、206、208、210、212。
用发现的文本标签对查询图像作注解以描述查询图像的内容(块508)。举例而言，MIE模块114例如通过与图像202一起包括文本标签204、206、208、210、212作为元数据或者以某种其它方式将它们与图像202关联来用它们对图像202作注解。
呈现查询图像的与文本标签对应的区域(块510)。举例而言，接收用于呈现图像202的与用来对图像202作注解的文本标签对应的区域的用户请求。MIE模块114比如在图像202的显示之上呈现图像区域214、216、218、220和对应于图像202的全部的图像区域中的一个或者多个图像区域的指示(例如，定界框)。应当认识到，MIE模块114能够以多种不同方式呈现图像区域的指示而未脱离这里描述的技术的精神实质或者范围。举例而言而非限制，可以与对应的文本标签一起呈现图像区域的指示，可以可视地改变区域以表现得不同于图像的其它部分(例如，在使图像的其它部分模糊之时聚焦)等等。
图6描绘了示例过程600，在该过程中，使用训练的嵌入空间以将多个文本标签与待注解的图像的相应的区域关联。训练其中图像和文本二者被嵌入的嵌入空间(块602)。训练涉及将被配置为描述在图像内容中展示的语义概念的文本标签语义地相关以及将具有举例说明语义概念的图像内容的代表性图像映射到相应的文本标签。
举例而言，MIE模块114训练联合图像-文本嵌入空间302。为了这样做，MIE模块114例如通过利用在因特网上可用的文本数据以学习可伸缩和按词典分布的字词的代表以在文本词汇表306的文本标签之中捕获语义含义来将文本词汇表306的文本标签语义地相关。在一个或者多个实现方式中，MIE模块114利用一种或者多种文本建模架构技术以这样做，比如word2vec模型、Glove模型等等。继续这一示例，MIE模块114通过将图像数据库304的代表性图像映射到联合图像-文本嵌入空间302中的文本词汇表306的相应的文本标签来训练联合图像-文本嵌入空间302。例如，MIE模块114在联合图像-文本嵌入空间302中将图像集合314的图像映射到用于“树木”的文本标签308、将图像集合316的图像映射到用于“女人”的文本标签310并且将图像集合318的图像映射到用于“建筑”的文本标签312。
一旦联合图像-文本嵌入空间302被训练，它就可以用来对图像作注解。待注解的图像被获得(块604)。举例而言，图像202被获得。在这一示例中，假设图像202未被作注解并且尚未与文本标签204、206、208、210、212关联。
图像的区域的集合被生成(块606)。在一个或者多个实现方式中，生成涉及使用区域提议技术，该区域提议技术提议能够被映射到嵌入空间中的对应的文本标签的区域。举例而言，MIE模块114生成用于图像202的区域的集合，该区域的集合包括图像区域214、216、218、220和对应于图像202的全部的图像区域。MIE模块114用以上更具体描述的方式生成用于图像202的区域的集合。生成的区域在语义上有意义并且能够被映射到嵌入空间中的嵌入的文本标签。
至少一种标签发现技术被应用于区域的集合以将区域的集合映射到嵌入空间中的描述在区域的集合中展示的语义概念的对应的文本标签(块608)。举例而言，MIE模块114将标签发现技术应用于在块606处为图像202生成的区域的集合。具体而言，MIE模块114将区域的集合映射到在联合图像-文本嵌入空间302中嵌入的描述在图像区域214、216、218、220和对应于图像202的全部的图像区域中的每个图像区域中展示的语义概念的文本标签。具体而言，MIE模块114将描绘女人的图像区域214映射到用于“女人”的文本标签208、将描绘艾尔菲铁塔的图像区域216映射到用于“埃菲尔铁塔”的文本标签206、将描绘购物袋的图像区域218映射到用于“袋”的文本标签204、将描绘建筑的图像区域220映射到用于“建筑”的文本标签210并且将对应于图像202的全部的图像区域映射到用于“都市风景”的文本标签212。
用对应的文本标签中的至少两个文本标签对图像作注解(块610)。例如，MIE模块114基于在块608处的映射用文本标签204、206、208、210、212对图像202注解作。如以上指出的那样，比图2中描绘的图像区域更大数目的图像区域可以被生成并且被映射到联合图像-文本嵌入空间302中。作为结果，可以生成与图像202对应的文本标签的列表。然而，可以用来自列表的选择的一组文本标签对图像作注解。举例而言而非限制，可以如以上更具体描述的那样对文本标签的列表排行，并且MIE模块114选择预定数目的最高排行的标签以用于图像202的注解。
除了使用排行的列表之外，还可以用其它方式选择为对图像作注解选择的标签。例如，可以基于对应的区域与在联合图像-文本嵌入空间302中嵌入的代表性图像的阈值差值来选择标签。为了这样做，MIE模块114以例如通过提取图像区域的特征矢量和嵌入的代表性图像并且比较特征矢量来找到在为图像生成的每个区域与联合图像-文本嵌入空间302中的嵌入的代表性图像之间的距离(例如，欧几里得距离)。MIE模块114然后可以选择如下文本标签，对于这些文本标签，图像区域具有与嵌入的代表性图像的少于阈值差值的差值。MIE模块114可以用更多其它方式从被确定为与图像的区域对应的文本标签选择用于对图像作注解的文本标签而未脱离这里描述的技术的精神实质或者范围。
图7描绘了示例过程700，在该过程中，嵌入空间被生成以将嵌入空间中的语义概念代表为分布。代表图像和文本词汇表的文本标签二者的嵌入空间被生成(块702)。作为生成嵌入空间的部分，分布被计算以代表语义概念。分布被生成用于的语义概念由文本词汇表的相应的文本标签描述并且能够在图像内容中被描绘。附加地，代表性图像被映射到嵌入空间的分布作为生成的部分。作为生成的部分映射的代表性图像描绘举例说明分布的对应的语义概念的图像内容。
举例而言，MIE模块114通过计算用于代表由来自文本词汇表的文本标签描述的语义概念的分布(例如，高斯分布、高斯混合等等)来生成联合图像-文本嵌入空间402。MIE模块114生成联合图像-文本嵌入空间402以相对于代表语义概念的分布来实现图像和文本标签嵌入。另外，MIE模块114通过用为语义概念形成的相应的分布嵌入具有举例说明语义概念的图像内容的代表性图像区域来训练联合图像-文本嵌入空间402。
将语义概念代表为分布的嵌入空间被用来对图像作注解(块704)。举例而言，MIE模块114使用联合-图像文本嵌入空间402以用描述图像202的内容的文本标签对图像202作注解。例如，MIE模块114使用联合-图像文本嵌入空间402以发现文本标签204、206、208、210、212，并且然后用发现的标签对图像202作注解。
已经描述了根据一个或者多个实现方式的示例过程，现在考虑可以用来实施这里描述的各种技术的示例系统和设备。
示例系统和设备
图8大体地在800处图示了示例系统，该系统包括代表实施这里描述的各种技术的一个或者多个计算系统和/或设备的示例计算设备802。通过包括MIE模块114来图示这一点，MIE模块114如以上描述的那样操作。计算设备802可以例如是服务器提供方的服务器、与客户端关联的设备(例如，客户端设备)、片上系统和/或任何其它适当计算设备或者计算系统。
示例计算设备802包括相互通信地耦合的处理系统804、一个或者多个计算机可读介质806和一个或者多个I/O接口808。虽然未示出，但是计算设备802还可以包括相互耦合各种部件的系统总线或者其它数据和命令传送系统。系统总线可以包括不同总线结构(比如存储器总线或者存储器控制器、外围总线、通用串行总线和/或利用多种总线架构中的任何总线架构的处理器或者本地总线)中的任何总线结构或者组合。也设想了多种其它示例，比如控制和数据线。
处理系统804代表用于使用硬件来执行一个或者多个操作的功能。因而，处理系统804被图示为包括可以被配置为处理器、功能块等的硬件单元810。这包括在硬件中被实施为专用集成电路或者使用一个或者多个半导体形成的其它逻辑器件。硬件单元810不受形成它们的材料或者其中运用的处理机制所限制。例如，处理器可以由半导体和/或晶体管(例如，电子集成电路(IC))组成。在这样的上下文中，处理器可执行指令可以是电子地可执行的指令。
计算机可读存储介质806被图示为包括存储器/存储装置812。存储器/存储装置812代表与一个或者多个计算机可读介质关联的存储器/存储容量。存储器/存储装置812可以包括易失性介质(比如随机存取存储器(RAM))和/或非易失性介质(比如只读存储器(ROM)、闪存、光盘、磁盘等)。存储器/存储装置812可以包括固定介质(例如，RAM、ROM、固定硬驱动等)以及可拆卸介质(例如，闪存、可拆卸硬驱动、光盘等)。可以用如以下进一步描述的多种其它方式配置计算机可读介质806。
输入/输出接口808代表用于允许用户向计算设备802录入命令和信息并且也允许向用户呈现信息的功能和/或使用各种输入/输出设备的其它部件或者设备。输入设备的示例包括键盘、光标控制设备(例如，鼠标)、麦克风、扫描仪、触摸功能(例如，被配置为检测物理触摸的电容或者其它传感器)、相机(例如，运用可见光不可见光波长(比如红外线频率)以将移动识别为不涉及触摸的手势的相机)等。输出设备的示例包括显示设备(例如，监视器或者投影仪)、扬声器、打印机、网卡、触觉响应设备等等。因此，可以用如以下进一步描述的多种方式配置计算设备802以支持用户交互。
这里在软件、硬件单元或者程序模块的一般上下文中描述了各种技术。一般而言，这样的模块包括执行特定任务或者实施特定抽象数据类型的例程、程序、对象、单元、部件、数据结构等。如这里所用的术语“模块”、“功能”和“部件”一般地代表软件、固件、硬件或者它们的组合。这里描述的技术的特征独立于平台，这意味着可以在具有多种处理器的多种商用计算平台上实施技术。
可以在某个形式的计算机可读介质上存储或者跨越该计算机可读介质传输描述的模块和技术的实现方式。计算机可读介质可以包括计算设备802可以访问的多种介质。举例而言而非限制，计算机可读介质包括“计算机可读存储介质”和“计算机可读信号介质”。
“计算机可读存储介质”是指与仅信号传输、载波或者信号本身对照而言实现信息的持久和/或非瞬态存储的介质和/或设备。因此，计算机可读存储介质没有包括信号本身或者信号承载介质。计算机可读存储介质包括硬件(比如在适合用于存储信息、比如计算机可读指令、数据结构、程序模块、逻辑元件/电路或者其它数据)的方法或者技术中实施的硬件，比如易失性和非易失性、可拆卸和非可拆卸介质和/或存储设备。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或者其它存储器技术、CD-ROM、数字万用盘(DVD)或者其它光存储装置、硬盘、磁盒、磁带、磁盘存储装置或者其它磁存储设备或者适合用来存储希望的信息并且可以由计算机访问的其它存储设备、有形介质或者制造品。
“计算机可读信号介质”是指被配置为比如经由网络向计算设备802的硬件传输指令的信号承载介质。信号介质通常地在调制的数据信号(比如载波、数据信号)或者其它传送机制中体现计算机可读指令、数据结构、程序模块或者其它数据。信号介质也包括任何信息递送介质。术语“调制的数据信号”意味着如下信号，该信号让它的特性中的一个或者多个特性以对信号中的信息编码这样的方式被设置或者改变。举例而言而非限制，通信介质包括有线介质(比如有线网络或者直接有线连接)和无线介质(比如声学、RF、红外线和其它无线介质)。
如先前描述的那样，硬件单元810和计算机可读介质806代表以如下硬件形式实施的模块、可编程逻辑器件和/或固定器件逻辑，可以在一些实现方式中运用该硬件形式以实施这里描述的技术的至少一些方面，比如执行一个或者多个指令。硬件可以包括集成电路或者片上系统的部件、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)和在硅或者其它硬件中的其它实现方式。在本文中，硬件作为处理设备操作，该处理设备执行由指令定义的程序任务和/或由硬件体现的逻辑以及用来存储用于执行的指令的硬件，例如，先前描述的计算机可读存储介质。
也可以运用前述各项的组合以实施这里描述的各种技术。因而，软件、硬件或者可执行模块被实施为在某个形式的计算机可读存储介质上和/或由一个或者多个硬件单元810体现的一个或者多个指令和/或逻辑。计算设备802可以被配置为实施与软件和/或硬件模块对应的特定指令和/或功能。因而，可以至少部分地在硬件中(例如，通过使用计算机可读存储介质和/或处理系统804的硬件单元810)来实现作为软件可由计算设备802执行的模块的实现方式。指令和/或功能由一个或者多个制造品(例如，一个或者多个计算设备802和/或处理系统804)可执行/可操作以实施这里描述的技术、模块和示例。
这里描述的技术由计算设备802的各种配置支持而不限于这里描述的技术的具体示例。也可以全部或者部分通过使用分布式系统(比如如以下描述的那样经由平台816通过“云”814)来实施这一功能。
云814包括和/或代表用于资源818的平台816。平台816将云814的硬件(例如，服务器)和软件资源的下层功能抽象化。资源818可以包括可以在从计算设备802远离的服务器上执行计算机处理之时被利用的应用和/或数据。资源818也可以包括通过因特网和/或通过订户网络(比如蜂窝或者Wi-Fi网络)提供的服务。
平台816将用于连接计算设备802与其它计算设备的资源和功能抽象化。平台816也服务于将资源的伸缩抽象化以提供与对于经由平台816被实施的资源818的所遇需求对应的规模级别。因而，在一个互连设备实施例中，贯穿系统800分布这里描述的功能的实现方式。例如，部分在计算设备802上以及经由将云814的功能抽象化的平台816实施功能。
结论
虽然已经用结构特征和/或方法动作特有的言语描述了本发明，但是将理解，在所附权利要求中定义的本发明未必限于描述的具体特征或者动作。实际上，具体特征和动作被公开作为实施要求包含的本发明的示例形式。

Claims (20)

1.一种由计算设备实施以用确定的文本标签对图像作注解以描述所述图像的内容的方法，所述方法包括：
生成代表图像和文本词汇表的文本标签二者的嵌入空间，所述生成包括：
计算所述嵌入空间中的用于代表语义概念的分布，所述分布被计算用于的所述语义概念由所述文本词汇表的相应的文本标签描述并且能够在图像内容中被描绘，以及
将代表性图像映射到所述嵌入空间的所述分布，其中由所述代表性图像描绘的所述图像内容举例说明所述分布的对应的语义概念，
使用所述嵌入空间来确定所述文本标签中的至少一个文本标签，所述至少一个文本标签描述输入图像的所述图像内容中的至少一个描绘的语义概念；以及
通过将确定的所述文本标签与所述输入图像关联来对所述输入图像作注解。
2.根据权利要求1所述的方法，其中所述分布被计算为高斯分布以代表所述语义概念。
3.根据权利要求1所述的方法，其中所述分布被计算为高斯混合以代表所述语义概念。
4.根据权利要求1所述的方法，其中生成所述嵌入空间还包括：
确定在所述文本词汇表的所述文本标签之间的语义关系；
基于为所述相应的文本标签确定的所述语义关系来对所述嵌入空间中的所述分布定位；
处理多个训练图像，每个训练图像具有多个文本标签，所述处理包括生成与相应的所述多个文本标签对应的图像区域的集合；以及
将图像区域的所述集合设置为所述代表性图像以用于所述映射到所述嵌入空间的所述分布。
5.根据权利要求4所述的方法，其中处理所述多个训练图像包括：对于每个训练图像，
确定用于所述训练图像的图像区域的相应的集合的候选图像区域；以及
使用至少一种后处理技术来减少确定的所述候选图像区域的数目。
6.根据权利要求5所述的方法，其中所述候选图像区域使用测地对象提议被确定。
7.根据权利要求5所述的方法，其中所述至少一种后处理技术涉及通过丢弃具有少于阈值大小的候选图像区域来实行大小标准。
8.根据权利要求5所述的方法，其中所述至少一种后处理技术涉及通过丢弃具有在预定义的可允许纵横比以外的纵横比的候选图像区域来实行纵横比标准。
9.根据权利要求5所述的方法，其中所述至少一种后处理技术包括基于单标签嵌入模型向所述训练图像的相应的所述多个文本标签中的每个文本标签指派单个候选图像区域。
10.根据权利要求1所述的方法，其中确定描述在所述输入图像的所述图像内容中的所述至少一个描绘的语义概念的所述至少一个文本标签包括：
确定所述输入图像的语义有意义图像区域的集合；
使用后处理技术来丢弃所述输入图像的所述语义有意义图像区域中的至少一个语义有意义图像区域；以及
将所述输入图像的剩余语义有意义图像区域映射到所述嵌入空间的所述分布以确定所述至少一个文本标签。
11.根据权利要求1所述的方法，其中确定所述至少一个文本标签包括计算所述嵌入空间中的在对所述输入图像的语义有意义图像区域的嵌入与所述分布之间的距离。
12.根据权利要求11所述的方法，其中所述距离使用代表所述输入图像的相应的语义有意义图像区域的矢量被计算，所述矢量用卷积神经网络(CNN)从所述输入图像的所述语义有意义图像区域被提取。
13.根据权利要求11所述的方法，还包括基于所述距离来选择所述至少一个文本标签以用于与所述输入图像关联。
14.根据权利要求1所述的方法，还包括呈现所述输入图像的与所述至少一个文本标签对应的图像区域的指示。
15.一种用于用确定的文本标签对图像作注解以描述所述图像的内容的系统，所述系统包括：
一个或者多个处理器；以及
计算机可读存储介质，所述计算机可读存储介质具有存储于其上的指令，所述指令由所述一个或者多个处理器可执行以执行操作，所述操作包括：
处理具有多个文本标签的训练图像，所述处理包括生成与相应的所述多个文本标签对应的图像区域的集合；
在将语义概念代表为分布的嵌入空间内嵌入图像区域的所述集合，被代表的所述语义概念由文本词汇表的文本标签描述并且能够在图像内容中被描绘，图像区域的所述集合用代表在图像区域的所述集合的所述图像内容中描绘的所述语义概念的所述分布被嵌入；
通过将查询图像的图像区域映射到所述嵌入空间的所述分布来确定描述所述查询图像的描绘的语义概念的所述文本标签；以及
用确定的所述文本标签中的至少两个文本标签对所述查询图像作注解。
16.根据权利要求15所述的系统，还包括当在所述嵌入空间中嵌入多个训练图像的所述图像区域之前将所述文本词汇表的所述文本标签语义地相关。
17.根据权利要求16所述的系统，其中所述文本词汇表的所述文本标签基于Glove模型被语义地相关。
18.一个或者多个计算机可读存储介质，包括存储于其上的指令，所述指令响应于由计算设备执行来执行操作，所述操作包括：
维护用至少一个文本标签作注解的图像，所述至少一个文本标签描述由所述图像的图像内容展示的至少一个相应的语义概念，所述至少一个文本标签使用嵌入空间对于所述图像被发现，所述嵌入空间将语义概念代表为分布而不是将所述语义概念代表为单个点，被代表的所述语义概念由文本词汇表的所述文本标签描述并且能够由所述图像内容展示。
19.根据权利要求18所述的一个或者多个计算机可读存储介质，其中作为对所述图像编索引以用于搜索的部分，所述图像用所述至少一个文本标签作注解。
20.根据权利要求18所述的一个或者多个计算机可读存储介质，其中代表所述语义概念的所述分布是高斯分布或者高斯混合中的至少一项。
CN201610995187.2A 2016-01-15 2016-11-11 将嵌入空间中的语义概念建模为分布 Active CN106980867B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/996,959 US11238362B2 (en) 2016-01-15 2016-01-15 Modeling semantic concepts in an embedding space as distributions
US14/996,959 2016-01-15

Publications (2)

Publication Number Publication Date
CN106980867A true CN106980867A (zh) 2017-07-25
CN106980867B CN106980867B (zh) 2022-04-15

Family

ID=59313837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610995187.2A Active CN106980867B (zh) 2016-01-15 2016-11-11 将嵌入空间中的语义概念建模为分布

Country Status (3)

Country Link
US (1) US11238362B2 (zh)
CN (1) CN106980867B (zh)
AU (1) AU2016259337B2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108984726A (zh) * 2018-07-11 2018-12-11 黑龙江大学 一种基于扩展的sLDA模型对图像进行标题注释的方法
CN111178123A (zh) * 2018-11-13 2020-05-19 奥多比公司 图像中的对象检测
CN111488473A (zh) * 2019-01-28 2020-08-04 北京京东尚科信息技术有限公司 图片描述的生成方法、装置和计算机可读存储介质
CN112634123A (zh) * 2019-10-08 2021-04-09 北京京东尚科信息技术有限公司 一种图像处理方法和装置
CN112667832A (zh) * 2020-12-31 2021-04-16 哈尔滨工业大学 一种未知室内环境下基于视觉的互定位方法
WO2022116762A1 (en) * 2020-12-02 2022-06-09 International Business Machines Corporation Learning unpaired multimodal feature matching for semi-supervised learning

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10026020B2 (en) 2016-01-15 2018-07-17 Adobe Systems Incorporated Embedding space for images with multiple text labels
CN105930841B (zh) * 2016-05-13 2018-01-26 百度在线网络技术（北京）有限公司 对图像进行自动语义标注的方法、装置与计算机设备
US10579688B2 (en) * 2016-10-05 2020-03-03 Facebook, Inc. Search ranking and recommendations for online social networks based on reconstructed embeddings
US20180101540A1 (en) * 2016-10-10 2018-04-12 Facebook, Inc. Diversifying Media Search Results on Online Social Networks
CN108205684B (zh) * 2017-04-25 2022-02-11 北京市商汤科技开发有限公司 图像消歧方法、装置、存储介质和电子设备
CN111819554A (zh) 2017-12-29 2020-10-23 电子湾有限公司 计算机视觉和图像特征搜索
US11393001B2 (en) * 2018-01-17 2022-07-19 Hairlooks Inc. Methods and systems for hair-service based digital image searching and ranking
US10497366B2 (en) * 2018-03-23 2019-12-03 Servicenow, Inc. Hybrid learning system for natural language understanding
US11200284B1 (en) * 2018-04-30 2021-12-14 Facebook, Inc. Optimization of feature embeddings for deep learning models
US10699141B2 (en) 2018-06-26 2020-06-30 Waymo Llc Phrase recognition model for autonomous vehicles
CN109447098B (zh) * 2018-08-27 2022-03-18 西北大学 一种基于深度语义嵌入的图像聚类算法
KR20200024602A (ko) * 2018-08-28 2020-03-09 삼성전자주식회사 사용자 단말의 학습 방법 및 장치
DE112019004943T5 (de) * 2018-10-31 2021-07-01 Movidius Ltd. Automatisierte Erzeugung neuronaler Netze
JP7300699B2 (ja) * 2018-11-12 2023-06-30 株式会社イシダ 教師データ生成方法、教師データ生成プログラム、教師データ生成装置、及び商品識別装置
US11605019B2 (en) 2019-05-30 2023-03-14 Adobe Inc. Visually guided machine-learning language model
US11144784B2 (en) * 2019-05-30 2021-10-12 Adobe Inc. Text-to-visual machine learning embedding techniques
US11604822B2 (en) 2019-05-30 2023-03-14 Adobe Inc. Multi-modal differential search with real-time focus adaptation
CN110675329B (zh) * 2019-08-06 2022-02-18 厦门大学 基于视觉语义引导的图像去模糊方法
GB2586265B (en) * 2019-08-15 2023-02-15 Vision Semantics Ltd Text based image search
JP7338690B2 (ja) * 2019-09-20 2023-09-05 日本電気株式会社 学習装置、学習方法、推論装置、推論方法、及び、プログラム
WO2021084590A1 (ja) * 2019-10-28 2021-05-06 富士通株式会社 学習方法、学習プログラム、および学習装置
EP3832491A1 (en) * 2019-12-06 2021-06-09 Idemia Identity & Security France Methods for processing a plurality of candidate annotations of a given instance of an image, and for learning parameters of a computational model
US11715299B1 (en) * 2020-05-29 2023-08-01 Apple Inc. Semantic labeling of negative spaces
US12020217B2 (en) * 2020-11-11 2024-06-25 Cdk Global, Llc Systems and methods for using machine learning for vehicle damage detection and repair cost estimation
CN112613572B (zh) * 2020-12-30 2024-01-23 北京奇艺世纪科技有限公司 一种样本数据获得方法、装置、电子设备及存储介质
KR20220107381A (ko) 2021-01-25 2022-08-02 삼성전자주식회사 전자 장치 및 그 제어 방법
TW202232437A (zh) * 2021-02-09 2022-08-16 阿物科技股份有限公司 圖像分類與標示方法及系統
US12045212B2 (en) 2021-04-22 2024-07-23 Cdk Global, Llc Systems, methods, and apparatuses for verifying entries in disparate databases
CN113343791B (zh) * 2021-05-21 2023-06-16 浙江邦业科技股份有限公司 基于卷积神经网络的窑头看火视频亮度识别方法及装置
US20230244871A1 (en) * 2022-01-31 2023-08-03 Walmart Apollo, Llc Automatically augmenting and labeling conversational data for training machine learning models
US11983145B2 (en) 2022-08-31 2024-05-14 Cdk Global, Llc Method and system of modifying information on file
CN116341567B (zh) * 2023-05-29 2023-08-29 山东省工业技术研究院 基于空间与语义邻居信息的兴趣点语义标注方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120627A1 (en) * 2004-12-07 2006-06-08 Canon Kabushiki Kaisha Image search apparatus, image search method, program, and storage medium
US7814040B1 (en) * 2006-01-31 2010-10-12 The Research Foundation Of State University Of New York System and method for image annotation and multi-modal image retrieval using probabilistic semantic models
CN102144231A (zh) * 2008-06-16 2011-08-03 微软公司 用于基于文本的图像搜索结果重新排序的自适应视觉相似性
US20120082371A1 (en) * 2010-10-01 2012-04-05 Google Inc. Label embedding trees for multi-class tasks
CN102750316A (zh) * 2012-04-25 2012-10-24 北京航空航天大学 基于语义共现模型的概念关系标签抽取方法
US20130121600A1 (en) * 2011-09-17 2013-05-16 Zhe Lin Methods and Apparatus for Visual Search
CN102119389B (zh) * 2008-06-11 2013-12-18 微软公司 使用语义距离学习的自动图像注释
US20140064580A1 (en) * 2011-01-11 2014-03-06 Rutgers, The State University Of New Jersey Method and apparatus for segmentation and registration of longitudinal images
CN103970729A (zh) * 2014-04-29 2014-08-06 河海大学 一种基于语义类的多主题提取方法
US20140355835A1 (en) * 2013-05-28 2014-12-04 Xerox Corporation System and method for ocr output verification

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011210535B2 (en) * 2010-02-01 2015-07-16 Google Llc Joint embedding for item association
US10635949B2 (en) 2015-07-07 2020-04-28 Xerox Corporation Latent embeddings for word images and their semantics
US10026020B2 (en) 2016-01-15 2018-07-17 Adobe Systems Incorporated Embedding space for images with multiple text labels

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120627A1 (en) * 2004-12-07 2006-06-08 Canon Kabushiki Kaisha Image search apparatus, image search method, program, and storage medium
US7814040B1 (en) * 2006-01-31 2010-10-12 The Research Foundation Of State University Of New York System and method for image annotation and multi-modal image retrieval using probabilistic semantic models
CN102119389B (zh) * 2008-06-11 2013-12-18 微软公司 使用语义距离学习的自动图像注释
CN102144231A (zh) * 2008-06-16 2011-08-03 微软公司 用于基于文本的图像搜索结果重新排序的自适应视觉相似性
US20120082371A1 (en) * 2010-10-01 2012-04-05 Google Inc. Label embedding trees for multi-class tasks
US20140064580A1 (en) * 2011-01-11 2014-03-06 Rutgers, The State University Of New Jersey Method and apparatus for segmentation and registration of longitudinal images
US20130121600A1 (en) * 2011-09-17 2013-05-16 Zhe Lin Methods and Apparatus for Visual Search
CN102750316A (zh) * 2012-04-25 2012-10-24 北京航空航天大学 基于语义共现模型的概念关系标签抽取方法
US20140355835A1 (en) * 2013-05-28 2014-12-04 Xerox Corporation System and method for ocr output verification
CN103970729A (zh) * 2014-04-29 2014-08-06 河海大学 一种基于语义类的多主题提取方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ANDREJ KARPATHY 等: "Deep Visual-Semantic Alignments for Generating Image Descriptions", 《ARXIV》 *
JIAYU TANG 等: "AN IMAGE BASED FEATURE SPACE AND MAPPING FOR LINKING REGIONS ANDWORDS", 《CONFERENCE: 2ND INTERNATIONAL CONFERENCE ON COMPUTER VISION THEORY AND APPLICATIONS (VISAPP)》 *
JINGEN LIU 等: "Learning Semantic Visual Vocabularies Using Diffusion Distance", 《2009 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
PHILIPP KRAHENBUHL 等: "Geodesic Object Proposals", 《EUROPEAN CONFERENCE ON COMPUTER VISION(ECCV)》 *
RYAN KIROS 等: "Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models", 《ARXIV》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108984726A (zh) * 2018-07-11 2018-12-11 黑龙江大学 一种基于扩展的sLDA模型对图像进行标题注释的方法
CN108984726B (zh) * 2018-07-11 2022-10-04 黑龙江大学 一种基于扩展的sLDA模型对图像进行标题注释的方法
CN111178123A (zh) * 2018-11-13 2020-05-19 奥多比公司 图像中的对象检测
CN111488473A (zh) * 2019-01-28 2020-08-04 北京京东尚科信息技术有限公司 图片描述的生成方法、装置和计算机可读存储介质
CN111488473B (zh) * 2019-01-28 2023-11-07 北京京东尚科信息技术有限公司 图片描述的生成方法、装置和计算机可读存储介质
CN112634123A (zh) * 2019-10-08 2021-04-09 北京京东尚科信息技术有限公司 一种图像处理方法和装置
WO2022116762A1 (en) * 2020-12-02 2022-06-09 International Business Machines Corporation Learning unpaired multimodal feature matching for semi-supervised learning
GB2616157A (en) * 2020-12-02 2023-08-30 Ibm Learning unpaired multimodal feature matching for semi-supervised learning
GB2616157B (en) * 2020-12-02 2024-04-03 Ibm Learning unpaired multimodal feature matching for semi-supervised learning
AU2021391031A9 (en) * 2020-12-02 2024-05-02 International Business Machines Corporation Learning unpaired multimodal feature matching for semi-supervised learning
CN112667832A (zh) * 2020-12-31 2021-04-16 哈尔滨工业大学 一种未知室内环境下基于视觉的互定位方法

Also Published As

Publication number Publication date
CN106980867B (zh) 2022-04-15
AU2016259337A1 (en) 2017-08-03
AU2016259337B2 (en) 2021-09-09
US11238362B2 (en) 2022-02-01
US20170206465A1 (en) 2017-07-20

Similar Documents

Publication Publication Date Title
CN106980867A (zh) 将嵌入空间中的语义概念建模为分布
CN106980868A (zh) 用于具有多个文本标签的图像的嵌入空间
CN111291266A (zh) 基于人工智能的推荐方法、装置、电子设备及存储介质
CN109559300A (zh) 图像处理方法、电子设备及计算机可读存储介质
CN111684490A (zh) 动态对象实例检测、分割和结构映射的优化
CN108021601A (zh) 使用数字画布来进行数字视觉媒体的空间语义搜索
CN107209861A (zh) 使用否定数据优化多类别多媒体数据分类
US20150331929A1 (en) Natural language image search
CN111670457A (zh) 动态对象实例检测、分割和结构映射的优化
CN111950596A (zh) 一种用于神经网络的训练方法以及相关设备
CN114298122B (zh) 数据分类方法、装置、设备、存储介质及计算机程序产品
CN103534697B (zh) 用于提供统计对话管理器训练的方法和系统
CN112419326B (zh) 图像分割数据处理方法、装置、设备及存储介质
CN109154945A (zh) 基于数据属性的新连接推荐
CN108228844A (zh) 一种图片筛选方法及装置、存储介质、计算机设备
CN109829065B (zh) 图像检索方法、装置、设备及计算机可读存储介质
CN108984555A (zh) 用户状态挖掘和信息推荐方法、装置以及设备
CN112613548A (zh) 基于弱监督学习的用户定制化目标检测方法、系统和存储介质
CN111522979A (zh) 图片排序推荐方法、装置、电子设备、存储介质
CN113449548A (zh) 更新物体识别模型的方法和装置
TWI506569B (zh) 一種可辨識圖片中物件之位置範圍與行爲關係之圖片標記方法
GB2546368B (en) Modelling semantic concepts in an embedding space as distributions
CN116958624A (zh) 指定材质的识别方法、装置、设备、介质及程序产品
CN115033700A (zh) 基于相互学习网络的跨领域情感分析方法、装置以及设备
Henry et al. Quantifying nearness in visual spaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant