CN109997152B - 利用多尺度流形对准的零样本学习 - Google Patents

利用多尺度流形对准的零样本学习 Download PDF

Info

Publication number
CN109997152B
CN109997152B CN201780071989.7A CN201780071989A CN109997152B CN 109997152 B CN109997152 B CN 109997152B CN 201780071989 A CN201780071989 A CN 201780071989A CN 109997152 B CN109997152 B CN 109997152B
Authority
CN
China
Prior art keywords
unseen
instance
graph
semantic
sgw
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780071989.7A
Other languages
English (en)
Other versions
CN109997152A (zh
Inventor
S·达齐
金劲男
Y·奥维考
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HRL Laboratories LLC
Original Assignee
HRL Laboratories LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HRL Laboratories LLC filed Critical HRL Laboratories LLC
Publication of CN109997152A publication Critical patent/CN109997152A/zh
Application granted granted Critical
Publication of CN109997152B publication Critical patent/CN109997152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7635—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks based on graphs, e.g. graph cuts or spectral clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Discrete Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

描述了一种识别未见过且未经训练的图案的系统。基于来自输入数据的视觉特征生成图形，所述输入数据包括有标签的实例和未见过的实例。所述输入数据的语义表示基于所述视觉特征被指派为图形信号。利用直接在谱图小波(SOW)域中应用的正则化法将所述语义表示对准所述输入数据的视觉表示。然后，使用所述语义表示来生成所述未见过的实例的标签。所述未见过的实例可以表示自主驾驶车辆的未知状况。

Description

利用多尺度流形对准的零样本学习
相关申请的交叉引用
这是2016年12月30日提交的、题名为“Zero-Shot Learning Using Multi-ScaleManifold Alignment”的美国临时专利申请No.62/440,898的非临时申请，其全部内容通过引用并入于此。
技术领域
本发明涉及一种用于识别未见过且未经训练的图案的系统。并且更具体地，涉及利用用于流形对准的局部多尺度(multi-scale)图形变换来识别未见过且未经训练的图案的系统。
背景技术
零样本(Zero-shot)学习能够解决任务，尽管没有接收到该任务的任何训练示例。零样本学习通过利用图案的语义属性描述，使得能够在没有训练的情况下识别未见过或未经训练的图案(例如，图像或视频中的物体)。这对许多应用来说很有用，包括使自主驾驶平台能够继续在它们以前从未经历过的新情况下运行。最近在零样本学习方面的工作探索了抑制来自自动生成的文本数据的噪声的方法，一种与人工标注属性相比对于真实世界应用具有更大希望的途径。然而，这些方法遭受两个主要限制。首先，视觉特征与语义特征之间的关联处理被分离成需要分开优化的几个独立步骤，第二，这些方法中的大多数方法依赖图形上的k个最近邻参数选择，其对噪声非常敏感。
基于属性的分类被建议用于零样本学习，其通过在低级特征上并入语义属性作为中间层，以便学习并分类与训练数据不相交的新类。有用于零样本学习方法的两种类型的语义表示：(i)人工标注属性，和(ii)自动语义属性。人工标注属性通常是人工定义的，其中，来自同一类的各个实例具有相同属性。语义信息是利用针对英语维基百科文章训练的skip-gram神经网络模型生成的word2vec数据集表示(参见并入参考文献列表中的参考文献No.4)，其中，任何类的文本名称被投影以得到其单词矢量表示。
零样本学习的早期方法，从参考文献No.5开始，使用人工标注属性。最近的方法已经解决了人工标注在实际应用中的限制，以便推进到全自动化基于属性的系统。利用自动生成的语义表示从实践方面来说显然是有利的，然而，这种自动语义特征通常非常嘈杂。参考文献No.3通过利用多视图典型相关分析的多视图对准处理提出了一种多视图直推(multi-view transductive)设置。参考文献No.6中描述了另一种方法，该方法建议利用基于l2，1的目标函数来抑制来自文本数据的噪声。然而，即使利用深度学习特征，上述所有方法的性能都是有限的。
因此，持续需要一种学习视觉属性与语义属性之间的相关性作为能够抑制噪声的单个处理的系统。
发明内容
本发明涉及识别未见过且未经训练的图案的系统。并且更具体地，涉及利用流形对准的局部多尺度图形变换来识别未见过且未经训练的图案的系统。所述系统包括一个或更多个处理器以及编码有可执行指令的非暂时性计算机可读介质，使得当执行该可执行指令时，所述一个或更多个处理器执行多个操作。所述系统基于来自输入数据的视觉特征集生成图形，所述输入数据包括有标签实例(labeled instance)和没有标签的未见过的实例。基于所述视觉特征集，将所述输入数据的语义表示指派为图形信号，其中，各个语义表示包括坐标维度(coordinate dimension)。利用直接在谱图小波(SGW)域中应用的正则化方法将所述语义表示与所述输入数据的视觉表示对准。使用所述语义表示来生成所述未见过的实例的标签。
在另一方面，所述系统以这样的方式生成所述图形，即，使得在所述图形中用节点表示有标签实例和未见过的实例，并且所述节点之间的加权边基于视觉特征之间的距离。采用与所述有标签实例的属性和未见过的实例的属性相对应的图形信号的形式，将所述输入数据指派给所述图形。通过在所述语义表示的每个坐标维度中施加平滑度来对准所述视觉表示和语义表示。
在另一方面，针对有标签实例S＝{Xs，Ys}和具有未见过的实例的目标类
Figure BDA0002066785000000021
Figure BDA0002066785000000022
所述系统基于所述视觉特征Xs，Xt生成所述图形；根据所述图形生成拉普拉斯算子L；将所述语义表示在维度r中的一组对应坐标值/>
Figure BDA0002066785000000031
指派给所述图形上的对应顶点；计算/>
Figure BDA0002066785000000032
的SGW变换，以获得SGW域/>
Figure BDA0002066785000000033
以及利用正则化法直接在所述SGW域/>
Figure BDA0002066785000000034
中向/>
Figure BDA0002066785000000035
应用所述正则化法。
在另一方面，所述正则化法接收按述维度r的所述语义表示
Figure BDA0002066785000000036
其对应的SGW系数/>
Figure BDA0002066785000000037
拉普拉斯算子L、平滑参数γ以及用于小波分解的分辨率数量J作为输入，并且针对每个分辨率2≤j≤J，所述系统生成拉普拉斯算子]/>
Figure BDA0002066785000000038
针对所述拉普拉斯算子
Figure BDA0002066785000000039
和SGW系数/>
Figure BDA00020667850000000310
确定Tichonov正则化；利用谱聚类来分类所述未见过的实例；以及输出正则化语义空间/>
Figure BDA00020667850000000311
和所估计的目标类。
在另一方面，所述未见过实例表示自主驾驶车辆要通过的新环境状况，其中，对所述未见过实例的标签进行估计使得所述自主驾驶车辆能够在已知环境状况之外有效地运行。
在另一方面，所述未见过实例表示自主驾驶车辆要通过的新区域，其中，对所述未见过实例的标签进行估计使得所述自主驾驶车辆能够在已知区域之外有效地运行。
在另一方面，无人驾驶飞行器(UAV)使用所述未见过实例的所述估计标签在UAV运行期间识别物体和行为中的至少一个。
在另一方面，在生成所述标签方面，所述系统关联至少一个未见过实例与新交通标志，并且使关联车辆根据所述新交通标志执行行驶操作。
在另一方面，所述装置是车辆组件，并且控制所述装置导致车辆操纵。
最后，本发明还包括一种计算机程序产品和计算机实现方法。所述计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可读指令，该计算机可读指令可通过具有一个或更多个处理器的计算机执行，使得在执行所述指令时，所述一个或更多个处理器执行本文列出的操作。另选的是，所述计算机实现方法包括使计算机执行这种指令并且执行所得操作的行为。
附图说明
根据下面结合参照附图对本发明各个方面的详细描述，本发明的目的、特征以及优点将变清楚，其中：
图1是描绘根据本公开一些实施方式的识别未见过且未经训练的图案的系统的组件的框图；
图2是根据本公开一些实施方式的计算机程序产品的例示图；
图3是例示根据本公开一些实施方式的针对未见过的数据的同一类k个最近邻的、比较噪声数据和去噪数据的平均百分比的标绘图；
图4A是例示根据本公开一些实施方式的第一噪声语义维度的标绘图；
图4B是例示根据本公开一些实施方式的第一噪声语义维度的去噪结果的标绘图；
图4C是例示根据本公开一些实施方式的第二噪声语义维度的标绘图；
图4D是例示根据本公开一些实施方式的第二噪声语义维度的去噪结果的标绘图；
图5是例示根据本公开一些实施方式的正则化之前和之后的word2Vec的分类准确度的表。
图6是例示根据本公开一些实施方式的比较现有技术方法与本系统的分类准确度结果的表；
图7是例示根据本公开一些实施方式的识别未见过且未经训练的图案的处理的流程图；以及
图8是例示根据本公开一些实施方式的利用未见过实例的标签来控制装置的流程图。
具体实施方式
本发明涉及一种识别未见过且未经训练的图案的系统。并且更具体地，涉及利用流形对准的局部多尺度图形变换来识别未见过且未经训练的图案的系统。呈现以下描述以使本领域普通技术人员能够制造和使用本发明并将其并入特定应用的背景中。各种修改例以及不同应用方面的多种用途对于本领域技术人员来说是显而易见的，并且本文定义的一般原理可以被应用于广泛的方面。因此，本发明不旨在限于所呈现的方面，而是符合与本文所公开原理和新颖特征相一致的最广范围。
在下面的详细描述中，阐述了许多具体细节，以便提供对本发明的更详尽理解。然而，本领域技术人员应当明白，本发明可以在不受限于这些具体细节的情况下实践。在其它情况下，公知结构和装置按框图形式而不是按细节示出，以便避免模糊本发明。
将读者的注意引向与本说明书同时提交的所有文件和文档，并且所述文件和文档可以利用本说明书开放以供公众查阅，所有这些文件和文档的内容通过引用并入于此。本说明书中公开的所有功能(包括任何所附权利要求、摘要以及附图)可以用服务相同、等同或相似目的的另选特征来代替，除非另有明确说明。因此，除非另有明确说明，所公开的每个特征仅仅是通用系列的等同或相似特征中的一个例子。
而且，权利要求书中没有明确陈述用于执行指定功能的“装置”或用于执行特定功能的“步骤”的任何部件不被解释为如在35U.S.C.Section 112，Paragraph 6中指定的“装置”或“步骤”条款。特别地，在本文的权利要求书中使用“…的步骤”或“……的动作”不旨在援引35U.S.C.112，Paragraph 6的规定。
在详细描述本发明之前，首先提供了引用参考文献的列表。接下来，提供了对本发明各个主要方面的描述。最后，提供本发明各个实施方式的具体细节以取得对具体方面的理解。
(1)并入参考文献列表
贯穿本申请引用且并入以下参考文献。为了清楚和方便起见，这些参考文献在此被列为读者的中心资源。下列参考文献通过引用并入于此，就像在此完全陈述的一样。这些参考文献通过参照如下对应文献参考号而在本申请中加以引用。
1.Hammond，D.K.，Vandergheynst，P.and Gribonval，R.Wavelets on graphs viaspectral graph theory.Applied and Computational Harmonic Analysis，30(2)，pp.129-150，2011。
2.Changpinyo，S.，Chao，W.，Gong，B.，and Sha，F.Synthesized Classifiers forZero-Shot Learning.Proceedings of the IEEE Conference on Computer Vision andPattern Recognition(CVPR)，Las Vegas，NV，2016。
3.Fu，Y.，Hospedales，T.M.，Xiang，T.and Gong，S.Transductive multi-viewzero-shot learning.IEEE transactions on pattern analysis and machineintelligence，37(11)，pp.2332-2345，2015。
4.Mikolov，T.，Sutskever，I.，Chen，K.，Corrado，G.S.，and Dean，J.DistributedRepresentations of Words and Phrases and their Compositionality，Advances inNeural Information Processing Systems.2013。
5.Lampert，C.H.，Nickisch，H.and Harmeling，S.Attribute-basedclassification for zero-shot visual object categorization.IEEE Transactionson Pattern Analysis and Machine Intelligence，36(3)，pp.453-465，2014。
6.Qiao，R.，Liu，L.，Shen，C.，and van den Hengel，A.Less is More：Zero-ShotLeaming from Online Textual Documents with Noise Suppression.Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，LasVegas，NV，June 2016。
7.Shuman，D.I.，Narang，S.K.，Frossard，P.，Ortega，A.and Vandergheynst，P.The emerging field of signal processing on graphs：Extending high-dimensional data analysis to networks and other irregular domains.IEEE SignalProcessing Magazine，30(3)，pp.83-98，2013。
8.Deutsch，S.，and Ortega，A.，and Medioni，G.Manifold Denoising Based onSpectral Graph Wavelets，International Conference on Acoustics，Speech andSignal Processing，2016。
9.Hein，M.and Maier，M.Manifold Denoising，Advances in NeuralInformation Processing Systems，2006。
10.Xian，Y.，Akata，Z.，Sharma，G.，Nguyen，Q.，Hein，M.and Schiele，B.LatentEmbeddings for Zero-shot Classification.arXiv preprint arXiv：1603.08895，2016。
11.Zhang，Z.and Saligrama，V.Zero-shot learning via semantic similarityembedding.In Proceedings of the IEEE International Conference on ComputerVision，pp.4166-4174，2015。
12.Ng，A.Y.，Jordan，M.I.and Weiss，Y.On spectral clustering：Analysis andan algorithm.Advances in neural information processing systems，2，pp.849-856，2002。
13.B.J.Frey and D.Dueck.Clustering by passing messages between datapoints.Science，315：2007，2007。
14.C.H.Lampert，H.Nickisch，and S.Harmeling.Learning to detect unseenobject classes by between class attribute transfer.In IEEE Conference onComputer Vision and Pattern Reeognition(CVPR)，2009。
15.B.Romera-Paredes and P.H.Torr.An embarrassingly simple approach tozero-shot learning.Proceedings of The 32nd International Conference onMachine Learning(ICML)，2015。
16.E.Kodirov，T.Xiang，Z.-Y.Fu，and S.Gong.Unsupervised domainadaptation for zero-shot learning.In ICCV，2015。
17.Z.Akata，S.Reed，D.Walter，H.Lee，and B.Schiele.Evaluation of outputembeddings for fine-grained image classification.In IEEE Computer Vision andPattern Recogmtion，2015。
18.S.T.Roweis，L.K.Saul，and G.E.Hinton.Global coordination of locallinear models.In Advances in Neural Information Processing Systems，December3-8，2001，Vancouver，British Columbia，Canada。
(2)主要方面
本发明的各种实施方式包括三个“主要”方面。第一个方面是一种识别未见过且未经训练的图案的系统。该系统通常采用计算机系统操作软件的形式或采用“硬编码”指令集的形式。该系统可以并入提供不同功能的各种各样的装置中。第二个主要方面是通常采用软件的形式的方法，其利用数据处理系统(计算机)进行操作。第三个主要方面是计算机程序产品。该计算机程序产品通常表示存储在诸如光存储装置(例如，光盘(CD)或数字万用盘(DVD))或诸如软盘或磁带的磁存储装置的非暂时性计算机可读介质上的计算机可读指令。计算机可读介质的其它非限制例包括：硬盘、只读存储器(ROM)以及闪速型存储器。这些方面将在下面进行更详细描述。
图1中提供了描绘本发明的系统(即，计算机系统100)的示例的框图。计算机系统100被配置成执行与程序或算法相关联的计算、处理、操作和/或功能。在一个方面，本文讨论的某些处理和步骤被实现为驻留在计算机可读存储器单元内并由计算机系统100的一个或更多个处理器执行的一系列指令(例如，软件程序)。在执行时，所述指令使计算机系统100执行特定动作并展现特定行为，如本文所描述的。
计算机系统100可以包括被配置成传送信息的地址/数据总线102。另外，一个或更多个数据处理单元(诸如处理器104(或多个处理器))与地址/数据总线102联接。处理器104被配置成处理信息和指令。在一方面，处理器104是微处理器。另选地，处理器104可以是不同类型的处理器，诸如并行处理器、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、复杂可编程逻辑器件(CPLD)或现场可编程门阵列(FPGA)。
计算机系统100被配置成利用一个或更多个数据存储单元。计算机系统100可以包括与地址/数据总线102联接的易失性存储器单元106(例如，随机存取存储器(“RAM”)、静态RAM、动态RAM等)，其中，易失性存储器单元106被配置成存储用于处理器104的信息和指令。计算机系统100还可以包括与地址/数据总线102联接的非易失性存储器单元108(例如，只读存储器(“ROM”)、可编程ROM(“PROM”)、可擦除可编程ROM(“EPROM”)、电可擦除可编程ROM(“EEPROM”)、闪速存储器等)，其中，非易失性存储器单元108被配置成存储用于处理器104的静态信息和指令。另选的是，计算机系统100可以执行从诸如“云”计算中的在线数据存储单元取得的指令。在一方面，计算机系统100还可以包括与地址/数据总线102联接的一个或更多个接口，如接口110。所述一个或更多个接口被配置成使得计算机系统100能够与其它电子装置和计算机系统连接。由所述一个或更多个接口实现的通信接口可以包括有线(例如，串行电缆、调制解调器、网络适配器等)和/或无线(例如，无线调制解调器、无线网络适配器等)通信技术。
在一个方面，计算机系统100可以包括与地址/数据总线102联接的输入装置112，其中，输入装置112被配置成将信息和命令选择传送至处理器100。根据一个方面，输入装置112是字母数字输入装置(如键盘)，其可以包括字母数字键和/或功能键。另选的是，输入装置112可以是除字母数字输入装置之外的其它输入装置。在一方面，计算机系统100可以包括与地址/数据总线102联接的光标控制装置114，其中，光标控制装置114被配置成将用户输入信息和/或命令选择传送至处理器100。在一方面，光标控制装置114利用诸如鼠标器、轨迹球、轨迹板、光学跟踪装置或触摸屏的装置来实现。前述尽管如此，但在一方面，光标控制装置114经由来自输入装置112的输入(诸如响应于使用与输入装置112相关联的特殊键和键序列命令)而被指引和/或激活。在另选方面，光标控制装置114被配置成通过语音命令指引或引导。
在一方面，计算机系统100还可以包括一个或更多个可选计算机可用数据存储装置，如与地址/数据总线102联接的存储装置116。存储装置116被配置成存储信息和/或计算机可执行指令。在一个方面，存储装置116是诸如磁或光盘驱动器(例如，硬盘驱动器(“HDD”)、软盘、光盘只读存储器(“CD-ROM”)、数字万用盘(“DVD”))的存储装置。依据一个方面，显示装置118与地址/数据总线102联接，其中，显示装置118被配置成显示视频和/或图形。在一方面，显示装置118可以包括阴极射线管(“CRT”)、液晶显示器(“LCD”)、场发射显示器(“FED”)、等离子体显示器或适于显示视频和/或图形图像及用户可识别的字母数字字符的任何其它显示装置。
本文所呈现的计算机系统100是根据一方面的示例计算环境。然而，计算机系统100的非限制例并不严格受限于作为计算机系统。例如，一个方面提供了计算机系统100表示可以根据本文所述各个方面使用的一类数据处理分析。此外，还可以实现其它计算系统。实际上，本技术的精神和范围不限于任何单一数据处理环境。因此，在一方面，使用通过计算机执行的诸如程序模块之类的计算机可执行指令来控制或实现本技术的各个方面的一个或更多个操作。在一个实现中，这样的程序模块包括被配置成执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和/或数据结构。另外，一方面提供了本技术的一个或更多个方面通过利用一个或更多个分布式计算环境来实现，诸如任务由通过通信网络链接的远程处理装置执行的环境，或者诸如各种程序模块位于包括存储器-存储装置的本地和远程计算机存储介质中的环境。
图2中描绘了具体实施本发明的计算机程序产品(即，存储装置)的例示图。该计算机程序产品被描绘为软盘200或诸如CD或DVD的光盘202。然而，如先前提到，该计算机程序产品通常表示存储在任何兼容的非暂时性计算机可读介质上的计算机可读指令。如关于本发明所使用的术语“指令”通常指示要在计算机上执行的一组操作，并且可以表示整个程序的片段或单个分离的软件模块。“指令”的非限制性示例包括计算机程序代码(源或目标代码)和“硬编码”电子装置(即，编码到计算机芯片中的计算机操作)。所述“指令”被存储在任何非暂时性计算机可读介质上，如存储在计算机的存储器中或软盘、CD-ROM以及闪存驱动器上。无论如何，这些指令被编码在非暂时性计算机可读介质上。
(4)各个实施方式的具体细节
这里描述的是利用基于图形上的局部化多尺度变换的独特流形对准框架来解决零样本学习(ZSL)问题的系统。零样本学习通过利用图案的语义属性描述，使得能够在没有训练的情况下识别未见过或未经训练的图案(例如，图像或视频中的物体)。这对许多应用来说很有用，包括启用自主驾驶平台(例如，要通过新区域的自动驾驶汽车、探索地图上未标明区域的无人驾驶飞行器)继续在它们以前从未经历过的新情况下运行。采用独特多尺度流形对准方法(如下面详细描述的)，其基于对于固定语义属性，相似的视觉特征很可能具有相似的语义属性的假设。
为了促进视觉表示视图与语义表示视图之间的共享，实现了视觉特征与语义表示之间的独特对准框架，其基于谱图小波(参见参考文献No.1，对谱图小波的描述)。谱图小波(SGW)是在图形上而不是在连续坐标系中定义的基函数。SGW可以用于有效地表示图形上的信号。SGW是利用位于顶点和谱域中的多尺度图形变换来计算的。如下详细描述的，SGW的多尺度特性为学习视觉特征与语义表示之间的共享信息提供了一个自然平台。
在本文描述的系统中采用SGW基于以下假设：对于固定语义属性，具有相似视觉特征的实例很可能具有相似语义表示。实例是要识别的样本。例如，在图像识别应用中，它们可以是物体(桌子、椅子、汽车、人等)、活动(坐、跑、跳等)以及场景(山脉、海滩、森林)。在根据本公开实施方式的方法中，零样本学习问题中的视觉表示与语义表示之间的这种基本关系直接通过基于视觉特征将语义属性指派为图形顶部上的图形信号来实现。注意，本文所述方法利用所有无标签数据和分类来加热直推设置(在异构数据集之间传递知识)，并且利用流形假设严格监督测试数据的学习处理。
虽然根据本公开实施方式的方法类似于参考文献No.2和No.3中公开的联合视觉-语义特征空间对准方法，但是针对零样本学习的问题，其基于当前知识首先使用局部化多尺度图形变换以进行流形对准。通过将正则化直接应用于SGW系数本身，在无监督设置中执行对准，SGW系数被视为局部图形信号。这里描述的框架的一个优点是其允许局部地对准视觉-语义空间，同时考虑联合视觉-语义属性空间的细粒度正则性质。此外，学习视觉属性与语义属性之间的相关性被统一到单个处理中，而在大多数现有的零样本学习方法中，其被划分成许多独立的步骤，如参考文献No.3中所描述的。
(3.1)问题表述和模型假设
零样本学习问题中常见的问题表述如下，参考文献No.3中进行了描述。假设给出具有ns个有标签实例S＝{Xs，Ys}的cs个类和具有nt个无标签实例T＝{Xt，Yt}的ct个目标类。训练数据和测试数据的每个实例分别由d维度视觉特征xs∈Xs和xt∈Xt表示。zs和zt是源数据和测试数据的类标签矢量，并且假设训练实例和测试实例不相交。
Figure BDA0002066785000000101
Figure BDA0002066785000000102
和
Figure BDA0002066785000000103
分别是源语义属性数据集和目标语义属性数据集，其中，ys∈Ys、yt∈Yt中的每个实例分别由D维度矢量表示。
由于对于测试实例而言，通常不给出语义表示Yt，因此它们可以利用来自源数据集的投影函数来估计(参见参考文献No.3和No.5)。在这种设置下，零样本学习的问题是在给定Xt和
Figure BDA0002066785000000104
的情况下估计zt。所利用的语义表示是Word2Vec数据集，其是利用在参考文献No.4中描述的针对英文维基百科文章训练的skip-gram神经网络模型生成的，其中，任何类的文本名称被投影以得到其词矢量表示。应注意，该语义表示是在没有人工标注的情况下处理的。虽然利用自动生成的语义表示可能有利于缩放，但是大多数现有技术的零样本学习方法的性能在这种自动语义特征上显著劣化，因为它们通常非常嘈杂。
(3.2)方法
鉴于该问题表述，目标是估计未见过的实例zt的标签。这个任务可以通过学习视觉表示与语义表示之间的关系，并且然后利用语义表示来估计未见过的数据来实现。在于此描述的方法中，明确假设这样的约束，即，针对固定属性坐标维度，相似的视觉特征很可能具有相似的语义属性。
为了在该框架中应用这些模型假设，构造一图形，其中，实例由图形中的节点表示，并且这些节点之间的加权边基于视觉特征之间的距离。采用与实例的属性相对应的图形信号fr()的形式，将数据指派给图形(即，对于语义属性的每个维度r，将
Figure BDA0002066785000000111
Figure BDA0002066785000000112
指派为图形信号，并单独处理语义属性的每个坐标维度)。该目标是通过在语义表示的每个坐标维度中施加平滑度来对准视觉表示和语义表示。
图形信号处理工具(在参考文献No.7中描述的)非常适合解决这个问题，因为在根据本公开实施方式的框架中，假设在图形上连接起来的顶点很可能具有相似的图形信号值(它们是语义属性的坐标维度)。一旦构造了图形，就通过直接在谱图小波域中应用的正则化来执行视觉和语义特征空间的对准(参见参考文献No.8中对SGW域的描述)。在零样本学习问题的背景下，本文所述方法的优点在于其允许局部地对准视觉和语义空间，同时考虑联合视觉-语义流形空间的全局属性。
(3.3)正则化算法的描述
在利用将语义表示指派为图形信号来构造图形之后，利用拉普拉斯算子的低阶多项式计算SGW变换。SGW变换确保SGW系数定位在顶点域中，因为对于其中dG(m，n)＝K的图形上的任何两个点m和n，其中，dG是图形上两点之间的最短距离路径，如果K＞J，则存在LK(i，j)＝0(参见参考文献No.1)。保留所有缩放系数，其对应于低频信息，并且针对语义表示空间中的每个坐标，将Tichonov正则化(参见参考文献No.9)应用于每一个SGW频带。按尺度2≤s(j)≤s(J)，针对每个流形尺度和每个SGW频带，将Tikhonov正则化直接应用于SGW系数Ψfr(s)。应注意到，针对图形的扩散处理的一个步骤等同于求解Tichonov正则化。因此，本文所公开的方法基本上利用图形信号来解决图形上的扩散处理，所述图形信号是在视觉空间和语义空间中均被定位的SGW系数。利用采用伪代码的频谱图小波进行零样本学习的正则化法在下面的算法1和算法2中示出。
算法1：对准算法
输入：数据集，有标签实例S＝{Xs，Ys}和目标未见过类实例
Figure BDA0002066785000000121
图形上的k个最近邻，M-Chebyshev多项式近似的阶数。
1.基于视觉特征Xs，Xt，如在参考文献No.1中那样利用余弦相似度来构造无向仿射图(undirected affinity graph)W，并且根据W来构造拉普拉斯算子L；
2.对于r←1至D，do
3.将所述语义表示在维度r中的对应坐标值
Figure BDA0002066785000000122
指派给图形上的对应顶点。
4.进行
Figure BDA0002066785000000123
的SGW变换以获取/>
Figure BDA0002066785000000124
5.利用在算法2(下面描述)中给出的正则化法，直接在SGW域
Figure BDA0002066785000000125
中针对/>
Figure BDA0002066785000000126
执行正则化。
6.利用谱聚类对新实例进行分类(参见参考文献No.12)。
输出：正则化的语义空间
Figure BDA0002066785000000127
所估计的类zt。
算法2：正则化算法
输入：按维度r的语义表示
Figure BDA0002066785000000128
其对应的SGW系数/>
Figure BDA0002066785000000129
拉普拉斯算子L、平滑参数γ、J-用于小波分解的分辨率数量。
1.保留低通缩放系数。针对每个分辨率2≤j≤J，构造拉普拉斯算子
Figure BDA00020667850000001210
2.对于j←2至J，do
3.按尺度s(j).，针对拉普拉斯算子
Figure BDA00020667850000001211
和SGW系数/>
Figure BDA00020667850000001212
求解Tichonov正则化。
4.利用谱聚类或仿射传播对新实例进行分类(参见参考文献No.13中对仿射传播的描述)。
输出：正则化的语义空间
Figure BDA00020667850000001213
(3.4)实验研究
(3.4.1)实验设置
对AWA(具有属性的动物)数据集执行实验研究，该数据集是用于零样本学习的最流行且广泛使用的数据集之一。AWA由50类动物构成(30,475个图像)。其具有用于零样本学习的源/测试分割，其中提供10个类和6,180个图像作为测试数据集。为了表示视觉特征，使用了深度学习预训练的GoogleNet特征(参见参考文献No.10和No.12)。在大多数报告结果中，竞争(competing)法使用深度学习功能，如GoogleNet(参见参考文献No.10)和vgg-verydeep-19(参见参考No.11)来表示视觉特征。对于语义表示，使用Word2Vec公共数据集，其中每个实例由100维度语义矢量表示。注意，Word2Vec数据集是根据大型无标签文本语料库自动构造的(参见参考文献No.4)，其采用词矢量的形式，没有额外的人工标注。类似于零样本学习中的直推法，如在参考文献No.3中所述那样，通过初始估计测试数据的语义表示开始研究，这可以利用DAP(直接属性预测)方案或IAP(间接属性预测)方案来完成(参见参考文献No.3和No.5)。注意，训练数据的语义信息被传播至联合嵌入空间，以在不相交的类之间共享信息。
在根据本公开实施方式的方法中使用的对测试集的语义表示的初始估计可以视为求解图形上的偏微分方程(PDE)的初始条件，所述图形的图形信号由SGW系数定义，它们定位在联合语义-视觉域中。所描述的对准方法用于严格无监督的设置中，使得仅利用视觉和语义测试数据来构造所述图形，为此没有使用标签。在所有实验中，将J＝4尺度用于SGW变换，并且将k＝20个最近邻居参数用于仿射图。
(3.4.2)噪声抑制的有效性
本文所描述的方法首先在利用AWA数据集测量图形去噪对来自同一类的k个最近邻的识别率的影响方面进行验证。word2vec表示通常是非常嘈杂的，这使得流形对准过程对于使用对准来求解域移位问题(参见参考文献No.2和No.3)的当前零样本学习方法非常具有挑战性。对于测试数据中的每个点，报告来自同一语义类的k个最近邻的百分比，并且报告测试集中所有实例的平均准确度。
所述图形被构造如下。首先，构造k＝10最近邻图形，其基于深度学习特征空间中的多个观察之间的距离。然后，在训练数据集中的每个见过的(训练)数据点与其k个最近视觉近邻之间添加k＝10个边缘。
图3是示出有噪声的Word2Vec语义空间(由未填充的条形表示)和在针对宽范围的k最近邻参数利用本文所公开的正则化处理之后(由填充的条形表示)、针对k∈{1，3，...，37}，评估的、来自同一未见过的类的正确的相同类k个最近邻的平均百分。可以看出，在使用本发明的方法进行对准之后，与噪声语义空间相比，来自同一个未见过的类的k个最近邻的平均百分比显著提高，这表明了对准处理的有效性和鲁棒性。此外，由于谱图小波的多分辨率特性，正则化法对于宽泛范围的k个最近邻选择表现良好。
图4A至图4D示出了根据本公开实施方式的方法的有效性的例示。图4A和图4C示出了AWA数据集的测试噪声语义表示Word2Vec的两个不同坐标维度。图4B和图4D示出了对应的去噪Word2Vec语义坐标维度。针对去噪Word2Vec语义表示的两个不同坐标维度，利用本文公开的正则化法获得该结果，其对应于AWA数据集。注意，10个测试类(按标签号排序以供视觉化)具有某一规则性。可以看出，在应用正则化法后，去噪语义维度(semanticdimension)被显著去噪并且示出逐段平滑结构。实例的索引按其标签排序以供清晰视觉化。
(3.4.3)与现有技术的比较
接下来，在AWA数据集上测试该方法，并将结果与现有技术进行比较。基于测试数据的语义表示的分类准确度测试该方法的性能，并与关于噪声语义属性的分类准确度进行比较。为了评估分类准确度，对正则化语义数据执行谱聚类(参见参考文献No.12)，并与关于噪声语义属性的分类性能进行比较。图5是比较正则化之前和之后的word2Vec的分类准确度的表。如可以在图5中看出，在利用根据本公开实施方式的方法执行正则化之后，与噪声语义空间相比，属于同一个未见过的类的k个最近邻的平均百分比显著提高。
图6的表中描绘了在零样本学习中，与现有技术方法相比，利用本文所述方法的分类准确度结果。每个方法所使用的对应语义表示在括号中注明，其中“A”对应于人工标注属性，“W”对应于Word2Vec或其它自动语义表示。可以看出，本文所述方法优于现有技术，并且明显优于使用自动化文本处理的所有现有方法，包括直推多视图零样本学习(TMZL)。另外，利用仿射传播(在参考文献No.1中描述)对该方法进行了测试，这是一种基于置信传播的流行聚类方法，其不需要预先指定数据中的聚类数。利用仿射传播，本文所述方法优于现有技术并证明了其有效性。
图7是描绘本文所述系统的流程图。如上详细描述的，基于输入数据中的视觉特征生成图形(要素700)。基于视觉特征将输入数据的语义表示指派为图形信号(要素702)。利用正则化法将语义表示对准输入数据的视觉表示(要素704)。将语义表示用于估计输入数据中未见过的实例的标签(要素706)。
在实施方式中，未见过的实例是系统未针对真正训练过的特定物体、项目或特征，但包括系统被训练过的特征。例如，未见过的实例可能是图像识别系统未经过训练的一种环境状况，诸如环形交叉路口、施工区域、越野路径或车道、停车场或室内导航环境。然而，这个未见过的实例可能包括系统训练过的功能。对于环形交叉路口的情况来说，训练过的特征可能包括弯曲的道路、十字路口、带有环形交叉路口符号的标志和/或道路标记。在停车场或车道的情况下，训练过的特征可能包括箭头、用于交叉路口的标色线或停放的汽车。在室内导航环境的情况下，即使房间的尺寸和形状以前没有训练过，训练过的特征也可能包括地板、墙壁以及天花板。在施工区域的情况下，训练过的特征可能包括锥桶、危险或绕行标志、表面上的橙色着色、施工工人和/或车辆、手持停车标志等。
系统可以基于已知视觉特征生成图形。语义表示可以基于视觉特征被指派为图形信号，并且可以利用正则化法将语义表示对准输入数据的视觉表示。然后，可以使用语义表示来生成未见过的实例的标签。例如，系统可以使用锥桶、绕行标志、橙色着色以及施工工人的语义表示，将该区域标注为施工区域。系统可以在没有针对施工地带进行过训练的情况下或者仅针对与当前施工地带显著不同的有限的一组施工地带进行过训练的情况下来获得该标签。
图8是例示使用处理器800，利用用于未见过的实例的标签来控制装置802的流程图。可以经由处理器800控制的装置802的非限制例和用于未见过的实例的标签的非限制例包括车辆或车辆组件，诸如制动器、转向机构、悬架或安全装置(例如，安全气囊、安全带张紧器等)。而且，车辆可以是无人驾驶飞行器(UAV)、自主驾驶地面车辆，或者由驾驶员或远程操作员控制的人工操作车辆。如本领域技术人员应当清楚，也可以控制其它装置类型。
本发明提供了将自主驾驶车辆操作扩展至新情况和道路状况的关键功能。其将使自主驾驶车辆能够在地图精心标注和控制的地理区域和状况之外有效运行(例如，新交通标志、新区域、新道路类型，或者在训练时间内未观察到的新物体类)。例如，在为未见过的实例生成标签时，本文所述系统可以将未见过的实例与新交通标志相关联，并使自主驾驶车辆根据新交通标志执行与驾驶参数一致的驾驶操作/操纵。例如，如果标志是停车标志，那么系统可以使自主驾驶车辆应用诸如制动操作的功能响应，以停下车辆。其它恰当响应可以包括转向操作、加速或减速的油门操作，或者保持航向和速度而不改变的决定中的一个或更多个。所述响应可以适于规避碰撞、提高行进速度或提高效率。
而且，本文所述系统改进了用于无人驾驶飞行器(UAV)地面站的自动化智能、监控、侦察(ISR)软件，其可以仅利用人工生成的口头描述来识别新物体和行为，诸如不常见的车辆(像推土机)或不常见的车辆编队/模式。它们从未在传感器数据中被观察到并经过训练以进行分类。然而，通过匹配它们的从已知物体和行为数据中学习到的语义属性{伪装、装甲、武器、轨道、车轮}，系统会生成正确分类的物体或行为标签。这将使得能够在时间关键任务中迅速采取行动。
另外，可以使得能够在可能包含新物体和行为的新区域中实现自主驾驶UAV飞行和探测，减少针对这些新示例的训练时间(例如，从收集的数据中提取特征并训练可以对新物体和行为进行分类的分类器，需要几个小时到几天)，并且减少UAV操作所需的人力。零样本学习还可以应用于移动威胁检测(通过检测新的安全威胁)、多模态活动识别(通过分类新的活动模式)以及许多其它学习应用。
最后，虽然本发明已经根据几个实施方式进行了描述，但本领域普通技术人员应当容易地认识到本发明在其它环境中可以具有其它应用。应注意到，许多实施方式和实现都是可以的。而且，下面的权利要求书绝不是旨在将本发明的范围限制成上述具体实施方式。另外，“用于…的装置(means)”的任何陈述都旨在唤起对部件和权利要求的装置加功能的解读，而不具体使用陈述“用于…的装置(means)”的任何部件不是旨在被解读为装置加功能组件，即使权利要求以其它方式包括了单词“装置(means)”。而且，虽然已经按次序陈述了方法步骤，但该方法步骤可以按任何希望次序发生并且落入本发明的范围内。

Claims (23)

1.一种识别未见过且未经训练的图案的系统，该系统包括：
一个或更多个处理器以及编码有可执行指令的非暂时性计算机可读介质，使得当执行所述可执行指令时，所述一个或更多个处理器执行以下操作：
基于来自输入数据的视觉特征集来生成图形，所述输入数据包含有标签的实例和无标签的未见过的实例；
基于所述视觉特征集，将所述输入数据的语义表示指派为图形信号，其中，各个语义表示包括坐标维度；
利用直接在谱图小波SGW域中应用的正则化法，将所述语义表示与所述输入数据的视觉表示对准；
利用所述语义表示来生成所述未见过的实例的标签；以及
基于所述未见过的实例的标签来控制装置。
2.根据权利要求1所述的系统，其中，所述一个或更多个处理器还执行以下操作：
按照下述方式生成所述图形：在所述图形中用节点表示所述有标签的实例和所述未见过的实例，并且所述节点之间的加权边基于视觉特征之间的距离；
采用与所述有标签的实例的属性和所述未见过的实例的属性相对应的图形信号的形式，将所述输入数据指派给所述图形；以及
通过在所述语义表示的每个坐标维度中施加平滑度，将所述视觉表示与所述语义表示对准。
3.根据权利要求1所述的系统，其中，针对所述有标签的实例S＝{Xs,Ys}和具有所述未见过的实例的目标类
Figure FDA0004133739560000011
k，所述一个或更多个处理器还执行以下操作：
基于所述视觉特征Xs,Xt生成所述图形；
根据所述图形生成拉普拉斯算子L；
将所述语义表示在维度r中的一组对应坐标值
Figure FDA0004133739560000012
指派给所述图形上的对应顶点；
计算
Figure FDA0004133739560000013
的SGW变换，以获得SGW域/>
Figure FDA0004133739560000014
以及
利用正则化法直接在所述SGW域
Figure FDA0004133739560000015
中向/>
Figure FDA0004133739560000016
应用所述正则化法。
4.根据权利要求3所述的系统，其中，所述正则化法接收所述维度r中的所述语义表示
Figure FDA0004133739560000021
其对应的SGW系数/>
Figure FDA0004133739560000022
拉普拉斯算子L、平滑参数γ以及小波分解的分辨率数量J作为输入，并且其中，所述一个或更多个处理器还执行以下操作：
针对每个分辨率2≤j≤J，生成拉普拉斯算子
Figure FDA0004133739560000023
针对所述拉普拉斯算子
Figure FDA0004133739560000024
和SGW系数/>
Figure FDA0004133739560000025
确定Tichonov正则化；
利用谱聚类来分类所述未见过的实例；以及
输出正则化语义空间
Figure FDA0004133739560000026
和所估计的目标类。
5.根据权利要求1所述的系统，其中，所述未见过的实例表示自主驾驶车辆要通过的新环境状况，其中，估计所述未见过的实例的标签的操作使得所述自主驾驶车辆能够在已知环境状况之外有效地运行。
6.根据权利要求1所述的系统，其中，所述未见过的实例表示自主驾驶车辆要通过的新区域，其中，估计所述未见过的实例的标签的操作使得所述自主驾驶车辆能够在已知区域之外有效地运行。
7.根据权利要求1所述的系统，其中，无人驾驶飞行器UAV使用针对所述未见过的实例生成的标签在UAV运行期间识别物体和/或行为。
8.根据权利要求1所述的系统，其中，生成所述标签的操作包括将至少一个未见过的实例与新交通标志相关联，并且使关联的车辆根据所述新交通标志执行行驶操作。
9.根据权利要求1所述的系统，其中，所述装置是车辆组件，并且控制所述装置导致车辆操纵。
10.一种识别未见过且未经训练的图案的计算机实现方法，该计算机实现方法包括以下行为：
使一个或更多个处理器执行编码在非暂时性计算机可读介质上的指令，使得在执行所述指令时，所述一个或更多个处理器执行以下操作：
基于来自输入数据的视觉特征集来生成图形，所述输入数据包括有标签的实例和无标签的未见过的实例；
基于所述视觉特征集，将所述输入数据的语义表示指派为图形信号，其中，各个语义表示包括坐标维度；
利用直接在谱图小波SGW域中应用的正则化法将所述语义表示与所述输入数据的视觉表示对准；
利用所述语义表示生成所述未见过的实例的标签；以及
基于所述未见过的实例的标签来控制装置。
11.根据权利要求10所述的计算机实现方法，其中，所述一个或更多个处理器还执行以下操作：
按照下述方式生成所述图形：在所述图形中用节点表示所述有标签的实例和所述未见过的实例，并且所述节点之间的加权边基于视觉特征之间的距离；
采用与所述有标签的实例的属性和所述未见过的实例的属性相对应的图形信号的形式，将所述输入数据指派给所述图形；以及
通过在所述语义表示的每个坐标维度中施加平滑度来将所述视觉表示与语义表示对准。
12.根据权利要求10所述的计算机实现方法，其中，针对所述有标签的实例S＝{Xs,Ys}和具有所述未见过的实例的目标类
Figure FDA0004133739560000031
k，所述一个或更多个处理器还执行以下操作：
基于所述视觉特征Xs,Xt生成所述图形；
根据所述图形生成拉普拉斯算子L；
将所述语义表示在维度r中的一组对应坐标值
Figure FDA0004133739560000032
指派给所述图形上的对应顶点；
计算
Figure FDA0004133739560000033
的SGW变换，以获得SGW域/>
Figure FDA0004133739560000034
以及
利用正则化法直接在所述SGW域
Figure FDA0004133739560000035
中向/>
Figure FDA0004133739560000036
应用所述正则化法。/>
13.根据权利要求12所述的计算机实现方法，其中，所述正则化法接收所述维度r中的所述语义表示
Figure FDA0004133739560000037
其对应的SGW系数/>
Figure FDA0004133739560000038
拉普拉斯算子L、平滑参数γ以及小波分解的分辨率数量J作为输入，并且其中，所述一个或更多个处理器还执行以下操作：
针对每个分辨率2≤j≤J，生成拉普拉斯算子
Figure FDA0004133739560000039
针对所述拉普拉斯算子
Figure FDA00041337395600000310
和SGW系数/>
Figure FDA00041337395600000311
确定Tichonov正则化；
利用谱聚类来分类所述未见过的实例；以及
输出正则化语义空间
Figure FDA00041337395600000312
和所估计的目标类。
14.根据权利要求10所述的计算机实现方法，其中，所述未见过的实例表示自主驾驶车辆要通过的新环境状况，其中，估计所述未见过的实例的标签的操作使得所述自主驾驶车辆能够在已知环境状况之外有效地运行。
15.根据权利要求10所述的计算机实现方法，其中，所述未见过的实例表示自主驾驶车辆要通过的新区域，其中，估计所述未见过的实例的标签的操作使得所述自主驾驶车辆能够在已知区域之外有效地运行。
16.根据权利要求10所述的计算机实现方法，其中，无人驾驶飞行器UAV使用针对所述未见过的实例生成的标签在UAV运行期间识别物体和行为中的至少一个。
17.一种识别未见过且未经训练的图案的非暂时性计算机可读介质，该暂时性计算机可读介质包括：
计算机可读指令，该计算机可读指令可通过具有一个或更多个处理器的计算机执行，以使所述处理器执行以下操作：
基于来自输入数据的一组视觉特征来生成图形，所述输入数据包括有标签的实例和无标签的未见过的实例；
基于所述视觉特征集，将所述输入数据的语义表示指派为图形信号，其中，各个语义表示包括坐标维度；
利用直接在谱图小波SGW域中应用的正则化法将所述语义表示与所述输入数据的视觉表示对准；
利用所述语义表示生成所述未见过的实例的标签；以及
基于所述未见过的实例的标签来控制装置。
18.根据权利要求17所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质还包括使所述一个或更多个处理器还执行如下操作的指令：
按照下述方式生成所述图形：在所述图形中用节点表示所述有标签的实例和所述未见过的实例，并且所述节点之间的加权边基于视觉特征之间的距离；
采用与所述有标签的实例的属性和所述未见过的实例的属性相对应的图形信号的形式，将所述输入数据指派给所述图形；以及
通过在所述语义表示的每个坐标维度中施加平滑度，将所述视觉表示与语义表示对准。
19.根据权利要求17所述的非暂时性计算机可读介质，其中，针对所述有标签的实例S＝{Xs,Ys}和具有所述未见过的实例的目标类
Figure FDA0004133739560000041
所述一个或更多个处理器还执行以下操作：
基于所述视觉特征Xs,Xt生成所述图形；
根据所述图形生成拉普拉斯算子L；
将所述语义表示在维度r中的一组对应坐标值
Figure FDA0004133739560000051
指派给所述图形上的对应顶点；
计算
Figure FDA0004133739560000052
的SGW变换，以获得SGW域/>
Figure FDA0004133739560000053
以及
利用正则化法直接在所述SGW域
Figure FDA0004133739560000054
中向/>
Figure FDA0004133739560000055
应用所述正则化法。
20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述正则化法接收所述维度r中的所述语义表示
Figure FDA0004133739560000056
其对应的SGW系数/>
Figure FDA0004133739560000057
拉普拉斯算子L、平滑参数γ以及小波分解的分辨率数量J作为输入，并且其中，所述非暂时性计算机可读介质还包括使所述一个或更多个处理器执行以下操作的指令：
针对每个分辨率2≤j≤J，生成拉普拉斯算子
Figure FDA0004133739560000058
针对所述拉普拉斯算子
Figure FDA0004133739560000059
和SGW系数/>
Figure FDA00041337395600000510
确定Tichonov正则化；
利用谱聚类来分类所述未见过的实例；以及
输出正则化语义空间
Figure FDA00041337395600000511
和所估计的目标类。
21.根据权利要求17所述的非暂时性计算机可读介质，其中，所述未见过的实例表示自主驾驶车辆要通过的新环境状况，其中，估计所述未见过的实例的标签的操作使得所述自主驾驶车辆能够在已知环境状况之外有效地运行。
22.根据权利要求17所述的非暂时性计算机可读介质，其中，所述未见过的实例表示自主驾驶车辆要通过的新区域，其中，估计所述未见过的实例的标签的操作使得所述自主驾驶车辆能够在已知区域之外有效地运行。
23.根据权利要求17所述的非暂时性计算机可读介质，其中，无人驾驶飞行器UAV使用针对所述未见过的实例生成的标签在UAV运行期间识别物体和行为中的至少一个。
CN201780071989.7A 2016-12-30 2017-12-19 利用多尺度流形对准的零样本学习 Active CN109997152B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662440898P 2016-12-30 2016-12-30
US62/440,898 2016-12-30
PCT/US2017/067447 WO2018125685A1 (en) 2016-12-30 2017-12-19 Zero-shot learning using multi-scale manifold alignment

Publications (2)

Publication Number Publication Date
CN109997152A CN109997152A (zh) 2019-07-09
CN109997152B true CN109997152B (zh) 2023-06-09

Family

ID=62710666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780071989.7A Active CN109997152B (zh) 2016-12-30 2017-12-19 利用多尺度流形对准的零样本学习

Country Status (4)

Country Link
US (1) US10592788B2 (zh)
EP (1) EP3563296A4 (zh)
CN (1) CN109997152B (zh)
WO (1) WO2018125685A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109582960B (zh) * 2018-11-27 2020-11-24 上海交通大学 基于结构化关联语义嵌入的零示例学习方法
CN111867040B (zh) * 2019-04-30 2021-12-28 华为技术有限公司 一种通信方法、终端设备以及网络设备
US11423672B2 (en) * 2019-08-02 2022-08-23 Dish Network L.L.C. System and method to detect driver intent and employ safe driving actions
CN110795590B (zh) * 2019-09-30 2023-04-18 武汉大学 基于直推式零样本哈希的多标签图像检索方法及设备
KR102291111B1 (ko) 2020-01-31 2021-08-17 연세대학교 산학협력단 자기 지도 기반의 제로샷 인식 장치 및 방법
CN111507355B (zh) * 2020-04-17 2023-08-22 北京百度网讯科技有限公司 一种字符识别方法、装置、设备和存储介质
CN112084968B (zh) * 2020-09-11 2023-05-26 清华大学 基于空中监控视频的语义表征方法、系统及电子设备
CN113298096B (zh) * 2021-07-07 2021-10-01 中国人民解放军国防科技大学 训练零样本分类模型的方法、系统、电子设备及存储介质
CN115309927B (zh) * 2022-10-09 2023-02-03 中国海洋大学 多标签引导和多视图度量的海洋遥感图像检索方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807259A (zh) * 2010-03-25 2010-08-18 复旦大学 一种基于视觉词汇本集体的不变性识别方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7672911B2 (en) * 2004-08-14 2010-03-02 Hrl Laboratories, Llc Graph-based cognitive swarms for object group recognition in a 3N or greater-dimensional solution space
JP5508792B2 (ja) * 2009-09-01 2014-06-04 オリンパス株式会社 画像処理方法、画像処理装置および画像処理プログラム
US8437558B1 (en) * 2009-10-08 2013-05-07 Hrl Laboratories, Llc Vision-based method for rapid directed area search
US9489732B1 (en) * 2010-12-21 2016-11-08 Hrl Laboratories, Llc Visual attention distractor insertion for improved EEG RSVP target stimuli detection
US9158965B2 (en) * 2012-06-14 2015-10-13 The Board Of Trustees Of The Leland Stanford Junior University Method and system for optimizing accuracy-specificity trade-offs in large scale visual recognition
US10331976B2 (en) * 2013-06-21 2019-06-25 Xerox Corporation Label-embedding view of attribute-based recognition
US9082047B2 (en) * 2013-08-20 2015-07-14 Xerox Corporation Learning beautiful and ugly visual attributes
US20150310862A1 (en) * 2014-04-24 2015-10-29 Microsoft Corporation Deep learning for semantic parsing including semantic utterance classification
JP2016001464A (ja) * 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
US9747512B2 (en) * 2015-06-25 2017-08-29 Toshiba Tec Kabushiki Kaisha Article recognition apparatus and image processing method for article recognition apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807259A (zh) * 2010-03-25 2010-08-18 复旦大学 一种基于视觉词汇本集体的不变性识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大规模图像语义相关性自动标注;田枫等;《计算机辅助设计与图形学学报》;20130215(第02期);全文 *

Also Published As

Publication number Publication date
EP3563296A4 (en) 2020-08-19
US10592788B2 (en) 2020-03-17
EP3563296A1 (en) 2019-11-06
US20180197050A1 (en) 2018-07-12
CN109997152A (zh) 2019-07-09
WO2018125685A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
CN109997152B (zh) 利用多尺度流形对准的零样本学习
US20220375222A1 (en) System and method for the fusion of bottom-up whole-image features and top-down enttiy classification for accurate image/video scene classification
US11928866B2 (en) Neural networks for object detection and characterization
US11232318B2 (en) Methods and apparatuses for vehicle appearance feature recognition, methods and apparatuses for vehicle retrieval, storage medium, and electronic devices
US10755149B2 (en) Zero shot machine vision system via joint sparse representations
EP3602489B1 (en) Machine-vision method to classify input data based on object components
US11176477B2 (en) System and method for unsupervised domain adaptation via sliced-wasserstein distance
WO2019055114A1 (en) VIEW-FREE VIEW-SENSITIVE SYSTEM FOR ATTRIBUTES THROUGH SHARED REPRESENTATIONS
CN110352429B (zh) 用于对象的判别定位的机器视觉系统
CN117157678A (zh) 用于基于图的全景分割的方法和系统
US10089549B1 (en) Valley search method for estimating ego-motion of a camera from videos
CN113767392A (zh) 情况识别方法及执行其的装置
CN113316790B (zh) 用于自主学习代理中的无监督域适应的系统、方法和介质
US20220148189A1 (en) Multi-domain semantic segmentation with label shifts
Ekim et al. A Multi-Task Deep Learning Framework for Building Footprint Segmentation
Guizilini et al. Online self-supervised learning for dynamic object segmentation
Tomar et al. Image Semantic Segmentation: Scene-Aware System for Autonomous Vehicle
Boyadzhiev et al. Instance Segmentation with BoundaryNet
Nguyen et al. Study on Tracking Real‐Time Target Human Using Deep Learning for High Accuracy
Liu et al. Semantic Segmentation and Topological Mapping of Floor Plans

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant