CN114648111A - 用于训练分类器的设备和方法 - Google Patents

用于训练分类器的设备和方法 Download PDF

Info

Publication number
CN114648111A
CN114648111A CN202111540175.8A CN202111540175A CN114648111A CN 114648111 A CN114648111 A CN 114648111A CN 202111540175 A CN202111540175 A CN 202111540175A CN 114648111 A CN114648111 A CN 114648111A
Authority
CN
China
Prior art keywords
training
classifier
embedding
knowledge graph
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111540175.8A
Other languages
English (en)
Inventor
S·蒙卡
L·哈利拉吉
S·施米德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN114648111A publication Critical patent/CN114648111A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

用于训练分类器的设备和方法。一种用于训练分类器以便对输入信号进行分类的计算机实现方法，所述输入信号特别包括图像数据，所述分类器包括嵌入部分和分类部分，所述嵌入部分被配置成取决于输入到所述分类器中的所述输入信号来确定嵌入，所述分类部分被配置成取决于所述嵌入来确定所述输入信号的分类，其中所述方法包括：‑提供训练样本的第一训练数据集，每个训练样本包括输入信号和多个类当中的对应期望分类，‑在知识图中提供与所述目标分类中的至少一个相关联的附加信息，‑提供所述知识图的知识图嵌入方法，‑提供通过使用所述知识图嵌入方法获得的所述知识图的知识图嵌入，‑取决于所述知识图嵌入和所述第一训练数据集来训练所述嵌入部分。

Description

用于训练分类器的设备和方法
技术领域
本发明涉及用于训练分类器的方法、用于使用该分类器的方法、计算机程序和机器可读存储介质、控制系统以及训练系统。
背景技术
以下文献公开了用于训练机器学习系统的对比性损失：
•Hadsell, R., Chopra, S., LeCun, Y.： Dimensionality reduction bylearning an in-variant mapping. 2006 IEEE Computer Society Conference onComputer Vision and Pattern Recognition (CVPR’06)2, 1735–1742 (2006)
•Chen, T., Kornblith, S., Norouzi, M., Hinton, G.E.： A simpleframework for contrastive learning of visual representations. ArXivabs/2002.05709(2020)
•Khosla,P.,Teterwak,P.,Wang,C.,Sarna,A.,Tian,Y.,Isola,P.,Maschinot,A.,Liu,C.,Krishnan,D.：Supervised contrastive learning.arXiv preprintarXiv：2004.11362 (2020)
•Tian, Y., Wang, Y., Krishnan, D., Tenenbaum, J., Isola, P.：Rethinking few-shot image classification： a good embedding is all you need
Figure DEST_PATH_IMAGE001
In： ECCV (2020)。
本发明的优点
尤其是在开放世界的情景中（如例如，在自动驾驶中），不可能针对所有情景来训练分类器。因此，训练鲁棒且情景（或领域）不变的分类器是重要的。
具有独立权利要求1的特征的方法具有以下优点：分类器、特别是图像或音频分类器可以更好得多地被迁移到新的领域或情景，并且因此更准确。
从属权利要求中呈现了另外的改进。
发明内容
如例如深度学习这样的机器学习技术在如例如计算机视觉这样的任务中实现了高准确度。然而，当它们面对领域改变时，即，一旦它们被用在与其训练领域不同的领域中，它们的准确度可能就不那么好。
例如，利用来自第一组道路标志的道路标志训练的道路标志识别模型（例如，用于在德国识别道路标志）在利用来自第二组道路标志的道路标志的国家中可能例如由于不同的道路标志标准而表现较差。
具有独立权利要求1的特征的方法使得能够基于可以作为“附加信息”提供的先验知识（例如，关于领域或情景）进行跨领域迁移学习。
知识图用作用于编码这种先验知识的媒介，然后该媒介经由嵌入方法被变换成密集向量表示。
由于知识图是由人类专家手动组织的，因此它们是可解释的，并且可以利用机器学习方法和语言信息来丰富化（enrich）。
因此，形成了领域不变的嵌入空间（基于先验知识），其独立于从观测中收集的数据分布。
通过使用对比性损失函数（即，训练目标函数），可能的是引导机器学习系统根据领域不变空间来调整其数据嵌入空间。
这允许神经网络并入来自已经在知识图中表示的不同目标领域的训练数据。
附图说明
将参考以下各图更详细地讨论本发明的实施例。各图示出了：
图1 包括控制其环境中的致动器的分类器的控制系统；
图2 控制至少部分自主的机器人的控制系统；
图3 控制制造机器的控制系统；
图4 控制自动个人助理的控制系统；
图5 控制访问控制系统的控制系统；
图6 控制监控系统的控制系统；
图7 控制成像系统的控制系统；
图8 控制医学分析系统的控制系统；
图9 分类器的示例性结构；
图10 用于训练分类器的训练系统；
图11 知识图的图示；
图12 由所述训练系统实行的训练方法的流程图。
具体实施方式
图1中示出的是在其环境（20）中的致动器（10）的实施例。致动器（10）与控制系统（40）交互。致动器（10）及其环境（20）将被统称为致动器系统。在优选地均匀间隔的时间点处，传感器（30）感测致动器系统的状况。传感器（30）可以包括若干个传感器。优选地，传感器（30）是取得环境（20）的图像的光学传感器。传感器（30）的输出信号（S）（或者，在传感器（30）包括多个传感器的情况下，针对每一个传感器的输出信号（S））被传输到控制系统（40），该输出信号（S）对感测到的状况进行编码。
因此，控制系统（40）接收传感器信号（S）流。然后，它取决于传感器信号（S）流来计算一系列控制信号（A），该系列控制信号（A）然后被传输到致动器（10）。
控制系统（40）在可选接收单元（50）中接收传感器（30）的传感器信号（S）流。接收单元（50）将传感器信号（S）变换成输入信号（x）。替代地，在没有接收单元（50）的情况下，每个传感器信号（S）可以直接取作输入信号（x）。输入信号（x）可以例如作为来自传感器信号（S）的摘录（excerpt）而给出。替代地，可以处理传感器信号（S）以产生输入信号（x）。换句话说，根据传感器信号（S）来提供输入信号（x）。
输入信号（x）然后被传递到分类器（60）。
分类器（60）由存储在参数存储装置（St 1）中并且由其提供的参数（Φ）来参数化。
分类器（60）根据输入信号（x）来确定输出信号（y）。输出信号（y）包括向输入信号（x）指派一个或多个标签的信息。输出信号（y）被传输到可选的转换单元（80），该转换单元（80）将输出信号（y）转换成控制信号（A）。然后，控制信号（A）被传输到致动器（10）以用于相应地控制致动器（10）。替代地，输出信号（y）可以直接取作控制信号（A）。
致动器（10）接收控制信号（A），被相应地控制，并且实行对应于控制信号（A）的动作。致动器（10）可以包括控制逻辑，该控制逻辑将控制信号（A）变换成另外的控制信号，该另外的控制信号然后用于控制致动器（10）。
在另外的实施例中，控制系统（40）可以包括传感器（30）。在再另外的实施例中，控制系统（40）替代地或附加地可以包括致动器（10）。
在仍另外的实施例中，可以设想的是，代替于致动器（10）或者除了致动器（10）之外，控制系统（40）还控制显示器（10a）。
此外，控制系统（40）可以包括至少一个处理器（45）和至少一个机器可读存储介质（46），该机器可读存储介质（46）上存储了指令，所述指令如果被实行则使得控制系统（40）实行根据本发明的一方面的方法。
图2示出了一实施例，其中控制系统（40）用于控制至少部分自主的机器人，例如至少部分自主的车辆（100）。
传感器（30）可以包括一个或多个视频传感器和/或一个或多个雷达传感器和/或一个或多个超声传感器和/或一个或多个LiDAR传感器和/或一个或多个热成像传感器。这些传感器中的一些或全部优选地但不一定集成在车辆（100）中。因此，输入信号（x）可以被理解为输入图像，并且分类器（60）被理解为图像分类器。要理解的是，术语“图像分类器”可以包括图像检测器（作为是否存在对象的分类）以及确定语义分割的系统（作为逐区域分类，例如逐像素分类）。
图像分类器（60）可以被配置成基于输入图像（x）来检测至少部分自主的机器人附近的对象。输出信号（y）可以包括表征对象位于至少部分自主的机器人附近何处的信息。然后，可以根据该信息来确定控制信号（A），例如以避免与检测到的对象碰撞。
优选地集成在车辆（100）中的致动器（10）可以由车辆（100）的制动器、推进系统、引擎、传动系或转向来给出。控制信号（A）可以被确定，使得致动器（10）被控制使得车辆（100）避免与检测到的对象碰撞。还可以根据分类器（60）认为它们最可能是什么（例如，行人或树木）来对检测到的对象进行分类，并且可以取决于该分类来确定控制信号（A）。
替代地或附加地，控制信号（A）也可以用于控制显示器（10a），例如以用于显示由图像分类器（60）检测到的对象。还可以想象的是，如果车辆（100）接近与至少一个检测到的对象碰撞，则控制信号（A）可以控制显示器（10a），使得其产生警告信号。该警告信号可以是警告声音和/或触觉信号，例如车辆方向盘的振动。
在另外的实施例中，传感器（30）可以包括音频传感器，输入信号（x）可以被理解为输入声音信号，并且分类器（60）被理解为声音（或音频）分类器，这对于检测例如救护车或警车可以是特别有用的。
在另外的实施例中，至少部分自主的机器人可以通过另一个移动机器人（未示出）给出，该另一个移动机器人可以例如通过飞行、游泳、潜水或步行来移动。移动机器人尤其可以是至少部分自主的割草机、或至少部分自主的清洁机器人。在所有上述实施例中，控制信号（A）可以被确定，使得移动机器人的推进单元和/或转向和/或制动器被控制使得移动机器人可以避免与所述标识的对象碰撞。
在另外的实施例中，至少部分自主的机器人可以通过园艺机器人（未示出）来给出，该园艺机器人使用传感器（30）、优选地是光学传感器来确定环境（20）中的植物的状态。致动器（10）可以控制用于喷洒液体的喷嘴和/或切割设备（例如，刀片）。取决于植物的所标识品种和/或所标识状态，可以确定控制信号（A）以使得致动器（10）向植物喷洒适当量的适当液体和/或切割植物。
在再另外的实施例中，至少部分自主的机器人可以通过家用电器（未示出）来给出，该家用电器如例如洗衣机、炉子、烤箱、微波炉或洗碗机。传感器（30）（例如，光学传感器）可以检测要经历由家务电器进行处理的对象的状态。例如，在该家用电器是洗衣机的情况下，传感器（30）可以检测洗衣机内部的衣物的状态。然后，可以取决于检测到的衣物材料来确定控制信号（A）。
图3中示出的是一实施例，其中控制系统（40）用于控制例如作为生产线的一部分的制造系统（200）的制造机器（11），例如冲压刀具（punch cutter）、刀具、枪钻或夹具。制造机器可以包括使所制造的产品（12）移动的运输设备，例如传送带或装配线。控制系统（40）控制致动器（10），该致动器（10）又控制制造机器（11）。
传感器（30）可以通过光学传感器来给出，该光学传感器捕获例如所制造的产品（12）的性质。因此，分类器（60）可以被理解为图像分类器。
图像分类器（60）可以确定所制造的产品（12）相对于运输设备的位置。然后，可以取决于所制造产品（12）的所确定位置来控制致动器（10），以用于所制造产品（12）的后续制造步骤。例如，可以控制致动器（10）以在所制造的产品本身的特定位置处切割所制造的产品。替代地，可以设想的是，图像分类器（60）对所制造的产品是否破损或展现出缺陷进行分类。然后，可以控制致动器（10）以便从运输设备移除所制造的产品。
图4中示出的是一实施例，其中控制系统（40）用于控制自动个人助理（250）。传感器（30）可以是光学传感器，例如，用于接收用户（249）的手势的视频图像。替代地，传感器（30）也可以是音频传感器，例如用于接收用户（249）的语音命令。
控制系统（40）然后确定用于控制自动个人助理（250）的控制信号（A）。控制信号（A）是根据传感器（30）的传感器信号（S）来确定的。传感器信号（S）被传输到控制系统（40）。例如，分类器（60）可以被配置成例如实行手势识别算法，以标识用户（249）做出的手势。控制系统（40）然后可以确定用于传输到自动个人助理（250）的控制信号（A）。然后，它将控制信号（A）传输到自动个人助理（250）。
例如，可以根据由分类器（60）识别的所标识的用户手势来确定控制信号（A）。它可以包括如下信息：该信息使得自动个人助理（250）从数据库中检索信息，并以适合于用户（249）接收的形式输出该检索到的信息。
在另外的实施例中，可以设想的是，代替于自动个人助理（250），控制系统（40）控制根据所标识的用户手势被控制的家用电器（未示出）。家用电器可以是洗衣机、炉子、烤箱、微波炉或洗碗机。
图5中示出的是一实施例，其中控制系统（40）控制访问控制系统（300）。访问控制系统（300）可以被设计成物理地控制访问。它可以例如包括门（401）。传感器（30）可以被配置成检测与决定是否准许访问相关的场景。它可以例如是用于提供图像或视频数据（例如用于检测人员的面部）的光学传感器。因此，分类器（60）可以被理解为图像分类器。
图像分类器（60）可以被配置成：例如通过将检测到的人员的面部与存储在数据库中的已知人员的其他面部进行匹配来对人员的身份进行分类，从而确定人员的身份。然后，可以取决于图像分类器（60）的分类（例如，根据所确定的身份）来确定控制信号（A）。致动器（10）可以是取决于控制信号（A）将门打开或关闭的锁。替代地，访问控制系统（300）可以是非物理的、逻辑的访问控制系统。在这种情况下，控制信号可以用于控制显示器（10a）以示出关于该人员的身份和/或该人员是否要被给予访问权的信息。
在另外的实施例中，分类器（60）可以被理解为音频分类器或包括音频分类器，该音频分类器例如可以被配置成从接收到的语音音频信号中标识人员。
图6中示出的是一实施例，其中控制系统（40）控制监控系统（400）。该实施例在很大程度上与图5中所示的实施例等同。因此，将仅详细描述不同的方面。传感器（30）被配置成检测被监控的场景。控制系统（40）不一定控制致动器（10），但是可以替代地控制显示器（10a）。例如，图像分类器（60）可以确定场景的分类，例如由光学传感器（30）检测的场景是否正常或者该场景是否展现出异常。然后，被传输到显示器（10a）的控制信号（A）可以例如被配置成使得显示器（10a）取决于所确定的分类来调整所显示的内容，例如以突出显示被图像分类器（60）认为异常的对象。
图7中示出的是由控制系统（40）控制的医学成像系统（500）的实施例。成像系统可以是例如MRI装置、x射线成像装置或超声成像装置。传感器（30）例如可以是成像传感器，该成像传感器取得患者的至少一个图像，所述至少一个图像例如显示患者的不同类型的身体组织。
分类器（60）然后可以确定所感测图像的至少部分的分类。因此，该图像的至少部分被用作去往分类器（60）的输入图像（x）。因此，分类器（60）可以被理解为图像分类器。
然后，可以根据该分类来选择控制信号（A），从而控制显示器（10a）。例如，图像分类器（60）可以被配置成：例如通过将所感测图像中显示的组织分类成恶性或良性组织来检测该图像中的不同类型的组织。这可以借助于图像分类器（60）对输入图像（x）的语义分割来完成。然后，可以确定控制信号（A）以使得显示器（10a）显示不同的组织，其例如通过显示输入图像（x）并且以相同的颜色对等同组织类型的不同区域进行着色。
在另外的实施例（未示出）中，成像系统（500）可以用于非医学目的，例如以确定工件的材料性质。在这些实施例中，图像分类器（60）可以被配置成接收工件的至少部分的输入图像（x）并且执行对输入图像（x）的语义分割，从而对工件的材料性质进行分类。然后，可以确定控制信号（A）以使得显示器（10a）显示输入图像（x）以及关于检测到的材料性质的信息。
图8中示出的是由控制系统（40）控制的医学分析系统（600）的实施例。医学分析系统（600）被供应有微阵列（601），其中微阵列包括已经暴露于医学试样的多个斑点（602，也被称为特征）。医学试样可以是例如人类试样或动物试样（例如从拭子获得）。
微阵列（601）可以是DNA微阵列或蛋白质微阵列。
传感器（30）被配置成感测微阵列（601）。传感器（30）优选地是光学传感器，诸如视频传感器。因此，分类器（60）可以被理解为图像分类器。
图像分类器（60）被配置成基于由传感器（30）供应的微阵列的输入图像（x）对试样的结果进行分类。特别地，图像分类器（60）可以被配置成确定微阵列（601）是否指示试样中存在病毒。
然后，可以选择控制信号（A），使得显示器（10a）示出分类的结果。
图9中示出的是分类器（60）的实施例。它包括嵌入部分（61）和分类部分（62）。嵌入部分（61）被配置成接收输入信号（x）并且确定嵌入（h）。分类部分（62）接收嵌入（h）并且将分类确定为输出信号（y）。
在一些实施例中，分类部分（62）可以是线性分类器。例如，在一些实施例中，分类器（60）可以包括神经网络，并且分类部分（62）可以例如由全连接层、接着是argmax层所给出。在一些实施例中，分类器（60）可以包括卷积神经网络，并且嵌入部分（61）可以包括多个卷积层。
图10示出了用于借助于训练数据集（T）来训练控制系统（40）的分类器（60）的训练系统（140）的实施例。训练数据集（T）包括用于训练分类器（60）的多个输入信号（xi），其中针对每个输入信号（xi），训练数据集（T）进一步包括期望输出信号（yi），期望输出信号（yi）对应于输入信号（xi）并且表征输入信号（xi）的分类。
为了训练，训练数据单元（150）访问计算机实现的数据库（St2），该数据库（St2）提供训练数据集（T）。训练数据单元（150）根据训练数据集（T）优选地随机确定至少一个输入信号（xi）以及对应于输入信号（xi）的期望输出信号（
Figure 956053DEST_PATH_IMAGE002
），并且将输入信号（xi）传输到分类器（60）。分类器（60）基于输入信号（xi）来确定输出信号（y i ）。
将期望输出信号（
Figure 666520DEST_PATH_IMAGE003
）和所确定的输出信号（
Figure 738381DEST_PATH_IMAGE004
）传输到修改单元（180）。
基于期望输出信号（
Figure 444169DEST_PATH_IMAGE003
）和所确定的输出信号（y i ），修改单元（180）然后确定用于分类器（60）的新参数（Φ'）。出于此目的，修改单元（180）使用训练目标函数（也被称为损失函数）来比较期望输出信号（
Figure 638390DEST_PATH_IMAGE005
）和所确定的输出信号（y i ）。损失函数确定表征所确定的输出信号（y i ）与期望输出信号（
Figure 665514DEST_PATH_IMAGE005
）偏离多远的第一损失值。在给定的实施例中，负对数似然函数被用作损失函数。在替代实施例中，其他损失函数也是可设想的。
此外，可设想的是，所确定的输出信号（y i ）和期望输出信号（
Figure 213170DEST_PATH_IMAGE006
）均包括多个子信号（例如以张量的形式），其中期望输出信号（
Figure 304623DEST_PATH_IMAGE003
）的子信号对应于所确定的输出信号（y i ）的子信号。例如，可设想的是，分类器（60）被配置用于对象检测，并且第一子信号表征对象关于输入信号（xi）的部分的出现概率，并且第二子信号表征该对象的确切位置。如果所确定的输出信号（y i ）和期望输出信号（
Figure 810691DEST_PATH_IMAGE003
）包括多个对应的子信号，则优选地借助于合适的损失函数来针对每个对应的子信号确定第二损失值，并且所确定的第二损失值被合适地组合以形成第一损失值，其例如借助于加权和。
修改单元（180）基于第一损失值来确定新参数（Φ'）。在给定的实施例中，这是使用梯度下降法、优选为随机梯度下降、Adam或AdamW来完成的。
在其他优选实施例中，所描述的训练被迭代地重复达预定数量的迭代步骤，或者被迭代地重复直到第一损失值落到预定阈值以下为止。替代地或附加地，还可设想的是，当关于测试或验证数据集的平均第一损失值落到预定阈值以下时，终止该训练。在迭代中的至少一个中，在先前迭代中确定的新参数（Φ'）被用作分类器（60）的参数（Φ）。
训练系统（140）进一步被配置成提供知识图嵌入（KGE），该知识图嵌入（KGE）例如也可以被存储在数据库（St 2）中并且被提供给修改单元（180）。
本领域中已知知识图嵌入将来自知识图的图结构的信息表示为密集向量表示，其中知识图的实体以及其关系经由它们的相似性（不相似性）而被映射。因此，如果实体与该图中的其他实体具有密切连接，则这些密切连接的实体在向量空间中被彼此接近地表示。
针对每个类c，可以例如通过修改单元（180）来确定知识图嵌入向量h KG =KGE(c)。通过分类器（60）的嵌入部分（61）获得的嵌入（h）被提供给可选的投影网络（P），该投影网络（P）可以被配置成将嵌入（h）映射到与知识图嵌入向量h KG 的维数相匹配的投影向量z = P(h)上。投影网络（P）可以例如通过例如具有单个隐藏层的多层感知器来给出。
此外，训练系统（140）可以包括至少一个处理器（145）和包含指令的至少一个机器可读存储介质（146），所述指令在被处理器（145）执行时使得训练系统（140）执行根据本发明的方面之一的训练方法。
图11中图示的是在分类器（60）是用于道路标志识别的图像分类器的情况下道路标志领域的知识图（KG）的部分。知识图（KG）包含训练数据集（T）的所有类，并且被并入在基础的领域本体中。领域本体包括实体（901、902、903、904和908）以及所述实体之间的关系（905、906、907和909）。例如，实体可以被给出为“Road Sign（道路标志）”（901）、“Shapewith Sign（带有标志的形状）”（902）、“Icon（图标）”（903）、“Shape（形状）”（904）或“RoadSign Feature（道路标志特征）”（908）。关系可以被给出为“has Shape（具有形状）”（905）、“has Icon（具有图标）”（906）、“has Shape with Sign（具有带有标志的形状）”（907）或“isSubclass of（是……的子类）”（909）。然后，每个类（c）可以由知识图（KG）中的实体来表示。
图11中示出的是图示了用于执行分类器（60）的训练的实施例的流程图。
首先（1000），提供知识图（KG）的知识图嵌入（KGE）。
然后（1100），在源预训练阶段中，提供第一训练集（也被称为源训练集）。然后，通过将输入信号（x）针对其在知识图嵌入空间中编码的标签
Figure 354805DEST_PATH_IMAGE007
进行对比，来更新与嵌入部分（61）相关联的参数（Φ）。
具体地，可以针对对比性预测任务来定义对比性损失函数
Figure 860479DEST_PATH_IMAGE008
。一般来说，在给定一组输入信号{x n }（包括一对正的示例x a 和x p ）的情况下，对比性预测任务旨在针对给定x a 来标识{x n } n≠a 中的x p 。
在2N个训练样本的小批次内，
Figure 681804DEST_PATH_IMAGE009
被选择为类标签的锚定索引。对应于同一类——即，具有与对应于锚定索引的输入信号（x a ）相同的期望分类（
Figure 14566DEST_PATH_IMAGE010
）——的输入信号（x p ）将利用正索引p来标示。同样地，来自另一类的输入信号（x n ）将利用负索引n来标示。
然后，对比性损失函数可以由下式来给出：
Figure DEST_PATH_IMAGE011
其中
Figure 514817DEST_PATH_IMAGE012
其中
Figure 404276DEST_PATH_IMAGE013
，并且
Figure 971785DEST_PATH_IMAGE014
是如果n≠a评估为真则返回1的指示器函数，并且τ>0是预定参数。
Figure DEST_PATH_IMAGE015
计算归一化向量h KG,a 与z p 之间的内积作为相似性得分。针对每个锚定索引a，可以存在许多正量（positive）和负量（negative），并且分母总共具有2N−1个项，其包含具有正索引的项和具有负索引的项。在训练期间，针对任何“a”，可以调节嵌入部分（61）的参数，以最大化对数自变量的分子，而同时最小化其分母。
Figure 819656DEST_PATH_IMAGE016
是该小批次中具有相同标签
Figure 338362DEST_PATH_IMAGE017
作为锚点a的样本的总数。因此，这种损失能够处理属于同一类的任意数量的正量。在该步骤中的训练期间——即该损失函数
Figure 359407DEST_PATH_IMAGE018
的优化期间，嵌入部分（61）学习正索引输入信号x p 的投影（z）和嵌入h，以映射知识图嵌入h KG 中的对应的类标签，并且同时将负索引输入信号x n 的嵌入推动到非邻近表示。
由此获得的分类器（60）、具体地是具有由此获得的嵌入部分（61）的分类器（60）被称为经源训练的分类器。
在该源领域预训练阶段之后，在可选的目标领域预训练阶段（1200）中，在该阶段中，提供第二训练集，也被称为目标训练集。为了使经源训练的分类器适配于该附加目标训练集，在一些实施例中，可以设想的是，使用来自源领域上的第一预训练（1100）的相同领域不变空间来应用第二对比性预训练阶段。
因为目标训练集的类被表示在知识图嵌入（KGE）中，所以分类器（60）已经在源预训练阶段（1100）期间被适配于目标类，即使没有来自目标领域的数据亦如此。因此，在该第二预训练阶段（1200）中，来自目标领域的数据信息可以使该嵌入丰富化，而不干扰在源领域上学习的结构。
将领会的是，在该目标领域预训练阶段（1200）中必要的训练努力是小的，这是因为对知识图嵌入（KGE）所捕获的结构的利用使得经源训练的分类器可容易地通过该迁移学习方法来适配。
将进一步领会的是，由于所述结构利用，在目标领域预训练阶段（1200）期间，经源训练的分类器不遭受本领域中被称为“灾难性遗忘”的现象，即，当在新训练集上进行训练时，可以省略来自先前训练集的学习。
由此获得的分类器（60）、具体地是具有由此获得的嵌入部分（61）的分类器（60）被称为经目标训练的分类器。
接下来，在可选的分类部分训练阶段（1300）中，可以训练分类器（60）的分类部分（62）。在已经实行了目标领域预训练（1200）的情况下，可以利用来自源领域和目标领域两者的数据来实行该训练。在已经省略了目标领域预训练（1200）的情况下，可以仅利用来自源领域的数据来实行训练。
在另外的实施例中，可以设想的是，通过针对每个期望目标领域重复步骤（1200）从而在多个目标领域上训练分类器（60）。
例如，分类部分（62）的参数可以利用常规方法（如例如，交叉熵损失）来随机初始化和训练。优选地，嵌入部分（61）的参数保持不变。
在可选步骤（1400）中，经训练的分类器（60）然后可以用于推理，如对应于图1至8的实施例中图示的那样。该方法到此结束。
术语“计算机”可以被理解为覆盖用于处理预定计算规则的任何设备。这些计算规则可以以软件、硬件或软件和硬件的混合的形式。

Claims (13)

1.一种用于训练分类器（60）以便对输入信号（x）进行分类的计算机实现方法，所述输入信号（x）特别地包括图像数据，所述分类器（60）包括嵌入部分（61）和分类部分（62），所述嵌入部分（61）被配置成取决于输入到所述分类器（60）中的所述输入信号（x）来确定嵌入（h），所述分类部分（62）被配置成取决于所述嵌入（h）来确定所述输入信号（x）的分类（y），
其中所述方法包括：
- 提供训练样本的第一训练数据集，每个训练样本包括输入信号（x）和多个类当中的对应期望分类（
Figure 988598DEST_PATH_IMAGE002
），
- 在知识图（KG）中提供与所述目标分类（
Figure 250952DEST_PATH_IMAGE001
）中的至少一个相关联的附加信息，
- 提供所述知识图（KG）的知识图嵌入方法（KGE（⋅）），
- 提供通过使用所述知识图嵌入方法（KGE（⋅））获得的所述知识图（KG）的知识图嵌入（h KG ），
- 取决于所述知识图嵌入（h KG ）和所述第一训练数据集来训练所述嵌入部分（61）。
2.根据权利要求1所述的方法，其中训练所述嵌入部分（61）的步骤进一步包括如下步骤：根据训练目标函数（
Figure 713158DEST_PATH_IMAGE003
）来调整所述分类器（60）的所述嵌入部分（61）的参数（Φ），所述训练目标函数（
Figure 60962DEST_PATH_IMAGE004
）表征输入信号（x a ）的目标分类（
Figure 532395DEST_PATH_IMAGE005
）的知识图嵌入（h KG,a ）与具有与所述输入信号（x a ）相同目标分类（
Figure 147791DEST_PATH_IMAGE005
）的训练样本的输入信号（x p ）的所确定嵌入（z p ）之间的相似程度。
3.根据权利要求2所述的方法，其中所述训练目标函数（
Figure DEST_PATH_IMAGE006
）是对比性学习训练目标。
4.根据权利要求1或2所述的方法，其中所述方法进一步包括以下步骤：
- 提供训练样本的第二训练数据集，每个训练样本包括输入信号（x）和多个类当中的对应期望分类（
Figure 780897DEST_PATH_IMAGE001
），
- 取决于所述知识图嵌入（h KG ）和所述第二训练数据集来训练所述嵌入部分（61）。
5.根据权利要求3所述的方法，其中所述第一训练数据集和所述第二训练数据集来自不同领域。
6.根据上述权利要求中任一项所述的方法，其中在所述知识图（KG）中提供与包含在所述多个类中的所述目标分类（
Figure 615998DEST_PATH_IMAGE001
）中的每一个相关联的附加信息。
7.根据上述权利要求中任一项所述的方法，其中在训练所述嵌入部分（61）之后，所述方法进一步包括训练所述分类部分（62）的步骤。
8.根据上述权利要求中任一项所述的方法，其中在训练所述分类器（60）之后，所述方法进一步包括如下步骤：通过对输入到所述分类器（60）中的输入信号（x）进行分类并且获得作为所述分类的特性的输出信号（y）来使用所述分类器（60）。
9.根据权利要求8所述的方法，其中在使用所述分类器（60）的所述步骤中，所述方法进一步包括如下步骤：提供用于根据所述输出信号（y）来操作技术系统（10、10a）的控制信号（A）。
10.一种计算机程序，其被配置成：如果所述计算机程序由处理器（45、145）实行，则使得计算机实行根据权利要求1至9中任一项所述的方法及其所有步骤。
11.一种机器可读存储介质（46、146），其上存储了根据权利要求10所述的计算机程序。
12.一种用于操作致动器（10）的控制系统（40），所述控制系统（40）包括利用根据权利要求1至7中任一项所述的方法所训练的分类器（60），所述控制系统（40）进一步被配置成根据所述分类器（60）的输出来操作所述致动器（10）。
13.一种训练系统（140），其被配置成实行根据权利要求1至7中的一项所述的方法。
CN202111540175.8A 2020-12-17 2021-12-16 用于训练分类器的设备和方法 Pending CN114648111A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020216188.7A DE102020216188A1 (de) 2020-12-17 2020-12-17 Vorrichtung und Verfahren zum Trainieren eines Klassifizierers
DE102020216188.7 2020-12-17

Publications (1)

Publication Number Publication Date
CN114648111A true CN114648111A (zh) 2022-06-21

Family

ID=81846942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111540175.8A Pending CN114648111A (zh) 2020-12-17 2021-12-16 用于训练分类器的设备和方法

Country Status (3)

Country Link
US (1) US20220198781A1 (zh)
CN (1) CN114648111A (zh)
DE (1) DE102020216188A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011575A (zh) * 2022-10-27 2023-11-07 腾讯科技（深圳）有限公司 一种小样本目标检测模型的训练方法及相关装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665825B2 (en) * 2014-06-09 2017-05-30 Cognitive Scale, Inc. System for refining cognitive insights using cognitive graph vectors
US9817893B2 (en) * 2015-02-18 2017-11-14 Adobe Systems Incorporated Tracking changes in user-generated textual content on social media computing platforms
US20170178000A1 (en) * 2015-12-18 2017-06-22 Sap Se Generation and handling of situation definitions
US11853903B2 (en) * 2017-09-28 2023-12-26 Siemens Aktiengesellschaft SGCNN: structural graph convolutional neural network
US10915820B2 (en) * 2018-08-09 2021-02-09 Accenture Global Solutions Limited Generating data associated with underrepresented data based on a received data input

Also Published As

Publication number Publication date
US20220198781A1 (en) 2022-06-23
DE102020216188A1 (de) 2022-06-23

Similar Documents

Publication Publication Date Title
KR20210068993A (ko) 분류기를 훈련하는 디바이스 및 방법
CN114077899A (zh) 用于在被修改的任务之间进行迁移学习的方法和设备
CN114648111A (zh) 用于训练分类器的设备和方法
CN115860108A (zh) 用于为机器学习系统生成训练数据的设备和方法
US20220284289A1 (en) Method for determining an output signal by means of a neural network
JP2021170332A (ja) 分類器をトレーニングするための装置及び方法並びに分類器の堅牢性を評価するための装置及び方法
EP4258176A1 (en) Method for initializing a neural network
EP4343619A1 (en) Method for regularizing a neural network
EP4258177A1 (en) Method for initializing a neural network
JP2021170333A (ja) 分類器をトレーニングするための装置及び方法
US20220101128A1 (en) Device and method for training a classifier using an invertible factorization model
EP4145402A1 (en) Device and method for training a neural network for image analysis
US20230368007A1 (en) Neural network layer for non-linear normalization
EP4357977A1 (en) Device and method for determining an encoder configured image analysis
US20220101129A1 (en) Device and method for classifying an input signal using an invertible factorization model
US20230418246A1 (en) Device and method for determining adversarial perturbations of a machine learning system
EP4156097A1 (en) Device and method for determining a semantic segmentation and/or an instance segmentation of an image
EP4141808A1 (en) Denoising layer for neural networks for image analysis
US20220327332A1 (en) Method and device for ascertaining a classification and/or a regression result when missing sensor data
CN117836781A (zh) 用于创建机器学习系统的方法和设备
CN116467618A (zh) 确定关于传感器信号的预测的融合的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination