CN116664814A - 训练条件神经过程来根据图像数据确定对象的位置的方法 - Google Patents

训练条件神经过程来根据图像数据确定对象的位置的方法 Download PDF

Info

Publication number
CN116664814A
CN116664814A CN202310191384.9A CN202310191384A CN116664814A CN 116664814 A CN116664814 A CN 116664814A CN 202310191384 A CN202310191384 A CN 202310191384A CN 116664814 A CN116664814 A CN 116664814A
Authority
CN
China
Prior art keywords
image data
training
neural process
marked
conditional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310191384.9A
Other languages
English (en)
Inventor
高宁
A·V·吴
G·纽曼
H·齐舍
M·沃尔普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN116664814A publication Critical patent/CN116664814A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明涉及一种用于训练条件神经过程来根据图像数据确定对象的位置的方法，其中所述方法(1)具有如下步骤：提供用于训练所述条件神经过程的训练数据，其中所述训练数据具有显示特定对象的经标记的图像数据和关于所述特定对象的经标记的比较图像数据(2)；而且基于所提供的训练数据来训练所述条件神经过程(3)，其中对所述条件神经过程的训练包括应用功能对比学习，而且其中对所述条件神经过程的训练包括应用端到端学习方法。

Description

训练条件神经过程来根据图像数据确定对象的位置的方法
技术领域
本发明涉及一种用于训练条件神经过程来根据图像数据确定对象的位置的方法并且尤其是涉及一种用于训练条件神经过程来根据图像数据确定对象的位置的方法，利用该方法可以以相对少的资源消耗训练条件神经过程以经优化的性能来根据图像数据确定对象或物体的位置。
背景技术
元学习算法被理解成一种机器学习算法，该机器学习算法被设计为通过自主学习以及借鉴经验来对该算法进行优化。在此，这种元学习算法尤其被应用于元数据，其中元数据例如是相对应的学习问题的特性、算法特性或者之前从这些数据中得出的模式。这种元学习算法的应用尤其具有如下优点：算法的性能可以被提高并且该算法可以与各种问题情况和/或新的对象类别快速且灵活地适配。在此，这种元学习算法例如被用于基于图像数据来确定对象的位置和/或姿态或者6D姿态。
在此，元学习算法例如包括模型不可知元学习(Model-Agnostic Meta-Learning，MAML)或者条件神经过程。这些算法的目的分别在于优化模型参数，使得可以以相对少的梯度优化来实现训练成功。在此，条件神经过程尤其是基于使用前馈神经网络来计算训练数据信息、将这些信息聚合并且将这些信息转发给另一前馈网络以进行推理。
然而，这种元学习算法的缺点例如在于：对这种算法的训练比较复杂，而且可能发生对训练数据的所谓的过度拟合或者机械学习。在对这种算法的训练期间尤其可能出现如下状态，在该状态下，只是仍然重现根据训练数据所确定的问题解决方案，即算法只是正确地处理这些训练数据并且在输入新数据时不产生新结果。
从出版文献WO 2019/099305A1公知一种用于通过单个神经网络基于元学习来使对多个任务的学习自动化的方法，其中通过该神经网络来对任务进行学习的顺序可影响该网络的性能，而且其中在任务层面可以使用用于学习多个任务的计划。在此，该计划规定：在训练期间监控成本函数的变化过程，其中在该训练的过程中可以调整用于任务消耗的补偿权重。
发明内容
因此，本发明所基于的任务在于：说明一种经改进的用于训练元学习算法以及尤其是条件神经过程来根据图像数据确定对象的位置的方法。
该任务利用一种按照专利权利要求1的特征的用于训练条件神经过程来根据图像数据确定对象的位置的方法来被解决。
该任务还利用一种按照专利权利要求7的特征的用于训练训练条件神经过程来根据图像数据确定对象的位置的控制设备来被解决。
按照本发明的一个实施方式，该任务通过一种用于训练条件神经过程来根据图像数据确定对象的位置的方法来被解决，其中该方法具有：提供用于训练条件神经过程的训练数据，其中这些训练数据具有显示特定对象的经标记的图像数据和关于该特定对象的经标记的比较图像数据；而且基于所提供的训练数据来训练条件神经过程，其中对条件神经过程的训练包括应用功能对比学习，而且其中对条件神经过程的训练包括应用端到端学习(End-to-End Learning)方法。
在此，图像数据被理解成通过使用光学或电子设备或者光学传感器来扫描或以光学方式记录一个或多个表面所产生的数据。
显示特定对象的图像数据是显示在其上放置或定位该特定对象的表面并且为了训练目的已被记录的图像数据。
进一步，关于特定对象的比较图像数据是比较或上下文数据，并且尤其是为了比较或作为参考而同样呈现相对应的特定对象的数字图像。
经标记的数据还被理解成已知数据，这些已知数据已经经过处理，例如从这些已知数据中已经提取了在相对应的图像数据中的如各个对象的位置或质地等特征或者从这些已知数据中已经得出了模式。
对比学习还在于：学习在两个采样值之间的度量空间，在该度量空间内，在两个正采样值之间的距离减小，而在两个负采样值之间的距离增加。在这种情况下，功能对比学习尤其被理解成一种算法，该算法被设计为：减小在两个相对应的表示之间的距离、尤其是在两个与同一任务或同一对象有关的表示之间的距离或差异；并且找到彼此匹配的表示。
端到端学习方法还被理解成基于神经网络的输入和输出数据的方法，其中该神经网络依据关于输入或相对应的输入数据所希望的输出数据来被训练。
在此，功能对比学习和端到端学习方法的结合尤其具有如下优点：相对应地训练的条件神经过程的性能以及尤其是在确定对象的位置时的精度可以被优化，这尤其对于实践中的具体任务而言被证明是有利的。
还可以以相对少的资源消耗、尤其是以相对低的存储器和处理器容量来训练条件神经过程，主要因为各个表示相互协调。
因此，总体而言，说明一种经改进的用于训练元学习算法以及尤其是条件神经过程来根据图像数据确定对象的位置的方法。
在此，基于所提供的训练数据来训练条件神经过程的步骤可以具有：基于经标记的图像数据和关于经标记的图像数据的信息来产生第一潜在表示；基于经标记的比较图像数据和关于经标记的比较图像数据的信息来产生第二潜在表示；通过功能对比学习，基于第一潜在表示和第二潜在表示来确定第一成本函数；而且基于第一成本函数来训练条件神经过程。
在此，潜在表示被理解成在通过条件神经过程来处理图像数据期间的输入数据或图像数据的中间状态，其中潜在表示通常具有比原始图像数据更低的维度。
关于经标记的图像数据或经标记的比较图像数据的信息还被理解成关于包含在比较图像数据中的模式或标记的信息，例如关于在图像数据或比较图像数据中呈现的各个对象的位置的信息。
成本函数或损失还被理解成在所确定的输出值与相对应的实际情况或实际测量的数据之间的损失或误差。
因此，总体而言，对条件神经过程的训练可以在相对少的资源消耗的同时以简单的方式来实现，其中可以同时优化经训练的条件神经过程的性能。
此外，基于所提供的训练数据来训练条件神经过程的步骤还可以具有：通过条件神经过程，基于经标记的图像数据、经标记的比较图像数据和关于经标记的比较图像数据的信息来确定在图像数据中的特定对象的位置；基于关于经标记的图像数据的信息，确定在经标记的图像数据中的特定对象的比较位置；基于所确定的在图像数据中的特定对象的位置和特定对象的比较位置，确定第二成本函数；而且基于第二成本函数来训练条件神经过程。
经此，对条件神经过程的训练进而也可以在相对少的资源消耗的同时以简单的方式来实现，其中可以同时优化经训练的条件神经过程的性能。
在一个实施方式，这些图像数据和这些比较图像数据分别是显示完整图像的图像数据。
在此，显示完整图像的图像数据或高维图像数据被理解成如下图像数据，所述图像数据不仅仅表征一部分、例如图像的二维片段或者图像的各个像素，而且表征或表示整个或完整图像。
尤其可以通过按照本发明的方法来对条件神经过程进行训练，该条件神经过程被设计为还以简单的方式来处理完整图像而且以简单的方式根据完整图像来确定对象的位置，其中相对应地训练的条件神经过程的性能还可以进一步被优化。
利用本发明的另一实施方式，还说明一种用于确定对象的位置的方法，其中该方法具有：提供图像数据，其中这些图像数据包括显示对象的目标图像数据和关于该对象的经标记的比较图像数据；提供通过上述用于训练条件神经过程来根据图像数据确定对象的位置的方法所训练的用于根据图像数据确定对象的位置的条件神经过程；而且通过所提供的用于根据图像数据确定对象的位置的条件神经过程，基于所提供的图像数据来确定该对象的位置。
这种用于确定对象的位置的方法具有如下优点：该方法基于经改进的用于训练元学习算法以及尤其是条件神经过程来根据图像数据确定对象的位置的方法。在此，在训练条件神经过程时的功能对比学习和端到端学习方法的结合尤其具有如下优点：相对应地训练的条件神经过程的性能以及尤其是在确定对象的位置时的精度可以被优化，这尤其对于实践中的具体任务而言被证明是有利的。还可以以相对少的资源消耗、尤其是以相对低的存储器和处理器容量来训练条件神经过程，主要因为各个表示相互协调。
此外，利用本发明的另一实施方式，还说明一种用于控制可控系统的方法，该方法具有：通过上述用于确定对象的位置的方法，根据图像数据来确定对象的位置；而且基于所确定的该对象的位置来控制可控系统。
在此，该可控系统例如可以是机器人系统，其中该机器人系统例如又可以是抓取机器人。但是，此外该可控系统例如还可以是用于对自主驾驶机动车辆进行控制或导航的系统或者用于人脸识别的系统。
这种用于控制可控系统的方法具有如下优点：该方法基于经改进的用于训练元学习算法以及尤其是条件神经过程来根据图像数据确定对象的位置的方法。在此，在训练条件神经过程时的功能对比学习和端到端学习方法的结合尤其具有如下优点：相对应地训练的条件神经过程的性能以及尤其是在确定对象的位置时的精度可以被优化，这尤其对于实践中的具体任务而言被证明是有利的。还可以以相对少的资源消耗、尤其是以相对低的存储器和处理器容量来训练条件神经过程，主要因为各个表示相互协调。
此外，利用本发明的另一实施方式，还说明一种用于训练条件神经过程来根据图像数据确定对象的位置的控制设备，其中该控制设备具有：提供单元，该提供单元被设计为提供用于训练条件神经过程的训练数据，其中这些训练数据具有显示特定对象的经标记的图像数据和关于该特定对象的经标记的比较图像数据；和训练单元，该训练单元被设计为基于所提供的训练数据来训练条件神经过程，其中对条件神经过程的训练包括应用功能对比学习，而且其中对条件神经过程的训练包括应用端到端学习方法。
因此，说明一种经改进的用于训练元学习算法以及尤其是条件神经过程来根据图像数据确定对象的位置的控制设备。在此，在训练条件神经过程时的功能对比学习和端到端学习方法的结合尤其具有如下优点：相对应地训练的条件神经过程的性能以及尤其是在确定对象的位置时的精度可以被优化，这尤其对于实践中的具体任务而言被证明是有利的。还可以以相对少的资源消耗、尤其是以相对低的存储器和处理器容量来训练条件神经过程，主要因为各个表示相互协调。
在此，该训练单元还可以具有：第一生成单元，该第一生成单元被设计为基于经标记的图像数据和关于经标记的图像数据的信息来产生第一潜在表示；第二生成单元，该第二生成单元被设计为基于经标记的比较图像数据和关于经标记的比较图像数据的信息来产生第二潜在表示；和第一确定单元，该第一确定单元被设计为通过功能对比学习基于第一潜在表示和第二潜在表示来确定第一成本函数，其中该训练单元可以被设计为基于第一成本函数来训练条件神经过程。因此，总体而言，该训练单元可以被设计为使得对条件神经过程的训练可以在相对少的资源消耗的同时以简单的方式来实现，其中可以同时优化经训练的条件神经过程的性能。
此外，该训练单元还可以具有：第二确定单元，该第二确定单元被设计为通过条件神经过程基于经标记的图像数据、经标记的比较图像数据和关于经标记的比较图像数据的信息来确定在图像数据中的特定对象的位置；第三确定单元，该第三确定单元被设计为基于关于经标记的图像数据的信息来确定在经标记的图像数据中的特定对象的比较位置；和第四确定单元，该第四确定单元被设计为基于所确定的在图像数据中的特定对象的位置和特定对象的比较位置来确定第二成本函数，其中该训练单元可以被设计为基于第二成本函数来训练条件神经过程。经此，对条件神经过程的训练进而也可以在相对少的资源消耗的同时以简单的方式来实现，其中可以同时优化经训练的条件神经过程的性能。
在一个实施方式，这些图像数据和这些比较图像数据分别是显示完整图像的图像数据。尤其可以通过按照本发明的控制设备来对条件神经过程进行训练，该条件神经过程被设计为还以简单的方式来处理完整图像而且以简单的方式根据完整图像来确定对象的位置，其中相对应地训练的条件神经过程的性能还可以进一步被优化。
此外，利用本发明的另一实施方式，还说明一种用于确定对象的位置的控制设备，其中该控制设备具有：提供单元，该提供单元被设计为提供图像数据，其中这些图像数据包括显示对象的目标图像数据和关于该对象的经标记的比较图像数据；接收单元，该接收单元被设计为接收通过上述用于训练条件神经过程来根据图像数据确定对象的控制设备所训练的用于根据图像数据确定对象的位置的条件神经过程；和确定单元，该确定单元被设计为通过所提供的用于根据图像数据确定对象的位置的条件神经过程基于所提供的图像数据来确定该对象的位置。
这种用于确定对象的位置的控制设备具有如下优点：该控制设备基于通过经改进的用于训练元学习算法以及尤其是条件神经过程来根据图像数据确定对象的位置的控制设备所训练的用于根据图像数据确定对象的位置的条件神经过程。在此，在训练条件神经过程时的功能对比学习和端到端学习方法的结合尤其具有如下优点：相对应地训练的条件神经过程的性能以及尤其是在确定对象的位置时的精度可以被优化，这尤其对于实践中的具体任务而言被证明是有利的。还可以以相对少的资源消耗、尤其是以相对低的存储器和处理器容量来训练条件神经过程，主要因为各个表示相互协调。
此外，利用本发明的另一实施方式，还说明一种用于控制可控系统的控制设备，其中该控制设备具有：接收单元，该接收单元被设计为接收通过上述用于确定对象的位置的控制设备所确定的对象的位置；和控制单元，该控制单元被设计为基于所确定的该对象的位置来控制该可控系统。
这种用于控制可控系统的控制设备具有如下优点：该控制设备基于通过经改进的用于训练元学习算法以及尤其是条件神经过程来根据图像数据确定对象的位置的控制设备所训练的用于根据图像数据确定对象的位置的条件神经过程。在此，在训练条件神经过程时的功能对比学习和端到端学习方法的结合尤其具有如下优点：相对应地训练的条件神经过程的性能以及尤其是在确定对象的位置时的精度可以被优化，这尤其对于实践中的具体任务而言被证明是有利的。还可以以相对少的资源消耗、尤其是以相对低的存储器和处理器容量来训练条件神经过程，主要因为各个表示相互协调。
概括来说应着重指出：利用本发明来说明一种用于训练条件神经过程来根据图像数据确定对象的位置的方法，利用该方法可以以相对少的资源消耗训练条件神经过程以经优化的性能来根据图像数据确定对象的位置。
所描述的设计方案和扩展方案可以彼此任意组合。
本发明的其它可能的设计方案、扩展方案、实现方案也包括本发明的之前或者在下文关于实施例所描述的特征的没有明确提到的组合。
附图说明
随附的附图旨在提供对本发明的实施方式的进一步理解。这些附图阐明了实施方式并且与说明书相结合地用于阐述本发明的原理和设计。
其它实施方式和所提到的优点中的多个优点参考这些附图得出。这些附图的所呈现的要素不一定彼此按正确比例地被示出。
其中：
图1示出了按照本发明的实施方式的用于训练条件神经过程来根据图像数据确定对象的位置的方法的流程图；以及
图2示出了按照本发明的实施方式的用于确定对象的位置的系统的示意性框图。
在这些附图的图中，只要不另作说明，相同的附图标记就表示相同或功能相同的要素、构件或组件。
图1示出了按照本发明的实施方式的用于训练条件神经过程来根据图像数据确定对象的位置的方法1的流程图。
本发明涉及一种用于训练条件神经过程来根据图像数据确定对象的位置的方法并且尤其是涉及一种用于训练条件神经过程来根据图像数据确定对象的位置的方法，利用该方法可以以相对少的资源消耗训练条件神经过程以经优化的性能来根据图像数据确定对象的位置。
元学习算法被理解成一种机器学习算法，该机器学习算法被设计为通过自主学习以及借鉴经验来对该算法进行优化。在此，这种元学习算法尤其被应用于元数据，其中元数据例如是相对应的学习问题的特性、算法特性或者之前从这些数据中得出的模式。这种元学习算法的应用尤其具有如下优点：算法的性能可以被提高并且该算法可以与各种问题情况和/或新的对象类别快速且灵活地适配。在此，这种元学习算法例如被用于基于图像数据来确定对象的位置和/或姿态或者6D姿态。
在此，元学习算法例如包括模型不可知元学习(MAML)或者条件神经过程。这些算法的目的分别在于优化模型参数，使得可以以相对少的梯度优化来实现训练成功。在此，条件神经过程尤其是基于使用前馈神经网络来计算训练数据信息、将这些信息聚合并且将这些信息转发给另一前馈网络以进行推理。
然而，这种元学习算法的缺点例如在于：对这种算法的训练比较复杂，而且可能发生对训练数据的所谓的过度拟合或者机械学习。在对这种算法的训练期间尤其可能出现如下状态，在该状态下，只还重现根据训练数据所确定问题解决方案，即算法只是正确地处理这些训练数据并且在输入新数据时不产生新结果。
在此，图1示出了一种用于训练条件神经过程来根据图像数据确定对象的位置的方法，该方法具有：提供用于训练条件神经过程的训练数据的步骤2，其中这些训练数据具有显示特定对象的经标记的图像数据和关于该特定对象的经标记的比较图像数据；和基于所提供的训练数据来训练条件神经过程的步骤3，其中对条件神经过程的训练包括应用功能对比学习，而且其中对条件神经过程的训练包括应用端到端学习方法。
在此，功能对比学习和端到端学习方法的结合尤其具有如下优点：相对应地训练的条件神经过程的性能以及尤其是在确定对象的位置时的精度可以被优化，这尤其对于实践中的具体任务而言被证明是有利的。
还可以以相对少的资源消耗、尤其是以相对低的存储器和处理器容量来训练条件神经过程，主要因为各个表示相互协调。
因此，总体而言，说明了一种经改进的用于训练元学习算法以及尤其是条件神经过程来根据图像数据确定对象的位置的方法1。
在此，还已经表明：尤其是利用这样训练的条件神经过程可以实现比利用类似的模型不可知元学习更好的性能。
此外，显示特定对象的图像数据的数量可能不同于相对应的比较数据的数量，其中这些数量也可能根据应用情况或任务而有所不同。
在此，该方法还可以进一步具有检测显示该特定对象的当前图像数据的步骤，其中所检测到的图像数据可以相对应地被处理并且然后作为显示该特定对象的图像数据来被提供。
在此，按照图1的实施方式，基于所提供的训练数据来训练条件神经过程的步骤3具有：基于经标记的图像数据和关于经标记的图像数据的信息来产生第一潜在表示的步骤4；基于经标记的比较图像数据和关于经标记的比较图像数据的信息来产生第二潜在表示的步骤5；通过功能对比学习基于第一潜在表示和第二潜在表示来确定第一成本函数的步骤6；和基于第一成本函数来训练条件神经过程的步骤。
如图1所示，基于所提供的训练数据来训练条件神经过程的步骤3还具有：通过条件神经过程基于经标记的图像数据、经标记的比较图像数据和关于经标记的比较图像数据的信息来确定在图像数据中的特定对象的位置的步骤7；基于关于经标记的图像数据的信息来确定在经标记的图像数据中的特定对象的比较位置的步骤8；基于所确定的在图像数据中的对象的位置和对象的比较位置来确定第二成本函数的步骤9；和基于第二成本函数来训练条件神经过程的步骤。
在此，按照图1的实施例，第一成本函数和第二成本函数被组合成共同成本函数，其中基于第一成本函数来训练条件神经过程的步骤和基于第二成本函数来训练条件神经过程的步骤被组合成基于该共同成本函数来训练条件神经过程的步骤10。在此，该训练例如可包括：该共同成本函数通过网络层来被反向传播并且被用于调整相对应的网络权重。
在此，这些图像数据和这些比较图像数据分别是显示完整图像的图像数据，其中尤其可以涉及高维图像数据。
然后，经训练的条件神经过程例如可以被用于确定在图像数据中的对象的位置和/或姿态。但是，经训练的条件神经过程此外例如也可以被用于识别在图像数据中的异常。
然后，所确定的对象的位置和/或姿态例如可以被用于控制可控系统，例如被用于控制机器人臂，以便抓取该对象。但是，所确定的位置或姿态此外例如也可以被用于基于所标识的目标车辆来对自主车辆进行控制或导航或者被用于人脸识别。
图2示出了按照本发明的实施方式的用于确定对象的位置的系统20的示意性框图。
在此，如图2所示，该系统20具有：用于训练条件神经过程来根据图像数据确定对象的位置的控制设备21；和用于确定对象的位置的控制设备22。还能看到光学传感器23，该光学传感器被设计为检测当前图像数据。
在此，按照图2的实施方式，用于训练条件神经过程来根据图像数据确定对象的位置的控制设备21具有：提供单元24，该提供单元被设计为提供用于训练条件神经过程的训练数据，其中这些训练数据具有显示特定对象的经标记的图像数据和关于该特定对象的经标记的比较图像数据；和训练单元25，该训练单元被设计为基于所提供的训练数据来训练条件神经过程，其中对条件神经过程的训练包括应用功能对比学习，而且其中对条件神经过程的训练包括应用端到端学习方法。
在此，该提供单元例如可以是接收器，该接收器被设计为：例如从一个或多个光学传感器，接收图像数据。此外，该训练单元例如可以基于寄存在存储器中并且可通过处理器所执行的代码来被实现。
在此，如图2所示，该训练单元25还具有：第一生成单元26，该第一生成单元被设计为基于经标记的图像数据和关于经标记的图像数据的信息来产生第一潜在表示；第二生成单元27，该第二生成单元被设计为基于经标记的比较图像数据和关于经标记的比较图像数据的信息来产生第二潜在表示；和第一确定单元28，该第一确定单元被设计为通过功能对比学习基于第一潜在表示和第二潜在表示来确定第一成本函数，其中该训练单元25被设计为基于第一成本函数来训练条件神经过程。
在此，该第一生成单元、该第二生成单元和该第一确定单元又可以分别例如基于寄存在存储器中并且可通过处理器所执行的代码来被实现。
如图2进一步所示，该训练单元25还具有：第二确定单元29，该第二确定单元被设计为通过条件神经过程基于经标记的图像数据、经标记的比较图像数据和关于经标记的比较图像数据的信息来确定在图像数据中的特定对象的位置；第三确定单元30，该第三确定单元被设计为基于关于经标记的图像数据的信息来确定在经标记的图像数据中的特定对象的比较位置；和第四确定单元31，该第四确定单元被设计为基于所确定的在图像数据中的对象的位置和对象的比较位置来确定第二成本函数，其中该训练单元25被设计为基于第二成本函数来训练条件神经过程。
在此，该第二确定单元、该第三确定单元和该第四确定单元又可以分别例如基于寄存在存储器中并且可通过处理器所执行的代码来被实现。
此外，这些图像数据和这些比较图像数据在此又分别是显示完整图像的图像数据。
按照图2的实施方式，用于确定对象的位置的控制设备22还具有：另一提供单元32，该另一提供单元被设计为提供图像数据，其中这些图像数据包括显示对象的目标图像数据和关于该对象的经标记的比较图像数据；另一接收单元33，该另一接收单元被设计为接收通过用于训练条件神经过程来根据图像数据确定对象的位置的控制设备所训练的用于根据图像数据确定对象的位置的条件神经过程；和另一确定单元34，该另一确定单元被设计为通过所提供的用于根据图像数据确定对象的条件神经过程基于所提供的图像数据来确定该对象的位置。
在此，该另一提供单元和该另一接收单元例如可以分别是相对应地设计的接收器。此外，该另一确定单元又可以例如基于寄存在存储器中并且可通过处理器来执行的代码来被实现。
此外，按照图2的实施方式，这些目标图像数据在此是通过光学传感器23所记录的该对象当前处在或定位在其上的表面的当前表示。

Claims (12)

1.一种用于训练条件神经过程来根据图像数据确定对象的位置的方法，其中所述方法(1)具有如下步骤：
-提供用于训练所述条件神经过程的训练数据，其中所述训练数据具有显示特定对象的经标记的图像数据和关于所述特定对象的经标记的比较图像数据(2)；而且
-基于所提供的训练数据来训练所述条件神经过程(3)，其中对所述条件神经过程的训练包括应用功能对比学习，而且其中对所述条件神经过程的训练包括应用端到端学习方法。
2.根据权利要求1所述的方法，其中基于所提供的训练数据来训练所述条件神经过程的步骤(3)还具有如下步骤：
-基于所述经标记的图像数据和关于所述经标记的图像数据的信息来产生第一潜在表示(4)；
-基于所述经标记的比较图像数据和关于所述经标记的比较图像数据的信息来产生第二潜在表示(5)；
-通过所述功能对比学习，基于所述第一潜在表示和所述第二潜在表示来确定第一成本函数(6)；而且
-基于所述第一成本函数来训练所述条件神经过程(10)。
3.根据权利要求1或2所述的方法，其中基于所提供的训练数据来训练所述条件神经过程的步骤(3)还具有如下步骤：
-通过所述条件神经过程，基于所述经标记的图像数据、所述经标记的比较图像数据和关于所述经标记的比较图像数据的信息来确定在所述图像数据中的所述特定对象的位置(7)；
-基于关于所述经标记的图像数据的信息，确定在所述经标记的图像数据中的所述特定对象的比较位置(8)；
-基于所确定的在所述图像数据中的所述特定对象的位置和所述特定对象的比较位置，确定第二成本函数(9)；而且
-基于所述第二成本函数来训练所述条件神经过程(10)。
4.根据权利要求1至3中任一项所述的方法，其中所述图像数据和所述比较图像数据分别是显示完整图像的图像数据。
5.一种用于确定对象的位置的方法，其中所述方法具有如下步骤：
-提供图像数据，其中所述图像数据包括显示所述对象的目标图像数据和关于所述对象的经标记的比较图像数据；
-提供通过根据权利要求1至4中任一项所述的用于训练条件神经过程来根据图像数据确定对象的位置的方法所训练的用于根据图像数据确定对象的位置的条件神经过程；而且
-通过所提供的用于根据图像数据确定对象的位置的条件神经过程，基于所提供的图像数据来确定所述对象的位置。
6.一种用于控制可控系统的方法，其中所述方法具有如下步骤：
-通过根据权利要求5所述的用于确定对象的位置的方法来确定对象的位置；而且
-基于所确定的所述对象的位置来控制所述可控系统。
7.一种用于训练条件神经过程来根据图像数据确定对象的位置的控制设备，其中所述控制设备(21)具有：提供单元(24)，所述提供单元被设计为提供用于训练所述条件神经过程的训练数据，其中所述训练数据具有显示特定对象的经标记的图像数据和关于所述特定对象的经标记的比较图像数据；和训练单元(25)，所述训练单元被设计为基于所提供的训练数据来训练所述条件神经过程，其中对所述条件神经过程的训练包括应用功能对比学习，而且其中对所述条件神经过程的训练包括应用端到端学习方法。
8.根据权利要求7所述的控制设备，其中所述训练单元(25)还具有：第一生成单元(26)，所述第一生成单元被设计为基于所述经标记的图像数据和关于所述经标记的图像数据的信息来产生第一潜在表示；第二生成单元(27)，所述第二生成单元被设计为基于所述经标记的比较图像数据和关于所述经标记的比较图像数据的信息来产生第二潜在表示；和第一确定单元(28)，所述第一确定单元被设计为通过所述功能对比学习基于所述第一潜在表示和所述第二潜在表示来确定第一成本函数，而且其中所述训练单元(25)被设计为基于所述第一成本函数来训练所述条件神经过程。
9.根据权利要求7或8所述的控制设备，其中所述训练单元(25)还具有：第二确定单元(29)，所述第二确定单元被设计为通过所述条件神经过程基于所述经标记的图像数据、所述经标记的比较图像数据和关于所述经标记的比较图像数据的信息来确定在所述图像数据中的所述特定对象的位置；第三确定单元(30)，所述第三确定单元被设计为基于关于所述经标记的图像数据的信息来确定在所述经标记的图像数据中的所述特定对象的比较位置；和第四确定单元(31)，所述第四确定单元被设计为基于所确定的在所述图像数据中的所述对象的位置和所述对象的比较位置来确定第二成本函数，其中所述训练单元(25)被设计为基于所述第二成本函数来训练所述条件神经过程。
10.根据权利要求7至9中任一项所述的控制设备，其中所述图像数据和所述比较图像数据分别是显示完整图像的图像数据。
11.一种用于确定对象的位置的控制设备，其中所述控制设备(22)具有：提供单元(32)，所述提供单元被设计为提供图像数据，其中所述图像数据包括显示所述对象的目标图像数据和关于所述对象的经标记的比较图像数据；接收单元(33)，所述接收单元被设计为接收通过根据权利要求7至10中任一项所述的用于训练条件神经过程来根据图像数据确定对象的位置的控制设备(21)所训练的用于根据图像数据确定对象的位置的条件神经过程；和确定单元(34)，所述确定单元被设计为通过所提供的用于根据图像数据确定对象的条件神经过程基于所提供的图像数据来确定所述对象的位置。
12.一种用于控制可控系统的控制设备，其中所述控制设备具有：接收单元，所述接收单元被设计为接收通过根据权利要求11所述的用于确定对象的位置的控制设备所确定的对象的位置；和控制单元，所述控制单元被设计为基于所确定的所述对象的位置来控制所述可控系统。
CN202310191384.9A 2022-02-28 2023-02-24 训练条件神经过程来根据图像数据确定对象的位置的方法 Pending CN116664814A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022202030.8 2022-02-28
DE102022202030.8A DE102022202030A1 (de) 2022-02-28 2022-02-28 Verfahren zum Trainieren eines bedingten neuronalen Prozesses zur Ermittlung einer Position eines Objektes aus Bilddaten

Publications (1)

Publication Number Publication Date
CN116664814A true CN116664814A (zh) 2023-08-29

Family

ID=87557312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310191384.9A Pending CN116664814A (zh) 2022-02-28 2023-02-24 训练条件神经过程来根据图像数据确定对象的位置的方法

Country Status (3)

Country Link
US (1) US20230274142A1 (zh)
CN (1) CN116664814A (zh)
DE (1) DE102022202030A1 (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7213241B2 (ja) 2017-11-14 2023-01-26 マジック リープ， インコーポレイテッド ニューラルネットワークに関するマルチタスク学習のためのメタ学習

Also Published As

Publication number Publication date
US20230274142A1 (en) 2023-08-31
DE102022202030A1 (de) 2023-08-31

Similar Documents

Publication Publication Date Title
US10737385B2 (en) Machine learning device, robot system, and machine learning method
US20050197984A1 (en) Information processing apparatus and method, and recording medium
CN109584298B (zh) 面向机器人自主物体拾取任务的在线自学习方法
CN110726724A (zh) 缺陷检测方法、系统和装置
CN110712202B (zh) 异形元器件抓取方法、装置、系统、控制装置及存储介质
CN104915947A (zh) 图像处理装置、系统、图像处理方法及图像处理程序
CN112446275A (zh) 物体数量推定装置、物体数量推定方法以及存储介质
CN115070780B (zh) 基于数字孪生的工业机器人抓取方法、装置及存储介质
CN112614184A (zh) 基于2d检测的物体6d姿态估计方法、装置及计算机设备
WO2021095509A1 (ja) 推定システム、推定装置および推定方法
CN116664814A (zh) 训练条件神经过程来根据图像数据确定对象的位置的方法
Skaldebø et al. Dynamic positioning of an underwater vehicle using monocular vision-based object detection with machine learning
CN116597430A (zh) 物品识别方法、装置、电子设备和计算机可读介质
US20190286225A1 (en) Information processing apparatus and non-transitory computer readable medium
CN115861368A (zh) 一种针对多类图像的多类轮廓跟踪方法、装置和介质
CN113658274A (zh) 用于灵长类动物种群行为分析的个体间距自动计算方法
US20200202178A1 (en) Automatic visual data generation for object training and evaluation
CN111860070A (zh) 识别发生改变的对象的方法和装置
CN116197911A (zh) 一种机械臂随机抓取方法
WO2023157825A1 (ja) コンピュータプログラム、および、処理装置
US11740709B2 (en) Image quality improving method, optical navigation device control method, and optical navigation device using the methods
JP2020131416A (ja) ロボットコントローラ及びロボットコントロールシステム
US20220122340A1 (en) Object region identification device, object region identification method, and object region identification program
KR20230138335A (ko) 제품 이미지를 기반으로 불량 제품을 감지하는 인공 지능 장치 및 그 방법
CN114821015A (zh) 货物放置控制方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication