DE102020211996A1

DE102020211996A1 - Vorrichtung und Verfahren zum Automatisieren des maschinellen Lernens

Info

Publication number: DE102020211996A1
Application number: DE102020211996.1A
Authority: DE
Inventors: Evgeny Kharlamov; Tim Pychynski; Baifan Zhou; Yulia Svetashova
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-09-24
Filing date: 2020-09-24
Publication date: 2022-03-24
Also published as: CN114254598A

Abstract

Eine Einrichtung (100) und ein computerimplementiertes Verfahren, umfassend Bereitstellen einer Repräsentation einer Maschinelles-Lernen-Pipeline (M) mit einem Parameter, Bereitstellen einer Repräsentation (O) der mehreren Elemente mehrerer Elemente und ihrer Beziehungen, Bereitstellen eines ersten Elements in der Repräsentation (O) der mehreren Elemente, Bestimmen eines zweiten Elements in der Repräsentation (O) der mehreren Elemente in Abhängigkeit vom ersten Element, wobei das erste Element und das zweite Element eine Beziehung aufweisen, die eine erste Bedingung erfüllt, insbesondere, dass das zweite Element vom ersten Element in der Repräsentation (O) der mehreren Elemente gemäß einer in der Repräsentation (O) der mehreren Elemente codierten Semantik semantisch erreichbar ist, und Bestimmen des Parameters in Abhängigkeit vom zweiten Element.

Description

HINTERGRUND
Die Erfindung betrifft eine Automatisierung des maschinellen Lernens, insbesondere die Automatisierung einer Pipeline-Konstruktion und einer Pipeline-Konfiguration.
Maschinelles-Lernen-Pipelines wandeln Rohdaten in Schlussfolgerungen und funktionierende Maschinelles-Lernen-Modelle um.
Die Entwicklung von Maschinelles-Lernen-Pipelines ist ein komplexer Prozess, der ein tiefgreifendes Verständnis der Daten und ein notwendiges Verständnis der Domäne und des anzusprechenden Problems erfordert. Dies erfordert spezialisiertes Training für die Informationsverarbeitung und Datenanalyse, insbesondere für das maschinelle Lernen.
Offenbarung der Erfindung
Die Vorrichtung zum Automatisieren des maschinellen Lernens und das computerimplementierte Verfahren zum Automatisieren des maschinellen Lernens liefern ein Hilfsmittel, das einem weniger spezialisierten oder untrainierten Benutzer ermöglicht, funktionierende Maschinelles-Lernen-Modelle zu erzeugen.
Diese Vorrichtung und dieses Verfahren können in beliebigen Situationen angewendet werden, bei denen beliebige der folgenden Anforderungen zur Entwicklung von Maschinelles-Lernen-Pipelines zur Datenanalyse vorhanden sind.
Die Konstruktion der Maschinelles-Lernen-Pipeline soll automatisiert werden, um eine große Menge an Entwicklungsaufwand und -zeit zu sparen. Die Maschinelles-Lernen-Pipelines sollen durch Nichtfachmänner konfigurierbar sein. Die Maschinelles-Lernen-Pipelines sollen für mehrere unterschiedliche Datensätze anpassbar sein, um mehrere Aufgaben zu lösen. Die Maschinelles-Lernen-Pipelines sollen auch für zukünftige Szenarien anpassbar sein.
Das computerimplementierte Verfahren umfasst Bereitstellen einer Repräsentation einer Maschinelles-Lernen-Pipeline mit einem Parameter, Bereitstellen einer Repräsentation mehrerer Elemente und ihrer Beziehungen, Bereitstellen eines ersten Elements in der Repräsentation der mehreren Elemente, Bestimmen eines zweiten Elements in der Repräsentation der mehreren Elemente in Abhängigkeit vom ersten Element, wobei das erste Element und das zweite Element eine Beziehung aufweisen, die eine erste Bedingung erfüllt, insbesondere, dass das zweite Element vom ersten Element in der Repräsentation der mehreren Elemente gemäß einer in der Repräsentation der mehreren Elemente codierten Semantik semantisch erreichbar ist, und Bestimmen des Parameters in Abhängigkeit vom zweiten Element.
Vorteilhafterweise umfasst das Verfahren Bestimmen eines dritten Elements in der Repräsentation der mehreren Elemente in Abhängigkeit vom zweiten Element, wobei das zweite Element und das dritte Element eine Beziehung aufweisen, die eine zweite Bedingung erfüllt, insbesondere, dass das dritte Element vom zweiten Element in der Repräsentation der mehreren Elemente semantisch erreichbar ist, und entweder Bestimmen des Parameters in Abhängigkeit vom zweiten Element und vom dritten Element, falls die zweite Bedingung erfüllt ist, oder ansonsten nicht Bestimmen des Parameters in Abhängigkeit vom zweiten Element und vom dritten Element. Dies ermöglicht eine komplexere Verarbeitung, um dreidimensionale Abbildungen für entsprechende Abhängigkeiten bereitzustellen.
Vorteilhafterweise umfasst die Repräsentation der mehreren Elemente eine Ontologie oder einen Graphen, der eine Ontologie repräsentiert. Die Ontologie oder der Graph codiert das Wissen über das maschinelle Lernen in einem zur automatisierten Verarbeitung geeigneten Format.
Vorteilhafterweise umfasst das Verfahren Bereitstellen von Eingabedaten und Bereitstellen einer Annotation eines Merkmals der Eingabedaten, insbesondere einen Namen einer Variable in den Eingabedaten, wobei das Bereitstellen des ersten Elements Bestimmen, für die Annotation, eines Elements der Repräsentation der mehreren Elemente, das das Merkmal der Eingabedaten in der Repräsentation der mehreren Elemente repräsentiert, insbesondere einen Namen der Variable der Eingabedaten gemäß einer ersten Ontologie umfasst, wobei das Bereitstellen des zweiten Elements Bestimmen, für das erste Element, eines Elements der Repräsentation der mehreren Elemente, das einen Merkmalsnamen in der Repräsentation der mehreren Elemente repräsentiert, insbesondere einen Namen der Variable in einer Domäne gemäß der ersten Ontologie umfasst, und wobei das Verfahren ferner Bestimmen eines ersten Datensatzes umfasst, der die Eingabedaten, das erste Element und das zweite Element enthält. Dies ist eine nützliche Schnittstelle für einen nicht fachkundigen Benutzer.
Vorteilhafterweise umfasst das Bestimmen des dritten Elements Bestimmen, für das zweite Element, eines Elements der Repräsentation der mehreren Elemente, das eine Merkmalsgruppe in der Repräsentation der mehreren Elemente repräsentiert und die dritte Bedingung erfüllt, insbesondere gemäß einer zweiten Ontologie. Die zweite Ontologie repräsentiert ein Fachwissen über Merkmalsgruppen, das nicht fachkundigen Benutzern zur Verfügung gestellt wird.
Vorteilhafterweise umfasst das Verfahren Bestimmen eines vierten Elements, wobei das Bestimmen des vierten Elements Bestimmen, für das dritte Element, eines Elements der Repräsentation der mehreren Elemente, das einen Verarbeitungsalgorithmus repräsentiert und eine dritte Bedingung erfüllt, insbesondere, dass das vierte Element vom dritten Element in der Repräsentation der mehreren Elemente semantisch erreichbar ist, insbesondere gemäß einer dritten Ontologie, umfasst. Auf diese Weise werden Verarbeitungsalgorithmen automatisch ausgewählt.
In einem Aspekt umfasst das Verfahren Bestimmen eines zweiten Datensatzes, der den ersten Datensatz, das zweite Element, das dritte Element und das vierte Element umfasst.
In einem Aspekt umfasst das Verfahren Bestimmen eines Satzes von Merkmalen durch Verarbeiten des zweiten Datensatzes mit dem Verarbeitungsalgorithmus, der durch das vierte Element repräsentiert wird, und Bestimmen eines fünften Elements, wobei das Bestimmen des fünften Elements Bestimmen, für das dritte Element, eines Elements der Repräsentation der mehreren Elemente, das den Satz von Merkmalen repräsentiert und eine vierte Bedingung erfüllt, insbesondere, dass das fünfte Element vom dritten Element in der Repräsentation der mehreren Elemente semantisch erreichbar ist und dass das fünfte Element vom vierten Element in der Repräsentation der mehreren Elemente semantisch erreichbar ist, umfasst, und wobei das Verfahren ferner Bestimmen eines dritten Datensatzes umfasst, der den Satz von Merkmalen, das dritte Element und das fünfte Element umfasst.
Vorteilhafterweise umfasst das Verfahren Bestimmen eines sechsten Elements, wobei das Bestimmen des sechsten Elements Bestimmen, für das fünfte Element, eines Elements der Repräsentation der mehreren Elemente, das einen Maschinelles-Lernen-Modellierungsalgorithmus repräsentiert und eine fünfte Bedingung erfüllt, insbesondere, dass das sechste Element vom fünften Element in der Repräsentation der mehreren Elemente semantisch erreichbar ist, umfasst, und wobei das Verfahren ferner Bestimmen eines vierten Datensatzes umfasst, der aus dem Satz von Merkmalen ausgewählte Merkmale, das fünfte Element und das sechste Element enthält. Auf diese Weise wird ein maschineller Lernalgorithmus oder mehrere von diesen automatisch bestimmt.
Vorteilhafterweise umfasst das Verfahren Nachschlagen einer Anweisung zur Verarbeitung von Daten und/oder von Daten, die für den vierten Datensatz definiert sind, gemäß dem sechsten Element. Somit wird das Maschinelles-Lernen-Modell automatisch erzeugt.
Vorteilhafterweise umfasst das Bereitstellen der Repräsentation der Maschinelles-Lernen-Pipeline Auswählen der Repräsentation der Maschinelles-Lernen-Pipeline aus mehreren Repräsentationen von Maschinelles-Lernen-Pipelines. Dies ermöglicht das Verwenden von Vorlagen, die durch Fachleute erzeugt werden.
Vorteilhafterweise umfasst das Bereitstellen der Repräsentation der Maschinelles-Lernen-Pipeline Detektieren einer Benutzereingabe, die eine der mehreren Repräsentationen von Maschinelles-Lernen-Pipelines identifiziert, und Auswählen der Repräsentation der Maschinelles-Lernen-Pipeline, die in der Benutzereingabe identifiziert wird. Dies ermöglicht einem nicht fachkundigen Benutzer, Maschinelles-Lernen-Pipelines und -Modelle zu erzeugen.
Ein Maschinelles-Lernen-Modell kann in Abhängigkeit von der Repräsentation der Maschinelles-Lernen-Pipeline bestimmt werden.
Das Verfahren kann Bereitstellen von Bilder umfassenden Rohdaten, Bestimmen des Parameters der Maschinelles-Lernen-Pipeline für ein Bildklassifizierermodell, Bestimmen des Maschinelles-Lernen-Modells in Abhängigkeit vom Parameter und Trainieren des Maschinelles-Lernen-Modells mit mindestens einem Bild der Rohdaten umfassen. Das so trainierte Maschinelles-Lernen-Modell ist ein Bildklassifizierermodell oder umfasst dieses.
Das Verfahren kann Bereitstellen eines Bildes und Klassifizieren des Bildes mit dem Maschinelles-Lernen-Modell umfassen.
Eine Vorrichtung zum Bestimmen eines Maschinelles-Lernen-Modells ist dazu eingerichtet, das Verfahren auszuführen.
Weitere vorteilhafte Ausführungsformen sind auf der folgenden Beschreibung und der Zeichnung ableitbar. In der Zeichnung gilt:

1 stellt schematisch eine Vorrichtung zum Bestimmen eines Maschinelles-Lernen-Modells dar,
2 stellt schematisch Schritte in einem Verfahren zum Bestimmen des Maschinelles-Lernen-Modells dar.

1 stellt eine Vorrichtung 100 zum Bestimmen eines Maschinelles-Lernen-Modells 102 dar.
Die Vorrichtung 100 umfasst eine Benutzerschnittstellenschicht 104, eine Semantikschicht 106, eine Daten- und Abbildungsschicht 108 und eine Maschinelles-Lernen-Schicht 110. Die Vorrichtung 100 ist dazu eingerichtet, ein computerimplementiertes Verfahren auszuführen, das nachstehend beschrieben wird.
Die Benutzerschnittstellenschicht 104 stellt Benutzern eine Schnittstelle zum Verwenden von Semantikkomponenten der Semantikschicht 106 und somit des kompletten Systems bereit.
Die Benutzerschnittstellenschicht 104 umfasst eine erste Funktion 112, die dazu eingerichtet ist, Informationen über eine Datenannotation 114 und über ein Maschinelles-Lernen-Modell 116 dynamisch zu visualisieren.
Die Benutzerschnittstellenschicht 104 kann eine grafische Benutzeroberflächenfunktion zum Anzeigen von Informationen über die gegenwärtige Datenannotation 114 und über das Maschinelles-Lernen-Modell 116 umfassen.
Die erste Funktion 112 ist dazu eingerichtet, Informationen von einem Benutzer bezüglich der Datenannotation 114 und/oder des Maschinelles-Lernen-Modells 116 abzurufen.
In dem Beispiel ist eine Repräsentation einer Maschinelles-Lernen-Pipeline durch den Benutzer auswählbar, indem sie aus mehreren Maschinelles-Lernen-Pipelines 118, die auf der grafischen Benutzeroberfläche angezeigt werden, ausgewählt wird.
Die Informationen über das Maschinelles-Lernen-Modell 116 umfassen eine Visualisierung 120.
Die Visualisierung 120 umfasst Merkmalsgruppen 122. In dem Beispiel umfassen die Merkmalsgruppen 122 Symbole für eine erste Merkmalsgruppe 122-1, eine zweite Merkmalsgruppe 122-2 und eine dritte Merkmalsgruppe 122-3. Die erste Merkmalsgruppe 122-1 in dem Beispiel ist eine Gruppe für Einzelmerkmale. Die zweite Merkmalsgruppe 122-2 in dem Beispiel ist eine Gruppe für Zeitreihen. Die dritte Merkmalsgruppe 122-3 in dem Beispiel ist eine Gruppe für einen Qualitätsindikator.
Die Visualisierung 120 umfasst eine grafische Repräsentation eines Verarbeitungsalgorithmus 124. Die grafische Repräsentation des Verarbeitungsalgorithmus 124 umfasst ein Symbol für einen ersten Algorithmus 124-1, ein Symbol für einen zweiten Algorithmus 124-2 und ein Diagramm 124-3. Der erste Algorithmus 124-1 in dem Beispiel ist ein Algorithmus für die erste Merkmalsgruppe 122-1, z. B. die Gruppe für Einzelmerkmale. Der zweite Algorithmus 124-2 in dem Beispiel ist ein Algorithmus für die zweite Gruppe 122-2, z. B. die Gruppe für Zeitreihen. Das Diagramm 124-3 zeigt in dem Beispiel einen Verlauf eines Widerstands im Laufe der Zeit an, angefangen an einem Ursprung eines kartesischen Koordinatensystems, mit einer Länge und einer Spitze (Maximum) und einem Abfall von der Spitze zu einem Endwert.
Die Visualisierung 120 umfasst eine grafische Repräsentation eines Maschinelles-Lernen-Algorithmus 126. Die grafische Repräsentation des Maschinelles-Lernen-Algorithmus 126 in dem Beispiel umfasst ein Symbol 126-1, das einen Aspekt des Maschinelles-Lernen-Algorithmus 126 darstellt.
Die Informationen über die gegenwärtige Datenannotation 114 umfasst Merkmalsgruppen 128. In dem Beispiel umfassen die Merkmalsgruppen 128 Symbole für die erste Merkmalsgruppe 128-1, die zweite Merkmalsgruppe 128-2 und die dritte Merkmalsgruppe 128-3.
Die Informationen über die gegenwärtige Datenannotation 114 umfassen Domänenmerkmalsnamen 130. In dem Beispiel umfassen die Domänenmerkmalsnamen 130 ein Symbol für einen ersten Domänenmerkmalsnamen 130-1, einen zweiten Domänenmerkmalsnamen 130-2, einen dritten Domänenmerkmalsnamen 130-3, einen vierten Domänenmerkmalsnamen 130-4 und einen fünften Domänenmerkmalsnamen 130-5.
In dem Beispiel repräsentiert der erste Domänenmerkmalsname 130-1 einen Datenstatus. In dem Beispiel repräsentiert der zweite Domänenmerkmalsname 130-2 eine Datencharakteristik. In dem Beispiel repräsentiert der dritte Domänenmerkmalsname 130-3 einen Datentyp. In dem Beispiel repräsentiert der vierte Domänenmerkmalsname 130-4 einen anderen Datentyp. In dem Beispiel repräsentiert der fünfte Domänenmerkmalsname 130-5 eine Datenqualität.
In dem Beispiel sind der erste Domänenmerkmalsname 130-1 und der zweite Domänenmerkmalsname 130-2 auf die erste Merkmalsgruppe 128-1 abgebildet. In dem Beispiel sind der dritte Domänenmerkmalsname 130-3 und der vierte Domänenmerkmalsname 130-4 auf die zweite Merkmalsgruppe 128-2 abgebildet. In dem Beispiel ist der fünfte Domänenmerkmalsname 130-5 auf die dritte Merkmalsgruppe 128-3 abgebildet.
Die Informationen über die gegenwärtige Datenannotation 114 umfassen Rohmerkmalsnamen 132. In dem Beispiel umfassen die Rohmerkmalsnamen 132 Symbole für einen ersten Rohmerkmalsnamen 132-1, einen zweiten Rohmerkmalsnamen 132-2, einen dritten Rohmerkmalsnamen 132-3, einen vierten Rohmerkmalsnamen 132-4 und einen fünften Rohmerkmalsnamen 132-5.
In dem Beispiel repräsentiert der erste Rohmerkmalsname 132-1 einen Datenstatuscode. In dem Beispiel repräsentiert der zweite Rohmerkmalsname 132-2 eine Datencharakteristik. In dem Beispiel repräsentiert der dritte Rohmerkmalsname 132-3 einen Datentyp. In dem Beispiel repräsentiert der vierte Rohmerkmalsname 132-4 einen anderen Datentyp. In dem Beispiel repräsentiert der fünfte Rohmerkmalsname 132-5 eine Datenqualität.
In dem Beispiel ist der erste Rohmerkmalsname 132-1 auf den ersten Domänenmerkmalsnamen 130-1 abgebildet. In dem Beispiel ist der zweite Rohmerkmalsname 132-2 auf den zweiten Domänenmerkmalsnamen 130-2 abgebildet. In dem Beispiel ist der dritte Rohmerkmalsname 132-3 auf den dritten Domänenmerkmalsnamen 130-3 abgebildet. In dem Beispiel ist der vierte Rohmerkmalsname 132-4 auf den vierten Domänenmerkmalsnamen 130-4 abgebildet. In dem Beispiel ist der fünfte Rohmerkmalsname 132-5 auf den fünften Domänenmerkmalsnamen 130-5 abgebildet.
Die Semantikschicht 106 umfasst eine Repräsentation O mehrerer Elemente und ihrer Beziehungen. Genauer gesagt umfasst die Repräsentation O eine erste Ontologie 134, eine zweite Ontologie 136 und eine dritte Ontologie 138.
Die erste Ontologie 134 in dem Beispiel ist eine Domänenontologie, die das Domänenwissen mit formellen Repräsentationen codiert, einschließlich Klassen und Eigenschaften der Domäne und ihrer Beziehungen.
Die zweite Ontologie 136 in dem Beispiel ist eine Merkmalsgruppenontologie, die die Verknüpfung zwischen den Domänenontologieausdrücken und Merkmalsgruppen in einem vorkonzipierten Katalog von Maschinelles-Lernen-Pipelines speichert.
Die dritte Ontologie 138 in dem Beispiel ist eine Maschinelles-Lernen-Ontologie, die das Maschinelles-Lernen-Wissen mit formellen Repräsentationen codiert, einschließlich den erlaubten und standardmäßigen Merkmalsgruppen, geeigneter Merkmalsverarbeitungsalgorithmen für die Merkmalsgruppen, entsprechender Gruppen mit verarbeitetem Merkmal, geeigneter Maschinelles-Lernen-Modellierungsalgorithmen für jede Gruppe mit verarbeitetem Merkmal und ihre Beziehungen. Die dritte Ontologie 138 codiert in dem Beispiel den Katalog. Der Katalog speichert einige erfolgreiche und recht allgemeine Maschinelles-Lernen-Pipelines, die durch Maschinelles-Lernen-Experten in formellen Repräsentationen vorkonzipiert werden. Maschinelles-Lernen-Pipelines sind vorkonzipierte Abbildungen von Merkmalsgruppen auf ihre Merkmalsverarbeitungsalgorithmen für die Merkmalsgruppe, auf ihre entsprechenden Gruppen mit verarbeitetem Merkmal, und ihre spezifizierten Maschinelles-Lernen-Modellierungsalgorithmen für die Gruppen mit verarbeitetem Merkmal.
Die Semantikschicht 106 umfasst eine zweite Funktion SR. Die zweite Funktion SR umfasst in dem Beispiel einen ersten Reasoner 140, einen zweiten Reasoner 142 und einen dritten Reasoner 144. Die zweite Funktion SR kann auch einen Annotierer 146 beinhalten.
Der Annotierer 146 ermöglicht dem Benutzer, die Rohdaten mit Ausdrücken von der ersten Ontologie 134, in dem Beispiel der Domänenontologie, zu annotieren.
Die erste Funktion 112 kann dazu eingerichtet sein, eine Annotation A für Daten aus einer Benutzereingabe zu bestimmen. Die zweite Funktion SR kann dazu eingerichtet sein, die Annotation A zu empfangen. Die erste Funktion 112 kann dazu eingerichtet sein, eine Repräsentation M einer Maschinelles-Lernen-Pipeline aus der Benutzereingabe zu bestimmen. Die zweite Funktion SR kann dazu eingerichtet sein, die Repräsentation M einer Maschinelles-Lernen-Pipeline zu empfangen.
In dem Beispiel ist der Annotierer 146 dazu eingerichtet, die Annotation A und Elemente von der ersten Ontologie 134 zu verarbeiten, um einen ersten Datensatz 148 zu bestimmen, der Rohdaten 150 aus einem ersten Rohdaten-Lake 152 und eine erste von Rohmerkmalsnamen von den Rohdaten 150 auf Domänenmerkmalsnamen gemäß der ersten Ontologie 134 umfasst.
In dem Beispiel ist der erste Reasoner 140 dazu eingerichtet, die erste zu verarbeiten, um eine zweite von Domänenmerkmalsnamen auf Merkmalsgruppen gemäß der zweiten Ontologie 136 zu bestimmen. Der erste Reasoner 140 kann zur automatischen Erzeugung und Benutzerkonfiguration der zweiten basierend auf der zweiten Ontologie 136 und Konfigurationen eines Benutzers eingerichtet sein.
In dem Beispiel ist der zweite Reasoner 142 dazu eingerichtet, die zweite zu verarbeiten, um eine dritte von Merkmalsgruppen auf Verarbeitungsalgorithmen auf Gruppen mit verarbeitetem Merkmal gemäß der zweiten Ontologie 136 und der dritten Ontologie 138 zu bestimmen. Der zweite Reasoner 142 kann zur automatischen Erzeugung der dritten basierend auf der zweiten Ontologie 136, dem Katalog, z. B. basierend auf der dritten Ontologie 138, der zweiten und der durch den Benutzer gewählten Repräsentation M der Maschinelles-Lernen-Pipeline eingerichtet sein.
In dem Beispiel ist der zweite Reasoner 142 dazu eingerichtet, eine vierte von Domänennamen auf Merkmalsgruppen auf Verarbeitungsalgorithmen in Abhängigkeit von der zweiten und der dritten zu bestimmen.
In dem Beispiel ist der zweite Reasoner 142 dazu eingerichtet, eine fünfte von Merkmalsgruppen auf Gruppen mit verarbeitetem Merkmal in Abhängigkeit von der dritten zu bestimmen.
In dem Beispiel ist der dritte Reasoner 144 dazu eingerichtet, eine sechste von Gruppen mit verarbeitetem Merkmal auf Maschinelles-Lernen-Algorithmen in Abhängigkeit der dritten zu bestimmen. Der dritte Reasoner 144 kann zur automatischen Erzeugung der sechsten Abbildung basierend auf dem Katalog, z. B. basierend auf der dritten Ontologie 138, und der durch den Benutzer gewählten Repräsentation M der Maschinelles-Lernen-Pipeline eingerichtet sein.
Die Maschinelles-Lernen-Schicht 110 umfasst einen ersten Datenintegrator 166, der dazu eingerichtet ist, die Rohdaten 150 aus dem Rohdaten-Lake 152 zu bestimmen. Die Maschinelles-Lernen-Schicht 110 umfasst einen zweiten Datenintegrator 168, der dazu eingerichtet ist, integrierte Daten 170 in Abhängigkeit vom ersten Datensatz 148 zu bestimmen. In dem Rohdaten-Lake 152 gespeicherte Rohdaten werden durch die zweite Datenintegration 168 in integrierte Daten 170 transformiert, die sich für maschinelles Lernen eignen. Die integrierten Daten 170 werden für einen zweiten Datensatz 172 bereitgestellt, der die integrierten Daten 170 und die vierte umfasst.
Die Maschinelles-Lernen-Schicht 110 umfasst einen ersten Prozessor 174, der dazu eingerichtet ist, Merkmale 176 für einen dritten Datensatz 178 in Abhängigkeit vom zweiten Datensatz 172 zu bestimmen. Der dritte Datensatz 178 umfasst die Merkmale 176 und die fünfte .
Die Maschinelles-Lernen-Schicht 110 umfasst einen zweiten Prozessor 180, der dazu eingerichtet ist, ausgewählte Merkmale 182 für einen vierten Datensatz 184 in Abhängigkeit vom dritten Datensatz 178 zu bestimmen. Der vierte Datensatz 184 umfasst die ausgewählten Merkmale 182 und die sechste .
Die Maschinelles-Lernen-Schicht 110 umfasst einen dritten Prozessor 186, der dazu eingerichtet ist, das Maschinelles-Lernen-Modell 102 in Abhängigkeit vom vierten Datensatz 184 zu bestimmen.
Die Daten- und Abbildungsschicht 108 umfasst den Rohdaten-Lake 152, den ersten Datensatz 148, den zweiten Datensatz 172, den dritten Datensatz 178, den vierten Datensatz 184 und das Maschinelles-Lernen-Modell 102.
In 1 geben doppellinige Pfeile einen Informationsfluss von Daten an, durchgezogene Pfeile geben einen Informationsfluss von Semantik an und gestrichelte Linien geben Verbindungen durch Klassen von Elementen in der Repräsentation O an.
Im Folgenden wird ein beispielhaftes Verfahren zur automatischen Konstruktion einer Maschinelles-Lernen-Pipeline und eine Konfiguration der Maschinelles-Lernen-Pipeline beschrieben. Das automatisierte Verfahren verwendet Semantik, was eine automatisierte Konstruktion konfigurierbarer Maschinelles-Lernen-Pipelines ermöglicht.
Gemäß dem Verfahren muss der Benutzer nur Daten mit Domänenontologieausdrücken annotieren und eine vorkonzipierte Maschinelles-Lernen-Pipeline aus dem Katalog auswählen. Alles andere ist automatisiert. Dies wird durch das Codieren von Domänenwissen und einer formellen Repräsentation des Maschinelles-Lernen-Wissens mit Semantiktechnologien im Katalog vorkonzipierter Maschinelles-Lernen-Pipelines erreicht.
In einem Aspekt weist eine Repräsentation einer Maschinelles-Lernen-Pipeline M Parameter auf. Die Repräsentation O kann eine Semantik umfassen, die Domänen- und Maschinelles-Lernen-Wissen codiert. Die Semantik umfasst mehrere Elemente, die entweder Domänenwissen oder Maschinelles-Lernen-Wissen und ihre Beziehungen repräsentieren.
In einem Aspekt, wenn eine Annotation A bereitgestellt ist, wird ein erstes Element in der Repräsentation O in Abhängigkeit von der Annotation A bestimmt. Dann kann ein zweites Element in der Repräsentation O in Abhängigkeit vom ersten Element bestimmt werden. In dem Beispiel wird das zweite Element so bestimmt, dass das erste Element und das zweite Element eine Beziehung aufweisen, die eine erste Bedingung erfüllt. Die erste Bedingung kann darin bestehen, dass das zweite Element vom ersten Element in der Repräsentation O gemäß der in der Repräsentation O codierten Semantik semantisch erreichbar ist. Wenn das erste Element und das zweite Element die erste Bedingung erfüllen, wird der Parameter in Abhängigkeit vom zweiten Element bestimmt. Ansonsten wird der Parameter nicht in Abhängigkeit vom zweiten Element bestimmt.
In einem anderen Aspekt kann ein drittes Element in der Repräsentation O in Abhängigkeit vom zweiten Element bestimmt werden. In dem Beispiel weisen das zweite Element und das dritte Element eine Beziehung auf, die eine zweite Bedingung erfüllt. Die zweite Bedingung kann darin bestehen, dass das dritte Element vom zweiten Element in der Repräsentation O semantisch erreichbar ist. In diesem Aspekt kann der Parameter in Abhängigkeit vom zweiten Element und vom dritten Element bestimmt werden, falls die zweite Bedingung erfüllt ist. Ansonsten wird der Parameter möglicherweise nicht in Abhängigkeit vom zweiten Element und vom dritten Element bestimmt.
Beispielsweise kann ein Element S1 einen ersten Parameter P1 mit einer in der Repräsentation O auftretenden Merkmalsgruppe instanziieren.
Beispielsweise kann ein Element S2 einen zweiten Parameter P2 mit einem Verarbeitungsalgorithmus oder Verarbeitungsalgorithmen, der/die in der Repräsentation O auftritt/auftreten und von den Merkmalsgruppen des Elements S1 semantisch erreichbar ist/sind, instanziieren.
Beispielsweise kann ein Element S3 einen dritten Parameter P3 mit einer verarbeiteten Merkmalsgruppe oder verarbeiteten Merkmalsgruppen, die in der Repräsentation O auftritt/auftreten und von einem Verarbeitungsalgorithmus oder von den Verarbeitungsalgorithmen des Elements S2 semantisch erreichbar ist/sind, instanziieren.
Beispielsweise kann ein Element S4 einen vierten Parameter P4 mit verarbeiteten Merkmalen, die in der Repräsentation O auftreten und von der verarbeiteten Merkmalsgruppe oder den verarbeiteten Merkmalsgruppen des Elements S3 semantisch erreichbar sind, instanziieren.
Beispielsweise kann ein Element S5 einen fünften Parameter P5 mit einem Maschinelles-Lernen-Algorithmus oder mit Maschinelles-Lernen-Algorithmen, der/die in der Repräsentation O auftritt/auftreten und von dem verarbeiteten Merkmal oder den verarbeiteten Merkmalen des Elements S4 semantisch erreichbar ist/sind, instanziieren.
Da Ontologien keine Graphen sind, kann das Konzept von semantischer Erreichbarkeit variieren und von Verwendungsfällen und der Anwendung abhängen.
In einem Aspekt kann das semantisch erreichbar basierend auf dem Projizieren einer oder mehrerer der vorgenannten Ontologien auf Graphenstrukturen und dem Berechnen einer Graphenerreichbarkeit bestimmt werden. Diese Graphenstrukturen können auch die Kohäsionskraft von Pfaden zwischen Ontologieelementen berücksichtigen. Sie können explizite und implizite Beziehungen zwischen Elementen von O berücksichtigen.
Im Folgenden wird das Verfahren mit Bezug auf 2 beschrieben. Das Verfahren wird beispielhalber für eine Maschinelles-Lernen-Pipeline mit Parametern P1, ..., Pk beschrieben. Die Maschinelles-Lernen-Pipeline kann Sätze von Parametern aufweisen, die durch ein Element in der Repräsentation O repräsentiert werden.
Das Verfahren umfasst einen Schritt 200 zum Bereitstellen der Repräsentation M einer Maschinelles-Lernen-Pipeline, die die Parameter P1, ..., Pk aufweist.
Das Bereitstellen der Repräsentation M kann Detektieren einer Benutzereingabe, die eine der mehreren Repräsentationen 118 der Maschinelles-Lernen-Pipelines identifiziert, und Auswählen der Repräsentation M der Maschinelles-Lernen-Pipeline, die in der Benutzereingabe identifiziert wird, umfassen.
Das Verfahren umfasst einen Schritt 202 zum Bereitstellen der Repräsentation O. Die Repräsentation O umfasst mehrere Elemente und ihre Beziehungen.
Die Repräsentation O in dem Beispiel umfasst die erste Ontologie 134, die zweite Ontologie 136 und die dritte Ontologie 138. Ein Graph, der diese repräsentiert, kann gleichermaßen verwendet werden.
Das Verfahren umfasst einen Schritt 204 zum Bereitstellen von Eingabedaten.
Das Verfahren umfasst einen Schritt 206 zum Bereitstellen einer Annotation A eines Merkmals der Eingabedaten, insbesondere einen Namen einer Variable in den Eingabedaten.
Das Verfahren umfasst einen Schritt 208 zum Bereitstellen eines ersten Elements und eines zweiten Elements der Repräsentation O. Das Bereitstellen des ersten Elements umfasst in dem Beispiel Bestimmen, für die Annotation A, eines Elements der Repräsentation O, das das Merkmal der Eingabedaten in der Repräsentation O repräsentiert. In einem Beispiel wird ein Name der Variable der Eingabedaten gemäß der ersten Ontologie bestimmt.
Das Bereitstellen des zweiten Elements umfasst in dem Beispiel Bestimmen, für das erste Element, eines Elements der Repräsentation O, das einen Merkmalsnamen in der Repräsentation O repräsentiert. In einem Beispiel wird ein Name der Variable in einer Domäne gemäß der ersten Ontologie bestimmt.
Das zweite Element kann in der Repräsentation O in Abhängigkeit vom ersten Element bestimmt werden, sodass das erste Element und das zweite Element eine Beziehung aufweisen, die die erste Bedingung erfüllt. Dies bedeutet in dem Beispiel, dass das zweite Element vom ersten Element in der Repräsentation O gemäß der in der Repräsentation O codierten Semantik semantisch erreichbar ist. Mehrere zweite Elemente können bestimmt werden, die die erste Bedingung erfüllen. Das Verfahren ist für eines dieser zweiten Elemente beschrieben und gilt gleichermaßen für eine beliebige Anzahl dieser zweiten Elemente.
Das Verfahren umfasst ferner einen Schritt 210 zum Bestimmen des ersten Datensatzes 148, der die Eingabedaten 150, das erste Element und das zweite Element umfasst.
Das Verfahren umfasst ferner einen Schritt 212 zum Bestimmen eines dritten Elements in der Repräsentation O, das eine Merkmalsgruppe repräsentiert. Der erste Parameter P1 kann in Abhängigkeit vom dritten Element bestimmt werden.
Der Schritt 212 in dem Beispiel umfasst Bestimmen, für das zweite Element, eines Elements der Repräsentation O, das eine Merkmalsgruppe in der Repräsentation O repräsentiert und eine zweite Bedingung erfüllt, insbesondere gemäß der zweiten Ontologie 136. Das Verfahren ist für eines dieser dritten Elemente beschrieben und gilt gleichermaßen für eine beliebige Anzahl dieser dritten Elemente.
Das dritte Element kann in der Repräsentation O in Abhängigkeit vom zweiten Element bestimmt werden, sodass das dritte Element vom zweiten Element in der Repräsentation O semantisch erreichbar ist.
Das dritte Element kann gemäß der zweiten Ontologie 136 bestimmt werden.
Das Verfahren umfasst ferner einen Schritt 214 zum Bestimmen eines vierten Elements in der Repräsentation O. Das Bestimmen des vierten Elements in dem Beispiel umfasst Bestimmen, für das dritte Element, eines Elements der Repräsentation O, das einen Verarbeitungsalgorithmus repräsentiert und eine dritte Bedingung erfüllt. Das vierte Element kann in der Repräsentation O in Abhängigkeit vom dritten Element bestimmt werden, sodass das vierte Element vom dritten Element semantisch erreichbar ist. Das vierte Element repräsentiert einen Verarbeitungsalgorithmus für die durch das dritte Element repräsentierte Merkmalsgruppe. Der zweite Parameter P2 kann in Abhängigkeit vom vierten Element bestimmt werden. Das Verfahren ist für eines dieser vierten Elemente beschrieben und gilt gleichermaßen für eine beliebige Anzahl dieser vierten Elemente.
Das vierte Element kann gemäß der dritten Ontologie 138 bestimmt werden.
Das Verfahren umfasst ferner einen Schritt 216 zum Bestimmen des zweiten Datensatzes 172, der den zweiten Datensatz, das zweite Element, das dritte Element und das vierte Element umfasst.
Das Verfahren umfasst ferner einen Schritt 218 zum Bestimmen eines Satzes von Merkmalen 176 durch Verarbeiten des zweiten Datensatzes 172 mit dem durch das vierte Element repräsentierten Verarbeitungsalgorithmus.
Das Verfahren umfasst ferner einen Schritt 220 zum Bestimmen eines fünften Elements. Das Bestimmen des fünften Elements in dem Beispiel umfasst Bestimmen, für das dritte Element, eines Elements der Repräsentation O, das den Satz von Merkmalen 172 repräsentiert und eine vierte Bedingung erfüllt. In dem Beispiel wird das fünfte Element so bestimmt, dass das fünfte Element vom dritten Element in der Repräsentation O semantisch erreichbar ist und das fünfte Element vom vierten Element in der Repräsentation O semantisch erreichbar ist. Das fünfte Element repräsentiert in dem Beispiel eine verarbeitete Merkmalsgruppe oder verarbeitete Merkmalsgruppen. Der dritte Parameter P3 kann in Abhängigkeit vom fünften Element bestimmt werden. Der vierte Parameter P4 kann mit verarbeiteten Merkmalen, d. h. mit dem Satz von Merkmalen 176, instanziiert werden.
Das Verfahren umfasst ferner einen Schritt 222 zum Bestimmen des dritten Datensatzes 178, der den Satz von Merkmalen 176, das dritte Element und das fünfte Element umfasst.
Das Verfahren umfasst ferner einen Schritt 224 zum Bestimmen eines sechsten Elements. Das Bestimmen des sechsten Elements umfasst Bestimmen, für das fünfte Element, eines Elements der Repräsentation O, das einen Maschinelles-Lernen-Modellierungsalgorithmus repräsentiert und eine fünfte Bedingung erfüllt. In dem Beispiel wird das sechste Element so bestimmt, dass das sechste Element vom fünften Element in der Repräsentation O semantisch erreichbar ist. Der fünfte Parameter P5 kann in Abhängigkeit von einem Maschinelles-Lernen-Algorithmus oder Maschinelles-Lernen-Algorithmen bestimmt werden, der/die durch das sechste Element repräsentiert wird/werden.
Das Verfahren umfasst ferner einen Schritt 226 zum Bestimmen eines vierten Datensatzes 184, der aus dem Satz von Merkmalen 176 ausgewählte Merkmale, das fünfte Element und das sechste Element umfasst.
Das Verfahren umfasst ferner einen Schritt 228 zum Nachschlagen einer Anweisung zur Verarbeitung von Daten, und/oder von Daten, die für den vierten Datensatz 184 definiert sind, gemäß dem sechsten Element.
Auf diese Weise wandelt die Maschinelles-Lernen-Pipeline Roheingabedaten in Schlussfolgerungen und funktionierende Maschinelles-Lernen-Modelle um.
Die Maschinelles-Lernen-Pipeline kann zum Beispiel zum Bereitstellen eines Bildklassifizierermodells angewendet werden. Das Bildklassifizierermodell kann zum Überwachen und zur Prozesssteuerung basierend auf Bildern, die während eines Prozesses aufgenommen werden, verwendet werden. Der Prozess kann Widerstandsschweißen sein. Die Bilder können einen geschweißten Teil und/oder eine Schweißnaht abbilden.
Trainingsbilder vom Prozess oder eine Simulation davon können durch den Benutzer zum Zweck des Trainierens des Bildklassifizierermodells annotiert werden. Die Repräsentation O kann die Domänenmerkmalsnamen, die zur Bildklassifikation verwendet werden sollen, und spezifische Verarbeitungsalgorithmen zur Verarbeitung oder Klassifizierung der Bilder umfassen. Der Maschinelles-Lernen-Modellierungsalgorithmus kann automatisch für ein Bildklassifizierermodell bestimmt werden. Der Maschinelles-Lernen-Modellierungsalgorithmus kann mit den Parametern gemäß der Repräsentation der Maschinelles-Lernen-Pipeline M ausgeführt werden, um das trainierte Maschinelles-Lernen-Modell automatisch aus den Trainingsbildern zu bilden.
Für das Training umfassen die Rohdaten 150 Bilder. Beim Training wird mindestens ein Parameter der Maschinelles-Lernen-Pipeline M bestimmt, der ein Parameter für das Bildklassifizierermodell ist. Der Parameter für das Bildklassifizierermodell kann ein Hyperparameter oder ein Gewicht eines künstlichen neuronalen Netzwerks im Bildklassifizierermodell sein. Das Maschinelles-Lernen-Modell wird in Abhängigkeit vom Parameter bestimmt und mit mindestens einem Bild der Rohdaten 150 trainiert.
Nach dem Training kann ein Bild mit dem so trainierten Maschinelles-Lernen-Modell klassifiziert werden.

Claims

Computerimplementiertes Verfahren, gekennzeichnet durch Bereitstellen (200) einer Repräsentation einer Maschinelles-Lernen-Pipeline (M) mit einem Parameter, Bereitstellen (202) einer Repräsentation (O) mehrerer Elemente und ihrer Beziehungen, Bereitstellen (208) eines ersten Elements in der Repräsentation (O) der mehreren Elemente, Bestimmen eines zweiten Elements in der Repräsentation (O) der mehreren Elemente in Abhängigkeit vom ersten Element, wobei das erste Element und das zweite Element eine Beziehung aufweisen, die eine erste Bedingung erfüllt, insbesondere, dass das zweite Element vom ersten Element in der Repräsentation (O) der mehreren Elemente gemäß einer in der Repräsentation (O) codierten Semantik semantisch erreichbar ist, und Bestimmen des Parameters in Abhängigkeit vom zweiten Element.
Verfahren nach Anspruch 1, gekennzeichnet durch Bestimmen (212) eines dritten Elements in der Repräsentation (O) der mehreren Elemente in Abhängigkeit vom zweiten Element, wobei das zweite Element und das dritte Element eine Beziehung aufweisen, die eine zweite Bedingung erfüllt, insbesondere, dass das dritte Element vom zweiten Element in der Repräsentation (O) der mehreren Elemente semantisch erreichbar ist, und entweder Bestimmen des Parameters in Abhängigkeit vom zweiten Element und vom dritten Element, falls die zweite Bedingung erfüllt ist, oder ansonsten nicht Bestimmen des Parameters in Abhängigkeit vom zweiten Element und vom dritten Element.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Repräsentation (O) der mehreren Elemente eine Ontologie oder einen eine Ontologie repräsentierenden Graphen umfasst.
Verfahren nach einem der vorangegangenen Ansprüche, gekennzeichnet durch Bereitstellen (204) von Eingabedaten und Bereitstellen (206) einer Annotation (A) eines Merkmals der Eingabedaten, insbesondere einen Namen einer Variable in den Eingabedaten, wobei das Bereitstellen (208) des ersten Elements Bestimmen, für die Annotation (A), eines Elements der Repräsentation (O) der mehreren Elemente, das das Merkmal der Eingabedaten in der Repräsentation (O) der mehreren Elemente repräsentiert, insbesondere einen Namen der Variable der Eingabedaten gemäß einer ersten Ontologie umfasst, wobei das Bereitstellen (208) des zweiten Elements Bestimmen, für das erste Element, eines Elements der Repräsentation (O) der mehreren Elemente, das einen Merkmalsnamen in der Repräsentation (O) der mehreren Elemente repräsentiert, insbesondere einen Namen der Variable in einer Domäne gemäß der ersten Ontologie umfasst, und wobei das Verfahren ferner Bestimmen (210) eines ersten Datensatzes umfasst, der die Eingabedaten, das erste Element und das zweite Element enthält.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das Bestimmen (212) des dritten Elements Bestimmen, für das zweite Element, eines Elements der Repräsentation (O) der mehreren Elemente, das eine Merkmalsgruppe in der Repräsentation (O) der mehreren Elemente repräsentiert und die dritte Bedingung erfüllt, insbesondere gemäß einer zweiten Ontologie, umfasst.
Verfahren nach Anspruch 5, gekennzeichnet durch Bestimmen (214) eines vierten Elements, wobei das Bestimmen des vierten Elements Bestimmen, für das dritte Element, eines Elements der Repräsentation (O) der mehreren Elemente, das einen Verarbeitungsalgorithmus repräsentiert und eine dritte Bedingung erfüllt, insbesondere, dass das vierte Element vom dritten Element in der Repräsentation (O) der mehreren Elemente semantisch erreichbar ist, insbesondere gemäß einer dritten Ontologie, umfasst.
Verfahren nach Anspruch 6, gekennzeichnet durch Bestimmen (216) eines zweiten Datensatzes, der den ersten Datensatz, das zweite Element, das dritte Element und das vierte Element umfasst.
Verfahren nach Anspruch 7, gekennzeichnet durch Bestimmen (218) eines Satzes von Merkmalen durch Verarbeiten des zweiten Datensatzes mit dem Verarbeitungsalgorithmus, der durch das vierte Element repräsentiert wird, und Bestimmen (220) eines fünften Elements, wobei das Bestimmen (220) des fünften Elements Bestimmen, für das dritte Element, eines Elements der Repräsentation (O) der mehreren Elemente, das den Satz von Merkmalen repräsentiert und eine vierte Bedingung erfüllt, insbesondere, dass das fünfte Element vom dritten Element in der Repräsentation (O) der mehreren Elemente semantisch erreichbar ist und dass das fünfte Element vom vierten Element in der Repräsentation (O) der mehreren Elemente semantisch erreichbar ist, umfasst, und wobei das Verfahren ferner Bestimmen (222) eines dritten Datensatzes umfasst, der den Satz von Merkmalen, das dritte Element und das fünfte Element umfasst.
Verfahren nach Anspruch 8, gekennzeichnet durch Bestimmen (224) eines sechsten Elements, wobei das Bestimmen (224) des sechsten Elements Bestimmen, für das fünfte Element, eines Elements der Repräsentation (O) der mehreren Elemente, das einen Maschinelles-Lernen-Modellierungsalgorithmus repräsentiert und eine fünfte Bedingung erfüllt, insbesondere, dass das sechste Element vom fünften Element in der Repräsentation (O) der mehreren Elemente semantisch erreichbar ist, umfasst, und wobei das Verfahren ferner Bestimmen (226) eines vierten Datensatzes umfasst, der aus dem Satz von Merkmalen ausgewählte Merkmale, das fünfte Element und das sechste Element umfasst.
Verfahren nach Anspruch 9, gekennzeichnet durch Nachschlagen (228) einer Anweisung zur Verarbeitung von Daten und/oder von Daten, die für den vierten Datensatz definiert sind, gemäß dem sechsten Element.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Bereitstellen (200) der Repräsentation der Maschinelles-Lernen-Pipeline Auswählen der Repräsentation der Maschinelles-Lernen-Pipeline aus mehreren Repräsentationen von Maschinelles-Lernen-Pipelines umfasst.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Bereitstellen (200) der Repräsentation der Maschinelles-Lernen-Pipeline Detektieren einer Benutzereingabe, die eine der mehreren Repräsentationen von Maschinelles-Lernen-Pipelines identifiziert, und Auswählen der Repräsentation der Maschinelles-Lernen-Pipeline, die in der Benutzereingabe identifiziert wird, umfasst.
Verfahren nach einem der vorangegangenen Ansprüche, gekennzeichnet durch Bestimmen (228) eines Maschinelles-Lernen-Modells in Abhängigkeit von der Repräsentation der Maschinelles-Lernen-Pipeline (M).
Verfahren nach Anspruch 13, gekennzeichnet durch Bereitstellen von Bilder umfassenden Rohdaten (150), Bestimmen des Parameters der Maschinelles-Lernen-Pipeline (M) für ein Bildklassifizierermodell, Bestimmen des Maschinelles-Lernen-Modells in Abhängigkeit vom Parameter und Trainieren des Maschinelles-Lernen-Modells mit mindestens einem Bild der Rohdaten (150).
Verfahren nach Anspruch 14, gekennzeichnet durch Bereitstellen eines Bildes und Klassifizieren des Bildes mit dem Maschinelles-Lernen-Modell.
Einrichtung (100) zum Bestimmen eines Maschinelles-Lernen-Modells (102), dadurch gekennzeichnet, dass die Einrichtung (100) dazu eingerichtet ist, das Verfahren nach einem der vorangegangenen Ansprüche auszuführen.
Computerprogramm, dadurch gekennzeichnet, dass das Computerprogramm computerlesbare Anweisungen umfasst, die bei Ausführung auf einem Computer veranlassen, dass der Computer Schritte in dem Verfahren nach einem der Ansprüche 1 bis 15 ausführt.