DE102018128184A1

DE102018128184A1 - Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Erzeugung eines gelabelten Bildes

Info

Publication number: DE102018128184A1
Application number: DE102018128184.6A
Authority: DE
Inventors: Marco Prueglmeier; Marc Kamradt; Jimmy Nassif; Norman Mueller
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2018-11-12
Filing date: 2018-11-12
Publication date: 2020-05-14

Abstract

Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Erzeugung eines gelabelten Bildes Bei einem Verfahren zur Erzeugung eines gelabelten Bilder wird ein erster Video-Datensatz bereitgestellt, wobei der erste Video-Datensatz repräsentativ ist für eine Umgebung, die ein statisches Objekt enthält und die mit einer ersten Kamera erfasst wurde. Es wird ein zweiter Video-Datensatz bereitgestellt, wobei der zweite Video-Datensatz repräsentativ ist für eine Umgebung, die das statische Objekt enthält und die mit einer zweiten Kamera erfasst wurde. Es werden außerdem Kameraverlaufsdaten der zweiten Kamera bereitgestellt, umfassend Daten einer Trajektorie und Daten einer Orientierung der zweiten Kamera beim Erfassen des zweiten Video-Datensatzes. Abhängig von dem ersten Video-Datensatz wird mittels einer Projektion eine 3D-Rekonstruktion für die Umgebung erstellt. Das statische Objekt wird in der 3D-Rekonstruktion abhängig von einer Nutzereingabe gelabelt, wobei das Labeln eine Zuordnung einer zusätzlichen Information zu dem statischen Objekt umfasst. Abhängig von der 3D-Rekonstruktion, dem gelabelten statischen Objekt, den Kameraverlaufsdaten der zweiten Kamera und einem Frame des zweiten Video-Datensatzes wird mittels einer Rückprojektion ein gelabeltes Bild ermittelt, das repräsentativ ist für den Frame des zweiten Video-Datensatzes mit der zusätzlichen Information zu dem statischen Objekt. Das gelabelte Bild wird zur Weiterverarbeitung gespeichert.

Description

Die Erfindung betrifft ein Verfahren zur Erzeugung eines gelabelten Bildes. Die Erfindung betrifft des Weiteren eine Vorrichtung zur Erzeugung eines gelabelten Bildes. Die Erfindung betrifft des Weiteren ein Computerprogramm und Computerprogrammprodukt zur Erzeugung eines gelabelten Bildes.
Gelabelte Bilder sind Bilder, auf denen zu erkennende Objekte markiert und beschriftet werden. Für Machine-Learning-Algorithmen müssen gelabelte Bilder vorliegen, mit denen der Algorithmus trainiert werden kann. Damit der Algorithmus zuverlässig Objekte erkennt, muss eine sehr große Anzahl an gelabelten Bildern für das Training zur Verfügung stehen.
Die Aufgabe, die der Erfindung zugrunde liegt, ist dazu beizutragen eine sehr große Anzahl gelabelter Bilder schnell und effizient zu erzeugen.
Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.
Gemäß eines ersten Aspekts zeichnet sich die Erfindung aus durch ein Verfahren zur Erzeugung eines gelabelten Bildes. Die Erfindung zeichnet sich des Weiteren aus durch eine Vorrichtung zur Erzeugung eines gelabelten Bildes, wobei die Vorrichtung dazu ausgebildet ist, das Verfahren durchzuführen.
Bei dem Verfahren wird ein erster Video-Datensatz bereitgestellt, wobei der erste Video-Datensatz repräsentativ ist für eine Umgebung, die ein statisches Objekt enthält und die mit einer ersten Kamera erfasst wurde. Des Weiteren wird ein zweiter Video-Datensatz bereitgestellt, wobei der zweite Video-Datensatz repräsentativ ist für eine Umgebung, die das statische Objekt enthält und die mit einer zweiten Kamera erfasst wurde. Des Weiteren werden Kameraverlaufsdaten der zweiten Kamera bereitgestellt, umfassend Daten einer Trajektorie und Daten einer Orientierung der zweiten Kamera beim Erfassen des zweiten Video-Datensatzes. Abhängig von dem ersten Video-Datensatz wird mittels einer Projektion eine 3D-Rekonstruktion für die Umgebung erstellt. Das statische Objekt wird in der 3D-Rekonstruktion abhängig von einer Nutzereingabe gelabelt, wobei das Labeln eine Zuordnung einer zusätzlichen Information zu dem statischen Objekt umfasst. Abhängig von der 3D-Rekonstruktion, dem gelabelten statischen Objekt, den Kameraverlaufsdaten der zweiten Kamera und einem Frame des zweiten Video-Datensatzes wird mittels einer Rückprojektion ein gelabeltes Bild ermittelt, das repräsentativ ist für den Frame des zweiten Video-Datensatzes mit der zusätzlichen Information zu dem statischen Objekt. Das gelabelte Bild wird zur Weiterverarbeitung gespeichert.
Hierdurch ist es möglich, aus zwei Video-Datensätzen und einer Nutzereingabe schnell und effizient eine sehr große Anzahl an gelabelten Bildern zu erhalten.
Beispielsweise kann der Benutzer den ersten Video-Datensatz durch Aufnehmen der Umgebung des statischen Objekts mit einer RBG-D-Kamera (RedGreenBlue-Depth, RGB-D, bezeichnet die Kombination aus Grau-/Farb-und Distanzinformationen) und/oder einer Stereokamera und/oder einer Handykamera erstellen. Des Weiteren kann der Benutzer den zweiten Video-Datensatz durch Aufnehmen des statischen Objekts (z.B. vorbeifahren an dem statischen Objekt) mit einer RBG-D-Kamera und/oder einer Stereokamera und/oder einer Handykamera erstellen. Die Kamerapfade beziehungsweise Kameraverlaufsdaten beim Erfassen des zweiten Video-Datensatzes werden gespeichert. Aus dem ersten Video-Datensatz wird durch die Projektion die 3D-Rekonstruktion der Szene erstellt, in der das statische Objekt abhängig von der Nutzereingabe markiert wird. Beispielsweise kann das statische Objekt mit Rechtecken (so genannten Bounding-Boxes) und/oder Polygonen (Segmentation) markiert werden. Mit Hilfe der gespeicherten Kamerapfade beziehungsweise Kameraverlaufsdaten der zweiten Kamera kann das statische Objekt in jeden Frame des zweiten Video-Datensatzes auf die Bildebene zurückprojiziert werden. Somit erhält man aus dem ersten und dem zweiten Video-Datensatz, der Nutzereingabe und der Rückprojektion auf die Bildebene eine sehr große Anzahl an gelabelten Bildern. Beispielsweise für jeden Frame des zweiten Video-Datensatzes und/oder für eine beliebige Teilmenge von Frames des zweiten Video-Datensatzes. Somit wird durch obiges Verfahren eine schnelle und effiziente Erzeugung einer großen Anzahl an gelabelten Bildern ermöglicht.
Eine Benutzung von der ersten und der zweiten Kamera ist vorteilhaft, da der erste Video-Datensatz beispielsweise mit einer hochauflösenden Kamera aufgenommen werden kann, um eine bessere 3D-Rekonstruktion zu erhalten. Beispielsweise kann der erste Video-Datensatz mit einer RGB-D-Kamera und/oder einer Stereokamera aufgenommen werden. Der zweite Video-Datensatz und dessen Kameraverlaufsdaten können beispielsweise mit einer kostengünstigeren niedrig auflösenden Handykamera aufgenommen werden. Um das Verfahren in der Umgebung mehrmals auszuführen, ist es möglich einmal den ersten Video-Datensatz mit einer hochauflösenden Kamera zu erstellen und dann für die Wiederholung des Verfahrens nur den zweiten Video-Datensatz zu variieren. Allerdings ist es auch möglich, das Verfahren mit nur einer Kamera durchzuführen, wie im zweiten Aspekt beschrieben.
Eine Stereokamera ist beispielsweise eine Kamera mit mindestens zwei Objektiven zur Aufnahme von Teilbildern für Raumbildverfahren.
Das statische Objekt, ist beispielsweise ein Objekt, welches sich während dem Erfassen des ersten und des zweiten Video-Datensatzes im Wesentlichen nicht bewegt (statisch ist).
Eine 3D-Rekonstruktion ist eine Rekonstruktion von dreidimensionalen Objekten, abhängig von Bildern und/oder einer Position und/oder einer Orientierung eines verwendeten Aufnahmesystems.
Die zusätzliche Information des gelabelten Bildes umfasst beispielsweise Informationen über eine Zugehörigkeit des statischen Objekts zu Pixeln des gelabelten Bildes. Die zusätzliche Information umfasst beispielsweise zusätzlich eine Abstandsinformation der zweiten Kamera zu dem Objekt und/oder eine Größe des Objekts und/oder eine Bezeichnung des Objekts.
Zusätzlich ist es beispielsweise auch möglich mehrere statische Objekte in der 3D-Rekonstruktion zu Labeln.
Die Weiterverarbeitung des gespeicherten gelabelten Bildes umfasst beispielsweise eine Transformation in ein bestimmtes Datenformat und/oder eine Verwendung als Trainingsdaten für Machine-Learning-Algorithmen.
Gemäß einer optionalen Ausgestaltung ist das statische Objekt in dem ersten Video-Datensatz im Wesentlichen lediglich von einer Seite aufgenommen.
Hierdurch ist es möglich, auf einfache Weise eine 3D-Rekonstruktion zu erzeugen, ohne dass das statische Objekt mit der ersten Kamera von allen Seiten aufgenommen werden muss. Beispielsweise reicht es aus, wenn die erste Kamera während dem Erfassen des ersten Video-Datensatzes im Wesentlichen parallel zu einer Erstreckungsebene des statischen Objekts verfährt.
Gemäß einer weiteren optionalen Ausgestaltung ist das statische Objekt in dem zweiten Video-Datensatz im Wesentlichen lediglich von einer Seite aufgenommen.
Beispielsweise reicht es aus, wenn die zweite Kamera während dem Erfassen des zweiten Video-Datensatzes im Wesentlichen parallel zu einer Erstreckungsebene des statischen Objekts verfährt.
Gemäß einer weiteren optionalen Ausgestaltung wird bei dem Ermitteln des gelabelten Bildes abhängig von den Kameraverlaufsdaten der zweiten Kamera und dem Frame des zweiten Video-Datensatzes ermittelt, ob ein Objekt das statische Objekt verdeckt. Falls das statische Objekt verdeckt wird, wird das verdeckende Objekt im gelabelten Bild gekennzeichnet.
Hierdurch ist es möglich, realistische gelabelte Bilder zu erzeugen, in dem Objekte, die das statische Objekt in einer bestimmten Perspektive des Frames verdecken, auch in den gelabelten Bildern gekennzeichnet werden.
Gemäß einer weiteren optionalen Ausgestaltung wird bei dem Erstellen der 3D-Rekonstruktion ermittelt, ob die Kameraverlaufsdaten der zweiten Kamera fehlerhaft sind. Falls die Kameraverlaufsdaten der zweiten Kamera fehlerhaft sind, werden die Kameraverlaufsdaten der zweiten Kamera korrigiert.
Die Kameraverlaufsdaten der zweiten Kamera sind beispielsweise als fehlerhaft zu bezeichnen, falls die Kameraverlaufsdaten schnelle und/oder hohe Änderungen aufweisen. Dies wird beispielsweise durch Vergleichen mit einem Schwellenwert festgestellt. Dies ist beispielsweise der Fall, wenn die zweite Kamera bei der Erstellung des zweiten Video-Datensatzes und der Kameraverlaufsdaten verwackelt und/oder verschoben ist.
Hierdurch ist es möglich, ein Verwackeln oder eine Verschiebung des Kamerapfades der zweiten Kamera beim Erfassen des zweiten Video-Datensatzes zu erkennen und beispielsweise einen neuen Startpunkt für das Labeln zu setzen.
Gemäß einer weiteren optionalen Ausgestaltung umfasst die Zuordnung einer zusätzlichen Information zu dem statischen Objekt ein Zuordnen einer Orientierung des statischen Objekts.
Hierdurch ist es möglich, die Orientierung des statischen Objekts bei dem Labeln zu kennzeichnen, beispielsweise wenn es von Interesse ist, ob das statische Objekt in einer bestimmten Orientierung auf dem gelabelten Bild vorhanden ist.
Gemäß einer weiteren optionalen Ausgestaltung wird das statische Objekt in der 3D-Rekonstruktion abhängig von einer Nutzereingabe gelabelt, wobei das Labeln eine Platzierung eines 3D-CAD-Modells umfasst.
Computer-Aided Design, CAD, ist ein Hardware- und Softwaresystem, das von Entwurfsexperten für die Entwicklung und Dokumentation realer Objekte eingesetzt wird. Ein besonderer Vorteil des 3D-CAD ist die Möglichkeit, von den realen Objekten eine Abbildung aus beliebiger Perspektive zu erzeugen. Somit kann beispielsweise das statische Objekt durch ein 3D-CAD-Modell abgebildet werden und für das Labeln verwendet werden.
Hierdurch ist es möglich, bekannte statische Objekte durch vorhandene 3D-CAD-Modelle schnell und effizient zu labeln. Das 3D-CAD-Modell wird durch die Nutzereingabe beispielsweise im Wesentlichen an einer gleichen Position wie das statische Objekt in der 3D-Rekonstruktion platziert.
Gemäß einer weiteren optionalen Ausgestaltung wird bei dem Ermitteln des gelabelten Bildes ermittelt, ob die Platzierung des 3D-CAD-Modells korrekt ist, abhängig von der Orientierung des gelabelten statischen Objekts in der 3D-Rekonstruktion. Falls die Platzierung des 3D-CAD-Modells nicht korrekt ist, wird die Platzierung des 3D-CAD-Modells, abhängig von einer Nutzereingabe, korrigiert.
Die Platzierung des 3D-CAD-Modells ist beispielsweise korrekt, wenn das 3D-CAD-Modell im Wesentlichen an der gleichen Position wie das statische Objekt in der 3D-Rekonstruktion platziert ist und die Abweichung in dessen Erstreckungsebenen einen bestimmten Wert nicht überschreitet.
Die Platzierung des 3D-CAD-Modells ist beispielsweise nicht korrekt, wenn das 3D-CAD-Modell im Wesentlichen nicht an der gleichen Position wie das statische Objekt in der 3D-Rekonstruktion platziert ist und die Abweichung in dessen Erstreckungsebenen einen bestimmten Wert überschreitet. Hierdurch ist es möglich, etwaige Fehler bei der Ausrichtung der 3D-CAD-Modelle zu erkennen und zu beseitigen. Beispielsweise, wenn das 3D-CAD-Modell im Wesentlichen nicht an der gleichen Position wie das statische Objekt in der 3D-Rekonstruktion platziert ist.
Dies ist vorteilhaft, für eine Genauigkeit des erstellten gelabelten Bildes, wobei die Genauigkeit beispielsweise ein Verhältnis der Anzahl der Pixel, welche zu dem statischen Objekt gehören, und der Anzahl der Pixel, welche gelabelt wurden und mit dem 3D-CAD-Modell erfasst sind, umfasst. Desto besser das 3D-CAD-Modell im Wesentlichen an der gleichen Position wie das statische Objekt in der 3D-Rekonstruktion platziert ist, desto besser die Genauigkeit. Beispielsweise können die gelabelten Bilder dann besser als Trainingsdaten für Machine-Learning-Algorithmen verwendet werden.
Gemäß einer weiteren optionalen Ausgestaltung wird bei der Platzierung des 3D-CAD-Modells abhängig von dem ersten Video-Datensatz, dem zweiten Video-Datensatz und den Kameraverlaufsdaten der zweiten Kamera eine Position des statischen Objekts ermittelt. Des Weiteren wird abhängig von der Position des statischen Objekts in der Umgebung ein Vorschlag zu der Platzierung des 3D-CAD-Modells gegeben.
Hierdurch ist es möglich, das 3D-CAD-Modell exakt zu platzieren. Es kann beispielsweise berücksichtigt werden, dass ein statisches Objekt auf dem Boden steht und so Vorschläge, bei denen eine Achse des 3D-CAD-Modells nicht orthogonal zum Boden ist, herausgefiltert werden.
Dies ist vorteilhaft, da das 3D-CAD-Modell bereits ohne eine Nutzereingabe eine Platzierung des 3D-CAD-Modells vorschlägt und beispielsweise ein Aufwand der Nutzereingabe reduziert wird. Somit wird das gelabelte Bild schneller und effizienter erzeugt.
Gemäß eines zweiten Aspekts zeichnet sich die Erfindung aus durch ein Verfahren zur Erzeugung eines gelabelten Bildes. Die Erfindung zeichnet sich des Weiteren aus durch eine Vorrichtung zur Erzeugung eines gelabelten Bildes, wobei die Vorrichtung dazu ausgebildet ist, das Verfahren durchzuführen.
Bei dem Verfahren wird ein Video-Datensatz bereitgestellt, wobei der Video-Datensatz repräsentativ ist für eine Umgebung, die ein statisches Objekt enthält und die mit einer Kamera erfasst wurde. Des Weiteren werden Kameraverlaufsdaten der Kamera bereitgestellt, umfassend Daten einer Trajektorie und Daten einer Orientierung der Kamera beim Erfassen des Video-Datensatzes. Das statische Objekt wird abhängig von dem Video-Datensatz und einer Nutzereingabe gelabelt, wobei das Labeln eine Zuordnung einer zusätzlichen Information zu dem statischen Objekt umfasst. Abhängig von dem Video-Datensatz, dem gelabelten statischen Objekt, den Kameraverlaufsdaten der Kamera und einem Frame des Video-Datensatzes wird ein gelabeltes Bild ermittelt, das repräsentativ ist für den Frame des Video-Datensatzes mit der zusätzlichen Information zu dem statischen Objekt. Das gelabelte Bild wird zur Weiterverarbeitung gespeichert.
Hierdurch ist es möglich, aus nur einem Video-Datensatz und einer Nutzereingabe schnell und effizient eine sehr große Anzahl an gelabelten Bildern zu erhalten.
Beispielsweise kann der Benutzer den Video-Datensatz durch Aufnehmen der Umgebung des statischen Objekts mit einer RBG-D-Kamera und/oder einer Stereokamera und/oder einer Handykamera erstellen. Die Kamerapfade beziehungsweise Kameraverlaufsdaten beim Erfassen des Video-Datensatzes werden gespeichert. Abhängig von dem Video-Datensatz wird das statische Objekt abhängig von der Nutzereingabe markiert. Beispielsweise kann das statische Objekt mit Rechtecken (so genannten Bounding-Boxes) und/oder Polygonen (Segmentation) markiert werden. Mit Hilfe der gespeicherten Kamerapfade beziehungsweise Kameraverlaufsdaten der Kamera kann für das statische Objekt für jeden Frame des Video-Datensatzes ein gelabeltes Bild ermittelt werden. Somit erhält man aus dem Video-Datensatz und der Nutzereingabe eine sehr große Anzahl an gelabelten Bildern, beispielsweise für jeden Frame des Video-Datensatzes und/oder für eine beliebige Teilmenge von Frames des Video-Datensatzes. Somit wird durch obiges Verfahren eine schnelle und effiziente Erzeugung einer großen Anzahl an gelabelten Bildern ermöglicht.
Im Unterschied zu dem ersten Aspekt ist bei dem zweiten Aspekt nur eine Kamera nötig, somit ist das Verfahren schnell und einfach durchführbar.
Die Vorteile und optionalen Ausgestaltungen des ersten Aspekts gelten entsprechend für den zweiten Aspekt.
Gemäß einer optionalen Ausgestaltung wird derart gelabelt, dass abhängig von dem Video-Datensatz mittels einer Projektion eine 3D-Rekonstruktion für die Umgebung erstellt wird. Des Weiteren wird das statische Objekt in der 3D-Rekonstruktion abhängig von der Nutzereingabe gelabelt, wobei das Labeln die Zuordnung der zusätzlichen Information zu dem statischen Objekt, umfasst. Des Weiteren wird abhängig von der 3D-Rekonstruktion, dem gelabelten statischen Objekt und den Kameraverlaufsdaten der Kamera und einem Frame des Video-Datensatzes, mittels einer Rückprojektion ein gelabeltes Bild ermittelt, das repräsentativ ist für den Frame des Video-Datensatzes mit der zusätzlichen Information zu dem statischen Objekt.
Gemäß einer optionalen Ausgestaltung wird abhängig von der Nutzereingabe bezogen auf zumindest einen Ermittlungs-Frame des Video-Datensatzes, eine Position und eine Orientierung des statischen Objekts in der Umgebung ermittelt, um das statische Objekt zu labeln.
Hierdurch ist es möglich, auf eine 3D-Rekonstruktion zu verzichten. Beispielsweise wird mit der Position und der Orientierung des statischen Objekts das Labeln vereinfacht. Der Ermittlungs-Frame ist beispielsweise ein beliebiger Frame des Video-Datensatzes und/oder eine beliebige Teilmenge von Frames des Video-Datensatzes. Der Ermittlungs-Frame kann beispielsweise vom Nutzer vorgegeben werden.
Dies ist vorteilhaft, da auf eine aufwändige 3D-Rekonstruktion verzichtet werden kann.
Gemäß einer optionalen Ausgestaltung wird derart gelabelt, dass eine Orientierung der Kamera in einem Ermittlungs-Frame des Video-Datensatzes zu dem statischen Objekt ermittelt wird, abhängig von dem Ermittlungs-Frame des Video-Datensatzes und den Kameraverlaufsdaten der Kamera. Eine virtuelle Kamera wird in einer virtuellen 3D-Umgebung mit der gleichen Orientierung platziert. Ein 3D-CAD-Modell wird in der virtuellen 3D-Umgebung derart platziert, dass es gleich orientiert ist wie das statische Objekt in dem Ermittlungs-Frame. Die Position der virtuellen Kamera wird entlang der Orientierung so angepasst, dass eine Größe des 3D-CAD-Modells in einem virtuellen Frame aus Sicht der virtuellen Kamera einer Größe des statischen Objekts in dem Ermittlungs-Frame des Video-Datensatzes entspricht. In der virtuellen 3D-Umgebung wird eine Distanz von der Position der virtuellen Kamera zu dem 3D-CAD-Modells ermittelt.
Hierdurch ist es möglich, auf eine 3D-Rekonstruktion zu verzichten. Beispielsweise wird der Ermittlungs-Frame des Video-Datensatzes mit einer Frontalansicht des statischen Objekts in der virtuellen 3D-Umgebung dargestellt. Des Weiteren ist es möglich, bekannte statische Objekte durch vorhandene 3D-CAD-Modelle schnell und effizient zu labeln. Beispielsweise wird die virtuelle Kamera mit der gleichen Orientierung wie die Kamera, z.B. in einer Frontalansicht, in der virtuellen 3D-Umgebung platziert. Das 3D-CAD-Modell wird in der virtuellen 3D-Umgebung derart platziert, dass es gleich orientiert ist wie das statische Objekt in dem Ermittlungs-Frame, z.B. in der Frontalansicht. Die Position der virtuellen Kamera wird entlang der Orientierung so angepasst, dass die Größe des 3D-CAD-Modells in der virtuellen Umgebung mit der Größe des statischen Objekts in dem Frame des Video-Datensatzes übereinstimmt. Beispielsweise wird die virtuelle Kamera näher oder weiter entfernt zu dem 3D-CAD-Modell platziert, wobei die Orientierung gleich bleibt und z.B. der Frontalansicht entspricht.
Daraus werden der Abstand der virtuellen Kamera zu dem 3D-CAD-Modell und der Abstand der Kamera zu dem statischen Objekt für den Frame des Video-Datensatzes bestimmt.
Dies ist vorteilhaft, da auf eine aufwändige 3D-Rekonstruktion verzichtet werden kann. Beispielsweise kann das 3D-CAD-Modell bereits für einen Ermittlungs-Frame des Video-Datensatzes platziert werden. Des Weiteren wird die Platzierung des 3D-CAD-Modells verbessert, wenn dies für weitere Ermittlungs-Frames des Video-Datensatzes wiederholt wird. Beispielsweise ist es vorteilhaft, diese Schritte für drei verschiedene Orientierungen, wie z.B. Frontalansicht, Seitenansicht und einer Ansicht von oben, durchzuführen. Ein weiterer Vorteil liegt darin, dass für Video-Datensätze die mit einer Kamera ohne Tiefeninformation wie beispielsweise einer Handykamera erstellt wurden, bessere Resultate erzielt werden, als mit der 3D-Rekonstruktion.
Gemäß einer optionalen Ausgestaltung ist das statische Objekt in dem Video-Datensatz im Wesentlichen lediglich von einer Seite aufgenommen.
Gemäß einer weiteren optionalen Ausgestaltung wird bei dem Ermitteln des gelabelten Bildes abhängig von den Kameraverlaufsdaten der Kamera und dem Frame des Video-Datensatzes ermittelt, ob ein Objekt das statische Objekt verdeckt. Falls das statische Objekt verdeckt wird, wird das verdeckende Objekt im gelabelten Bild gekennzeichnet.
Gemäß einer weiteren optionalen Ausgestaltung wird bei dem Erstellen der 3D-Rekonstruktion ermittelt, ob die Kameraverlaufsdaten der Kamera fehlerhaft sind. Falls die Kameraverlaufsdaten der Kamera fehlerhaft sind, werden die Kameraverlaufsdaten der Kamera korrigiert.
Gemäß einer weiteren optionalen Ausgestaltung umfasst die Zuordnung einer zusätzlichen Information zu dem statischen Objekt ein Zuordnen einer Orientierung des statischen Objekts.
Gemäß einer weiteren optionalen Ausgestaltung wird das statische Objekt in der 3D-Rekonstruktion abhängig von einer Nutzereingabe gelabelt, wobei das Labeln eine Platzierung eines 3D-CAD-Modells umfasst.
Gemäß einer weiteren optionalen Ausgestaltung wird bei dem Ermitteln des gelabelten Bildes ermittelt, ob die Platzierung des 3D-CAD-Modells korrekt ist, abhängig von der Orientierung des gelabelten statischen Objekts in der 3D-Rekonstruktion. Falls die Platzierung des 3D-CAD-Modells nicht korrekt ist, wird die Platzierung des 3D-CAD-Modells, abhängig von einer Nutzereingabe, korrigiert.
Gemäß einer weiteren optionalen Ausgestaltung wird bei der Platzierung des 3D-CAD-Modells abhängig von dem Video-Datensatz und den Kameraverlaufsdaten der Kamera eine Position des statischen Objekts ermittelt. Des Weiteren wird abhängig von der Position des statischen Objekts in der Umgebung ein Vorschlag zu der Platzierung des 3D-CAD-Modells gegeben.
Gemäß eines weiteren Aspekts zeichnet sich die Erfindung aus durch ein Computerprogramm, wobei das Computerprogramm ausgebildet ist, das Verfahren des ersten Aspekts oder das Verfahren des zweiten Aspekts oder eine optionale Ausgestaltung des jeweiligen Verfahrens durchzuführen.
Gemäß eines weiteren Aspekts zeichnet sich die Erfindung aus durch ein Computerprogrammprodukt, das einen ausführbaren Programmcode umfasst, wobei der Programmcode bei Ausführung durch eine Datenverarbeitungsvorrichtung das Verfahren des ersten Aspekts oder das Verfahren des zweiten oder eine optionale Ausgestaltung des jeweiligen Verfahrens ausführt.
Das Computerprogrammprodukt umfasst insbesondere ein von der Datenverarbeitungsvorrichtung lesbares Medium, auf dem der Programmcode gespeichert ist.
Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnung näher erläutert. Es zeigen:

1 ein Ablaufdiagramm zur Erzeugung eines gelabelten Bildes mit einer ersten Kamera und einer zweiten Kamera.
2 ein Ablaufdiagramm zur Erzeugung eines gelabelten Bildes mit nur einer Kamera.

Die 1 zeigt ein Ablaufdiagramm eines Programms zur Erzeugung eines gelabelten Bildes mit einer ersten Kamera und einer zweiten Kamera.
Das Programm kann von einer Vorrichtung abgearbeitet werden. Die Vorrichtung ist beispielsweise in einem Computer realisiert.
Die Vorrichtung kann auch als Vorrichtung zur Erzeugung eines gelabelten Bildes bezeichnet werden.
Die Vorrichtung weist hierfür insbesondere eine Recheneinheit, einen Programm- und Datenspeicher, sowie beispielsweise eine oder mehrere Kommunikationsschnittstellen auf. Der Programm- und Datenspeicher und/oder die Recheneinheit und/oder die Kommunikationsschnittstellen können in einer Baueinheit und/oder verteilt auf mehrere Baueinheiten ausgebildet sein.
Auf dem Programm- und Datenspeicher der Vorrichtung ist hierfür insbesondere ein Programm zur Erzeugung eines gelabelten Bildes gespeichert.
Das Programm wird in einem Schritt S100 gestartet, in dem gegebenenfalls Variablen initialisiert werden.
In einem Schritt S101 wird ein erster Video-Datensatz bereitgestellt, wobei der erste Video-Datensatz repräsentativ ist für eine Umgebung, die ein statisches Objekt enthält und die mit einer ersten Kamera erfasst wurde.
Der Schritt S101 wird beispielsweise ausgeführt, indem der erste Video-Datensatz aus einem Speicher ausgelesen wird.
Das statische Objekt kann beispielsweise eine Box und/oder eine Kiste und/oder ein Werkzeug und/oder ein Regal sein. Die erste Kamera ist beispielsweise eine RBG-D-Kamera und/oder eine Stereokamera und/oder eine Handykamera.
Optional ist das statische Objekt in dem ersten Video-Datensatz im Wesentlichen lediglich von einer Seite aufgenommen.
In einem Schritt S103 wird ein zweiter Video-Datensatz bereitgestellt, wobei der zweite Video-Datensatz repräsentativ ist für eine Umgebung, die das statische Objekt enthält und die mit einer zweiten Kamera erfasst wurde.
Der Schritt S103 wird beispielsweise ausgeführt, indem der zweite Video-Datensatz aus einem Speicher ausgelesen wird.
Die zweite Kamera ist beispielsweise eine RBG-D-Kamera und/oder eine Stereokamera und/oder eine Handykamera.
Insbesondere ist die erste Kamera eine Kamera mit einer höheren Auflösung als die zweite Kamera.
Optional ist das statische Objekt in dem zweiten Video-Datensatz im Wesentlichen lediglich von einer Seite aufgenommen.
In einem Schritt S105 werden Kameraverlaufsdaten der zweiten Kamera bereitgestellt, umfassend Daten einer Trajektorie und Daten einer Orientierung der zweiten Kamera beim Erfassen des zweiten Video-Datensatzes.
Beispielsweise werden die Kameraverlaufsdaten beim Aufnehmen des zweiten Video-Datensatzes mitgespeichert, um das statische Objekt später in jeden Frame des zweiten Video-Datensatzes zurückprojizieren zu können. Alternativ werden die Kameraverlaufsdaten nachträglich ermittelt.
Die Kameraverlaufsdaten werden beispielsweise in einem Koordinatensystem bereitgestellt, in welchem auch Koordinaten des statischen Objekts vorhanden sind und/oder durch eine Koordinaten-Transformation in ein Koordinatensystem umgerechnet werden können, in welchen auch Koordinaten des statischen Objekts vorhanden sind. Alternativ können beispielsweise die Koordinaten des statischen Objekts auch aus dem ersten und/oder dem zweiten Video-Datensatz berechnet werden. Die Daten einer Trajektorie und Daten einer Orientierung der zweiten Kamera ermöglichen beispielsweise die Berechnung eines Abstands der zweiten Kamera von dem statischen Objekt in einem Koordinatensystem. Der Abstand kann beispielsweise ein dreidimensionaler Vektor sein.
In einem Schritt S107 wird abhängig von dem ersten Video-Datensatz mittels einer Projektion eine 3D-Rekonstruktion für die Umgebung erstellt.
Bei der 3D-Rekonstruktion werden beispielsweise eine 3D-Oberfläche und Kamerapositionen mit sechs Freiheitsgraden für jeden Frame des zweiten Video-Datensatzes und/oder für eine beliebige Teilmenge von Frames des zweiten Video-Datensatzes erstellt. Die 3D-Rekonstruktion kann auf verschiedene Arten durchgeführt werden. Beispielsweise wird eine volumetrische Fusion benutzt, um eine dichte Rekonstruktion durchzuführen.
Optional wird bei dem Erstellen der 3D-Rekonstruktion ermittelt, ob die Kameraverlaufsdaten der zweiten Kamera fehlerhaft sind. Falls die Kameraverlaufsdaten der zweiten Kamera fehlerhaft sind, werden die Kameraverlaufsdaten der zweiten Kamera korrigiert.
In einem Schritt S109 wird das statische Objekt in der 3D-Rekonstruktion abhängig von einer Nutzereingabe gelabelt, wobei das Labeln eine Zuordnung einer zusätzlichen Information zu dem statischen Objekt umfasst.
Beispielsweise kann die zusätzliche Information eine Position des statischen Objekts, eine Abgrenzung des statischen Objekts und/oder einen Abstand der zweiten Kamera zu dem statischen Objekt umfassen.
Optional kann die Zuordnung einer zusätzlichen Information zu dem statischen Objekt ein Zuordnen einer Orientierung des statischen Objekts und/oder ein Zuordnen einer Bezeichnung des statischen Objekts umfassen.
Optional kann das Labeln eine Platzierung eines 3D-CAD-Modells umfassen.
Optional kann bei der Platzierung des 3D-CAD-Modells, abhängig von dem ersten Video-Datensatz, dem zweiten Video-Datensatz und den Kameraverlaufsdaten der zweiten Kamera, eine Position des statischen Objekts ermittelt werden. Des Weiteren kann abhängig von der Position des statischen Objekts in der Umgebung, ein Vorschlag zu der Platzierung des 3D-CAD-Modells gegeben werden.
In einem Schritt S111 wird abhängig von der 3D-Rekonstruktion, dem gelabelten statischen Objekt, den Kameraverlaufsdaten der zweiten Kamera und einem Frame des zweiten Video-Datensatzes mittels einer Rückprojektion ein gelabeltes Bild ermittelt, das repräsentativ ist für den Frame des zweiten Video-Datensatzes mit der zusätzlichen Information zu dem statischen Objekt.
Optional kann bei dem Ermitteln des gelabelten Bildes, abhängig von den Kameraverlaufsdaten der zweiten Kamera und dem Frame des zweiten Video-Datensatzes ermittelt werden, ob ein Objekt das statische Objekt verdeckt. Falls das statische Objekt verdeckt wird, kann das verdeckende Objekt im gelabelten Bild gekennzeichnet werden.
Optional kann bei dem Ermitteln des gelabelten Bildes, abhängig von der Orientierung des gelabelten statischen Objekts in der 3D-Rekonstruktion ermittelt werden, ob die Platzierung des 3D-CAD-Modells korrekt ist. Falls die Platzierung des 3D-CAD-Modells nicht korrekt ist, kann die Platzierung des 3D-CAD-Modells korrigiert werden, abhängig von einer Nutzereingabe.
In einem Schritt S113 wird das gelabelte Bild zur Weiterverarbeitung gespeichert.
Will der Benutzer nach der Erzeugung des gelabelten Bildes weitere gelabelte Bilder aus dem ersten und dem zweiten Video-Datensatz erstellen, kann das Programm die Schritte S111 und S113 wiederholen für einen anderen Frame des zweiten Video-Datensatzes.
Anschließend wird das Programm in einem Schritt S115 beendet und kann gegebenenfalls wieder in dem Schritt S100 gestartet werden.
Die 2 zeigt ein Ablaufdiagramm eines Programms zur Erzeugung eines gelabelten Bildes mit einer Kamera.
Das Programm kann von einer Vorrichtung abgearbeitet werden. Die Vorrichtung ist beispielsweise in einem Computer realisiert.
Die Vorrichtung kann auch als Vorrichtung zur Erzeugung eines gelabelten Bildes bezeichnet werden.
Die Vorrichtung weist hierfür insbesondere eine Recheneinheit, einen Programm- und Datenspeicher, sowie beispielsweise eine oder mehrere Kommunikationsschnittstellen auf. Der Programm- und Datenspeicher und/oder die Recheneinheit und/oder die Kommunikationsschnittstellen können in einer Baueinheit und/oder verteilt auf mehrere Baueinheiten ausgebildet sein.
Auf dem Programm- und Datenspeicher der Vorrichtung ist hierfür insbesondere ein Programm zur Erzeugung eines gelabelten Bildes gespeichert.
Das Programm wird in einem Schritt S200 gestartet, in dem gegebenenfalls Variablen initialisiert werden.
In einem Schritt S201 wird ein Video-Datensatz bereitgestellt, wobei der Video-Datensatz repräsentativ ist für eine Umgebung, die das statische Objekt enthält und die mit einer Kamera erfasst wurde.
Der Schritt S201 wird beispielsweise ausgeführt, indem der Video-Datensatz aus einem Speicher ausgelesen wird.
Die Kamera entspricht beispielsweise der zweiten Kamera.
Optional ist das statische Objekt in dem Video-Datensatz im Wesentlichen lediglich von einer Seite aufgenommen.
In einem Schritt S205 werden Kameraverlaufsdaten der Kamera bereitgestellt, umfassend Daten einer Trajektorie und Daten einer Orientierung der Kamera beim Erfassen des Video-Datensatzes.
Die Kameraverlaufsdaten werden beispielsweise korrespondierend zu dem Schritt S105 bereitgestellt und ermittelt.
In einem Schritt S209 wird das statische Objekt abhängig von dem Video-Datensatz und einer Nutzereingabe gelabelt, wobei das Labeln eine Zuordnung einer zusätzlichen Information zu dem statischen Objekt umfasst.
Die zusätzliche Information entspricht beispielsweise der zusätzlichen Information, die in dem Schritt S109 zugeordnet wird.
Optional wird derart gelabelt, dass abhängig von dem Video-Datensatz mittels einer Projektion eine 3D-Rekonstruktion für die Umgebung erstellt wird. Des Weiteren wird das statische Objekt in der 3D-Rekonstruktion abhängig von einer Nutzereingabe gelabelt, wobei das Labeln eine Zuordnung einer zusätzlichen Information zu dem statischen Objekt, umfasst. Des Weiteren wird abhängig von der 3D-Rekonstruktion, dem gelabelten statischen Objekt und den Kameraverlaufsdaten der zweiten Kamera und einem Frame des zweiten Video-Datensatzes, mittels einer Rückprojektion ein gelabeltes Bild ermittelt, das repräsentativ ist für den Frame des zweiten Video-Datensatzes mit der zusätzlichen Information zu dem statischen Objekt.
Optional wird abhängig von der Nutzereingabe bezogen auf zumindest einen Ermittlungs-Frame des Video-Datensatzes, eine Position und eine Orientierung des statischen Objekts in der Umgebung ermittelt, um das statische Objekt zu labeln.
Optional wird derart gelabelt, dass eine Orientierung der Kamera in einem Ermittlungs-Frame des Video-Datensatzes zu dem statischen Objekt ermittelt wird, abhängig von dem Ermittlungs-Frame des Video-Datensatzes und den Kameraverlaufsdaten der Kamera. Eine virtuelle Kamera wird in einer virtuellen 3D-Umgebung mit der gleichen Orientierung platziert. Ein 3D-CAD-Modell wird in der virtuellen 3D-Umgebung derart platziert, dass es gleich orientiert ist wie das statische Objekt in dem Ermittlungs-Frame.
Die Position der virtuellen Kamera wird entlang der Orientierung so angepasst, dass eine Größe des 3D-CAD-Modells in einem virtuellen Frame aus Sicht der virtuellen Kamera einer Größe des statischen Objekts in dem Ermittlungs-Frame des Video-Datensatzes entspricht. In der virtuellen 3D-Umgebung wird eine Distanz von der Position der virtuellen Kamera zu dem 3D-CAD-Modells ermittelt.
Dieser Schritt kann für mehrere Orientierungen wie beispielsweise Frontalansicht, Seitenansicht und eine Ansicht von oben, durchgeführt werden, um die Genauigkeit der Platzierung zu verbessern.
In einem Schritt S211 wird abhängig von dem Video-Datensatz, dem gelabelten statischen Objekt, den Kameraverlaufsdaten der Kamera und einem Frame des Video-Datensatzes mittels einer Rückprojektion ein gelabeltes Bild ermittelt, das repräsentativ ist für den Frame des Video-Datensatzes mit der zusätzlichen Information zu dem statischen Objekt.
In einem Schritt S213 wird das gelabelte Bild zur Weiterverarbeitung gespeichert.
Will der Benutzer nach der Erzeugung des gelabelten Bildes weitere gelabelte Bilder aus dem Video-Datensatz erstellen, kann das Programm die Schritte S211 und S213 wiederholen für einen anderen Frame des Video-Datensatzes.
Anschließend wird das Programm in einem Schritt S215 beendet und kann gegebenenfalls wieder in dem Schritt S200 gestartet werden.
Die optionalen Schritte des Verfahrens der 1 gelten entsprechend für das Verfahren der 2.

Claims

Verfahren zur Erzeugung eines gelabelten Bildes, bei dem: - ein erster Video-Datensatz bereitgestellt wird, wobei der erste Video-Datensatz repräsentativ ist für eine Umgebung, die ein statisches Objekt enthält und die mit einer ersten Kamera erfasst wurde, - ein zweiter Video-Datensatz bereitgestellt wird, wobei der zweite Video-Datensatz repräsentativ ist für eine Umgebung, die das statische Objekt enthält und die mit einer zweiten Kamera erfasst wurde, - Kameraverlaufsdaten der zweiten Kamera bereitgestellt werden, umfassend Daten einer Trajektorie und Daten einer Orientierung der zweiten Kamera beim Erfassen des zweiten Video-Datensatzes, - abhängig von dem ersten Video-Datensatz mittels einer Projektion eine 3D-Rekonstruktion für die Umgebung erstellt wird, - das statische Objekt in der 3D-Rekonstruktion abhängig von einer Nutzereingabe gelabelt wird, wobei das Labeln eine Zuordnung einer zusätzlichen Information zu dem statischen Objekt umfasst, - abhängig von der 3D-Rekonstruktion, dem gelabelten statischen Objekt, den Kameraverlaufsdaten der zweiten Kamera und einem Frame des zweiten Video-Datensatzes, mittels einer Rückprojektion ein gelabeltes Bild ermittelt wird, das repräsentativ ist für den Frame des zweiten Video-Datensatzes mit der zusätzlichen Information zu dem statischen Objekt, - das gelabelte Bild zur Weiterverarbeitung gespeichert wird.
Verfahren gemäß Anspruch 1, wobei das statische Objekt in dem ersten Video-Datensatz im Wesentlichen lediglich von einer Seite aufgenommen ist.
Verfahren gemäß Anspruch 1 oder 2, wobei das statische Objekt in dem zweiten Video-Datensatz im Wesentlichen lediglich von einer Seite aufgenommen ist.
Verfahren gemäß einem der vorhergehenden Ansprüche, wobei bei dem Ermitteln des gelabelten Bildes: - abhängig von den Kameraverlaufsdaten der zweiten Kamera und dem Frame des zweiten Video-Datensatzes ermittelt wird, ob ein Objekt das statische Objekt verdeckt, und - falls das statische Objekt verdeckt wird, das verdeckende Objekt im gelabelten Bild gekennzeichnet wird.
Verfahren gemäß einem der vorhergehenden Ansprüche, wobei bei dem Erstellen der 3D-Rekonstruktion: - ermittelt wird, ob die Kameraverlaufsdaten der zweiten Kamera fehlerhaft sind, und - falls die Kameraverlaufsdaten der zweiten Kamera fehlerhaft sind, die Kameraverlaufsdaten der zweiten Kamera korrigiert werden.
Verfahren gemäß einem der vorhergehenden Ansprüche, wobei die Zuordnung der zusätzlichen Information zu dem statischen Objekt ein Zuordnen einer Orientierung des statischen Objekts umfasst.
Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das statische Objekt in der 3D-Rekonstruktion abhängig von der Nutzereingabe gelabelt wird, wobei das Labeln eine Platzierung eines 3D-CAD-Modells umfasst.
Verfahren gemäß Anspruch 7, wobei bei dem Ermitteln des gelabelten Bildes - abhängig von der Orientierung des gelabelten statischen Objekts in der 3D-Rekonstruktion ermittelt wird, ob die Platzierung des 3D-CAD-Modells korrekt ist, und - falls die Platzierung des 3D-CAD-Modells nicht korrekt ist, die Platzierung des 3D-CAD-Modells korrigiert wird, abhängig von einer Nutzereingabe.
Verfahren gemäß Anspruch 7 oder 8, wobei bei der Platzierung des 3D-CAD-Modells: - abhängig von dem ersten Video-Datensatz, dem zweiten Video-Datensatz und den Kameraverlaufsdaten der zweiten Kamera, eine Position des statischen Objekts ermittelt wird, und - abhängig von der Position des statischen Objekts in der Umgebung, ein Vorschlag zu der Platzierung des 3D-CAD-Modells gegeben wird.
Verfahren zur Erzeugung eines gelabelten Bildes, bei dem: - ein Video-Datensatz bereitgestellt wird, wobei der Video-Datensatz repräsentativ ist für eine Umgebung, die ein statisches Objekt enthält und die mit einer Kamera erfasst wurde, - Kameraverlaufsdaten der Kamera bereitgestellt werden, umfassend Daten einer Trajektorie und Daten einer Orientierung der Kamera beim Erfassen des Video-Datensatzes; - das statische Objekt, abhängig von dem Video-Datensatz und einer Nutzereingabe, gelabelt wird, wobei das Labeln eine Zuordnung einer zusätzlichen Information zu dem statischen Objekt umfasst, - abhängig von dem Video-Datensatz, dem gelabelten statischen Objekt, den Kameraverlaufsdaten der Kamera und einem Frame des Video-Datensatzes, ein gelabeltes Bild ermittelt wird, das repräsentativ ist für den Frame des Video-Datensatzes mit der zusätzlichen Information zu dem statischen Objekt, - das gelabelte Bild zur Weiterverarbeitung gespeichert wird.
Verfahren gemäß Anspruch 10, wobei derart gelabelt wird, dass: - abhängig von dem Video-Datensatz mittels einer Projektion eine 3D-Rekonstruktion für die Umgebung erstellt wird, - das statische Objekt in der 3D-Rekonstruktion abhängig von der Nutzereingabe gelabelt wird, wobei das Labeln die Zuordnung der zusätzlichen Information zu dem statischen Objekt, umfasst, und - abhängig von der 3D-Rekonstruktion, dem gelabelten statischen Objekt und den Kameraverlaufsdaten der Kamera und dem Frame des Video-Datensatzes, mittels einer Rückprojektion ein gelabeltes Bild ermittelt wird, das repräsentativ ist für den Frame des Video-Datensatzes mit der zusätzlichen Information zu dem statischen Objekt.
Verfahren gemäß Anspruch 10, wobei abhängig von der Nutzereingabe bezogen auf zumindest einen Ermittlungs-Frame des Video-Datensatzes, eine Position und eine Orientierung des statischen Objekts in der Umgebung ermittelt werden, um das statische Objekt zu labeln.
Verfahren gemäß Anspruch 10 oder 12, wobei derart gelabelt wird, dass: - eine Orientierung der Kamera in einem Ermittlungs-Frame des Video-Datensatzes zu dem statischen Objekt ermittelt wird, abhängig von dem Ermittlungs-Frame des Video-Datensatzes und den Kameraverlaufsdaten der Kamera, - eine virtuelle Kamera in einer virtuellen 3D-Umgebung mit der gleichen Orientierung platziert wird, - ein 3D-CAD-Modell in der virtuellen 3D-Umgebung derart platziert wird, dass es gleich orientiert ist wie das statische Objekt in dem Ermittlungs-Frame. - die Position der virtuellen Kamera entlang der Orientierung so angepasst wird, dass eine Größe des 3D-CAD-Modells in einem virtuellen Frame aus Sicht der virtuellen Kamera einer Größe des statischen Objekts in dem Ermittlungs-Frame des Video-Datensatzes entspricht, und - in der virtuellen 3D-Umgebung eine Distanz von der Position der virtuellen Kamera zu dem 3D-CAD-Modells ermittelt wird.
Vorrichtung zur Erzeugung eines gelabelten Bildes, wobei die Vorrichtung dazu ausgebildet ist, das Verfahren nach einem der Ansprüche 1 bis 9 auszuführen oder nach einem der Ansprüche 10 bis 13.
Computerprogramm zur Erzeugung eines gelabelten Bildes, wobei das Computerprogramm ausgebildet ist das Verfahren nach einem der Ansprüche 1 bis 9 oder nach einem der Ansprüche 10 bis 13 bei seiner Ausführung auf einer Datenverarbeitungsvorrichtung durchzuführen.
Computerprogrammprodukt umfassend ausführbaren Programmcode, wobei der Programmcode bei Ausführung durch eine Datenverarbeitungsvorrichtung das Verfahren nach einem der Ansprüche 1 bis 9 oder nach einem der Ansprüche 10 bis 13 ausführt.