DE102018212246A1

DE102018212246A1 - Verbesserte Objektmarkierung in Sensordaten

Info

Publication number: DE102018212246A1
Application number: DE102018212246.6A
Authority: DE
Inventors: Christian Neumann
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2018-07-24
Filing date: 2018-07-24
Publication date: 2020-01-30
Also published as: CN110781908A

Abstract

Die Erfindung ermöglicht eine effizientere Objektmarkierung in Sensordaten (101). Hierzu wird ein Verfahren zur Objektmarkierung in Sensordaten (101) zur Verfügung gestellt, bei dem zunächst ein Zuführen (S1) der Sensordaten (101) an ein Künstliches-Intelligenz-Modul (114), Kl-Modul, erfolgt. Erfindungsgemäß erfolgt dann ein automatisches Zuordnen (S2) einer ersten Objektmarkierung (103) zu wenigstens einem in den Sensordaten (101) erkannten und/oder vermuteten Objekt durch das KI-Modul (114). Schließlich werden die erste Objektmarkierung (103) umfassenden Sensordaten (101) für eine Überprüfungseinrichtung (113) zum Überprüfen der ersten Objektmarkierung (103) bereitgestellt (S3). Das Verfahren lässt sich mit einer Datenverarbeitungseinrichtung (110) durchführen.

Description

Gebiet der Erfindung
Die Erfindung betrifft das Gebiet der Künstlichen Intelligenz, insbesondere ein computergestütztes Verfahren sowie eine Datenverarbeitungseinrichtung zur Objektmarkierung bzw. Annotation in Sensordaten, die beispielsweise als Bilddaten vorliegen können.
Stand der Technik
Eine automatische Objekterkennung lässt sich auf dem Gebiet der Künstlichen Intelligenz vielseitig einsetzen. So stellt die automatische Objekterkennung in Sensordaten im autonomen Fahrbetrieb von Kraftfahrzeugen eine grundlegende Aufgabe dar, um ein Kraftfahrzeug sicher durch den Straßenverkehr zu bewegen.
Hierfür kann das Kraftfahrzeug ein oder mehrere Sensoren und ein Künstliches-Intelligenz-Modul, im Folgenden auch als KI-Modul bezeichnet, aufweisen, das u.a. Objekte in den Sensordaten erkennt und auf dieser Basis Fahrmanöver steuert. Um das KI-Modul auf diese Aufgabe vorzubereiten, kann dieses insbesondere vor der Inbetriebnahme, ggf. aber auch währenddessen, mit Trainingsdatensätzen trainiert werden, um beispielsweise eine zuverlässige Objekterkennung bzw. Objektklassifikation zu gewährleisten. Zum Trainieren dieser Fähigkeit kann ein Objekt, das z.B. in einem aus Sensordaten gewonnenen Bild erkannt wird, zunächst mit einer Objektmarkierung, einem sogenannten Label, versehen werden, um aus einer Kombination von Bild und Objektmarkierung Trainingsdaten für z.B. das KI-Modul zu erzeugen.
Diese Objektmarkierung bzw. Annotation erfolgt üblicherweise durch einen menschlichen Bearbeiter mithilfe eines dazu eingerichteten Computerprogramms mit grafischer Benutzeroberfläche. Dabei wertet der Bearbeiter die Sensordaten aus und versieht die darin identifizierbaren Objekte mit einer entsprechenden Objektmarkierung bzw. einem Label. Dies kann auch kostensparend durch sogenanntes Crowdsourcing erfolgen, bei dem die Objektmarkierung bzw. das Labeln beispielsweise auch als Teilaufgaben an eine Mehrzahl von Bearbeitern über das Internet verteilt wird. Zwar kann mit der Bereitstellung eines solchen Computerprogramms und/oder mit dem Crowdsourcing eine Kosteneinsparung bei der Objektmarkierung erreicht werden. Dennoch besteht der Wunsch nach einer Möglichkeit zur effizienteren, insbesondere zeit- und/oder kosteneffizienteren, Objektmarkierung.
Offenbarung der Erfindung
Die Aufgabe der Erfindung ist es daher, eine Möglichkeit zu schaffen, eine Objektmarkierung für ein in Sensordaten enthaltendes Objekt effizienter zu gestalten.
Diese Aufgabe wird durch ein Verfahren und eine Datenverarbeitungseinrichtung zur Objektmarkierung mit den Merkmalen der unabhängigen und/oder nebengeordneten Ansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen, der Beschreibung sowie den begleitenden Figuren.
Das vorgeschlagene Verfahren eignet sich zum Erzeugen von (auch Trainings-)Daten, die auf Sensordaten basieren, in denen wenigstens einem darin zumindest im Wesentlichen identifizierten Objekt eine erste Objektmarkierung zugeordnet wird, die auch als Pre-Label bezeichnet werden kann.
Das erfindungsgemäße Verfahren zur Objektmarkierung bzw. zum Labeln von Objekten in Sensordaten lässt sich computergestützt in z.B. einer Datenverarbeitungseinrichtung mit wenigstens einer Speichereinheit und einer Recheneinheit bzw. einem Prozessor umsetzen und umfasst die folgenden Schritte:

- Zunächst werden die auf darin enthaltenden Objekte zu untersuchenden Sensordaten einem Künstliches-Intelligenz-Modul, kurz Kl-Modul, zugeführt. Die Sensordaten können z.B. als Bilddaten in einer Datei zur Verfügung gestellt werden. Das KI-Modul kann als Programmcode in der Speichereinheit gespeichert sein und durch die Recheneinheit ausgeführt werden. Dabei kann das KI-Modul ein oder mehrere, insbesondere auch mehrschichtige und/oder faltende, künstliche neuronale Netze und daher wenigstens eine Eingangsschicht, eine Zwischenschicht und eine Ausgabeschicht umfassen. Beispielsweise werden die Sensordaten der Eingangsschicht zur weiteren Verarbeitung zugeführt. Die Sensordaten können von einem Kraftfahrzeug eingefahren und insbesondere als Bilddaten vorliegen. Diese können von einer Erfassungseinrichtung, wie etwa einer Kamera, einem LIDAR-Sensor oder ähnlichem stammen. Die Sensordaten können auch durch oder für eine semantische Segmentierung vorverarbeitet sein.
- Erfindungsgemäß erfolgt dann ein automatisches Zuordnen einer ersten Objektmarkierung zu wenigstens einem in den Sensordaten erkannten und/oder vermuteten Objekt durch das KI-Modul. In anderen Worten wird einem zumindest teilweise erkannten Objekt eine erste Objektmarkierung, d.h. ein Pre-Label, zugeordnet. Beispielsweise können damit ein statisches Objekt, wie etwa ein Baum oder eine Straßenlaterne, oder ein dynamisches Objekt, wie etwa ein anderes Kraftfahrzeug, als solche (vor-)gekennzeichnet werden. Die Sensordaten können z.B. eine Verkehrssituation enthalten, so dass darin eine Vielzahl von Objekten erfasst sind, die gleichen und unterschiedlichen Objektklassen zuordbar sind und so gleiche und unterschiedliche erste Objektmarkierungen, d.h. Pre-Label, aufweisen können.
- Dann werden die die erste Objektmarkierung umfassenden Sensordaten, ggf. auch mit reduziertem bzw. konzentrierten Informationsgehalt, aber ergänzt um die erste Objektmarkierung, an bzw. für eine Überprüfungseinrichtung zum Überprüfen der ersten Objektmarkierung und/oder deren Zuordnung durch ein weiteres, insbesondere zweites Kl-Modul und/oder einen menschlichen Bearbeiter, z.B. über eine Mensch-Maschine-Schnittstelle, bereitgestellt. In anderen Worten erfolgt nach dem automatischen Zuordnen eine Überprüfung durch eine weitere Einrichtung, die z.B. elektronisch als KI-Modul, einen menschlichen Bearbeiter usw. gebildet sein kann. Die Überprüfungseinrichtung kann Teil eines Computersystems bzw. der oben erwähnten Datenverarbeitungseinrichtung sein oder separat dazu, ggf. auch als Remote-System oder gänzlich unabhängig davon bereitgestellt werden. Unter einer Mensch-Maschine-Schnittstelle kann in diesem Zusammenhang insbesondere eine grafische Benutzeroberfläche in Form einer oder mehrerer Computeranwendungen verstanden werden.

Mit dieser Konfiguration kann das erfindungsgemäße Verfahren gleich mehrere vorteilhafte Effekte bewirken. Das Objektmarkieren, also die Annotation, wird effizienter, da die insgesamt benötigte Zeit signifikant reduziert wird, wenn die Überprüfungseinrichtung nur noch die erste Objektmarkierung, das Pre-Label, im Wesentlichen verifiziert bzw. geringe Korrekturen daran vornimmt. Zudem lässt sich eine höhere Qualität erreichen, da das KI-Modul eine konsistentere Vergabe der ersten Objektmarkierung ermöglicht, insbesondere gegenüber unerfahrenen menschlichen Bearbeitern beim Crowdsourcing, wenn die Überprüfungseinrichtung nicht elektronisch ausgebildet ist. Darüber hinaus kann das KI-Modul mit maschinellen Lernverfahren stetig weitertrainiert werden, um über die Zeit eine noch bessere Objektmarkierung zu ermöglichen. Auch kann die Überprüfungseinrichtung, insbesondere bei Ausbildung derselben als Mensch-Maschine-Schnittstelle, über das Internet verbunden sein, um so die automatische Erzeugung des Pre-Labels mit der Kostenreduktion durch Crowdsourcing zu kombinieren.
Eine Weiterbildung der Erfindung sieht vor, dass die erste Objektmarkierung durch den Bearbeiter zu einer zweiten Objektmarkierung bestätigt wird, wenn diese als zumindest im Wesentlichen korrekt erachtet wird, oder zu einer zweiten Objektmarkierung korrigiert wird, wenn diese als zumindest verbesserbar erachtet wird. In anderen Worten, bestätigt der menschliche Bearbeiter das Pre-Label zu einem Label und schließt damit die Annotation ab oder er korrigiert oder verwirft das Pre-Iabel gänzlich und vergibt es dann ggf. wieder manuell. Dadurch wird eine Überprüfungseinrichtung mit Korrekturmöglichkeit zur Verfügung gestellt.
Um die Qualität beim Setzen der ersten Objektmarkierung zu erhöhen, können die Sensordaten vor dem Zuführen an das KI-Modul mit ersten Hilfsdaten verknüpft werden. Damit lässt sich z.B. der Informationsgehalt der Sensordaten für die automatische Zuordnung der ersten Objektmarkierung erhöhen.
Zur Erhöhung des Informationsgehalts kann vorgesehen sein, dass die ersten Hilfsdaten von wenigstens einer zweiten Erfassungseinrichtung bereitgestellt werden, die zu einer die Sensordaten bereitstellenden ersten Erfassungseinrichtung unterschiedlich ist. In anderen Worten, kann durch eine Sensorfusion der Informationsgehalt der Sensordaten erhöht werden. Lediglich exemplarisch, können die Sensordaten z.B. von einer Kamera eines Kraftfahrzeugs stammen, die durch z.B. ein Lidar-Bild gestützt werden.
Es hat sich auch als vorteilhaft erwiesen, wenn die ersten Hilfsdaten eine den Sensordaten zugeordnete Zeitinformation umfassen. In anderen Worten, kann Aus der Zeitinformation kann z.B. eine Relevanz einzelner Objekte der Sensordaten abgeleitet werden, wobei beispielsweise kleinteilige Anteile automatisch entfernen und signifikante Anteile herausstellen zu können.
Alternativ oder zusätzlich dazu, können auch Informationen über eine Tiefe, z.B. Bildtiefe, oder andere auswertbare Informationen zu den Sensordaten mit den ersten Hilfsdaten zur Verfügung gestellt werden.
Es hat sich als vorteilhaft erwiesen, wenn die ersten Hilfsdaten ein in den Sensordaten enthaltendes Einzelbild um wenigstens ein vorangegangenes und/oder ein nachfolgendes Zusatzbild ergänzen.
Beispielsweise für statische Objekte, kann die Erkennungs- bzw. Zuordnungsqualität erhöht werden, wenn die ersten Hilfsdaten eine Straßenkarteninformation umfassen. So kann z.B. einem feststehenden Objekt an einer Straßenkreuzung, wie etwa einem Verkehrsschild oder ähnlichem, durch eine Informationsfusion der Sensordaten und der Karteninformation zuverlässiger eine korrekte erste Objektmarkierung zugeordnet werden.
Um den Aufwand des menschlichen Bearbeiters zu reduzieren, kann das Kl-Modul anhand der ersten Hilfsdaten eine verzichtbare Sensorinformation entfernen. Dadurch lässt sich das Verfahren noch effizienter gestalten.
Alternativ oder zusätzlich dazu können die ersten Hilfsdaten auch noch nach dem Zuordnen der ersten Objektmarkierung mit den Sensordaten verknüpft werden.
Auch die Aufgabe des menschlichen Betrachters lässt sich noch weiter unterstützen. So kann in einer Weiterbildung vorgesehen sein, dass die Sensordaten nach dem Zuordnen der ersten Objektmarkierung mit zweiten Hilfsdaten verknüpft werden.
Eine Weiterbildung sieht vor, dass die zweiten Hilfsdaten eine von dem KI-Modul erzeugte, das Objekt zumindest teilweise umgebende Konturlinie umfassen kann. So kann das KI-Modul nach dem Zuordnen der ersten Objektmarkierung, d.h. des Pre-Labels, das so gekennzeichnete Objekt mit einer Konturlinie umranden. Anschaulich betrachtet, kann ein als Objekt erkannte Kraftfahrzeug mit einer die Außenkanten der Karosserie zumindest grob beschreibenden Konturlinie versehen werden. Oder es kann ein Fußgänger mit einer den Grenzbereich zwischen der Bekleidung und einer dazu angrenzenden Umgebung folgenden Konturlinie versehen werden. Dabei kann die automatisch erzeugte Konturlinie für die Überprüfungseinrichtung vorgegeben, z.B. an der Mensch-Maschine-Schnittstelle optisch wahrnehmbar hervorgehoben oder für das weitere KI-Modul maschinenlesbar gekennzeichnet, sein.
Es hat sich für die Qualität der Objektmarkierung als vorteilhaft erwiesen, wenn die zuvor automatisch erzeugte Konturlinie durch die Überprüfungseinrichtung, z.B. automatisch durch das weitere KI-Modul oder über die Mensch-Maschine-Schnittstelle, anpassbar ist. Z.B. kann die Mensch-Maschine-Schnittstelle dazu eingerichtet sein, dass z.B. mit einem Eingabegerät, wie etwa einer Computermaus oder ähnlichem, die Konturlinie, auch abschnitts- oder knotenweise, verschoben, in der Form geändert, gelöscht und neu gezogen usw. werden kann. Beispielsweise können korrigierte Bildabschnitte dann wiederum automatisch gefüllt werden.
Es ist auch möglich, dass die zweiten Hilfsdaten einen Korrekturhinweis umfassen können, wenn dem Objekt keine und/oder nur eine mit einem Unsicherheitsfaktor assoziierte erste Objektmarkierung zuordbar ist. Hierfür kann das KI-Modul für eine Fehlerkennung konfiguriert sein, beispielsweise durch einen geeigneten Deep-Learning-Algorithmus. Der Korrekturhinweis kann z.B. einen Unsicherheitsbereich für den Bearbeiter optisch wahrnehmbar kennzeichnen, beispielsweise durch eine das Objekt umgebende Box.
Alternativ oder zusätzlich dazu, kann einem unbekannten Objekt auch eine für Unsicherheiten oder Nichterkennungen vorgehaltene Klassenbezeichnung zugeordnet werden, wie etwa „other class“ oder ähnliches, um dem Bearbeiter klar zu machen, dass hier eine manuelle Nachbearbeitung empfohlen bzw. erwünscht ist.
Alternativ oder zusätzlich dazu, können die zweiten Hilfsdaten auch eine sogenannte Uncertainty Map umfassen, in der ggf. auch Kantenunsicherheiten automatisch entfernt werden.
Um die Bearbeitung durch den menschlichen Bearbeiter noch effizienter zu gestalten, kann nach dem Zuordnen eine nach Objektklasse getrennte Aufteilung der die erste Objektmarkierung umfassenden Sensordaten erfolgen. In anderen Worten, können die vom Bearbeiter zu verifizierenden und/oder korrigierenden Daten z.B. hierarchiebasiert, nach Komplexität bzw. Genauigkeitsanforderungen vorsortiert und entsprechend dem Bearbeiter bzw. bei entsprechender Aufteilung mehreren Bearbeitern bereitgestellt werden. So können die Daten auch auf Spezialisten für bestimmte Objektklassen und/oder Genauigkeitsanforderungen verteilt werden.
Die durch den Bearbeiter überprüften Sensordaten können erneut dem KI-Modul zugeführt werden, um ein erneutes Training zu ermöglichen. Zusätzlich oder alternativ dazu, können diese überprüften Sensordaten aber auch einem in einem Kraftfahrzeug angewendeten oder anzuwendenden KI-Modul zugeführt werden, um das Kraftfahrzeug für einen autonomen Fahrbetrieb vorzubereiten oder diesen zu verbessern.
Die Erfindung bezieht sich auch auf eine Datenverarbeitungseinrichtung zur Objektmarkierung in Sensordaten. Diese verfügt über eine Speichereinheit, eine Recheneinheit, wie etwa einen Prozessor, und eine Überprüfungseinrichtung. Die Überprüfungseinrichtung ist beispielsweise ein durch Hardware und/oder Software ausgebildetes Kl-Module, eine Mensch-Maschine-Schnittstelle usw.. Dabei ist die Datenverarbeitungseinrichtung dazu eingerichtet, das vorstehend Verfahren in einer oder mehreren der vorstehend beschriebenen Ausführungsvarianten durchzuführen.
Damit ermöglicht die Datenverarbeitungseinrichtung im Prinzip die gleichen Vorteile wie das vorstehend beschriebene Verfahren.
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
Figurenliste
Im Folgenden werden Ausführungsbeispiele der Erfindung mit Bezug auf die begleitenden Figuren detailliert beschrieben. Es zeigen:

1 eine schematische Übersicht eines Anwendungskonzepts zum Durchführen eines erfindungsgemäßen Verfahrens zur Objektmarkierung in Sensordaten unter Verwendung einer erfindungsgemäßen Datenverarbeitungseinrichtung,
2 ein beispielhaftes Werkzeug zur Unterstützung eines menschlichen Bedieners,
3 ein weiteres beispielhaftes Werkzeug zur Unterstützung eines menschlichen Bedieners und
4 ein Flussdiagramm zur Illustration von Schritten eines erfindungsgemäßen Verfahrens zur Objektmarkierung in Sensordaten.

Die Figuren sind lediglich schematisch und nicht maßstabsgetreu. In den Figuren sind gleiche, gleichwirkende oder ähnliche Elemente durchgängig mit gleichen Bezugszeichen versehen.
Ausführungsformen der Erfindung
1 zeigt zur besseren Veranschaulichung ein schematisch dargestelltes Konzept 100 zur Anwendung eines erfindungsgemäßen Verfahrens zur Objektmarkierung in Sensordaten 101. Ausgeführt wird das Konzept 100 unter Verwendung einer Datenverarbeitungseinrichtung 110, die eine Speichereinheit 111, eine Recheneinheit 112 mit einem Prozessor, eine (nicht näher bezeichnete) Datenschnittstelle und eine Überprüfungseinrichtung 113 aufweist. Die Überprüfungseinrichtung 113 ist hier durch eine gestrichelte Linie von den übrigen Komponenten der Datenverarbeitungseinrichtung 110 getrennt, um anzudeuten, dass diese nicht zwingend eine Baueinheit bilden und auch z.B. nur über ein Kommunikationsnetzwerk, z.B. dem Internet, miteinander verbunden sind. Es sei angemerkt, dass die Überprüfungseinrichtung 113 hier lediglich exemplarisch als Mensch-Maschine-Schnittstelle ausgebildet ist, jedoch auch als teil- oder vollautomatisches Computersystem ausgebildet sein kann.
In der Datenverarbeitungseinrichtung 110 ist ein Künstliches-Intelligenz-Modul, KI-Modul, 114 implementiert, das beispielsweise als Programmcode in der Speichereinheit 111 gespeichert und von der Recheneinheit 112 ausführbar ist. Das KI-Modul 114 umfasst hier exemplarisch ein künstliches neuronales Netz, KNN, das hier exemplarisch als sogenanntes Deep Neural Network mit Zwischenlagen ausgeführt ist. Diesem können über die Datenschnittstelle Daten zugeführt und entnommen werden.
Das Verfahren zur Objektmarkierung in den Sensordaten 101 sieht in einem optionalen Schritt S0 (siehe auch das Flussdiagram in 3) zunächst vor, dass das KI-Modul 114 vor der Zuführung der auszuwertenden Sensordaten 101 mit einer Anzahl von Trainingsdatensätzen 102 trainiert wird. Zweckmäßigerweise sind die Trainingsdatensätze 102 den Sensordaten 101 inhaltlich ähnlich. Im Folgenden wird davon ausgegangen, dass das KI-Modul 114 trainiert ist.
In einem Schritt S1 (siehe auch das Flussdiagramm in 4) werden dem KI-Modul 114 dann die Sensordaten 101 zur weiteren Verarbeitung zugeführt, indem diese beispielsweise in eine Eingangsschicht des KNN eingespeist werden. Die Sensordaten 101 werden von einer (nicht gezeigten) ersten Erfassungseinrichtung bereitgestellt, die z.B. eine oder mehrere Kameras, LIDAR-Sensoren usw. umfasst. In diesem Ausführungsbeispiel umfassen die Sensordaten 101 daher Bilddaten, in denen eine Fahrzeugumgebung bzw. eine Verkehrssituation mit einer Mehrzahl von statischen und/oder dynamischen Objekten erfasst ist. Die Sensordaten 101 liegen als Bilddatei vor, die sich entsprechend computergestützt verarbeiten lässt.
In einem Schritt S2 (siehe auch das Flussdiagramm in 4) werden einem oder mehreren von den in den Sensordaten 101 enthaltenen Objekten, nach Erkennung oder angenäherter Erkennung, durch das KI-Modul 114 jeweils eine erste Objektmarkierung 103 automatisch zugeordnet. D.h., dass die in den Sensordaten 101 automatisch erkannten Objekte klassifiziert werden, also einer jeweiligen Objektklasse zugeordnet werden, die dann entsprechend mit der jeweiligen ersten Objektmarkierung 103 gekennzeichnet werden. Diese erste Objektmarkierung 103 stellt in dem Verfahren eine Art Vorkennzeichnung dar und kann daher auch als Pre-Label bezeichnet werden.
In einem Schritt S3 (siehe auch das Flussdiagramm in 4) werden dann die die erste Objektmarkierung 103 umfassenden Sensordaten 101 an der Überprüfungseinrichtung 113 zum Überprüfen der ersten Objektmarkierung 103 durch ein weiteres, zweites KI-Modul und/oder einen menschlichen Bearbeiter bereitgestellt. Im Falle des menschlichen Bearbeiters prüft dieser also z.B. an einem Bildschirm zumindest, ob die erste Objektmarkierung 103, die eine bestimmte Objektklasse angibt, das jeweilige Objekt korrekt kennzeichnet. Dabei kann die Überprüfungseinrichtung 113 auch über das Internet angebunden sein. Sie weist eine grafische Benutzeroberfläche auf und stellt darin ein Software-Werkzeug bereit, um die Sensordaten 101 mitsamt der ersten Objektmarkierung 103 grafisch darzustellen und dieses zu bearbeiten zu können. Der menschliche Bearbeiter überprüft die von dem KI-Modul 114 automatisch zugeordnete erste Objektmarkierung 103 und korrigiert und/oder bestätigt diese zu einer im Prinzip endgültigen, zweiten Objektmarkierung 115, die somit als Label bezeichnet werden kann. Das Label bzw. die zweite Objektmarkierung 115 gibt jeweils die Klasse des jeweiligen Objekts an.
Dieses Verfahren kann in vielerlei Hinsicht abgewandelt werden. So ist es möglich, dass - wie in 1 gezeigt - die Sensordaten 101 vor dem Zuführen an das KI-Modul 114 in Schritt S1 mit ersten Hilfsdaten 116 verknüpft werden. Dies ist in 1 durch einen zusätzlichen Eingangspfad des KI-Moduls 114 angedeutet, so dass dort - neben den Trainingsdatensätzen 102 - die Sensordaten 101 und die ersten Hilfsdaten 116 eingespeist werden. Im Prinzip unterstützen die ersten Hilfsdaten 116 die qualitativen Ergebnisse des KI-Moduls 114 beim Zuordnen der ersten Objektmarkierung 103 und können dabei mehrere unterschiedliche Ansätze verfolgen. So können mit den ersten Hilfsdaten 116 zusätzliche Daten von wenigstens einer (nicht gezeigten) zweiten Erfassungseinrichtung bereitgestellt werden, die zu der oben erläuterten, die Sensordaten bereitstellenden ersten Erfassungseinrichtung unterschiedlich ist. Es werden also die Sensordaten 101 mit anderen Daten fusioniert, die idealerweise von einem anderen Sensor stammen. Alternativ oder zusätzlich dazu, können die ersten Hilfsdaten 116 auch eine den Sensordaten 101 zugeordnete Zeitinformation umfassen, wozu beispielsweise die ersten Hilfsdaten 116 ein in den Sensordaten 101 enthaltendes Einzelbild um wenigstens ein vorangegangenes und/oder ein nachfolgendes Zusatzbild ergänzen. Alternativ dazu, können die Sensordaten 101 auch eine Bildsequenz enthalten, aus der zusätzliche Bilder berücksichtigt werden. Zusätzlich oder alternativ dazu, können die ersten Hilfsdaten 116 auch eine Information zur Bildtiefe der Sensordaten 101 enthalten. Es ist auch möglich, dass die ersten Hilfsdaten 116 eine Straßenkarteninformation umfassen, um insbesondere die Zuordnung der ersten Objektmarkierung 103 zu statischen Objekten zu unterstützen.
Anhand der ersten Hilfsdaten 116 kann das KI-Modul 114 auch in die Lage versetzt werden, signifikante Bildanteile der Sensordaten 101 in höherer Qualität herauszustellen und weniger signifikante Bildanteile vor dem Bereitstellen an der Überprüfungseinrichtung 113 automatisch zu entfernen. Hierzu kann beispielsweise ein 3D-CRF-Verfahren verwendet werden. Die Entfernung dieser weniger signifikanten Bildanteile ermöglicht im menschlichen Korrekturprozess, also bei oder nach dem Bereitstellen an der Überprüfungseinrichtung 113 zum Überprüfen der ersten Objektmarkierung 103 durch den menschlichen Bearbeiter, eine Erhöhung der Effizienz zum Zuordnen des Labels, da zeitlich aufwändige Korrekturen der Kontur oder unbrauchbare Pre-Label Elemente, d.h. die erste Objektmarkierung 103, nicht manuell entfernt werden müssen. Über die Überprüfungseinrichtung 113 kann diese Funktionalität als Option/Vorschlag angeboten werden (z.B. in einer Visulisierung/Hervorhebung/Overlay der zu entfernenden Objekte) und nach Einschätzung des menschlichen Bearbeiters die Elemente automatisch, vorzugsweise für die gesamte Klasse oder Objektweise, entfernt werden.
Um die Bearbeitung durch den menschlichen Bearbeiter über die Überprüfungseinrichtung 113 zu unterstützen, können die um die eine oder mehreren ersten Objektmarkierungen 103 ergänzten und ggf. durch die ersten Hilfsdaten 116 weiter verbesserten Sensordaten 101 noch vor dem dortigen Bereitstellen mit zweiten Hilfsdaten 117 verknüpft werden. Die zweiten Hilfsdaten 117 können den menschlichen Bearbeiter als Werkzeuge auf unterschiedliche Weise unterstützen. So ist es möglich, dass die zweiten Hilfsdaten 117 eine von dem KI-Modul 114 erzeugte, das jeweilige Objekt zumindest teilweise umgebende Konturlinie umfasst. Diese ist idealerweise editierbar und lässt sich anpassen, um die Kontur des Objekts möglichst genau zu erfassen und die erste Objektmarkierung 103 somit besonders präzise zuzuordnen. Alternativ oder zusätzlich dazu, können die zweiten Hilfsdaten 117 auch einen Korrekturhinweis umfassen, wenn dem jeweiligen Objekt keine und/oder nur eine mit einem Unsicherheitsfaktor assoziierte erste Objektmarkierung 103 zuordbar ist. Der Korrekturhinweis kann z.B. darin bestehen, dass ein Bildbereich, in dem das Objekt vermutet wird, weil beispielsweise eine Anzahl von Pixeln darauf hindeutet, durch eine grafische Markierung, wie einem Rahmen usw., hervorgehoben wird. Es ist aber auch möglich, dass die Objektmarkierung 103 auf eine für solche Fälle vorbestimmte Klasse, wie etwa „other class“ hindeutet. Die Sensordaten 102 mitsamt den mehreren Objektmarkierungen 103 können auch unterschiedlichen Bearbeitern, z.B. Spezialisten für bestimmte Klassen, zugeteilt werden. Dabei ist eine Aufteilung der Sensordaten 102 nach der Komplexität, nach Klassenhierarchie usw. möglich.
Die 2 und 3 zeigen jeweils ein Ausführungsbeispiel eines beispielhaften Werkzeugs, das mit den zweiten Hilfsdaten 117 bereitgestellt werden kann. Gemeinsam ist diesen, dass die Sensordaten 101 durch das KI-Modul 114 in verschiedene Schichten bzw. Layer 118 aufgeteilt werden, die zumindest teilweise unterschiedliche Objektklassen enthalten. Insbesondere enthält ein einzelner Layer 118 nicht sämtliche zu markierenden Objekte, sondern nur eine Teilmenge davon, um die Objekte ohne Überlagerungen und somit besser erkennbar darzustellen.
In dem in 2 gezeigten Ausführungsbeispiel sind exemplarisch drei Layer 118 vorgesehen, von denen der in 2 linke Layer 118 nur ein Objekt 119 einer ersten Objektklasse enthält. Dieses Objekt 119 kann daher übersichtlich dargestellt und durch den menschlichen Bearbeiter mit hoher Präzision markiert werden, was insbesondere die exakte Markierung der Kontur einschließt. Der in 2 mittlere Layer 118 enthält nun zwei weitere, zweite Objekte 120, die hier zusätzlich zu dem ersten Objekt 119 enthalten sind, da sie durch das erste Objekt 119 nicht verdeckt werden. Dementsprechend hat das KI-Modul 114 beide Objekte 119, 120 in einem gemeinsamen Layer 118 belassen. Nun können auch die Objekte 120 durch den menschlichen Bearbeiter mit hoher Präzision bearbeitet, also markiert, werden. Der in 2 rechte Layer 118 enthält nun noch zwei weitere, dritte Objekte 121, die ebenfalls zusätzlich zu den Objekten 119, 120 enthalten sind, da sie von diesen nicht verdeckt werden. Dementsprechend können nun auch die Objekte 121 durch den menschlichen Bearbeiter markiert werden.
Das in 3 gezeigte Ausführungsbeispiel unterscheidet sich dadurch von dem vorstehenden, dass die drei exemplarischen Layer 118 nun jeweils nur eine einzige Objektklasse enthalten. So enthält der in 3 linke Layer 118 nur das erste Objekt 119, der in 3 mittlere Layer 118 nur die zweiten Objekte 120 und der in 3 rechte Layer 118 nur die dritten Objekte 121. Diese werden also getrennt voneinander dargestellt und können so mit hoher Präzision einzeln markiert werden. Die einzelnen Layer 118 werden dann nach dem Markieren zu den die zweite Objektmarkierung 115 aufweisenden Sensordaten 101 verknüpft.
In einem optionalen Schritt (nicht gezeigt) werden die bearbeiteten Sensordaten 101, die also die zweite Objektmarkierung 115, d.h. das Label, für ein oder mehrere darin enthaltene Objekt aufweisen, entweder erneut dem KI-Modul 114 zugeführt, wie dies in 1 durch einen Pfeil 122 angedeutet ist. Oder diese Sensordaten 101 werden der dafür vorgesehenen Anwendung, z.B. einem für ein Kraftfahrzeug vorgesehenen KI-Modul, als z.B. Trainingsdatensatz zugeführt, wie dies in 1 durch einen Pfeil 123 angedeutet ist.

Claims

Verfahren zur Objektmarkierung in Sensordaten (101), mit den folgenden Schritten: - Zuführen (S1) der Sensordaten (101) an ein Künstliches-Intelligenz-Modul (114), Kl-Modul, gekennzeichnet durch - automatisches Zuordnen (S2) einer ersten Objektmarkierung (103) zu wenigstens einem in den Sensordaten (101) erkannten und/oder vermuteten Objekt durch das KI-Modul (114), und - Bereitstellen (S3) von den die erste Objektmarkierung (103) umfassenden Sensordaten (101) an eine Überprüfungseinrichtung (113) zum Überprüfen der ersten Objektmarkierung (103).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die erste Objektmarkierung (103) durch die Überprüfungseinrichtung (113) optimiert wird, wenn diese als zumindest im Wesentlichen korrekt erachtet wird, oder zu einer zweiten Objektmarkierung (115) korrigiert wird, wenn diese als zumindest verbesserbar erachtet wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Sensordaten (101) vor dem Zuführen (S1) an das KI-Modul (114) mit ersten Hilfsdaten (116) verknüpft werden.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die ersten Hilfsdaten (116) von wenigstens einer zweiten Erfassungseinrichtung bereitgestellt werden, die zu einer die Sensordaten (101) bereitstellenden ersten Erfassungseinrichtung unterschiedlich ist.
Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass die ersten Hilfsdaten (116) eine den Sensordaten (101) zugeordnete Zeitinformation umfassen.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die ersten Hilfsdaten (116) ein in den Sensordaten (101) enthaltendes Einzelbild um wenigstens ein vorangegangenes und/oder ein nachfolgendes Zusatzbild ergänzen.
Verfahren nach einem Ansprüche 3 bis 6, dadurch gekennzeichnet, dass die ersten Hilfsdaten (116) eine Straßenkarteninformation umfassen.
Verfahren nach einem Ansprüche 3 bis 7, dadurch gekennzeichnet, dass das KI-Modul (114) anhand der ersten Hilfsdaten (116) eine verzichtbare Sensorinformation entfernt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensordaten (101) nach dem Zuordnen der ersten Objektmarkierung (103) mit zweiten Hilfsdaten (117) verknüpft werden.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die zweiten Hilfsdaten (117) eine von dem KI-Modul (114) erzeugte, das Objekt zumindest teilweise umgebende Konturlinie umfassen.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die Konturlinie durch die Überprüfungseinrichtung (113) anpassbar ist.
Verfahren nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass die zweiten Hilfsdaten (117) einen Korrekturhinweis umfassen, wenn dem Objekt keine und/oder nur eine mit einem Unsicherheitsfaktor assoziierte erste Objektmarkierung (103) zuordbar ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nach dem Zuordnen (S2) eine nach Objektklasse getrennte Aufteilung der die erste Objektmarkierung (103) umfassenden Sensordaten (102) erfolgt.
Datenverarbeitungseinrichtung (110) zur Objektmarkierung in Sensordaten (101), mit einer Speichereinheit (111), einer Recheneinheit (112) und einer Überprüfungseinrichtung (113), wobei die Datenverarbeitungseinrichtung (110) dazu eingerichtet ist, ein Verfahren nach einem der vorherigen Ansprüche durchzuführen.