DE102020215930A1

DE102020215930A1 - Visuelle analytikplattform zum aktualisieren von objektdetektionsmodellen in anwendungen des autonomen fahrens

Info

Publication number: DE102020215930A1
Application number: DE102020215930.0A
Authority: DE
Inventors: Liu Ren; Liang Gou; Axel Wendt; Nanxiang LI; Lincan Zou
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-12-31
Filing date: 2020-12-15
Publication date: 2021-07-01
Also published as: CN113128329A; US20210201053A1; US11587330B2

Abstract

Visuelles Analytikwerkzeug zum Aktualisieren von Objektdetektionsmodellen in Anwendungen des autonomen Fahrens. Bei einer Ausführungsform umfasst ein Objektdetektionsmodell-Analysesystem einen Computer und eine Schnittstellenvorrichtung. Die Schnittstellenvorrichtung umfasst eine Anzeigevorrichtung. Der Computer umfasst einen elektronischen Prozessor, der ausgelegt ist zum Extrahieren von Objektinformationen aus Bilddaten unter Verwendung eines ersten Objektdetektionsmodells, Extrahieren von Eigenschaften von Objekten aus den Bilddaten zugeordneten Metadaten, Erzeugen einer Kurzfassung der Objektinformationen und der Eigenschaften, die extrahiert werden, Erzeugen von koordinierten Visualisierungen auf der Basis der Kurzfassung und der Eigenschaften, die extrahiert werden, Erzeugen eines Empfehlungs-Grafische-Benutzeroberfläche-Elements auf der Basis der koordinierten Visualisierungen und der ersten oder mehrerer Benutzereingaben, und Aktualisieren des ersten Objektsdetektionsmodells mindestens teilweise auf der Basis der Klassifikation des einen oder der mehreren einzelnen Objekte als die tatsächliche Schwäche mit Bezug auf das erste Objektdetektionsmodell, um ein zweites Objektdetektionsmodell zum autonomen Fahren zu erzeugen.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft allgemein eine visuelle Analytikplattform für Objektdetektionsmodelle. Spezieller betrifft die vorliegende Offenbarung eine visuelle Analytikplattform für Objektdetektionsmodelle in Anwendungen des autonomen Fahrens.
HINTERGRUND
Objektdetektion ist eine wichtige Komponente beim autonomen Fahren. Es ist auch angemessen, die Leistungsfähigkeit von Objektdetektionsmodellen, die durch einen oder mehrere elektronische Prozessoren implementiert werden, um die Objektdetektion beim autonomen Fahren durchzuführen, zu evaluieren und zu analysieren.
Eine Metrik der mittleren Durchschnittsgenauigkeit (hier als „mAP“ bezeichnet) wurde zur Evaluierung der Genauigkeit von Objektdetektionsmodellen verwendet. Die Metrik mAP wird gewöhnlich über mehrere Fälle mit allen Objektkategorien und verschiedenen Schwellen von Werten des Schnitts über der Vereinigung (hier als „IoU-Werte“ bezeichnet), die die sich überlappenden Bereiche zwischen den Umrandungskästen von Bodendaten und Prädiktion messen, aggregiert. Die Metrik mAP stellt ein quantitatives Maß für die Modellleistungsfähigkeit durch das Objektdetektionsmodell bereit und stellt einen Vergleich zwischen verschiedenen Objektdetektionsmodellen bereit.
KURZF ASSUNG
Als eine einzige und aggregierte Metrik stellt die Metrik mAP jedoch außer einem Wert auf hoher Ebene der Modellleistungsfähigkeit keinerlei Kontext oder Detail bereit. Es gibt viele Faktoren, die sich auf die Modellleistungsfähigkeit auswirken, wie etwa Objektkategorien, Größe, Bildhintergrund oder andere geeignete Faktoren. Ohne Kontext oder Detail hinsichtlich der verschiedenen Faktoren, die sich direkt auf die Modellleistungsfähigkeit auswirken, sind Ursachen von Fehlern in Objektdetektionsmodellen schwer zu verfolgen. Folglich ist die Verbesserung der Modellleistungsfähigkeit von Objektdetektionsmodellen schwierig, weil die Ursachen von Fehlern wahrscheinlich unbekannt und schwer zu verfolgen sind.
Unter anderem sehen sich herkömmliche Evaluierungsverfahren und -werkzeuge immer noch den folgenden Herausforderungen gegenüber: 1) eine aggregierte Metrik von mAP ohne Betrachtung der Kontext-Info von Objektcharakteren, 2) keine Menge von intuitiven Mechanismen zum Verstehen der Gesamteigenschaften der Datensätze und Modellleistungsfähigkeit, 3) kein interaktives Erkundungs- und Navigationswerkzeug zur Analyse der Modellleistungsfähigkeit mit angepasstem Kontext und 4) viel erforderlicher manueller Mühe zum Navigieren und Eingrenzen der Ursachen. Um diese Herausforderungen anzugehen, umfasst die vorliegende Offenbarung unter anderem eine visuelle Analytikplattform mit koordinierten Visualisierungen zum Durchführen einer facettenreichen Leistungsfähigkeitsanalyse für Objektdetektionsmodelle in Anwendungen des autonomen Fahrens.
Zum Beispiel umfasst bei einer Ausführungsform die vorliegende Offenbarung ein Objektdetektionsmodell-Analysesystem. Das Objektdetektionsmodell-Analysesystem umfasst einen Computer und eine Schnittstellenvorrichtung. Die Schnittstellenvorrichtung umfasst eine Anzeigevorrichtung. Der Computer umfasst eine Kommunikationsschnittstelle, ausgelegt zum Kommunizieren mit der Schnittstellenvorrichtung, einen Speicher, der eine visuelle Objektdetektionsmodell-Analyseplattform und ein erstes Objektdetektionsmodell für autonomes Fahren umfasst, und einen kommunikativ mit dem Speicher verbundenen elektronischen Prozessor. Der elektronische Prozessor ist ausgelegt zum Extrahieren von Objektinformationen aus Bilddaten unter Verwendung eines ersten Objektdetektionsmodells, Extrahieren von Eigenschaften von Objekten aus den Bilddaten zugeordneten Metadaten, Erzeugen einer Kurzfassung der Objektinformationen und der Eigenschaften, die extrahiert werden, Erzeugen von koordinierten Visualisierungen auf der Basis der Kurzfassung und der Eigenschaften, die extrahiert werden, Ausgeben der koordinierten Visualisierungen zur Anzeige auf einer Anzeigevorrichtung, Empfangen einer Benutzereingabe, die einen Teil von Informationen auswählt, die in den koordinierten Visualisierungen enthalten sind, Erzeugen eines Empfehlungs-Grafische-Benutzeroberfläche-Elements auf der Basis der koordinierten Visualisierungen und der ersten oder mehrerer Benutzereingaben, wobei das Empfehlungs-Grafische-Benutzeroberflächenelement eine oder mehrere potenzielle Schwächen des ersten Objektdetektionsmodells zusammenfasst, Ausgeben des Empfehlungs-Grafische-Benutzeroberflächenelements zur Anzeige auf der Anzeigevorrichtung, Empfangen einer zweiten Benutzereingabe, die ein oder mehrere einzelne Objekte aus den Objektinformationen auswählt, die extrahiert werden und in der einen oder den mehreren potenziellen Schwächen enthalten sind, Ausgeben eines Bildes auf der Basis der Bilddaten und der zweiten Benutzereingabe, wobei das Bild das eine oder die mehreren einzelnen Objekte hervorhebt, Empfangen einer dritten Benutzereingabe, die das eine oder die mehreren einzelnen Objekte mit Bezug auf das erste Objektdetektionsmodell als eine tatsächliche Schwäche klassifizieren, und Aktualisieren des ersten Objektsdetektionsmodells mindestens teilweise auf der Basis der Klassifikation des einen oder der mehreren einzelnen Objekte als die tatsächliche Schwäche mit Bezug auf das erste Objektdetektionsmodell, um ein zweites Objektdetektionsmodell zum autonomen Fahren zu erzeugen.
Zusätzlich umfasst bei einer anderen Ausführungsform die vorliegende Offenbarung ein Verfahren zum Aktualisieren eines Objektdetektionsmodells für autonomes Fahren mit einer visuellen Objektdetektionsmodell-Analyseplattform. Das Verfahren umfasst Extrahieren von Objektinformationen aus Bilddaten mit einem elektronischen Prozessor und einem ersten Objektdetektionsmodell für autonomes Fahren. Das Verfahren umfasst Extrahieren von Eigenschaften von Objekten aus den Bilddaten zugeordneten Metadaten mit dem elektronischen Prozessor; Erzeugen einer Kurzfassung der Objektinformationen und der Eigenschaften, die extrahiert werden, mit dem elektronischen Prozessor; Erzeugen von koordinierten Visualisierungen auf der Basis der Kurzfassung und der Eigenschaften, die extrahiert werden, mit dem elektronischen Prozessor; Ausgeben der koordinierten Visualisierungen zur Anzeige auf einer Anzeigevorrichtung mit dem elektronischen Prozessor; Empfangen einer ersten oder mehrerer Benutzereingaben,, die einen Teil von Informationen auswählt, die in den koordinierten Visualisierungen enthalten sind, mit dem elektronischen Prozessor; Erzeugen eines Empfehlungs-Grafische-Benutzeroberfläche-Elements auf der Basis der koordinierten Visualisierungen und der ersten oder mehrerer Benutzereingaben, wobei das Empfehlungs-Grafische-Benutzeroberflächenelement eine oder mehrere potenzielle Schwächen des ersten Objektdetektionsmodells zusammenfasst, mit dem elektronischen Prozessor; Ausgeben des Empfehlungs-Grafische-Benutzeroberflächenelements zur Anzeige auf der Anzeigevorrichtung mit dem elektronischen Prozessor; Empfangen einer zweiten Benutzereingabe, die ein oder mehrere einzelne Objekte aus den Objektinformationen auswählt, die extrahiert werden und in der einen oder den mehreren potenziellen Schwächen enthalten sind, mit dem elektronischen Prozessor; Ausgeben eines Bildes auf der Basis der Bilddaten und der zweiten Benutzereingabe, wobei das Bild das eine oder die mehreren einzelnen Objekte hervorhebt, mit dem elektronischen Prozessor; Empfangen einer dritten Benutzereingabe, die das eine oder die mehreren einzelnen Objekte mit Bezug auf das erste Objektdetektionsmodell als eine tatsächliche Schwäche klassifizieren, mit dem elektronischen Prozessor; und Aktualisieren des ersten Objektsdetektionsmodells mindestens teilweise auf der Basis der Klassifikation des einen oder der mehreren einzelnen Objekte als die tatsächliche Schwäche mit Bezug auf das erste Objektdetektionsmodell, um ein zweites Objektdetektionsmodell zum autonomen Fahren zu erzeugen, mit dem elektronischen Prozessor.
Zusätzlich umfasst bei noch einer anderen Ausführungsform die vorliegende Offenbarung ein nichttransitorisches computerlesbares Medium mit Anweisungen, die, wenn sie durch einen elektronischen Prozessor ausgeführt werden, bewirken, dass der elektronische Prozessor eine Menge von Operationen ausführt. Die Menge von Operationen umfasst Extrahieren von Objektinformationen aus Bilddaten unter Verwendung eines ersten Objektdetektionsmodells, Extrahieren von Eigenschaften von Objekten aus den Bilddaten zugeordneten Metadaten, Erzeugen einer Kurzfassung der Objektinformationen und der Eigenschaften, die extrahiert werden, Erzeugen von koordinierten Visualisierungen auf der Basis der Kurzfassung und der Eigenschaften, die extrahiert werden, Ausgeben der koordinierten Visualisierungen zur Anzeige auf einer Anzeigevorrichtung, Empfangen einer ersten oder mehrerer Benutzereingaben, die einen Teil von Informationen auswählt, die in den koordinierten Visualisierungen enthalten sind, Erzeugen eines Empfehlungs-Grafische-Benutzeroberfläche-Elements auf der Basis der koordinierten Visualisierungen und der ersten oder mehrerer Benutzereingaben, wobei das Empfehlungs-Grafische-Benutzeroberflächenelement eine oder mehrere potenzielle Schwächen des ersten Objektdetektionsmodells zusammenfasst, Ausgeben des Empfehlungs-Grafische-Benutzeroberflächenelements zur Anzeige auf der Anzeigevorrichtung, Empfangen einer zweiten Benutzereingabe, die ein oder mehrere einzelne Objekte aus den Objektinformationen auswählt, die extrahiert werden und in der einen oder den mehreren potenziellen Schwächen enthalten sind, Ausgeben eines Bildes auf der Basis der Bilddaten und der zweiten Benutzereingabe, wobei das Bild das eine oder die mehreren einzelnen Objekte hervorhebt, Empfangen einer dritten Benutzereingabe, die das eine oder die mehreren einzelnen Objekte mit Bezug auf das erste Objektdetektionsmodell als eine tatsächliche Schwäche klassifizieren, und Aktualisieren des ersten Objektsdetektionsmodells mindestens teilweise auf der Basis der Klassifikation des einen oder der mehreren einzelnen Objekte als die tatsächliche Schwäche mit Bezug auf das erste Objektdetektionsmodell, um ein zweites Objektdetektionsmodell zum autonomen Fahren zu erzeugen.
Bevor irgendwelche Ausführungsformen im Detail erläutert werden, versteht sich, dass die Ausführungsformen in ihrer Anwendung nicht auf die Details der Konfiguration und Anordnung von Komponenten beschränkt sind, die in der folgenden Beschreibung dargelegt oder in den beigefügten Zeichnungen dargestellt werden. Die Ausführungsformen können auf verschiedene Weisen praktiziert oder ausgeführt werden. Außerdem versteht sich, dass die Ausführungsformen Hardware, Software und elektronische Komponenten oder Module umfassen können, die für die Zwecke der Besprechung so dargestellt und beschrieben werden können, als wäre der größte Teil der Komponenten allein in Hardware implementiert. Für Durchschnittsfachleute und auf der Basis einer Durchsicht dieser ausführlichen Beschreibung ist jedoch erkennbar, dass bei mindestens einer Ausführungsform die auf Elektronik basierenden Aspekte in Software (z. B. gespeichert auf nichttransitorischem computerlesbarem Medium) implementiert werden können, die durch eine oder mehrere Verarbeitungseinheiten ausführbar ist, wie etwa einen Mikroprozessor und/oder „ASICs“ (anwendungsspezifische integrierte Schaltungen). Dementsprechend ist zu beachten, dass mehrere auf Hardware und Software basierende Vorrichtungen, sowie mehrere verschiedene Strukturkomponenten, benutzt werden können, um die Ausführungsformen zu implementieren. Zum Beispiel können in der Beschreibung beschriebene „Computer“ und „Schnittstellenvorrichtungen“ eine oder mehrere Verarbeitungseinheiten, ein oder mehrere computerlesbare Mediummodule, eine oder mehrere Eingabe-/Ausgabeschnittstellen und verschiedene Verbindungen (z. B. einen Systembus), die die Komponenten miteinander verbinden, umfassen. Außerdem versteht sich, dass, obwohl bestimmte Ausführungsformen Komponenten als logisch getrennt abbilden, eine solche Abbildung lediglich zu Anschauungszwecken erfolgt. Bei einigen Ausführungsformen können die dargestellten Komponenten in getrennte Software, Firmware und/oder Hardware kombiniert oder aufgeteilt werden. Gleichgültig, wie sie kombiniert oder aufgeteilt werden, können diese Komponenten auf derselben Datenverarbeitungsvorrichtung ausgeführt werden oder befindlich sein oder können auf verschiedene Datenverarbeitungsvorrichtungen verteilt sein, die durch ein oder mehrere Netzwerke oder andere geeignete Verbindungen verbunden werden.
Andere Aspekte verschiedener Ausführungsformen werden bei Durchsicht der ausführlichen Beschreibung und beigefügten Zeichnungen ersichtlich.
Figurenliste

1 ist eine Blockdarstellung eines Objektdetektionsmodell-Analysesystems gemäß verschiedenen Aspekten der vorliegenden Offenbarung.
2 ist eine Darstellung eines Arbeitsablaufs verschiedener Komponenten in der visuellen Objektdetektionsmodell-Analyseplattform von 1 gemäß verschiedenen Aspekten der vorliegenden Offenbarung.
3 ist eine Darstellung einer Größenverteilungsvisualisierung mit einer ersten Benutzereingabeauswahl, einer IoU-Verteilungsvisualisierung mit einer zweiten Benutzereingabeauswahl und einer Fläche-unter-Kurve- bzw. AUC-Bewertungs-Visualisierung gemäß verschiedenen Aspekten der vorliegenden Offenbarung.
4 ist eine Blockdarstellung einer beispielhaften Ausführungsform eines Analyseempfehlungselements einer grafischen Benutzeroberfläche (GUI) mit Bezug auf ein Objektdetektionsmodell gemäß verschiedenen Aspekten der vorliegenden Offenbarung.
5 und 6 sind Darstellungen zweier verschiedener Analysen des Objektdetektionsmodells gemäß verschiedenen Aspekten der vorliegenden Offenbarung.
7A und 7B sind Flussdiagramme eines beispielhaften Verfahrens 700, das durch das visuelle Objektdetektionsmodell-Analysesystem 10 von 1 ausgeführt wird, gemäß verschiedenen Aspekten der vorliegenden Offenbarung.
8 ist eine Darstellung einer Bewertungsverteilungsvisualisierung gemäß verschiedenen Aspekten der vorliegenden Offenbarung.
9 ist eine Darstellung einer Klassenverteilungsvisualisierung gemäß verschiedenen Aspekten der vorliegenden Offenbarung.

AUSFÜHRLICHE BESCHREIBUNG BEISPIELHAFTER AUSFÜHRUNGSFORMEN
Bevor irgendwelche Ausführungsformen der vorliegenden Offenbarung ausführlich erläutert werden, versteht sich, dass die vorliegende Offenbarung in ihrer Anwendung nicht auf die Konstruktionsdetails und die Anordnung von Komponenten beschränkt ist, die in der folgenden Beschreibung dargelegt oder in den folgenden Zeichnungen dargestellt werden. Es gibt andere Ausführungsformen der vorliegenden Offenbarung und sie kann auf verschiedene Weisen praktiziert oder ausgeführt werden.
1 ist eine Blockdarstellung eines visuellen Objektdetektionsmodell-Analysesystems 10. In dem Beispiel von 1 umfasst das visuelle Objektdetektions-Analysesystem 10 einen Computer 100 und eine Schnittstellenvorrichtung 120. Die Schnittstellenvorrichtung 120 umfasst eine Anzeigevorrichtung und kann ein Personal-Desktop-Computer, ein Laptop-Computer, ein Tablet-Computer, ein Personal Digital Assistant, ein Mobiltelefon oder eine andere geeignete Datenverarbeitungsvorrichtung sein.
Es versteht sich jedoch, dass es bei einigen Ausführungsformen andere Konfigurationen als die in 1 dargestellte Konfiguration gibt. Zum Beispiel kann die hier mit Bezug auf den Computer 100 beschriebene Funktionalität auf eine andere Anzahl von Computern, die verteilte Verarbeitung bereitstellen, erweitert werden. Außerdem können die hier mit Bezug auf den Computer 100 beschriebenen Funktionen alleine durch die Schnittstellenvorrichtung 120 implementiert werden, dergestalt, dass das in 1 beschriebene System des „Cloud-Typs“ auch für ein System der „persönlichen Datenverarbeitung“ gilt.
Der Computer 100 umfasst einen elektronischen Prozessor 102 (zum Beispiel einen Mikroprozessor oder eine andere geeignete Verarbeitungsvorrichtung), einen Speicher 104 (zum Beispiel ein nichttransitorisches computerlesbares Speicherungsmedium) und eine Kommunikationsschnittstelle 114. Es versteht sich, dass bei einigen Ausführungsformen der Computer 100 in Konfigurationen, die von der in 1 dargestellten verschieden sind, weniger oder zusätzliche Komponenten umfassen kann. Außerdem kann der Computer 100 zusätzliche Funktionalität als die hier beschriebene Funktionalität ausführen. Außerdem kann die Funktionalität des Computers 100 in andere Computer integriert werden. Wie in 1 dargestellt, werden der elektronische Prozessor 102, der Speicher 104 und die Kommunikationsschnittstelle 114 durch einen oder mehrere Steuer- oder Datenbusse, die Kommunikation zwischen den Komponenten ermöglichen, elektrisch gekoppelt.
In einem Beispiel führt der elektronische Prozessor 102 in dem Speicher 104 gespeicherte maschinenlesbare Anweisungen aus. Zum Beispiel kann der elektronische Prozessor 102 in dem Speicher 104 gespeicherte Anweisungen ausführen, um die hier beschriebene Funktionalität auszuführen.
Der Speicher 104 kann einen Programmspeicherungsbereich (zum Beispiel ROM (Festwertspeicher)) und einen Datenspeicherungsbereich (zum Beispiel RAM (Direktzugriffsspeicher) und ein anderes nichttransitorisches maschinenlesbares Medium) umfassen. In einigen Beispielen kann der Programmspeicherungsbereich die Anweisungen hinsichtlich einer visuellen Objektdetektionsmodell-Analyseplattform 106 (auch als „visuelles Objektdetektionsmodell-Analysewerkzeug 106“ bezeichnet) und eines Objektdetektionsmodells 108 speichern. Außerdem kann der Datenspeicherungsbereich in einigen Beispielen Bilddaten 110 und den Bilddaten 110 zugeordnete Metadaten 112 speichern.
Da visuelle Objektdetektionsmodell-Analysewerkezug 106 weist maschinenlesbare Anweisungen auf, die bewirken, dass der elektronische Prozessor 102 die Bilddaten 110 und zugeordneten Metadaten 112 aus dem Speicher 104 mit dem Objektdetektionsmodell 108 verarbeitet (z. B. abruft) und auf der Basis der Bilddaten 110 und der zugeordneten Metadaten 112 verschiedene Visualisierungen erzeugt. Insbesondere verwendet der elektronische Prozessor 102 bei der Verarbeitung der Bilddaten 110 und der zugeordneten Metadaten 112 mit dem Objektdetektionsmodell 108 (wie z. B. nachfolgend in 2 dargestellt) Maschinenlernen zur Erzeugung und Ausgabe von Entwicklereinsichten, Datenvisualisierung und Verbesserungsempfehlungen für das Objektdetektionsmodell 108.
Maschinenlernen bezieht sich im Allgemeinen auf die Fähigkeit eines Computerprogramms, zu lernen, ohne explizit programmiert zu werden. Bei einigen Ausführungsformen ist ein Computerprogramm (zum Beispiel eine Lern-Engine) dafür ausgelegt, einen Algorithmus auf der Basis von Eingaben zu konstruieren. Bei beaufsichtigtem Lernen werden einem Computerprogramm beispielhafte Eingaben und ihre gewünschten Ausgaben präsentiert. Das Computerprogramm ist dafür ausgelegt, aus den Trainingsdaten, die es empfängt, eine allgemeine Regel zu erlernen, die die Eingaben auf die Ausgaben abbildet. Beispielhafte Maschinenlern-Engines wären Entscheidungsbaum-Lernen, Assoziations-Regel-Lernen, künstliche neuronale Netze, Klassifizierer, induktive Logikprogrammierung, Support-Vektormaschinen, Clusterung, Bayesische Netze, Reinforcement-Lernen, Darstellungs-Lernen, Ähnlichkeits- und Metrik-Lernen, Spärliches-Wörterbuch-Lernen und genetische Algorithmen. Unter Verwendung eines oder mehrerer der oben beschriebenen Ansätze kann ein Computerprogramm Daten einnehmen, analysieren und verstehen und schrittweise Algorithmen zur Datenanalytik verfeinern.
Die Kommunikationsschnittstelle 114 empfängt Daten von Vorrichtungen außerhalb des Computers 100, wie etwa der Schnittstellenvorrichtung 120, und stellt diesen Daten bereit. Zum Beispiel kann die Kommunikationsschnittstelle 114 einen Port oder eine Verbindung zum Empfangen einer verdrahteten Verbindung (zum Beispiel eines Ethemetkabels, eines faseroptischen Kabels, eines Telefonkabels oder dergleichen), einen drahtlosen Sendeempfänger oder eine Kombination davon umfassen. In einigen Beispielen kann die Kommunikationsschnittstelle 114 über das Internet mit der Schnittstellenvorrichtung 120 kommunizieren.
In einigen Beispielen umfasst der Computer 100 eine oder mehrere grafische Benutzeroberflächen (wie später ausführlicher beschrieben und in 2-6 dargestellt) und eine oder mehrere (nicht gezeigte) Benutzerschnittstellen. Die einen oder mehreren grafischen Benutzeroberflächen (eine oder mehrere Webseiten) umfassen grafische Elemente, die es einem Benutzer der Schnittstellenvorrichtung 120 erlauben, eine Schnittstelle mit dem Computer 100 zu bilden. Die eine oder mehreren grafischen Benutzeroberflächen können einen Anzeigebildschirm umfassen oder Teil davon sein, der die Entwicklereinsichten, die Datenvisualisierung und Verbesserungsempfehlungen anzeigt und die durch den elektronischen Prozessor 102 aus der Ausführung des visuellen Objektdetektions-Analysewerkzeugs 106 ausgegeben werden.
In einigen Beispielen umfasst der Computer 100 eine oder mehrere (nicht gezeigte) Benutzerschnittstellen. Die eine oder mehreren Benutzerschnittstellen umfassen einen oder mehrere Eingabemechanismen (z. B. einen Touchscreen, ein Tastenfeld, eine Taste, einen Knopf oder dergleichen), einen oder mehrere Ausgabemechanismen (zum Beispiel eine Anzeige, einen Drucker, einen Lautsprecher und dergleichen) oder eine Kombination davon. Die eine oder mehreren optionalen Benutzerschnittstellen empfangen Eingaben von einem Benutzer, stellen einem Benutzer Ausgaben bereit oder eine Kombination davon. Bei einigen Ausführungsformen kann der Computer 100 als Alternativ zu oder zusätzlich zur Verwaltung von Eingaben und Ausgaben mittels der einen oder mehreren optionalen Benutzerschnittstellen Benutzereingaben empfangen, Benutzerausgaben bereitstellen oder beides, indem er über eine verdrahtete oder drahtlose Verbindung mit einer externen Vorrichtung (z. B. der Schnittstellenvorrichtung 120 oder einer (nicht gezeigten) Workstation) kommuniziert.
2 ist eine Darstellung eines Arbeitsablaufs 200 verschiedener Komponenten 202-210 in dem visuellen Objektdetektionsmodell-Analysewerkzeug 106 von 1. In dem Beispiel von 2 umfasst das Objektdetektionsmodell-Analysewerkzeug 106 eine Datenextraktionskomponente 202, eine Datenzusammenfassungskomponente 204, eine Koordinierte-Visualisierung-Komponente 206 und eine Analyseempfehlungskomponente 208, die das Objektdetektionsmodell 108 von 1 bewertet, und eine Modellaktualisierungskomponente 210, die das Objektdetektionsmodell 108 von 1 aktualisiert,
In dem Beispiel von 2 verwendet das Objektdetektionsmodell-Analysewerkzeug 106 das Objektdetektionsmodell 108 von 1 zum Detektieren von Ampeln in den Bilddaten 110. Wie in 2 dargestellt, extrahiert die Datenextraktionskomponente 202 die Objekteigenschaften und Modellleistungsfähigkeitsmetriken aus Datensätzen (z. B. den Bilddaten 110 und den zugeordneten Metadaten 112) und einem oder mehreren Objektdetektionsmodellen (z. B. dem Objektdetektionsmodells 108). Die Datenzusammenfassungskomponente 204 fasst die Eigenschaften dieser Datensätze zusammen. Die Koordinierte-Visualisierung-Komponente 206 repräsentiert die Datenzusammenfassung mit einer Menge von koordinierten interaktiven Visualisierungen, die eine interaktive Analyse der Beziehung zwischen verschiedenen Metriken ermöglicht. Als Letztes empfiehlt die Analyseempfehlungskomponente 208 wichtige Fehlermuster auf der Basis von Interessen eines Benutzers. Der Arbeitsablauf 200 beginnt mit Datenquellen, die Objektbilder 110 (z. B. Fahrszenen mit Ampeln) und zugeordnete Metadaten 112 (z. B. Bezeichnungen, die Klassifikations-Info umfassen, Umrandungskasten oder andere geeignete Metadaten) umfassen. Kurzgefasst, hat das Objektdetektionsmodell-Analysewerkzeug 106 vier Komponenten: eine Datenextraktionskomponente 202, eine Zusammenfassungskomponente 204 für Daten (Metriken und Metadaten), eine Koordinierte-Visualisierung-Komponente 206 und eine Analyseempfehlungskomponente 208.
Wie mit Bezug auf die Datenextraktionskomponente 202 dargestellt, gibt es zwei Arten von Daten, die extrahiert werden, um die Auswirkung von Eigenschaften eines Objekts über die Modellleistungsfähigkeit zu verstehen. Die erste Art von Daten, die extrahiert wird, sind Eigenschaften eines Objekts. Die Eigenschaften des Objekts sind Beschreibungsinformationen, die Objekttypen (z. B. grüne, gelbe, rote Ampel, Pfeile, andere geeignete Objekttypen), Objektgrößen, Seitenverhältnisse (die aus den Umrandungskasteninformationen abgeleitet werden können) und Verdeckung umfassen. Die Eigenschaften des Objekts können aus den zugeordneten Metadaten 112 extrahiert werden. Ferner können komplizierte visuelle Merkmale in den Bilddaten 110 auch mit Merkmalextraktoren extrahiert werden, z. B. Merkmalabbildungen aus tiefen Faltungs-Neuronalnetzen, was hier als der „visuelle Merkmalextraktor“ bezeichnet wird.
Die zweite Art von Daten, die extrahiert wird, ist Detektionsergebnisse. Die Detektionsergebnisse können Detektionskästen, Detektionsklassen und Detektionsbewertungen umfassen. Die Detektionsergebnisse können aus den Schlussfolgerungsergebnissen aus dem Objektdetektionsmodell 108 durch Verwendung der Bilderdaten 110 als die Eingaben erhalten werden. Mit den Bodendaten und Detektionsumrandungskästen kann das Objektdetektionsmodell 108 auch die IoU-Werte berechnen.
Wie mit Bezug auf die Datenzusammenfassungskomponente 204 dargestellt, fast die Datenzusammenfassungskomponente 204 die Datenverteilung sowohl der Objekteigenschaften als auch der Detektionsmetriken (z. B. IoUs und Konfidenzbewertungen) zusammen. Die Datenzusammenfassungskomponente 204 berechnet außerdem die Fläche-unter-Kurve- bzw. AUC-Bewertungen auf der Basis von Auswahl des Benutzers mit Interaktion der koordinierten Visualisierungen, wie nachfolgend ausführlicher beschrieben wird.
Wie mit Bezug auf die Koordinierte-Visualisierung-Komponente 206 dargestellt, ist die Koordinierte-Visualisierung-Komponente 206 eine Menge von aus der Datenzusammenfassung erzeugten Visualisierungen. Zum Beispiel ist 3 eine Darstellung einer Größenverteilungsvisualisierung 302 mit einer ersten Benutzereingabeauswahl 304 und einer IoU-Verteilungsvisualisierung 306 mit einer zweiten Benutzereingabeauswahl 308 und einer Fläche-unter-Kurve- bzw. AUC-Bewertungen-Visualisierung 310. Wie in 3 dargestellt, wählt die erste Benutzereingabeauswahl 304 einen Größenbereich zwischen 3,5 und 4,5 aus, und die zweite Benutzereingabeauswahl 308 wählt den IoU-Bereich zwischen ungefähr 0,6 und 0,7 aus, und die AUC-Bewertungen-Visualisierung 310 hinsichtlich großer Objekte wird dann durch die Datenzusammenfassungskomponente 204 berechnet und durch die Koordinierte-Visualisierung-Komponente 206 angezeigt.
Durch Berechnen der AUC-Bewertungen nach Auswahl eines Größenbereichs und eines IoU-Bereichs stellen die Datenzusammenfassungskomponente 204 und die Koordinierte-Visualisierung-Komponente 206 dem Benutzer eine kontextualisierte AUC bereit. Herkömmlicherweise ist eine kontextualisierte AUC nicht durchführbar, weil die mAP-Metriken durch Mitteln der AUC über viele IoU-Bereiche aggregiert werden.
Zusätzlich kann die Menge koordinierte Visualisierungen Verteilung von Objektklassen und -größen und Detektionsmetriken von IoUs und Bewertungen umfassen, um es dem Benutzer zu erlauben, interaktiv die interessierenden Objekte auszuwählen und die Beziehung zwischen den interessierenden Metriken zu verstehen. Speziell die Auswirkung verschiedener Objekteigenschaften über die IoU-Bewertungen oder wie die IoU-Bewertungen mit den Konfidenzbewertungen korreliert sind. Eine Streudiagramm-Visualisierung aller Objekte wird bereitgestellt, um die Gesamtmuster unter Objekteigenschaften und Modellleistungsfähigkeitsmetriken zu enthüllen. Jedes Objekt wird durch die Dimensionsreduktionsergebnisse seiner mehrvariablen Werte der Objekteigenschaften und Detektionsergebnisse einer Position im zweidimensionalen Streudiagramm zugewiesen. Es kann hier eine Dimensionsreduktion verwendet werden, wie etwa PCA, MDS, t-SNET oder eine andere geeignete Dimensionsreduktionstechnik.
Wie mit Bezug auf die Analyseempfehlungskomponente 208 dargestellt, erzeugt die Analyseempfehlungskomponente 208, wenn sie durch den elektronischen Prozessor 102 ausgeführt wird, ein Grafische-Benutzeroberfläche-Element, das mindestens eine der Stärken oder Schwächen des Objektdetektionsmodells 108 identifiziert, das der Benutzer mit minimaler manueller Erkundung untersuchen kann. Außerdem umfasst, wie in 2 dargestellt, die Analyseempfehlungskomponente 208 drei Teilkomponenten: 1) Metrikprofile, 2) Clusterung und 3) einen Analyseempfehler.
Mit Bezug auf Metrikprofile weist die Analyseempfehlungskomponente 208 vordefinierte Metrikprofile auf, darunter Falschalarme (Objekte der Größe Null ohne Bodendaten-Umrandungskästen aber mit mittleren bis hohen Konfidenzbewertungen), falsch gekennzeichnete Daten (Objekte der Größe Null mit sehr hohen Konfidenzbewertungen) und andere geeignete vordefinierte Metrikprofile. Bei einigen Ausführungsformen kann ein Benutzer des Objektdetektionsmodell-Visualisierungsanalysewerkzeugs 106 auch seine eigenen interessierenden Metrikprofile definieren, wie etwa eine große Größe mit kleinen IoUs, kleine Größe mit großen IoUs oder andere geeignete interessierende Metrikprofile.
Mit Bezug auf Clusterung weist die Analyseempfehlungskomponente 208 Metrikmusterentdeckung auf, um einem Benutzer dabei zu helfen, durch Zusammenclustern von Objekteigenschaften und Modellmetriken von Objekten nützliche Leistungsfähigkeitsmetrikmuster unter allen Objekten zu identifizieren. Als Letztes kann mit Bezug auf den Analyseempfehler die Analyseempfehlungskomponente 208 die Merkmale in den Clustern zusammenfassen und den Benutzer zu den interessierenden Clustern navigieren. Um die Cluster zusammenzufassen, kann die Analyseempfehlungskomponente 208 Merkmalauswahlverfahren verwenden, um die Merkmale höchster Priorität einem Benutzer des visuellen Objektdetektionsmodell-Analytikwerkzeugs 106 hervorzuheben.
Zum Beispiel ist 4 eine Blockdarstellung einer beispielhaften Ausführungsform eines Elements 400 der grafischen Benutzeroberfläche (GUI) zur Analyseempfehlung mit Bezug auf das Objektdetektionsmodell 108, das drei Schwächen identifiziert: einen Anzahl-Potenzieller-Falschalarme-Abschnitt 402, einen Anzahl-Potenzieller-Fehlender-Kennzeichnungen-Abschnitt 404 und einen Verpasste-Detektierte-Gruppen-Abschnitt 406. Der Verpasste-Detektierte-Gruppen-Abschnitt 406 umfasst ferner einen ersten Teilabschnitt, der kleiner Größe und dunklem Hintergrund der Objekte mit niedrigen IoUs gewidmet ist, und einen zweiten Teilabschnitt, der gelbem Licht und hoher Helligkeit gewidmet ist. Auf diese Weise erlauben die Abschnitte 402-406 des Analyseempfehlungs-GUI-Elements 400 einem Benutzer, schnell diese Objekte in der zweidimensionalen Streudiagrammvisualisierung zu finden und ermöglichen weitere Analyse ohne manuelle Erkundung jedes einzelnen detektierten Objekts durch den Benutzer.
Zum Beispiel sind 5 und 6 Darstellungen zweier verschiedener Analysen 500 und 600 des Objektdetektionsmodells 108. Die Analyse 500 ist mit dem Potenzielle-Falschalarme-Abschnitt 402 des Analyseempfehlungs-GUI-Elements 400 verbunden und erlaubt einem Benutzer, in Segmente des zweidimensionalen Streudiagramms 502 einzutauchen, um eine Art von Modellfehler in dem Objektdetektionsmodell 108 zu finden, speziell falsche Positive (z. B. Bilder 504 und 506). Die Analyse 600 ist mit dem Potenzielle-Fehlende-Kennzeichnungen-Abschnitt 404 des Analyseempfehlungs-GUI-Elements 400 verbunden und erlaubt einem Benutzer, in Segmente des zweidimensionalen Streudiagramms 602 einzutauchen, um eine andere Art von Modellfehler in dem Objektdetektionsmodell 108 zu finden, speziell Daten mit fehlenden Kennzeichnungen (z. B. Bilder 604 und 606). Einfach ausgedrückt, stellt das Analyseempfehlungs-GUI-Element 400 einem Benutzer ein Mittel zum Analysieren von Segmenten der zweidimensionalen Streudiagrammvisualisierung (d. h. der zweidimensionalen Streudiagramme 502 bzw. 602) bereit, um Unzulänglichkeiten in dem Objektdetektionsmodell 108 anzugehen.
Mit Bezug auf die Modellaktualisierungskomponente 210 kann, nachdem der Benutzer Segmente des zweidimensionalen Streudiagramms analysiert, um Unzulänglichkeiten in dem Objektdetektionsmodell 108 anzugehen, der Benutzer identifizieren, ob die Unzulänglichkeiten in dem Objektdetektionsmodell 108 existieren und wie die Unzulänglichkeiten klassifiziert werden sollten.
Auf die Klassifizierung einiger oder aller der durch das Analyseempfehlungs-GUI-Element 400 hervorgehobenen Unzulänglichkeiten hin aktualisiert die Modellaktualisierungskomponente 210, wenn sie durch den elektronischen Prozessor 102 ausgeführt wird, das Objektdetektionsmodell 108, um ein zweites Objektdetektionsmodell zu erzeugen, das die in dem Objektdetektionsmodell 108 identifizierten Unzulänglichkeiten nicht enthält. Einfach ausgedrückt, stellt die Modellaktualisierungskomponente 210 einem Benutzer ein Mittel zum Aktualisieren des Objektdetektionsmodells zur Erzeugung eines neuen Objektdetektionsmodells bereit, nachdem einige oder alle der Unzulänglichkeiten in den Objektdetektionsmodell 108 durch Gebrauch des Analyseempfehlungs-GUI-Elements 400 wie in 4-6 dargestellt durch den Benutzer angegangen wurden.
7A und 7B sind Flussdiagramme eines beispielhaften Verfahrens 700, das durch das visuelle Objektdetektionsmodell-Analysesystem 10 von 1 ausgeführt wird. 7 wird mit Bezug auf 1-6 beschrieben.
In dem Beispiel von 7 umfasst das Verfahren 700, dass der elektronische Prozessor 102 des Computers 100 Objektinformationen aus Bilddaten mit einem ersten Objektdetektionsmodell zum autonomen Fahren extrahiert (Block 702). Zum Beispiel extrahiert der elektronische Prozessor 102 des Computers 100 Objektinformationen aus Bilddaten 110 mit dem Objektdetektionsmodell 108 für autonomes Fahren.
Das Verfahren 700 umfasst, dass der elektronische Prozessor 102 Eigenschaften von Objekten aus den Bilddaten zugeordneten Metadaten extrahiert (Block 704). Zum Beispiel extrahiert der elektronische Prozessor 102 Eigenschaften von Objekten aus zugeordneten Metadaten 112, die den Bilddaten 110 zugeordnet sind, als Teil der Datenextraktionskomponente 202 von 2.
Das Verfahren 700 umfasst, dass der elektronische Prozessor 102 eine Kurzfassung der Objektinformationen und der Eigenschaften, die extrahiert werden, erzeugt (Block 706). Zum Beispiel erzeugt der elektronische Prozessor 102 die Datenverteilung, Fläche-unter-Kurve- bzw. AUC-Werte und mAP-Werte als Teil der Datenzusammenfassungskomponente 204 von 2.
Das Verfahren 700 umfasst, dass der elektronische Prozessor 102 koordinierte Visualisierungen auf der Basis der Kurzfassung und der Eigenschaften, die extrahiert werden, erzeugt (Block 708). Das Verfahren 700 umfasst, dass der elektronische Prozessor 102 die koordinierten Visualisierungen zur Anzeige auf einer Anzeigevorrichtung ausgibt (Block 710). Zum Beispiel erzeugt der elektronische Prozessor 102 die koordinierten Visualisierungen als Teil der Koordinierte-Visualisierung-Komponente 206 von 2 und gibt diese aus.
Das Verfahren 700 umfasst, dass der elektronische Prozessor 102 eine erste oder mehrere Benutzereingaben über eine Kommunikationsschnittstelle von einer Schnittstellenvorrichtung empfängt, wobei die erste oder mehrere Benutzereingaben einen Teil von Informationen auswählen, die in den koordinierten Visualisierungen enthalten sind (Block 712). Zum Beispiel empfängt der elektronische Prozessor 102 eine erste oder mehreren Benutzereingaben von der Schnittstellenvorrichtung 120 über die Kommunikationsschnittstelle 114, und die erste oder mehreren Benutzereingaben umfassen die erste Benutzereingabe 304 und die zweite Benutzereingabe 308 von 3.
Das Verfahren 700 umfasst, dass der elektronische Prozessor 102 auf der Basis der koordinierten Visualisierungen und der einen oder mehreren Benutzereingaben das Empfehlungs-Grafische-Benutzeroberfläche-Element erzeugt, das eine oder mehrere potenzielle Schwächen des ersten Detektionsmodells zusammenfasst (Block 714). Das Verfahren 700 umfasst, dass der elektronische Prozessor 102 das Empfehlungs-Grafische-Benutzeroberfläche-Element zur Anzeige auf der Anzeigevorrichtung ausgibt (Block 716). Zum Beispiel erzeugt der elektronische Prozessor 102 das Empfehlungs-Grafische-Benutzeroberfläche-Element 400 von 4.
Das Verfahren 700 umfasst, dass der elektronische Prozessor 102 eine zweite Benutzereingabe empfängt, die ein oder mehrere einzelne Objekte aus den Objektinformationen auswählt, die extrahiert werden und in der einen oder den mehreren potenziellen Schwächen enthalten sind (Block 718). Zum Beispiel ist die zweite Benutzereingabe eine Auswahl des Potenzielle-Falschalarme-Abschnitts 402, der Potenziell-Fehlende-Kennzeichnungen-Abschnitts 404 oder des Verpasste-Detektierte-Gruppen-Abschnitts 406 von 4, und die Auswahl eines oder mehrerer einzelner Objekte in einem zweidimensionalen Streudiagramm (d. h. den zweidimensionalen Streudiagrammen 502 oder 602 von 5 und 6).
Das Verfahren 700 umfasst, dass der elektronische Prozessor 102 auf der Basis der Bilddaten und der zweiten Benutzereingabe zur Anzeige auf der Anzeigevorrichtung ein Bild ausgibt, wobei das Bild das eine oder die mehreren einzelnen Objekte hervorhebt (Block 720). Zum Beispiel gibt der elektronische Prozessor 102 die Bilder 504 und 506 aus, die die einzelnen Objekte hervorheben, die in dem zweidimensionalen Streudiagramm 502, wie in 5 dargestellt, ausgewählt sind. Als Alternative gibt der elektronische Prozessor 102 zum Beispiel die Bilder 604 und 606 aus, die die einzelnen Objekte hervorheben, die in dem zweidimensionalen Streudiagram 602, wie in 6 dargestellt, ausgewählt sind.
Das Verfahren 700 umfasst, dass der elektronische Prozessor 102 eine dritte Benutzereingabe empfängt, die das eine oder die mehreren einzelnen Objekte mit Bezug auf das erste Objektdetektionsmodell als eine tatsächliche Schwäche klassifiziert (Block 722). Zum Beispiel empfängt der elektronische Prozessor 102 eine dritte Benutzereingabe, die das eine oder die mehreren einzelnen Objekte in dem zweidimensionalen Streudiagramm 502 als falsche Positive in dem Objektdetektionsmodell 108 klassifiziert. Als Alternative empfängt der elektronische Prozessor 102 zum Beispiel eine dritte Benutzereingabe, die das eine oder die mehreren einzelnen Objekte in dem zweidimensionalen Streudiagramm 602 als fehlende Datenkennzeichnungen in dem Objektdetektionsmodell 108 klassifiziert.
Das Verfahren 700 umfasst außerdem, dass der elektronische Prozessor 102 das erste Objektdetektionsmodell mindestens teilweise auf der Basis der Klassifikation des einen oder der mehreren einzelnen Objekte als die tatsächliche Schwäche mit Bezug auf das erste Objektdetektionsmodell aktualisiert, um ein zweites Objektdetektionsmodell für autonomes Fahren zu erzeugen (Block 724). Zum Beispiel aktualisiert der elektronische Prozessor 102 das Objektdetektionsmodell 108 mindestens teilweise auf der Basis der falschen Positive oder der fehlenden Datenkennzeichnungen, die in der dritten Benutzereingabe identifiziert werden, um ein zweites Objektdetektionsmodell für autonomes Fahren zu erzeugen, das die in dem Objektdetektionsmodell 108 identifizierten Unzulänglichkeiten ausschließt und die Objektdetektionsleistungsfähigkeit des zweiten Objektdetektionsmodells gegenüber dem Objektdetektionsmodell 108 vergrößert.
Bei einigen Ausführungsformen kann das Verfahren 700 ferner Extrahieren visueller Merkmale auf der Basis der Bilddaten und Erzeugen der koordinierten Visualisierungen auf der Basis der Kurzfassung und der visuellen Merkmale, die extrahiert werden, umfassen. Bei diesen Ausführungsformen können die visuellen Merkmale einen Merkmaltyp, eine Merkmalgröße, eine Merkmaltextur und eine Merkmalform umfassen.
Bei einigen Ausführungsformen können die koordinierten Visualisierungen eine Größenverteilungsvirtualisierung, eine IoU-Verteilungsvisualisierung, eine Fläche-unter-Kurve- bzw. AUC-Visualisierung, eine Bewertungsverteilung und eine Klassenverteilung umfassen. Bei diesen Ausführungsformen kann, wenn die erste oder mehreren Benutzereingaben eine Größenbereichseingabe für die Größenverteilungsvisualisierung und eine IoU-Wertebereichseingabe für die IoU-Verteilungsvisualisierung umfassen, die AUC-Visualisierung auf der Größenbereichseingabe und der IoU-Wertebereichseingabe basieren.
Bei einigen Ausführungsformen ist ein einzelnes Objekt des einen oder der mehreren einzelnen Objekte eine beispielhafte Schwäche der einen oder mehreren potenziellen Schwächen des ersten Objektdetektionsmodells. Bei einigen Ausführungsformen können die Objektinformationen Detektionsergebnisse, Bewertungen und Schnitt-über-Vereinigung- bzw. IoU-Werte umfassen.
8 ist eine Darstellung einer Bewertungsverteilungsvisualisierung 800. Die Bewertungsverteilungsvisualisierung 800 ist Teil der oben beschriebenen koordinierten Visualisierungen. Im Beispiel von 8 stellt die Bewertungsverteilungsvisualisierung 800 die Verteilung der mAP-Bewertungen von 0,0 bis 1,0 für alle in den Bilddaten 110 detektierten Objekte dar. Ein Benutzer kann einen Bereich der mAP-Bewertungen auswählen, um detektierte Objekte, die in den Bereich von mAP-Bewertungen fallen, mit Bezug auf das Objektdetektionsmodell 108 weiter zu analysieren.
9 ist eine Darstellung der Klassenverteilungsvisualisierung 900. Die Klassenverteilungsvisualisierung 900 ist auch Teil der oben beschriebenen koordinierten Visualisierungen. In dem Beispiel von 9 stellt die Klassenverteilungsvisualisierung 900 die Klassifiziererverteilung für alle in den Bilddaten 110 detektierten Objekte dar. Insbesondere umfasst die Klassenverteilungsvisualisierung 900 einen Keine-Detektion-Klassifizierer, einen Gelb-Klassifizierer, einen Rot-Klassifizierer, einen Grün-Klassifizierer und einen Aus-Klassifizierer. Ein Benutzer kann einen oder mehrere Klassifizierer auswählen, um detektierte Objekte, die innerhalb des einen oder der mehreren Klassifizierer klassifiziert wurden, weiter zu analysieren.
Die folgenden Beispiele veranschaulichen beispielhafte Systeme, Verfahren und nichttransitorische computerlesbare Medien, die hier beschrieben werden.
Beispiel 1: ein visuelles Objektdetektionsmodell-Analysesystem, umfassend: eine Schnittstellenvorrichtung mit einer Anzeigevorrichtung; und einen Computer mit einer Kommunikationsschnittstelle, ausgelegt zur Kommunikation mit der Schnittstellenvorrichtung; einem Speicher mit einer visuellen Objektdetektionsmodell-Analyseplattform und einem ersten Objektdetektionsmodell für autonomes Fahren; und einem elektronischen Prozessor, der kommunikativ mit dem Speicher verbunden ist, wobei der elektronische Prozessor ausgelegt ist zum Extrahieren von Objektinformationen aus Bilddaten unter Verwendung eines ersten Objektdetektionsmodells, Extrahieren von Eigenschaften von Objekten aus den Bilddaten zugeordneten Metadaten, Erzeugen einer Kurzfassung der Objektinformationen und der Eigenschaften, die extrahiert werden, Erzeugen von koordinierten Visualisierungen auf der Basis der Kurzfassung und der Eigenschaften, die extrahiert werden, Ausgeben der koordinierten Visualisierungen zur Anzeige auf einer Anzeigevorrichtung, Empfangen einer Benutzereingabe, die einen Teil von Informationen auswählt, die in den koordinierten Visualisierungen enthalten sind, Erzeugen eines Empfehlungs-Grafische-Benutzeroberfläche-Elements auf der Basis der koordinierten Visualisierungen und der ersten oder mehrerer Benutzereingaben, wobei das Empfehlungs-Grafische-Benutzeroberflächenelement eine oder mehrere potenzielle Schwächen des ersten Objektdetektionsmodells zusammenfasst, Ausgeben des Empfehlungs-Grafische-Benutzeroberflächenelements zur Anzeige auf der Anzeigevorrichtung, Empfangen einer zweiten Benutzereingabe, die ein oder mehrere einzelne Objekte aus den Objektinformationen auswählt, die extrahiert werden und in der einen oder den mehreren potenziellen Schwächen enthalten sind, Ausgeben eines Bildes auf der Basis der Bilddaten und der zweiten Benutzereingabe, wobei das Bild das eine oder die mehreren einzelnen Objekte hervorhebt, Empfangen einer dritten Benutzereingabe, die das eine oder die mehreren einzelnen Objekte mit Bezug auf das erste Objektdetektionsmodell als eine tatsächliche Schwäche klassifizieren, und Aktualisieren des ersten Objektsdetektionsmodells mindestens teilweise auf der Basis der Klassifikation des einen oder der mehreren einzelnen Objekte als die tatsächliche Schwäche mit Bezug auf das erste Objektdetektionsmodell, um ein zweites Objektdetektionsmodell zum autonomen Fahren zu erzeugen.
Beispiel 2: das visuelle Objektdetektionsmodell-Analysesystem nach Beispiel 1, wobei der elektronische Prozessor ferner ausgelegt ist zum Extrahieren von visuellen Merkmalen auf der Basis der Bilddaten Erzeugen der koordinierten Visualisierungen auf der Basis der Kurzfassung und der visuellen Merkmale, die extrahiert werden.
Beispiel 3: das visuelle Objektdetektionsmodell-Analysesystem nach Beispiel 2, wobei die visuellen Merkmale einen Merkmaltyp, eine Merkmalgröße, eine Merkmaltextur und eine Merkmalform umfassen.
Beispiel 4: das visuelle Objektdetektionsmodell-Analysesystem nach einem der Beispiele 1-3, wobei die koordinierten Visualisierungen eine Größenverteilungsvisualisierung, eine IoU-Verteilungsvisualisierung, eine Fläche-unter-Kurve- bzw. AUC-Visualisierung, eine Bewertungsverteilung und eine Klassenverteilung umfassen.
Beispiel 5: das visuelle Objektdetektionsmodell-Analysesystem nach Beispiel 4, wobei die erste oder mehrere Benutzereingaben eine Größenbereichseingabe für die Größenverteilungsvisualisierung und eine IoU-Wertbereichseingabe für die IoU-Verteilungsvisualisierung umfassen und wobei die AUC-Visualisierung auf der Größenbereichseingabe und der IoU-Wertebereichseingabe basiert.
Beispiel 6: das visuelle Objektdetektionsmodell-Analysesystem nach einem der Beispiele 1-5, wobei ein einzelnes Objekt des einen oder der mehreren einzelnen Objekte ein Beispiel für die eine oder mehreren potenziellen Schwächen des ersten Objektdetektionsmodells ist.
Beispiel 7: das visuelle Objektdetektionsmodell-Analysesystem nach einem der Beispiele 1-6, wobei die Objektinformationen Detektionsergebnisse, Bewertungen und Schnitt-über-Vereinigung- bzw. IoU-Werte umfassen.
Beispiel 8: ein Verfahren zum Aktualisieren eines Objektdetektionsmodells für autonomes Fahren mit einer visuellen Objektdetektionsmodell-Analyseplattform, wobei das Verfahren Folgendes umfasst: Extrahieren von Objektinformationen aus Bilddaten mit einem elektronischen Prozessor und einem ersten Objektdetektionsmodell für autonomes Fahren; Extrahieren von Eigenschaften von Objekten aus den Bilddaten zugeordneten Metadaten mit dem elektronischen Prozessor; Erzeugen einer Kurzfassung der Objektinformationen und der Eigenschaften, die extrahiert werden, mit dem elektronischen Prozessor; Erzeugen von koordinierten Visualisierungen auf der Basis der Kurzfassung und der Eigenschaften, die extrahiert werden, mit dem elektronischen Prozessor; Ausgeben der koordinierten Visualisierungen zur Anzeige auf einer Anzeigevorrichtung mit dem elektronischen Prozessor; Empfangen ersten oder mehrerer Benutzereingaben, die einen Teil von Informationen auswählt, die in den koordinierten Visualisierungen enthalten sind, mit dem elektronischen Prozessor; Erzeugen eines Empfehlungs-Grafische-Benutzeroberfläche-Elements auf der Basis der koordinierten Visualisierungen und der ersten oder mehrerer Benutzereingaben, wobei das Empfehlungs-Grafische-Benutzeroberflächenelement eine oder mehrere potenzielle Schwächen des ersten Objektdetektionsmodells zusammenfasst, mit dem elektronischen Prozessor; Ausgeben des Empfehlungs-Grafische-Benutzeroberflächenelements zur Anzeige auf der Anzeigevorrichtung mit dem elektronischen Prozessor; Empfangen einer zweiten Benutzereingabe, die ein oder mehrere einzelne Objekte aus den Objektinformationen auswählt, die extrahiert werden und in der einen oder den mehreren potenziellen Schwächen enthalten sind, mit dem elektronischen Prozessor; Ausgeben eines Bildes auf der Basis der Bilddaten und der zweiten Benutzereingabe, wobei das Bild das eine oder die mehreren einzelnen Objekte hervorhebt, mit dem elektronischen Prozessor; Empfangen einer dritten Benutzereingabe, die das eine oder die mehreren einzelnen Objekte mit Bezug auf das erste Objektdetektionsmodell als eine tatsächliche Schwäche klassifizieren, mit dem elektronischen Prozessor; und Aktualisieren des ersten Objektsdetektionsmodells mindestens teilweise auf der Basis der Klassifikation des einen oder der mehreren einzelnen Objekte als die tatsächliche Schwäche mit Bezug auf das erste Objektdetektionsmodell, um ein zweites Objektdetektionsmodell zum autonomen Fahren zu erzeugen, mit dem elektronischen Prozessor.
Beispiel 9: das Verfahren nach Beispiel 8, ferner umfassend: Extrahieren von visuellen Merkmalen auf der Basis der Bilddaten; und Erzeugen der koordinierten Visualisierungen auf der Basis der Kurzfassung und der visuellen Merkmale, die extrahiert werden.
Beispiel 10: das Verfahren nach Beispiel 9, wobei die visuellen Merkmale einen Merkmaltyp, eine Merkmalgröße, eine Merkmaltextur und eine Merkmalform umfassen.
Beispiel 11: das Verfahren nach einem der Beispiele 9 und 10, wobei die koordinierten Visualisierungen eine Größenverteilungsvisualisierung, eine IoU-Verteilungsvisualisierung, eine Fläche-unter-Kurve- bzw. AUC-Visualisierung, eine Bewertungsverteilung und eine Klassenverteilung umfassen.
Beispiel 12: das Verfahren nach Beispiel 11, wobei die erste oder mehrere Benutzereingaben eine Größenbereichseingabe für die Größenverteilungsvisualisierung und eine IoU-Wertbereichseingabe für die IoU-Verteilungsvisualisierung umfassen und wobei die AUC-Visualisierung auf der Größenbereichseingabe und der IoU-Wertebereichseingabe basiert.
Beispiel 13: das Verfahren nach einem der Beispiele 8-12, wobei ein einzelnes Objekt des einen oder der mehreren einzelnen Objekte ein Beispiel für die eine oder mehreren potenziellen Schwächen des ersten Objektdetektionsmodells ist.
Beispiel 14: das Verfahren nach einem der Beispiele 8-13, wobei die Objektinformationen Detektionsergebnisse, Bewertungen und Schnitt-über-Vereinigung- bzw. IoU-Werte umfassen.
Beispiel 15: nichttransitorisches computerlesbares Medium mit Anweisungen, die, wenn sie durch einen elektronischen Prozessor ausgeführt werden, bewirken, dass der elektronische Prozessor eine Menge von Operationen ausführt, umfassend: Extrahieren von Objektinformationen aus Bilddaten unter Verwendung eines ersten Objektdetektionsmodells, Extrahieren von Eigenschaften von Objekten aus den Bilddaten zugeordneten Metadaten, Erzeugen einer Kurzfassung der Objektinformationen und der Eigenschaften, die extrahiert werden, Erzeugen von koordinierten Visualisierungen auf der Basis der Kurzfassung und der Eigenschaften, die extrahiert werden, Ausgeben der koordinierten Visualisierungen zur Anzeige auf einer Anzeigevorrichtung, Empfangen einer ersten oder mehrerer Benutzereingaben, die einen Teil von Informationen auswählt, die in den koordinierten Visualisierungen enthalten sind, Erzeugen eines Empfehlungs-Grafische-Benutzeroberfläche-Elements auf der Basis der koordinierten Visualisierungen und der ersten oder mehrerer Benutzereingaben, wobei das Empfehlungs-Grafische-Benutzeroberflächenelement eine oder mehrere potenzielle Schwächen des ersten Objektdetektionsmodells zusammenfasst, Ausgeben des Empfehlungs-Grafische-Benutzeroberflächenelements zur Anzeige auf der Anzeigevorrichtung, Empfangen einer zweiten Benutzereingabe, die ein oder mehrere einzelne Objekte aus den Objektinformationen auswählt, die extrahiert werden und in der einen oder den mehreren potenziellen Schwächen enthalten sind, Ausgeben eines Bildes auf der Basis der Bilddaten und der zweiten Benutzereingabe, wobei das Bild das eine oder die mehreren einzelnen Objekte hervorhebt, Empfangen einer dritten Benutzereingabe, die das eine oder die mehreren einzelnen Objekte mit Bezug auf das erste Objektdetektionsmodell als eine tatsächliche Schwäche klassifizieren, und Aktualisieren des ersten Objektsdetektionsmodells mindestens teilweise auf der Basis der Klassifikation des einen oder der mehreren einzelnen Objekte als die tatsächliche Schwäche mit Bezug auf das erste Objektdetektionsmodell, um ein zweites Objektdetektionsmodell zum autonomen Fahren zu erzeugen.
Beispiel 16: nichttransitorisches computerlesbares Medium nach Beispiel 15, wobei die Menge von Operationen ferner Folgendes umfasst: Extrahieren von visuellen Merkmalen auf der Basis der Bilddaten; und Erzeugen der koordinierten Visualisierungen auf der Basis der Kurzfassung und der visuellen Merkmale, die extrahiert werden.
Beispiel 17: nichttransitorisches computerlesbares Medium nach Beispiel 15 oder 16, wobei die koordinierten Visualisierungen eine Größenverteilungsvisualisierung, eine IoU-Verteilungsvisualisierung, eine Fläche-unter-Kurve- bzw. AUC-Visualisierung, eine Bewertungsverteilung und eine Klassenverteilung umfassen.
Beispiel 18: nichttransitorisches computerlesbares Medium nach Beispiel 17, wobei die erste oder mehrere Benutzereingaben eine Größenbereichseingabe für die Größenverteilungsvisualisierung und eine IoU-Wertbereichseingabe für die IoU-Verteilungsvisualisierung umfassen und wobei die AUC-Visualisierung auf der Größenbereichseingabe und der IoU-Wertebereichseingabe basiert.
Beispiel 19: nichttransitorisches computerlesbares Medium nach einem der Beispiele 15-18, wobei ein einzelnes Objekt des einen oder der mehreren einzelnen Objekte ein Beispiel für die eine oder mehreren potenziellen Schwächen des ersten Objektdetektionsmodells ist.
Beispiel 20: nichttransitorisches computerlesbares Medium nach einem der Beispiele 15-19, wobei die Objektinformationen Detektionsergebnisse, Bewertungen und Schnitt-über-Vereinigung- bzw. IoU-Werte umfassen.
Somit stellt die vorliegende Offenbarung unter anderem eine visuelle Analytikplattform zum Aktualisieren von Objektdetektionsmodellen in Anwendungen des autonomen Fahrens bereit. Verschiedene Merkmale und Vorteile der Erfindung werden in den folgenden Ansprüchen dargelegt.

Claims

Visuelles Objektdetektionsmodell-Analysesystem, umfassend: einen elektronischen Prozessor, ausgelegt zum Extrahieren von Objektinformationen aus Bilddaten unter Verwendung eines ersten Objektdetektionsmodells, Extrahieren von Eigenschaften von Objekten aus den Bilddaten zugeordneten Metadaten, Erzeugen einer Kurzfassung der Objektinformationen und der Eigenschaften, die extrahiert werden, Erzeugen von koordinierten Visualisierungen auf der Basis der Kurzfassung und der Eigenschaften, die extrahiert werden, Ausgeben der koordinierten Visualisierungen zur Anzeige auf einer Anzeigevorrichtung, Empfangen einer Benutzereingabe, die einen Teil von Informationen auswählt, die in den koordinierten Visualisierungen enthalten sind, Erzeugen eines Empfehlungs-Grafische-Benutzeroberfläche-Elements auf der Basis der koordinierten Visualisierungen und der ersten oder mehrerer Benutzereingaben, wobei das Empfehlungs-Grafische-Benutzeroberflächenelement eine oder mehrere potenzielle Schwächen des ersten Objektdetektionsmodells zusammenfasst, Ausgeben des Empfehlungs-Grafische-Benutzeroberflächenelements zur Anzeige auf der Anzeigevorrichtung, Empfangen einer zweiten Benutzereingabe, die ein oder mehrere einzelne Objekte aus den Objektinformationen auswählt, die extrahiert werden und in der einen oder den mehreren potenziellen Schwächen enthalten sind, Ausgeben eines Bildes auf der Basis der Bilddaten und der zweiten Benutzereingabe, wobei das Bild das eine oder die mehreren einzelnen Objekte hervorhebt, Empfangen einer dritten Benutzereingabe, die das eine oder die mehreren einzelnen Objekte mit Bezug auf das erste Objektdetektionsmodell als eine tatsächliche Schwäche klassifizieren, und Aktualisieren des ersten Objektsdetektionsmodells mindestens teilweise auf der Basis der Klassifikation des einen oder der mehreren einzelnen Objekte als die tatsächliche Schwäche mit Bezug auf das erste Objektdetektionsmodell, um ein zweites Objektdetektionsmodell zum autonomen Fahren zu erzeugen.
Visuelles Objektdetektionsmodell-Analysesystem nach Anspruch 1, wobei der elektronische Prozessor ferner ausgelegt ist zum Extrahieren von visuellen Merkmalen auf der Basis der Bilddaten Erzeugen der koordinierten Visualisierungen auf der Basis der Kurzfassung und der visuellen Merkmale, die extrahiert werden.
Visuelles Objektdetektionsmodell-Analysesystem nach Anspruch 2, wobei die visuellen Merkmale einen Merkmaltyp, eine Merkmalgröße, eine Merkmaltextur und eine Merkmalform umfassen.
Visuelles Objektdetektionsmodell-Analysesystem nach Anspruch 1, wobei die koordinierten Visualisierungen eine Größenverteilungsvisualisierung, eine IoU-Verteilungsvisualisierung, eine Fläche-unter-Kurve- bzw. AUC-Visualisierung, eine Bewertungsverteilung und eine Klassenverteilung umfassen.
Visuelles Objektdetektionsmodell-Analysesystem nach Anspruch 4, wobei die erste oder mehrere Benutzereingaben eine Größenbereichseingabe für die Größenverteilungsvisualisierung und eine IoU-Wertbereichseingabe für die IoU-Verteilungsvisualisierung umfassen und wobei die AUC-Visualisierung auf der Größenbereichseingabe und der IoU-Wertebereichseingabe basiert.
Visuelles Objektdetektionsmodell-Analysesystem nach Anspruch 1, wobei ein einzelnes Objekt des einen oder der mehreren einzelnen Objekte ein Beispiel für die eine oder mehreren potenziellen Schwächen des ersten Objektdetektionsmodells ist.
Visuelles Objektdetektionsmodell-Analysesystem nach Anspruch 1, wobei die Objektinformationen Detektionsergebnisse, Bewertungen und Schnitt-über-Vereinigung- bzw. IoU-Werte umfassen.
Verfahren zum Aktualisieren eines Objektdetektionsmodells für autonomes Fahren mit einer visuellen Objektdetektionsmodell-Analyseplattform, wobei das Verfahren Folgendes umfasst: Extrahieren von Objektinformationen aus Bilddaten mit einem elektronischen Prozessor und einem ersten Objektdetektionsmodell für autonomes Fahren; Extrahieren von Eigenschaften von Objekten aus den Bilddaten zugeordneten Metadaten mit dem elektronischen Prozessor; Erzeugen einer Kurzfassung der Objektinformationen und der Eigenschaften, die extrahiert werden, mit dem elektronischen Prozessor; Erzeugen von koordinierten Visualisierungen auf der Basis der Kurzfassung und der Eigenschaften, die extrahiert werden, mit dem elektronischen Prozessor; Ausgeben der koordinierten Visualisierungen zur Anzeige auf einer Anzeigevorrichtung mit dem elektronischen Prozessor; Empfangen einer ersten oder mehrerer Benutzereingaben, die einen Teil von Informationen auswählt, die in den koordinierten Visualisierungen enthalten sind, mit dem elektronischen Prozessor; Erzeugen eines Empfehlungs-Grafische-Benutzeroberfläche-Elements auf der Basis der koordinierten Visualisierungen und der ersten oder mehrerer Benutzereingaben, wobei das Empfehlungs-Grafische-Benutzeroberflächenelement eine oder mehrere potenzielle Schwächen des ersten Objektdetektionsmodells zusammenfasst, mit dem elektronischen Prozessor; Ausgeben des Empfehlungs-Grafische-Benutzeroberflächenelements zur Anzeige auf der Anzeigevorrichtung mit dem elektronischen Prozessor; Empfangen einer zweiten Benutzereingabe, die ein oder mehrere einzelne Objekte aus den Objektinformationen auswählt, die extrahiert werden und in der einen oder den mehreren potenziellen Schwächen enthalten sind, mit dem elektronischen Prozessor; Ausgeben eines Bildes auf der Basis der Bilddaten und der zweiten Benutzereingabe, wobei das Bild das eine oder die mehreren einzelnen Objekte hervorhebt, mit dem elektronischen Prozessor; Empfangen einer dritten Benutzereingabe, die das eine oder die mehreren einzelnen Objekte mit Bezug auf das erste Objektdetektionsmodell als eine tatsächliche Schwäche klassifizieren, mit dem elektronischen Prozessor; und Aktualisieren des ersten Objektsdetektionsmodells mindestens teilweise auf der Basis der Klassifikation des einen oder der mehreren einzelnen Objekte als die tatsächliche Schwäche mit Bezug auf das erste Objektdetektionsmodell, um ein zweites Objektdetektionsmodell zum autonomen Fahren zu erzeugen, mit dem elektronischen Prozessor.
Verfahren nach Anspruch 8, ferner umfassend: Extrahieren von visuellen Merkmalen auf der Basis der Bilddaten; und Erzeugen der koordinierten Visualisierungen auf der Basis der Kurzfassung und der visuellen Merkmale, die extrahiert werden.
Verfahren nach Anspruch 9, wobei die visuellen Merkmale einen Merkmaltyp, eine Merkmalgröße, eine Merkmaltextur und eine Merkmalform umfassen.
Verfahren nach Anspruch 8, wobei die koordinierten Visualisierungen eine Größenverteilungsvisualisierung, eine IoU-Verteilungsvisualisierung, eine Fläche-unter-Kurve- bzw. AUC-Visualisierung, eine Bewertungsverteilung und eine Klassenverteilung umfassen.
Verfahren nach Anspruch 11, wobei die erste oder mehrere Benutzereingaben eine Größenbereichseingabe für die Größenverteilungsvisualisierung und eine IoU-Wertbereichseingabe für die IoU-Verteilungsvisualisierung umfassen und wobei die AUC-Visualisierung auf der Größenbereichseingabe und der IoU-Wertebereichseingabe basiert.
Verfahren nach Anspruch 8, wobei ein einzelnes Objekt des einen oder der mehreren einzelnen Objekte ein Beispiel für die eine oder mehreren potenziellen Schwächen des ersten Objektdetektionsmodells ist.
Verfahren nach Anspruch 8, wobei die Objektinformationen Detektionsergebnisse, Bewertungen und Schnitt-über-Vereinigung- bzw. IoU-Werte umfassen.
Nichttransitorisches computerlesbares Medium mit Anweisungen, die, wenn sie durch einen elektronischen Prozessor ausgeführt werden, bewirken, dass der elektronische Prozessor eine Menge von Operationen ausführt, umfassend: Extrahieren von Objektinformationen aus Bilddaten unter Verwendung eines ersten Obj ektdetektionsmodells, Extrahieren von Eigenschaften von Objekten aus den Bilddaten zugeordneten Metadaten, Erzeugen einer Kurzfassung der Objektinformationen und der Eigenschaften, die extrahiert werden, Erzeugen von koordinierten Visualisierungen auf der Basis der Kurzfassung und der Eigenschaften, die extrahiert werden, Ausgeben der koordinierten Visualisierungen zur Anzeige auf einer Anzeigevorrichtung, Empfangen einer ersten oder mehrerer Benutzereingaben, die einen Teil von Informationen auswählt, die in den koordinierten Visualisierungen enthalten sind, Erzeugen eines Empfehlungs-Grafische-Benutzeroberfläche-Elements auf der Basis der koordinierten Visualisierungen und der ersten oder mehrerer Benutzereingaben, wobei das Empfehlungs-Grafische-Benutzeroberflächenelement eine oder mehrere potenzielle Schwächen des ersten Objektdetektionsmodells zusammenfasst, Ausgeben des Empfehlungs-Grafische-Benutzeroberflächenelements zur Anzeige auf der Anzeigevorrichtung, Empfangen einer zweiten Benutzereingabe, die ein oder mehrere einzelne Objekte aus den Objektinformationen auswählt, die extrahiert werden und in der einen oder den mehreren potenziellen Schwächen enthalten sind, Ausgeben eines Bildes auf der Basis der Bilddaten und der zweiten Benutzereingabe, wobei das Bild das eine oder die mehreren einzelnen Objekte hervorhebt, Empfangen einer dritten Benutzereingabe, die das eine oder die mehreren einzelnen Objekte mit Bezug auf das erste Objektdetektionsmodell als eine tatsächliche Schwäche klassifizieren, und Aktualisieren des ersten Objektsdetektionsmodells mindestens teilweise auf der Basis der Klassifikation des einen oder der mehreren einzelnen Objekte als die tatsächliche Schwäche mit Bezug auf das erste Objektdetektionsmodell, um ein zweites Objektdetektionsmodell zum autonomen Fahren zu erzeugen.
Nichttransitorisches computerlesbares Medium nach Anspruch 15, wobei die Menge von Operationen ferner Folgendes umfasst: Extrahieren von visuellen Merkmalen auf der Basis der Bilddaten; und Erzeugen der koordinierten Visualisierungen auf der Basis der Kurzfassung und der visuellen Merkmale, die extrahiert werden.
Nichttransitorisches computerlesbares Medium nach Anspruch 15, wobei die koordinierten Visualisierungen eine Größenverteilungsvisualisierung, eine IoU-Verteilungsvisualisierung, eine Fläche-unter-Kurve- bzw. AUC-Visualisierung, eine Bewertungsverteilung und eine Klassenverteilung umfassen.
Nichttransitorisches computerlesbares Medium nach Anspruch 17, wobei die erste oder mehrere Benutzereingaben eine Größenbereichseingabe für die Größenverteilungsvisualisierung und eine IoU-Wertbereichseingabe für die IoU-Verteilungsvisualisierung umfassen und wobei die AUC-Visualisierung auf der Größenbereichseingabe und der IoU-Wertebereichseingabe basiert.
Nichttransitorisches computerlesbares Medium nach Anspruch 17, wobei ein einzelnes Objekt des einen oder der mehreren einzelnen Objekte ein Beispiel für die eine oder mehreren potenziellen Schwächen des ersten Objektdetektionsmodells ist.
Nichttransitorisches computerlesbares Medium nach Anspruch 17, wobei die Objektinformationen Detektionsergebnisse, Bewertungen und Schnitt-über-Vereinigung- bzw. IoU-Werte umfassen.