DE102022119950A1

DE102022119950A1 - Verbesserte objekterkennung

Info

Publication number: DE102022119950A1
Application number: DE102022119950.9A
Authority: DE
Inventors: John Moore; Sahib Singh; Uttara Thakre
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2021-08-19
Filing date: 2022-08-08
Publication date: 2023-02-23
Also published as: US11922702B2; CN115713644A; US20230053786A1

Abstract

Eine Vielzahl von Teilbildern eines Bildes wird auf Grundlage einer Ausgabe von einem Zufallszahlengenerator erzeugt. Jedes Teilbild wird in ein Programm für maschinelles Lernen eingegeben, das dazu trainiert ist, ein in dem Teilbild klassifiziertes Objekt auszugeben. Wenn eine Anzahl von Teilbildern mit einem gleichen klassifizierten Objekt einen Schwellenwert überschreitet, wird ein Objekt in dem Bild als das klassifizierte Objekt identifiziert.

Description

TECHNISCHES GEBIET
Die Offenbarung betrifft eine verbesserte Objekterkennung in Fahrzeugen.
ALLGEMEINER STAND DER TECHNIK
Fahrzeuge können mit Rechenvorrichtungen, Netzwerken, Sensoren und Steuerungen ausgestattet sein, um Daten bezüglich der Umgebung des Fahrzeugs zu erheben und das Fahrzeug auf Grundlage der Daten zu betreiben. Fahrzeugsensoren können Daten bezüglich zurückzulegender Routen und zu umfahrender Objekte in der Umgebung des Fahrzeugs bereitstellen. Der Betrieb des Fahrzeugs kann sich auf das Erheben genauer und aktueller Daten bezüglich Objekten in der Umgebung eines Fahrzeugs stützen, während das Fahrzeug auf einer Fahrbahn betrieben wird. Fahrzeuge können Rechenvorrichtungen verwenden, die dazu konfiguriert sind, Objekte anhand von Bilddaten zu identifizieren, die durch die Fahrzeugsensoren aufgenommen werden.
KURZDARSTELLUNG
Ein System beinhaltet einen Computer, der einen Prozessor und einen Speicher beinhaltet, wobei in dem Speicher Anweisungen gespeichert sind, die durch den Prozessor ausgeführt werden können, um auf Grundlage einer Ausgabe von einem Zufallszahlengenerator eine Vielzahl von Teilbildern zu erzeugen, wobei jedes Teilbild ein Satz von mindestens zwei Unterteilungen eines Bildes ist, wobei jede Unterteilung des Bildes ein Abschnitt des Bildes ist, der sich von jeder anderen Unterteilung des Bildes unterscheidet, jedes Teilbild in ein Programm für maschinelles Lernen einzugeben, das dazu trainiert ist, ein in dem Teilbild klassifiziertes Objekt auszugeben, und, wenn eine Anzahl von Teilbildern mit einem gleichen klassifiziertes Objekt einen Schwellenwert überschreitet, ein Objekt in dem Bild als das klassifizierte Objekt zu identifizieren.
Die Anweisungen können ferner Anweisungen zum Unterteilen des Bildes in eine Vielzahl von Unterteilungen und zum Erzeugen der Ausgabe von dem Zufallszahlengenerator auf Grundlage einer Gesamtanzahl der Vielzahl von Unterteilungen beinhalten.
Die Anweisungen können ferner Anweisungen zum Eingeben einer Anmerkung, die das Objekt in dem Bild identifiziert, in das Programm für maschinelles Lernen und zum Bestimmen, ob die Anmerkung mit dem klassifizierten Objekt übereinstimmt, das von dem Programm für maschinelles Lernen ausgegeben wird, beinhalten.
Die Anweisungen können ferner Anweisungen zum Eingeben der Übereinstimmungsbestimmung in einen Trainingsdatensatz des Programms für maschinelles Lernen beinhalten.
Die Anweisungen können ferner Anweisungen beinhalten, um, wenn keine Anzahl von Teilbildern mit demselben klassifizierten Objekt den Schwellenwert überschreitet, das Bild in ein zweites Programm für maschinelles Lernen einzugeben, das dazu trainiert ist, das in dem Bild identifizierte Objekt auszugeben.
Die Anweisungen können ferner Anweisungen zum Zuweisen einer Identifikationsnummer zu jeder der Unterteilungen beinhalten, wobei die Identifikationsnummern einen Satz definieren und die Ausgabe des Zufallszahlengenerators eine Teilmenge des Satzes Identifikationsnummern ist.
Das Programm für maschinelles Lernen kann ein neuronales Multitask-Netz sein, wobei jede Task des Multitask-Netzes dazu programmiert sein kann, eine spezifische Art von Objekt zu klassifizieren, die sich von den anderen Tasks unterscheidet.
Die Anweisungen können ferner Anweisungen zum Identifizieren einer Vielzahl von Klassifizierungsbereichen in dem Bild, wobei jeder Klassifizierungsbereich ein Bereich in dem Bild ist, für den das Programm für maschinelles Lernen eine Identifizierung eines Objekts ausgibt, und zum Bestimmen einer Anzahl von Unterteilungen des Bildes auf Grundlage der identifizierten Vielzahl von Klassifizierungsbereichen beinhalten.
Die Anweisungen können ferner Anweisungen zum Erzeugen mindestens einer Unterteilung beinhalten, die keine Klassifizierungsbereiche beinhalten.
Die Anweisungen können ferner Anweisungen zum Betätigen eines Fahrzeugteilsystems auf Grundlage des identifizierten Objekts beinhalten, wenn das Objekt in dem Bild identifiziert wird.
Die Anweisungen können ferner Anweisungen zum Unterteilen des Bildes in eine Vielzahl von gleich großen Unterteilungen in einem Rastermuster beinhalten.
Die Anweisungen können ferner Anweisungen zum Erzeugen der Vielzahl von Teilbildern auf Grundlage der Unterteilungen in dem Rastermuster, um das Bild in eine zweite Vielzahl von gleich großen Unterteilungen in einem zweiten Rastermuster zu unterteilen, und zum Erzeugen einer zweiten Vielzahl von Teilbildern auf Grundlage der Unterteilungen in dem zweiten Rastermuster beinhalten.
Ein Verfahren beinhaltet Erzeugen einer Vielzahl von Teilbildern auf Grundlage einer Ausgabe von einem Zufallszahlengenerator, wobei jedes Teilbild ein Satz von mindestens zwei Unterteilungen eines Bildes ist, wobei jede Unterteilung des Bildes ein Abschnitt des Bildes ist, der sich von jeder anderen Unterteilung des Bildes unterscheidet, Eingeben jedes Teilbildes in ein Programm für maschinelles Lernen, das dazu trainiert ist, ein in dem Teilbild klassifiziertes Objekt auszugeben, und, wenn eine Anzahl von Teilbildern mit einem gleichen klassifiziertes Objekt einen Schwellenwert überschreitet, Identifizieren eines Objekts in dem Bild als das klassifizierte Objekt.
Das Verfahren kann ferner Unterteilen des Bildes in eine Vielzahl von Unterteilungen und Erzeugen der Ausgabe von dem Zufallszahlengenerator auf Grundlage einer Gesamtanzahl der Vielzahl von Unterteilungen beinhalten.
Das Verfahren kann ferner Eingeben einer Anmerkung, die das Objekt in dem Bild identifiziert, in das Programm für maschinelles Lernen und Bestimmen, ob die Anmerkung mit dem klassifizierten Objekt übereinstimmt, das von dem Programm für maschinelles Lernen ausgegeben wird, beinhalten.
Das Verfahren kann ferner Eingeben der Übereinstimmungsbestimmung in einen Trainingsdatensatz des Programms für maschinelles Lernen beinhalten.
Das Verfahren kann ferner, wenn keine Anzahl von Teilbildern mit demselben klassifizierten Objekt den Schwellenwert überschreitet, Eingeben des Bildes in ein zweites Programm für maschinelles Lernen beinhalten, das dazu trainiert ist, das in dem Bild identifizierte Objekt auszugeben.
Das Verfahren kann ferner Zuweisen einer Identifikationsnummer zu jeder der Unterteilungen beinhalten, wobei die Identifikationsnummern einen Satz definieren und die Ausgabe des Zufallszahlengenerators eine Teilmenge des Satzes Identifikationsnummern sein kann.
Das Verfahren kann ferner Identifizieren einer Vielzahl von Klassifizierungsbereichen in dem Bild, wobei jeder Klassifizierungsbereich ein Bereich in dem Bild ist, für den das Programm für maschinelles Lernen eine Identifizierung eines Objekts ausgibt, und Bestimmen einer Anzahl von Unterteilungen des Bildes auf Grundlage der identifizierten Vielzahl von Klassifizierungsbereichen beinhalten.
Das Verfahren kann ferner Erzeugen mindestens einer Unterteilung beinhalten, die keine Klassifizierungsbereiche beinhalten.
Das Verfahren kann ferner Betätigen eines Fahrzeugteilsystems auf Grundlage des identifizierten Objekts beinhalten, wenn das Objekt in dem Bild identifiziert wird.
Das Verfahren kann ferner Unterteilen des Bildes in eine Vielzahl von gleich großen Unterteilungen in einem Rastermuster beinhalten.
Das Verfahren kann ferner Erzeugen der Vielzahl von Teilbildern auf Grundlage der Unterteilungen in dem Rastermuster, um das Bild in eine zweite Vielzahl von gleich großen Unterteilungen in einem zweiten Rastermuster zu unterteilen, und Erzeugen einer zweiten Vielzahl von Teilbildern auf Grundlage der Unterteilungen in dem zweiten Rastermuster beinhalten.
Ferner wird eine Rechenvorrichtung offenbart, die dazu programmiert ist, beliebige der vorstehenden Verfahrensschritte auszuführen. Darüber hinaus wird ein Fahrzeug offenbart, das die Rechenvorrichtung umfasst. Darüber hinaus wird ein Computerprogrammprodukt offenbart, das ein computerlesbares Medium umfasst, auf dem Anweisungen gespeichert sind, die durch einen Computerprozessor ausgeführt werden können, um beliebige der vorstehenden Verfahrensschritte auszuführen.
Das Erkennen eines Objekts in einem Bild mit einem üblichen Objekterkennungsprogramm kann zu unterschiedlichen Klassifizierungen desselben Objekts in Bildern führen, die sich nur geringfügig unterscheiden. Zum Beispiel kann die Einstellung einer kleinen Teilmenge von Pixeln in einem Bild bewirken, dass ein neuronales Netz seine Ausgabe des in dem Bild identifizierten Objekts ändert. Diese Anpassungen von Pixeln können z. B. durch Schmutz, Änderungen des Umgebungslichts, Sensorbewegungen usw. verursacht werden.
Wie hierin beschrieben, kann eine Vielzahl von Teilbildern, die aus zufälligen Unterteilungen eines Bildes in einem Klassifizierungsprogramm erzeugt werden, eingesetzt werden, um die Objekterkennung zu verbessern, indem das Klassifizierungsprogramm trainiert wird, um Objekte in verschiedenen Teilmengen des Bildes zu identifizieren, die das Objekterkennungsprogramm erkennen kann, woraus ein Objekt in einem Bild durch einen Computer, wie etwa einen Computer in einem Fahrzeug, identifiziert werden kann, der ein Bild auf Grundlage eines Rastermusters von gleich großen Unterteilungen in Teilbilder unterteilt. Die Teilbilder können mit einem Zufallszahlengenerator bestimmt werden. Dann kann ein Klassifizierungsprogramm eine Vielzahl von ausgegebenen Objektklassifizierungen aus den Teilbildern erzeugen. Wenn eine Anzahl von ausgegebenen Klassifizierungen, die eine gleiche Obj ektklassifizierung sind, einen Schwellenwert überschreitet, kann der Computer bestimmen, dass das Objekt in dem Originalbild die von dem Klassifizierungsprogramm ausgegebene Objektklassifizierung ist. Somit kann der Computer durch Verwenden des Klassifizierungsprogramms mit den Teilbildern Objekte leichter identifizieren, die von anderen Objekterkennungsprogrammen möglicherweise nicht erkannt werden.
Figurenliste

1 ist ein Blockdiagramm eines beispielhaften Systems zum Identifizieren eines Objekts in einem Bild.
2 ist ein Diagramm einer Vielzahl von Teilbildern des Bildes.
3 ist ein Diagramm eines beispielhaften Klassifizierungsprogramms.
4 ist ein Blockdiagramm eines beispielhaften Prozesses zum Identifizieren des Objekts in dem Bild.
5 ist ein Blockdiagramm eines beispielhaften neuronalen Netzes.

DETAILLIERTE BESCHREIBUNG
1 ist ein Blockdiagramm eines beispielhaften Systems 100 zum Identifizieren eines Objekts in einem Bild. Das System 100 beinhaltet ein Fahrzeug 105 und einen Fahrzeugcomputer 110. Ein Fahrzeug 105 kann eine beliebige geeignete Art von Bodenfahrzeug 105 sein, z. B. ein Personenkraftwagen oder ein Nutzfahrzeug, wie etwa eine Limousine, ein Coupe, ein Truck, ein SUV, ein Crossover, ein Van, ein Minivan, ein Taxi, ein Bus usw.
Der Fahrzeugcomputer 110 beinhaltet einen Prozessor und einen Speicher. Der Speicher beinhaltet eine oder mehrere Formen computerlesbarer Medien des Computers 110 und speichert durch den Fahrzeugcomputer 110 ausführbare Anweisungen zum Durchführen verschiedener Vorgänge, einschließlich der hierin offenbarten. Zum Beispiel kann der Computer 110 ein universeller Computer 110 mit einem Prozessor und einem Speicher, wie oben beschrieben, sein und/oder eine elektronische Steuereinheit (electronic control unit - ECU), oder eine Steuerung für eine bestimmte Funktion oder einen Satz von Funktionen und/oder eine dedizierte elektronische Schaltung beinhalten, die einen ASIC beinhaltet, der für eine bestimmte Operation hergestellt wird, z. B. einen ASIC zur Verarbeitung von Sensordaten und/oder zur Übermittlung der Sensordaten. In einem anderen Beispiel kann der Computer 110 ein FPGA (feldprogrammierbares Gate-Array) beinhalten, das eine integrierte Schaltung ist, die so hergestellt ist, dass sie durch einen Benutzer konfigurierbar ist. Typischerweise wird eine Hardware-Beschreibungssprache, wie etwa VHDL (Hardware-Beschreibungssprache für integrierte Schaltungen mit sehr hoher Geschwindigkeit), in der elektronischen Ausgestaltungsautomatisierung verwendet, um digitale und Mischsignal-Systeme, wie etwa FPGA und ASIC, zu beschreiben. Zum Beispiel wird eine ASIC auf Grundlage von VHDL-Programmierung hergestellt, die vor der Herstellung bereitgestellt wird, wohingegen logische Komponenten innerhalb eines FPGA auf Grundlage von VHDL-Programmierung konfiguriert sein können, die z. B. in einem Arbeitsspeicher gespeichert ist, der elektrisch mit der FPGA-Schaltung verbunden ist. In einigen Beispielen kann eine Kombination aus einem oder mehreren Prozessoren, einer oder mehreren ASICs und/oder FPGA-Schaltungen in einem Computer 110 beinhaltet sein. Der Arbeitsspeicher kann von beliebiger Art sein, z. B. Festplattenlaufwerke, Festkörperlaufwerke, Server 130 oder beliebige flüchtige oder nichtflüchtige Medien. Der Arbeitsspeicher kann die gesammelten Daten speichern, die von den Sensoren 115 gesendet wurden. Der Speicher kann eine von dem Computer 110 getrennte Vorrichtung sein und der Computer 110 kann durch den Speicher gespeicherte Informationen über ein Netzwerk in dem Fahrzeug 105 abrufen, z. B. über einen CAN-Bus, ein drahtloses Netzwerk usw. Alternativ oder zusätzlich kann der Speicher Teil des Computers 110 sein, z. B. als ein Speicher des Computers 110.
Der Computer 110 kann eine Programmierung zum Betätigen eines oder mehrerer von Bremsen, Antrieb (z. B. Steuern der Beschleunigung in dem Fahrzeug 105 durch Steuern eines oder mehrere von einer Brennkraftmaschine, einem Elektromotor, einem Hybridmotor usw.) Lenkung, Klimasteuerung, Innen- und/oder Außenbeleuchtung usw. und zum Bestimmen, ob und wann der Computer 110 derartige Vorgänge anstelle eines menschlichen Fahrzeugführers steuern soll, beinhalten. Zusätzlich kann der Computer 110 dazu programmiert sein, zu bestimmen, ob und wann ein menschlicher Bediener derartige Vorgänge steuern soll.
Der Computer 110 kann mehr als einen Prozessor beinhalten oder kommunikativ daran gekoppelt sein, z. B. über ein Fahrzeugnetzwerk, wie etwa einen Kommunikationsbus, wie nachstehend ausführlicher beschrieben, die z. B. in Komponenten, wie etwa Sensoren 115, elektronischen Steuereinheiten (ECUs) oder dergleichen, beinhaltet sind, die in dem Fahrzeug 105 zum Überwachen und/oder Steuern verschiedener Fahrzeugkomponenten, z. B. einer Antriebsstrangsteuerung, einer Bremssteuerung, einer Lenkungssteuerung usw., beinhaltet sind. Der Computer 110 ist im Allgemeinen zur Kommunikation in einem Kommunikationsnetzwerk eines Fahrzeugs 105, das einen Bus in dem Fahrzeug 105 beinhalten kann, wie etwa ein Controller Area Network (CAN) oder dergleichen, und/oder anderen drahtgebundenen und/oder drahtlosen Mechanismen ausgestaltet. Alternativ oder zusätzlich kann in Fällen, in denen der Computer 110 tatsächlich eine Vielzahl von Vorrichtungen umfasst, das Kommunikationsnetzwerk des Fahrzeugs 105 für Kommunikationen zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als der Computer 110 dargestellt sind. Ferner können, wie nachstehend erwähnt, verschiedene Steuerungen und/oder Sensoren 115 dem Computer 110 Daten über das Fahrzeugkommunikationsnetzwerk bereitstellen.
Fahrzeuge 105, wie etwa autonome oder teilautonome Fahrzeuge 105, beinhalten typischerweise eine Reihe von Sensoren 115. Ein Sensor ist eine Vorrichtung, die eine oder mehrere Messungen eines oder mehrerer physikalischer Phänomene erhalten kann. Einige Sensoren 115 erkennen interne Zustände des Fahrzeugs 105, zum Beispiel die Raddrehzahl, Radausrichtung und Motor- und Getriebevariablen. Einige Sensoren 115 erkennen die Position und/oder Ausrichtung des Fahrzeugs 105, zum Beispiel Sensoren 115 des globalen Positionsbestimmungssystems (GPS); Beschleunigungsmesser, wie etwa piezoelektrische oder mikroelektromechanische Systeme (MEMS); Kreisel, wie etwa Wendekreisel, Laserkreisel oder Faserkreisel; inertiale Messeinheiten (IME); und Magnetometer. Einige Sensoren 115 erkennen die Außenwelt, zum Beispiel Radarsensoren 115, abtastende Laserentfernungsmesser, Light-Detection-and-Ranging(LIDAR)-Vorrichtungen und Verarbeitungssensoren 115 für Bilder 200, wie etwa Kameras. Eine LIDAR-Vorrichtung erkennt Entfernungen zu Objekten durch Emittieren von Laserimpulsen und Messen der Laufzeit, die der Impuls zu dem Objekt und zurück benötigt. Einige Sensoren 115 sind Kommunikationsvorrichtungen, zum Beispiel Fahrzeug-zu-Infrastruktur(vehicle-toinfrastructure - V2I) oder Fahrzeug-zu-Fahrzeug(vehicle-to-vehicle -V2V)-Vorrichtungen. Der Sensorbetrieb kann durch Hindernisse, z. B. Staub, Schnee, Insekten usw. beeinträchtigt werden. Oftmals, aber nicht notwendigerweise, beinhaltet ein Sensor einen Digital-Analog-Umsetzer, um erfasste Analogdaten in ein digitales Signal umzuwandeln, das einem digitalen Computer 110, z. B. über ein Netzwerk, bereitgestellt werden kann. Die Sensoren 115 können eine Vielfalt an Vorrichtungen beinhalten und können auf eine Vielfalt an Arten angeordnet sein, um eine Umgebung zu erfassen, Daten über eine Maschine bereitzustellen, usw. Zum Beispiel kann ein Sensor an einem stationären Infrastrukturelement auf, über oder in der Nähe einer Straße montiert sein. Zudem können verschiedene Steuerungen in einem Fahrzeug 105 als Sensoren 115 betrieben werden, um Daten über das Fahrzeugnetzwerk oder einen Bus bereitzustellen, z. B. Daten in Bezug auf Geschwindigkeit, Beschleunigung, Standort, Teilsystem- und/oder Komponentenstatus des Fahrzeugs 105 usw. Ferner könnten andere Sensoren 115 in oder an einem Fahrzeug, stationären Infrastrukturelement usw., Infrastruktur Kameras, Kurzstreckenradar, Langstreckenradar, LIDAR und/oder Ultraschallwandler, Gewichtssensoren 115, Beschleunigungsmesser, Bewegungsdetektoren usw. beinhalten, d. h. Sensoren 115 zum Bereitstellen verschiedener Daten. Um nur einige nicht einschränkende Beispiele zu nennen, könnten Sensordaten Daten zum Bestimmen einer Position einer Komponente, eines Standorts eines Objekts, einer Geschwindigkeit eines Objekts, einer Art eines Objekts, einer Neigung einer Fahrbahn, einer Temperatur, eines Vorhandenseins oder einer Menge an Feuchtigkeit, eines Tankfüllstands, einer Datenrate usw. beinhalten.
Ein Fahrzeugteilsystem 120 ist ein Satz von Komponenten oder Teilen, einschließlich Hardwarekomponenten und in der Regel auch Software und/oder Programmierung, um eine Funktion oder einen Satz von Vorgängen in dem Fahrzeug 105 durchzuführen. Fahrzeugteilsysteme 120 beinhalten in der Regel ohne Einschränkung ein Bremssystem, ein Antriebssystem und ein Lenksystem. Das Antriebsteilsystem wandelt Energie in eine Drehung der Fahrzeugräder um, um das Fahrzeug 105 vorwärts und/oder rückwärts anzutreiben. Das Bremsteilsystem kann die Bewegung des Fahrzeugs verlangsamen und/oder anhalten. Das Lenkteilsystem kann ein Gieren, z. B. Wenden nach links und rechts, und die Einhaltung eines geraden Wegs des Fahrzeugs 105 steuern, während dieses fährt.
Ein Computer 110 kann dazu programmiert sein, mit einem oder mehreren entfernten Orten, wie etwa einem Server 130, über ein Weitbereichsnetz 125 zu kommunizieren. Das Netzwerk 125 stellt einen Mechanismus oder mehrere Mechanismen dar, durch welche ein Fahrzeugcomputer 110 mit einem Remote-Server 130 kommunizieren kann. Dementsprechend kann das Netz eine oder mehrere von verschiedenen drahtgebundenen oder drahtlosen Kommunikationsmechanismen beinhalten, die eine beliebige gewünschte Kombination aus drahtgebundenen (z. B. Kabel- und Faser-) und/oder drahtlosen (z. B. Mobilfunk-, Drahtlos-, Satellit-, Mikrowellen- und Funkfrequenz-)Kommunikationsmechanismen und eine beliebige gewünschte Netztopologie (oder Topologien, wenn mehrere Kommunikationsmechanismen genutzt werden) beinhalten. Beispielhafte Kommunikationsnetzwerke beinhalten drahtlose Kommunikationsnetzwerke (z. B. unter Verwendung von Bluetooth, Bluetooth Low Energy (BLE), IEEE 802.11, Fahrzeug-zu-Fahrzeug (V2V) oder Fahrzeug-zu-Allem (V2X), wie etwa Mobilfunk-V2X-CV2X, wie etwa dedizierte Nahbereichskommunikation (Dedicated Short Range Communications - DSRC) usw.), lokale Netzwerke (local area network - LAN) und/oder Weitverkehrsnetzwerke (WAN), einschließlich des Internets, die Datenkommunikationsdienste bereitstellen.
2 ist eine Ansicht eines beispielhaften Bildes 200, das mit einem Zufallszahlengenerator 215 in Bereiche 205 und Teilbilder 210 unterteilt wurde. Durch Erzeugen von Teilbildern 210 aus den Unterteilungen 205 mit dem Zufallszahlengenerator 215 kann der Computer 110 oder der Server 130 ein Bildverarbeitungsprogramm trainieren, um Objekte in Bildern 200 zu identifizieren, wenn die Objekte teilweise verdeckt sind. Der Computer 110 kann die Bilder 200 mit einem geeigneten Sensor 115, z. B. einer Kamera, erfassen. Die Bilder 200 können Objekte beinhalten, die bei Erkennung eine Änderung des Betriebs des Fahrzeugs 105 verursachen können. Zum Beispiel kann ein Verkehrszeichen Informationen beinhalten, um eine Änderung des Betriebs des Fahrzeugs 105 zu bewirken, wie etwa ein Stoppschild, das verlangt, dass das Fahrzeug 105 anhält. Das Erkennen von Objekten in den Bildern 200 ermöglicht es dem Computer 110, ein oder mehrere Teilsysteme 120 zu betätigen, um den Betrieb des Fahrzeugs 105 zu ändern, z. B. eine Bremse zu betätigen, um das Fahrzeug 105 anzuhalten, bevor das Stoppschild erreicht wird.
Eine „Unterteilung“ eines Bildes 200 ist ein Abschnitt des Bildes 200, der sich von anderen Abschnitten des Bildes 200 unterscheidet. Das heißt, die Unterteilungen 205 überlappen einander nicht und machen gemeinsam das gesamte Bild 200 aus. Der Computer 110 kann das Bild 200 auf Grundlage eines vorgegebenen Musters, z. B. eines in 2 gezeigten 3x3-Rastermusters, in Unterteilungen 205 unterteilen. Alternativ kann der Computer 110 das Bild 200 auf Grundlage eines anderen Musters aufteilen, z. B. eines 1x4-Musters, eines 2x2-Musters, eines 2x4-Musters usw. unterteilen. Der Computer 110 kann das Bild 200 in eine Vielzahl von gleich großen Unterteilungen 205 unterteilen. Der Computer 110 kann jeder der Unterteilungen 205 eine Identifikationsnummer zuweisen, z. B. eine ganze Zahl von 1 bis zur Gesamtzahl der Unterteilungen 205. Zum Beispiel kann das Bild 200 in 2 in 9 Unterteilungen 205 unterteilt sein, denen jeweils eine ganze Zahl von 1 bis 9 zugewiesen ist.
Ein „Teilbild“ 210 ist ein Satz von mindestens zwei Unterteilungen 205, wie in 2 gezeigt. Das heißt, das Teilbild 210 kann weniger als alle Unterteilungen 205 des Bildes 200 beinhalten. Da das Teilbild 210 weniger als alle Teilbilder 205 beinhalten kann, kann das Teilbild 210 ein Bild 200 darstellen, das z. B. durch Schmutz, Niederschlag usw. verdeckt ist. Der Computer 110 kann eine Vielzahl von Teilbildern 210 erzeugen, wobei jedes Teilbild 210 eine andere Teilmenge von Unterteilungen 205 als jedes andere Teilbild 210 ist. Der Computer 110 kann die Vielzahl von Teilbildern 210 auf Grundlage eines oder mehrerer vorstehend beschriebener Rastermuster erzeugen. Zum Beispiel kann der Computer 110 eine erste Vielzahl von Teilbildern 210 auf Grundlage von Unterteilungen 205 eines ersten Rastermusters und eine zweite Vielzahl von Teilbildern 210 auf Grundlage von Unterteilungen 205 eines zweiten Rastermusters erzeugen.
Der Computer 110 kann die Teilbilder 210 auf Grundlage einer Ausgabe von einem Zufallszahlengenerator 215 (random number generator - RNG) erzeugen. Ein „Zufallszahlengenerator“ ist ein Programm, das in der Regel pseudozufällig eine Folge von Ausgabezahlen aus einem Satz von Eingabezahlen erzeugt. Zum Beispiel gibt der RNG 215 aus einem Satz von ganzen Zahlen 1-9 eine Teilmenge des Eingabesatzes aus, d. h. einen Ausgabesatz, der Elemente aufweist, die alle ebenfalls Mitglieder des Eingabesatzes sind. Die Ausgabeteilmenge kann eine kleinere Menge als die Eingabemenge sein, d. h. einige, aber nicht alle der ganzen Zahlen von 1-9. Die Eingabe in das RNG 215 kann auf einer Gesamtanzahl von Unterteilungen 205 basieren, z. B. 9 in dem Beispiel aus 2. Auf Grundlage der Ausgabe des RNG 215 kann der Computer 110 Teilbilder 210 erzeugen. Zum Beispiel kann der RNG 215 eine Teilmenge von ganzen Zahlen ausgeben, wobei jedes Element der Teilmenge eine ganze Zahl ist, die einer der Unterteilungen 205 des Bildes 200 zugeordnet ist. Der Computer 110 kann ein Teilbild 210 erzeugen, das nur die Unterteilungen 205 mit zugewiesenen Identifizierungsnummern in der Teilmenge, die von dem RNG 215 ausgegeben wird, beinhaltet. Das Beispiel aus 2 zeigt drei Teilbilder 210, ein erstes Teilbild 210, das aus der RNG-Ausgabe [1, 2, 5, 8] erzeugt wurde, ein zweites Teilbild 210, das aus der RNG-Ausgabe [1, 3, 4, 6, 9] erzeugt wurde, und ein drittes Teilbild 210, das aus der RNG-Ausgabe [2, 3, 5, 6, 8, 9] erzeugt wurde.
Das Bild 200 kann einen oder mehrere Klassifizierungsbereiche beinhalten. Ein „Klassifizierungsbereich“ ist ein Satz von Pixeln in dem Bild 200, den ein Bildverarbeitungsprogramm 200 verwendet, um ein Objekt in dem Bild 200 zu identifizieren. Das heißt, übliche Verarbeitungsprogramme für Bilder 200 können Objekte basierend auf spezifischen Sätzen von Pixeln in einem Bild 200 identifizieren, z. B. einem Buchstaben „O“ in einem Stoppschild. Wenn die Klassifizierungsbereiche verdeckt sind, kann das Verarbeitungsprogramm für Bilder 200 das Objekt in dem Bild 200 falsch identifizieren. Um das Verarbeitungsprogramm für Bilder 200 dafür zu trainieren, das Objekt in dem Bild 200 korrekt zu identifizieren, kann der Computer 110 Teilbilder 210 erzeugen, die keine Klassifizierungsbereiche beinhalten. Das heißt, die Unterteilungen 205 können derart bestimmt werden, dass mindestens eine Unterteilung 205 keine Klassifizierungsregionen beinhaltet, und vorzugsweise kann eine Vielzahl von Teilbildern 210 ohne die Klassifizierungsregionen erzeugt werden, um das Verarbeitungsprogramm für Bilder 200 zu trainieren.
3 ist ein Blockdiagramm eines beispielhaften Klassifizierungsprogramms 300, das durch den Computer 110 oder den Server 130 trainiert wird, um ein in einem Bild 200 klassifiziertes Objekt auf Grundlage eines Satzes von eingegebenen Teilbildern 210 auszugeben. Das Klassifizierungsprogramm 300 ist ein Programm für maschinelles Lernen, das ein oder mehrere Teilbilder 210 als Eingabe empfängt und eine Klassifizierung eines Objekts für das Bild 200 ausgibt, aus dem die Teilbilder 210 erzeugt wurden. Das Klassifizierungsprogramm 300 kann ein neuronales Multitask-Netz sein, das dazu trainiert ist, Objekte in den Teilbildern 210 zu identifizieren. Ein neuronales Multitask-Netz beinhaltet eine Vielzahl von Schichten 305, wobei jede Schicht 305 Informationen über die Eingabe bereitstellt, um Objekte in dem Bild 200 zu klassifizieren.
Das Klassifizierungsprogramm 300 kann eine Schicht 305 beinhalten, um eine linguistische Eingabe 310 zu identifizieren. Die linguistische Eingabe 310 ist eine Schicht 305, die natürliche Sprache in dem Teilbild 210 identifiziert. Zum Beispiel kann die sprachliche Eingabe 310 Text auf einem Verkehrsschild sein, z. B. „STOPP“ auf einem Stoppschild. Die linguistische Eingabe 310 kann in dem Computer 110 oder dem Server 130 mit einem Trainingsdatensatz trainiert werden, der Text in einer Anmerkung beinhaltet und bei dem eine Kostenfunktion des Klassifizierungsprogramms 300 minimiert ist, wie es bekannt ist.
Das Klassifizierungsprogramm 300 kann eine Vielzahl von Schichten 305 beinhalten, die eine Task 315 identifizieren. Eine „Task“ ist eine spezifizierte Ausgabe eines neuronalen Netzes, wie etwa eine Identifizierung eines Objekts. Ein neuronales Multitask-Netz, wie etwa das Klassifizierungsprogramm 300, kann mehr als eine Task 315 ausgeben. In diesem Zusammenhang handelt es sich bei den Tasks 315 um Objekte, die in den Teilbildern 210 identifiziert sind. Das heißt, die Schichten 305, welche Tasks 315 identifizieren, können dafür trainiert werden, eine spezifische Art von Objekt in den Teilbildern 210 zu bestimmen, die sich von jeder anderen Task 315 unterscheidet. Die Schichten 305 können in dem Computer 110 oder dem Server 130 mit einem Trainingsdatensatz trainiert werden, wobei jedes Teilbild 210 in dem Trainingsdatensatz eine Anmerkung beinhaltet, die das Objekt in dem Teilbild 210 identifiziert. Das Klassifizierungsprogramm 300 gibt dann eine Klassifizierung des Objekts aus und der Computer 110 kann bestimmen, ob das ausgegebene klassifizierte Objekt mit der Anmerkung übereinstimmt. Der Computer 110 kann die Übereinstimmungsbestimmung in den Trainingsdatensatz eingeben.
Das Klassifizierungsprogramm 300 kann eine Vielzahl von Objektklassifizierungen 320 aus den taskspezifischen Schichten 305 ausgeben. Das heißt, jede taskspezifische Schicht 305 kann eine Objektklassifizierung 320 aus der Vielzahl von eingegebenen Teilbildern 210 ausgeben und der Computer 110 kann das Objekt in dem Bild 200 auf Grundlage der Ausgaben identifizieren. Der Computer 110 kann die Vielzahl von Objektklassifizierungen 320 miteinander vergleichen, und wenn eine Anzahl von Objektklassifizierungen 320, die eine gleiche Objektklassifizierung 320 sind, einen Schwellenwert überschreitet, bestimmt der Computer 110, dass das Objekt in dem Bild 200, von dem die Teilbilder 210 erzeugt wurden, die Objektklassifizierung 320 ist. Der Schwellenwert kann z. B. 50 % der Gesamtanzahl der Objektklassifizierungen 320 betragen. Das heißt, der Computer 110 kann das Objekt in dem Bild 200 identifizieren, wenn eine Mehrheit der Objektklassifizierungen 320 aus den Teilbildern 210 gleich ist. Alternativ kann der Schwellenwert eine andere Zahl sein, z. B. eine Supermehrheit. In dem Beispiel aus 3 sind zwei der Objektklassifizierungsausgaben 320 „STOPP“, was ein Stoppschild angibt und dass das Fahrzeug 105 anhalten sollte, und eine der Objektklassifizierungsausgaben ist „Plakat“, das ein Plakat auf einem Straßenschild angibt, für welches das Fahrzeug 105 nicht anhalten sollte. Da ein Großteil der Objektklassifizierungen 320 „STOPP“ ist, kann der Computer 110 bestimmen, dass das Bild 200 ein Stoppschild beinhaltet.
Wenn keine Anzahl von Objektklassifizierungen 320 mit dem gleichen klassifizierten Objekt den Schwellenwert überschreitet, kann der Computer 110 bestimmen, dass das Klassifizierungsprogramm 300 das Objekt in dem Bild 200 nicht identifizieren kann. Dann kann der Computer 110 das Bild 200 in ein übliches Objekterkennungsprogramm eingeben. Das Objekterkennsprogramm kann ein Programm für maschinelles Lernen sein, das durch einen Computer, wie etwa den Server 130, dafür trainiert wird, das in dem Bild 200 identifizierte Objekt auszugeben, z. B. ein tiefes neuronales Netz 500, das nachstehend in 5 beschrieben ist. Da das Objekterkennungsprogramm an ganzen Bildern 200 trainiert sein kann, kann das Objekterkennungsprogramm Objekte in den Teilbildern 210 nicht identifizieren. Somit kann der Computer 110 das Klassifizierungsprogramm 300 verwenden, um Objekte in den Teilbildern 210 zu identifizieren, und wenn das Klassifizierungsprogramm 300 Objekte nicht identifiziert, kann der Computer 110 das übliche Objekterkennungsprogramm verwenden, um Objekte in dem Bild 200 zu identifizieren. Das heißt, das Klassifizierungsprogramm 300 kann in der Regel Objekte genauer erkennen als das übliche Objekterkennungsprogramm, und nur wenn das Klassifizierungsprogramm 300 Objekte nicht detektieren kann, verwendet der Computer 110 das übliche Obj ekterkennungsprogramm.
Nach dem Identifizieren eines Objekts in dem Bild 200, ob durch das Klassifizierungsprogramm 300 oder das Objekterkennungsprogramm, kann der Computer 110 ein Fahrzeugteilsystem 120 auf Grundlage des identifizierten Objekts betätigen. Das heißt, der Computer 110 kann ein oder mehrere Fahrzeugteilsysteme 120 gemäß dem in dem Bild 200 identifizierten Objekt betätigen. Zum Beispiel kann der Computer 110 bestimmen, dass das Objekt in dem Bild 200 ein Stoppschild ist, und kann eine Bremse betätigen, um das Fahrzeug 105 anzuhalten. In einem anderen Beispiel kann der Computer 110 bestimmen, dass das Objekt in dem Bild 200 ein Geschwindigkeitsbegrenzungsschild ist, und kann einen Antrieb gemäß der ausgeschilderten Geschwindigkeitsbegrenzung betätigen.
4 ist ein Blockdiagramm eines beispielhaften Prozesses 400 zum Identifizieren eines Objekts in einem Bild 200. Der Prozess 400 beginnt in einem Block 405, in dem ein Sensor 115 eines Fahrzeugs 105 ein oder mehrere Bilder 200 erfasst. Wie vorstehend beschrieben, kann der Sensor 115 Bilder 200 einer Umgebung um das Fahrzeug 105 erfassen. Zum Beispiel kann der Sensor 115 eine Kamera sein.
Als Nächstes identifiziert der Computer 110 in einem Block 410 eine Vielzahl von Unterteilungen 205 des Bildes 200. Wie vorstehend beschrieben, kann der Computer 110 ein Rastermuster auf das Bild 200 anwenden, um die Unterteilungen 205 zu erzeugen. Zum Beispiel kann der Computer 110 Unterteilungen 205 gemäß einem 3x3-Raster erzeugen, wie in 2 gezeigt.
Als Nächstes gibt der Computer 110 in einem Block 415 eine Vielzahl von Teilbildern 210 von einem Zufallszahlengenerator 215 (RNG) aus. Wie vorstehend beschrieben, gibt der RNG 215 eine Zeichenfolge von identifizierenden Zahlen aus, wie etwa ganze Zahlen, die eine Teilmenge des Satzes von identifizierenden Zahlen sind, die das Bild 200 ausmachen. Zum Beispiel kann der RNG 215 eine Teilmenge der ganzen Zahlen von 1 bis 9 ausgeben, die Unterteilungen 205 eines Bildes 200 angibt, die in einem 3x3-Rastermuster unterteilt sind.
Als Nächstes erzeugt der Computer 110 in einem Block 420 eine Vielzahl von Teilbildern 210 auf Grundlage der Vielzahl von Teilbildteilmengen, die von dem RNG 215 ausgegeben werden. Wie vorstehend beschrieben, kann der Computer 110 Unterteilungen 205 des Bildes 200 beinhalten, die in einer der Teilbildteilmengen identifiziert sind, um ein Teilbild 210 des Bildes 200 zu erzeugen.
Als Nächstes gibt der Computer 110 in einem Block 425 jedes Teilbild 210 in ein Klassifizierungsprogramm 300 ein, das eine Objektklassifizierung 320 für jedes Teilbild 210 ausgibt. Wie vorstehend beschrieben, kann das Klassifizierungsprogramm 300 eine Objektklassifizierung 320 mit einem taskbasierten neuronalen Netz 500 ausgeben, wobei jede Task 315 eine Objektklassifizierung 320 für das Bild 200 auf Grundlage des Satzes Teilbilder 210 ausgibt.
Als Nächstes bestimmt der Computer 110 in einem Block 430, ob eine Anzahl von gleichen Objektklassifizierungen 320 einen Schwellenwert überschreitet. Wie vorstehend beschrieben, gibt das Klassifizierungsprogramm 300 für die Vielzahl von Teilbildern 210 eine Vielzahl von Objektklassifizierungen 320 für das Bild 200 aus, das die Teilbilder 210 erzeugt hat. Wenn die Anzahl der gleichen Objektklassifizierungen 320 einen Schwellenwert überschreitet, wird der Prozess 400 in einem Block 435 fortgesetzt. Andernfalls geht der Prozess 400 zu einem Block 440 über.
In dem Block 43 5 identifiziert der Computer 110 das Objekt in dem Bild 200 gemäß den von dem Klassifizierungsprogramm 300 ausgegebenen Objektklassifizierungen 320. Da die Anzahl von gleichen Objektklassifizierungen 320 den Schwellenwert überschreitet, kann der Computer 110 bestimmen, dass das Klassifizierungsprogramm 300 ein Objekt in dem Bild 200 identifiziert hat.
In Block 440 gibt der Computer 110 das Bild 200 in ein Objekterkennungsprogramm ein. Wie vorstehend beschrieben, kann der Computer 110, wenn das Klassifizierungsprogramm 300 nicht genügend Objektklassifizierungen 320 identifiziert, bestimmen, dass das Klassifizierungsprogramm 300 ein Objekt in dem Bild 200 nicht identifizieren konnte. Der Computer 110 kann dann das Bild 200 in ein übliches Objekterkennungsprogramm eingeben, wie etwa das tiefe neuronale Netz 500.
Als Nächstes bestimmt der Computer 110 in einem Block 445, ob der Prozess 400 fortgesetzt werden soll. Zum Beispiel kann der Computer 110 bestimmen, den Prozess 400 fortzusetzen, wenn das Fahrzeug 105 weiterhin fährt. Wenn der Computer 110 bestimmt, fortzufahren, kehrt der Prozess 400 zu Block 405 zurück. Andernfalls endet der Prozess 400.
5 ist ein Blockdiagramm eines beispielhaften neuronalen Netzes 500, wie etwa des vorstehend beschriebenen Klassifizierungsprogramms 300 und/oder des Obj ekterkennungsprogramms.
Ein neuronales Netz 500, wie etwa das tiefe neuronale Netz 500 (deep neural network - DNN) kann ein Softwareprogramm sein, das in einen Speicher geladen und durch einen Prozessor, den ein Computer, beispielsweise der Computer 110 beinhaltet, ausgeführt werden kann. In einer beispielhaften Umsetzung kann das DNN unter anderem ein neuronales Faltungsnetz (CNN), R-CNN (bereichsbasiertes CNN), schnelles R-CNN und schnelleres R-CNN beinhalten. Das DNN beinhaltet mehrere Knoten oder Neuronen 505. Die Neuronen 505 sind derart angeordnet, dass das DNN eine Eingabeschicht, eine oder mehrere verborgene Schichten und eine Ausgabeschicht beinhaltet. Jede Schicht des DNN kann eine Vielzahl von Neuronen 505 beinhalten. Während drei verborgene Schichten veranschaulicht sind, versteht es sich, dass das DNN zusätzliche oder weniger verborgene Schichten beinhalten kann. Die Eingabe- und die Ausgabeschicht können auch mehr als einen Knoten beinhalten. Als ein Beispiel kann das DNN mit Ground-Truth-Daten trainiert werden, d. h. Daten über eine realen Bedingung oder einen realen Zustand. Zum Beispiel kann das DNN mit Ground-Truth-Daten trainiert und/oder mit zusätzlichen Daten aktualisiert werden. Die Gewichtungen können zum Beispiel durch das Verwenden einer Gauß-Verteilung initialisiert werden und eine systematische Messabweichung für jeden Knoten kann auf null gesetzt werden. Das Trainieren des DNN kann das Aktualisieren von Gewichtungen und systematischen Messabweichungen durch geeignete Methoden beinhalten, wie etwa Rückpropagierung mit Optimierungen. Unter Ground-Truth-Daten sind Daten zu verstehen, von denen ausgegangen wird, dass sie eine reale Umgebung darstellen, z. B. Bedingungen und/oder Objekte in der Umgebung. Somit können Ground-Truth-Daten Sensordaten beinhalten, die eine Umgebung, z. B. ein Objekt in einer Umgebung, zusammen mit einer Markierung oder Markierungen, welche die Umgebung beschreiben, z. B. einer Markierung, die das Objekt beschreibt, darstellen. Ground-Truth-Daten können ferner Metadaten beinhalten, wie etwa einen Standort oder Standorte, an denen die Ground-Truth-Daten erhalten wurden, einen Zeitpunkt des Erhaltens der Ground-Truth-Daten usw., oder durch diese vorgegeben sein.
Die Knoten werden gelegentlich als künstliche Neuronen 505 bezeichnet, da sie dazu ausgebildet sind, biologische, z. B. menschliche, Neuronen 505 zu emulieren. Ein Satz Eingaben, dargestellt durch die Pfeile, für jedes Neuron 505 wird jeweils mit den jeweiligen Gewichtungen multipliziert. Die gewichteten Eingaben können dann in einer Eingabefunktion summiert werden, um eine, möglicherweise um eine systematische Abweichung angepasste, Nettoeingabe bereitzustellen. Die Nettoeingabe kann dann an einer Aktivierungsfunktion bereitgestellt werden, durch die wiederum eine Ausgabe an einem verbundenen Neuron 505 bereitgestellt wird. Bei der Aktivierungsfunktion kann es sich um eine Vielfalt geeigneter Funktionen handeln, die in der Regel auf Grundlage einer empirischen Analyse ausgewählt wird. Wie durch die Pfeile in der Figur veranschaulicht, können die Ausgaben des Neurons 505 dann zur Aufnahme in einen Satz Eingaben in ein oder mehrere Neuronen 505 in einer nächsten Schicht bereitgestellt werden.
Computerausführbare Anweisungen können von Computerprogrammen zusammengestellt oder interpretiert werden, die unter Verwendung einer Vielfalt von Programmiersprachen und/oder -techniken erstellt wurden, darunter unter anderem, entweder allein oder in Kombination, Java, C, C, Visual Basic, Java Script, Perl, HTML usw. Im Allgemeinen empfängt ein Prozessor, z. B. ein Mikroprozessor, Anweisungen, z. B. von einem Speicher, einem Computer 110, einem computerlesbaren Medium usw., und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse durchführt, darunter einen oder mehrere der hierin beschriebenen Prozesse. Derartige Anweisungen und andere Daten können unter Verwendung einer Vielfalt von computerlesbaren Medien gespeichert und übertragen werden. Eine Datei in einer vernetzten Vorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw. gespeichert ist. Ein computerlesbares Medium beinhaltet ein beliebiges Medium, das an dem Bereitstellen von Daten, z. B. Anweisungen, beteiligt ist, die von einem Computer 110 gelesen werden können. Ein derartiges Medium kann viele Formen annehmen, zu denen unter anderem nichtflüchtige Medien und flüchtige Medien gehören. Derartige Anweisungen können durch ein oder mehrere Übertragungsmedien übertragen werden, die Glasfasern, Drähte, drahtlose Kommunikation beinhalten, einschließlich der Innenaufbauelemente, die einen an einen Prozessor eines Computers 110 gekoppelten Systembus ausmachen. Übliche Formen von computerlesbaren Medien beinhalten zum Beispiel RAM, ein PROM, ein EPROM, ein FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speichereinheit oder ein beliebiges anderes Medium, von dem ein Computer 110 lesen kann.
Die Verwendung von „als Reaktion auf“, „basierend auf“ und „beim Bestimmen“ in dieser Schrift gibt eine kausale Beziehung an, nicht nur eine rein temporale Beziehung.
In den Zeichnungen geben gleiche Bezugszeichen die gleichen Elemente an. Ferner könnten einige oder alle dieser Elemente geändert werden. Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren usw. versteht es sich, dass, obwohl die Schritte derartiger Prozesse usw. als gemäß einer gewissen geordneten Sequenz erfolgend beschrieben worden sind, die beschriebenen Schritte bei der Ausführung derartiger Prozesse in einer Reihenfolge durchgeführt werden könnten, bei der es sich nicht um die in dieser Schrift beschriebene Reihenfolge handelt, es sei denn, es ist etwas anderes angegeben oder erschließt sich aus dem Zusammenhang. Gleichermaßen versteht es sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt werden können, dass andere Schritte hinzugefügt oder dass bestimmte, in dieser Schrift beschriebene Schritte ausgelassen werden können. Anders ausgedrückt werden die Beschreibungen von Prozessen in dieser Schrift zur Veranschaulichung bestimmter Ausführungsformen bereitgestellt und sollten keinesfalls dahingehend ausgelegt werden, dass sie die beanspruchte Erfindung einschränken.
Gemäß der vorliegenden Erfindung wird ein System bereitgestellt, das einen Computer aufweist, der einen Prozessor und einen Speicher beinhaltet, wobei in dem Speicher Anweisungen gespeichert sind, die durch den Prozessor ausgeführt werden können, um auf Grundlage einer Ausgabe von einem Zufallszahlengenerator eine Vielzahl von Teilbildern zu erzeugen, wobei jedes Teilbild ein Satz von mindestens zwei Unterteilungen eines Bildes ist, wobei jede Unterteilung des Bildes ein Abschnitt des Bildes ist, der sich von jeder anderen Unterteilung des Bildes unterscheidet; jedes Teilbild in ein Programm für maschinelles Lernen einzugeben, das dazu trainiert ist, ein in dem Teilbild klassifiziertes Objekt auszugeben; und, wenn eine Anzahl von Teilbildern mit einem gleichen klassifiziertes Objekt einen Schwellenwert überschreitet, ein Objekt in dem Bild als das klassifizierte Objekt zu identifizieren.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Unterteilen des Bildes in eine Vielzahl von Unterteilungen und zum Erzeugen der Ausgabe von dem Zufallszahlengenerator auf Grundlage einer Gesamtanzahl der Vielzahl von Unterteilungen.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Eingeben einer Anmerkung, die das Objekt in dem Bild identifiziert, in das Programm für maschinelles Lernen und zum Bestimmen, ob die Anmerkung mit dem klassifizierten Objekt übereinstimmt, das von dem Programm für maschinelles Lernen ausgegeben wird.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Eingeben der Übereinstimmungsbestimmung in einen Trainingsdatensatz des Programms für maschinelles Lernen.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um, wenn keine Anzahl von Teilbildern mit demselben klassifizierten Objekt den Schwellenwert überschreitet, das Bild in ein zweites Programm für maschinelles Lernen einzugeben, das dazu trainiert ist, das in dem Bild identifizierte Objekt auszugeben.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Zuweisen einer Identifikationsnummer zu jeder der Unterteilungen beinhalten, wobei die Identifikationsnummern einen Satz definieren und die Ausgabe des Zufallszahlengenerators eine Teilmenge des Satzes Identifikationsnummern ist.
Gemäß einer Ausführungsform ist das Programm für maschinelles Lernen ein neuronales Multitask-Netz, wobei jede Task des Multitask-Netzes dazu programmiert ist, eine spezifische Art von Objekt zu klassifizieren, die sich von den anderen Tasks unterscheidet.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Identifizieren einer Vielzahl von Klassifizierungsbereichen in dem Bild, wobei jeder Klassifizierungsbereich ein Bereich in dem Bild ist, für den das Programm für maschinelles Lernen eine Identifizierung eines Objekts ausgibt, und zum Bestimmen einer Anzahl von Unterteilungen des Bildes auf Grundlage der identifizierten Vielzahl von Klassifizierungsbereichen.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Erzeugen mindestens einer Unterteilung, die keine Klassifizierungsbereiche beinhalten.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Betätigen eines Fahrzeugteilsystems auf Grundlage des identifizierten Objekts, wenn das Objekt in dem Bild identifiziert wird.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Unterteilen des Bildes in eine Vielzahl von gleich großen Unterteilungen in einem Rastermuster.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Erzeugen der Vielzahl von Teilbildern auf Grundlage der Unterteilungen in dem Rastermuster, um das Bild in eine zweite Vielzahl von gleich großen Unterteilungen in einem zweiten Rastermuster zu unterteilen, und zum Erzeugen einer zweiten Vielzahl von Teilbildern auf Grundlage der Unterteilungen in dem zweiten Rastermuster.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren: Erzeugen einer Vielzahl von Teilbildern auf Grundlage einer Ausgabe von einem Zufallszahlengenerator, wobei jedes Teilbild ein Satz von mindestens zwei Unterteilungen eines Bildes ist, wobei jede Unterteilung des Bildes ein Abschnitt des Bildes ist, der sich von jeder anderen Unterteilung des Bildes unterscheidet; Eingeben jedes Teilbildes in ein Programm für maschinelles Lernen, das dazu trainiert ist, ein in dem Teilbild klassifiziertes Objekt auszugeben; und, wenn eine Anzahl von Teilbildern mit einem gleichen klassifiziertes Objekt einen Schwellenwert überschreitet, Identifizieren eines Objekts in dem Bild als das klassifizierte Objekt.
In einem Aspekt der Erfindung beinhaltet das Verfahren Unterteilen des Bildes in eine Vielzahl von Unterteilungen und zum Erzeugen der Ausgabe von dem Zufallszahlengenerator auf Grundlage einer Gesamtanzahl der Vielzahl von Unterteilungen.
In einem Aspekt der Erfindung beinhaltet das Verfahren Eingeben einer Anmerkung, die das Objekt in dem Bild identifiziert, in das Programm für maschinelles Lernen und Bestimmen, ob die Anmerkung mit dem klassifizierten Objekt übereinstimmt, das von dem Programm für maschinelles Lernen ausgegeben wird.
In einem Aspekt der Erfindung beinhaltet das Verfahren, wenn keine Anzahl von Teilbildern mit demselben klassifizierten Objekt den Schwellenwert überschreitet, Eingeben des Bildes in ein zweites Programm für maschinelles Lernen, das dazu trainiert ist, das in dem Bild identifizierte Objekt auszugeben.
In einem Aspekt der Erfindung beinhaltet das Verfahren Zuweisen einer Identifikationsnummer zu jeder der Unterteilungen, wobei die Identifikationsnummern einen Satz definieren und die Ausgabe des Zufallszahlengenerators eine Teilmenge des Satzes Identifikationsnummern sind.
Gemäß einem Aspekt der Erfindung ist das Programm für maschinelles Lernen ein neuronales Multitask-Netz, wobei jede Task des Multitask-Netzes dazu programmiert ist, eine spezifische Art von Objekt zu klassifizieren, die sich von den anderen Tasks unterscheidet.
In einem Aspekt der Erfindung beinhaltet das Verfahren Betätigen eines Fahrzeugteilsystems auf Grundlage des identifizierten Objekts, wenn das Objekt in dem Bild identifiziert wird.
In einem Aspekt der Erfindung beinhaltet das Verfahren Unterteilen des Bildes in eine Vielzahl von gleich großen Unterteilungen in einem Rastermuster.

Claims

Verfahren, umfassend: Erzeugen einer Vielzahl von Teilbildern auf Grundlage einer Ausgabe von einem Zufallszahlengenerator, wobei jedes Teilbild ein Satz von mindestens zwei Unterteilungen eines Bildes ist, wobei jede Unterteilung des Bildes ein Abschnitt des Bildes ist, der sich von jeder anderen Unterteilung des Bildes unterscheidet; Eingeben jedes Teilbilds in ein Programm für maschinelles Lernen, das dazu trainiert ist, ein in dem Teilbild klassifiziertes Objekt auszugeben; und wenn eine Anzahl von Teilbildern mit einem gleichen klassifizierten Objekt einen Schwellenwert überschreitet, Identifizieren eines Objekts in dem Bild als das klassifizierte Objekt.
Verfahren nach Anspruch 1, ferner umfassend Unterteilen des Bildes in eine Vielzahl von Unterteilungen und Erzeugen der Ausgabe von dem Zufallszahlengenerator auf Grundlage einer Gesamtanzahl der Vielzahl von Unterteilungen.
Verfahren nach Anspruch 1, ferner umfassend Eingeben einer Anmerkung, die das Objekt in dem Bild identifiziert, in das Programm für maschinelles Lernen und Bestimmen, ob die Anmerkung mit dem klassifizierten Objekt übereinstimmt, das von dem Programm für maschinelles Lernen ausgegeben wird.
Verfahren nach Anspruch 3, ferner umfassend Eingeben der Übereinstimmungsbestimmung in einen Trainingsdatensatz des Programms für maschinelles Lernen.
Verfahren nach Anspruch 1, ferner umfassend Eingeben des Bildes in ein zweites Programm für maschinelles Lernen, das dazu trainiert ist, das in dem Bild identifizierte Objekt auszugeben, wenn keine Anzahl von Teilbildern mit dem gleichen klassifizierten Objekt den Schwellenwert überschreitet.
Verfahren nach Anspruch 1, ferner umfassend Zuweisen einer Identifikationsnummer zu jeder der Unterteilungen, wobei die Identifikationsnummern einen Satz definieren und die Ausgabe des Zufallszahlengenerators eine Teilmenge des Satzes der Identifikationsnummern ist.
Verfahren nach Anspruch 1, wobei das Programm für maschinelles Lernen ein neuronales Multitask-Netz ist, wobei jede Task des Multitask-Netzes dazu programmiert ist, eine spezifische Art von Objekt zu klassifizieren, die sich von den anderen Tasks unterscheidet.
Verfahren nach Anspruch 1, ferner umfassend Identifizieren einer Vielzahl von Klassifizierungsbereichen in dem Bild, wobei jeder Klassifizierungsbereich ein Bereich in dem Bild ist, für den das Programm für maschinelles Lernen eine Identifizierung eines Objekts ausgibt, und Bestimmen einer Anzahl von Unterteilungen des Bildes auf Grundlage der identifizierten Vielzahl von Klassifizierungsbereichen.
Verfahren nach Anspruch 8, ferner umfassend Erzeugen mindestens einer Unterteilung, die keine Klassifizierungsbereiche beinhaltet.
Verfahren nach einem der Ansprüche 1-9, ferner umfassend Betätigen eines Fahrzeugteilsystems auf Grundlage des identifizierten Objekts, wenn das Objekt in dem Bild identifiziert wird.
Verfahren nach einem der Ansprüche 1-9, ferner umfassend Unterteilen des Bildes in eine Vielzahl von gleich großen Unterteilungen in einem Rastermuster.
Verfahren nach Anspruch 11, ferner umfassend Erzeugen der Vielzahl von Teilbildern auf Grundlage der Unterteilungen in dem Rastermuster, um das Bild in eine zweite Vielzahl von gleich großen Unterteilungen in einem zweiten Rastermuster zu unterteilen, und Erzeugen einer zweiten Vielzahl von Teilbildern auf Grundlage der Unterteilungen in dem zweiten Rastermuster.
Computer, der dazu programmiert ist, das Verfahren nach einem der Ansprüche 1-9 durchzuführen.
Fahrzeug, das den Computer nach Anspruch 13 umfasst.
Computerprogrammprodukt, das ein computerlesbares Medium umfasst, das Anweisungen speichert, die durch einen Computerprozessor ausgeführt werden können, um das Verfahren nach einem der Ansprüche 1-9 auszuführen.