-
Die vorliegende Erfindung bezieht sich auf ein Erfassungssystem und ein Erfassungsverfahren, insbesondere auf ein Erfassungssystem für ein Zielobjekt, das in der Lage ist einen adaptiven Lernvorgang durchzuführen, und auf ein Verfahren zum Erfassen eines Zielobjekts und zum Durchführen eines adaptiven Lernvorgangs.
-
Gegenwärtige Advanced Driver Assistance Systeme (ADAS) haben eine weitgehend angeeignete künstliche Intelligenz, um die Zahl von Verkehrsunfällen zu verringern, wobei viele Firmen in der Industrie ihre Forschung und Entwicklung auf Technologien richten, wie Fahrspur-Erfassungssysteme, Systeme zur Einparkhilfe, Systeme zur Kollisionsvermeidung usw.
-
Die Bilderkennung ist eine der wichtigsten Techniken in den vorerwähnten Systemen. Die Bilderkennungstechnik richtet sich meistens auf ein Trainieren von Parametern eines Klassifikators aufgrund eines Algorithmus, der einem maschinellen Lernvorgang für eine Klassifizierung zugeordnet ist, um so Objekte in einem Bild zu erkennen. Jedoch ist aufgrund der eingeschränkten Leistungsfähigkeit eines in einem Fahrzeug bereitgehaltenen, eingebetteten Systems (embedded system) auch die Leistungsfähigkeit eine Klassifikators des eingebetteten Systems begrenzt. Wie die falsche Positivrate in einer diversifizierten Straßenumgebung, bei gleichzeitiger Berücksichtigung der eingeschränkten Leistungsfähigkeit eines eingebetteten Systems in einem Fahrzeug, effektiv zu reduzieren ist, ist daher ein Kernpunkt in gegenwärtigen Forschungs- und Entwicklungsprojekten.
-
Deshalb ist eine Aufgabe der vorliegenden Erfindung, ein Erfassungssystem für ein Zielobjekt und ein Verfahren für eine Zielobjekterfassung bereitzustellen.
-
Gemäß einem ersten Aspekt der vorliegenden Erfindung umfasst ein Erfassungssystem für ein Zielobjekt eine Erfassungseinheit und eine maschinelle Lerneinheit.
-
Die Erfassungseinheit ist so ausgebildet, dass diese ein Bild erhält, eine mit der Klassifizierung verbundene Operation unter Verwendung von Parametern für schwache Klassifikatoren durchführt, um so zu festzustellen, ob ein Bereich des Bildes einem Zielobjekt ähnlich ist, und das Bild ausgibt. Die Erfassungseinheit ist ferner so ausgebildet, dass diese ein Benachrichtigungssignal ausgibt, wenn festgestellt wird, dass der Bereich des Bildes dem Zielobjekt ähnlich ist. Die maschinelle Lerneinheit ist mit der Erfassungseinheit für den Empfang des Bildes kommunikationsfähig gekoppelt und ist so ausgebildet, dass diese mit der Klassifizierung verbundene Operationen unter Verwendung der Parameter für schwache Klassifikatoren bzw. Parameter für starke Klassifikatoren durchführt, um so jeweils zwei Feststellungen dahingehend zu treffen, ob der Bereich des Bildes dem Zielobjekt ähnlich ist. Wenn die Ergebnisse der jeweils zwei Feststellungen unterschiedlich sind, ist die maschinelle Lerneinheit ferner so ausgebildet, dass diese unter Verwendung des Bildes eine Trainingsoperation durchführt, um so neue Parameter für schwache Klassifikatoren zu erhalten, welche dazu genutzt werden, die Parameter für schwache Klassifikatoren der Erfassungseinheit und der maschinellen Lerneinheit zu aktualisieren.
-
Gemäß einem zweiten Aspekt der vorliegenden Erfindung soll ein Verfahren zur Zielobjekterfassung in ein Erfassungssystem für ein Zielobjekt implementiert werden, das eine Erfassungseinheit und eine maschinelle Lerneinheit umfasst. Das Verfahren umfasst die folgenden Schritte:
Durchführen einer mit der Klassifizierung unter Verwendung von Parametern für schwache Klassifikatoren verbundenen Operation nach dem Erhalten eines Bildes durch die Erfassungseinheit, um so festzustellen, ob ein Bereich des Bildes einem Zielobjekt ähnlich ist;
Ausgeben eines Benachrichtigungssignals durch die Erfassungseinheit, wenn festgestellt wird, dass der Bereich des Bildes dem Zielobjekt ähnlich ist;
Ausgeben des Bildes durch die Erfassungseinheit an die maschinelle Lerneinheit;
Durchführen von mit der Klassifizierung unter Verwendung der Parameter für schwache Klassifikatoren bzw. Parameter für starke Klassifikatoren verbundenen Operationen durch die maschinelle Lerneinheit nach dem Empfang des Bildes, um so jeweils zwei Feststellungen dahingehend zu treffen, ob der Bereich des Bildes dem Zielobjekt ähnlich ist; und
wenn Ergebnisse der jeweils zwei Feststellungen unterschiedlich sind, Durchführen einer Trainingsoperation durch die maschinelle Lerneinheit unter Verwendung des Bildes, um so neue Parameter für schwache Klassifikatoren zu erhalten, welche dazu genutzt werden, die Parameter für schwache Klassifikatoren der Erfassungseinheit und der maschinelle Lerneinheit zu aktualisieren.
-
Ein Effekt der vorliegenden Erfindung beruht darin, dass durch die Erfassungseinheit Echtzeit-Operationen am Bild durchgeführt werden können, und das Bild durch die maschinelle Lerneinheit für eine nachfolgende Trainingsoperation zum adaptiven Lernen genutzt wird. Da in keiner Ausführungsform dieser Erfindung eine zusätzliche Feststellung mittels einer Klassifizierung durch Arbeit oder Kennzeichnung erforderlich ist, kann eine große Anzahl von Lernproben zur Verbesserung der Leistungsfähigkeit des Erfassungssystems für ein Zielobjekt schnell gesammelt werden, wodurch die Fahrsicherheit erhöht wird.
-
Weitere Merkmale und Vorteile der vorliegenden Erfindung werden in der folgenden detaillierten Beschreibung von Ausführungsformen mit Bezug auf die beigefügten Zeichnungen deutlich, in welchen:
-
1 ein Blockdiagramm ist, welches eine erste Ausführungsform eines Erfassungssystems für ein Zielobjekt gemäß der vorliegenden Erfindung darstellt;
-
2 ein schematisches Diagramm ist, welches eine Ausführungsform darstellt, bei der eine Erfassungseinheit auf einem Fahrzeug angeordnet ist, während eine maschinelle Lerneinheit mit der Erfassungseinheit kommunikationsfähig gekoppelt ist;
-
3 ein schematisches Diagramm ist, welches eine Ausführungsform eines starken Klassifikators darstellt, wobei dessen frühere M-Stufen einen schwachen Klassifikator bilden;
-
4 ein Blockdiagramm ist, welches eine zweite Ausführungsform des Erfassungssystems für ein Zielobjekt gemäß der vorliegenden Erfindung darstellt;
-
5 ein schematisches Diagramm ist, welches eine Ausführungsform darstellt, bei der die Erfassungseinheit und die maschinelle Lerneinheit beide auf dem Fahrzeug angeordnet sind; und
-
6 ein Flussdiagramm ist, welches eine Ausführungsform eines Verfahrens für eine Zielobjekterfassung gemäß der vorliegenden Erfindung darstellt.
-
Bevor die vorliegende Erfindung in größeren Einzelheiten beschrieben wird, sei angemerkt, dass Bezugszeichen oder Endstellen von Bezugszeichen in den Figuren wiederholt werden, wenn dies als geeignet angesehen wird, um auf entsprechende oder analoge Elemente hinzuweisen, welche optional ähnliche Eigenschaften haben können.
-
Mit Bezug auf 1 und 2 umfasst eine erste Ausführungsform eines Erfassungssystems für ein Zielobjekt gemäß der vorliegenden Erfindung eine Erfassungseinheit 2 und eine maschinelle Lerneinheit 3.
-
Die Erfassungseinheit 2 ist so ausgelegt, dass diese auf einem Fahrzeug 9 (siehe 2) angeordnet werden kann, ist so ausgebildet, dass diese ein Bild erhalten kann, um eine mit der Klassifizierung unter Verwendung von Parametern für schwache Klassifikatoren verbundene Operation durchzuführen, derart, dass festgestellt wird, ob ein Bereich des Bildes einem Zielobjekt ähnlich ist, und dass diese das Bild ausgibt. Die Erfassungseinheit 2 ist ferner so ausgebildet, dass diese ein Benachrichtigungssignal ausgibt, wenn festgestellt wird, dass der Bereich des Bildes dem Zielobjekt ähnlich ist, und dass diese die Parameter für schwache Klassifikatoren in Abhängigkeit vom Empfang neuer Parameter für schwache Klassifikatoren aktualisiert. Die Erfassungseinheit 2 ist ferner so ausgebildet, dass diese ein Video empfängt, und so, dass diese das Bild aus dem Video extrahiert.
-
In dieser Ausführungsform ist das auf diese Weise empfangene Video beispielhaft als ein Videostream wiedergegeben, der durch ein Auto-Fahrtaufzeichnungsgerät (nicht dargestellt) erzeugt wird, welches Bilder der Umgebung des Fahrzeugs 9 aufzeichnet, und das Video wird der Erfassungseinheit 2 zur Feststellung bereitgestellt, ob es irgendwelche Hindernisse in der Nähe gibt. Das vorerwähnte Zielobjekt ist irgendein Hindernis, das in dem Erfassungssystem für Zielobjekte vordefiniert ist (zum Beispiel Fußgänger, andere Fahrzeuge etc.). Die Erfassungseinheit 2 kann ferner für eine andere Bildverarbeitung am Fahrzeug genutzt werden und ist nicht auf die hier vorliegende Offenbarung beschränkt.
-
Die Erfassungseinheit 2 umfasst ein Bilderfassungsmodul 21, ein erstes Bildverarbeitungsmodul 22, ein erstes Klassifikatormodul 23, ein Ausgabemodul 24 und ein Parametermodul 25.
-
Das Bilderfassungsmodul 21 ist so ausgebildet, dass dieses das von dem Video, das heißt, dem durch das Auto-Fahrtaufzeichnungsgerät erzeugten Videostream, empfangene Bild erfassen kann.
-
Das erste Bildverarbeitungsmodul 22 ist elektrisch mit dem Bilderfassungsmodul 21 zum Empfangen des Bildes verbunden und ist so ausgebildet, dass dieses von dem Bild ein erstes Teilbild extrahiert, das als der Bereich des Bildes dient, der Gegenstand der Feststellung durch die Erfassungseinheit 2 ist.
-
Das erste Klassifikatormodul 23 ist elektrisch mit dem ersten Bildverarbeitungsmodul 22 zum Empfangen des ersten Teilbildes verbunden und ist so ausgebildet, dass dieses die mit der Klassifizierung unter Verwendung der Parameter für schwache Klassifikatoren verbundene Operation durchführen kann, um so festzustellen, ob das erste Teilbild dem Zielobjekt ähnlich ist. Das erste Teilbild, welches von dem durch das Bilderfassungsmodul 21 erfassten Bildes extrahiert wird, entspricht dem Bild, das durch die Erfassungseinheit 2 ausgegeben werden soll. Wenn festgestellt wird, dass das erste Teilbild dem Zielobjekt ähnlich ist, bedeutet dies, dass das erste Klassifikatormodul 23 feststellt, dass es ein Hindernis in der Nähe des Fahrzeugs 9 gibt, und das erste Klassifikatormodul 23 ist ferner so ausgebildet, dass dieses das Benachrichtigungssignal zum Benachrichtigen eines Fahrers des Fahrzeugs 9 über das Hindernis ausgeben kann.
-
Das Ausgabemodul 24 ist elektrisch mit dem Bilderfassungsmodul 21 zum Empfangen des Bildes verbunden und ist so ausgebildet, dass dieses das Bild an die maschinelle Lerneinheit 3 ausgibt.
-
Das Parametermodul 25 ist elektrisch mit dem ersten Klassifikatormodul 23 verbunden und ist so ausgebildet, dass dieses die Parameter für schwache Klassifikatoren speichert, welche für die Verwendung durch das erste Klassifikatormodul 23 verfügbar sind, um die mit der Klassifizierung verbundene Operation durchzuführen.
-
Die maschinelle Lerneinheit 3 ist mit der Erfassungseinheit 2 kommunikativ gekoppelt, um von dieser das Bild zu empfangen. Die maschinelle Lerneinheit 3 ist so ausgebildet, dass diese mit der Klassifizierung verbundene Operationen unter Verwendung der Parameter für schwache Klassifikatoren bzw. von Parametern für starke Klassifikatoren durchführen kann, um so jeweils zwei Feststellungen treffen zu können, ob der Bereich des Bildes dem Zielobjekt ähnlich ist. Wenn die Ergebnisse der jeweils zwei Feststellungen unterschiedlich sind, ist die maschinelle Lerneinheit 3 weiter so ausgebildet, dass diese unter Verwendung des Bildes eine Trainingsoperation durchführt, um so neue Parameter für schwache Klassifikatoren zu erhalten, welche verwendet werden, um die Parameter für schwache Klassifikatoren der maschinellen Lerneinheit 3 zu aktualisieren und um die Parameter für schwache Klassifikatoren, die in dem Parametermodul 25 der Erfassungseinheit 2 gespeichert sind, zu aktualisieren.
-
In dieser Ausführungsform kann die maschinelle Lerneinheit 3 in dem Fahrzeug 9 angeordnet sein oder kann in einem entfernten Server (nicht gezeigt) angeordnet sein. Die maschinelle Lerneinheit 3 ist drahtlos (kann in einigen Fällen verdrahtet sein) mit der Erfassungseinheit 2 verbunden, um dem Ausgabemodul 24 zu erlauben, das Bild an diese auszugeben, und dem Parametermodul 25 zu erlauben, die neuen Parameter für schwache Klassifikatoren von dieser zu empfangen.
-
Die maschinelle Lerneinheit 3 umfasst ein zweites Bildverarbeitungsmodul 31, ein zweites Klassifikatormodul 32, ein Trainingsmodul 33 und ein Aktualisierungsmodul 34.
-
Das zweite Bildverarbeitungsmodul 31 ist so ausgebildet, dass dieses das Bild von dem Ausgabemodul 24 der Erfassungseinheit 2 empfängt und von dem Bild ein zweites Teilbild extrahiert, welches einen Inhalt aufweist, der mit dem des ersten Teilbildes identisch ist und der als der Bereich des Bildes dient, der durch die maschinelle Lerneinheit 3 den zwei Feststellungen ausgesetzt wird.
-
Das zweite Klassifikatormodul 32 ist elektrisch mit dem zweiten Bildverarbeitungsmodul 31 verbunden, um das zweite Teilbild und das Bild zu empfangen und ist so ausgebildet, dass dieses die mit der Klassifizierung unter Verwendung der Parameter für schwache Klassifikatoren bzw. der Parameter für starke Klassifikatoren verbundenen Operationen durchführt, um so die jeweils zwei Feststellungen treffen zu können, ob das zweite Teilbild dem Zielobjekt ähnlich ist. Da das zweite Klassifikatormodul 32 und das erste Klassifikatormodul 23 die identischen Parameter für schwache Klassifikatoren zum Durchführen der mit der Klassifizierung verbundenen Operation nutzen, sollte das Ergebnis der Feststellung unter Verwendung der Parameter für schwache Klassifikatoren durch das zweite Klassifikatormodul 32 äquivalent zu dem der Feststellung durch das erste Klassifikatormodul 23 sein. Da zudem eine Gesamtzahl der Parameter für starke Klassifikatoren größer ist als eine Gesamtzahl der Parameter für schwache Klassifikatoren, hat das Ergebnis der Feststellung unter Verwendung der Parameter für starke Klassifikatoren eine höhere Genauigkeit. Auf diese Weise wird das Ergebnis der Feststellung unter Verwendung der Parameter für starke Klassifikatoren als ein korrektes Ergebnis betrachtet. Wenn Ergebnisse der jeweils zwei Feststellungen unter Verwendung der Parameter für schwache Klassifikatoren bzw. der Parameter für starke Klassifikatoren unterschiedlich sind, bedeutet das, dass das Ergebnis der Feststellung unter Verwendung der Parameter für schwache Klassifikatoren fehlerhaft ist, und das Bild, welches dem fehlerhaften Ergebnis entspricht, wird durch das zweite Klassifikatormodul 32 ausgegeben.
-
Das Trainingsmodul 33 ist elektrisch mit dem zweiten Klassifikatormodul 32 verbunden, um das Bild von diesem zu empfangen, und ist so ausgebildet, dass dieses das Bild als eine Trainingsprobe zum Trainieren von Parametern des zweiten Klassifikatormoduls 32 verwendet, um so die neuen Parameter für schwache Klassifikatoren zu erhalten.
-
Das Aktualisierungsmodul 34 ist elektrisch mit dem Trainingsmodul 33 zum Empfangen der neuen Parameter für schwache Klassifikatoren verbunden und ist so ausgebildet, dass dieses die Parameter für schwache Klassifikatoren des zweiten Klassifikatormoduls 32 unter Verwendung der neuen Parameter für schwache Klassifikatoren aktualisiert und die neuen Parameter für schwache Klassifikatoren an das Parametermodul 25 der Erfassungseinheit 2 zur Aktualisierung der durch das erste Klassifikatormodul 23 verwendeten Parameter für schwache Klassifikatoren zu übertragen. In dieser Ausführungsform wird das Bild, welches dem fehlerhaften Ergebnis entspricht, gesammelt und wird zum Trainieren der Parameter des zweiten Klassifikatormoduls 32 verwendet, um so die neuen Parameter für schwache Klassifikatoren zu erhalten, die nachfolgend verwendet werden, um die Parameter für schwache Klassifikatoren zu aktualisieren.
-
In einer Ausführungsform ist das Aktualisierungsmodul 34 ferner so ausgebildet, dass dieses unter Verwendung eines vorbestimmten Satzes von Bildproben einen Vertrauenswert für die neuen Parameter für schwache Klassifikatoren berechnet, um so festzustellen, ob die neuen Parameter für schwache Klassifikatoren beim Erfassen von Hindernissen, die in dem Erfassungssystem für Zielobjekte vordefiniert sind (zum Beispiel Fußgänger, andere Fahrzeuge etc.) besser als die Parameter für schwache Klassifikatoren sind oder nicht. Wenn der so berechnete Vertrauenswert größer ist als ein Vertrauenswert der Parameter für schwache Klassifikatoren, ist es so, dass das Aktualisierungsmodul 34 die Parameter für schwache Klassifikatoren des zweiten Klassifikatormoduls 32 unter Verwendung der neuen Parameter für schwache Klassifikatoren aktualisiert und die neuen Parameter für schwache Klassifikatoren an das Parametermodul 25 der Erfassungseinheit 2 überträgt, um die Parameter für schwache Klassifikatorendes ersten Klassifikatormoduls 23 zu aktualisieren.
-
Es sei angemerkt, dass das erste Klassifikatormodul 23 in einer Ausführungsform einen schwachen Klassifikator 231 umfasst und der schwache Klassifikator 231 in Kombination mit den Parametern für schwache Klassifikatoren verwendet wird, um die mit der Klassifizierung verbundene Operation durchzuführen. Andererseits umfasst das zweite Klassifikatormodul 32 einen starken Klassifikator 321, wie in 3 gezeigt. Der starke Klassifikator 321 wird in Kombination mit den Parametern für starke Klassifikatoren verwendet, um die mit der Klassifizierung verbundene Operation durchzuführen. Die ersten M-Stufen des starken Klassifikators 321 bilden einen schwachen Klassifikator 322, und der schwache Klassifikator 321 wird in Kombination mit den Parametern für schwache Klassifikatoren verwendet, um die mit der Klassifizierung verbundene Operation durchzuführen. Auf diese Weise ist das zweite Klassifikatormodul 32 in der Lage, die Ergebnisse der jeweiligen zwei Feststellungen auszugeben.
-
Basierend auf den vorerwähnten Erläuterungen hat die vorliegende Erfindung die folgenden Vorteile.
-
Erstens wird durch Bereitstellen der Erfassungseinheit 2 eine Datenverarbeitung in Echtzeit an jedem aus dem durch das Auto-Fahrtaufzeichnungsgerät ausgegebenen Videostream extrahierten Bild durchgeführt und wird ein Benachrichtigungssignal zum Benachrichtigen des Fahrers ausgegeben, wenn festgestellt wird, dass der Bereich des Bildes dem Zielobjekt ähnlich ist (d.h., dass ein Hindernis vorliegt). Durch kontinuierliches Aktualisieren der Parameter für schwache Klassifikatoren kann die Genauigkeit der Klassifizierung durch das erste Klassifikatormodul 23 weiter verbessert werden, so dass eine falsche Positivrate vermindert werden kann.
-
Darüber hinaus ist es erreichbar, sicherzustellen, ob das Ergebnis der Feststellung durch das erste Klassifikatormodul 23 fehlerhaft ist, indem die maschinelle Lerneinheit 3 bereitgestellt wird, welche mit der Erfassungseinheit 2 kommunikativ gekoppelt ist, und mittels dem zweiten Klassifikatormodul 32, das mit der Klassifizierung unter Verwendung der Parameter für schwache Klassifikatoren bzw. der Parameter für starke Klassifikatoren verbundene Operationen durchführt, um die Ergebnisse der jeweiligen zwei Feststellungen zu erhalten. Wenn sichergestellt wird, dass das Ergebnis der Feststellung fehlerhaft ist, wird das Bild an das Trainingsmodul 33 ausgegeben, um das Trainingsmodul 33 in die Lage zu versetzen, die Parameter des zweiten Klassifikatormoduls 32 zu trainieren, um die neuen Parameter für schwache Klassifikatoren zu erhalten, und aktualisiert das Aktualisierungsmodul 34 die Parameter für schwache Klassifikatoren unter Verwendung der neuen Parameter für schwache Klassifikatoren. Auf diese Weise kann das Bild, welches auf dem fehlerhaften Ergebnis der Beurteilung durch das erste Klassifikatormodul 23 beruht, automatisch bestimmt werden, und wird dieses Bild zum Selbsttrainieren verwendet, derart, dass die falsche Positivrate in Zukunft verringert wird. Da die vorerwähnten Vorgänge durch das Erfassungssystem für Zielobjekte automatisch durchgeführt werden, kann eine zusätzliche Feststellung mittels einer Klassifizierung durch Arbeit oder Kennzeichnung entfallen, so dass gewaltige Trainingsproben sehr schnell gesammelt werden, um die Parameter für schwache Klassifikatoren zu trainieren. Auf diese Weise kann die Leistungsfähigkeit der Erfassungseinheit 2 sehr schnell unterstützt werden und kann die falsche Positivrate verringert werden, um so die Fahrsicherheit besser zu gewährleisten.
-
Noch einmal auf 2 Bezug nehmend muss die maschinelle Lerneinheit 3 durch Bereitstellen der Erfassungseinheit 2 in einem eingebetteten System für Fahrzeuge (nicht gezeigt) des Fahrzeugs 9 und durch Bereitstellen der maschinellen Lerneinheit 3 in einem Server, der mit der Erfassungseinheit 2 drahtlos verbunden ist, nicht zwingend durch die Leistungsfähigkeit des eingebetteten Systems für Fahrzeuge beschränkt sein und kann das zweite Klassifikatormodul 32, welches eine bessere Rechenleistung hat, in der maschinellen Lerneinheit 3 vorgesehen sein. Deshalb kann unter Verwendung der Parameter für starke Klassifikatoreneine mit der Klassifizierung verbundene schnellere Echtzeit-Operation durchgeführt werden, um festzustellen, ob das Ergebnis der Feststellung durch das erste Klassifikatormodul 23 fehlerhaft ist, so dass die Parameter für schwache Klassifikatoren in den nachfolgenden Lern- und Aktualisierungsvorgängen weiter verbessert werden können. In anderen Ausführungsformen kann jedoch die maschinelle Lerneinheit 3 in dem eingebetteten System für Fahrzeuge des Fahrzeugs 9 zusammen mit der Erfassungseinheit 2 angeordnet sein.
-
Zweitens kann eine bessere Leistungsfähigkeit des ersten Klassifikatormoduls 23 und des zweiten Klassifikatormoduls 32 nach jeder Aktualisierung sichergestellt werden, indem das Aktualisierungsmodul 34 nur die Parameter für schwache Klassifikatoren unter Verwendung der neuen Parameter für schwache Klassifikatoren aktualisiert, wenn die letzteren einen höheren Vertrauenswert haben. Wenn das Bild, welches sich aus einem falschen Positiv ergibt, zum Trainieren der Parameter des zweiten Klassifikatormoduls 32 nicht geeignet ist, müssen die neuen Parameter für schwache Klassifikatoren nicht zum Aktualisieren von Parametern des ersten Klassifikatormoduls 23 und des zweiten Klassifikatormoduls 32 verwendet werden, um eine Verschlechterung der Erfassungsfähigkeit zu verhindern.
-
Mit Bezug auf 4 und 5 ist eine zweite Ausführungsform des Erfassungssystems für Zielobjekte gemäß der vorliegenden Erfindung dargestellt. Die zweite Ausführungsform des Erfassungssystems für Zielobjekte ist ähnlich der ersten Ausführungsform und hat verglichen mit der ersten Ausführungsform die folgenden Unterschiede.
-
Das erste Klassifikatormodul 23 der Erfassungseinheit 2 umfasst ferner ein Abstand-Berechnungsmodul 232. Das Abstand-Berechnungsmodul 232 ist so ausgebildet, dass dieses, wenn der schwache Klassifikator 231 feststellt, dass es in der Nähe des Fahrzeugs 9 ein Hindernis gibt, das erste Teilbild erhält, einen Abstand des Fahrzeugs 9 von dem Hindernis auf der Basis einer Größe des in dem ersten Teilbild enthaltenen Hindernisses berechnet und ein Hindernis-Abstandssignal ausgibt, welches den Abstand des Fahrzeugs 9 von dem Hindernis angibt.
-
Die zweite Ausführungsform des Erfassungssystems für Zielobjekte umfasst ferner eine Feedback-Einheit 4, welche elektrisch mit der Erfassungseinheit 2 zum Empfangen des Benachrichtigungssignals verbunden ist und welche so ausgebildet ist, dass diese ferner empfängt ein Fahrzeugsignal, das einem Betrieb des mit der Erfassungseinheit 2 versehenen Fahrzeugs 9 zugeordnet ist, ein Kollisionssignal, das durch einen Kollisionssensor des Fahrzeugs 9 erzeugt wird, und das Hindernis-Abstandssignal. Die Feedback-Einheit 4 ist ferner so ausgebildet, dass diese ein Feedback-Signal eines falschen Positivs an das Ausgabemodul ausgibt, und zwar basierend auf wenigstens einem der Signale ausgewählt aus Fahrzeugsignal, Kollisionssignal, Hindernis-Abstandssignal und Benachrichtigungssignal oder einer Kombination davon. Das Ausgabemodul 24 gibt in Abhängigkeit vom Empfang des Feedback-Signals eines falschen Positivs das Bild an das zweite Bildverarbeitungsmodul 31 der maschinellen Lerneinheit 3 aus.
-
In dieser Ausführungsform enthält das Fahrzeugsignal einen Hinweis auf eine Fahrzeuggeschwindigkeit des Fahrzeugs 9 und einen Bewegungsweg eines Bremspedals des Fahrzeugs 9. Das Fahrzeugsignal kann jedoch auch die Fahrzeuggeschwindigkeit oder den Bewegungsweg des Bremspedals anzeigen und ist nicht beschränkt auf die hier vorliegende Offenbarung.
-
Die Feedback-Einheit 4 ist so ausgebildet, dass diese das Feedback-Signal des falschen Positivs in wenigstens einer der folgenden Situationen ausgibt.
-
Die erste Situation ist die, in welcher die Feedback-Einheit 4 das Benachrichtigungssignal empfängt und eine Rate der Veränderung einer Abnahme der Fahrzeuggeschwindigkeit nicht größer als ein voreingestellter Verzögerungsgrenzwert ist, oder alternativ die Feedback-Einheit 4 das Benachrichtigungssignal empfängt und der Bewegungsweg des Bremspedals nicht größer ist als ein voreingestellter Bremshub-Grenzwert ist.
-
Diese Situation bedeutet, dass das erste Klassifikatormodul 23 feststellt, dass ein Hindernis vorliegt (das heißt, das erste Teilbild dem Zielobjekt ähnlich ist), das Fahrzeug 9 aber nicht schnell verzögert oder der Fahrer das Bremspedal nicht fest drückt. Deshalb stellt in dieser Situation die Feedback-Einheit 4 fest, dass eine Beurteilung durch das erste Klassifikatormodul 23 fehlerhaft ist.
-
Die zweite Situation ist die, in welcher die Feedback-Einheit 4 das Benachrichtigungssignal nicht empfängt und die Rate einer Veränderung der Abnahme der Fahrzeuggeschwindigkeit größer ist als der voreingestellte Verzögerungsgrenzwert, oder alternativ die Feedback-Einheit 4 das Benachrichtigungssignal nicht empfängt und der Bewegungsweg des Bremspedals größer ist als der voreingestellte Bremshub-Grenzwert.
-
Diese Situation bedeutet, dass das erste Klassifikatormodul 23 feststellt, dass kein Hindernis vorliegt (das heißt, das erste Teilbild ist dem Zielobjekt nicht ähnlich), das Fahrzeug 9 aber schnell verzögert oder der Fahrer das Bremspedal fest drückt. Deshalb stellt in dieser Situation die Feedback-Einheit 4 fest, dass eine Beurteilung durch das erste Klassifikatormodul 23 fehlerhaft ist.
-
Eine dritte Situation ist die, in welcher die Feedback-Einheit 4 das Benachrichtigungssignal nicht empfängt, aber das Kollisionssignal empfängt.
-
Diese Situation bedeutet, dass das erste Klassifikatormodul 23 das Benachrichtigungssignal nicht ausgibt oder die Ausgabe des Benachrichtigungssignals durch das erste Klassifikatormodul 23 zu spät erfolgt, so dass der Fahrer nicht genug Reaktionszeit hat.
-
Eine vierte Situation ist die, in welcher der Abstand des Fahrzeugs 9 von dem Hindernis kleiner ist als der berechnete Bremsweg.
-
Zum Beispiel stellt die Feedback-Einheit 4 basierend auf dem Abstand des Fahrzeugs 9 vom Hindernis fest, wie dieser durch das Abstand-Berechnungsmodul 232 berechnet wurde, dass ein Hindernis in weniger als einem Sicherheitsbremsabstand von dem Fahrzeug 9 entfernt (d.h., dem berechneten Bremsweg) vorliegt, sich das Fahrzeug 9 aber noch dem Hindernis nähert; in dieser Situation stellt die Feedback-Einheit 4 fest, dass eine Beurteilung durch das erste Klassifikatormodul 23 fehlerhaft ist.
-
Der berechnete Bremsweg wird gemäß den folgenden Gleichungen erhalten. v2 = v 2 / 0 + 2as Gleichung 1 S = v0·t Gleichung 2 S' = s + S Gleichung 3 in welchen S‘ der berechnete Bremsweg ist, v eine voreingestellte Endgeschwindigkeit ist und auf Null gesetzt ist, v0 eine Anfangsgeschwindigkeit ist und gleich der Fahrzeuggeschwindigkeit ist, a eine Beschleunigung ist und basierend auf einer voreingestellten Bremskraft von 0,4 g erhalten wird, s ein theoretischer Bremsweg ist, der basierend auf der Gleichung 1 erhalten wird, S eine Verlagerung des Fahrzeugs 9 innerhalb einer Reaktionszeit ist und t die Reaktionszeit des Fahrers ist und im Wesentlichen gleich 0,8 s beträgt.
-
Auf diese Weise ist die zweite Ausführungsform des Erfassungssystems für Zielobjekte in der Lage, ähnliche Effekte wie die erste Ausführungsform zu erzielen und umfasst ferner die folgenden Vorteile.
-
Durch Bereitstellen des Benachrichtigungssignals, des Fahrzeugsignals, des Hindernis-Abstandssignals und des Kollisionssignals an der Feedback-Einheit 4, ist die Feedback-Einheit 4 in der Lage, festzustellen, ob das erste Klassifikatormodul 23 ein falsches Positiv erzeugt hat. Zudem ist dadurch, dass das Ausgabemodul 24 so ausgebildet ist, dass dieses das Bild an die maschinelle Lerneinheit 3 nur dann ausgibt, wenn dieses das Feedback-Signal des falschen Positivs empfängt, das durch das Ausgabemodul 24 ausgegebene Bild eine effektive Lernprobe, die einem durch das erste Klassifikatormodul 23 erzeugten falschen Positiv entspricht. Auf diese Weise kann der Datendurchsatz des zweiten Klassifikatormoduls 32 signifikant verringert werden. Das heißt, es kann die Anforderung an eine Arbeitsleistung des zweiten Klassifikatormoduls 32 gesenkt werden und es kann eine Komplexität bei der Gestaltung des zweiten Klassifikatormoduls 32 verringert werden. Als Ergebnis dessen kann eine Architektur mit gewöhnlicher Rechenleistung zur Verwirklichung des zweiten Klassifikatormoduls 32 verwendet werden. In einer Ausführungsform, in welcher die maschinelle Lerneinheit 3 direkt in das eingebettete System für Fahrzeuge des Fahrzeugs 9 zusammen mit der Erfassungseinheit 2 eingegliedert ist, ist nicht nur die Gestaltung kostensparend, sondern kann auch die Bereitstellung einer unabhängigen maschinellen Lerneinheit 3 am Fahrzeug 9 unnötig gemacht werden. Verglichen mit dem Zustand, in welchem die maschinelle Lerneinheit 3 in einem entfernten Server liegt, erlaubt darüber hinaus das direkte Bereitstellen der maschinellen Lerneinheit 3 in dem eingebetteten System für Fahrzeuge des Fahrzeugs 9 zusammen mit der Erfassungseinheit 2 eine rasche Aktualisierung der Parameter des ersten Klassifikatormoduls 23, ohne dass eine Verbindung mit einem entfernten Server erforderlich wäre.
-
Es sei angemerkt, dass die Erfassungseinheit 2, die maschinelle Lerneinheit 3 und die Feedback-Einheit 4 des Erfassungssystems für Zielobjekte auf Hardware-Ebene (wie Prozessor, IC-Chip etc.) oder auf Software-Ebene (wie Codes, die durch einen Prozessor auszuführende Befehle enthalten) realisiert werden kann.
-
In Bezug auf 4 und 6 ist eine Ausführungsform des Verfahrens zur Zielobjekterfassung gemäß der vorliegenden Erfindung in das Erfassungssystem für Zielobjekte zu implementieren und umfasst die folgenden Schritte.
-
In Schritt 51 erfasst die Erfassungseinheit 2 nach Empfangen eines Videos ein Bild aus dem empfangenen Video.
-
In diesem Schritt extrahiert die Erfassungseinheit 2 ferner ein erstes Teilbild aus dem Bild, das als ein Bereich des Bildes herangezogen wird, und gibt das Bild in Abhängigkeit vom Empfang eines Feedback-Signals über ein falsches Positiv an die maschinelle Lerneinheit 3 aus.
-
Im Schritt 52 führt die Erfassungseinheit 2 eine mit der Klassifizierung unter Verwendung von Parametern für schwache Klassifikatoren verbundene Operation durch, um so festzustellen, ob der Bereich des Bildes dem Zielobjekt ähnlich ist. Wenn festgestellt wird, dass der Bereich des Bildes dem Zielobjekt ähnlich ist, gibt die Erfassungseinheit 2 das Benachrichtigungssignal aus.
-
In diesem Schritt führt die Erfassungseinheit 2 die mit der Klassifizierung unter Verwendung der Parameter für schwache Klassifikatoren verbundene Operation durch, um so festzustellen, ob das erste Teilbild dem Zielobjekt ähnlich ist, und gibt das Benachrichtigungssignal aus, welches auf das Vorhandensein eines Hindernisses hinweist (wenn der Bereich des Bildes als das Hindernis bestimmt wird), wenn festgestellt wird, dass das erste Teilbild dem Zielobjekt ähnlich ist.
-
Im Schritt 53 empfängt die Feedback-Einheit 4 wenigstens ein Fahrzeugsignal, das einer Operation des Fahrzeugs 9 (siehe 5) zugeordnet ist, die mit der Erfassungseinheit 2 bereitgestellt wird, und entscheidet basierend auf wenigstens dem Fahrzeugsignal, ob das Feedbacksignal des falschen Positivs an die Erfassungseinheit 2 ausgegeben werden soll oder nicht. Das Fahrzeugsignal zeigt wenigstens die Fahrzeuggeschwindigkeit des Fahrzeugs 9 oder einen Bewegungsweg eines Bremspedals des Fahrzeugs 9 an.
-
In diesem Schritt empfängt die Feedback-Einheit 4 ferner ein Kollisionssignal, welches durch einen Kollisionssensor des Fahrzeugs 9 erzeugt wird, und ein Hindernis-Abstandssignal, welches einen Abstand des Fahrzeugs 9 von dem Hindernis anzeigt.
-
Die Feedback-Einheit 4 gibt das Feedback-Signal des falschen Positivs in wenigstens einer der folgenden Situationen aus.
-
In einer ersten Situation empfängt die Feedback-Einheit 4 das Benachrichtigungssignal und ist eine Rate der Veränderung einer Abnahme der Fahrzeuggeschwindigkeit nicht größer als ein voreingestellter Verzögerungsgrenzwert; oder alternativ empfängt die Feedback-Einheit 4 das Benachrichtigungssignal und ist der Bewegungsweg des Bremspedals nicht größer als ein voreingestellter Bremshub-Grenzwert.
-
In einer zweiten Situation empfängt die Feedback-Einheit 4 das Benachrichtigungssignal nicht und ist die Rate der Veränderung einer Abnahme der Fahrzeuggeschwindigkeit größer als der voreingestellte Verzögerungsgrenzwert, oder empfängt die Feedback-Einheit 4 alternativ das Benachrichtigungssignal nicht und ist der Bewegungsweg des Bremspedals größer als der voreingestellte Bremshub-Grenzwert.
-
In einer dritten Situation empfängt die Feedback-Einheit 4 das Benachrichtigungssignal nicht, empfängt aber das Kollisionssignal.
-
In einer vierten Situation ist der Abstand des Fahrzeugs 9 von dem Hindernis kleiner als ein berechneter Bremsweg. Der berechnete Bremsweg wird basierend auf der Fahrzeuggeschwindigkeit erhalten.
-
Nach dem Empfang des durch die Feedback-Einheit 4 ausgegebenen Feedbacksignals des falschen Positivs geht der Ablauf weiter zum Schritt 54.
-
In Schritt 54 führt die maschinelle Lerneinheit 3 Operationen durch, die mit der Klassifizierung unter Verwendung der Parameter für schwache Klassifikatoren bzw. Parameter für starke Klassifikatoren verbunden sind, um so jeweils zwei Feststellungen zu treffen, ob der Bereich des Bildes dem Zielobjekt ähnlich ist. Wenn Ergebnisse der jeweils zwei Feststellungen unterschiedlich sind, führt die maschinelle Lerneinheit 3 unter Verwendung des Bildes eine Trainingsoperation durch, um so neue Parameter für schwache Klassifikatoren zu erhalten, welche dazu verwendet werden, die Parameter für schwache Klassifikatoren der Erfassungseinheit 2 und der maschinellen Lerneinheit 3 zu aktualisieren.
-
In diesem Schritt extrahiert die maschinelle Lerneinheit 3 aus dem Bild ein zweites Teilbild, welches einen Inhalt umfasst, der mit dem des ersten Teilbildes identisch ist und der als der Bereich des Bildes herangezogen wird, und führt die Operationen durch, die mit einer Klassifizierung unter Verwendung der Parameter für schwache Klassifikatoren bzw. der Parameter für starke Klassifikatoren verbunden sind, um so jeweils zwei Feststellungen zu treffen, ob das zweite Teilbild dem Zielobjekt ähnlich ist. Wenn die Ergebnisse der jeweils zwei Feststellungen unterschiedlich sind, wird das Bild als eine Trainingsprobe zum Trainieren von Parametern der maschinellen Lerneinheit 3 verwendet, um so die neuen Parameter für schwache Klassifikatoren zu erhalten.
-
In diesem Schritt berechnet die maschinelle Lerneinheit 3 einen Vertrauenswert für die neuen Parameter für schwache Klassifikatoren. Wenn der so berechnete Vertrauenswert größer ist als ein Vertrauenswert der Parameter für schwache Klassifikatoren geht der Ablauf weiter zum Schritt 55.
-
Im Schritt 55 aktualisiert die maschinelle Lerneinheit 3 die Parameter für schwache Klassifikatoren der maschinellen Lerneinheit 3 unter Verwendung der neuen Parameter für schwache Klassifikatoren und überträgt die neuen Parameter für schwache Klassifikatoren an die Erfassungseinheit 2, um die Parameter für schwache Klassifikatoren der Erfassungseinheit 2 zu aktualisieren.
-
Auf diese Weise ist das Verfahren für eine Zielobjekterfassung zu einem adaptiven Lernen fähig und kann ähnliche Effekte erzielen wie die Ausführungsformen des Erfassungssystems für Zielobjekte.
-
Um das Ganze noch einmal zusammenzufassen, können durch Bereitstellen der Erfassungseinheit 2 und der maschinelle Lerneinheit 3 Echtzeit-Operationen an dem aus einem Videostream extrahierten Bild durchgeführt werden und kann das Bild, welches einem falschen Positiv entspricht, automatisch für eine nachfolgende Trainingsoperation entdeckt werden. Folglich kann die Leistungsfähigkeit des Erfassungssystems für Zielobjekte sehr schnell gefördert werden und kann die Anzahl falscher Positive reduziert werden, um so die Fahrassistenz zu verbessern und wiederum die Fahrsicherheit zu erhöhen.
-
In der obigen Beschreibung wurden zu Erläuterungszwecken zahlreiche spezifische Details angeführt, um ein tiefgreifendes Verständnis der Ausführungsform(en) zu ermöglichen. Es ist dem Fachmann jedoch klar, dass ein oder mehrere weitere Ausführungsformen auch ohne einige dieser spezifischen Details praxistauglich sein können. Es sollte auch klar sein, dass eine Bezugnahme in dieser Beschreibung auf „eine (einzige) Ausführungsform“, „eine (unbestimmter Artikel) Ausführungsform“, eine Ausführungsform mit Angabe einer Ordnungszahl usw. bedeutet, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder Eigenschaft bei der praktischen Umsetzung der vorliegenden Erfindung enthalten sein kann. Es sollte ferner klar sein, dass in der Beschreibung verschiedene Merkmale manchmal in einer einzelnen Ausführungsform, Figur oder Figurenbeschreibung zum Zwecke der Straffung der Offenbarung und Unterstützung des Verständnisses der verschiedenen erfindungsgemäßen Aspekte in Gruppen zusammengefasst sein können.
-
Obwohl die vorliegende Erfindung in Verbindung mit einer oder mehreren beispielhaften Ausführungsformen beschrieben wurde, soll dies so verstanden sein, dass diese Offenbarung nicht auf die ein oder mehreren offenbarten Ausführungsformen beschränkt ist, sondern auf verschiedene Anordnungen im Rahmen des Schutzbereichs in seiner breitesten Interpretation abdecken soll, um so alle solche Modifikationen und äquivalenten Anordnungen zu umschließen.