-
Diese Erfindung bezieht sich auf ein Bildverarbeitungsverfahren zum Verfolgen eines Objekts.
-
Existierende Lösungen, um ein Objekt zu verfolgen, verwenden häufig ein sogenanntes Kalman-Filter. Das Verfahren der Kalman-Filterung ist auch als lineare quadratische Abschätzung bekannt. Dies ist ein Algorithmus, der eine Reihe von Messungen verwendet, die über eine Zeitdauer beobachtet werden, die statistisches Rauschen und andere Ungenauigkeiten enthalten, und Abschätzungen von unbekannten Variablen erzeugt, die gewöhnlich genauer sind als jene auf der Basis einer einzelnen Messung allein. Übliche Anwendungen für die Kalman-Filterung sind beispielsweise die Führung, Navigation oder Steuerung von Fahrzeugen.
-
Das Dokument
US 2015/0158182 A1 beschreibt ein Robotersystem, das einen mobilen Roboter mit einer Steuereinheit umfasst, die ein Steuersystem zum Steuern des Betriebs des Roboters ausführt. Dieses Robotersystem umfasst ferner einen Cloud-Rechendienst in Kommunikation mit einer Steuereinheit des Roboters und eine entfernte Rechenvorrichtung in Kommunikation mit dem Cloud-Rechendienst. Die entfernte Rechenvorrichtung kommuniziert mit dem Roboter durch den Cloud-Rechendienst.
-
Das Dokument
US 2016/0266581 A1 beschreibt, wie ein Modell einer Sicht eines Fahrzeugs seiner Umgebung erzeugt werden kann. Daher umfasst das Fahrzeug einige Sensoren, die vollständig unverdeckt sein sollten, um die Umgebung des Fahrzeugs zu betrachten. Für jeden einer Vielzahl von Sensoren der Objektdetektionskomponente kann beispielsweise ein Computer ein individuelles 3D-Modell des Blickfeldes dieses Sensors erzeugen. Wetterinformationen werden ferner empfangen und verwendet, um eines oder mehrere der Modelle einzustellen. Nach dieser Einstellung können die Modelle zu einem anderen umfassenden 3D-Modell vereinigt werden. Das umfassende Modell kann mit detaillierten Karteninformationen kombiniert werden, die die Wahrscheinlichkeit der Detektion von Objekten an verschiedenen Stellen angeben. Das Modell der Umgebung des Fahrzeugs kann auf der Basis des kombinierten umfassenden 3D-Modells und der detaillierten Karteninformationen berechnet werden.
-
Das Dokument
WO 2012/139636 A1 betrifft ein Verfahren für Online-Kalibrierung eines Videosystems eines Fahrzeugs, welches mittels Einzelbilder einer Kamera ausgewertet wird, welche Merkmale auf der Straße enthalten. Ein Bereich der Straßenoberfläche wird von der Kamera in einem Einzelbild erfasst. Eine Auswahl von mindestens zwei verschiedenen Merkmalen innerhalb des Einzelbildes wird vorgenommen, wobei die ausgewählten Merkmale als repräsentative Bezugspunkte gewählt werden. Eine Folge mindestens eines weiteren Einzelbildes wird mit der Kamera durchgeführt, während die gewählten Merkmale als zu verfolgende Bezugspunkte innerhalb des neuen Rahmens lokalisiert werden. Analysieren innerhalb eines virtuellen Bildraumes die Trajektorie, die von den Bezugspunkten während des Fahrintervalls zwischen der Bildsequenz zurückgelegt wird, durch Identifizieren einer geometrischen Form, durch Verbinden der lokalisierten Bezugspunkte zwischen einander in jedem der verwendeten Bilder und Inbetrachtziehen der jeweiligen Trajektorien. Eine Abweichung des sich ergebenden geometrischen Objekts von einem Parallelogramm mit durch die Bezugspunkte definierten Ecken aus mindestens zwei darauffolgenden Bildern wird berechnet, während jegliche gemessene Abweichung verwendet wird, um eine Versatzkorrektur der Kamera durchzuführen.
-
Die Aufgabe dieser Erfindung besteht darin, ein Verfahren bereitzustellen, das hinsichtlich der Objektverfolgung in einem Bild genauer und robuster ist.
-
Diese Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen dieser Erfindung führen zu den abhängigen Ansprüchen. Diese Erfindung stellt auch ein Computerprogrammprodukt bereit, um das Verfahren durchzuführen. Ein Fahrerassistenzsystem mit diesem Computerprogrammprodukt wird ferner auch bereitgestellt.
-
Diese Erfindung beschreibt ein neues Verfahren zur Bildverarbeitung von mehreren Bildern. Dieses Verfahren ist durch die folgenden Schritte gekennzeichnet. Zuerst wird in Schritt a) eine Vielzahl von vorbestimmten Bildmerkmalen für die Bildbearbeitung der mehreren Bilder definiert. Diese Vielzahl von vorbestimmten Bildmerkmalen umfasst vorzugsweise mehrere verschiedene Bildmerkmale. Dies bedeutet, dass die Art von Bildmerkmalen und ihre Menge definiert werden, bevor Bildmerkmalsinformation bestimmt wird. In dem nächsten Schritt b) wird die Bildmerkmalsinformation jedes der mehreren Bilder auf Grundlage der Vielzahl der vorbestimmten Bildmerkmale bestimmt. Daher kann vorzugsweise ein geeigneter Bildmerkmalsdetektor und/oder Bildmerkmalsbeschreiber auf die mehreren Bilder angewendet werden.
-
Ein Merkmalsdetektor kann ein Verfahren sein, welches Ausgabepositionen (d.h. Pixelkoordinaten) signifikanter Bereiche in dem Bild durch Anwendung eines Filters auf die Bilder erzeugt. Ein Filter ist vorzugsweise eine Matrix, die so gestaltet ist, dass ein erwünschtes Bildmerkmal in einem Bild detektiert wird. Ein Beispiel hierfür ist ein Eckendetektor, der die Lage von Ecken in dem Bild ausgibt, aber keine andere Bildmerkmalsinformation detektiert.
-
Ein Merkmalsbeschreiber kann ein Verfahren sein, welches ein Bild nimmt und Merkmalsbeschreiber/Merkmalsvektoren ausgibt. Merkmalsbeschreiber können interessante Information in eine Serie von Nummern kodieren und als eine Art numerischer „Fingerabdruck“ fungieren, der dazu benutzt werden kann, ein Merkmal vom anderen zu unterscheiden. Vorzugsweise kann diese Information bei Bildtransformation unverändert bleiben. Das Bildmerkmal kann wieder aufgefunden werden selbst wenn das Bild in irgendeiner Weise transformiert wird. Ein Beispiel wäre das SIFT-Verfahren, welches Information zu lokalen Nachbarschaftsbildgradienten der Nummern des Merkmalsvektors kodiert.
-
Je mehr Bildmerkmalsinformationen erfasst werden, desto mehr Bildmerkmalsinformation kann für Schritt c) verwendet werden Daher kann ein Bildmerkmalsdetektor mit verschiedenen Filtern auf die Bilder angewendet werden. Wenn der Bildmerkmalsdetektor mit mehreren und/oder verschiedenen Filtern ausgestattet ist, können verschiedene Bildmerkmale und/oder deren Information aus dem Bild extrahiert werden. Bestenfalls werden alle Bildmerkmalsinformationen von Schritt b) für den nächsten Schritt c) verwendet, aber zumindest der größte Teil der in Schritt b) bestimmten Bildmerkmalsinformation wird verwendet. In Schritt c) wird die in Schritt b) für jedes der mehreren Bilder bestimmte Bildmerkmalsinformation in ein neues Bild fusioniert. Dieser Fusionsprozess kann auch als Zusammenfassen der Bildmerkmalsinformationen zu dem neuen Bild betrachtet werden. Daher kann dieses neue Bild auch „Superbild“ genannt werden. Dieses neue Bild, das Superbild, enthält viel mehr Informationen als jedes der mehreren Bilder. Ein Objekt des neuen Bildes wird in Schritt d) räumlich-zeitlich verfolgt, wobei ein probabilistisches graphisches Modell eingesetzt wird. Dies bedeutet, dass die Bildmerkmalsinformationen des neuen Bildes in das probabilistische graphische Modell eingegeben werden. Da das neue Bild gewöhnlich mehr Informationen enthält als jedes der mehreren Bilder, kann die Datenbasis für das probabilistische graphische Modell zunehmen. Dies kann helfen, eine genauere und robustere Objektverfolgung im neuen Bild durchzuführen. Der Begriff räumlich-zeitliche Objektverfolgung umfasst nicht nur das Lokalisieren des Objekts. Er umfasst auch die Erfassung der Entwicklung des Orts eines detektierten Objekts über eine Zeitdauer. Dies bedeutet, dass die zeitlich-räumliche Verfolgung auch das Betrachten oder Beobachten eines detektierten Objekts umfassen kann. Aufgrund der Bildfusionierung, die in Schritt c) durchgeführt wird, kann eine größere Datenbasis, die in das neue Bild zusammengefasst wird, als Eingabe für das probabilistische graphische Modell bereitgestellt werden. Dies kann eine bessere Erfassung der globalen Struktur der Szene ermöglichen. Dies kann auch helfen, die Robustheit der Objektverfolgung zu verbessern.
-
Eine andere Ausführungsform zieht ein Verfahren in Erwägung, wobei eines der mehreren Bilder eine Falschfarbendarstellung von einem der anderen Bilder hinsichtlich einer Tiefe, einer Bewegung und/oder einer Intensität ist. Falschfarbendarstellungen werden häufig verwendet, wenn weitere Informationen innerhalb eines zweidimensionalen Bildes ausgedrückt werden sollen. Wenn beispielsweise eine Karte eines Landes gezeigt wird, können verschiedene Farben verschiedene Bevölkerungsdichten angeben. Eine Falschfarbendarstellung wird hinsichtlich verschiedener Temperaturen verwendet. Solche Diagramme werden manchmal als Heatmaps bezeichnet. Hinsichtlich der Objektverfolgung ist es geeignet, Falschfarbendarstellungen zu verwenden, die zusätzliche Informationen hinsichtlich der Tiefe, der Bewegung oder der Intensität angeben. Solche Darstellungen können vor Schritt b) und/oder während Schritt b) erzeugt werden. Dies bedeutet, dass verschiedene Falschfarbendarstellungen zusätzliche Teile von Bildmerkmalsinformationen liefern können, die weiter zu einem neuen Bild gemäß Schritt b) durch Anwenden einer geeigneten Bildverarbeitung zusammengefasst werden. Andere Typen von Falschfarbendarstellung können natürlich erzeugt werden, die für den Bildfusionsprozess verwendet werden können. Dies bedeutet Schritt b) kann zusätzliche Bildverarbeitungsverfahren enthalten, um andere Bilder zu erzeugen. Bildmerkmalsinformation dieser anderen Bilder kann bestimmt werden und zur Fusionierung in Schritt c) verwendet werden. 1 zeigt beispielhaft eine Auswahl mehrerer zusätzlicher Bildverarbeitungsverfahren, die zur Abänderung und/oder Ergänzung des Schrittes b) verwendet werden können.
-
Eine andere Ausführungsform dieser Erfindung beschreibt ein Verfahren, wobei mittels der mehreren Bilder eine Eigenschaft des verfolgten Objekts durch eine Rekonstruktionsanalyse bestimmt wird. Die Rekonstruktionsanalyse kann viele verschiedene Bildverarbeitungsverfahren enthalten. Ein dichter Fluss, optischer Fluss, eine bipolare Ratifizierung, eine Bewegungsserie, dynamisches Clustern, statisches Clustern und so weiter können für die Rekonstruktionsanalyse verwendet werden. Das Ziel der Rekonstruktionsanalyse besteht darin, die Teile von Bildmerkmalsinformationen in einer Weise zu verarbeiten, in der sie später fusioniert werden können. Jedes Unterverfahren kann eine spezielle Art von Informationen bereitstellen. Die verschiedenen Unterverfahren der Bildverarbeitung können sich auf verschiedene Aspekte konzentrieren. Diese verschiedenen Teile von Informationen können für den Fusionsschritt b) verwendet werden. Beispielsweise kann es hilfreich sein, zwischen dynamischen und statischen Objekten zu unterscheiden. Eine andere Möglichkeit besteht darin, Unterverfahren zu verwenden, die nach Fußgängern oder Verkehrszeichen in einem Bild suchen. Das Bereitstellen von Informationen über die Bodentopologie in einer Rekonstruktionsanalyse kann auch für die weitere Objektverfolgung hilfreich sein. Da beabsichtigt ist, alle Bildmerkmalsinformationen von jedem der mehreren Bilder zu nutzen, können viel mehr semantische Informationen bereitgestellt werden.
-
Eine andere Ausführungsform dieser Erfindung beschreibt ein Verfahren, wobei mittels jedes der mehreren Bilder ein Typ des verfolgten Objekts in einer Erkennungsanalyse bestimmt wird. Die Erkennungsanalyse wird vorzugsweise unter Verwendung eines faltenden neuronalen Netzwerks ausgeführt wird. Ein faltendes neuronales Netzwerk (CNN) umfasst gewöhnlich mehrere und verschiedene Matrizen. Jede Matrix kann als Filter betrachtet werden. Diese Filter sind gewöhnlich dazu ausgelegt, Bildmerkmale und/oder ihre Information zu detektieren. Gewöhnlich wird eine Filtermatrix auf ein Eingangsbild durch Bewegen der Filtermatrix über das Eingangsbild angewendet. Die Aktivität eines Neurons wird häufig durch eine diskrete Faltung bestimmt. Andere Typen von künstlichen Netzwerken können natürlich angewendet werden, um einen Typ des verfolgten Objekts zu bestimmen. Wenn beispielsweise ein Objekt in einem Bild erfasst wird, bestimmt die Erkennungsanalyse, welche Art von Objekt gefunden wurde. Dies können ein Fußgänger, ein Auto oder ein Hund oder andere Objekte im Bild sein. Diese Informationen sind sehr nützlich, um ein verfolgtes Objekt im Bild zu klassifizieren. Wenn beispielsweise ein Baum in einem Bild detektiert wird, kann geschlussfolgert werden, dass dieses Objekt, ein Baum, ein stationäres, nicht-bewegliches Objekt ist.
-
Eine andere Ausführungsform dieser Erfindung beschreibt ein Verfahren, wobei für die Rekonstruktionsanalyse ein optischer Fluss und/oder eine bewegungsbasierte Strukturerkennung eingesetzt werden. Ein optischer Fluss oder Optikfluss ist das Muster der scheinbaren Bewegung von Objekten, Oberflächen und Kanten in einer visuellen Szene, die durch eine relative Bewegung zwischen einem Beobachter und einer Szene verursacht wird. Daher kann das Verfahren des optischen Flusses helfen, sich bewegende Objekte in einem Bild zu detektieren. Die bewegungsbasierte Strukturerkennung kann verwendet werden, um dreidimensionale Informationen aus mehreren Bildern zu extrahieren. Da ein einzelnes Bild keine dreidimensionalen Informationen enthält, sind mindestens zwei Bilder erforderlich, um das Verfahren der bewegungsbasierten Strukturerkennung durchzuführen.
-
Eine andere Ausführungsform der vorliegenden Erfindung beschreibt ein Verfahren, wobei für die Erkennungsanalyse ein faltendes neuronales Netzwerk verwendet wird. Das faltende neuronale Netzwerk kann mit verschiedenen Bildverarbeitungsverfahren kombiniert werden. Ein faltendes neuronales Netzwerk kann mehrere Schichten umfassen. Dies kann ermöglichen, dass das faltende neuronale Netzwerk komplexere Bildmerkmale wie ein Gesicht detektiert. Häufig wird das faltende neuronale Netzwerk angewendet, um weitere Informationen hinsichtlich der Klassifikation von Objekten zu gewinnen.
-
Eine spezielle Ausführungsform dieser Erfindung beschreibt ein Verfahren, wobei für eine Objekterkennung des neuen Bildes die Ergebnisse der Rekonstruktionsanalyse und der Erkennungsanalyse für die Bildfusion des neuen Bildes zusammen verwendet werden. Die Rekonstruktionsanalyse und die Erkennungsanalyse können als zwei separate Pfade der Bildverarbeitung betrachtet werden. Diese zwei Pfade der Bildverarbeitung können verschiedene Ergebnisse liefern. Die Rekonstruktionsanalyse kann beispielsweise zu nützlichen Informationen wie der Bewegung von Objekten oder der Bodentopologie führen. Die Erkennungsanalyse kann ferner detektierte Objekte im Bild hinsichtlich des Typs des Objekts analysieren. Vorzugsweise stellt die Rekonstruktionsanalyse eine allgemeine Objektdetektion auf der Basis von verschiedenen Hinweisen wie der Bewegung, der Tiefe, der Intensität oder weitere Hinweise bereit, die für eine allgemeine Objektdetektion nützlich sein können. Die Erkennungsanalyse stellt vorzugsweise eine spezielle Objektdetektion auf der Basis von Erscheinungsbildhinweisen bereit. Diese verschiedenen Arten von Hinweisen werden in dieser Ausführungsform der Erfindung kombiniert und zu einem neuen Bild fusioniert.
-
Eine weitere Ausführungsform dieser Erfindung beschreibt ein Verfahren, wobei gemäß der Objekterkennung das erkannte Objekt in die Kategorien Boden, dynamisch/kritisch und Infrastruktur charakterisiert wird. Da beabsichtigt ist, diese Erfindung in Fahrzeugen zu verwenden, ist es geeignet, einige vorgegebene Kategorien zu definieren. Im Fall eines autonom fahrenden Fahrzeugs sollten der Boden, die Infrastruktur und dynamische Objekte so schnell wie möglich erkannt werden. Daher kann es nützlich sein, diese drei Typen von Kategorien als vordefinierte Kategorien in einem Bildverarbeitungsverfahren zu implementieren. Die Kategorie Boden kann Merkmale wie eine Straße, einen befahrbaren Bereich, einen freien Raum, Fahrspuren, Markierungen, Straßeneffekte, Gehwege, Kurven oder Rasen umfassen. Dynamische Objekte können häufig als kritische Objekte betrachtet werden. Diese Art von Kategorie kann Merkmale wie Fußgänger, Radfahrer, Motorräder, Autos, Lastwagen, Busse oder Tiere umfassen. Objekte wie Verkehrszeichen, Lampen, Gebäude, Wände, Pfosten, Bäume, Brücken oder Überführungen können der Kategorie Infrastruktur zugewiesen werden. Wenn diese Kategorien im Voraus vordefiniert werden, kann die Bildverarbeitung selbst beschleunigt werden.
-
Eine spezielle Ausführungsform dieser Erfindung beschreibt ein Verfahren, wobei ein Datenknoten erzeugt wird, der einen semantischen Inhalt, den Objekttyp, eine Objekteigenschaft, seine Position, Geschwindigkeit und/oder Lage als Teile von Informationen umfasst. Die Erkennungs- und Rekonstruktionsanalyse stellen verschiedene Teile von Informationen bereit. Diese Teile von Informationen sind vorzugsweise unterschiedlich. Dies bedeutet, dass diese Teile von Informationen nicht nur Informationen beispielsweise über die Bodentopologie enthalten sollten, sie sollten ferner andere Teile von Informationen, beispielsweise Informationen über statische oder dynamische Objekte, enthalten. In dieser Variante werden alle diese Informationen im Datenknoten gesammelt. Dies bedeutet, dass der Datenknoten Informationen über einen Ort eines detektierten Objekts in dreidimensionalen Koordinaten, weitere semantische Informationen, die den Typ des detektierten Objekts definieren, zusätzliche Kontextinformationen und einige zeitliche oder Geschwindigkeitsinformationen enthalten kann. Der Kontext kann Informationen umfassen, die helfen können, das detektierte Objekt effektiver zu identifizieren oder zu verfolgen. Im Fall eines Fahrzeugs kann beispielsweise eine semantische Information „auf der Straße“ helfen, das Fahrzeug schneller zu detektieren. Die Information „auf der Straße“ ist ein Zeichen, dass dieser Knoten mit der Bodentopologie in gewisser Weise verbunden ist. Dies bedeutet, dass die Bildverarbeitung diese Informationen berücksichtigen kann. Wenn etwas an oder nahe einer Wand angeordnet ist, wie ein Fenster, können diese Informationen auch im Datenknoten gespeichert werden.
-
Eine andere Ausführungsform dieser Erfindung beschreibt ein Verfahren, wobei für das Fusionieren gemäß Schritt c) und für die Bestimmung gemäß Schritt b) ausschließlich Bildmerkmalsinformationen verwendet werden. Viele Verfahren der Bildverarbeitung verwenden weitere Sensorinformationen, um Objekte zu detektieren oder zu verfolgen. Diese Variante der Erfindung verwendet nur Bildmerkmalsinformationen. Die Bildmerkmalsinformationen werden in dieser Ausführungsform der Erfindung so gut wie möglich genutzt. Die Fusion und Analyse gemäß Unterverfahren der Bildverarbeitung werden auf der Bildebene durchgeführt. Dies bedeutet, dass das Bildverarbeitungsverfahren nicht mit beispielsweise einem Ultraschallsensor, einem Koppelnavigationssensor oder einem anderen Sensor kombiniert wird. Der einzige Sensor, der in dieser Ausführungsform verwendet wird, ist eine Kamera, die die mehreren Bilder bereitstellt. Die mehreren Bilder können jedoch auch als Eingabe vorgegeben sein. Eine Kamera, die die Bildverarbeitungsverfahren gemäß Anspruch 1 implementiert hat, kann eine verbesserte Objektverfolgung durchführen.
-
Eine andere Ausführungsform dieser Erfindung beschreibt ein Verfahren, wobei ein hierarchisches Modell für das probabilistische graphische Modell eingesetzt wird. Das probabilistische graphische Modell kann unterschiedlich eingestellt werden. Eine Option besteht darin, ein hierarchisches Modell für das probabilistische graphische Modell zu verwenden. Ein hierarchisches Modell bietet die Gelegenheit, das Ausmaß an Signalrauschen zu mitteln. Die Ausgabe von Sensoren, wie ein Temperaturwert eines Temperatursensors oder ein Bild einer Kamera, werden durch das Eingangssignalrauschen gewöhnlich beeinflusst. Ihre Ausgangssignale zeigen Abweichungen hinsichtlich eines gemessenen Parameters (z. B. Bildmerkmalsinformationen) aufgrund des Eingangssignalrauschens. Das hierarchische Modell nutzt den mittleren Effekt, um das Ausmaß an Signalrauschen zu verringern. Dieser Vorteil des mittleren Effekts kann im probabilistischen graphischen Modell durch Anwenden eines hierarchischen Modells auf das probabilistische graphische Modell implementiert werden.
-
Eine weitere Ausführungsform dieser Erfindung beschreibt ein Verfahren, wobei eine Grenzbedingung hinsichtlich einer Objektstruktur für das probabilistische graphische Modell vorbestimmt wird. Der Typ der Grenzbedingung hängt von der vorgeschlagenen Anwendung der Bildverarbeitung ab. Wenn beispielsweise kleine Kinder oder Babys überwacht werden sollten, sind andere Grenzbedingungen geeignet als im Fall von autonom fahrenden Fahrzeugen. Im Fall der Überwachung von Babys sind markante Verkehrszeichen als Grenzbedingungen nicht erforderlich. In diesem Fall sind sie nicht hilfreich. Im Fall von autonom fahrenden Fahrzeugen können jedoch Grenzbedingungen, die helfen können, markante Verkehrszeichen zu klassifizieren, sehr nützlich sein. Eine räumliche Grenzbedingung kann beispielsweise umfassen, dass Fahrspuren auf einer Bodenebene liegen. Eine geometrische Grenzbedingung kann umfassen, dass Fahrspuren auf der Straße dicke Linien mit einer Breite sind, die zumindest einen minimalen Wert aufweist. Eine Grenzbedingung hinsichtlich einer Farbe kann umfassen, dass Fahrspuren auf der Straße typischerweise weiß sind. Eine Ortsgrenzbedingung kann umfassen, dass ein Fahrspurort auf hochauflösenden Karten basieren kann. Es gibt viele Möglichkeiten, um Grenzbedingungen zu definieren. Es ist nützlich, sinnvolle Grenzbedingungen zu definieren. Dies kann helfen, das Bildverarbeitungsverfahren zu beschleunigen. Die Menge und die Typen von verschiedenen Grenzbedingungen sind natürlich nicht fest. Sie können gemäß der vorliegenden Anwendung angepasst werden.
-
Eine spezielle Ausführungsform dieser Erfindung beschreibt ein Verfahren, wobei alle Bildmerkmalsinformationen der mehreren Bilder bestimmt werden und alle Bildmerkmalsinformationen zu dem neuen Bild gemäß einer vorbestimmten Regel fusioniert werden. Die Hauptidee dieser Erfindung besteht darin, so viele Teile von Bildmerkmalsinformationen wie möglich zu verwenden. Wenn beispielsweise ein Bild mit einer Kamera aufgenommen wird, die eine Auflösung von zwei Millionen Pixeln bereitstellt, kann das Bild ein Maximum an zwei Millionen Bildmerkmalen enthalten. Diese Variante der Erfindung verwendet alle zwei Millionen Teile von Bildmerkmalsinformationen. Dies bedeutet, dass in dieser Variante keine Bildmerkmalsinformationen vernachlässigt werden. Mit anderen Worten, der Nutzungsgrad ist in dieser Ausführungsform der Erfindung 100 %. Dies kann helfen, ein neues Bild durch die Bildfusion bereitzustellen, umfasst jedoch einen hohen Grad an Informationsdichte. Die Fusion aller Teile von Bildmerkmalsinformationen wird in dieser Ausführungsform durch eine vorbestimmte Regel durchgeführt. Dies kann helfen, die räumlich-zeitliche Verfolgung gemäß Schritt d) zu verbessern.
-
Diese Erfindung bietet auch ein Computerprogrammprodukt mit Programmcoderessourcen, die in einem computerlesbaren Medium gespeichert sind, um irgendein vorangehendes Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einen Prozessor einer elektronischen Steuereinheit verarbeitet wird. Dies bietet die Gelegenheit, das Bildverarbeitungsverfahren in einer Kamera zu implementieren. Ein Chip in der Kamera kann einige oder alle der Schritte durchführen können, wenn er aktiviert wird.
-
Diese Erfindung bietet ferner ein Fahrerassistenzsystem mit einem Computerprogrammprodukt. Dies bedeutet, dass das Bildverarbeitungsverfahren mit dem Fahrerassistenzsystem zusammenwirken kann, das ferner ein Fahrzeug manövrieren kann. Dies bedeutet, dass in Abhängigkeit vom Ergebnis des Bildverarbeitungsverfahrens ein Signal für das Fahrerassistenzsystem erzeugt werden kann. Dieses erzeugte Signal für das Fahrerassistenzsystem kann für weitere Prozesse wie Alarmieren eines Fahrers hinsichtlich einer gefährlichen Situation verwendet werden. Vorzugsweise verwendet das Fahrerassistenzsystem das Computerprogrammprodukt, um das Verfahren der Bildverarbeitung durchzuführen, so dass das Fahrerassistenzsystem spezielle Lenksignale für ein autonomes Fahrzeugmanövrieren erzeugen kann.
-
Diese Erfindung stellt auch ein Kraftfahrzeug mit einem Fahrerassistenzsystem bereit. Wenn das Fahrerassistenzsystem ein Lenksignal erzeugt, kann eine Steuereinheit des Fahrerassistenzsystems das Kraftfahrzeug gemäß dem Lenksignal manövrieren. Wenn beispielsweise das Bildverarbeitungsverfahren ein Objekt verfolgt, das mit dem Fahrzeug kollidieren kann, kann das Fahrerassistenzsystem das Fahrzeug stoppen. Es hängt vorzugsweise vom Ergebnis des Bildverarbeitungsverfahrens ab, wie das Fahrzeug manövriert wird.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
-
Die beigefügten Zeichnungen zeigen in:
- 1 ein Blockdiagramm einer vorgeschlagenen Architektur, um eine räumlich-zeitliche Fusion durchzuführen;
- 2 ein Beispiel einer Fußgängerdetektion durch Clustern eines optischen Flusses (links) und einer Objektdetektion auf der Basis von tiefem Lernen (rechts);
- 3 ein Beispiel einer Kurvendetektion durch Clustern auf Tiefenbasis (rechts) und einer Objektdetektion auf der Basis von tiefem Lernen (links);
- 4 eine Darstellung einer Verdeckungshandhabung von Fußgängern durch ein Auto;
- 5 eine Darstellung von verschiedenen Falschfarbendarstellungen von verschiedenen Hinweisen;
- 6 eine Darstellung eines Datenknotens, der verschiedene mehrere Teile von Informationen enthält;
- 7 eine Darstellung der hierarchischen Modellierung des probabilistischen graphischen Modells;
- 8 eine Darstellung von verschiedenen Möglichkeiten, um Datenknoten zu kombinieren; und
- 9 eine Darstellung einer automatisierten Untersuchung von guten Verbindungen im probabilistischen graphischen Modell.
-
1 zeigt beispielhaft die gewünschte Architektur, um eine räumlich-zeitliche Verfolgung durchzuführen. Links ist ein Satz von mehreren Bildern IMG vorgesehen. Diese Bilder IMG können in den Pfad der Rekonstruktion 110 und den Pfad der Erkennung 120 eingegeben werden. Der Pfad der Rekonstruktion 110 und der Pfad der Erkennung 120 können als zwei komplementäre Hinweise betrachtet werden. Innerhalb dieser zwei Pfade können mehrere verschiedene Arten von Analyse durchgeführt werden. In diesem Beispiel enthält der Pfad der Rekonstruktion 110 verschiedene Analysen hinsichtlich eines dichten Flusses DF, einer Flussanalyse OF, einer epipolaren Ratifizierung ER, eines Bewegungsstereo MS, einer dynamischen Clusterbildung DC, einer Lokalisierung eines dynamischen Objekts DOL, einer dreidimensionalen Rekonstruktion SFM, einer statischen Clusterbildung SC, einer Bodentopologie GT, eines statischen Objekt SO und eines dynamischen Objekts DO. Im Pfad der Rekonstruktion 110 können alle diese verschiedenen Arten von Analysen viel mehr Informationen liefern, als die ursprünglichen Bilder IMG enthielten. Der Pfad der Erkennung 120 enthält ein faltendes neuronales Netzwerk CNN, das eine Objektklassifizierung OC durchführen kann. Es ist möglich, dass das faltende neuronale Netzwerk CNN selbst mehrere verschiedene Bildverarbeitungsverfahren umfasst. 1 zeigt, dass beabsichtigt ist, so viele Teile von Bildmerkmalsinformationen wie möglich zu sammeln, um viel mehr semantische Informationen bereitzustellen. Alle Ergebnisse der verschiedenen Analysen werden gesammelt und in ein neues Bild fusioniert. Die Bildfusion IF kann als Sammlung aller Teile von Informationen betrachtet werden, die im Pfad der Rekonstruktion 110 und im Pfad der Erkennung 120 erfasst oder bestimmt wurden. Diese Bildfusion IF erzeugt das neue Bild mit einer höheren Informationsdichte.
-
Dies bedeutet, dass das fusionierte neue Bild aufgrund der Bildfusion IF viel mehr Informationen enthält als die mehreren Bilder IMG, die in den Pfad der Rekonstruktion 110 und der Erkennung 120 eingegeben wurden. Dieses neue fusionierte Bild, in dem alle Informationen zusammengefasst sind, die in den zwei Pfaden gesammelt wurden, wird in ein probabilistisches graphisches Modell PGM eingegeben. In diesem Fall wird die Bildfusion IF unter Verwendung von zwei komplementären Hinweisen ausgeführt, der Rekonstruktion 110 und der Erkennung 120. Dies kann helfen, epistemisches Vertrauen hinsichtlich des Objekttyps zu schaffen. Es kann auch nützlich sein, um räumliches Vertrauen hinsichtlich dessen zu schaffen, wo sich ein detektiertes Objekt im neuen Bild befindet. Vorzugsweise wird die Bildfusion IF als Kombination des Pfades der Rekonstruktion 110 und der Erkennung 120 durchgeführt. Eine räumlich-zeitliche Objektverfolgung wird unter Verwendung des probabilistischen graphischen Modells PGM der Bildfusion IF durchgeführt. Es sollte erwähnt werden, dass die beschriebenen Verfahren und Analysen nur Bildmerkmalsinformationen der mehreren Bilder IMG verwenden. Keine Teile von Informationen von anderen Sensorsystemen wie Ultraschall, Laserabtastung usw. werden in den in den Figuren gezeigten Beispielen verwendet.
-
Das probabilistische graphische Modell PGM kann die globale Struktur der Szene erfassen. Dies kann helfen, die Objektverfolgung zu verbessern. Die Objektverfolgung kann robuster oder effektiver werden.
-
Probabilistische graphische Modelle PGM sind eine Abstraktion hoher Ebene von verbundenen Wahrscheinlichkeiten, die Abhängigkeiten vollständig erfassen. Es ist leicht an einer Abstraktion höherer Ebene zu denken und visuell zu modellieren.
-
Ein Urnenmodell mit nummerierten Kugeln, die nicht zurückgeführt werden, kann beispielsweise leichter mit einer graphischen Darstellung verstanden werden. In einer Urne können mehrere Kugeln mit gedruckten Nummern auf ihnen angeordnet sein. In einer Lotterie wird nach dem Mischen der mehreren Kugeln eine einzige Kugel herausgenommen. Diese Prozedur kann mehrere Male wiederholt werden, bis die gewünschte Menge an Kugeln aus der Urne entnommen wurde. In diesem Fall ist es viel leichter, die Wahrscheinlichkeiten und die Möglichkeiten der Ereignisse, die erscheinen können, zu verstehen. Die statistische Analyse kann leichter und schneller verstanden werden. Diese Idee wird im probabilistischen graphischen Modell PGM implementiert. Das probabilistische graphische Modell PGM ist eine elegante Darstellung, mit der leichter zu arbeiten ist und die Fehler vermeidet. Es ermöglicht auch Zusammensetzungen höherer Ordnung, die graphische Modelle niedriger Ebene zusammensetzen, um Modelle höherer Ebene aufzubauen. Für eine Verfolgung von mehreren Objekten ist es beispielsweise leichter, Netzwerkentwicklungen unter Verwendung einer gewissen Art von Geburts-Todes-Prozessen zu modellieren, wenn neue Objekte in ein Bild eintreten (Geburt) und existierende Objekte ein Bild verlassen (Tod).
-
Ein anderer Vorteil von probabilistischen graphischen Modellen PGM ist das Lernen der Graphentopologie aus der Videosequenz. Dies bedeutet, dass das probabilistische graphische Modell PGM eine Lernphase von graphischen Modellen durchführen kann. Dies bedeutet, dass ein probabilistisches graphisches Modell PGM durch Durchführen einer Lernphase verbessert werden kann. Mehrere Bilder oder Videos können dem probabilistischen graphischen Modell PGM angeboten werden, um einen Lernprozess für das probabilistische graphische Modell PGM durchzuführen. Das höhere Niveau an Abstraktion ermöglicht eine leichte Auslegung von komplexen Modellen und automatisiert auch die Netzwerktopologieuntersuchung unter Verwendung von bayesscher Optimierung. Netzwerke mit tiefem Lernen können ebenso als graphische Modelle betrachtet werden. Ein Kalman-Filter weist beispielsweise eine verborgene Schicht auf, wohingegen ein faltendes neuronales Netzwerk CNN eine Kaskade von verborgenen Knoten oder Schichten aufweist, die aus Daten abgeleitet werden sollen.
-
Der größte Sprung beim Maschinenlernen hinsichtlich des technologischen Fortschritts kann die probabilistische Programmierung für graphische Modelle sein. Obwohl tiefes Lernen die größte Auswirkung in Black-Box-Modellen hatte, ist das Modell für mehr als 20 Jahre ziemlich gleich geblieben. Auf dem Gebiet der probabilistischen Programmierung sind viele Modelle einer offenen Box entwickelt worden. Mit probabilistischer Programmierung kann sogar der Rechennachteil einer manuellen Implementierung eines Kalman-Filters beseitigt werden. Ein komplexes graphisches Modell kann spezialisiert werden, um eine effiziente Implementierung eines Kalman-Filters zu erzeugen. Dies bedeutet, dass kein Bedarf besteht, eine Implementierung manuell zu schreiben. Verschiedene Pakete existieren, die für probabilistische graphische Modelle PGM verwendet werden können. Solche Pakete können der „theano“-Code oder der „pymc3“-Code sein.
-
2 zeigt zwei Bilder IMG, die unterschiedlich analysiert wurden. Das linke Bild IMG in 2 zeigt beispielsweise das Ergebnis, nachdem der optische Fluss OF bestimmt wurde. In diesem Fall gibt ein Cluster von Pixeln PCL auf der rechten Seite ein sich bewegendes Objekt an. In diesem Fall entspricht das sich bewegende Objekt einem Fußgänger. Das rechte Bild IMG von 2 wurde durch Anwenden eines anderen Bildverarbeitungsverfahrens als im Fall des linken Bildes IMG analysiert. Hinsichtlich des rechten Bildes IMG von 2 wurde eine Objektdetektion auf der Basis von tiefem Lernen durchgeführt. Dieser Typ von Analyse hat vier Objekte detektiert, die mit Begrenzungskästen dargestellt sind. Ferner lieferte der Lernprozess, der beispielsweise unter Verwendung eines faltenden neuronalen Netzwerks CNN durchgeführt werden kann, auch Informationen über weitere Objekteigenschaften. In diesem Fall wurden zwei Begrenzungskästen als dynamische Objekte DO klassifiziert. Die anderen zwei Begrenzungskästen wurden als statische Objekte SO klassifiziert. Im Prozess der Bildfusion IF werden die Teile von Informationen des linken Bildes IMG und des rechten Bildes IMG gesammelt und zu einem neuen Bild fusioniert.
-
3 zeigt ein Beispiel für eine weitere Detektion eines statischen Objekts SO. Das linke Bild IMG von 3 zeigt eine Verkehrsszene. In diesem Fall wurde beabsichtigt, eine spezielle Objektklassifikation OC durchzuführen. Der Prozess des tiefen Lernens konnte in diesem Fall eine Kurve links und rechts detektieren, die als dicke Linie mit einer Schattierung dargestellt ist. Ein faltendes neuronales CNN-Netzwerk kann natürlich auch andere Objekte wie den Fußgänger auf der rechten Seite oder die zwei Fahrzeuge vorn suchen und detektieren. Es wäre sehr verwirrend, wenn zu viele Bildmerkmale in einem einzelnen Bild angezeigt werden würden. In diesem Fall wurde daher nur die Kurvendetektion als Objektklassifikation OC dargestellt. Das in dieser Anmeldung vorgeschlagene Bildverarbeitungsverfahren führt natürlich vorzugsweise mehr als ein einzelnes Bildverarbeitungsverfahren durch und gewinnt daher viel mehr Teile von Informationen. Das vorgeschlagene Bildverarbeitungsverfahren dieser Anmeldung umfasst vorzugsweise mehrere Bildverarbeitungsverfahren und nutzt diese verschiedenen Bildverarbeitungsverfahren, da sie viele verschiedene Teile von Bildmerkmalsinformationen liefern können.
-
Das rechte Bild IMG von 3 zeigt das Ergebnis einer anderen Analyse. In diesem Fall wurde eine Analyse der Bodentopologie GT durchgeführt. Im Zentrum ist ein Eigenfahrzeug 310 gezeigt. Das rechte Bild IMG in 3 ist eine Falschfarbendarstellung hinsichtlich einer Koordinate z 330. Dies bedeutet, dass die verschiedenen Bodentopologien GT in diesem Fall verschiedenen z-Niveaus zugewiesen sind. Die Bodentopologie unten links stellt eine andere z-Koordinate 330 als die Bodentopologie GT oben rechts dar. In 3 stellen diese zwei Bodentopologien verschiedene Höhen dar. Dieses Bild IMG stellt eine Draufsicht dar. Es kann als Vogelperspektivenbild betrachtet werden. Wie im Beispiel von 2 werden auch hier die Teile von Informationen dieser zwei Bilder gesammelt und zu dem neuen Bild fusioniert.
-
4 zeigt ein Beispiel dessen, wie in probabilistisches graphisches Modell PGM verwendet werden kann, wenn einige Objekte durch andere Objekte verdeckt sind. Ein Begrenzungskasten 410 enthält einen Fußgänger 420. Es ist möglich, dieses Objekt als Fußgänger 420 zu identifizieren, da genügend des Fußgängers 420 im Bild IMG gezeigt ist. Trotzdem ist der untere Teil des Fußgängers 420 durch das Fahrzeug 430 vor ihm verdeckt. Ein probabilistisches graphisches Modell PGM, das einen ausreichenden Lernprozess durchgeführt hat, kann herausfinden, wie das Objekt aussieht, wenn das Fahrzeug 430 in diesem Fall nicht vorhanden wäre. In diesem Fall würde das probabilistische graphische Modell PGM wahrscheinlich annehmen, dass am unteren Teil des Begrenzungskastens 410 Schuhe vorhanden sind. Da das probabilistische graphische Modell PGM den Inhalt des Begrenzungskastens 410 als Fußgänger identifizieren könnte, ist die wahrscheinlichste Lösung hinsichtlich des unteren Teils des Begrenzungskastens 410 die Anwesenheit von Schuhen.
-
Ferner könnte das probabilistische graphische Modell PGM die Anwesenheit des zweiten Fußgängers nutzen, der rechts vom Begrenzungskasten 410 dargestellt ist. Das probabilistische graphische Modell PGM könnte die Bewegung dieser zwei Fußgänger analysieren, um eine Geschwindigkeit hinsichtlich dieser zwei Fußgänger zu bestimmen. Informationen über die Geschwindigkeit dieser zwei Fußgänger können angeben, dass sie laufen und dass sich kein Skateboard an der Unterseite befindet. Dieses Beispiel stellt dar, wie Informationen aufgrund der Sammlung von Bildmerkmalsinformationen kombiniert werden können. Das probabilistische graphische Modell kann viel mehr Analyse und Schlussfolgerungen enthalten. Um ein probabilistisches graphisches Modell PGM zu verbessern, ist es nützlich, einen Lernprozess im Voraus durchzuführen. Aufgrund dieses Lernprozesses kann das probabilistische graphische Modell PGM eine realistische Abschätzung des Objektaussehens durchführen. In diesem Fall kann das probabilistische graphische Modell PGM helfen, die Situation von 3 zu handhaben, in der die Füße des Fußgängers 420 nicht sichtbar sind.
-
Um die Menge an Informationen zu erhöhen, die später im Prozess der Bildfusion IF fusioniert werden können, können mehrere Falschfarbendarstellungen 500 verwendet werden. 5 zeigt drei verschiedene Falschfarbendarstellungen 500. In 5 ist ein Verkehrszeichen, ein „STOPP“-Schild, in verschiedenen Falschfarbendarstellungen gezeigt. In vielen Fällen werden Falschfarbendarstellungen 500 auch als Heatmaps bezeichnet. Die Heatmap 510 zeigt das Bild IMG, nachdem es hinsichtlich seiner Intensität analysiert wurde. Die Heatmap 520 stellt dasselbe Bild IMG dar, aber in diesem Fall wurde es hinsichtlich seiner Tiefe analysiert. Die Heatmap 530 zeigt eine Darstellung hinsichtlich der Bewegung. Diese Heatmaps 510 - 530 können in verschiedenen Schritten des Pfades der Rekonstruktion 110 oder Erkennung 120 erzeugt werden. Die Heatmap 510 könnte beispielsweise ein Ergebnis des dichten Flusses DF sein, die Heatmap 520 kann als Ergebnis der dreidimensionalen Rekonstruktionsanalyse SFM betrachtet werden und die Heatmap 530 könnte ein Ergebnis der Bewegungsstereoanalyse MS sein. Vorzugsweise werden detektierte Objekte auf der Basis ihres Wesens und ihrer Kritizität in drei Teile charakterisiert. Diese drei Kategorien sind gewöhnlich der Boden, dynamische Objekte und die Infrastruktur. Das probabilistische graphische Modell PGM wird verwendet, um alle detektierten Objekte zu verbinden und Gewichte über Objektbeziehungen zu finden. In dieser Weise kann es den räumlichen Kontext ausnutzen, um die Abschätzung zu verbessern, und es kann die Verdeckung über räumliche Folgerung handhaben. Es ist beabsichtigt, einen ungefähren Einfluss durch bedingte Unabhängigkeitsannahmen, Abtastung und Vermutungsfortpflanzung zu verwenden.
-
6 zeigt eine erläuternde Darstellung eines Datenknotens 600. Innerhalb dieses Datenknotens 600 sind mehrere Teile von Informationen gesammelt. Ausgehend von links sind dreidimensionale Informationen 3D gespeichert. Der Datenknoten 600 enthält ferner Teile von Informationen hinsichtlich semantischer Informationen SEM, Kontextinformationen CON, zeitlichen Informationen TEM oder anderen Typen von Informationen INF. Der Inhalt des Datenknotens 600 ist nicht fest, er hängt von den verschiedenen Bildverarbeitungsverfahren ab, die in der Analyse der Rekonstruktion 110 oder der Erkennung 120 durchgeführt werden. Es existieren mehrere Möglichkeiten hinsichtlich dessen, wie dieser Datenknoten 600 zu verwenden ist.
-
Eine Methode dieser Erfindung besteht darin, eine hierarchische Modellierung des probabilistischen graphischen Modells PGM anzuwenden. Dies ist in 7 erläuternd gezeigt. Hier sind die Datenknoten 600 anders benannt. Die Darstellung an der Oberseite von 7 zeigt eine Menge von kleinen Kreisen, die verschiedene Datenknoten 600 darstellen. Zwei Sätze A und B von Datenknoten 600 sind in der Darstellung an der Oberseite von 7 dargestellt. Diese zwei Sätze von verschiedenen Datenknoten 600 A und B werden fusioniert, so dass die Menge an Datenknoten 600 verringert wird. Der Fusionsprozess ist durch den Pfeil zwischen der oberen und der unteren Darstellung von 7 angegeben. Die Datenknoten 600 der oberen Darstellung können beispielsweise Informationen von mehreren Fußgängern enthalten, die in Richtung eines gemeinsamen Ziels wie einer Kneipe laufen. Jeder Kreis als Datenknoten 600 kann die Bewegung eines einzelnen Fußgängers darstellen. Ein einzelner Fußgänger zeigt keine klare Bewegung direkt zur Kneipe. Es ist möglich, dass der einzelne Fußgänger eine gewisse Abweichung hinsichtlich seiner Bewegung zeigt. Wenn jeder Fußgänger separat analysiert wird, dauert es einige Zeit, bis die Richtung und das Ziel des Fußgängers identifiziert werden können.
-
In diesem Fall kann eine hierarchische Modellierung die Analyse dieser Situation verbessern. Im Fall von 7 werden die kleinen Datenknoten 600 (u1-u4, x1-x5, z1-z4, f1-f5) gemittelt. Aufgrund des Mittelns werden neue Datenknoten 600, die Xa, Xc, Xb, Za und Zb genannt sind, erzeugt. Diese Datenknoten 600 sind in der Darstellung unten in 7 gezeigt. In dem Beispiel der laufenden Fußgänger enthalten die neuen Datenknoten 600 gemittelte Informationen über die Bewegung der Fußgänger. Dieses Mitteln verringert das Rauschen hinsichtlich der Bewegung der Fußgänger. Die reale Bewegung der Fußgänger, die Richtung zur Kneipe, erscheint nach dem Mittelungsprozess klarer. Dies ist die Hauptidee hinter der hierarchischen Modellierung eines probabilistischen graphischen Modells.
-
Neben der hierarchischen Modellierung ist eine Ordnungsentkopplung auch eine Möglichkeit, um das probabilistische graphische Modell PGM zu modifizieren. 7 stellt eine hierarchische Modellierung dar, wobei zwei Untergraphen A und B von mehreren Datenknoten 600 zusammen gruppiert sind, um einen Zustand höherer Ebene zu bilden. In dieser Weise kann der Graph auf verschiedenen Abstraktionsniveaus hierarchisch gestaltet werden. Häufig ist beispielsweise ein Kalman-Filter für jedes Objekt wie einen Fußgänger, ein Fahrzeug usw. mit einem unterschiedlichen Modell dynamischer Systeme entworfen. Dies bedeutet, dass in einigen Fällen die Datenknoten 600 durch geeignete Kalman-Filter beschrieben werden können. Unter Verwendung der Ordnungsentkopplung ist es leicht, sie graphisch zu verknüpfen und sie hierarchisch zu entwerfen. Jedes Kalman-Filter ist eine Markov-Kette und typischerweise sind die Verbindungen zwischen den Datenknoten 600 nicht-stationäre Prozesse. Daher werden häufig der Chinese-Restaurant-Prozess oder der Indian-Buffet-Prozess verwendet.
-
8 zeigt drei Optionen, wie Datenknoten 600 innerhalb eines probabilistischen graphischen Modells PGM angeordnet oder behandelt werden können. Die erste Darstellung in 8 zeigt fünf Datenknoten 600 und der linke Datenknoten x1 ist direkt mit seinem benachbarten rechten Datenknoten x2 verbunden. Diese erste Darstellung stellt ein Modell erster Ordnung dar. Die Darstellung in der Mitte von 8 zeigt ein komplexeres Modell. In diesem Fall sind zusätzliche Verbindungen zwischen den Datenknoten 600 vorhanden. Der erste Datenknoten x1 beispielsweise ist mit dem zweiten Datenknoten x2 sowie mit dem dritten Datenknoten x3 verbunden. Dies bedeutet, dass die mathematischen Modelle, die ein Teil des probabilistischen graphischen Modells PGM sind, von der Option erster Ordnung verschieden sind. Die dritte Darstellung in 8 zeigt, wie die zweite Darstellung auf ein Modell erster Ordnung gefaltet werden kann. Im größeren Datenknoten 800 sind zwei Datenknoten 600 zu einer Einheit vereinigt. Dies bedeutet, dass der größere Datenknoten 800 als einzelner Datenknoten 600 behandelt werden kann wie im Fall der ersten Darstellung von 8. Gewöhnlich nimmt die Komplexität der größeren Datenknoten 800 aufgrund der Vereinigung von mehreren Datenknoten 600 zu einem einzelnen größeren Datenknoten 800 zu. Mit anderen Worten, ein Modell höherer Ordnung wird in ein Modell mit einer niedrigeren Ordnung transformiert. Diese Technik kann Ordnungsentkopplung genannt werden.
-
9 zeigt, wie die automatisierte Untersuchung von Datenknoten 600 unter Verwendung einer bayesschen Optimierung durchgeführt werden kann, wobei nur dominante Knoten T4 automatisch gefunden werden. 9 zeigt unten Datenknoten 600, die x1 - x6 genannt sind. Über diesen Datenknoten x1 - x6 sind weitere Datenknoten, die T1 - T4 genannt sind, dargestellt. Die Datenknoten T1 - T3 sind durch gestrichelte Linien ausgedrückt. Die automatisierte Untersuchung der Knoten 600 kann durch vorheriges Anwenden eines tiefen Lernprozesses auf das probabilistische graphische Modell PGM verbessert werden. Die Datenknoten x1 - x6 sind mit den Datenknoten T1 - T4 verbunden. Nur die Verbindung mit dem Datenknoten T4 zeigt eine stabile Verbindung, die durch durchgehende Linien ausgedrückt ist. Links vom Datenknoten T4 sollen die Datenknoten T1 - T3 aufgrund der gestrichelten Linien als verschwommen gezeigt sein. Es sieht aus, als ob sie aus dem probabilistischen graphischen Modell PGM verschwinden. Im automatisierten Untersuchungsprozess betrachtet das probabilistische graphische Modell PGM diese Art von Datenknoten T1 - T3, die verschwommen sind, in diesem Fall als unrealistisch. Wenn ein bestimmter Wahrscheinlichkeitswert eines Datenknotens 600 oder einer Verbindung mit diesem Datenknoten unter einen Schwellenwert für die Wahrscheinlichkeit fällt, kann dieser Datenknoten oder seine Verbindung vernachlässigt werden.
-
Ein frisches und neues probabilistisches graphisches Modell PGM ohne irgendwelche Eingangsdaten kann beispielsweise jede Option betrachten. Es würde wahrscheinlich jede Option und jede Verbindung prüfen. In diesem Fall kann ein probabilistisches graphisches Modell PGM sogar versuchen, ein Fahrzeug 430 an irgendeiner Stelle in einem Bild IMG zu detektieren oder zu verfolgen. Das probabilistische graphische Modell PGM könnte sogar versuchen, das Fahrzeug 430 in einem blauen Bereich des Bildes IMG zu finden, der der Himmel ist. Dies ist eine sehr unrealistische Option, und da das Fahrzeug 430 gewöhnlich nicht im Himmel erscheint, findet das probabilistische graphische Modell PGM das Fahrzeug 430 nicht im Himmel. Dies bedeutet, dass, wenn genügend Bilder IMG durch ein probabilistisches graphisches Modell PGM analysiert wurden, es erkennt, dass der Wahrscheinlichkeitswert für das Fahrzeug 430 im Himmel immer mehr abnimmt. Nach einem intensiven Lernprozess würde das probabilistische graphische Modell PGM wahrscheinlich einen Wahrscheinlichkeitswert für dieses unrealistische Ereignis bestimmen, der äußerst niedrig ist. Vorzugsweise vernachlässigt das probabilistische graphische Modell PGM solche unrealistischen Ereignisse, wenn ein bestimmter Schwellenwert erreicht wird. In dem Beispiel von 10 wurden die verschwommenen oder gestrichelten Datenknoten T1 - T3 bereits vernachlässigt. Die Möglichkeiten oder Optionen, die durch diese Datenknoten T1 - T3 beschrieben werden, sind einfach zu unrealistisch, um weiter betrachtet zu werden.
-
Dies bedeutet, dass ein probabilistisches graphisches Modell PGM sich durch einen geeigneten Lernprozess verbessern kann. Dieser Lernprozess ist umso effektiver, je mehr Bildmerkmalsinformationen zur Eingabe in das probabilistische graphische Modell PGM bereitgestellt werden könnten. Dies bedeutet, dass das Bestimmen der Bildmerkmalsinformationen und Fusionieren derselben miteinander zu einem neuen Bild probabilistische graphische Modelle PGM drastisch verbessern kann. Diese Erfindung beabsichtigt auch, probabilistische graphische Modelle PGM durch Implementieren von Grenzbedingungen, hierarchische Modellierung oder das Verfahren der Ordnungsentkopplung zu modifizieren. Vorzugsweise werden so viele Teile von Bildmerkmalsinformationen aus den mehreren Bildern gesammelt, um einen größeren Nutzen aus dem Fusionsprozess gemäß Schritt c) zu ziehen. Je mehr Informationen im neuen fusionierten Bild nach dem Prozess der Bildfusion IF vorhanden sind, desto besser kann das räumlich-zeitliche Verfolgen eines Objekts sein.
-
Je mehr Informationen das neue Bild nach der Bildfusion IF enthält, desto effektiver kann der Verfolgungsschritt gemäß Schritt d) sein. Die automatisierte Untersuchung von guten Verbindungen im probabilistischen graphischen Modell PGM kann mit weniger Rechenzeit ausgeführt werden. Durch Anwenden von geeigneten Bildverarbeitungsverfahren gemäß 1 oder der Modifikation des probabilistischen graphischen Modells PGM hinsichtlich der Grenzbedingungen kann die hierarchische Modellierung oder die Ordnungsentkopplung der räumlich-zeitlichen Verfolgung eines Objekts modifiziert werden. Dies bedeutet, dass verschiedene Einstellungen auf das probabilistische graphische Modell PGM angewendet werden können, um die räumlich-zeitliche Verfolgung der Objekte zu verbessern. Dies ermöglicht nicht nur das Detektieren und Klassifizieren des Objekts, sondern es ist auch möglich, dem Objekt über eine Zeitdauer zu folgen und dieses zu verfolgen.
-
Das in dieser Anmeldung dargestellte Verfahren transformiert nicht die Bildmerkmalsinformationen in eine Karte. Dies vermeidet den Nachteil des Verlierens von Informationen durch Bereitstellung einer Karte. Gemäß 1 stehen komplementäre Daten von der Erkennung 120 und der Rekonstruktion 110 zur Verfügung. Eine Objektverfolgung wird vor dem Erzeugen einer Karte durchgeführt. Dies bedeutet, dass mehr informative Bildmerkmalsinformationen auf der Bildebene verfügbar sind, die es ermöglichen, eine genauere räumlich-zeitliche Objektverfolgung bereitzustellen. Es ist sehr vorteilhaft, einen tiefen Lernprozess an dem probabilistischen graphischen Modell PGM durchzuführen, bevor es in einem Fahrzeug verwendet wird. Dies liegt an der Tatsache, dass ein untrainiertes probabilistisches graphisches Modell PGM mehr Rechenzeit benötigt als ein bereits trainiertes probabilistisches graphisches Modell.
-
Die Beispiele zeigen erläuternd, dass die Nutzung von so vielen Bildmerkmalsinformationen auf der Bildebene wie möglich und das Fusionieren derselben zu einem neuen Bild zu einer verbesserten räumlich-zeitlichen Verfolgung von Objekten führen können. Das neue fusionierte Bild enthält durch die Bildfusion IF viel mehr Teile von Informationen als jedes der mehreren Bilder. Dies ermöglicht, dass das probabilistische graphische Modell PGM sinnvolle Optionen innerhalb weniger Zeit bestimmt.
-
Diese Erfindung beschreibt ein Verfahren zur Bildverarbeitung von mehreren Bildern IMG. Daher wird die Bildmerkmalsinformation von jedem der mehreren Bilder IMG bestimmt und mindestens eine Mehrheit derselben in ein neues Bild fusioniert. Vorzugsweise werden alle Teile von Bildmerkmalsinformationen zu einem neuen Bild fusioniert. Eine räumlich-zeitliche Verfolgung eines Objekts des neuen Bildes wird durchgeführt, wobei ein probabilistisches graphisches Modell PGM eingesetzt wird. Das probabilistische graphische Modell PGM kann ferner durch verschiedene Untermodelle innerhalb des probabilistischen graphischen Modells PGM oder durch mehrere Grenzbedingungen angepasst werden. Diese Modifikationen am probabilistischen graphischen Modell PGM können im Hinblick auf die gewünschte Anwendung flexibel gehandhabt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2015/0158182 A1 [0003]
- US 2016/0266581 A1 [0004]
- WO 2012/139636 A1 [0005]
