DE102015207676A1

DE102015207676A1 - Verfahren und Vorrichtung zur Hinderniserkennung auf Basis einer monokularen Kamera

Info

Publication number: DE102015207676A1
Application number: DE102015207676.8A
Authority: DE
Inventors: Hongfei YU; Wei Liu; Huai Yuan
Original assignee: Neusoft Corp
Current assignee: Neusoft Reach Automotive Technology Shanghai Co Ltd
Priority date: 2014-09-26
Filing date: 2015-04-27
Publication date: 2016-03-31
Also published as: CN104299244B; US20160093052A1; JP2016071846A; JP6031554B2; CN104299244A; US9521317B2

Abstract

Es ist ein Verfahren und eine Vorrichtung zur Hinderniserkennung auf Basis einer monokularen Kamera vorgesehen. Das Verfahren beinhaltet: Gewinnen eines Zieleinzelbilds und seines angrenzenden Einzelbilds, von der monokularen Kamera aufgenommen; Löschen eines instabilen Merkmalpunkts aus einem Ausgangsmerkmalpunktsatz des angrenzenden Einzelbilds, um einen bevorzugten Merkmalpunktsatz zu gewinnen; Teilen eines Zielmerkmalpunktsatzes, um mehrere Zielmerkmalpunktteilsätze zu gewinnen; Beurteilen, auf Basis einer Veränderung einer Distanz zwischen Punkten in einem Bodenprojektionspunktsatz des Zielmerkmalpunktteilsatzes von dem Zeitpunkt des angrenzenden Einzelbilds bis zu dem Zeitpunkt des Zieleinzelbilds, ob der Zielmerkmalpunktteilsatz einem Hindernis entspricht; und Bestimmen einer Vereinigung aller Zielmerkmalpunktteilsätze, die als Hindernissen entsprechend beurteilt werden, als einen Hindernispunktsatz des Zieleinzelbilds. Mit der Erfindung werden die Genauigkeit und Effizienz zur Erkennung eines Hindernispunkts verbessert.

Description

GEBIET DER ERFINDUNG
Die Erfindung betrifft das Fachgebiet der Bildverarbeitung und speziell ein Verfahren und eine Vorrichtung zur Hinderniserkennung auf Basis einer monokularen Kamera.
ALLGEMEINER STAND DER TECHNIK
Bedingt durch wissenschaftliche und technische Fortschritte gewinnen Kraftfahrzeuge und Navigation im Leben der Menschen zunehmend an Beliebtheit, und die sichtgestützte Hinderniserkennung wird auf Gebieten wie dem Autofahren mit Fahrerassistenz und der Roboternavigation weithin angewendet. Zu Sensoren zur Hinderniserkennung zählen z. B. eine monokulare Kamera, eine Stereo-Kamera, ein Lasersensor, ein Radarsensor und ein Infrarotsensor. Auf dem Gebiet der Hinderniserkennung hat die monokulare Kamera aufgrund ihrer Vorteile wie bequemem Einbau, kleinem Volumen und geringer Kosten einen voraussichtlich breiten Anwendungsbereich.
Für die Hinderniserkennung auf der Basis einer monokularen Kamera gibt es viele Verfahren, wie das Erkennungserfahren auf Basis des Erscheinungsbilds von Merkmalen. Bei dem Erkennungsverfahren auf Basis des Erscheinungsbilds von Merkmalen wird ein auf Merkmale wie Textur, Farbe, Kante, Symmetrie oder Form des zu erkennenden Hindernisses basierender Klassifikator antrainiert.
Das obige Verfahren dient nur zur Hinderniserkennung eines bestimmten Typs, wie etwa eines Fußgängers oder eines Fahrzeugs. Bei Erkennung von Hindernissen mehrerer Typen werden mehrere Klassifikatoren benötigt und der Prozess zum Antrainieren mehrerer Klassifikatoren ist mühsam und kompliziert. Die Effizienz ist daher niedrig und die Erkennung beim obigen konventionellen Verfahren ist nicht präzise.
KURZDARSTELLUNG DER ERFINDUNG
Die von der Erfindung zu lösende technische Aufgabe besteht darin, ein Verfahren zur Hinderniserkennung auf Basis einer monokularen Kamera bereitzustellen, um den Fall zu vermeiden, dass es mehrere Klassifikatoren zur Hinderniserkennung auf Basis des Erscheinungsbilds von Merkmalen in der konventionellen Technologie antrainieren muss. Mit dem von der Erfindung vorgesehenen Verfahren lässt sich ein Hindernis leichter erkennen, die Effizienz zur Hinderniserkennung ist verbessert und die Genauigkeit zur Hinderniserkennung ist gewährleistet.
Erfindungsgemäß ist auch eine Vorrichtung zur Hinderniserkennung auf Basis einer monokularen Kamera vorgesehen, um die Implementierung und Anwendung des obigen Verfahrens sicherzustellen.
Das erfindungsgemäß vorgesehene Verfahren zur Hinderniserkennung auf Basis einer monokularen Kamera beinhaltet: Gewinnen eines Zieleinzelbilds und seines angrenzenden Einzelbilds, von der monokularen Kamera aufgenommen; Löschen, auf Basis eines Ergebnisses, das durch Tracken eines Ausgangsmerkmalspunktsatzes des angrenzenden Einzelbilds in einem transformierten Bild des angrenzenden Einzelbilds gewonnen wird, eines instabilen Merkmalspunkts aus dem Ausgangsmerkmalspunktsatz des angrenzenden Einzelbilds, um einen bevorzugten Merkmalspunktsatz des angrenzenden Einzelbilds zu gewinnen, wobei das transformierte Bild des angrenzenden Einzelbilds auf Basis eines vorgegebenen Transformationsmodells berechnet wird; Teilen eines Zielmerkmalspunktsatzes, um mehrere Zielmerkmalspunktteilsätze zu gewinnen, wobei der Zielmerkmalspunktsatz durch Tracken des bevorzugten Merkmalspunktsatzes des angrenzenden Einzelbilds im Zieleinzelbild gewonnen wird; Beurteilen, für jeden der Zielmerkmalspunktteilsätze, auf Basis einer Veränderung einer Distanz zwischen Punkten in einem Bodenprojektionspunktsatz des Zielmerkmalspunktteilsatzes von einem Zeitpunkt, an dem das angrenzende Einzelbild von der monokularen Kamera aufgenommen wird, bis zu einem Zeitpunkt, an dem das Zieleinzelbild von der monokularen Kamera aufgenommen wird, ob der Zielmerkmalspunktteilsatz einem Hindernis entspricht; und Bestimmen einer Vereinigung aller Zielmerkmalspunktteilsätze, die als Hindernissen entsprechend beurteilt werden, als einen Hindernispunktsatz des Zieleinzelbilds.
Wahlweise beinhaltet das Löschen, auf Basis eines Ergebnisses, das durch Tracken eines Ausgangsmerkmalspunktsatzes des angrenzenden Einzelbilds in einem transformierten Bild des angrenzenden Einzelbilds gewonnen wird, eines instabilen Merkmalspunkts aus dem Ausgangsmerkmalspunktsatz des angrenzenden Einzelbilds, um einen bevorzugten Merkmalspunktsatz des angrenzenden Einzelbilds zu gewinnen: Erkennen eines Merkmalspunkts in dem angrenzenden Einzelbild durch einen vorgegebenen Merkmalspunkterkennungsalgorithmus, um den Ausgangsmerkmalspunktsatz des angrenzenden Einzelbilds zu gewinnen; Berechnen des transformierten Bilds des angrenzenden Einzelbilds auf Basis des vorgegebenen Transformationsmodells; Tracken des Ausgangsmerkmalspunktsatzes in dem transformierten Bild durch einen vorgegebenen Merkmalspunkt-Tracking-Algorithmus, um einen mit dem Ausgangsmerkmalspunktsatz übereinstimmenden Tracking-Merkmalspunktsatz zu gewinnen; Beurteilen, ob eine Differenz zwischen jedem Ausgangsmerkmalspunkt in dem Ausgangsmerkmalspunktsatz und einem entsprechenden Tracking-Merkmalspunkt in dem Tracking-Merkmalspunktsatz größer als eine vorgegebene Differenzschwelle ist, und Löschen des Ausgangsmerkmalspunktes, für den die Differenz größer als die vorgegebene Differenzschwelle ist, aus dem Ausgangsmerkmalspunktsatz und Bestimmen des Ausgangsmerkmalspunktsatzes, in dem der Ausgangsmerkmalspunkt, für den die Differenz größer als die vorgegebene Differenzschwelle ist, gelöscht wird, als den bevorzugten Merkmalspunktsatz des angrenzenden Einzelbilds.
Wahlweise beinhaltet das Teilen eines Zielmerkmalspunktsatzes: Teilen des Zielmerkmalspunktsatzes auf Basis eines vorgegebenen Querbewegungsschrittes und eines vorgegebenen Längsbewegungsschrittes, um mehrere Zielmerkmalspunktteilsätze zu gewinnen, das Folgendes beinhaltet: Tracken des bevorzugten Merkmalspunktsatzes in dem Zieleinzelbild durch einen vorgegebenen Merkmalspunkt-Tracking-Algorithmus, um den Zielmerkmalspunktsatz zu gewinnen; Gewinnen eines ersten Zielmerkmalspunktteilsatzes an einer beliebigen Ecke in dem Zieleinzelbild auf Basis einer vorgegebenen Teilblocklänge und einer vorgegebenen Teilblockbreite; und Bewegen eines dem ersten Zielmerkmalspunktteilsatz entsprechenden Teilblocks um den vorgegebenen Querbewegungsschritt und/oder den vorgegebenen Längsbewegungsschritt und Bestimmen eines dem bewegten Teilblock entsprechenden Pixelpunktsatzes als einen Zielmerkmalspunktteilsatz, bis alle Pixelpunkte im Zieleinzelbild durchlaufen wurden, wobei der vorgegebene Querbewegungsschritt kleiner oder gleich der vorgegebenen Teilblocklänge ist und der vorgegebene Längsbewegungsschritt kleiner oder gleich der vorgegebenen Teilblockbreite ist.
Wahlweise beinhaltet das Beurteilen, für jeden der Zielmerkmalspunktteilsätze, auf Basis einer Veränderung einer Distanz zwischen Punkten in einem Bodenprojektionspunktsatz des Zielmerkmalspunktteilsatzes von einem Zeitpunkt, an dem das angrenzende Einzelbild von der monokularen Kamera aufgenommen wird, bis zu einem Zeitpunkt, an dem das Zieleinzelbild von der monokularen Kamera aufgenommen wird, ob der Zielmerkmalspunktteilsatz einem Hindernis entspricht: Bestimmen eines Bodenprojektionspunktsatzes, der Pixelpunkten in jedem der Zielmerkmalspunktteilsätze entspricht, und, für jeden der Bodenprojektionspunktteilsätze, Berechnen eines Durchschnitts von Veränderungen von Distanzen zwischen Bodenprojektionspunkten in dem Bodenprojektionspunktsatz von dem Zeitpunkt, an dem das angrenzende Einzelbild von der monokularen Kamera aufgenommen wird, bis zu dem Zeitpunkt, an dem das Zieleinzelbild von der monokularen Kamera aufgenommen wird, Beurteilen, ob der Durchschnitt größer als eine vorgegebene Distanzveränderungsschwelle ist, und Bestimmen von Merkmalspunkten in dem Zielmerkmalspunktteilsatz, der dem Bodenprojektionspunktsatz entspricht, als Hindernispunkte, wenn der Durchschnitt größer als die vorgegebene Distanzveränderungsschwelle ist, wobei der Durchschnitt durch Teilen einer Summe der Veränderungen der Distanzen zwischen Bodenprojektionspunkten in dem Bodenprojektionspunktsatz durch die Zahl von Merkmalspunktepaaren in dem entsprechenden Zielmerkmalspunktteilsatz gewonnen wird und das Merkmalspunktepaar aus zwei beliebigen Merkmalspunkten in dem Zielmerkmalspunktteilsatz zusammengesetzt ist.
Wahlweise beinhaltet das Bestimmen eines Bodenprojektionspunktsatzes, der Pixelpunkten in dem Zielmerkmalspunktteilsatz entspricht, im Fall, dass die monokulare Kamera an einem Zielträger installiert ist und ein Pixelkoordinatensystem einer Abbildungsebene der monokularen Kamera o_uv ist: Einrichten eines Weltkoordinatensystems O_XYZ mit einem optischen Mittelpunkt der monokularen Kamera als Ursprung, wobei eine OY-Achse lotrecht zum Boden zeigt und eine OZ-Achse parallel zum Boden und dem Zielträger der monokularen Kamera verläuft; Einrichten eines Kamerakoordinatensystems O_X'Y'Z' mit dem optischen Mittelpunkt der monokularen Kamera als Ursprung, wobei eine OZ'-Achse mit einer optischen Achse der monokularen Kamera zusammenfällt und eine OX'-Achse und eine OY'-Achse parallel zu einer ou-Achse bzw. einer ov-Achse der Abbildungsebene verlaufen; das Kamerakoordinatensystem wird durch Drehen des Weltkoordinatensystems nacheinander um einen Winkel α um eine OX-Achse, um einen Winkel β um die OY-Achse und um einen Winkel γ um die OZ-Achse gewonnen, wobei α, β und γ auf Basis eines Algorithmus zur Kalibrierung extrinsischer Parameter bestimmt werden, nachdem die monokulare Kamera installiert worden ist; und Bestimmen eines Bodenprojektionspunktsatzes, der Pixelpunkten in dem Zielmerkmalspunktteilsatz entspricht, auf Basis einer Transformationsbeziehung zwischen Koordinaten in dem Kamerakoordinatensystem und Koordinaten in dem Weltsystem-Koordinatensystem und einer Übereinstimmung zwischen Koordinaten in dem Kamerakoordinatensystem und Koordinaten in der Abbildungsebene, wobei der Bodenprojektionspunktsatz {(X, H, Z)} ist und H eine Höhe von der monokularen Kamera zum Boden ist, wobei die Transformationsbeziehung zwischen Koordinaten (X', Y', Z') in dem Kamerakoordinatensystem und Koordinaten (X, Y, Z) in dem Weltkoordinatensystem:
und c_x ≡ cosx und wobei die Übereinstimmung zwischen Koordinaten in dem Kamerakoordinatensystem und Koordinaten in der Abbildungsebene: (u, v) = F(X', Y', Z') ist, wobei F ein Projektionsmodell der monokularen Kamera ist, das von einem intrinsischen Parameter der monokularen Kamera bestimmt wird, und der intrinsische Parameter der monokularen Kamera durch einen Offline-Kalibrationsalgorithmus gewonnen wird.
Die erfindungsgemäß vorgesehene Vorrichtung zur Hinderniserkennung auf Basis einer monokularen Kamera beinhaltet: ein Gewinnungsmodul, das konfiguriert ist zum Gewinnen eines Zieleinzelbilds und seines angrenzenden Einzelbilds, von der monokularen Kamera aufgenommen; ein Pre-Tracking-Modul, das konfiguriert ist zum Löschen, auf Basis eines Ergebnisses, das durch Tracken eines Ausgangsmerkmalspunktsatzes des angrenzenden Einzelbilds in einem transformierten Bild des angrenzenden Einzelbilds gewonnen wird, eines instabilen Merkmalspunkts aus dem Ausgangsmerkmalspunktsatz des angrenzenden Einzelbilds, um einen bevorzugten Merkmalspunktsatz des angrenzenden Einzelbilds zu gewinnen, wobei das transformierte Bild des angrenzenden Einzelbilds auf Basis eines vorgegebenen Transformationsmodells berechnet wird; ein Teilsatzgewinnungsmodul, das konfiguriert ist zum Teilen eines Zielmerkmalspunktsatzes, um mehrere Zielmerkmalspunktteilsätze zu gewinnen, wobei der Zielmerkmalspunktsatz durch Tracken des bevorzugten Merkmalspunktsatzes des angrenzenden Einzelbilds in dem Zieleinzelbild gewonnen wird; ein Beurteilungsmodul, das konfiguriert ist zum Beurteilen, für jeden der Zielmerkmalspunktteilsätze, auf Basis einer Veränderung einer Distanz zwischen Punkten in einem Bodenprojektionspunktsatz des Zielmerkmalspunktteilsatzes von einem Zeitpunkt, an dem das angrenzende Einzelbild von der monokularen Kamera aufgenommen wird, bis zu einem Zeitpunkt, an dem das Zieleinzelbild von der monokularen Kamera aufgenommen wird, ob der Zielmerkmalspunktteilsatz einem Hindernis entspricht; und ein Bestimmungsmodul, das konfiguriert ist zum Bestimmen einer Vereinigung aller Zielmerkmalspunktteilsätze, die als Hindernissen entsprechend beurteilt werden, als einen Hindernispunktsatz des Zieleinzelbilds.
Wahlweise beinhaltet das Pre-Tracking-Modul: ein Merkmalspunkterkennungs-Submodul, das konfiguriert ist zum Erkennen eines Merkmalspunkts in dem angrenzenden Einzelbild durch einen vorgegebenen Merkmalspunkterkennungsalgorithmus, um einen Ausgangsmerkmalspunktsatz des angrenzenden Einzelbilds zu gewinnen; ein Berechnungs-Submodul, das konfiguriert ist zum Berechnen des transformierten Bilds des angrenzenden Einzelbilds auf Basis eines vorgegebenen Transformationsmodells; ein Tracking-Submodul, das konfiguriert ist zum Tracken des Ausgangsmerkmalspunktsatzes in dem transformierten Bild durch einen vorgegebenen Merkmalspunkt-Tracking-Algorithmus, um einen mit dem Ausgangsmerkmalspunktsatz übereinstimmenden Tracking-Merkmalspunktsatz zu gewinnen; ein erstes Beurteilungs-Submodul, das konfiguriert ist zum Beurteilen, ob eine Differenz zwischen jedem Ausgangsmerkmalspunkt in dem Ausgangsmerkmalspunktsatz und einem entsprechenden Tracking-Merkmalspunkt in dem Tracking-Merkmalspunktsatz größer als eine vorgegebene Differenzschwelle ist; ein Lösch-Submodul, das konfiguriert ist zum Löschen des Ausgangsmerkmalspunktes, für den die Differenz größer als die vorgegebene Differenzschwelle ist, aus dem Ausgangsmerkmalspunktsatz; und ein erstes Bestimmungs-Submodul, das konfiguriert ist zum Bestimmen des Ausgangsmerkmalspunktsatzes, in dem der Ausgangsmerkmalspunkt, für den die Differenz größer als die vorgegebene Differenzschwelle ist, gelöscht wird, als den bevorzugten Merkmalspunktsatz des angrenzenden Einzelbilds.
Wahlweise beinhaltet das Teilsatzgewinnungsmodul: ein Merkmalspunkt-Tracking-Submodul, das konfiguriert ist zum Tracken des bevorzugten Merkmalspunktsatzes in dem Zieleinzelbild durch einen vorgegebenen Merkmalspunkt-Tracking-Algorithmus, um den Zielmerkmalspunktsatz zu gewinnen; ein erstes Teilungs-Submodul, das konfiguriert ist zum Gewinnen eines ersten Zielmerkmalspunktteilsatzes an einer beliebigen Ecke in dem Zieleinzelbild auf Basis einer vorgegebenen Teilblocklänge und einer vorgegebenen Teilblockbreite; ein Bewegungs-Submodul, das konfiguriert ist zum Bewegen eines dem ersten Zielmerkmalspunktteilsatz entsprechenden Teilblocks um einen Querbewegungsschritt und/oder einen Längsbewegungsschritt; und ein zweites Teilungs-Submodul, das konfiguriert ist zum Bestimmen eines dem bewegten Teilblock entsprechenden Pixelpunktsatzes als einen Zielmerkmalspunktteilsatz, bis alle Pixelpunkte in dem Zieleinzelbild durchlaufen wurden, wobei der Querbewegungsschritt kleiner oder gleich der vorgegebenen Teilblocklänge ist und der Längsbewegungsschritt kleiner oder gleich der vorgegebenen Teilblockbreite ist.
Wahlweise beinhaltet das Beurteilungsmodul: ein zweites Bestimmungs-Submodul, das konfiguriert ist zum Bestimmen eines Bodenprojektionspunktsatzes, der Pixelpunkten in jedem der Zielmerkmalspunktteilsätze entspricht; ein Distanzberechnungs-Submodul, das, für jeden der Bodenprojektionspunktteilsätze, konfiguriert ist zum Berechnen eines Durchschnitts von Veränderungen von Distanzen zwischen Bodenprojektionspunkten in dem Bodenprojektionspunktsatz von dem Zeitpunkt, an dem das angrenzende Einzelbild von der monokularen Kamera aufgenommen wird, bis zu dem Zeitpunkt, an dem das Zieleinzelbild von der monokularen Kamera aufgenommen wird; ein zweites Beurteilungs-Submodul, das konfiguriert ist zum Beurteilen, ob der Durchschnitt größer als eine vorgegebene Distanzveränderungsschwelle ist; ein drittes Bestimmungs-Submodul, das konfiguriert ist zum Bestimmen von Merkmalspunkten in dem Zielmerkmalspunktteilsatz, der dem Bodenprojektionspunktsatz entspricht, als Hindernispunkte, wenn das zweite Beurteilungs-Submodul bestimmt, dass der Durchschnitt von Veränderungen von Distanzen zwischen Bodenprojektionspunkten in dem Bodenprojektionspunktsatz größer als die vorgegebene Distanzveränderungsschwelle ist; und ein Auslösungs-Submodul, das konfiguriert ist, um einen nächsten Bodenprojektionspunktsatz auszuwählen und das Distanzberechnungs-Submodul auszulösen, bis alle Grundprojektionspunktsätze bestimmt worden sind, wobei der Durchschnitt durch Teilen einer Summe der Veränderungen der Distanzen zwischen Bodenprojektionspunkten in dem Bodenprojektionspunktsatz durch die Zahl von Merkmalspunktepaaren in dem entsprechenden Zielmerkmalspunktteilsatz gewonnen wird und das Merkmalspunktepaar aus zwei beliebigen Merkmalspunkten in dem Zielmerkmalspunktteilsatz zusammengesetzt ist.
Wahlweise beinhaltet das zweite Bestimmungs-Submodul: ein Weltkoordinatensystemeinrichtungs-Submodul, das konfiguriert ist zum Einrichten eines Weltkoordinatensystems O_XYZ mit einem optischen Mittelpunkt der monokularen Kamera als Ursprung, wobei eine OY-Achse lotrecht zum Boden zeigt und eine OZ-Achse parallel zum Boden und einem Zielträger der monokularen Kamera verläuft; ein Kamerakoordinatensystemeinrichtungs-Submodul, das konfiguriert ist zum Einrichten eines Kamerakoordinatensystems O_X'Y'Z' mit dem optischen Mittelpunkt der monokularen Kamera als Ursprung, wobei eine OZ'-Achse mit einer optischen Achse der monokularen Kamera zusammenfällt und eine OX'-Achse und eine OY'-Achse parallel zu einer ou-Achse bzw. einer ov-Achse einer Abbildungsebene verlaufen; das Kamerakoordinatensystem wird durch Drehen des Weltkoordinatensystems nacheinander um einen Winkel α um eine OX-Achse, um einen Winkel β um die OY-Achse und um einen Winkel γ um die OZ-Achse gewonnen, wobei α, β und γ auf Basis eines Algorithmus zur Kalibrierung extrinsischer Parameter bestimmt werden, nachdem die monokulare Kamera installiert worden ist; und ein viertes Bestimmungs-Submodul, das konfiguriert ist zum Bestimmen eines Bodenprojektionspunktsatzes, der Pixelpunkten in dem Zielmerkmalspunktteilsatz entspricht, auf Basis einer Transformationsbeziehung zwischen Koordinaten in dem Kamerakoordinatensystem und Koordinaten in dem Weltkoordinatensystem und einer Übereinstimmung zwischen Koordinaten in dem Kamerakoordinatensystem und Koordinaten in der Abbildungsebene, wobei der Bodenprojektionspunktsatz {(X, H, Z)} ist und H eine Höhe von der monokularen Kamera zum Boden ist, wobei die Transformationsbeziehung zwischen Koordinaten (X', Y', Z') in dem Kamerakoordinatensystem und Koordinaten (X, Y, Z) in dem Weltkoordinatensystem:
ist und wobei
und wobei die Übereinstimmung zwischen Koordinaten in dem Kamerakoordinatensystem und Koordinaten in der Abbildungsebene: (u, v) = F(X',Y',Z') ist, wobei F ein Projektionsmodell der monokularen Kamera ist, das von einem intrinsischen Parameter der monokularen Kamera bestimmt wird, und der intrinsische Parameter der monokularen Kamera durch einen Offline-Kalibrierationsalgorithmus gewonnen wird.
Die Erfindung hat im Vergleich zu der konventionellen Technologie die folgenden Vorteile.
In der Ausführungsform der Erfindung werden Merkmalspunkte in dem angrenzenden Einzelbild, die wahrscheinlich eine Nichtübereinstimmung verursachen werden, durch Pre-Tracking des transformierten Bilds des angrenzenden Einzelbilds gelöscht, um einen bevorzugten Merkmalspunktsatz zu gewinnen, und der bevorzugte Merkmalspunktsatz wird in dem Zieleinzelbild getrackt. Auf diese Weise werden Nichtübereinstimmungen vermieden und so die Genauigkeit für die Erkennung des Hindernispunktes verbessert. Außerdem wird in der Ausführungsform der Erfindung der Hindernispunkt durch Beurteilen von Veränderungen von Distanzen zwischen Bodenprojektionspunkten jedes Zielmerkmalspunktteilsatzes des Zieleinzelbilds erkannt und so das Antrainieren von mehreren Klassifikatoren vermieden und es ist daher einfacher, das Hindernis zu erkennen, und die Effizienz für die Hinderniserkennung wird verbessert. Außerdem kann in der Ausführungsform der Erfindung ein Hindernis eines beliebigen Typs erkannt werden, ohne Bewegungsparameterinformationen des Ego-Fahrzeugs zu nutzen, und die Erkennung ist nicht auf den Kameratyp beschränkt.
Ein Produkt der Erfindung ist möglicherweise eigentlich nicht notwendig, um alle oben beschriebenen Vorteile zu erzielen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Zur deutlicheren Veranschaulichung der technischen Lösungen der Ausführungsformen der Erfindung werden im Folgenden die Zeichnungen für die Beschreibung der Ausführungsformen einfach vorgestellt. Offensichtlich sind die folgenden beschriebenen Zeichnungen nur einige Ausführungsformen der Erfindung und der Fachmann kann auf Basis dieser Zeichnungen ohne erfinderische Tätigkeit weitere Zeichnungen erhalten.
1 ist ein Flussdiagramm eines Verfahrens zur Hinderniserkennung auf Basis einer monokularen Kamera gemäß einer Ausführungsform der Erfindung,
2a und 2b sind schematische Darstellungen eines Prozesses zur Erzeugung eines transformierten Bilds in dem Verfahren gemäß einer Ausführungsform der Erfindung,
3a, 3b, 3c und 3d sind schematische Darstellungen, die eine Wirkung der Erkennung stabiler Merkmalspunkte und des Löschens von Nichtübereinstimmungen auf Basis von Pre-Tracking gemäß einer Ausführungsform der Erfindung zeigen,
4 ist eine schematische Darstellung für die Durchführung von Teilblockteilung an einem Zieleinzelbild gemäß einer Ausführungsform der Erfindung,
5 ist eine schematische Montagedarstellung einer monokularen Kamera gemäß einer Ausführungsform der Erfindung,
6 ist eine schematische Darstellung der Bodenpunktdistanzanalyse zu verschiedenen Zeitpunkten gemäß einer Ausführungsform der Erfindung,
7 ist eine schematische Darstellung der Hindernispunktdistanzanalyse zu verschiedenen Zeitpunkten gemäß einer Ausführungsform der Erfindung,
8a und 8b sind schematische Darstellungen, die ein Ergebnis für die Erkennung eines Hindernismerkmalspunkts gemäß einer Ausführungsform der Erfindung zeigen, und
9 ist ein strukturelles Blockdiagramm einer Vorrichtung zur Hinderniserkennung auf Basis einer monokularen Kamera gemäß einer Ausführungsform der Erfindung.
AUSFÜHRLICHE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Im Folgenden werden die technischen Lösungen der Ausführungsformen der Erfindung in Verbindung mit den Zeichnungen der Ausführungsformen der Erfindung deutlich beschrieben. Die beschriebenen Ausführungsformen sind offensichtlich nur einige Ausführungsformen der Erfindung. Alle anderen von Fachpersonen auf Basis dieser Ausführungsformen ohne erfinderische Tätigkeit erhaltenen Ausführungsformen fallen in den Schutzumfang der Erfindung.
Die Erfindung kann auf viele Mehrzweck- oder dedizierte Rechenvorrichtungsumgebungen oder -konfigurationen angewendet werden, wie etwa einen Personalcomputer, einen Server-Computer, ein Handgerät, ein tragbares Gerät, ein Tablet, eine Mehrprozessorvorrichtung oder eine verteilte Rechenumgebung einschließlich einer/eines obigen Vorrichtung oder Geräts.
Die Erfindung kann im allgemeinen Zusammenhang einer durch einen Computer ausführbaren Anweisung, die von einem Computer ausgeführt wird, wie etwa ein Programmmodul, beschrieben werden. Allgemein beinhaltet das Programmmodul eine Routine, ein Programm, ein Objekt, eine Anordnung, eine Datenstruktur oder dergleichen zur Ausführung einer gewissen Aufgabe oder zum Erzielen eines gewissen abstrakten Datentyps. Die Erfindung kann auch in einer verteilten Rechenumgebung implementiert werden und die Aufgabe von einer fernen Verarbeitungsvorrichtung ausgeführt werden, die über ein Kommunikationsnetz in der verteilten Rechenumgebung angeschlossen ist. In der verteilten Rechenumgebung kann sich das Programmmodul in einem lokalen oder fernen Computerspeichermedium einschließlich einem Speicher befinden.
Es wird Bezug genommen auf 1, die ein Flussdiagramm eines Verfahrens zur Hinderniserkennung auf Basis einer monokularen Kamera gemäß einer Ausführungsform der Erfindung veranschaulicht. In der Ausführungsform kann das Verfahren Schritt 101 bis Schritt 106 beinhalten.
In Schritt 101 wird ein Zieleinzelbild und sein angrenzendes Einzelbild, von der monokularen Kamera aufgenommen, gewonnen.
In der Ausführungsform kann die zur Hinderniserkennung verwendete Kamera eine monokulare Kamera sein. Ein Zieleinzelbild I_t und sein angrenzendes Einzelbild I_t-1, von der monokularen Kamera aufgenommen, werden gewonnen, wobei t die Zeit repräsentiert.
In Schritt 102 wird ein instabiler Merkmalspunkt auf Basis eines Ergebnisses, das durch Tracken des Ausgangsmerkmalspunktsatzes des angrenzenden Einzelbilds in einem transformierten Bild des angrenzenden Einzelbilds gewonnen wird, aus einem Ausgangsmerkmalspunktsatz des angrenzenden Einzelbilds gelöscht, um einen bevorzugten Merkmalspunktsatz des angrenzenden Einzelbilds zu gewinnen.
In der Ausführungsform der Erfindung werden, nachdem die Merkmalspunkterkennung an dem angrenzenden Einzelbild I_t-1 durchgeführt worden ist, die instabilen Merkmalspunkte durch Pre-Tracking der Merkmalspunkte in dem transformierten Bild des angrenzenden Einzelbilds entfernt, wodurch bei einem nachfolgenden Tracking eine Merkmalspunkt-Nichtübereinstimmung vermieden wird. Das transformierte Bild wird auf Basis eines vorgegebenen Transformationsmodells berechnet.
In einer Ausführungsform kann Schritt 102 Schritt A1 bis Schritt A5 beinhalten.
In Schritt A1 werden Merkmalspunkte im angrenzenden Einzelbild von einem vorgegebenen Merkmalspunkterkennungsalgorithmus erkannt, um einen Ausgangsmerkmalspunktsatz des angrenzenden Einzelbilds zu gewinnen.
In der Ausführungsform können die Merkmalspunkte im angrenzenden Einzelbild I_t-1 von einem vorgegebenen Merkmalspunkterkennungsalgorithmus, wie etwa dem Eckenerkennungsalgorithmus nach Harris, erkannt werden, um einen Ausgangsmerkmalspunktsatz S_t-1 des angrenzenden Einzelbilds zu gewinnen. In einer weiteren Ausführungsform kann ein anderer Merkmalspunkterkennungsalgorithmus von Fachpersonen übernommen werden.
In Schritt A2 wird ein transformiertes Bild des angrenzenden Einzelbilds auf Basis eines vorgegebenen Transformationsmodells berechnet. Das angrenzende Einzelbild kann ein Einzelbild vor dem Zieleinzelbild sein.
In diesem Schritt wird ein transformiertes Bild I'_t-1 des angrenzenden Einzelbilds I_t-1 auf Basis des vorgegebenen Transformationsmodells berechnet. In der Praxis erfordert die Durchführung einer genauen Erkennung für einen Hindernispunkt das genaue Gewinnen eines Merkmalspunktsatzes des Zieleinzelbilds I_t am Zeitpunkt t, der einem Merkmalspunktsatz des angrenzenden Einzelbilds I_t-1 am Zeitpunkt t – 1 entspricht. In diesem Schritt wird das transformierte Bild I'_t-1 des angrenzenden Einzelbilds I_t–1 berechnet und das transformierte Bild muss dem Zieleinzelbild I_t so ähnlich wie möglich sein oder mit einer betreffenden Bewegungsrichtung in Beziehung stehen. Die Gleichung (1) gibt ein Verfahren zum Berechnen des transformierten Bilds I'_t-1 zur Bezugnahme an: I'_t-1(x, y) = I_t-1(x, y + Δy) (1) wobei Δy eine Pixelkoordinatenvariation darstellt, die eine Ganzzahl ist, z. B. Δy = 5 Praktischerweise können Fachpersonen nach Bedarf andere Werte für Δy auswählen, wie 4 oder 6. Wahlweise kann Δy nach Bedarf in einem Bereich (z. B. 4 bis 6) durchlaufen werden und mehrere imaginäre angrenzende Einzelbilder werden erzeugt, dann werden mehrere Pre-Tracking-Überprüfungen durchgeführt und ein genaueres transformiertes Bild gewonnen.
Es wird auf 2a und 2b Bezug genommen, die schematische Darstellungen sind, die einen Prozess zum Erzeugen des transformierten Bildes veranschaulichen. In 2a sind im angrenzenden Einzelbild vier Hindernisse, d. h. ein Hindernis 201, ein Hindernis 202, ein Hindernis 203 und ein Hindernis 204. Da die y-Koordinaten der Pixelpunkte um eine Verlagerung von Δy parallel verschoben werden, ist in 2b nur ein Teil des Hindernisses 203 und ein Teil des Hindernisses 204 zu sehen, während eine zusätzliche Δy-Region mit demselben Pixelhelligkeitswert gefüllt wird wie das in 2a gezeigte angrenzende Einzelbild.
In Schritt A3 wird der Ausgangsmerkmalspunktsatz in dem transformierten Bild durch einen vorgegebenen Merkmalspunkt-Tracking-Algorithmus getrackt, um einen Tracking-Merkmalspunktsatz zu gewinnen, der mit dem Ausgangsmerkmalspunktsatz übereinstimmt.
In diesem Schritt wird der Ausgangsmerkmalspunktsatz im angrenzenden Einzelbild Z_t-1 in dem transformierten Bild I'_t-1 getrackt. Zum Beispiel wird der Ausgangsmerkmalspunktsatz S_t-1 in dem transformierten Bild I'_t-1 durch ein Merkmalspunkt-Tracking-Verfahren nach Lucas und Kanade getrackt, um einen übereinstimmenden Tracking-Merkmalspunktsatz S'_t-1 zu gewinnen.
In der Ausführungsform kann eine theoretische Übereinstimmung zwischen Merkmalspunkten im Ausgangsmerkmalspunktsatz S_t-1 und Merkmalspunkten im Tracking-Merkmalspunktsatz S'_t-1 anhand der Transformationsmodellgleichung (1) gewonnen werden. So erfüllt die richtige Übereinstimmung zwischen einem Merkmalspunkt (x_t-1, y_t-1) in S_t-1 und einem Punkt (x'_t-1, y'_t-1), der mit dem Merkmalspunkt (x_t-1, y_t-1) in S'_t-1 übereinstimmt, die Gleichung (2):
In Schritt A3 wird beurteilt, ob eine Differenz zwischen jedem Ausgangsmerkmalspunkt im Ausgangsmerkmalspunktsatz und einem entsprechenden Tracking-Merkmalspunkt im Tracking-Merkmalspunktsatz größer als eine vorgegebene Differenzschwelle ist, und Schritt A4 wird durchgeführt, wenn die Differenz größer als die vorgegebene Differenzschwelle ist.
In diesem Schritt wird eine tatsächliche Differenz zwischen dem Ausgangsmerkmalspunkt in S_t-1 und dem Tracking-Merkmalspunkt in S'_t-1 berechnet und es wird beurteilt, ob die tatsächliche Differenz größer als die vorgegebene Differenzschwelle ist. Speziell kann für die Beurteilung auf Gleichung (3) Bezug genommen werden:
wobei T₁ und T₂ von den Fachpersonen nach Bedarf festgelegt werden können, z. B. T₁ = T₂ = 0,5. Praktischerweise ist die Implementierung der Erfindung nicht auf die Werte von T₁ und T₂ beschränkt.
In Schritt A4 wird der Ausgangsmerkmalspunkt, für den die Differenz größer als die vorgegebene Differenzschwelle ist, aus dem Ausgangsmerkmalspunktsatz gelöscht.
Im Fall, dass die Differenz für den Ausgangsmerkmalspunkt größer als die vorgegebene Differenzschwelle in Schritt A3 ist, zeigt das an, dass der Ausgangsmerkmalspunkt dem vorgegebenen Transformationsmodell (Gleichung (1)) nicht entspricht, und der Ausgangsmerkmalspunkt wird aus dem Ausgangsmerkmalspunktsatz S_t-1 gelöscht.
Im Fall, dass die Differenz für den Ausgangsmerkmalspunkt nicht größer als die vorgegebene Differenzschwelle in Schritt A3 ist, wird der Ausgangsmerkmalspunkt nicht gelöscht und Schritt A3 wird zur Beurteilung anderer Ausgangsmerkmalspunkte kontinuierlich durchgeführt, bis alle Merkmalspunkte im Ausgangsmerkmalspunktsatz S_t-1 beurteilt worden sind.
In Schritt A5 wird der Ausgangsmerkmalspunktsatz, in dem der Ausgangsmerkmalspunkt, für den die Differenz größer als die vorgegebene Differenzschwelle ist, gelöscht wird, als der bevorzugte Merkmalspunktsatz des angrenzenden Einzelbilds bestimmt.
Nach Schritt A1 bis Schritt A4 wird der bevorzugte Merkmalspunktsatz S_t-1 im angrenzenden Einzelbild I_t-1, der wahrscheinlich keine Nichtübereinstimmung verusachen wird, gewonnen. Anschließend wird dann der bevorzugte Merkmalspunktsatz S_t-1 im Zieleinzelbild I_t getrackt und ein gut übereinstimmender Merkmalspunktsatz kann gewonnen werden.
Es wird auf 3a, 3b, 3c und 3d Bezug genommen. 3a ist eine schematische Darstellung von mit Merkmalspunkten übereinstimmenden Vektoren, die von dem Bild I_t-1 und dem Bild I_t erzeugt wurden, die Pfeile zeigen auf eine Position eines übereinstimmenden Punkts im Zieleinzelbild I_t und die gestrichelten Pfeile zeigen auf einen nicht übereinstimmenden Merkmalspunkt. 3b ist eine schematische Darstellung von mit Merkmalspunkten übereinstimmenden Vektoren, die von dem angrenzenden Einzelbild I_t-1 und dem transformierten Bild I'_t-1 gewonnen wurden, und die Pfeile zeigen auf eine Position eines übereinstimmenden Punkts im Bild I'_t-1. 3c ist eine schematische Darstellung theoretischer Werte von mit Merkmalspunkten übereinstimmenden Vektoren zwischen dem angrenzenden Einzelbild I_t-1 und dem transformierten Bild I'_t-1, die anhand des vorgegebenen Transformationsmodells (Gleichung (1)) gewonnen wurden. 3d ist eine schematische Darstellung von mit Merkmalspunkten übereinstimmenden Vektoren zwischen dem Zieleinzelbild I_t und dem angrenzenden Einzelbild I_t-1, die nach dem Entfernen des Merkmalspunkts mit großem Fehler im transformierten Bild gewonnen wurden.
Wieder auf 1 Bezug nehmend, wird Schritt 103 durchgefürt. In Schritt 103 wird ein Zielmerkmalspunktsatz geteilt, um mehrere Zielmerkmalspunktteilsätze zu gewinnen, wobei der Zielmerkmalspunktsatz durch Tracken des bevorzugten Merkmalspunktsatzes des angrenzenden Einzelbilds im Zieleinzelbild gewonnen wird.
In diesem Schritt wird der Merkmalspunktsatz S_t-1 im Zieleinzelbild I_t durch einen vorgegebenen Tracking-Algorithmus, wie etwa einen Merkmalspunkt-Tracking-Algorithmus nach Lucas und Kanade getrackt, um einen übereinstimmenden Zielmerkmalspunktsatz S_t zu gewinnen. Da die dem Zeitpunkt t – 1 entsprechenden Merkmalspunkte mit Pre-Tracking behandelt werden und die Merkmalspunkte, die wahrscheinlich einen Tracking-Fehler verursachen werden, in Schritt 102 entfernt werden, werden nicht übereinstimmende Merkmalspunkte zwischen dem Satz S_t und dem Satz S_t-1 beträchtlich reduziert.
Bei der Implementierung gibt es viele Möglichkeiten zum Teilen des Zielmerkmalspunktsatzes und in der Erfindung wird als Beispiel eine einfache und schnelle Teilblock-Teilungsmethode beschrieben, die Schritt B1 bis Schritt B3 beinhalten kann.
In Schritt B1 wird der bevorzugte Merkmalspunktsatz im Zieleinzelbild von einem vorgegebenen Merkmalspunkt-Tracking-Algorithmus getrackt, um einen Zielmerkmalspunktsatz zu gewinnen.
In Schritt B2 wird an einer Ecke im Zieleinzelbild auf Basis einer vorgegebenen Teilblocklänge und einer vorgegebenen Teilblockbreite ein erster Zielmerkmalspunktteilsatz gewonnen.
Nach Gewinnen des Zielmerkmalspunktsatzes S_t wird der Zielmerkmalspunktsatz S_t geteilt. Zunächst wird das Zieleinzelbild I_t in mehrere Teilblöcke unterteilt. Die Teilblöcke können einander überlappen. Es wird auf 4 Bezug genommen, die eine schematische Darstellung zur Durchführung einer Teilblockteilung am Zieleinzelbild ist. In 4 ist die vorgegebene Teilblocklänge und die vorgegebene Teilblockbreite jedes Teilblocks ΔH bzw. ΔW und ein Querbewegungsschritt und ein Längsbewegungsschritt einer Teilblockmitte ist Δn bzw. Δm. Die Teilblocklänge, die Teilblockbreite, der Querbewegungsschritt und der Längsbewegungsschritt können von Fachpersonen nach Bedarf festgelegt werden, z. B. auf ΔH = ΔW = 15, Δn = Δm = 8. Die Implementierung der Erfindung ist nicht auf die Werte beschränkt.
In Schritt B3 wird der Teilblock, der dem ersten Zielmerkmalspunktteilsatz entspricht, um den Querbewegungsschritt und/oder den Längsbewegungsschritt bewegt und ein dem bewegten Teilblock entsprechender Pixelpunktsatz wird als ein Zielmerkmalspunktteilsatz bestimmt, bis alle Pixelpunkte im Zieleinzelbild durchlaufen worden sind. Der Querbewegungsschritt und der Längsbewegungsschritt sind kleiner als die Teilblocklänge bzw. die Teilblockbreite.
Zum Beispiel kann ein erster Teilblock mit der Teilblocklänge und der Teilblockbreite an der oberen linken Ecke des Zieleinzelbilds geteilt und ein Pixelpunktsatz, der von dem ersten Teilblock abgedeckt wird, als ein erster Zielmerkmalspunktteilsatz bestimmt werden; dann wird der Teilblock, der dem ersten Zielmerkmalspunktteilsatz entspricht, um den Querbewegungsschritt und den Längsbewegungsschritt bewegt und ein Pixelpunktsatz, der von dem bewegten Teilblock abgedeckt wird, wird als ein Zielmerkmalspunktteilsatz bestimmt, bis alle Pixelpunkte im Zieleinzelbild durchlaufen worden sind. In der anschließenden Erkennung für einen Hindernismerkmalspunkt wird jeder Zielmerkmalspunktteilsatz als eine Einheit genommen.
Um sicherzustellen, dass die Teilblöcke einander überlappen, sind der Querbewegungsschritt und der Längsbewegungsschritt kleiner als die Teilblocklänge bzw. die Teilblockbreite. In diesem Fall kann derselbe Merkmalspunkt im Zieleinzelbild in verschiedene Teilsätze gruppiert werden, so dass der Fall, dass die Hindernisse unvollständig erkannt werden, da Hindernismerkmalspunkte in einem Zielmerkmalspunktteilsatz viel geringer als Hintergrundmerkmalspunkte sind, vermieden werden kann.
Das oben beschriebene Teilblockteilungsverfahren dient zum Gruppieren der Merkmalspunkte in verschiedene Teilsätze, wodurch die Veränderung der Distanz zwischen Merkmalspunkten in jedem Merkmalspunktteilsatz berechnet wird. In einer anderen Ausführungsform können Fachpersonen die Teilung von Merkmalspunktteilsätzen auf andere Weisen durchführen, z. B. können mehrere Merkmalspunktteilsätze durch Gruppieren der Merkmalspunkte auf Basis von Position, Größe oder Richtung des optischen Flusses usw. des Merkmalspunkts in Cluster gewonnen werden.
In Schritt 104 wird für jeden Zielmerkmalspunktteilsatz auf Basis einer Veränderung einer Distanz zwischen Pixelpunkten innerhalb eines Bodenprojektionspunktsatzes des Zielmerkmalspunktteilsatzes von einem Zeitpunkt, an dem das angrenzende Einzelbild von der monokularen Kamera aufgenommen wird, bis zu einem Zeitpunkt, an dem das Zieleinzelbild von der monokularen Kamera aufgenommen wird, beurteilt, ob der Zielmerkmalspunktteilsatz einem Hindernis entspricht.
Für jeden Zielmerkmalspunktteilsatz wird auf Basis einer Veränderung einer Distanz zwischen Pixelpunkten innerhalb eines Bodenprojektionspunktsatzes des Zielmerkmalspunktteilsatzes von einem Zeitpunkt, an dem das benachbarte Einzelbild von der monokularen Kamera aufgenommen wird, bis zu einem Zeitpunkt, an dem das Zieleinzelbild von der monokularen Kamera aufgenommen wird, beurteilt, ob der Zielmerkmalspunktteilsatz einem Hindernis entspricht. In einer Implementierung kann dieser Schritt die Teilschritte C1 bis C5 beinhalten.
In Schritt C1 wird ein Gruppenprojektionspunktsatz, der Pixelpunkten im Zielmerkmalspunktteilsatz entspricht, bestimmt.
In einer Ausführungsform ist die monokulare Kamera an einem Zielträger (zum Beispiel einer Fahrzeugkarosserie oder einer anderen bewegten Plattform) installiert. Es wird auf 5 Bezug genommen, die ein schematisches Montagediagramm der monokularen Kamera ist. Ein Pixelkoordinatensystem einer Abbildungsebene der monokularen Kamera ist o_uv und der Teilschritt C1 kann Teilschritte D1 bis D3 beinhalten.
In Schritt D1 wird ein Weltkoordinatensystem O_XYZ mit einem optischen Mittelpunkt der monokularen Kamera als Ursprung eingerichtet. Eine OY-Achse zeigt lotrecht zum Boden und eine OZ-Achse verläuft parallel zum Boden und dem Zielträger der monokularen Kamera.
Das Weltkoordinatenystem O_XYZ wird mit einem optischen Mittelpunkt der in 5 gezeigten monokularen Kamera als Ursprung eingerichtet, wobei eine OY-Achse lotrecht zum Boden zeigt und eine OZ-Achse parallel zum Boden und zur Fahrzeugkarosserie, an der die monokulare Kamera installiert ist, verläuft.
In Schritt D2 wird ein Kamerakoordinatensystem O_X'Y'Z' mit dem optischen Mittelpunkt der monokularen Kamera als Ursprung eingerichtet. Eine OZ'-Achse fällt mit einer optischen Achse der monokularen Kamera zusammen und eine OX'-Achse und eine OY'-Achse verlaufen parallel zu einer ou-Achse bzw. einer ov-Achse der Abbildungsebene.
Das Kamerakoordinatensystem O_X'Y'Z' wird mit dem optischen Mittelpunkt der Kamera als Ursprung eingerichtet, wobei die OZ'-Achse mit der optischen Achse der monokularen Kamera zusammenfällt und die OX'-Achse und die OY'-Achse parallel zur ou-Achse bzw. der ov-Achse der Abbildungsebene verlaufen. Die Höhe vom optischen Mittelpunkt der monokularen Kamera zum Boden ist H. Die Höhe H kann im Voraus gemessen werden. Das Kamerakoordinatensystem wird durch Drehen des Weltkoordinatensystems nacheinander um einen Winkel α um eine OX-Achse, um einen Winkel β um die OY-Achse und um einen Winkel γ um die OZ-Achse gewonnen. Die Werte von α, β und γ werden festgelegt, nachdem die monokulare Kamera installiert worden ist, und können durch einen extrinsischen Parameterkalibrationsalgorithmus bestimmt werden.
In Schritt D3 wird ein Bodenprojektionspunktsatz, der Pixelpunkten im Zielmerkmalspunktteilsatz entspricht, auf Basis einer Transformationsbeziehung zwischen Koordinaten in dem Kamerakoordinatensystem und Koordinaten in dem Weltkoordinatensystem und einer Übereinstimmung zwischen Koordinaten in dem Kamerakoordinatensystem und Koordinaten in der Abbildungsebene bestimmt. Der Bodenprojektionspunktsatz ist {(X, H, Z)} und H ist die Höhe von der monokularen Kamera zum Boden.
Nach der Einrichtung des Weltkoordinatensystems und des Kamerakoordinatensystems kann, für jedweden Punkt P im Raum, eine Transformationsbeziehung zwischen Koordinaten (X' Y' Z') des Punktes P in dem Kamerakoordinatensystem und Koordinaten (X, Y, Z) des Punktes P im Weltkoordinatensystem wie Gleichung (4) sein:
wobei R auf Basis von Gleichung (5) berechnet wird:
wobei s_x ≡ sinx und c_x ≡ cosx.
Außerdem gibt es in der Abbildungsebene einen eindeutigen Punkt p(u, v), der einem Punkt P(X', Y', Z') in dem Kamerakoordinatensystem entspricht, der von der monokularen Kamera aufgenommen werden kann. Eine Übereinstimmung zwischen den Koordinaten (X', Y', Z') in den Kamerakoordinaten und den Koordinaten p(u, v) in der Abbildungsebene kann wie Gleichung (6) sein: (u, v) = F(X', Y', Z') (6) wobei F ein Projektionsmodell der monokularen Kamera ist, das auf Basis des Typs der monokularen Kamera (z. B. einer Ebenenkamera (plane cmera), einer Fischaugenkamera) und eines intrinsischen Parameters der Kamera bestimmt werden kann, und der intrinsische Parameter der Kamera durch einen Online-Kalibrationsalgorithmus gewonnen werden kann.
Für eine Ebenenkamera (plane camera) kann die Gleichung (6) in die folgende Gleichung (7) umgesetzt werden (7):
wobei f_x = f / dx, f_y = f / dy, u₀ und v₀ intrinsische Parameter der monokularen Kamera sind, f eine Brennweite der monokularen Kamera ist, dx und dy physikalische Größen der Pixelbreite bzw. der Pixelhöhe sind und (u₀, v₀) Pixelkoordinaten eines Schnittpunkts der optischen Achse und der Abbildungsebene sind. Aus der geometrischen Beziehung ist bekannt, dass zahllose Punkte auf einer in 5 gezeigten Linie OP den gleichen Abbildungspunkt p(u, v) haben und die Funktion F in diesem Fall nicht umkehrbar ist. Für alle Punkte auf dem Boden ist die Funktion F aber umkehrbar. Grund dafür ist, dass der Bodenpunkt im Weltkoordinatensystem eine eindeutige Y-Koordinate (Y = H) hat und es daher eine direkte Übereinstimmung zwischen den Bodenpunkten und den Bildpunkten gibt. Koordinaten (X, H, Z) eines Bodenprojektionspunkts eines Merkmalspunkts unterhalb einer Fluchtlinie im Zieleinzelbild des Weltkoordinatensystems können auf Basis von Gleichung (4) und Gleichung (6) berechnet werden.
Ein Merkmalspunkt über der Fluchtlinie im Bild kann als Hindernismerkmalspunkt bestimmt werden, da er über dem Boden liegt. Daher wird die Hindernismerkmalspunkterkennung in der Erfindung nur an den Merkmalspunkten unterhalb der Fluchtlinie durchgeführt.
In Schritt C2 wird für jeden der Bodenprojektionspunktsätze ein Durchschnitt von Veränderungen von Distanzen zwischen Bodenprojektionspunkten im Bodenprojektionspunktsatz von dem Zeitpunkt, an dem das angrenzende Einzelbild von der monokularen Kamera aufgenommen wird, bis zu dem Zeitpunkt, an dem das Zieleinzelbild von der monokularen Kamera aufgenommen wird, berechnet.
Auf Basis von Veränderungen von Distanzen zwischen Zielmerkmalspunkten im Zielmerkmalspunktteilsatz von einem Zeitpunkt t – 1 bis zu einem Zeitpunkt t wird beurteilt, ob ein Zielmerkmalspunktteilsatz ein Hindernismerkmalspunktteilsatz ist. Wenn Merkmalspunkte in demselben Zielmerkmalspunktteilsatz Bodenmerkmalspunkte sind, sind die Bodenprojektionspunktkoordinaten der Merkmalspunkte echte Koordinaten der Merkmalspunkte im dreidimensionalen Raum und die Distanz zwischen den Bodenprojektionspunkten bleibt zu verschiedenen Zeitpunkten im Weltkoordinatensystem gleich. Wenn ein Zielmerkmalspunktteilsatz einen Hindernismerkmalspunkt beinhaltet, verändert sich die Distanz zwischen den Bodenprojektionspunkten im Weltkoordinatensystem zu verschiedenen Zeitpunkten und der Hindernismerkmalspunkt kann auf Basis der Veränderung der Distanz erkannt werden.
Daher wird in diesem Schritt die Veränderung der Distanz zwischen Bodenprojektionspunkten vom Zeitpunkt t – 1 bis zum Zeitpunkt t berechnet. Ein Merkmalspunktsatz am Zeitpunkt t – 1, der dem k-ten Merkmalspunktteilsatz S t / k = {(u t / k,i, v t / k,i)| i ∊ (1, 2...n_k)} im Zieleinzelbild I_t übereinstimmend zugeordnet ist, ist S t-1 / k = {(u t-1 / k,i, v t-1 / k,i)| i ∊ (1, 2...n_k)} wobei n_k die Anzahl von Punkten darstellt. Bodenprojektionspunkte A^t(X t / k,i, H, Z t / k,i), B^t(X t / k,j, H, Z t / k,j), A^t-1(X t-1 / k,i, H, Z t-1 / k,i) und B^t-1(X t-1 / k,j, H, Z t-1 / k,j) von zwei a( ut / k,i, v t / k,i) und b(u t / k,j, v t / k,j) beliebigen Merkmalspunkten a(u t / k,i, v t / k,i) und b(u t / k,j, v t / k,j) im Zielmerkmalspunktteilsatz zum Zeitpunkt t und zum Zeitpunkt t – 1 können auf Basis der Gleichung (4) und der Gleichung (6) berechnet werden.
Es wird auf 6 Bezug genommen, die eine schematische Darstellung der Bodenpunktdistanzanalyse zu verschiedenen Zeitpunkten ist. Wenn Merkmalspunkte a(u t / k,i, v t / k,i) und b(u t / k,j, v t / k,j) Bodenmerkmalspunkte sind, sind die Distanz D t / i,j zwischen den Bodenmerkmalspunkten zum Zeitpunkt t und die Distanz D t-1 / i,j zwischen den Bodenmerkmalspunkten zum Zeitpunkt t – 1 gleich, d. h. die folgende Gleichung wird erfüllt:
Es wird auf 7 Bezug genommen, die eine schematische Darstellung der Hindernispunktdistanzanalyse zu verschiedenen Zeitpunkten ist. Wenn wenigstens einer der Merkmalspunkte a(u t / k,i, v t / k,i) und b(u t / k,j, v t / k,j) ein Hindernispunkt ist, ist die Distanz D t / i,j (d. h. die Länge des Liniensegments A^tB^t) zwischen den zwei Merkmalspunkten zum Zeitpunkt t nicht gleich der Distanz D t-1 / i,j (d. h. der Länge des Liniensegments A^t-1B^t-1) zwischen den zwei Merkmalspunkten zum Zeitpunkt t – 1.
In Schritt C3 wird beurteilt, ob der Durchschnitt der Veränderungen der Distanzen größer als eine vorgegebene Distanzveränderungsschwelle ist. Schritt C4 wird durchgeführt, wenn der Durchschnitt größer als die vorgegebene Distanzveränderungsschwelle ist, und Schritt C5 wird durchgeführt, wenn der Durchschnitt nicht größer als die vorgegebene Distanzveränderungsschwelle ist.
In diesem Schritt wird ein Durchschnitt λ_k von Veränderungen von Distanzen zwischen Bodenprojektionspunkten von Zielmerkmalspunkten in einem Zielmerkmalspunktteilsatz S t / k von dem Zeitpunkt t – 1 bis zum Zeitpunkt t berechnet. Die Berechnungsweise kann sich auf die folgende Gleichung (9) beziehen:
wobei
Die Distanzveränderungsschwelle T3 kann von Fachpersonen nach Bedarf festgelegt werden, z. B. auf T₃ = 0,1. Im Fall, das der Durchschnitt der Veränderungen der Distanzen zwischen Merkmalspunkten im Zielmerkmalspunktteilsatz größer als die Distanzveränderungsschwelle ist, d. h. λ_k > T₃, kann bestimmt werden, dass der Zielmerkmalspunktteilsatz Hindernismerkmalspunkte ist. Der Durchschnitt λ_k wird durch Teilen der Summe der Veränderungen der Distanzen durch die Zahl der Merkmalspunktepaare im Zielmerkmalspunktteilsatz gewonnen. Das Merkmalspunktepaar ist aus zwei beliebigen verschiedenen Merkmalspunkten im Zielmerkmalspunktteilsatz zusammengesetzt. Die Zahl der Merkmalspunktepaare
im Zielmerkmalspunktteilsatz kann gewonnen werden, nachdem alle Merkmalspunkte im Zielmerkmalspunktteilsatz durchlaufen worden sind. Die Implementierung der Erfindung ist nicht auf den Wert von T3 beschränkt.
In Schritt C4 werden dem Bodenprojektionspunktsatz entsprechende Merkmalspunkte im Zielmerkmalspunktteilsatz als Hindernispunkte bestimmt.
Der Zielmerkmalspunktteilsatz, der dem Bodenprojektionspunktsatz entspricht, für den der Durchschnitt der Distanzen größer als die vorgegebene Distanzveränderungsschwelle ist, wird als Hindernispunkte bestimmt.
In Schritt C5 wird ein Durchschnitt der Veränderungen von Distanzen zwischen Bodenprojektionspunkten in einem nächsten Bodenprojektionspunktsatz berechnet und Schritt C3 wird wiederholt, bis alle Bodenprojektionspunktsätze beurteilt worden sind.
Durchschnitte der Veränderungen von Distanzen zwischen Bodenprojektionspunkten in anderen Bodenprojektionspunktsätzen werden berechnet und es wird beurteilt, ob die Durchschnitte größer als die vorgegebene Distanzveränderungsschwelle sind, bis alle Bodenprojektionspunktsätze beurteilt worden sind. Danach werden alle Hindernispunktsätze bestimmt.
In Schritt 105 wird eine Vereinigung aller Zielmerkmalspunktteilsätze, die als Hindernissen entsprechend beurteilt werden, als Hindernispunktsatz des Zieleinzelbilds bestimmt.
Eine Vereinigung aller Zielmerkmalspunktteilsätze, die als Hindernisse erkannt werden, wird auf Basis der Gleichung (9) als Hindernispunktsatz bestimmt. Das Erkennungsergebnis für den Hindernismerkmalspunkt kann sich auf 8 beziehen. 8a ist ein unbearbeitetes Bild und 8b ist eine schematische Darstellung eines Erkennungsergebnisses für den Hinternismerkmalspunkt, wobei die schwarzen Teile die erkannten Hindernismerkmalspunkte darstellen.
Das Verfahren kann des Weiteren nach Schritt 105 den Schritt 106 beinhalten, wobei wieder auf 1 Bezug genommen wird.
In Schritt 106 wird der Hindernispunktsatz des Zieleinzelbilds ausgegeben.
Der Hindernispunktsatz des Zieleinzelbilds wird nach Erkennung des Hindernispunktsatzes an einen Benutzer ausgegeben.
In der Ausführungsform der Erfindung werden Merkmalspunkte im angrenzenden Einzelbild, die wahrscheinlich eine Nichtübereinstimmung verursachen werden, durch Pre-Tracking des transformierten Bilds des angrenzenden Einzelbilds gelöscht, um einen bevorzugten Merkmalspunktsatz zu gewinnen, und der bevorzugte Merkmalspunktsatz wird im Zieleinzelbild getrackt. Auf diese Weise werden Nichtübereinstimmungen vermieden und so die Genauigkeit für die Erkennung des Hindernispunktes verbessert. Außerdem wird in der Ausführungsform der Erfindung der Hindernispunkt durch Beurteilen von Veränderungen von Distanzen zwischen Bodenprojektionspunkten jedes Zielmerkmalspunktteilsatzes des Zieleinzelbilds erkannt und so das Antrainieren von mehreren Klassifikatoren vermieden und es ist daher einfacher, das Hindernis zu erkennen, und die Effizienz für die Hinderniserkennung wird verbessert. Außerdem kann in der Ausführungsform der Erfindung ein Hindernis eines beliebigen Typs erkannt werden, ohne Bewegungsparameterinformationen des Ego-Fahrzeugs zu nutzen, und die Erkennung ist nicht auf den Kameratyp beschränkt.
Die oben beschriebenen Ausführungsformen des Verfahrens werden der Einfachheit halber als eine Kombination einer Reihe von Vorgängen beschrieben. Fachpersonen sollten aber wissen, dass die Erfindung nicht auf die beschriebene Reihenfolge der Vorgänge beschränkt ist und einige Schritte in einer anderen Reihenfolge oder gleichzeitig durchgeführt werden können. Außerdem sollten Fachpersonen wissen, dass die beschriebenen Ausführungsformen bevorzugte Ausführungsformen sind und die verwandten Vorgänge und Module für die Erfindung nicht notwendig sind.
Ferner ist, Bezug nehmend auf 9, eine Vorrichtung zur Hinderniserkennung auf Basis einer monokularen Kamera gemäß einer Ausführungsform der Erfindung vorgesehen. Die Vorrichtung entspricht dem oben beschriebenen Verfahren zum Entdecken eines Hindernisses auf Basis einer monokularen Kamera. In der Ausführungsform kann die Vorrichtung ein Gewinnungsmodul 901, ein Pre-Tracking-Modul 902, ein Teilsatzgewinnungsmodul 903, ein Beurteilungsmodul 904, ein Bestimmungsmodul 905 und ein Ausgabemodul 906 beinhalten.
Das Gewinnungsmodul 901 ist konfiguriert zum Gewinnen eines Zieleinzelbilds und seines angrenzenden Einzelbilds, aufgenommen von der monokularen Kamera.
Das Pre-Tracking-Modul 902 ist konfiguriert zum Löschen, auf Basis eines Ergebnisses, das durch Tracken eines Ausgangsmerkmalspunktsatzes des angrenzenden Einzelbilds in einem transformierten Bild des angrenzenden Einzelbilds gewonnen wird, eines instabilen Merkmalspunkts aus dem Ausgangsmerkmalspunktsatz des angrenzenden Einzelbilds, um einen bevorzugten Merkmalspunktsatz des angrenzenden Einzelbilds zu gewinnen, wobei das transformierte Bild des angrenzenden Einzelbilds auf Basis eines vorgegebenen Transformationsmodells berechnet wird.
Das Pre-Tracking-Modul 902 kann ein Merkmalspunkterkennungs-Submodul, ein Berechnungs-Submodul, ein Tracking-Submodul, ein erstes Beurteilungs-Submodul, ein Lösch-Submodul und ein Bestimmungs-Submodul beinhalten.
Das Merkmalspunkterkennungs-Submodul ist konfiguriert zum Erkennen eines Merkmalspunkts in dem angrenzenden Einzelbild durch einen vorgegebenen Merkmalspunkterkennungsalgorithmus, um einen Ausgangsmerkmalspunktsatz des angrenzenden Einzelbilds zu gewinnen. Das Berechnungs-Submodul ist konfiguriert zum Berechnen des transformierten Bilds des angrenzenden Einzelbilds auf Basis eines vorgegebenen Transformationsmodells. Das Tracking-Submodul ist konfiguriert zum Tracken des Ausgangsmerkmalspunktsatzes in dem transformierten Bild durch einen vorgegebenen Merkmalspunkt-Tracking-Algorithmus, um einen mit dem Ausgangsmerkmalspunktsatz übereinstimmenden Tracking-Merkmalspunktsatz zu gewinnen. Das erste Beurteilungs-Submodul ist konfiguriert zum Beurteilen, ob eine Differenz zwischen jedem Ausgangsmerkmalspunkt in dem Ausgangsmerkmalspunktsatz und einem entsprechenden Tracking-Merkmalspunkt in dem Tracking-Merkmalspunktsatz größer als eine vorgegebene Differenzschwelle ist. Das Lösch-Submodul ist konfiguriert zum Löschen des Ausgangsmerkmalspunktes, für den die Differenz größer als die vorgegebene Differenzschwelle ist, aus dem Ausgangsmerkmalspunktsatz. Das erste Bestimmungs-Submodul ist konfiguriert zum Bestimmen des Ausgangsmerkmalspunktsatzes, in dem der Ausgangsmerkmalspunkt, für den die Differenz größer als die vorgegebene Differenzschwelle ist, gelöscht wird, als den bevorzugten Merkmalspunktsatz des angrenzenden Einzelbilds.
Das Teilsatzgewinnungsmodul 903 ist konfiguriert zum Teilen eines Zielmerkmalspunktsatzes durch eine vorgegebene Teilblocklänge und eine vorgegebene Teilblockbreite, um mehrere Zielmerkmalspunktteilsätze zu gewinnen, wobei der Zielmerkmalspunktsatz durch Tracken des bevorzugten Merkmalspunktsatzes des angrenzenden Einzelbilds im Zieleinzelbild gewonnen wird.
Das Teilblockgewinnungsmodul 903 kann ein Merkmalspunkt-Tracking-Submodul, ein erstes Teilungs-Submodul, ein Bewegungs-Submodul und ein zweites Teilungs-Submodul beinhalten.
Das Merkmalspunkt-Tracking-Submodul ist konfiguriert zum Tracken des bevorzugten Merkmalspunktsatzes im Zieleinzelbild durch einen vorgegebenen Merkmalspunkt-Tracking-Algorithmus, um den Zielmerkmalspunktsatz zu gewinnen. Das erste Teilungs-Submodul ist konfiguriert zum Gewinnen eines ersten Zielmerkmalspunktteilsatzes an einer beliebigen Ecke in dem Zieleinzelbild auf Basis einer vorgegebenen Teilblocklänge und einer vorgegebenen Teilblockbreite. Das Bewegungs-Submodul ist konfiguriert zum Bewegen eines dem ersten Zielmerkmalspunktteilsatz entsprechenden Teilblocks um einen Querbewegungsschritt und/oder einen Längsbewegungsschritt. Das zweite Teilungs-Submodul ist konfiguriert zum Bestimmen eines dem bewegten Teilblock entsprechenden Pixelpunktsatzes als einen Zielmerkmalspunktteilsatz, bis alle Pixelpunkte im Zieleinzelbild durchlaufen wurden, wobei der Querbewegungsschritt kleiner oder gleich der vorgegebenen Teilblocklänge ist und der Längsbewegungsschritt kleiner oder gleich der vorgegebenen Teilblockbreite ist.
Das Beurteilungsmodul 904 ist konfiguriert zum Beurteilen, für jeden der Zielmerkmalspunktteilsätze, auf Basis einer Veränderung einer Distanz zwischen Punkten in einem Bodenprojektionspunktsatz des Zielmerkmalspunktteilsatzes von einem Zeitpunkt, an dem das angrenzende Einzelbild von der monokularen Kamera aufgenommen wird, bis zu einem Zeitpunkt, an dem das Zieleinzelbild von der monokularen Kamera aufgenommen wird, ob der Zielmerkmalspunktteilsatz einem Hindernis entspricht.
Das Beurteilungsmodul 904 kann ein zweites Bestimmungs-Submodul, ein Distanzberechnungs-Submodul, ein zweites Beurteilungs-Submodul, ein drittes Bestimmungs-Submodul und ein Auslösungs-Submodul beinhalten.
Das zweite Bestimmungs-Submodul ist konfiguriert zum Bestimmen eines Bodenprojektionspunktsatzes, der Pixelpunkten in jedem der Zielmerkmalspunktteilsätze entspricht. Das Distanzberechnungs-Submodul ist, für jeden der Bodenprojektionspunktteilsätze, konfiguriert zum Berechnen eines Durchschnitts von Veränderungen von Distanzen zwischen Bodenprojektionspunkten in dem Bodenprojektionspunktsatz von dem Zeitpunkt, an dem das angrenzende Einzelbild von der monokularen Kamera aufgenommen wird, bis zu dem Zeitpunkt, an dem das Zieleinzelbild von der monokularen Kamera aufgenommen wird. Das zweite Beurteilungs-Submodul ist konfiguriert zum Beurteilen, ob der Durchschnitt größer als eine vorgegebene Distanzveränderungsschwelle ist. Das dritte Bestimmungs-Submodul ist konfiguriert zum Bestimmen von Merkmalspunkten in dem Zielmerkmalspunktteilsatz, der dem Bodenprojektionspunktsatz entspricht, als Hindernispunkte, wenn das zweite Beurteilungs-Submodul bestimmt, dass der Durchschnitt von Veränderungen von Distanzen zwischen Bodenprojektionspunkten in dem Bodenprojektionspunktsatz größer als die vorgegebene Distanzveränderungsschwelle ist. Das Auslösungs-Submodul ist konfiguriert, um einen nächsten Bodenprojektionspunktsatz auszuwählen und das Distanzberechnungs-Submodul auszulösen, bis alle Grundprojektionspunktsätze bestimmt worden sind.
Das zweite Bestimmungs-Submodul kann ein Weltkoordinatensystemeinrichtungs-Submodul, ein Kamerakoordinatensystemeinrichtungs-Submodul und ein viertes Bestimmungs-Submodul beinhalten.
Das Weltkoordinatensystemeinrichtungs-Submodul ist konfiguriert zum Einrichten eines Weltkoordinatensystems O_XYZ mit dem optischen Mittelpunkt der monokularen Kamera als Ursprung des Weltkoordinatensystems, wobei eine OY-Achse lotrecht zum Boden weist und eine OZ-Achse parallel zum Boden und einem Zielträger der monokularen Kamera verläuft.
Das Kamerakoordinatensystemeinrichtungs-Submodul ist konfiguriert zum Einrichten eines Kamerakoordinatensystems O_X'Y'Z' mit dem optischen Mittelpunkt der monokularen Kamera als Ursprung, wobei eine OZ'-Achse mit einer optischen Achse der monokularen Kamera zusammenfällt und eine OX'-Achse und eine OY'-Achse parallel zu einer ou-Achse bzw. einer ov-Achse der Abbildungsebene verlaufen; das Kamerakoordinatensystem wird durch Drehen des Weltkoordinatensystems nacheinander um einen Winkel α um eine OX-Achse, um einen Winkel β um die OY-Achse und um einen Winkel γ um die OZ-Achse gewonnen, wobei α, β und γ auf Basis eines Algorithmus zur Kalibrierung extrinsischer Parameter bestimmt werden, nachdem die monokulare Kamera installiert worden ist. Das vierte Bestimmungs-Submodul ist konfiguriert zum Bestimmen eines Bodenprojektionspunktsatzes, der Pixelpunkten in dem Zielmerkmalspunktteilsatz entspricht, auf Basis einer Transformationsbeziehung zwischen Koordinaten in dem Kamerakoordinatensystem und Koordinaten in dem Weltkoordinatensystem und einer Übereinstimmung zwischen Koordinaten in dem Kamerakoordinatensystem und Koordinaten in der Abbildungsebene, wobei der Bodenprojektionspunktsatz {(X, H, Z)} ist und H eine Höhe von der monokularen Kamera zum Boden ist. Die Transformationsbeziehung zwischen Koordinaten (X', Y', Z') in dem Kamerakoordinatensystem und Koordinaten (X, Y, Z) in dem Weltkoordinatensystem ist:
und wobei
und s_x ≡ sinx und c_x ≡ cosx. Die Übereinstimmung zwischen Koordinaten in dem Kamerakoordinatensystem und Koordinaten in der Abbildungsebene ist: (u, v) = F(X', Y', Z'), wobei F ein Projektionsmodell der monokularen Kamera ist, das von einem intrinsischen Parameter der monokularen Kamera bestimmt wird, und der intrinsische Parameter der monokularen Kamera durch einen Offline-Kalibrationsalgorithmus gewonnen wird.
Das Bestimmungsmodul 905 ist konfiguriert zum Bestimmen einer Vereinigung aller Zielmerkmalspunktteilsätze, die als Hindernissen entsprechend beurteilt werden, als einen Hindernispunktsatz des Zieleinzelbilds.
Wahlweise kann die Vorrichtung ferner ein Ausgabemodul 906 aufweisen.
Das Ausgabemodul 906 ist konfiguriert zum Ausgeben des Hindernispunktsatzes des Zieleinzelbilds.
In der Ausführungsform der Vorrichtung werden Merkmalspunkte in dem angrenzenden Einzelbild, die wahrscheinlich eine Nichtübereinstimmung verursachen werden, durch Pre-Tracking des transformierten Bilds des angrenzenden Einzelbilds gelöscht, um einen bevorzugten Merkmalspunktsatz zu gewinnen, und der bevorzugte Merkmalspunktsatz wird im Zieleinzelbild getrackt. Auf diese Weise werden Nichtübereinstimmungen vermieden und so die Genauigkeit für die Erkennung des Hindernispunktes verbessert. Außerdem wird in der Ausführungsform der Erfindung der Hindernispunkt durch Beurteilen von Veränderungen von Distanzen zwischen Bodenprojektionspunkten jedes Zielmerkmalspunktteilsatzes des Zieleinzelbilds erkannt und so das Antrainieren von mehreren Klassifikatoren vermieden und es ist daher einfacher, das Hindernis zu erkennen, und die Effizienz für die Hinderniserkennung wird verbessert. Außerdem kann in der Ausführungsform der Erfindung ein Hindernis eines beliebigen Typs erkannt werden, ohne Bewegungsparameterinformationen des Ego-Fahrzeugs zu nutzen, und die Erkennung ist nicht auf den Kameratyp beschränkt.
Es ist zu beachten, dass die verschiedenen Ausführungsformen in der Patentbeschreibung progressiv beschrieben werden. Jede Ausführungsart hebt den Unterschied gegenüber anderen Ausführungsformen hervor und für dieselben oder gleiche Teile unter verschiedenen Ausführungsformen kann auf die Beschreibung anderer Ausführungsformen Bezug genommen werden. Da die Ausführungsform der Vorrichtung der Ausführungsform des Verfahrens im Wesentlichen ähnelt, ist die Beschreibung der Ausführungsform der Vorrichtung einfach und für die jeweiligen Teile kann auf die Beschreibung der entsprechenden Teile der Ausführungsform des Verfahrens Bezug genommen werden.
Es ist zu beachten, dass die Beziehungsbegriffe wie „erste”, „zweite” und dergleichen hierin nur zur Unterscheidung einer Einheit oder eines Vorgangs von einem anderen verwendet werden, anstatt zu bedingen oder anzudeuten, dass die tatsächliche Beziehung oder Ordnung zwischen den Einheiten oder Vorgängen besteht. Außerdem ist vorgesehen, dass Begriffe wie „beinhalten”, „aufweisen” oder jedwede andere Variatnen davon nicht ausschließlich sind. Daher beinhaltet ein Prozess, ein Verfahren, ein Artikel oder eine Vorrichtung mit mehreren Elementen nicht nur die Elemente, sondern auch andere Elemente, die nicht einzeln genannt werden, oder dem Prozess, dem Verfahren, dem Artikel oder der Vorrichtung eigene Elemente. Sofern nicht ausdrücklich anderweitig begrenzt, schließt die Aussage „umfasst (beinhaltet) ein/e/n...” den Fall, dass in dem Prozess, dem Verfahren, dem Artikel oder der Vorrichtung andere gleiche Elemente bestehen, nicht aus.
Das Verfahren und die Vorrichtung zur Hinderniserkennung auf Basis einer monokularen Kamera, die erfindungsgemäß vorgesehen sind, werden oben ausführlich beschrieben. Das Prinzip und die Ausführungsformen der Erfindung werden hierin durch spezifische Beispiele verdeutlicht und die Beschreibung für die Ausführungsformen dient nur zum besseren Verständnis des Verfahrens und seines Kernkonzepts der Erfindung. Außerdem können Fachpersonen an den Ausführungsformen und Anwendungen auf Basis des Konzepts der Erfindung Modifikationen vornehmen. Zusammenfassend darf der Inhalt der Patentbeschreibung nicht als die Erfindung beschränkend verstanden werden.

Claims

Verfahren zur Hinderniserkennung auf Basis einer monokularen Kamera, umfassend: Gewinnen eines Zieleinzelbilds und seines angrenzenden Einzelbilds, von der monokularen Kamera aufgenommen; Löschen, auf Basis eines Ergebnisses, das durch Tracken eines Ausgangsmerkmalpunktsatzes des angrenzenden Einzelbilds in einem transformierten Bild des angrenzenden Einzelbilds gewonnen wird, eines instabilen Merkmalpunkts aus dem Ausgangsmerkmalpunktsatz des angrenzenden Einzelbilds, um einen bevorzugten Merkmalpunktsatz des angrenzenden Einzelbilds zu gewinnen, wobei das transformierte Bild des angrenzenden Einzelbilds auf Basis eines vorgegebenen Transformationsmodells berechnet wird; Teilen eines Zielmerkmalpunktsatzes, um mehrere Zielmerkmalpunktteilsätze zu gewinnen, wobei der Zielmerkmalpunktsatz durch Tracken des bevorzugten Merkmalpunktsatzes des angrenzenden Einzelbilds im Zieleinzelbild gewonnen wird; Beurteilen, für jeden der Zielmerkmalpunktteilsätze, auf Basis einer Veränderung einer Distanz zwischen Punkten in einem Bodenprojektionspunktsatz des Zielmerkmalpunktteilsatzes von einem Zeitpunkt, an dem das angrenzende Einzelbild von der monokularen Kamera aufgenommen wird, bis zu einem Zeitpunkt, an dem das Zieleinzelbild von der monokularen Kamera aufgenommen wird, ob der Zielmerkmalpunktteilsatz einem Hindernis entspricht; und Bestimmen einer Vereinigung aller Zielmerkmalpunktteilsätze, die als Hindernissen entsprechend beurteilt werden, als einen Hindernispunktsatz des Zieleinzelbilds.
Verfahren nach Anspruch 1, wobei das Löschen, auf Basis eines Ergebnisses, das durch Tracken eines Ausgangsmerkmalpunktsatzes des angrenzenden Einzelbilds in einem transformierten Bild des angrenzenden Einzelbilds gewonnen wird, eines instabilen Merkmalpunkts aus dem Ausgangsmerkmalpunktsatz des angrenzenden Einzelbilds, um einen bevorzugten Merkmalpunktsatz des angrenzenden Einzelbilds zu gewinnen, Folgendes aufweist: Erkennen eines Merkmalpunkts in dem angrenzenden Einzelbild durch einen vorgegebenen Merkmalpunkterkennungsalgorithmus, um den Ausgangsmerkmalpunktsatz des angrenzenden Einzelbilds zu gewinnen; Berechnen des transformierten Bilds des angrenzenden Einzelbilds auf Basis des vorgegebenen Transformationsmodells; Tracken des Ausgangsmerkmalpunktsatzes in dem transformierten Bild durch einen vorgegebenen Merkmalpunkt-Tracking-Algorithmus, um einen mit dem Ausgangsmerkmalpunktsatz übereinstimmenden Tracking-Merkmalpunktsatz zu gewinnen; Beurteilen, ob eine Differenz zwischen jedem Ausgangsmerkmalpunkt in dem Ausgangsmerkmalpunktsatz und einem entsprechenden Tracking-Merkmalpunkt in dem Tracking-Merkmalpunktsatz größer als eine vorgegebene Differenzschwelle ist, und Löschen des Ausgangsmerkmalpunktes, für den die Differenz größer als die vorgegebene Differenzschwelle ist, aus dem Ausgangsmerkmalpunktsatz und Bestimmen des Ausgangsmerkmalpunktsatzes, in dem der Ausgangsmerkmalpunkt, für den die Differenz größer als die vorgegebene Differenzschwelle ist, gelöscht wird, als den bevorzugten Merkmalpunktsatz des angrenzenden Einzelbilds.
Verfahren nach Anspruch 1, wobei das Teilen eines Zielmerkmalpunktsatzes Folgendes aufweist: Teilen des Zielmerkmalpunktsatzes auf Basis eines vorgegebenen Querbewegungsschrittes und eines vorgegebenen Längsbewegungsschrittes, um mehrere Zielmerkmalpunktteilsätze zu gewinnen, das Folgendes aufweist: Tracken des bevorzugten Merkmalpunktsatzes in dem Zieleinzelbild durch einen vorgegebenen Merkmalpunkt-Tracking-Algorithmus, um den Zielmerkmalpunktsatz zu gewinnen; Gewinnen eines ersten Zielmerkmalpunktteilsatzes an einer beliebigen Ecke in dem Zieleinzelbild auf Basis einer vorgegebenen Teilblocklänge und einer vorgegebenen Teilblockbreite; und Bewegen eines dem ersten Zielmerkmalpunktteilsatz entsprechenden Teilblocks um den vorgegebenen Querbewegungsschritt und/oder den vorgegebenen Längsbewegungsschritt und Bestimmen eines dem bewegten Teilblock entsprechenden Pixelpunktsatzes als einen Zielmerkmalpunktteilsatz, bis alle Pixelpunkte im Zieleinzelbild durchlaufen wurden, wobei der vorgegebene Querbewegungsschritt kleiner oder gleich der vorgegebenen Teilblocklänge ist und der vorgegebene Längsbewegungsschritt kleiner oder gleich der vorgegebenen Teilblockbreite ist.
Verfahren nach Anspruch 1, wobei das Beurteilen, für jeden der Zielmerkmalpunktteilsätze, ob der Zielmerkmalpunktteilsatz einem Hindernis entspricht, auf Basis einer Veränderung einer Distanz zwischen Punkten in einem Bodenprojektionspunktsatz des Zielmerkmalpunktteilsatzes von einem Zeitpunkt, an dem das angrenzende Einzelbild von der monokularen Kamera aufgenommen wird, bis zu einem Zeitpunkt, an dem das Zieleinzelbild von der monokularen Kamera aufgenommen wird, Folgendes aufweist: Bestimmen eines Bodenprojektionspunktsatzes, der Pixelpunkten in jedem der Zielmerkmalpunktteilsätze entspricht; und, für jeden der Bodenprojektionspunktteilsätze, Berechnen eines Durchschnitts von Veränderungen von Distanzen zwischen Bodenprojektionspunkten in dem Bodenprojektionspunktsatz von dem Zeitpunkt, an dem das angrenzende Einzelbild von der monokularen Kamera aufgenommen wird, bis zu dem Zeitpunkt, an dem das Zieleinzelbild von der monokularen Kamera aufgenommen wird, Beurteilen, ob der Durchschnitt größer als eine vorgegebene Distanzveränderungsschwelle ist, und Bestimmen von Merkmalpunkten in dem Zielmerkmalpunktteilsatz, der dem Bodenprojektionspunktsatz entspricht, als Hindernispunkte, wenn der Durchschnitt größer als die vorgegebene Distanzveränderungsschwelle ist, wobei der Durchschnitt durch Teilen einer Summe der Veränderungen der Distanzen zwischen Bodenprojektionspunkten in dem Bodenprojektionspunktsatz durch die Zahl von Merkmalpunktepaaren in dem entsprechenden Zielmerkmalpunktteilsatz gewonnen wird und das Merkmalpunktepaar aus zwei beliebigen Merkmalpunkten in dem Zielmerkmalpunktteilsatz zusammengesetzt ist.
Verfahren nach Anspruch 4, wobei das Bestimmen eines Bodenprojektionspunktsatzes, der Pixelpunkten in dem Zielmerkmalpunktteilsatz entspricht, im Fall, dass die monokulare Kamera an einem Zielträger installiert ist und ein Pixelkoordinatensystem einer Abbildungsebene der monokularen Kamera o_uv ist, Folgendes aufweist: Einrichten eines Weltkoordinatensystems O_XYZ mit einem optischen Mittelpunkt der monokularen Kamera als Ursprung, wobei eine OY-Achse lotrecht zum Boden weist und eine OZ-Achse parallel zum Boden und dem Zielträger der monokularen Kamera verläuft; Einrichten eines Kamerakoordinatensystems O_X'Y'Z' mit dem optischen Mittelpunkt der monokularen Kamera als Ursprung, wobei eine OZ'-Achse mit einer optischen Achse der monokularen Kamera zusammenfällt und eine OX'-Achse und eine OY'-Achse parallel zu einer ou-Achse bzw. einer ov-Achse der Abbildungsebene verlaufen; das Kamerakoordinatensystem wird durch Drehen des Weltkoordinatensystems nacheinander um einen Winkel α um eine OX-Achse, um einen Winkel β um die OY-Achse und um einen Winkel γ um die OZ-Achse gewonnen, wobei α, β und γ auf Basis eines Algorithmus zur Kalibrierung extrinsischer Parameter bestimmt werden, nachdem die monokulare Kamera installiert worden ist; und Bestimmen eines Bodenprojektionspunktsatzes, der Pixelpunkten in dem Zielmerkmalpunktteilsatz entspricht, auf Basis einer Transformationsbeziehung zwischen Koordinaten in dem Kamerakoordinatensystem und Koordinaten in dem Weltsystem-Koordinatensystem und einer Übereinstimmung zwischen Koordinaten in dem Kamerakoordinatensystem und Koordinaten in der Abbildungsebene, wobei der Bodenprojektionspunktsatz {(X, H, Z)} ist und H eine Höhe von der monokularen Kamera zum Boden ist, wobei die Transformationsbeziehung zwischen Koordinaten (X', Y', Z') in dem Kamerakoordinatensystem und Koordinaten (X, Y, Z) in dem Weltkoordinatensystem:
s_x ≡ sinx und c_x ≡ cosx und wobei die Übereinstimmung zwischen Koordinaten in dem Kamerakoordinatensystem und Koordinaten in der Abbildungsebene: (u, v) = F(X', Y', Z') ist, wobei F ein Projektionsmodell der monokularen Kamera ist, das von einem intrinsischen Parameter der monokularen Kamera bestimmt wird, und der intrinsische Parameter der monokularen Kamera durch einen Offline-Kalibrationsalgorithmus gewonnen wird.
Vorrichtung zur Hinderniserkennung auf Basis einer monokularen Kamera, die Folgendes beinhaltet: ein Gewinnungsmodul, das konfiguriert ist zum Gewinnen eines Zieleinzelbilds und seines angrenzenden Einzelbilds, von der monokularen Kamera aufgenommen; ein Pre-Tracking-Modul, das konfiguriert ist zum Löschen, auf Basis eines Ergebnisses, das durch Tracken eines Ausgangsmerkmalpunktsatzes des angrenzenden Einzelbilds in einem transformierten Bild des angrenzenden Einzelbilds gewonnen wird, eines instabilen Merkmalpunkts aus dem Ausgangsmerkmalpunktsatz des angrenzenden Einzelbilds, um einen bevorzugten Merkmalpunktsatz des angrenzenden Einzelbilds zu gewinnen, wobei das transformierte Bild des angrenzenden Einzelbilds auf Basis eines vorgegebenen Transformationsmodells berechnet wird; ein Teilsatzgewinnungsmodul, das konfiguriert ist zum Teilen eines Zielmerkmalpunktsatzes, um mehrere Zielmerkmalpunktteilsätze zu gewinnen, wobei der Zielmerkmalpunktsatz durch Tracken des bevorzugten Merkmalpunktsatzes des angrenzenden Einzelbilds in dem Zieleinzelbild gewonnen wird; ein Beurteilungsmodul, das konfiguriert ist zum Beurteilen, für jeden der Zielmerkmalpunktteilsätze, auf Basis einer Veränderung einer Distanz zwischen Punkten in einem Bodenprojektionspunktsatz des Zielmerkmalpunktteilsatzes von einem Zeitpunkt, an dem das angrenzende Einzelbild von der monokularen Kamera aufgenommen wird, bis zu einem Zeitpunkt, an dem das Zieleinzelbild von der monokularen Kamera aufgenommen wird, ob der Zielmerkmalpunktteilsatz einem Hindernis entspricht; und ein Bestimmungsmodul, das konfiguriert ist zum Bestimmen einer Vereinigung aller Zielmerkmalpunktteilsätze, die als Hindernissen entsprechend beurteilt werden, als einen Hindernispunktsatz des Zieleinzelbilds.
Vorrichtung nach Anspruch 6, wobei das Pre-Tracking-Modul Folgendes aufweist: ein Merkmalpunkterkennungs-Submodul, das konfiguriert ist zum Erkennen eines Merkmalpunkts in dem angrenzenden Einzelbild durch einen vorgegebenen Merkmalpunkterkennungsalgorithmus, um einen Ausgangsmerkmalpunktsatz des angrenzenden Einzelbilds zu gewinnen; ein Berechnungs-Submodul, das konfiguriert ist zum Berechnen des transformierten Bilds des angrenzenden Einzelbilds auf Basis eines vorgegebenen Transformationsmodells; ein Tracking-Submodul, das konfiguriert ist zum Tracken des Ausgangsmerkmalpunktsatzes in dem transformierten Bild durch einen vorgegebenen Merkmalpunkt-Tracking-Algorithmus, um einen mit dem Ausgangsmerkmalpunktsatz übereinstimmenden Tracking-Merkmalpunktsatz zu gewinnen; ein erstes Beurteilungs-Submodul, das konfiguriert ist zum Beurteilen, ob eine Differenz zwischen jedem Ausgangsmerkmalpunkt in dem Ausgangsmerkmalpunktsatz und einem entsprechenden Tracking-Merkmalpunkt in dem Tracking-Merkmalpunktsatz größer als eine vorgegebene Differenzschwelle ist; ein Lösch-Submodul, das konfiguriert ist zum Löschen des Ausgangsmerkmalpunktes, für den die Differenz größer als die vorgegebene Differenzschwelle ist, aus dem Ausgangsmerkmalpunktsatz; und ein erstes Bestimmungs-Submodul, das konfiguriert ist zum Bestimmen des Ausgangsmerkmalpunktsatzes, in dem der Ausgangsmerkmalpunkt, für den die Differenz größer als die vorgegebene Differenzschwelle ist, gelöscht wird, als den bevorzugten Merkmalpunktsatz des angrenzenden Einzelbilds.
Vorrichtung nach Anspruch 6, wobei das Teilsatzgewinnungsmodul Folgendes aufweist: ein Merkmalpunkt-Tracking-Submodul, das konfiguriert ist zum Tracken des bevorzugten Merkmalpunktsatzes in dem Zieleinzelbild durch einen vorgegebenen Merkmalpunkt-Tracking-Algorithmus, um den Zielmerkmalpunktsatz zu gewinnen; ein erstes Teilungs-Submodul, das konfiguriert ist zum Gewinnen eines ersten Zielmerkmalpunktteilsatzes an einer beliebigen Ecke in dem Zieleinzelbild auf Basis einer vorgegebenen Teilblocklänge und einer vorgegebenen Teilblockbreite; ein Bewegungs-Submodul, das konfiguriert ist zum Bewegen eines dem ersten Zielmerkmalpunktteilsatz entsprechenden Teilblocks um einen Querbewegungsschritt und/oder einen Längsbewegungsschritt; und ein zweites Teilungs-Submodul, das konfiguriert ist zum Bestimmen eines dem bewegten Teilblock entsprechenden Pixelpunktsatzes als einen Zielmerkmalpunktteilsatz, bis alle Pixelpunkte in dem Zieleinzelbild durchlaufen wurden, wobei der Querbewegungsschritt kleiner oder gleich der vorgegebenen Teilblocklänge ist und der Längsbewegungsschritt kleiner oder gleich der vorgegebenen Teilblockbreite ist.
Vorrichtung nach Anspruch 8, wobei das Beurteilungsmodul Folgendes aufweist: ein zweites Bestimmungs-Submodul, das konfiguriert ist zum Bestimmen eines Bodenprojektionspunktsatzes, der Pixelpunkten in jedem der Zielmerkmalpunktteilsätze entspricht; ein Distanzberechnungs-Submodul, das, für jeden der Bodenprojektionspunktteilsätze, konfiguriert ist zum Berechnen eines Durchschnitts von Veränderungen von Distanzen zwischen Bodenprojektionspunkten in dem Bodenprojektionspunktsatz von dem Zeitpunkt, an dem das angrenzende Einzelbild von der monokularen Kamera aufgenommen wird, bis zu dem Zeitpunkt, an dem das Zieleinzelbild von der monokularen Kamera aufgenommen wird; ein zweites Beurteilungs-Submodul, das konfiguriert ist zum Beurteilen, ob der Durchschnitt größer als eine vorgegebene Distanzveränderungsschwelle ist; ein drittes Bestimmungs-Submodul, das konfiguriert ist zum Bestimmen von Merkmalpunkten in dem Zielmerkmalpunktteilsatz, der dem Bodenprojektionspunktsatz entspricht, als Hindernispunkte, wenn das zweite Beurteilungs-Submodul bestimmt, dass der Durchschnitt von Veränderungen von Distanzen zwischen Bodenprojektionspunkten in dem Bodenprojektionspunktsatz größer als die vorgegebene Distanzveränderungsschwelle ist; und ein Auslösungs-Submodul, das konfiguriert ist, um einen nächsten Bodenprojektionspunktsatz auszuwählen und das Distanzberechnungs-Submodul auszulösen, bis alle Grundprojektionspunktsätze bestimmt worden sind, wobei der Durchschnitt durch Teilen einer Summe der Veränderungen der Distanzen zwischen Bodenprojektionspunkten in dem Bodenprojektionspunktsatz durch die Zahl von Merkmalpunktepaaren in dem entsprechenden Zielmerkmalpunktteilsatz gewonnen wird und das Merkmalpunktepaar aus zwei beliebigen Merkmalpunkten in dem Zielmerkmalpunktteilsatz zusammengesetzt ist.
Vorrichtung nach Anspruch 9, wobei das zweite Bestimmungs-Submodul Folgendes aufweist: ein Weltkoordinatensystemeinrichtungs-Submodul, das konfiguriert ist zum Einrichten eines Weltkoordinatensystems O_XYZ mit einem optischen Mittelpunkt der monokularen Kamera als Ursprung, wobei eine OY-Achse lotrecht zum Boden zeigt und eine OZ-Achse parallel zum Boden und einem Zielträger der monokularen Kamera verläuft; ein Kamerakoordinatensystemeinrichtungs-Submodul, das konfiguriert ist zum Einrichten eines Kamerakoordinatensystems O_X'Y'Z' mit dem optischen Mittelpunkt der monokularen Kamera als Ursprung, wobei eine OZ'-Achse mit einer optischen Achse der monokularen Kamera zusammenfällt und eine OX'-Achse und eine OY'-Achse parallel zu einer ou-Achse bzw. einer ov-Achse einer Abbildungsebene verlaufen; das Kamerakoordinatensystem wird durch Drehen des Weltkoordinatensystems nacheinander um einen Winkel α um eine OX-Achse, um einen Winkel β um die OY-Achse und um einen Winkel γ um die OZ-Achse gewonnen, wobei α, β und γ auf Basis eines Algorithmus zur Kalibrierung extrinsischer Parameter bestimmt werden, nachdem die monokulare Kamera installiert worden ist; und ein viertes Bestimmungs-Submodul, das konfiguriert ist zum Bestimmen eines Bodenprojektionspunktsatzes, der Pixelpunkten in dem Zielmerkmalpunktteilsatz entspricht, auf Basis einer Transformationsbeziehung zwischen Koordinaten in dem Kamerakoordinatensystem und Koordinaten in dem Weltkoordinatensystem und einer Übereinstimmung zwischen Koordinaten in dem Kamerakoordinatensystem und Koordinaten in der Abbildungsebene, wobei der Bodenprojektionspunktsatz {(X, H, Z)} ist und H eine Höhe von der monokularen Kamera zum Boden ist, wobei die Transformationsbeziehung zwischen Koordinaten (X', Y', Z') in dem Kamerakoordinatensystem und Koordinaten (X, Y, Z) in dem Weltkoordinatensystem:
s_x ≡ sinx und c_x ≡ cosx und wobei die Übereinstimmung zwischen Koordinaten in dem Kamerakoordinatensystem und Koordinaten in der Abbildungsebene: (u, v) = F(X', Y', Z') ist, wobei F ein Projektionsmodell der monokularen Kamera ist, das von einem intrinsischen Parameter der monokularen Kamera bestimmt wird, und der intrinsische Parameter der monokularen Kamera durch einen Offline-Kalibrierationsalgorithmus gewonnen wird.