-
Diese Anmeldung beansprucht Priorität aus der
chinesischen Patentanmeldung Nr. 200810185794.8 mit dem Titel ”Obstacle Segmentation Method and Apparatus”, die am 10. Dezember 2008 beim Staatlichen Amt für Geistiges Eigentum der Volksrepublik China eingereicht wurde.
-
Gebiet der Erfindung
-
Die vorliegende Erfindung betrifft das Gebiet der Bildverarbeitungstechnik und insbesondere ein Hindernissegmentierungsverfahren samt Vorrichtung in einem Feld für optische Hindernisdetektion.
-
Hintergrund der Erfindung
-
Bei einem Feld für optische Hindernisdetektion bezeichnet ein Hindernis im Allgemeinen ein festes Objekt oberhalb der Bodenebene, das vertikale Eigenschaften aufweist.
-
Bisher gibt es zwei Hauptlösungen für eine monokulare sichtbasierte Hindernissegmentierung: eine ist ein merkmalsbasierter Segmentierungsalgorithmus und die andere ist ein bewegungsbasierter Segmentierungsalgorithmus. Das Verfahren zur merkmalsbasierten Hindernissegmentierung ist, da es typischerweise Merkmale des Hindernisses nutzt, um eine Segmentierung auszuführen, in welchem Fall es erforderlich ist, die Merkmale des zu segmentierenden Objekts vorab zu kennen, nur dafür ausgelegt, bestimmte Arten von Hindernissen zu segmentieren, zum Beispiel ein Fahrzeug gemäß den Merkmalen wie etwa dem Schatten unter dem Fahrzeug oder den Fahrzeugscheinwerfern zu segmentieren, einen Fußgänger anhand von Symmetrie und Farbcharakter etc. zu segmentieren. Das Verfahren der bewegungsbasierten Hindernissegmentierung ist dafür ausgelegt, ein Hindernis nur zu segmentieren, wenn eine Bildserie als Eingabe erforderlich ist. Daher ist die Anwendung des bewegungsbasierten Segmentierungsalgorithmus beschränkt.
-
Die Druckschrift von Jiang, Gang Yi, et al. ”Lane and obstacle detection based an fast inverse perspective mapping algorithm.” Systems, Man, and Cybernetics, 2000 IEEE International Conference on. Vol. 4. IEEE, 2000, beschreibt einen Algorithmus zur Erkennung einer Fahrspur und eines Hindernisses. Dabei wird ein Kamerabild mit einer inversen perspektivischen Transformation und einer daran anschließenden Bildbearbeitung verarbeitet.
-
Druckschrift Simon, N.; Parent, M., ”Obstacle detection from IPM and super-homography,” Intelligent Robots and Systems, 2007. IROS 2007. IEEE/RSJ International Conference on, pp. 4283–4288, Oct. 29 2007–Nov. 2 2007; doi: 10.1109/IROS.2007.4399253 offenbart ein Verfahren zur Hinderniserkennung, das Hindernisse anhand eines Bildes erkennt, das eine inversen perspektivischen Transformation unterzogen wurde.
-
Zusammenfassung der Erfindung
-
Im Hinblick darauf sieht die vorliegende Erfindung ein Verfahren und eine Vorrichtung zur Hindernissegmentierung vor, die eine besonders ressourcenschonende Ausführung eines solchen Verfahrens ermöglicht. Diese Aufgabe wird durch das Verfahren nach Anspruch 1 bzw. die Vorrichtung nach Anspruch 5 gelöst.
-
Um die vorstehenden Aufgaben zu verwirklichen, sieht eine Ausführungsform der vorliegenden Erfindung die folgenden technischen Lösungen vor:
Ein Hindernissegmentierungsverfahren zum Heraustrennen eines Hindernisbereichs aus einem Bild umfasst: Ausführen von Kantendetektion und Partitionierung an dem Bild, um mehrere Kantenbildblöcke zu erhalten; Ausführen einer Liniendetektion an jedem der Kantenbildblöcke, um jeweils Linien zu erhalten; Ermitteln einer Liniensegmentrichtung eines Liniensegments auf einer Referenzstraßenebene, die jeder der Linien entspricht, und Ermitteln, dass der Kantenbildblock, der mindestens eine der Linien einbezieht, ein Hindernisblock gemäß der Richtung des Liniensegments ist; und Erzeugen eines Hindernisbereichs aus allen ermittelten Hindernisblöcken gemäß einem Konnektivitätsprinzip.
-
Das Verfahren umfasst weiterhin: Ermitteln, dass ein bestimmter Kantenbildblock kein Hindernisblock ist, wenn von der Liniendetektion keine Linie detektiert wird.
-
Der Prozess des Ermittelns der Richtung des Liniensegments auf der Referenzstraßenebene, die jeder der Linien entspricht, umfasst: Ermitteln von zwei Pixelpunkten G1 und G2 der Linie in dem Bild; Berechnen von Weltkoordinaten von G1 und G2 auf der Referenzstraßenebene aus einer Kameraabbildungsformel gemäß Koordinaten von G1 und G2 in dem Bild; und Ermitteln der Richtung des Liniensegments auf der Referenzstraßenebene, entsprechend der Linie gemäß den Weltkoordinaten von G1 und G2.
-
Der Prozess zum Ermitteln, dass der Kantenbildblock, der jede der Linien einbezieht, ein Hindernisblock gemäß der Richtung des Liniensegments ist, umfasst: Ermitteln eines Abstands eines Schnittpunkts der X-Achse auf der Referenzstraßenebene und einer Verlängerungslinie eines Liniensegments, die zwei Punkte auf der Referenzstraßenebene verbindet, die zwei Endpunkten der Linie entsprechen, gemäß der Richtung des Liniensegments; Vergleichen des Abstands mit einem vorbestimmten Schwellenwert; und Ermitteln, dass der Kantenbildblock ein Hindernisblock ist, wenn der Abstand kleiner oder gleich dem Schwellenwert ist, oder Ermitteln, dass der Kantenbildblock kein Hindernisblock ist.
-
Das Konnektivitätsprinzip ist ein 8-Konnektivitätsprinzip.
-
Eine Hindernissegmentierungsvorrichtung zum Heraustrennen eines Hindernisbereichs aus einem Bild umfasst: eine Kantendetektionseinheit, die zum Ausführen von Kantendetektion und Partitionierung an dem Bild, um mehrere Kantenbildblöcke zu erhalten, ausgelegt ist; eine Liniendetektionseinheit, die zum Ausführen einer Liniendetektion an jedem der Kantenbildblöcke, um Linien zu erhalten, ausgelegt ist; eine Liniensegmentrichtungsermittlungseinheit, die zum Ermitteln einer Richtung eines Liniensegments auf einer Referenzstraßenebene, die jeder der Linien entspricht, ausgelegt ist; eine Hindernisblockermittlungseinheit, die zum Ermitteln, dass der Kantenbildblock, der mindestens eine der Linien einbezieht, ein Hindernisblock gemäß der Richtung des Liniensegments ist, ausgelegt ist; und eine Hindernisbereichermittlungseinheit, die zum Ermitteln eines Hindernisbereichs aus allen ermittelten Hindernisblöcken gemäß einem Konnektivitätsprinzip ausgelegt ist.
-
Die Liniensegmentrichtungsermittlungseinheit umfasst: eine Pixelpunktermittlungssubeinheit, die zum Ermitteln von zwei Pixelpunkten G1 und G2 der Linie in dem Bild ausgelegt ist; eine Weltkoordinatenberechnungssubeinheit, die zum Berechnen von Weltkoordinaten von G1 und G2 auf der Referenzstraßenebene aus einer Kameraabbildungsformel gemäß den Koordinaten von G1 und G2 in dem Bild ausgelegt ist; und eine Liniensegmentrichtungsermittlungssubeinheit, die zum Ermitteln der Richtung des Liniensegments auf der Referenzstraßenebene entsprechend der Linie gemäß den Weltkoordinaten, die C1 und G2 entsprechen, ausgelegt ist.
-
Die Hindernisblockermittlungseinheit umfasst: eine Schnittpunktabstandermittlungssubeinheit, die zum Ermitteln eines Abstands eines Schnittpunkts einer X-Achse auf der Referenzstraßenebene und einer Verlängerungslinie eines Liniensegments, die zwei Punkte auf der Referenzstraßenebene verbindet, die zwei Endpunkten der Linie entsprechen, gemäß der Richtung des Liniensegments ausgelegt ist; eine Vergleichssubeinheit, die zum Vergleichen des Abstands mit einem vorbestimmten Schwellenwert ausgelegt ist; und eine Hindernisblockermittlungssubeinheit, die zum Ermitteln, dass der Kantenbildblock ein Hindernisblock ist, wenn der Abstand kleiner oder gleich dem Schwellenwert ist, oder Ermitteln, dass der Kantenbildblock kein Hindernisblock ist, ausgelegt ist.
-
Das Verfahren und die Vorrichtung zur Hindernissegmentierung gemäß der vorliegenden Erfindung kann bei einem Einzelbild angewendet werden, ohne auf Arten von Hindernissen beschränkt zu sein, um die Segmentierung für jede Art von Hindernis zu realisieren, wodurch sie eine breitere Eignung aufweisen. Da zudem die vorliegende Erfindung einen Hindernisblock durch Verwenden des Merkmals ermittelt, dass ein Hindernis in der realen Welt senkrecht zu der Straßenebene ist und eine Verlängerungslinie des Liniensegments auf der Straßenebene, die der Kante des Hindernisses in dem Bild entspricht, durch einen Projektionspunkt tritt, den die Kamera auf die Straßenebene oder eine benachbarte Fläche nahe dem Projektionspunkt projizierte, werden weniger falsche Segmentierungen erzeugt.
-
Kurzbeschreibung der Zeichnungen
-
Um die technischen Lösungen in Ausführungsformen der vorliegenden Erfindung klarer zu erläutern, werden hierin nachstehend die Ausführungsformen begleitende Zeichnungen kurz veranschaulicht. Offensichtlich sind die hierin nachstehend beschriebenen Begleitzeichnungen nur für manche Ausführungsformen der vorliegenden Erfindung gedacht, und der Fachmann kann gemäß den Zeichnungen ohne schöpferische Leistung andere Zeichnungen entwickeln.
-
1 ist ein Flussdiagramm eines Hindernissegmentierungsverfahrens gemäß der vorliegenden Erfindung;
-
2 ist ein erstes schematisches Diagramm eines Weltkoordinatensystems und eines Kamerakoordinatensystems gemäß einer Ausführungsform der vorliegenden Erfindung;
-
3 ist ein zweites schematisches Diagramm eines Weltkoordinatensystems und eines Kamerakoordinatensystems gemäß einer Ausführungsform der vorliegenden Erfindung;
-
4 ist ein schematisches Diagramm zum Erzeugen eines Hindernisbereichs gemäß einer Ausführungsform der vorliegenden Erfindung;
-
5 ist ein schematisches Diagramm eines Innenaufbaus einer Hindernissegmentierungsvorrichtung gemäß der vorliegenden Erfindung; und
-
6a bis 6d sind schematische Diagramme von Anwendungsbeispielen der vorliegenden Erfindung.
-
Eingehende Beschreibung der Erfindung
-
Nachstehend werden die technischen Lösungen in Ausführungsformen der vorliegenden Erfindung klar und vollständig in Verbindung mit den Begleitzeichnungen der Ausführungsformen der vorliegenden Erfindung beschrieben. Es ist offensichtlich, dass die beschriebenen Ausführungsformen nur ein Teil von Ausführungsformen der vorliegenden Erfindung, nicht jedoch von allen Ausführungsformen sind. Andere Ausführungsformen, die von Fachleuten auf der Grundlage der Ausführungsformen der vorliegenden Erfindung ohne schöpferische Leistung erhalten werden, fallen in den Schutzumfang der vorliegenden Erfindung.
-
Die vorliegende Erfindung sieht ein Hindernissegmentierungsverfahren zum Heraustrennen eines Hindernisbereichs aus einem Bild vor. Bezüglich 1 umfasst das Verfahren die folgenden Schritte:
S101: Ausführen von Kantendetektion und Partitionierung an dem Bild, um mehrere Kantenbildblöcke zu erhalten;
S102: Ausführen einer Liniendetektion an jedem der mehreren Kantenbildblöcke, um zu ermitteln, ob eine Linie erhalten wird, und Ausführen von Schritt S103 an den Kantenbildblöcken, für die Linien erhalten werden, oder Ermitteln von Kantenbildblöcken, für die keine Linie erhalten wird, als Nichthindernisblöcke und Beenden des Verfahrens;
S103: Ermitteln einer Richtung eines Liniensegments auf einer Referenzstraßenebene, die jeder der Linien entspricht;
S104: Ermitteln, ob der Kantenbildblock, der mindestens eine der Linien einbezieht, ein Hindernisblock gemäß der Richtung des Liniensegments ist; und
S105: Ermitteln aller ermittelten Hindernisblöcke als Hindernisbereich in einem Konnektivitätsprinzip, nachdem der Kantenbildblock, der mindestens eine der Linien einbezieht, als Hindernisblock ermittelt ist.
-
Die Referenzstraßenebene, die einem bestimmten Bild entspricht, ist von dem Bild abhängig und ist typischerweise eine Bodenebene.
-
Das Konnektivitätsprinzip bezieht sich darauf, dass ein bestimmter Hindernisblock und damit verbundene benachbarte Hindernisblöcke als Hindernisbereich ermittelt werden.
-
Es ist ersichtlich, dass erfindungsgemäß die Hindernisblöcke gemäß den Richtungen der Liniensegmente, die den Linien bezüglich der Referenzstraßenebene entsprechen, ermittelt werden, d. h. der Hindernisbereich wird durch die Richtungen der Liniensegmente, die dem Hindernis auf der Straßenebene der realen Welt entsprechen, mittels des vertikalen Kantenmerkmals des Hindernisses ermittelt, um so eine Segmentierung jeder Art von Hindernis zu erreichen, was zu einer breiten Eignung führt.
-
Das erfindungsgemäße Hindernissegmentierungsverfahren wird nachstehend in Verbindung mit den Zeichnungen und einer bestimmten Ausführungsform näher veranschaulicht.
-
Die Ausführungsform umfasst die folgenden Schritte: Schritt 1, Schritt 2, Schritt 3, Schritt 4 und Schritt 5.
-
Schritt 1: Kantendetektion.
-
Eine Eingangsbild wird in K Subbilder mit einer Größe von M×N unterteilt und es wird eine vertikale Sobel-Kantendetektion an jedem der Subbilder durchgeführt, um ein Kantensubbild zu erhalten, und die erhaltenen Kantensubbilder werden entsprechend der Position der Subbilder in dem Eingangsbild zu einem Kantenbild des Eingangsbilds zusammengesetzt.
-
Wobei N und M natürliche Zahlen sind und N gleich oder ungleich M sein kann.
-
Schritt 2: Liniendetektion.
-
Das in Schritt 1 erhaltene Kantenbild wird in mehrere n×m große Subkantenbildblöcke unterteilt (wobei n und m natürliche Zahlen sind, n die Anzahl von Zeilen und m die Anzahl von Spalten anzeigt). An jedem der Subkantenbildblöcke wird eine Liniendetektion durchgeführt, und die Endpunkte und die Anzahl der Endpunkte aller detektierten Linien, LineNum, wird aufgezeichnet. Die üblichen Liniendetektionsverfahren umfassen Hough-Transformation und Ketten-Code.
-
Bevorzugt wird die Hough-Transformation verwendet. Die Idee der Hough-Transformation ist kurz gesagt wie folgt: ein Punkt in einem ursprünglichen Bildkoordinatensystem entspricht einer Linie in einem Parameterkoordinatensystem und analog entspricht eine Linie in dem Parameterkoordinatensystem einem Punkt in dem ursprünglichen Koordinatensystem. Alle Punkte einer Linie in dem ursprünglichen Koordinatensystem haben die gleiche Neigung und den gleichen Schnittpunkt, und somit entsprechen alle Punkte einem Punkt in dem Parameterkoordinatensystem. Nach dem Projizieren der jeweiligen Punkte in dem ursprünglichen Koordinatensystem in das Parameterkoordinatensystem entspricht auf diese Weise ein Häufungspunkt, wenn ein solcher in dem Parameterkoordinatensystem vorliegt, einer Linie in dem ursprünglichen Koordinatensystem.
-
Die Liniendetektionsverfahren wie etwa Hough-Transformation und Ketten-Code sind aus dem Stand der Technik bekannt und werden daher hier nicht näher erläutert.
-
Schritt 3: Ermitteln der Richtung des Liniensegments, das der Linie entspricht, auf der Straßenebene.
-
Es werden wie in 2 gezeigt ein Weltkoordinatensystem und ein Kamerakoordinatensystem aufgestellt.
-
Es wird angenommen, dass die Bildkoordinaten von zwei Endpunkten der i-ten Linie aus allen in einem bestimmten Block des Bilds in Schritt 2 detektierten Linien jeweils I1(ri1, ci1), I2(ri2, ci2) sind. Es wird angenommen, dass die zwei Bildpunkte von zwei Endpunkten P1 und G2 eines festen Objekts in der realen Welt abgebildet sind und G1 ein Schnittpunkt der Straßenebene und einer den Punkt P1 und die optische Mitte O verbindenden Linie ist. Die Weltkoordinaten der Punkte G1 und G2 auf der Straßenebne können durch das folgende Verfahren berechnet werden.
-
Der Berechnungsprozess ist wie folgt:
Ein bestimmter Pixelpunkt P(r, c) in dem Bild wird als Beispiel verwendet, wobei r, c jeweils eine Zeilenkoordinate und eine Spaltenkoordinate des Punkts in dem Bild sind (bereits vorgegeben) und Pein Abbildungspunkt eines Punkts P
0(X
W, Y
W, Z
W) auf der Straßenebene ist. Gemäß einer Kameraabbildungsformel (auch als Videokameraabbildungsformel bezeichnet):
wobei
Y
w als Höhe der Kamera gegeben ist, α
x, α
y, u
0, ν
0 intrinsische Parameter der Kamera sind, die aus der Kalibrierung der Kamera erhältlich sind, Z
C die Z-Achsenkoordinate von P
0 in dem Kamerakoordinatensystem ist;
ist eine Drehmatrix und α, β, γ sind jeweils Drehwinkel, um die das Kamerakoordinatensystem um die X-, Y-, Z-Achse des Weltkoordinatensystems dreht; und
ein Umsetzungsvektor
wobei T
x, T
y, T
z die Position des Ursprungs des Kamerakoordinatensystems in dem Weltkoordinatensystem anzeigen und in der vorliegenden Ausführungsform T
x = 0, T
y = die Höhe der Kamera und T
z = 0.
-
Aus Formel 1 ist ersichtlich, dass es drei Gleichungen und drei Unbekannte (Zc, Xw, Zw) in der Formel 1 gibt, wenn die Bildkoordinate (r, c) und die Höhe der Kamera, d. h. Yw, vorgegeben sind. Daher kann die Weltkoordinate des Punkts P0 auf der Straßenebene, der dem Bildpunkt P entspricht, berechnet werden.
-
Ferner ist aus dem Abbildungsprinzip ersichtlich, dass, wenn das Hindernis zur Straßenebene völlig senkrecht ist (d. h. P1G2 ist senkrecht zur Straßenebene), die Verlängerungslinie des Liniensegments, die den Schnittpunkt G1 und den Schnittpunkt G2 verbindet, durch den Ursprung o' des Weltkoordinatensystems tritt, wobei G1 ein Schnittpunkt der Straßenebene und einer Linie ist, die P1 und die optische Mitte O verbindet, und G2 ein Schnittpunkt des Hindernisses und der Straßenebene ist. Bei Berücksichtigung der Tatsache, dass ein tatsächliches Hindernis möglicherweise nicht völlig senkrecht zu der Straßenebene ist, tritt ein Schnittpunkt o1 der X-Achse und der Verlängerungslinie nicht unbedingt durch o', sondern der Abstand zwischen dem Schnittpunkt o1 und o' würde in einem beschränkten Bereich liegen, d. h. die Verlängerungslinie erstreckt sich hin zu o', wie in 3 gezeigt ist.
-
Hierfür wird die Richtung der Verlängerungslinie G
1G
2 auf der Straßenebene, die der in
3 gezeigten Linie entspricht, in folgender Weise ermittelt:
Entsprechend Formel 1 werden die Weltkoordinaten von G
1 und G
2 als (X
i1, Y
i1, Z
i1) bzw. (X
i2, Y
i2, Z
i2) erhalten, der Schnittpunkt der X-Achse in dem Weltkoordinatensystem und der durch die beiden Punkte G
1 und G
2 festgelegten Linie ist o
1(X
i0, 0, 0), und dann wird
abgeleitet.
-
Schritt 4: Ermittlung der Hindernisblöcke.
-
Ein Subkantenbildblock ist ein Hindernisblock, wenn der Subkantenbildblock die folgenden Bedingungen erfüllt:
Es gibt Linien in dem Block und unter den Linien gibt es mindestens eine Linie, die die folgenden Bedingungen erfüllt: der Abstand zwischen den Punkten o1 und o' ist kleiner als ein vorbestimmter Schwellenwert, wobei o1 ein Schnittpunkt der X-Achse und einer Verlängerungslinie eines Liniensegments, die zwei Punkte verbindet, auf der Straßenebene der realen Welt ist, die zwei Endpunkten der mindestens einen Linie entsprechen.
-
Schritt 5: Erzeugung eines Hindernisbereichs.
-
Ein potentieller Hindernisbereich wird unter Verwenden der in Schritt 4 erhaltenen Subkantenbildblöcke gemäß dem Konnektivitätsprinzip, bevorzugt dem 8-Konnektivitätsprinzip, erzeugt, d. h. wenn ein bestimmter Block als potentielles Hindernis betrachtet wird und ein Block oder mehrere Blöcke in der 8-Nachbarschaft des potentiellen Hindernisses ebenfalls als potentielle Hindernisse betrachtet werden, bilden der bestimmte Block zusammen mit einem Block oder mehreren Blöcken in den 8-Nachbarschaften des potentiellen Hindernisses einen Hindernisbereich. Die 8-Nachbarschaften sind 8 Blöcke benachbart zu dem Block. Wie in 4 gezeigt sind 8 leere Blöcke 8 Nachbarschaften des gefüllten Blocks.
-
Entsprechend dem vorstehend beschriebenen Verfahren sieht die vorliegende Erfindung auch eine Vorrichtung für Hindernissegmentierung vor. Die Vorrichtung kann mittels Software, Hardware oder eine Kombination von Software und Hardware verwirklicht werden.
-
5 ist eine schematische Ansicht eines Innenaufbaus der Vorrichtung. Die Vorrichtung umfasst eine Kantendetektionseinheit 501, eine Liniendetektionseinheit 502, eine Liniensegmentrichtungsermittlungseinheit 503, eine Hindernisblockermittlungseinheit 504 und eine Hindernisbereichermittlungseinheit 505.
-
Die Kantendetektionseinheit 501 ist zum Ausführen von Kantendetektion und Partitionierung an einem Bild ausgelegt, um mehrere Kantenbildblöcke zu erhalten.
-
Die Liniendetektionseinheit 502 ist zum Ausführen einer Liniendetektion an jedem der Kantenbildblöcke, die durch die Kantendetektionseinheit 501 erhalten werden, ausgelegt, um jeweils Linien zu erhalten.
-
Die Liniensegmentrichtungsermittlungseinheit 503 ist zum Ermitteln einer Richtung eines Liniensegments auf einer Referenzstraßenebene, die jeder der Linien entspricht, die durch die Liniendetektionseinheit 502 erhalten werden, ausgelegt.
-
Die Hindernisblockermittlungseinheit 504 ist zum Ermitteln ausgelegt, ob gemäß der Richtung des Liniensegments, die durch die Liniensegmentrichtungsermittlungseinheit 503 ermittelt wird, jeder der Kantenbildblöcke ein Hindernisblock ist.
-
Die Hindernisbereichermittlungseinheit 505 ist ausgelegt, um alle von der Hindernisblockermittlungseinheit 504 ermittelten Hindernisblöcke gemäß einem Konnektivitätsprinzip als Hindernisbereich zu ermitteln.
-
Wobei:
Die Liniensegmentrichtungsermittlungseinheit 503 weiterhin umfasst: eine Pixelpunktermittlungssubeinheit 5031, eine Weltkoordinatenberechnungssubeinheit 5032 und eine Liniensegmentrichtungsermittlungssubeinheit 5033.
-
Die Pixelpunktermittlungssubeinheit 5031 ist zum Ermitteln von zwei Pixelpunkten G1 und G2 der Linie in dem Bild ausgelegt.
-
Die Weltkoordinatenberechnungssubeinheit 5032 ist zum Berechnen von Weltkoordinaten von G1 und G2 auf der Referenzstraßenebene gemäß den Koordinaten von G2 und G1 in dem Bild aus der Kameraabbildungsformel ausgelegt ist
-
Im Einzelnen ist die Kameraabbildungsformel wie folgt:
-
Wobei bei Heranziehen der Berechnung der Weltkoordinate von G1 als Beispiel:
Y
w als Höhe der Kamera gegeben ist, α
x, a
y, u
0, ν
0 intrinsische Parameter der Kamera sind, die durch eine Kalibrierung der Kamera erhältlich sind;
Z
C die Z-Achsenkoordinate von G1 in dem Kamerakoordinatensystem ist;
eine Drehmatrix ist und α, β, γ jeweils Drehwinkel sind, um die das Kamerakoordinatensystem um die X-, Y-, Z-Achse in dem Weltkoordinatensystems gedreht wird;
ein Umsetzungsvektor
wobei T
x, T
y, T
z die Position des Ursprungs des Kamerakoordinatensystems in dem Weltkoordinatensystem anzeigen und in der vorliegenden Ausführungsform T
x = 0, T
y = Höhe der Kamera und T
z = 0.
-
Aus Formel 1 ist ersichtlich, dass, wenn die Bildkoordinate (r, c) vorgegeben ist und die Höhe der Kamera, d. h. Yw, vorgegeben ist, es drei Gleichungen und drei Unbekannte (Zc, Xw, Zw) in der Formel 1 gibt. In diesem Fall kann die Weltkoordinate eines Punkts auf der Straßenebene, der dem Bildpunkt G1 entspricht, berechnet werden. In gleicher Weise kann die Weltkoordinate eines Punkts auf der Straßenebene, der dem Bildpunkt G2 entspricht, berechnet werden.
-
Die Liniensegmentrichtungsermittlungssubeinheit 5033 ist zum Ermitteln der Richtung des Liniensegments auf der Referenzstraßenebene entsprechend der Linie gemäß den Weltkoordinaten von G1 und G2 ausgelegt.
-
Insbesondere werden
die Weltkoordinaten von G
1 und G
2 aus Formel 1 als (X
i1, Y
i1, Z
i1) bzw. (X
i2, Y
i2, Z
i2) erhalten, ein Schnittpunkt der X-Achse in dem Weltkoordinatensystem und der durch die beiden Punkte G
1 und G
2 festgelegten Linie ist o
1(X
i0, 0, 0), und dann wird
abgeleitet.
-
Die Hindernisblockermittlungseinheit 504 umfasst weiterhin: eine Schnittpunktabstandsermittlungssubeinheit 5041, eine Vergleichssubeinheit 5042 und eine Hindernisblockermittlungssubeinheit 5043.
-
Die Schnittpunktabstandsermittlungssubeinheit 5041 ist ausgelegt, um einen Schnittpunktabstand der X-Achse auf der Referenzstraßenebene und einer Verlängerungslinie von zwei Punkten auf der Referenzstraßenebene, die den beiden Endpunkten G1 und G2 der Linie entsprechen, gemäß der Richtung des Liniensegments zu ermitteln.
-
Die Vergleichssubeinheit 5042 ist zum Vergleichen des Schnittpunktabstands mit einem vorbestimmten Schwellenwert ausgelegt.
-
Die Hindernisblockermittlungssubeinheit 5043 ist zum Ermitteln, dass der Kantenbildblock ein Hindernisblock ist, wenn der Schnittpunktabstand kleiner oder gleich dem Schwellenwert ist, oder zum Ermitteln, dass der Kantenbildblock kein Hindernisblock ist, wenn der Schnittpunktabstand größer als der Schwellenwert ist, ausgelegt.
-
Ferner kann die Kantendetektionseinheit 501 die Kantendetektion an dem Bild durch Verwenden eines Sobel-Verfahrens durchführen.
-
Die Liniendetektionseinheit 502 kann die Liniendetektion an den Kantenbildblöcken durch Verwenden des Hough-Transformations- oder des Ketten-Code-Verfahrens durchführen.
-
Die Hindernisbereichermittlungseinheit 505 kann den Hindernisblock und seine Nachbarflächenblöcke gemäß dem Konnektivitätsprinzip als Hindernisbereich ermitteln.
-
Das Hindernissegmentierungsverfahren und seine Vorrichtung, die in der vorliegenden Erfindung beschrieben werden, sind für ein Einzelbild ohne Festlegen der Art des Hindernisses ausgelegt und können an einer beliebigen Hindernisart Segmentierung bei weniger falschen Segmentieren durchführen, wodurch sie eine breitere Eignung haben.
-
Die Anwendung der vorliegenden Erfindung besteht kurz gesagt darin, ein vorgegebenes ursprüngliches Bild zu segmentieren, um zu ermitteln, welche Flächen in dem Bild Hindernisse enthalten könnten. Die Begleitzeichnungen, die die experimentellen Ergebnisse anzeigen, zeigen das spezifische Anwendungsszenario. D. h. zuerst ist ein ursprüngliches Bild (6a) gegeben, dann wird durch die Schritte der Kantendetektion (6b) und Liniendetektion (6c) und die Berechnung der Richtung eines Liniensegments, die jeder der Linien auf einer Straßenebene entspricht, und der Ermittlung von Hindernissen ein in 6d gezeigter Hindernisbereich erzeugt. In der vorliegenden Ausführungsform wird nur ein Teil des Bilds unter der Fluchtlinie verarbeitet, wobei die ”Fluchtlinie” auch als ”Horizontlinie” bezeichnet wird.
-
Für den Fachmann versteht sich, dass die Prozesse zum Verwirklichen des von den vorstehend beschriebenen Ausführungsformen vorgesehenen Verfahrens mittels Hardware in Verbindung mit Programmbefehlen verwirklicht werden können, wobei das Programm in einem lesbaren Speichermedium gespeichert sein kann und bei Ausführen des Programms die entsprechenden Schritte ausführt, die in dem vorstehenden Verfahren beschrieben sind. Das Speichermedium kann zum Beispiel ein ROM/RAM, eine Magnetplatte, eine Bildplatte, etc. sein.
