-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur auf stereoskopischen Aufnahmen basierten Entfernungsmessung, bei dem/der mit zwei nebeneinander in derselben horizontalen Ebene liegenden Kameras eines entsprechenden Kamera-Aufbaus eine Szene aus unterschiedlichen etwas räumlich versetzten Positionen aufgenommen wird, wodurch ein jeweiliger Punkt eines zu erfassenden Objektes im Raum in den beiden Aufnahmen der beiden Kameras im Allgemeinen an unterschiedlichen Positionen dargestellt wird und bei dem in beiden Aufnahmen einander entsprechende Bildpunkte gesucht werden und aus jeweiligen Positionsabweichungen die absolute Distanz zwischen Objekt und Kamera-Aufbau ermittelt wird.
-
Auf Basis einer stereoskopischen Aufnahme, also zweier parallel zueinander zweidimensionaler Bilder, können Objekte in einem dreidimensionalen Raum rekonstruiert werden. Konkret lassen sich mittels verschiedener Algorithmen aus dem Bereich der „Stereo Vision“ bzw. „Disparity Estimation“ die Distanzen von Objekten zu einem Aufbau mit zwei Kameras ermitteln. Durch eine Vortransformation der Kamerabilder werden zunächst Linsenverzerrungen eliminiert und durch horizontal nebeneinander angeordnet Kameras wird sichergestellt, dass dargestellte Punkte von Objekten in beiden Bildern nur horizontal variieren, jedoch in derselben Höhe des Bildes liegen. Findet man nun zu jedem Pixel des linken Bildes den entsprechenden Bildpunkt im rechten Bild, kann aus der jeweiligen Positionsabweichung die absolute Distanz zwischen Objekt und Kamera-Aufbau geometrisch ermittelt werden, wobei ggf. auftretende verdeckte Bereiche die von einer Kamera nicht erfasst werden dabei ausgespart bleiben.
-
Die hierfür üblicherweise verwendeten Algorithmen sind jedoch sehr rechenintensiv, weshalb auch verschiedene Optimierungen durchgeführt wurden, um die Berechnungszeit zu verkürzen. Viele diese bekannten Optimierungen erfordern jedoch entweder eine teuer zu realisierende sehr leistungsstarke Hardware oder führen zu einer reduzierten Genauigkeit des Ergebnisses.
-
Solche optimierten Verfahren sind beispielsweise aus H. Hirschmüller. Stereo processing by semiglobal matching and mutual information. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 30(2):328–341, 2008, bekannt.
-
Eine teurere und leistungsstärkere Hardware bedeutet etwa schnellere Taktraten, mehrere Prozessorkerne oder Auslagern von Algorithmen in FPGA und andere Bauteile.
-
Andere Algorithmen, etwa eine blockweise Quantisierung mit einer Ungenauigkeit in Abhängigkeit der Größe der Blöcke und einer nachträglichen genaueren Berechnung "interessanter" Blöcke benötigen jedoch mehr Schritte und damit mehr Berechnungsaufwand.
-
Eine Informationsreduktion durch Skalierung der beiden stereoskopischen Ausgangsbilder ergibt aber auch eine Genauigkeitsreduktion, wobei dies bedeutet dass die Tiefengenauigkeit linear mit der Skalierungsfaktors des Bildes abnimmt.
-
Die der Erfindung zu Grunde liegende Aufgabe besteht nun darin ein Verfahren und eine Vorrichtung zur optimierten stereoskopisch-basierten Entfernungsmessung anzugeben, bei dem/der ein deutlich geringerer Rechenaufwand für die Entfernungsberechnung ermöglicht wird und bei dem/der zumindest in bestimmten Anwendungsfällen, die zuvor bekannte oder angenommene Objekte mit vergleichbaren Charakteristiken betreffen, trotzdem weiterhin eine hohe oder gleichbleibende Genauigkeit erreichbar ist.
-
Diese Aufgabe wird hinsichtlich des Verfahrens durch die Merkmale des Patentanspruchs 1 und hinsichtlich der Vorrichtung durch die Merkmale des Patentanspruchs 6 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung sowie bevorzugte Verwendungen dieser Erfindung.
-
Die Erfindung betrifft im Wesentlichen ein Verfahren und eine Vorrichtung zur optimierten stereoskopisch-basierten Entfernungsmessung, bei dem/der mit zwei nebeneinander in derselben horizontalen Ebene liegenden Kameras eine Szene aus unterschiedlichen etwas räumlich versetzten Positionen aufgenommen wird, wodurch ein jeweiliger Punkt eines zu erfassenden Objektes im Raum in den beiden Aufnahmen der beiden Kameras im Allgemeinen an unterschiedlichen Positionen dargestellt wird, bei dem/der in beiden Aufnahmen jeweils nur ein korrespondierender streifenförmiger Bildbereich ausgewählt und somit basierend auf impliziten Information des zu erfassenden Objektes im Wesentlichen praktisch nur eine Reduktion der Dimensionen einer Zielinformationen erfolgt und bei dem/der in beiden Aufnahmen nur im korrespondierenden streifenförmigen Bildbereich einander entsprechende Bildpunkte gesucht werden und aus den jeweiligen Positionsabweichungen die absolute Distanz zwischen Objekt und Kamera-Aufbau ermittelt wird. Es wird hiermit mit preiswerter Standardhardware aus der Massenproduktion, zumindest in bestimmten Anwendungsfällen, eine fast hyperlineare Reduktion des Rechenaufwandes bei maximaler Ausbeute der relevanten Informationen und einem Verlust lediglich irrelevanter Informationen erreicht.
-
Nachfolgend wird die Erfindung anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert.
-
Die Zeichnung zeigt einen Kameraaufbau mit zwei nebeneinander in derselben horizontalen Ebene liegenden Kameras K1 und K2, die eine Szene mit verschieden Objekten, die beispielhaft in Form eines Dreiecks, eines Vierecks und eines Kreises angedeutet sind, aus unterschiedlichen etwas räumlich versetzten Positionen aufnehmen.
-
Hierdurch wird beispielsweise jeweiliger Punkt eines zu erfassenden Objektes O im Raum in den beiden Aufnahmen der beiden Kameras K1 und K2 im Allgemeinen an unterschiedlichen Positionen OP1, OP2 dargestellt.
-
In beiden Aufnahmen der beiden Kameras K1 und K2 wird jeweils beispielsweise ein korrespondierender Bildbereich 1B1, 2B1 derart ausgewählt, dass basierend auf impliziten Information des zu erfassenden Objektes O im Wesentlichen eine Reduktion der Dimensionen einer Zielinformationen, also entweder in der Dimension Breite B oder in der Dimension Höhe H erfolgt.
-
Beim horizontalen korrespondierenden Bildbereich 1B1, 2B1 wurde also eine Reduktion der Dimension Höhe vorgenommen. Beispielhaft ist auch ein vertikaler Bereich 2B3 für den Fall einer Reduktion der Breite in der Zeichnung angedeutet.
-
Bevorzugter Weise handelt es sich bei einem solchen korrespondierenden Bildbereich um einen schmalen Bildausschnitt – nachfolgend auch "Ziel-Streifen" genannt – der sich in beiden Bildern über die gesamte Breite oder Höhe des jeweiligen Bildes erstreckt. Es kann also unter der Annahme dass Objekte sich stets innerhalb dieses Streifens aufhalten weiterhin der größtmögliche Bereich der Aufnahme überwacht werden.
-
Die Streifenbreite b eines Zielstreifens ist typischerweise einige wenige Pixel, da für Auswertung meist auch Informationen über Nachbarpixel erforderlich sind und so ein Zielstreifen mit der Streifenbreite ein Pixel nicht möglich ist.
-
In den Aufnahmen der beiden Kameras K1 und K2 werden erfindungsgemäß in einer Verarbeitungseinheit VE nur im korrespondierenden Bildbereich, beispielsweise dem korrespondierenden Bildbereich 1B1, 2B1, einander entsprechende Bildpunkte 1Pn, 2Pn gesucht und aus jeweiligen Positionsabweichungen ein absolute Distanz d zwischen Objekt O und Kamera-Aufbau K1, K2 ermittelt.
-
Optional können auch mehrere Streifen, wie beispielsweise die korrespondierende Bildbereiche 1B1, 2B1 und 1B2, 2B2, innerhalb der Ausgangsbilder der Kameras K1 und K2 gewählt werden. Dies ermöglicht es zwar nicht Distanzen für den gesamten Bildbereich der Ursprungsaufnahme zu bestimmen, erlaubt jedoch die Funktionalität einer traditionellen Lichtschranke mithilfe der „Stereo Vision“ in verbesserter Weise nachzubilden. Es können also Objekte/Hindernisse erkannt werden, welche in den oder die zu überwachenden Ziel-Streifen eintreten bzw. austreten. Im Gegensatz zur traditionellen Lichtschranke ist jedoch auch eine Abstandsmessung möglich, welche Auskunft darüber gibt wie weit Objekte von der Stereokamera entfernt sind.
-
Durch das maximale Beschneiden der Bilder in einer Dimension, beispielsweise der Höhe, unter Beibehaltung der Ausdehnung in der anderen Dimension, beispielsweise Breite, bleibt die Genauigkeit der Entfernungserkennung optimal erhalten. Die Entfernungsbestimmung wurde dabei lediglich vom dreidimensionalen Raum auf eine zweidimensionale Ebene in diesem reduziert. Dies ist für viele Anwendungsgebiete jedoch ausreichend.
-
Neben der Verwendung des oder der Ziel-Streifen kann optional auch die Lage L der Ziel-Streifen kontinuierlich variiert werden, unter der Annahme, dass bei genügend zeitlich aufeinander-folgenden Berechnungen das Objekt rechtzeitig bzw. innerhalb eines angemessenen Zeitraums erkannt wird. Insbesondere unter der Prämisse, dass die Erfindung i.d.R. auf einem Echtzeitsystemen umgesetzt wird, ist diese Art der Iteration sinnvoll.
-
Erlaubt die Realisierung der Erfindung etwa eine Parallelisierung, so kann optional der wahrscheinlichste Zielstreifen kontinuierlich überwacht werden, wohingegen weitere Streifen zufällig oder alternierend gewählt und ausgewertet werden.
-
Verwendungsbeispiele:
-
Häufig interessieren bei der Berechnung von Entfernungen zuvor bekannte oder angenommene Objekte mit vergleichbaren Charakteristiken. Diese Charakteristiken umfassen beispielsweise deren Höhe oder Breite. Andererseits kann diese Berechnungen auch dazu genutzt werden, festzustellen, ob eine Entfernung unterschritten wird. Auch hier kann angenommen werden, dass betroffene Objekte ähnliche Parameter aufweisen.
-
Ein Beispiel wäre die Kollisionserkennung im Fahrzeug, wo man davon ausgeht, dass sich gefährliche Objekte, d.h. Hindernisse, eine Mindesthöhe aufweisen und sich zudem vor dem Fahrzeug auf der Fahrbahn befinden.
-
Ein weiteres Beispiel wäre ein Kundenzähler im Kaufhaus, welcher die Anzahl der Personen die den Eingang durchlaufen zählt, wobei man hierbei davon ausgehen kann, dass Personen eine gewisse Mindestgröße haben.
-
Ein letztes Beispiels wäre eine Materialflusskontrolle, bei der die verwendeten Objekte, beispielsweise Flaschen, eine Produktionstrasse in einem gegebenen Takt durchlaufen und an bestimmten Beobachtungspunkten, beispielsweise anhand ihrer geometrischen Form, insbesondere ihrer Hohe, erkannt werden können. Sollte ein Objekt an einem dieser Punkte eine veränderte Lage aufweisen oder beispielsweise eine zerbrochene Flasche vorliegen, kann hier analog zu einer Lichtschranke eine entsprechende Maßnahme abgeleitet werden.
-
Vorteile:
-
Bei der bekannten regulären Skalierung der Kamerabilder werden durch die sinkende Genauigkeit der Eingangsdaten jedoch sämtliche zu berechnenden Ausgangsdaten automatisch ebenfalls ungenauer bzw. die Qualität sämtlicher Ergebnisse sinkt. Bei der Erfindung wird hingegen lediglich eine Reduktion der Dimensionen der Zielinformationen vorgenommen, da auf Grund impliziter Annahmen bzw. Vorkenntnissen bzgl. der betroffenen Objekte und damit der Zielinformation, wie beispielsweise alle Objekte sind ungefähr gleich hoch, auf einen Teil der Zielinformationen bei vielen Anwendungsfällen verzichtet werden kann, d. h. dass hier zwar insgesamt auch weniger Ausgangsdaten erzeugt werden, diese jedoch maximal genau bleiben. Dies wird letztlich einfach dadurch erreicht, dass nur ein schmaler Bereich des Bildes verwendet bzw. zur weiteren Auswertung herangezogen wird.
-
Es wird hiermit eine fast hyperlineare Reduktion des Rechenaufwandes bei maximaler Ausbeute der relevanten Informationen und einem Verlust lediglich irrelevanter Informationen erreicht.
-
Eine Benutzung von preiswerter Standardhardware aus der Massenproduktion, beispielsweise Kameras wie beispielsweise Standard-3D-Kameras wie sie auch in Smartphone eingesetzt werden sowie Standardprozessoren, sind möglich.
-
Insbesondere im Vergleich zu den existierenden Lösungen für die unter den Verwendungsbeispielen genannten speziellen Anwendungsfälle ergeben sich folgende spezielle Vorteile:
- – I.d.R. mehr Informationen, wie beispielsweise die genaue Distanz der Objekte,
- – kostengünstigeres System, da lediglich zwei handelsübliche Kameras benötigt werden
- – volles Bild der Kameras für Nachkontrolle oder nachgelagerte Berechnungen, z.B. Objekterkennung im Bild, bei Erkennung von Objekten, welche die Lichtschranke zu einer Auslösung, beispielsweise durch Unterschreiten einer Distanz, veranlasst haben. Hierfür wird sonst neben der Lichtschranke eine separate Kamera benötigt.
-
Vorteilhafterweise können hiermit, bei ausreichenden Beleuchtungsverhältnissen, alle existierenden auf Detektion basierten Verfahren, wie beispielsweise Lichtschranke, Lasermatrix, Radar- und Ultraschallsensoren sowie Näherungssensor, ersetzt werden. Ferner können hiermit existierende Videoüberwachungsanlagen durch die Information der Entfernung und eine automatische Identifikation kritischer Bereiche im Bild angereichert werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- H. Hirschmüller. Stereo processing by semiglobal matching and mutual information. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 30(2):328–341, 2008 [0004]
