DE102011083745B4

DE102011083745B4 - Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen, Computerprogrammprodukt und Vorrichtung

Info

Publication number: DE102011083745B4
Application number: DE102011083745.0A
Authority: DE
Inventors: Eric Wahl; Christian Unger
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2011-09-29
Filing date: 2011-09-29
Publication date: 2019-01-10
Anticipated expiration: 2031-09-30
Also published as: DE102011083745A1

Abstract

Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen aus einem Fahrzeug heraus, bei dem mit einem Bildgebenden System eine Mehrzahl von Bildern derselben Szene aufgenommen wird, während sich das Fahrzeug bewegt, und die von verschiedenen Fahrzeugpositionen aufgenommenen Bilder unter Berücksichtigung der Fahrzeugbewegung verarbeitet werden, um die Gestalt und die Dimensionen des Parkplatzes zu ermitteln; dadurch gekennzeichnet, dassa) innerhalb eines Belichtungsfensters eines Bilderfassenden Elements zumindest zwei Bilder ausgelesen werden;b) aus den zumindest zwei Bildern ein oder mehrere Bereiche mit einer ersten, gemessenen Bewegungsunschärfe einer jeweiligen Kante ermittelt werden;c) für den oder die ermittelten Bereiche eine zweite, von der Fahrzeugbewegung abhängige, erwartete Bewegungsunschärfe der betreffenden Kante ermittelt wird;d) für jeden Bereich ein Maß für die Abweichung zwischen der ersten und der zweiten Bewegungsunschärfe einander entsprechender Kanten ermittelt wird;e) in Abhängigkeit des Maßes der Abweichung auf sich bewegende Objekte geschlossen wird, welche bei der Ermittlung von Tiefeninformationen des Parkplatzes in vorgegebener Weise verarbeitet werden.

Description

Die Erfindung betrifft ein Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen aus einem Fahrzeug heraus, bei dem mit einem bildgebenden System eine Mehrzahl von Bildern derselben Szene aufgenommen wird, während sich das Fahrzeug bewegt. Die von verschiedenen Fahrzeugpositionen aufgenommenen Bilder werden unter Berücksichtigung der Fahrzeugbewegung verarbeitet, um die Gestalt und die Dimensionen des Parkplatzes zu ermitteln.
Bildgebende Verfahren sollen in Zukunft anstelle der bislang üblichen Ultraschallsensoren zur Vermessung von freien Parkplätzen eingesetzt werden, da sich durch Bildgebende Verfahren eine größere Genauigkeit und höhere Informationsdichte erzielen lässt. Zur Vermessung freier Parkplätze ist die Erzeugung dreidimensionaler Informationen der von einer Kamera aufgenommenen Bilder erforderlich. In Fahrzeugen wird eine Kamera z.B. in den Außenspiegeln oder den Kotflügeln positioniert. Um die Verwendung von Stereo-Kameras zu vermeiden, bei denen zum gleichen Zeitpunkt zwei Bilder von unterschiedlichen Positionen oder Winkeln aufgenommen werden, wurden Motion-Stereo-basierte Verfahren entwickelt.
Bei diesem wird eine monokulare Kamera verwendet, welche zwischen zwei Aufnahmen bewegt wird, um unterschiedliche Positionen der zwei Aufnahmen zu erzielen. Die dreidimensionalen Rauminformationen werden aus dem Stereobildpaar über den zeitlichen Versatz der bewegten Kamera berechnet. In Kraftfahrzeugen ist die Bewegung durch das Fahrzeug verursacht. Um die Bewegung des Fahrzeugs zwischen den zwei Aufnahmen nachvollziehen zu können, müssen die Geschwindigkeit des Fahrzeugs, die Radpositionen und Winkeldaten verarbeitet werden. Diese können z.B. von Raddrehzahlsensoren als Odometriedaten bereitgestellt werden.
Es sind auch Berechnungsverfahren bekannt, welche aus einer Vielzahl unterschiedlich fokussierter Bilder einer statischen Szene Tiefeninformationen ermitteln. Diese Berechnungsverfahren sind als „Depth from Defokus“ bekannt.
Motion-Stereo-basierte Verfahren können aufgrund der zeitlichen Verschiebung der Aufnahmezeitpunkte nicht statische von dynamischen Objekten unterscheiden und generieren so fehlerhafte Tiefenwerte. Dies kann z.B. dazu führen, dass ein hinter einer Parklücke sich bewegender Fußgänger oder Radfahrer in die Parklücke „projiziert“ wird, so dass die Parklücke nicht als „frei“ erkannt wird. Wird die Vermessung eines freien Parkplatzes für ein automatisches Einparksystem verwendet, so wird das Fahrzeug unter Umständen zu weit weg vom Randstein abgestellt.
Das Dokument DE 10244148 A1 offenbart ein Verfahren zur Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs, vorwiegend zur Detektion von Parklücken, wobei mittels einer Kamera digitale Bilder aufgezeichnet, mit einem Zeitstempel versehen und zwischengespeichert werden. Dabei wird die Eigenbewegung des Fahrzeugs erfasst, um auf Grundlage dieser Daten aus den zwischengespeicherten Bildern Bildpaare auszuwählen. Die zu den beiden Aufnahmezeitpunkten vorliegende Position und Ausrichtung der Kamera wird bestimmt und mittels eines Algorithmus zur Stereobildverarbeitung wird auf Grundlage des Bildpaares ein lokales 3D-Tiefenbild generiert, wobei hierbei die Position und Ausrichtung der Kamera zu den Aufnahmezeitpunkten im Rahmen einer synthetischen Stereogeometrie berücksichtigt wird.
Das Dokument DE 102009005553 A1 offenbart ein Verfahren zum Erkennen der Umgebung eines Kraftfahrzeugs durch eine Analyse einer Folge von Bildern mindestens eines Kamerasystems des Kraftfahrzeugs. Das Verfahren weist die folgenden Schritte auf: Akquirieren von Bildern der Umgebung des Kraftfahrzeugs während der Fahrt durch das Kamerasystem, Rekonstruktion einer 3D-Punktwolke charakteristischer Punkte der Umgebung des Kraftfahrzeugs mittels eines Motion-Stereo-Verfahrens aus der Folge der Kamerabilder oder einer Stereoanalyse von Stereobildern des Kamerasystems, Detektion von Kanten in den Kamerabildern mittels Bildanalyseverfahren und Projizieren der detektierten Kanten in den 3D-Raum der 3D-Punktwolke.
Es ist Aufgabe der vorliegenden Erfindung ein Verfahren und eine Vorrichtung anzugeben, welche eine verbesserte Vermessung eines freien Parkplatzes ermöglichen.
Diese Aufgaben werden gelöst durch ein Verfahren gemäß den Merkmalen des Patentanspruches 1, ein Computerprogrammprodukt gemäß den Merkmalen des Patentanspruches 13 und eine Vorrichtung gemäß den Merkmalen des Patentanspruches 14. Vorteilhafte Ausgestaltungen ergeben sich aus den abhängigen Patentansprüchen.
Die Erfindung schlägt ein Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen aus einem Fahrzeug heraus vor, bei dem mit einem bildgebenden System eine Mehrzahl von Bildern derselben Szene aufgenommen wird, während sich das Fahrzeug bewegt. Die von verschiedenen Fahrzeugpositionen aufgenommenen Bilder werden unter Berücksichtigung der Fahrzeugbewegung verarbeitet, um die Gestalt und die Dimensionen des Parkplatzes zu ermitteln.
Bei dem Verfahren werden in einem Schritt a) innerhalb eines Belichtungsfensterseines bilderfassenden Elements zumindest zwei Bilder ausgelesen. Unter einem Belichtungsfenster wird in der vorliegenden Beschreibung der Zeitraum zwischen dem Beginn der Belichtung bis zum Ende der Belichtung verstanden.
In einem Schritt b) werden aus den zumindest zwei Bildern ein oder mehrere Bereiche mit einer ersten, gemessenen Bewegungsunschärfe einer jeweiligen Kante ermittelt. Unter einer Kante wird in einem, insbesondere digitalen, Bild ein Hell-/Dunkel- oder ein Dunkel-/Hell-Übergang verstanden. Liegt eine Bewegungsunschärfe vor, so ist die ehemals scharfe Kante über einen Bereich verteilt, wobei die Bildpunkte in dem Bereich - je nach Stärke der Bewegungsunschärfe- verschiedene Grautöne annehmen. Beispielsweise hat man bei einem Schwanz/Weiß-Bild einen Übergang der Intensitätswerte in den vorhandenen Farbkanälen.
Weiter wird in einem Schritt c) für den oder die ermittelten Bereiche eine zweite, von der Fahrzeugbewegung abhängige, erwartete Bewegungsunschärfe der betreffenden Kante ermittelt. Hierzu werden die Fahrzeugbewegung charakterisierende Daten, wie z.B. die Geschwindigkeit des Fahrzeugs, die Position der Räder, der Lenkwinkel usw. verarbeitet. Für ein feststehendes Objekt kann dann aus der bekannten Bewegung zwischen den einzelnen Aufnahmen ermittelt werden, wie die Bewegungsunschärfe in den Bildern ausfallen müsste.
In einem nächsten Schritt d) wird für jeden Bereich ein Maß für die Abweichung zwischen der ersten und der zweiten Bewegungsunschärfe einander entsprechender Kanten ermittelt. Durch die Ermittlung der Abweichung von gemessener und erwarteter Bewegungsunschärfe können Bereiche ermittelt werden, in welchen sich Objekte nicht-statischer Natur befinden. Solche Objekte können z.B. Fußgänger, Radfahrer, Tiere, aber auch durch den Wind bewegtes Laub oder Zweige sein.
Schließlich wird in Schritt e) in Abhängigkeit des Maßes der Abweichung auf sich bewegende Objekte geschlossen, welche bei der Ermittlung von Tiefeninformationen des Parkplatzes in vorgegebener Weise verarbeitet werden.
Durch die Verarbeitung von Bewegungsunschärfeinformationen wird es somit bei der Verwendung eines Motion-Stereo-basierten Systems ermöglicht, statische von sich bewegenden Objekten zu trennen. Dadurch lässt sich die Genauigkeit der Vermessung, d.h. der Ermittlung von Tiefeninformationen, eines Parkplatzes erhöhen. Die eingangs beschriebenen Nachteile einer Nicht-Erkennung eines Parkplatzes oder eines fehlerhaften automatisierten Einparkvorganges können dadurch vermieden werden. Ebenso kann das Verfahren zur Vermeidung von Kollisionen im Rahmen eines Parkassistenten, einer Engstellenwarnung oder einer kollisionsfreien Engstellenregelung (z.B. durch Fahrspurverengungen infolge baulicher Maßnahmen oder Nachbarverkehrs in Baustellenbereichen) eingesetzt werden.
Gemäß einer zweckmäßigen Ausgestaltung werden für die Verarbeitung der Bilder zur Ermittlung einer Tiefeninformation die Bereiche ausmaskiert, in welchen die erste, gemessene Bewegungsunschärfe von der zweiten, erwarteten Bewegungsunschärfe, innerhalb vorgegebener Grenzen abweicht. Hierdurch können unverfälschte Tiefeninformationen für die durch das Bild gebende System erfasste Szene ermittelt werden. Dies ermöglicht einerseits die präzise Vermessung eines Parkplatzes, andererseits werden einem Einparkassistenten die korrekten Daten für den Parkvorgang zur Verfügung gestellt.
Gemäß einer weiteren vorteilhaften Ausgestaltung werden die zumindest zwei Bilder innerhalb des Belichtungsfensters zu Zeitpunkten derart ausgelesen werden, dass diese gleiche oder unterschiedliche Belichtungszeiten aufweisen. Das Auslesen eines jeweiligen Bildes innerhalb des Belichtungsfensters wird in der vorliegenden Beschreibung auch als Zwischenauslesung bezeichnet. Werden die Zwischenauslesungen bei bzw. nach unterschiedlichen Belichtungszeiten vorgenommen, so wirkt sich dies in einer erhöhten Bildqualität aus.
Besonders zweckmäßig ist es in diesem Zusammenhang, wenn der relative zeitliche Abstand zwischen zwei Lesevorgängen sich mit fortschreitender Zeit vergrößert. Mit anderen Worten bedeutet dies, dass die Belichtungszeiten der Zwischenauslesungen dann stetig ansteigen.
Gemäß einer weiteren zweckmäßigen Ausgestaltung werden die Schritte a) bis e) zumindest einmal wiederholt werden, wobei die Belichtungszyklen jeder Wiederholung gleich gewählt werden. Unter einem Belichtungszyklus werden hierbei die zeitlichen Abstände des Zwischenauslesens innerhalb eines Belichtungsfensters verstanden.
Gemäß einer weiteren zweckmäßigen Ausgestaltung wird das erste ausgelesene Bild als Referenz für die Ermittlung der ersten und zweiten Bewegungsunschärfe verarbeitet. Diese Variante ist insbesondere dann zweckmäßig, wenn die Bilder durch das Bildgebende System bei guter Belichtung erstellt werden und aus den Bildinformationen ohne weiteres eine Kantendetektlon durchgeführt werden kann.
Sind die Lichtverhältnisse hingegen schlecht, beispielsweise in der Dämmerung, nachts oder in einer schlecht beleuchten Parkgarage, so ist es zweckmäßig, wenn dasjenige Bild als Referenz für die Ermittlung der ersten und zweiten Bewegungsunschärfe verarbeitet wird, in dem erstmalig eine Kante ermittelt wird bzw- werden kann.
Das Auslesen der Zwischenbilder kann auf unterschiedliche Arten erfolgen, welche alternativ oder auch kombiniert für verschiedene Wiederholungen eines Belichtungszyklus zum Einsatz kommen können.
In einer ersten Alternative ist vorgesehen, dass das Auslesen der zumindest zwei Bilder innerhalb des Belichtungsfensters erfolgt, ohne dass das Bilderfassende Element zurückgesetzt wird. Wird als Bilderfassendes Element z.B. ein CCD-Sensorchip eingesetzt, so sorgt die während eines Belichtungsfensters auf ein jeweiliges Pixel eintreffende Lichtmenge für einen stetigen Ladungsanstieg eines Kondensators des Pixels. Im Rahmen einer Zwischenauslesung wird dabei lediglich die bis zu diesem Zeitpunkt angefallene Ladungsmenge ausgelesen, ohne diese zu verändern, d.h. es findet kein Reset des Kondensators statt.
Genau ein solcher „Reset“ bei jeder Zwischenauslesung ist in einer zweiten Alternative vorgesehen. In dieser erfolgt mit jedem Auslesen der zumindest zwei Bilder innerhalb des Belichtungsfensters ein Zurücksetzen des bilderfassenden Elements. Dies bedeutet, mit jeder Zwischenauslesung wird z.B. die in einem Kondensator eines Bildpixels angefallene Ladungsmenge auf einen Startwert zurückgesetzt. Um dann eine Ermittlung der Bewegungsunschärfe vornehmen zu können wird im Rahmen der Verarbeitung der zumindest zwei Bilder eine örtliche Synchronisation der in den Bildern detektierten, einander entsprechenden Kanten durchgeführt.
In einer dritten Alternative zur Ermittlung von Kanten innerhalb des oder der Bereiche erfolgt ein Auslesen von Subpixeln des Bilderfassenden Elements. Hierzu müssen entsprechende Bilderfassende Elemente in dem Bildgebenden System eingesetzt werden, welche das selektive Auslesen von Bereichen des Bilderfassenden Elements, z.B. einem Sensorchip, unterstützen.
Gemäß einer weiteren zweckmäßigen Ausgestaltung werden als Maß für die Abweichung zwischen der ersten und der zweiten Bewegungsunschärfe einander entsprechender Kanten die zu einer Kante gehörigen Bildpunkte ermittelt, um in Abhängigkeit der Anzahl und/oder Verteilung der Bildpunkte eine Bewegungsrichtung und/oder Geschwindigkeit und/oder Entfernung eines sich bewegenden Objekts relativ zu dem Fahrzeug zu detektieren. Gemäß dieser Ausgestaltung wird somit eine Verarbeitung der Abweichung von erwarteter und gemessener Bewegungsunschärfe für einen jeweiligen Bereich vorgenommen, wobei anhand des Grads der Veränderung Bewegungs- und Richtungsinformationen eines bewegten Objekts ermittelt werden.
Weist eine detektierte Kante keine Bewegungsunschärfe auf, so handelt es sich um ein Objekt, das die gleiche Geschwindigkeit und Richtung wie das Fahrzeug aufweist (z.B. ein Radfahrer). Ist die gemessene erste Bewegungsunschärfe größer als die erwartete zweite Bewegungsunschärfe, so wird auf ein Objekt geschlossen, das sich in Richtung des Fahrzeugs mit einer von dem Fahrzeug unterschiedlichen Geschwindigkeit bewegt (z.B. ein Radfahrer, Fußgänger, Tier, aber auch Äste oder Laub). Ist die gemessene erste Bewegungsunschärfe kleiner als die erwartete zweite Bewegungsunschärfe, so wird auf ein Objekt geschlossen, das sich entgegen der Richtung des Fahrzeugs bewegt (z.B. Radfahrer, Fußgänger, Tier, Äste, Laub). In diesem Zusammenhang spricht man von einer „größeren Bewegungsunschärfe“, wenn die absolut gemessene Unschärfe sich entgegengesetzt des optischen Flusses aller statischen Objekte bewegt.
Die Fahrzeugbewegung wird beispielsweise anhand von odometrischen Daten bestimmt. Zur Gewinnung der odometrischen Daten können Sensoren genutzt werden, die über räumliche Zustandsänderungen eines Fahrzeugs bzgl. seiner Umwelt Aussage geben. In der Regel werden hierzu Raddrehzahlsensoren genutzt. Die zur Ermittlung der Fahrzeugbewegung notwendigen Daten können auch auf andere Weise gewonnen werden, z.B. mittels GPS oder in einfacher Weise durch die Nutzung einer Geschwindigkeitsinformation, die über einen Datenbus übertragen wird.
Die Aufgabe wird auch gelöst durch ein Computerprogrammprodukt, das direkt in den internen Speicher eines digitalen Rechners geladen werden kann und Softwarecodeabschnitte umfasst, mit denen die Schritte gemäß einem der beschriebenen Ausgestaltungen ausgeführt werden, wenn das Produkt auf einem Rechner läuft. Der Rechner kann beispielsweise ein Steuergerät des Fahrzeugs sein.
Die Erfindung schafft weiter eine Vorrichtung zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen aus einem Fahrzeug heraus, das zumindest ein passives, bildgebendes System zum Verarbeiten von Bildern eines bilderfassenden Elements umfasst. Das bildgebende System kann beispielsweise einen CCD-Sensor, einen NIR-Sensor oder einen temperatur-basierten Sensor umfassen. Derartige System benötigen - im Gegensatz zu aktiven Bildgebenden Systemen keine Lichtquelle, welche innerhalb des technischen und gesetzlichen Rahmens integriert werden muss.
Die Vorrichtung ist dazu ausgebildet, eine Mehrzahl von Bildern derselben Szene aufzunehmen, während sich das Fahrzeug bewegt. Es ist weiter dazu ausgebildet, die von verschiedenen Fahrzeugpositionen aufgenommenen Bilder unter Berücksichtigung der Fahrzeugbewegung zu verarbeiten, um die Gestalt und die Dimensionen des Parkplatzes zu ermitteln.
Die Vorrichtung ist weiter dazu ausgebildet, a) innerhalb eines Belichtungsfensters des bilderfassenden Elements zumindest zwei Bilder auszulesen; b) aus den zumindest zwei Bildern ein oder mehrere Bereiche mit einer ersten, gemessenen Bewegungsunschärfe einer jeweiligen Kante zu ermitteln; c) für den oder die ermittelten Bereiche eine zweite, von der Fahrzeugbewegung abhängige, erwartete Bewegungsunschärfe der betreffenden Kante zu ermitteln; d) für jeden Bereich ein Maß für die Abweichung zwischen der ersten und der zweite n Bewegungsunschärfe einander entsprechender Kanten zu ermitteln; e) in Abhängigkeit des Maßes der Abweichung auf sich bewegende Objekte zu schließen, welche bei der Ermittlung von Tiefeninformationen des Parkplatzes in vorgegebener Weise verarbeitet werden.
Die erfindungsgemäße Vorrichtung lässt sich mit geringem technischen Aufwand und geringen Anforderungen an den erforderlichen Bauraum der Sensorik umsetzen. Sie weist darüber hinaus die in Verbindung mit dem erfindungsgemäßen Verfahren beschriebenen Vorteile auf.
In Weiterbildungen kann die Vorrichtung weitere Mittel umfassen, mit denen die Durchführung des erfindungsgemäßen Verfahrens ermöglicht wird.
Die Erfindung und deren Vorteile werden nachfolgend näher anhand von Ausführungsbeispielen in der Zeichnung erläutert. Es zeigen:

1 ein Ablaufdiagramm, in dem das prinzipielle Vorgehen des erfindungsgemäßen Verfahrens dargestellt ist.
2 eine schematische Darstellung zweier zeitlich aufeinander folgender Belichtungsfenster, in denen gemäß einem vorgegebenen Belichtungszyklus Zwischenbilder eines Bildgebenden Systems gemäß einer ersten Alternative ausgelesen werden, und
3 eine schematische Darstellung eines Belichtungsfensters, in dem gemäß einem vorgegebenen Belichtungszyklus Zwischenbilder eines bildgebenden Systems gemäß einer zweiten Alternative ausgelesen werden.

Das erfindungsgemäße Verfahren benutzt ein Motion-Stereo-basiertes Kamerasystem zur Umweltinterpretation. Das Kamerasystem umfasst ein passives, bildgebendes System zum Verarbeiten von Bildern. Das bildgebende System kann bspw. einen CCD-Sensor, einen NIR-Sensor oder einen temperatur-basierten Sensor als bilderfassendes Element umfassen. Ein passives, bildgebendes System benötigt im Gegensatz zu sog. aktiven Systemen keine Lichtquelle. Aktive Systeme stellen bspw. sog, Laufzeitkameras (PMD, Photonic Mixing Device) dar. Im Gegensatz zu passiven Systemen sind aktive Systeme teurer und benötigen einen größeren Bauraum, was insbesondere bei der Integration in Fahrzeuge einen maßgeblichen Faktor darstellt.
Beim Motion-Stereo-basierten Verfahren zur Gewinnung von dreidimensionalen Rauminformationen einer durch das bildgebende System aufgenommenen Szene, wird eine monokulare Kamera verwendet, welche zwischen zwei Aufnahmen bewegt wird, um unterschiedliche Positionen während den zwei Aufnahmen zu erzielen. Die dreidimensionalen Rauminformationen werden dann aus dem Stereobildpaar über den zeitlichen Versatz der bewegten Kamera berechnet. Das Verfahren wird insbesondere in Fahrzeugen zur Vermessung von freien Parkplätzen eingesetzt, wobei die monokulare Kamera häufig in einem Seitenspiegel des Fahrzeugs angeordnet ist und die Umgebung seitlich des Fahrzeuges erfasst. Das Verfahren kann selbstverständlich auch dann angewendet werden, wenn die Kamera an anderen Stellen des Fahrzeugs, insbesondere im Front- oder Heckbereich, angeordnet ist. Um die Bewegung des Fahrzeuges zwischen der zwei durch die monokulare Kamera gemachten Bilder nachvollziehen zu können, müssen die Geschwindigkeit des Fahrzeugs, die Radpositionen und Winkeldaten verarbeitet werden. Diese können bspw, mittels odometrischen Sensoren, z.B. Raddrehzahlsensoren, in einem Fahrzeug ermittelt und bereitgestellt werden.
Herkömmliche Kamerasysteme - unabhängig, ob passiv oder aktiv - arbeiten derart, dass am Ende eines Belichtungsfensters ein Sensorchip des Kamerasystems ausgelesen und die Daten gespeichert werden. Die Länge des Belichtungsfensters bemisst sich dabei üblicherweise nach den zum Erfassungszeitpunkt herrschenden Lichtverhältnissen. Unter einem Belichtungsfenster wird dabei der Zeitraum zwischen dem Öffnen und Schließen einer Blende vor dem Sensorchip oder der Zeitraum zwischen dem Ein- und Ausschalten des Sensorchips verstanden. Durch die Anpassung der Länge der Belichtungsfenster soll sichergestellt werden, dass die Bilder scharf und kontrastreich sind, sodass diese einfach und zuverlässig analysiert und ausgewertet werden können.
Mit bzw. nach dem Auslesen des Sensorchips wird dieser zurückgesetzt, sodass mit dem Beginn des nächsten Belichtungsfensters neue Bildinformationen durch den Sensorchip gesammelt werden können. Wird als bilderfassendes Element z.B. ein CCD-Sensorchip eingesetzt, so sorgt die während eines Belichtungsfensters auf ein jeweiliges Pixel eintreffende Lichtmenge für einen stetigen Ladungsanstieg eines Kondensators des Pixels. Beim Auslesen der Pixelinformationen, d.h. des aufgenommenen Bilds, am Ende des Belichtungsfensters erfolgt das Zurücksetzen des bilderfassenden Elements, indem die in einem Kondensator eines Bildpixels angefallene Ladungsmenge auf einen Startwert (in der Regel „0“) zurückgesetzt wird.
Durch den Fachmann bekannte Triangulationsverfahren kann dann aus mehreren zweidimensionalen Bildern eine dreidimensionale Rauminformation des beobachteten Umfelds errechnet werden. Aufgrund der zeitlichen Verschiebung der Aufnahmezeitpunkte können bei herkömmlichen Motion-Stereo-basierten Verfahren jedoch nicht-statische von dynamischen Objekten unterschieden werden. Dies kann zu teilweise fehlerhaften Tiefenwerten in den dreidimensionalen Rauminformationen führen.
Das erfindungsgemäße Verfahren ermöglicht die Unterscheidung von statischen und dynamischen Objekten durch die Betrachtung von Bewegungsunschärfe in einem separaten Verarbeiteungsschritt. Zunächst werden die Tiefeninformationen der erfassten Objekte mittels des bekannten Motion-Stereo-basierten Verfahrens durch Triangulation zweier zeitlicher hintereinander aufgenommener Bilder ermittelt. Hierdurch gewinnt man dreidimensionale Daten das beobachteten Umfelds, welche durch die bewegten Objekte „verunreinigt“ sind. Die aus dynamischen Objekten stammenden Tiefenfehler werden bereinigt, indem ein Vergleich einer erwarteten Bewegungsunschärfe mit einer gemessenen Bewegungsunschärfe erfolgt. Abweichungen können dann aus den Tiefeninformationen gefiltert werden, sodass die verbleibenden Informationen lediglich die Tiefeninformation statischer Objekte umfassen.
Das prinzipielle Vorgehen ist im Ablaufdiagramm der 1 dargestellt. In einem Schritt S1 wird ein Belichtungsfenster gestartet, d.h. zu einem Zeitpunkt t₀ (vgl 2 oder 3) wird eine Blende vor dem Sensorchip geöffnet oder der Sensorchip wird eingeschaltet. Zu einem Zeitpunkt t₄ (vgl. 2 oder 3) wird die Blende geschlossen oder der Sensorchip ausgeschaltet. Der Zeitraum zwischen t₀ und t₄ stellt ein Belichtungsfenster F₁ , F₂ dar.
Im Unterschied zu dem aus dem Stand der Technik bekannten Vorgehen werden pro Belichtungsfenster F₁ , F₂ mehrere Bilder ausgelesen. Dies erfolgt in den Schritten S2 und S3 so lange, bis eine vorgegebene Bildanzahl im gerade aktiven Belichtungsfenster F₁ , F₂ erreicht ist.
In 2 ist eine schematische Darstellung zweier zeitlich aufeinander folgender Belichtungsfenster F₁ , F₂ gezeigt, in denen gemäß einem vorgegebenen Belichtungszyklus beispielhaft vier Zwischenbilder ZA₁ , ZA₂ , ZA₃ , ZA₄ zu Zeitpunkten t₁ , t₂ , t₃ , t₄ ausgelesen werden. Das zweite Belichtungsfenster F₂ schließt in diesem Ausführungsbeispiel unmittelbar an das erste Belichtungsfenster F₁ an. Dies ist nicht zwingend erforderlich. Zwischen den beider Belichtungsfenstern könnte auch ein zeitlicher Abstand bestehen, in dem keine Belichtung des Sensorchips erfolgt. Ebenso könnte auch eine andere Anzahl an Zwischenauslesungen ZA₁ ,..., ZA₄ pro Belichtungsfenster F₁ , F₂ erfolgen.
Bei der, in 2 dargestellten Vorgehensweise, erfolgt die Zwischenauslesung der Bilder zu den Zeitpunkten t₁ , t₂ , t₃ , t₄ derart, dass dabei mit jedem Lesevorgang die Sensordaten (d.h. die Ladungen der Kondensatoren der einzelnen Pixel) nicht zurückgesetzt werden. Dies erfolgt lediglich zum Zeitpunkt t₄ oder t₀ am Ende bzw. Beginn eines jeweiligen Belichtungsfensters F₁ , F₂ . Dies hat zur Folge, dass die Belichtungszeiten der Zwischenauslesungen ZA₁ , ZA₂ , ZA₃ , ZA₄ unterschiedlich sind. Das Bild der Zwischenauslesung ZA₁ enthält Informationen, die durch die Belichtung im Zeitraum zwischen t₁ und t₀ resultieren. Die Zwischenauslesung ZA₂ zum Zeitpunkt t₂ resultiert aus einer Belichtung im Zeitraum zwischen t₂ und t₀ , usw.
Es ist dabei weiterhin bevorzugt, wie dies in 2 dargestellt ist, dass die Zeitdifferenzen zwischen jeweils zwei benachbarten Zwischenauslesungen stetig zunehmen. Dies bedeutet, die Zeitdifferenz t₂ -t₁ ist kleiner als die Zeitdifferenz t₃ -t₂ , welche wiederum geringer ist als die Zeitdifferenz zwischen t₄ -t₃ . Hierdurch lässt sich die Genauigkeit bei der Durchführung des Verfahrens erhöhen. Es versteht sich, dass in einer alternativen Ausgestaltung die Zwischenauslesung auch gleichverteilt oder mit einer beliebigen Verteilung über die Zeitdauer des Belichtungsfensters erfolgen könnte.
In dem in 3 dargestellten Ausführungsbeispiel wird mit jeder Zwischenauslesung ZA₁ , ZA₂ , ZA₃ , ZA₄ , die im Übrigen lediglich beispielhaft zu den gleicher Zeitpunkten t₁ , t₂ , t₃ , t₄ wie im vorangegangenen Ausführungsbeispiel der 2 vorgenommen werden, der Sensor jeweils zurückgesetzt. Das heißt, die Belichtungsdauer für die Zwischenauslesung ZA₁ beträgt t₁ -t₀ , die Belichtungsdauer für die Zwischenauslesung ZA₂ beträgt t₂ -t₁ , die Belichtungsdauer für die Zwischenauslesung ZA₃ beträgt t₃ -t₂ , und die Belichtungsdauer für die Zwischenauslesung ZA₁ beträgt t₄ -t₃ . Der Unterschied zwischen dem Zurücksetzen des Sensorchips bei jedem Zwischenauslesen innerhalb eines Belichtungsfensters und dem Nichtzurücksetzen besteht darin, dass mit der Variante gemäß 2 eine bessere Genauigkeit erzielbar ist, da der Integrationsbeginn für die einzelnen Bilder identisch ist, und daher keine zusätzliche Bewegung der Kante im Bild kompensiert werden muß.
Nachdem die Zwischenauslesungen wie beschrieben vorgenommen sind, werden gemäß Schritt S4 des Ablaufs in 1 Bereiche mit erster, gemessener Bewegungsunschärfe einer jeweiligen detektierten Kante ermittelt. Dies bedeutet, in diesem Schritt werden zunächst in den Bildern der Zwischenauslesungen ZA₁ , ZA₂ , ZA_3, ZA₄ Kanten detektiert, für die dann durch die Auswertung sämtlicher Zwischenauslesungen eine gemessene Bewegungsunschärfe ermittelt wird.
Anschließend werden in Schritt S5 für den oder die ermittelten Bereiche einer gemessenen Bewegungsunschärfe eine zweite, von der Fahrzeugbewegung abhängige, erwartete Bewegungsunschärfe der betreffenden Kante ermittelt. Hierzu werden die Fahrzeugbewegung charakterisierende Daten, wie bspw. die Geschwindigkeit des Fahrzeugs, die Position der Räder, der Lenkwinkel usw. verarbeitet. Die entsprechenden Bewegungsinformationen werden z.B. aus odometrischen Daten, welche durch Sensoren des Fahrzeugs bereitgestellt werden, ermittelt. Für ein feststehendes Objekt kann dann in diesem Schritt aus der bekannten Bewegung zwischen den einzelnen Zwischenbildern ermittelt werden, wie die Bewegungsunschärfe in den Bildern ausfallen müsste.
Anschließend wird in einem Schritt S6 eine Abweichung zwischen einer ersten und einer zweiten Bewegungsunschärfe entsprechender Kanten ermittelt. Durch die Ermittlung der Abweichung von gemessener und erwarteter Bewegungsunschärfe lassen sich gemäß Schritt S7 sich bewegende Objekte errechnen. Solche Objekte können bspw. Fußgänger, Radfahrer, Tiere, aber auch durch Wind bewegtes Laub oder Zweige sein. Diejenigen Bereiche, die bewegte Objekte repräsentieren, können aus den Bildinformationen ausgefiltert bzw. ausmaskiert werden. Gemäß Schritt S8 wird dann eine Ermittlung von Tiefeninformationen der statischen Objekte aus den Zwischenbildern unter der Berücksichtigung der sich bewegenden Objekte vorgenommen.
Optional können im Rahmen der Ermittlung sich bewegender Objekte aus der Abweichung (Schritt S7) zwischen der ersten und der zweiten Bewegungsunschärfe einander entsprechender Kanten die zu einer Kante gehörigen Bildpunkte ermittelt werden, um in Abhängigkeit der Anzahl und/oder Verteilung der Bildpunkte eine Bewegungsrichtung und/oder Geschwindigkeit und/oder Entfernung eines sich bewegenden Objekts relativ zu dem Fahrzeug zu detektieren. Weist eine detektierte Kante keine Bewegungsunschärfe auf, so handelt es sich um ein Objekt, das die gleiche Geschwindigkeit und Richtung wie das Fahrzeug aufweist. Dies kann bspw. ein Fahrradfahrer sein. Ist die gemessene erste Bewegungsunschärfe hingegen größer als die erwartete zweite Bewegungsunschärfe, so wird auf ein Objekt geschlossen, das sich in Richtung des Fahrzeugs mit einer von dem Fahrzeug unterschiedlichen Geschwindigkeit bewegt. Ist die gemessene erste Bewegungsschärfe hingegen kleiner als die erwartete zweite Bewegungsunschärfe, so wird auf ein Objekt geschlossen, das sich entgegen der Richtung des Fahrzeugs bewegt.
Diejenigen Bereiche, die sich bewegende Objekte innerhalb der Bilder repräsentieren, können optional über die sog. Ablage Im Bild mit einer Entfernung zum Fahrzeug versehen werden. Hierdurch wird dem Fahrer, dem bspw. die ermittelte Rauminformation auf einem Monitor des Fahrzeugs dargestellt wird, die tatsächliche Entfernung des Objekts zu seinem Fahrzeug visualisiert.
Das vorgeschlagene Verfahren ermöglicht es, mit einem monokularen Kamerasystem Distanzen von Objekten zu einem bewegten Fahrzeug zu ermitteln, unabhängig davon, ob die von der Kamera des Fahrzeugs erfassten Objekte statischer oder dynamischer Natur sind. Damit lassen sich Nahfeld-Navigationsaufgaben, z.B. zur Vermeidung von Kollisionen mit geringem technischen Aufwand und geringen Anforderungen an den erforderlichen Bauraum der Sensorik umsetzen.

Claims

Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen aus einem Fahrzeug heraus, bei dem mit einem Bildgebenden System eine Mehrzahl von Bildern derselben Szene aufgenommen wird, während sich das Fahrzeug bewegt, und die von verschiedenen Fahrzeugpositionen aufgenommenen Bilder unter Berücksichtigung der Fahrzeugbewegung verarbeitet werden, um die Gestalt und die Dimensionen des Parkplatzes zu ermitteln; dadurch gekennzeichnet, dass a) innerhalb eines Belichtungsfensters eines Bilderfassenden Elements zumindest zwei Bilder ausgelesen werden; b) aus den zumindest zwei Bildern ein oder mehrere Bereiche mit einer ersten, gemessenen Bewegungsunschärfe einer jeweiligen Kante ermittelt werden; c) für den oder die ermittelten Bereiche eine zweite, von der Fahrzeugbewegung abhängige, erwartete Bewegungsunschärfe der betreffenden Kante ermittelt wird; d) für jeden Bereich ein Maß für die Abweichung zwischen der ersten und der zweiten Bewegungsunschärfe einander entsprechender Kanten ermittelt wird; e) in Abhängigkeit des Maßes der Abweichung auf sich bewegende Objekte geschlossen wird, welche bei der Ermittlung von Tiefeninformationen des Parkplatzes in vorgegebener Weise verarbeitet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für die Verarbeitung der Bilder zur Ermittlung einer Tiefeninformation die Bereiche ausmaskiert werden, in welchen die erste, gemessene Bewegungsunschärfe von der zweiten, erwarteten Bewegungsunschärfe innerhalb vorgegebener Grenzen abweicht.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die zumindest zwei Bilder innerhalb des Belichtungsfensters zu Zeitpunkten ausgelesen werden, sodass diese gleiche oder unterschiedliche Belichtungszeiten aufweisen.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der relative zeitliche Abstand zwischen zwei Lesevorgängen sich mit fortschreitender Zeit vergrößert.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Schritte a) bis e) zumindest einmal wiederholt werden, wobei die Belichtungszyklen jeder Wiederholung gleich gewählt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das erste ausgelesene Bild als Referenz für die Ermittlung der ersten und zweiten Bewegungsunschärfe verarbeitet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass dasjenige Bild als Referenz für die Ermittlung der ersten und zweiten Bewegungsunschärfe verarbeitet wird, in dem erstmalig eine Kante ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das Auslesen der zumindest zwei Bilder innerhalb des Belichtungsfensters erfolgt ohne das Bilderfassende Element zurückzusetzen.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet dass mit jedem Auslesen der zumindest zwei Bilder innerhalb des Belichtungsfensters ein Zurücksetzen des Bilderfassenden Elements erfolgt, wobei im Rahmen der Verarbeitung der zumindest zwei Bilder eine örtliche Synchronisation der in den Bildern detektierten Kanten durchgeführt wird
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass zur Ermittlung von Kanten innerhalb des oder der Bereiche ein Auslesen von Subpixeln des Bilderfassenden Elements erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Maß für die Abweichung zwischen der ersten und der zweiten Bewegungsunschärfe einander entsprechender Kanten die zu einer Kante gehörigen Bildpunkte ermittelt werden, um in Abhängigkeit der Anzahl und/oder Verteilung der Bild punkte eine Bewegungsrichtung und/oder Geschwindigkeit und/oder Entfernung eines sich bewegenden Objekts relativ zu dem Fahrzeug zu detektieren.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Fahrzeugbewegung anhand von odometrischen Daten bestimmt wird.
Computerprogrammprodukt, das direkt in den internen Speicher eines digitalen Rechners geladen werden kann und Softwarecodeabschnitte umfasst, mit denen die Schritte gemäß einem der vorhergehenden Ansprüche ausgeführt werden, wenn das Produkt auf einem Rechner läuft.
Vorrichtung zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen aus einem Fahrzeug heraus, das zumindest ein passives Bildgebendes System zum Verarbeiten von Bildern eines Bilderfassenden Elements umfasst, wobei die Vorrichtung dazu ausgebildet ist, eine Mehrzahl von Bildern derselben Szene aufzunehmen, während sich das Fahrzeug bewegt, und die von verschiedenen Fahrzeugpositionen aufgenommenen Bilder unter Berücksichtigung der Fahrzeugbewegung zu verarbeiten, um die Gestalt und die Dimensionen des Parkplatzes zu ermitteln; dadurch gekennzeichnet, dass die Vorrichtung weiter dazu ausgebildet ist, a) innerhalb eines Belichtungsfensters des bilderfassenden Elements zumindest zwei Bilder auszulesen; b) aus den zumindest zwei Bildern ein oder mehrere Bereiche mit einer ersten, gemessenen Bewegungsunschärfe einer jeweiligen Kante zu ermitteln; c) für den oder die ermittelten Bereiche eine zweite, von der Fahrzeugbewegung abhängige, erwartete Bewegungsunschärfe der betreffenden Kante zu ermitteln; d) für jeden Bereich ein Maß für die Abweichung zwischen der ersten und der zweiten Bewegungsunschärfe einander entsprechender Kanten zu ermitteln; e) in Abhängigkeit des Maßes der Abweichung auf sich bewegende Objekte zu schließen, welche bei der Ermittlung von Tiefeninformationen des Parkplatzes in vorgegebener Weise verarbeitet werden.