DE10153113A1

DE10153113A1 - Verfahren und Vorrichtung zur Entfernungsbestimmung

Info

Publication number: DE10153113A1
Application number: DE10153113A
Authority: DE
Inventors: Thomas Schilling
Original assignee: Aglaia Gesellschaft fuer Bildverarbeitung und Kommunikation mbH
Current assignee: Hella GmbH and Co KGaA
Priority date: 2001-08-15
Filing date: 2001-10-23
Publication date: 2003-03-13
Also published as: DE50213529D1; ATE430916T1

Abstract

Für die Entfernungsbestimmung zwischen einer Bildaufnahmeeinrichtung, insbesondere Videokamera, und einem Objekt in einer Szene ist im Bereich der Schärfenebene (2) der Bildaufnahmeeinrichtung (1) eine Sensoranordnung (3) schräg angeordnet. Durch die Schrägstellung des Sensors (3) werden die Bildpunkte des Objektes mit zunehmender Distanz zur Schärfenebene (2) unscharf. Die Punkte einer Bildlinie werden auf dem Sensor (3) als Funktion ihres Abstandes zur Schärfenebene (2) abgebildet. Die Erfassung des Verlaufes der Linienform und ihre Bewertung ermöglicht bei bekannter Abbildungsfunktion einen Rückkehrschluss auf die Entfernung der Linie in der Realität.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Entfernungsbestimmung zwischen einer Bildaufnahmeeinrichtung, insbesondere Videokamera, und einem Objekt in einer Szene auf der Basis der Ermittlung der Unschärfe von Objektpunkten. Anwendung findet die Erfindung u. a. in der Sicherheitstechnik, in der Bildverarbeitung bei Kraftfahrzeugen und in der Roboter- und Handhabungstechnik.

Stand der Technik

Es sind verschiedene Verfahren und Vorrichtungen zur Ermittlung von Entfernungen mittels Videosensorik bekannt:

- Stereoverfahren (zwei Sensoren),
- Strukturierte Beleuchtung der Szene (Ein- und Zweisensorsysteme),
- Bewegung des Sensorchips senkrecht zur Schärfenebene mit parallel zur Bildebene ausgerichtetem Chip.

Diese Systeme verlangen relativ komplizierte Vorrichtungen, benötigen entweder zwei Bildaufnahmeeinrichtungen oder sehr präzis arbeitende Mechanismen zur Bewegung des Objektivs der Bildaufnahmeeinrichtung oder des Sensors in der Schärfeebene.

Darüber hinaus sind die bekannten Verfahren und Vorrichtungen sehr empfindlich gegenüber Erschütterungen und verlangen eine sehr genaue Kalibrierung und Justierung.

Aufgabe der Erfindung

Aufgabe der Erfindung ist es, ein Verfahren zur Entfernungsbestimmung zwischen einer Bildaufnahmeeinrichtung, insbesondere Videokamera, und einem Objekt in einer Szene zu schaffen, das mit einer einfachen und robusten Vorrichtung und mit nur einem Objektiv realisierbar ist sowie für viele Anwendungsfälle mit ausreichender Genauigkeit ohne aufwendige Kalibrierung und Justierung durchgeführt werden kann.

Die Aufgabe wird hinsichtlich des Verfahrens mit den Merkmalen des 1. Patentanspruchs und hinsichtlich der Vorrichtung mit den Merkmalen des 8. Patentanspruchs gelöst. Vorteilhafte Weiterentwicklungen und Ausgestaltungen sind Gegenstand der Unteransprüche.

Das erfindungsgemäße Verfahren zur Entfernungsbestimmung zwischen einer Bildaufnahmeeinrichtung, z. B. Videokamera, und einem Objekt in einer Szene benutzt als Vorrichtung eine im Bereich der Schärfenebene der Bildaufnahmeeinrichtung schräg gestellte Sensoranordnung, vorzugsweise als Flächensensor in Form einer Matrix.

Schräg gestellt heißt, das die Sensoranordnung nicht in einer Ebene senkrecht zur optischen Achse des Bildaufnahmesystems steht, sondern in einem Winkel α zu dieser Ebene gekippt angeordnet ist. Dabei kann der Sensor um eine oder um zwei Achsen im Raum gekippt sein. Durch letzteres kann die Unschärfe von Kanten und Konturen eines entfernten Objektes in horizontaler, vertikaler oder beliebiger Ausrichtung ermittelt werden.

Auf dem Sensor werden ein oder mehrere Bildlinien eines Objektes ausgewählt und die Unschärfe von Objektpunkten jeweils einer Bildlinie erfasst und ausgewertet. Der Unschärfeverlauf der Punkte einer Bildlinie ist ein Maß für den Abstand des Objektes zur Bildaufnahmeeinrichtung.

Durch die Schrägstellung der Sensoranordnung schneidet die Sensorfläche die Schärfenebenen mehrerer Objektentfernungen. Die Abbildung eines ausgedehnten Objektes erscheint daher nur entlang einer Geraden scharf. Mit zunehmender Entfernung von dieser Geraden im Bild wird die Abbildung unschärfer. Für die Neigung der Sensorfläche um nur eine Achse entspricht diese Gerade einer Bildzeile bzw. -spalte. Abgebildeten Liniensegmenten eines Objektes, die nicht parallel zu dieser Schärfengeraden verlaufen, können somit über die Position der maximalen Schärfe im Bild und die an dieser Stelle vom Sensor durchschnittenen Schärfenebene eine konkrete Entfernung zugeordnet werden. Dabei muss sich das Objekt im Bild nicht notwendigerweise an dieser Position befinden, da der Unschärfeverlauf bei ausreichender Ausdehnung des Objektes extrapoliert werden kann. Es muss aber berücksichtigt werden, dass der Zusammenhang zwischen der Entfernung von der Schärfengeraden im Bild und der Unschärfe der Abbildung nur für rechtwinklig zur optischen Achse stehende Objektliniensegmente linear ist.

Bei Objekten, die keine Bildsegmente mit senkrecht zur optischen Achse verlaufenden Kanten oder Linien aufweisen, kann die Entfernungsbestimmung durch den Einsatz weiterer Mittel präzisiert bzw. stabilisiert werden.

So kann bei bekannter Abbildungsfunktion eines Objektes der Unschärfeverlauf einer Linienform erfasst werden und deren Bewertung ermöglicht einen Rückkehrschluss auf die Entfernung der Linie in der Realität.

Eine andere Möglichkeit, die Genauigkeit der Messergebnisse nach dem beschriebenen Verfahren zu erhöhen, besteht in der Durchführung von Mehrfachaufnahmen mit unterschiedlichen Ausrichtungen der Sensorik. Die unterschiedlich scharfe Abbildung der Bildinhalte ist ein direktes Äquivalent zur Entfernung der Objekte vor der Messeinrichtung.

Für die Durchführung von Mehrfachaufnahmen sind zwei verschiedene Ausführungen denkbar.

1. Messung auf der Basis einer Sensoranordnung

Dazu wird der Sensor in mindestens zwei verschiedene Stellungen bewegt. Z. B. von einer definierten Schräglage in eine oder mehrere andere definierte Schräglagen, wobei eine der Schräglagen auch den Winkel α = 0, also parallel zur Schärfenebene, annehmen kann. In diesen Stellungen wird jeweils ein Bild aufgenommen und ausgewertet.

2. Messung auf der Basis mehrerer Sensoranordnungen

Durchführung zeitgleicher Aufnahmen zwei oder mehrerer Bilder mit unterschiedlich positionierten Sensoren. Diese Variante ermöglicht die Messung bei hoher Eigenbewegung des Messsystems und zusätzlich bewegte Teile sind nicht erforderlich.

Eine vorteilhafte Weiterentwicklung der Erfindung besteht in der Kombination mit einer optischen Filterung, indem bestimmte Teilalgorithmen in die Bildverarbeitung implementiert werden. So können besonders weit entfernte oder in bestimmten Teilbereichen der Szene befindliche Objekte herausgefiltert werden.

Beispiele

An Hand von Zeichnungen wird schematisch der Aufbau und die Wirkungsweise der Erfindung beispielhaft erläutert.
Es zeigen:
Fig. 1 den grundsätzlichen Aufbau der Entfernungsmessanordnung,
Fig. 2 Abbild einer Objektlinie oder -kante auf der Sensoranordnung, die die Schärfenebene in einer Bildzeile schneidet,
Fig. 3 Abbild eines Objektliniensegmentes auf der Sensoranordnung, das die Schärfenebene nicht schneidet,
Fig. 4 Darstellung des Unschärfeverlaufs von Objektlinien unterschiedlicher Entfernungen.
Fig. 1 zeigt schematisch den grundsätzlichen Aufbau der Entfernungsmessanordnung mittels visueller Sensorik. Mit dem Objektiv 1 einer Bildaufnahmeeinrichtung wird eine Szene auf einem Sensor 3 abgebildet. Der Sensor 3 ist im Bereich der Schärfenebene 2 (Bildebene) des Objektivs 1 unter einem Winkel α zur Schärfenebene 2 schräg angeordnet.
Bei Ausbildung des Sensors 3 als Flächensensor kann dieser auch räumlich schräg angeordnet, d. h. um zwei Achsen geneigt sein.
Der Abstand x zwischen der Schärfenebene 2 und dem Sensor 3 ist ein Maß für die Unschärfe. Mit zunehmenden Abstand x zur Schärfenebene 2 werden die Bildpunkte eines Objektes einer Szene unscharf.
Aus dem Unschärfeverlauf der Bildpunkte einer Linie mit unterschiedlichem Abstand x wird die Entfernung ermittelt. Wie das Beispiel in Fig. 3 zeigt, ist es dabei nicht unbedingt nötig, dass der Sensor 3 die Schärfenebene 2 schneidet.
Das Abbild einer Objektlinie oder -kante auf der schräg gestellten Sensoranordnung ist in Fig. 2 dargestellt. Die Linie eines Objektes schneidet entsprechend ihrer Entfernung vor der Bildaufnahmeeinrichtung die Schärfenebene in einer Bildzeile.
Die Abbildung eines ausgedehnten Objekts erscheint daher nur entlang einer Geraden scharf. Das ist bei Neigung der Sensorfläche um nur eine Achse die Bildzeile bzw. -spalte, die auf der Zeichnung senkrecht verläuft und für in der Realität senkrecht erscheinende Objektkanten mit ausreichender Ausdehnung auf dem Sensor als "Einschnürung" (Ort der größten Schärfe) erscheint.
Mit zunehmender Entfernung von dieser Bildzeile wird die Abbildung unschärfer oder bei Veränderung der Entfernung des Objektes wird dieser "Einschnürungspunkt" nach oben oder nach unten wandern.
In der Abbildung nach Fig. 3 befindet sich das Objekt bzw. das Abbild eines Objektliniensegmentes auf der Sensoranordnung nicht notwendigerweise in einer Position, in der die Schärfenebene geschnitten wird. Der Unschärfeverlauf kann bei ausreichender Ausdehnung des Objekts extrapoliert und so der Schnittpunkt mit der Schärfenebene berechnet werden. Dabei muss berücksichtigt werden, dass der Zusammenhang zwischen der Entfernung von der Schärfengeraden im Bild und der Unschärfe der Abbildung nur für rechtwinklig zur optischen Achse stehende Objektsliniensegmente linear ist.
Die Berechnung der Unschärfe in Abhängigkeit von den Zeilennummern einer Sensormatrix ist in Fig. 4 dargestellt. Das Diagramm zeigt den Unschärfeverlauf von Objektlinien bezogen auf unterschiedliche Entfernungen innerhalb des Abbildungsbereiches des Sensors.
Das Sensorarray besitzt 256 Zeilen, auf dem bei einer Brennweite von 12 mm vier verschieden weit entfernte und über das ganze aufgenommene Bild verlaufende Objektkanten projiziert sind.
Die Sensorfläche ist um einen vorgegebenen Winkel α von 0.01° geneigt und die Kurven entsprechen Objektentfernungen von 2, 5, 10 und 100 Metern.
Die Aufgabe der Entfernungsermittlung besteht darin, den Ort der minimalen Unschärfe zu bestimmen oder gegebenenfalls zu extrapolieren und bei bekannter Kamerageometrie von der Zeile der schärfste Abbildung auf die Entfernung der Objektlinie zu schließen.
Der schärfsten Abbildung ist die Unschärfe 0 µm zugeordnet. Der Ort der schärfsten Abbildung liegt für die Objektentfernung 2 m (Strich-Punkt-Linie) außerhalb der Sensorfläche.
Der Wertebereich der Unschärfe von einigen 10 µm lässt also einerseits eine für die weitere Bildverarbeitung oder anzeige ausreichend scharfe Abbildung zu, verdeutlicht andererseits aber auch die Notwendigkeit, die Unschärfe und ihren Verlauf in dieser Größenordnung zu bestimmen.

Claims

1. Verfahren zur Entfernungsbestimmung zwischen einer Bildaufnahmeeinrichtung und einem Objekt, bei dem sich im Bereich der Schärfenebene der Bildaufnahmeeinrichtung eine Sensoranordnung befindet und die Erfassung des Ortes der größten Schärfe durch die Sensoranordnung ein Maß für die Entfernung zwischen dem Objekt und der Bildaufnahmeeinrichtung darstellt, dadurch gekennzeichnet, dass auf einer zur Schärfenebene schräg gestellten Sensoranordnung ein oder mehrere Bildlinien des Objektes ausgewählt werden, die Unschärfe von Objektpunkten jeweils einer Bildlinie erfasst und ausgewertet werden und der Unschärfeverlauf der Punkte einer Bildlinie ein Maß für den Abstand des Objektes zur Bildaufnahmeeinrichtung bildet.

2. Verfahren zur Entfernungsbestimmung nach Anspruch 1, dadurch gekennzeichnet, dass der Verlauf der Unschärfe von Objektpunkten einer Bildlinie mit bekannten Abbildungsfunktionen verglichen wird und daraus der genaue Abstand des Objektes mit bekannter Abbildungsfunktion zur Bildaufnahmeeinrichtung bestimmt wird.

3. Verfahren zur Entfernungsbestimmung nach Anspruch 1, dadurch gekennzeichnet, dass der Abstand von Objekten mit nicht einer definierten Bildlinie zuordenbaren Objektpunkten durch Mehrfachaufnahmen mit unterschiedlich ausgerichteten Sensoranordnungen gemessen wird und die unterschiedlich scharfe Abbildung der Bildinhalte ein direktes Äquivalent zur Entfernung der Objekte vor der Messeinrichtung ist.

4. Verfahren zur Entfernungsbestimmung nach Anspruch 1 und 3, dadurch gekennzeichnet, dass für die Mehrfachaufnahmen eine Sensoranordnung in mindestens zwei unterschiedliche Stellungen definierter Schräglagen bewegt wird und in jeder dieser Stellungen jeweils ein Bild aufgenommen wird.

5. Verfahren zur Entfernungsbestimmung nach Anspruch 4, dadurch gekennzeichnet, dass eine der Schräglagen der Sensoranordnung auch den Winkel α = 0 gegenüber der Schärfenebene annehmen kann, d. h. senkrecht zur optischen Achse ausgerichtet wird.

6. Verfahren zur Entfernungsbestimmung nach Anspruch 1 und 3, dadurch gekennzeichnet, dass die Mehrfachaufnahmen zeitgleich mit unterschiedlich schräg ausgerichteten Sensoranordnungen durchgeführt werden.

7. Verfahren zur Entfernungsbestimmung nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass Objekte bestimmter Unschärfe herausgefiltert werden.

8. Vorrichtung zur Entfernungsbestimmung zwischen einer Bildaufnahmeeinrichtung (1) und einem Objekt mit einer im Bereich der Schärfenebene (2) der Bildaufnahmeeinrichtung (1) angeordneten Sensoranordnung (3), dadurch gekennzeichnet, dass die Sensoranordnung (3) im Bereich der Schärfenebene (2) in mindestens einer Ebene unter einem Winkel α schräg zur Schärfeebene (2) angeordnet ist.

9. Vorrichtung zur Entfernungsbestimmung nach Anspruch 8, dadurch gekennzeichnet, dass die Sensoranordnung (3) um eine Achse senkrecht zur Schärfenebene geneigt angeordnet ist.

10. Vorrichtung zur Entfernungsbestimmung nach Anspruch 8, dadurch gekennzeichnet, dass die Sensoranordnung (3) um zwei Achsen senkrecht zur Schärfenebene geneigt angeordnet ist.

11. Vorrichtung zur Entfernungsbestimmung nach Anspruch 8, dadurch gekennzeichnet, dass die Sensoranordnung (3) im Bereich der Schärfenebene (2) in zwei oder mehrere Winkel α bewegbar angeordnet ist.

12. Vorrichtung zur Entfernungsbestimmung nach Anspruch 8, dadurch gekennzeichnet, dass im Bereich der Schärfenebene (2) zwei oder mehrere Sensoranordnungen (3) mit unterschiedlichen Winkeln α angeordnet sind.

13. Vorrichtung zur Entfernungsbestimmung nach Anspruch 8, dadurch gekennzeichnet, dass die Sensoranordnung (3) eine Sensormatrix ist.