Ausgehend
von diesem Stand der Technik ist es deshalb die Aufgabe der Erfindung,
ein Verfahren, ein Computerprogramm und eine Vorrichtung für ein Fahrzeug
zum Messen von dessen Abstand zu einem Objekt in seiner Umgebung
bereit zu stellen, welches ohne die genannten Sensoren auskommt und
deshalb auch die damit verbundenen Nachteile nicht aufweist.
Diese
Aufgabe wird durch das im Patentanspruch 1 beanspruchte Verfahren
gelöst.
Das dort beanspruchte Verfahren zeichnet sich durch folgende Schritte
aus:
Erstellen eines Bildes von dem Objekt mit einer zweidimensionalen
monokularen Kamera, welche in das Fahrzeug eingebaut ist, wobei
das Bild mindestens einen Bildbereich aufweist, welcher einen zugeordneten
Bereich des Objektes abbildet; Ermitteln der Intensität des von
dem zugeordneten Bereich des Objektes reflektieren Lichtes nach
Maßgabe
durch die Helligkeit des Bildbereiches, welcher den zugeordneten
Bereich des Objektes abbildet und Ermitteln des Abstandes des zugeordneten
Bereiches des Objektes von dem Fahrzeug nach Maßgabe durch die ermittelten
Intensität
des dem Objektbereich zugeordneten Bildbereiches.
Der
Begriff "zweidimensionale
monokulare Kamera" bedeutet,
dass diese Kamera Bilder erzeugt, welche keine Tiefeninformationen
beinhalten. Bei der Durchführung
des beanspruchten Verfahrens ist das Objekt in der Umgebung des
Fahrzeugs vorzugsweise nur von Umgebungslicht und nicht durch eine
künstliche
Lichtquelle einheitlich mit gleicher Lichtintensität angestrahlt
(passive Beleuchtung).
Es
ist ausreichend, wenn lediglich eine Kamera zur Erfassung des Objektes
vorgesehen ist, so dass diese eine Kamera den optischen beziehungsweise
designmäßigen Gesamteindruck
des entsprechenden Bereichs des Fahrzeugs, insbesondere des Heckbereichs,
wesentlich weniger stört,
als eine Vielzahl von Sensoren, wie sie aus dem Stand der Technik
verwendet werden. Im Unterschied zu dem im Stand der Technik verwendeten
Verfahren ist die konkrete Ermittlung des Abstandes zwischen Objekt
und Fahrzeug mit dem beanspruchten Verfahren relativ einfach, das
heißt,
ohne allzu großen
Aufwand möglich.
Das beanspruchte Verfahren kann bei einer Vielzahl von Anwendungen
eingesetzt werden, vorzugsweise jedoch als Einparkhilfe.
Gemäß einem
ersten vorteilhaften Ausführungsbeispiel
erfolgt die Berechnung des Abstandes aus der Intensität aufgrund
mathematischer Verfahren, wie sie am Ende der Beschreibung beschrieben sind.
Vorteilhafter
Weise lässt
sich die Genauigkeit, mit welcher der Abstand zwischen Objekt und Fahrzeug
aus der ermittelten Intensität
errechnet werden kann, dadurch steigern, dass neben der Intensität auch ein
Texturwert für
den entsprechenden Bildbereich ermittelt und bei der Ermittlung
des Abstandes berücksichtigt
wird. Ein Texturwert ist ein skalarer Wert, welcher aus einem zweidimensionalen Bild
beziehungsweise aus zweidimensionaler Bildinformation gewonnen wird
und welcher Rückschlüsse auf
die Oberfläche
und insbesondere auf die Neigung der Oberfläche des auf dem Bild abgebildeten
Objektes in Bezug auf die Position der Kamera zulässt.
In
der Regel sind in dem von der Kamera aufgenommenen Bild des Objektes
eine Vielzahl unterschiedlicher Bereiche des Objektes abgebildet.
Diese Bereiche bilden zusammen zumindest einen Teil der Form des
Objektes bildlich ab. Sie unterscheiden sich dadurch voneinander,
dass sie aufgrund der individuellen Form des Objektes und dessen
Lage in Bezug auf die Kamera unterschiedlich weit von der Kamera
entfernt sind und unterschiedlich in Bezug auf die Position der
Kamera geneigt sind. Zu jedem dieser einzelnen Bereiche des Objektes
kann mit Hilfe des beanspruchten Verfahrens grundsätzlich der jeweilige
Abstand zur Kamera ermittelt werden. Bei Verwendung des Verfahrens
als Einparkhilfe interessiert jedoch primär nur der minimale Abstand
zwischen Objekt und Fahrzeug, um eine Kollision zu verhindern. Deswegen
empfiehlt das beanspruchte Verfahren gemäß einer vorteilhaften Ausgestaltung
die Ermittlung des minimalen Abstandes aus der Vielzahl der ermittelten
unterschiedlichen Abstände
für die unterschiedlichen
Bereiche des erfassten Objektes.
Für den Fahrer
eines Fahrzeugs ist es vorteilhaft, wenn ihm insbesondere der ermittelte
minimale Abstand während
eines Einparkvorganges übermittelt
beziehungsweise angezeigt wird.
Die
oben genannte Aufgabe wird weiterhin durch ein Computerprogramm
für eine
Abstandsmessvorrichtung sowie durch die Abstandsmessvorrichtung
selbst gelöst.
Die Vorteile dieser Lösungen entsprechen
im wesentlichen den oben mit Bezug auf das beanspruchte Verfahren
genannten Vorteile.
Die
Anordnung der Kamera im Wischbereich der Heckscheibe bietet im Vergleich
zu anderen möglichen
Anordnungspositionen den Vorteil, dass sich beim Betrieb des Fahrzeugs
ansammelnder Schmutz auf einfache Weise, insbesondere durch Betätigung eines
Heckscheibenwischers des Fahrzeugs, beseitigt werden kann; auf diese
Weise kann die ordnungsgemäße Funktion
der Abstandsmessvorrichtung jederzeit gewährleistet beziehungsweise wieder hergestellt
werden.
Weitere
vorteilhafte Ausgestaltungen des Verfahrens und der Vorrichtung
sind Gegenstand der abhängigen
Ansprüche.
Zeichnung:
In
der Zeichnung zeigen
1: den schematischen Aufbau
der erfindungsgemäßen Abstandsmessvorrichtung;
2: die Lichtreflektion an
einem Punkt beziehungsweise einem Bereich des Objektes in der Umgebung
des Fahrzeugs,
3: den Ablauf des erfindungsgemäßen Verfahrens;
und
4 eine Veranschaulichung
zur Bestimmung von Tiefenwerten eines Bildes.
Ausführungsbeispiele:
In 1 ist der schematische Aufbau
einer Abstandsmessvorrichtung 100 gemäß der Erfindung für ein Fahrzeug,
hier nicht gezeigt, dargestellt. Die Abstandsmessvorrichtung 100 umfasst
eine zweidimensionale monokulare Kameraeinrichtung 110. Vorzugsweise
wird diese Abstandsmessvorrichtung 100 als Einparkhilfe
in dem Fahrzeug verwendet; dann ist die Kameraeinrichtung 110 zum
Beispiel im Front- oder Heckbereich des Fahrzeugs angeordnet. Die
Kameraeinrichtung 110 ist in dem Fahrzeug grundsätzlich so
angeordnet, dass sie einen gewünschten
Bereich in der Umgebung des Fahrzeugs erfasst. Die Grenzen dieses
Bereiches liegen in etwa einige Meter von den Umrissen des Fahrzeugs
entfernt. Die Kameraeinrichtung 110 ist vorzugsweise mittig
im Front- oder Heckbereich des Fahrzeugs angeordnet, so dass sie
die Umgebung in der gesamten Breite des Fahrzeugs erfassen kann.
Ist sie nicht mittig angeordnet, so ist sie in einer horizontalen
Ebene parallel zur Fahrbahnoberfläche so auszurichten, dass sie
dennoch vorzugsweise die Umgebung über die gesamte Fahrbahnbreite
erfassen kann. Darüber hinaus
ist die Kameraeinrichtung 110 vorzugsweise mit einem spitzen
Winkel gegenüber
der Horizontalen in Richtung auf die Fahrbahnoberfläche geneigt angeordnet,
wobei die Größe dieses
Winkels von der Einbauhöhe
der Kameraeinrichtung oberhalb der Straßenoberfläche und dem gewünschten
Erfassungsbereich abhängt.
Durch die Neigung der Kameraeinrichtung 110 zur Straßenoberfläche wird
sichergestellt, dass die Kameraeinrichtung 110 insbesondere
niedrigere Objekte auf der Straßenoberfläche in der
Umgebung des Fahrzeugs erkennen kann. Die Anordnung der Kameraeinrichtung 110 auf
der Innenseite der Heckscheibe in deren Wischbereich bietet den
Vorteil, dass eine durch den Betrieb des Fahrzeugs bedingte Verschmutzung
der Heckscheibe und eine dadurch wiederum bedingte nur eingeschränkte Funktionsweise
der Kameraeinrichtung und der Abmessvorrichtung durch einfaches
Betätigen
eines Heckscheibenwischers des Fahrzeugs beseitigt werden kann.
Das
von der Kameraeinrichtung 110 erstellte Bild beinhaltet
eine Information darüber,
ob sich in der Umgebung des Fahrzeugs ein Objekt befindet oder nicht.
Das Objekt hat eine bestimmte geometrische Form, welche auf dem
Bild zu erkennen ist. Zum Verständnis
der Erfindung ist es vorteilhaft, sich die Oberfläche des
Objektes aufgeteilt in unterschiedliche Bereiche vorzustellen, welche
in Bezug auf die im Zeitpunkt der Bilderstellung als fix angenommene Position
der Kamera zumindest teilweise einen unterschiedlichen Abstand und
eine unterschiedliche Neigung haben.
Ein
solcher Bereich des von der Kamera erfassten Objektes ist in 2 dargestellt und mit dem Bezugszeichen 300 bezeichnet.
In dem von der Kameraeinrichtung 110 erstellten Bild ist
dieser Objektbereich 300 durch einen ihm zugeordneten Bildbereich
abgebildet. Die soeben beschriebene Erstellung eines Bildes von
dem Objekt ist in 3 als
Verfahrensschritt S1 schematisch dargestellt, welcher unmittelbar
auf einen Startschritt S0 folgt.
Nachfolgend
wird in einem Verfahrensschritt S2 das zuvor erstellte Bild in einer
Analyseeinrichtung 120 im Hinblick auf die Helligkeiten
der einzelnen Bildbereiche, die jeweils einen zugeordneten Objektbereich 300 abbilden,
analysiert. Diese Analyse ist in 2 veranschaulicht.
Dort ist dargestellt, dass zunächst
Licht von einer Lichtquelle L auf einen Bereich 300 des
Objektes einfällt.
Bei der Lichtquelle L handelt es sich vorzugsweise nicht um eine
künstliche
Lichtquelle, sondern idealer Weise um eine passive Lichtquelle,
wie reines Sonnenlicht, weil dieses im Unterschied zu einer künstlichen
Lichtquelle eine gleichmäßige Beleuchtung
des Objektes gewährleistet.
Das ist für
die Durchführung
des erfindungsgemäßen Verfahrens
besonders vorteilhaft und führt
zu genaueren Ergebnissen. Das auf den Bildbereich 300 auftreffende
Licht wird dort in jedem Punkt P mit den Ortskoordinaten x, y und
z gestreut und reflektiert. Der gestreute Lichtanteil ist durch
den Vektor s und der reflektierte Anteil ist durch den Vektor v
repräsentiert.
Darüber
hinaus repräsentiert
der Vektor n den Anteil von verlorenem Licht. Lediglich der reflektierte
Anteil v des Lichtes wird von der Kameraeinrichtung 110 erfasst
und zur Erzeugung des Bildes beziehungsweise zur Abbildung des Bereiches 300 und
des Punktes P in dem Bild verwendet.
Die
Intensität
des von dem Punkt P reflektierten Lichtes, das heißt, der
Betrag des Vektors v ist prägend
für die
Helligkeit des Bildbereiches, welcher den zugeordneten Objektbereich 300 abbildet.
Mathematisch lässt
sich die Intensität
des reflektierten Lichtanteils gemäß folgender Formel (1) berechnen: I(i,j) = k Ii ϕ (n(x,y,z),s,v) (1) wobei
k
eine Kamerakonstante;
ϕ eine Reflektionsfunktion mit
den oben bezeichneten Vektoren n, s und v;
Ii die
Eingangsintensität
des Lichtes an einem räumlichen
Punkt P (x,y,z);
x, y, z die Ortskoordinaten des Punktes P
im Bereich 300 des Objektes; und
I (i,j) die Intensität des reflektieren
Lichtes an einem Punkt in der Bildebene mit den Koordinaten i, j,
wobei dieser Punkt in der Bildebeneden Punkt P auf dem Objekt abbildet
bezeichnet.
Die
auf diese Weise berechnete Intensität des von dem Objektbereich 300 reflektierten
Lichtes (v) wird nachfolgend in einem Verfahrensschritt S3, vorzugsweise
ebenfalls noch in der Analyseeinrichtung 120, dazu verwendet,
den Abstand d zwischen dem Objekt und dem Fahrzeug, genauer gesagt,
zwischen dem Objektbereich 300 und der in das Fahrzeug
eingebauten Kameraeinrichtung 110 zu ermitteln. Für die Ermittlung
dieses Abstandes sind eine Vielzahl von mathematischen Verfahren
bekannt, von denen einige am Ende der Beschreibung aufgelistet sind.
Die
bisher im Rahmen von Verfahrensschritt S3 beschriebene Ermittlung
des Abstandes d auf Basis der ermittelten Intensität des einem
Objektbereich 300 zugeordneten Bildbereiches hat zwar den
Vorteil, dass sie sehr schnell, in der Regel sogar in Echtzeit,
ermittelt werden kann; ihre Genauigkeit ist aber noch verbesserungsfähig. Diesbezüglich ist
es erfindungsgemäß vorteilhaft,
wenn neben der Intensität auch
ein Texturwert für
den Bildbereich ermittelt und bei der Bestimmung des Abstandes d
in Verfahrensschritt S3 mit berücksichtigt
wird. Texturen sind zweidimensionale Bildinformationen, die auf
die Oberflächen
von dreidimensionalen Objekten projiziert werden und somit eine
realitätsnähere Darstellung
erlauben. Zur Erläuterung
dieser Aussage sei folgendes ausgeführt: Die bisher für die Abstandsbestimmung ausschließlich berücksichtigte
Intensität
ist eine skalare Größe, welche
einem jeweiligen Bildbereich individuell zugeordnet ist. Sie beinhaltet
als solche keinerlei Informationen darüber, ob und in welcher Weise
der einem Bildbereich zugeordnete Bereich des Objektes, das heißt, der
zugeordnete Teil der Oberfläche
des Objektes in Bezug auf die für
den Zeitpunkt der Bildaufnahme als fest angenommene Position der
Kameraeinrichtung geneigt ist. Je nach Neigung dieses Oberflächenbereiches
trifft das reflektierte Licht v in
2 mit einem unterschiedlichen
Winkel α auf
die Kameraeinrichtung 110 auf. Eine zusätzliche Information über diesen
Winkel kann dabei helfen, wie die von der Kameraeinrichtung 110 empfangene Lichtintensität zu bewerten ist
bzw. sie ermöglicht
im Umkehrschluss Rückschlüsse über die
Anordnung und insbesondere über
die Neigung von einzelnen Oberflächenbereichen
des abgebildeten Objektes. Die oben erwähnten Texturen liefern, vereinfacht ausgedrückt, genau
diese zusätzlichen
Informationen über
die geometrische Positionierung der Oberflächenbereiche in Bezug auf die
Position der Kamera. Ihre zusätzliche
Auswertung neben der ermittelten Intensität ermöglicht deshalb einen genaueren Rückschluss über die
Form, das heißt
die Oberflächengestaltung
des Objektes und dessen Lage in Bezug auf die Position der Kameraeinrichtung 110 und damit
auch eine genauere Information über
den Abstand der einzelnen Objektbereiche zu der Kamera. Insbesondere
beim Einparken interessiert den Fahrer in der Regel weder die genaue
geometrische Form des abgebildeten Objektes noch die einzelnen Abstände zwischen
den einzelnen Objektbereichen und der Kameraeinrichtung 110,
sondern vielmehr lediglich der minimale Abstand zwischen Objekt
und Fahrzeug. Deshalb ist es vorteilhaft, wenn die Analyseeinrichtung 120 weiterhin
ausgebildet ist, den minimalen Abstand, das heißt, den Abstand zwischen der Kameraeinrichtung 110 und
dem am nächsten
zu der Kameraeinrichtung gelegenen Objektbereich aus der Vielzahl
der Abstände
d zu ermitteln.
Dieser
ermittelte minimale Abstand wird dann nachfolgend in einem Verfahrensschritt
S4.1 an eine Anzeigeeinrichtung 130 vorzugsweise konkret als
Messwert zur Information des Fahrers des Fahrzeugs übermittelt.
Alternativ oder zusätzlich
zu der Übermittlung
des ermittelten minimalen Abstandes kann auf der Anzeigeeinrichtung 130 eine
optische und/oder akustische Warnmeldung ausgegeben werden, wenn
der ermittelte Abstand d einen vorgegebenen Abstandsschwellenwert
unterschreitet. Diese Warnmeldung kann den Fahrer zu erhöhter Vorsicht bei
einem aktuellen durchgeführten
Rangiervorgang ermahnen. Alternativ oder zusätzlich zu der Ausgabe der Warnmeldung
kann auch ein automatischer Eingriff, zum Beispiel eine automatische
Bremsung in das Fahrverhalten des Fahrzeugs erfolgen, wenn der ermittelte
Abstand d den vorgegebenen Abstandsschwellenwert unterschreitet.
Insbesondere bei zusätzlicher
Berücksichtigung
von Texturwerten bei der Ermittlung des Abstandes liefert das erfindungsgemäße Verfahren
so präzise
Werte, dass auf diese Werte bei der Durchführung des automatischen Eingriffs
in das Fahrverhalten vertraut werden darf.
Eine
besonders hohe Auflösung
wird dann erreicht, wenn ein Bildbereich einem Pixel entspricht.
Das
beanspruchte Verfahren, das heißt,
insbesondere die Ermittlung der Intensität und die Ermittlung des Abstandes
d aus der Intensität
sowie gegebenenfalls die Berechnung von Texturwerten und deren zusätzliche
Berücksichtigung
bei der Ermittlung des Abstandes d erfolgen vorzugsweise mit Hilfe eines
Computerprogramms für
die Abstandsmessvorrichtung 100 beziehungsweise genauer
gesagt für die
Analyseeinrichtung 120. Das Computerprogramm kann gegebenenfalls
zusammen mit weiteren Computerprogrammen für die Abstandsmessvorrichtung
auf einem computerlesbaren Datenträger abgespeichert sein. Bei
dem Datenträger
kann es sich um eine Diskette, einer Compact disc, einen sogenannten
Flash memory oder dergleichen handeln. Das auf dem Datenträger abgespeicherte
Computerprogramm kann dann als Produkt an einen Kunden übertragen
und verkauft werden. Das Computerprogramm kann alternativ dazu – auch ohne
die Zuhilfenahme eines körperlichen
Datenträgers – über ein elektronisches
Kommunikationsnetzwerk, insbesondere das Internet, als Produkt an
einen Kunden übertragen
und auf diese Weise verkauft werden.
Die
Ermittlung des Abstandes d zwischen dem Objektbereich 300 und
der Kameraeinrichtung 110 anhand bekannter Verfahren wird
nachfolgend näher
erläutert:
Den
bekannten Verfahren liegt die Beziehung zwischen der gemessenen
Bildintensität
und der Oberflächenorientierung
unter Berücksichtigung
der Anordnung von Kamera und Lichtquelle zugrunde. Ein erstes Verfahren
führte
1977 B. Horn (B. Horn: Understanding image intensities. Artificial
Intelligence, 8(2): 201–231,
1977) mit einer quantitativen Beschreibung dieser Beziehung ein.
Daraus ergibt sich dann die Gleichung (1).
Nach
einer Überführung dieser
Gleichung in den sogenannten Grandientraum erhält man eine Reflektanzkarte,
die dazu dient, die dreidimensionale Gestalt eines Objektes aus
einem einzigen monokularen Bild zu rekonstruieren.
Methodisch
lässt sich
die Gleichung (1) in lokale und globale Verfahren unterteilen. Zur
Formrekonstruktion benutzt die lokale Schattierungsanalyse lediglich
eine räumlich
beschränkte
Nachbarschaft des zu untersuchenden Bildpunktes. Als einschränkende Maßnahme wird
hierbei einerseits von der Annahme ausgegangen, dass jeder Punkt
der Oberfläche
lokal durch eine Kugelfläche
approximiert werden kann (A. Pen: Local shading analysis. IEEE PAMI,
6(2): 170–187,
1984). (C. Lee et al: Improved methods of estimating shape from
shading using the light source coordinates System. Artificial Intelligence,
26: 125–143,
1985). Im Gegensatz zu dieser lokalen Vorgehensweise zielen globale
Verfahren auf die Optimierung einer Energiefunktion für die gesamte
Fläche
ab. Hierbei sind als Randbedingungen Bildpunkte mit bekannter Forminformation
nötig.
Um
die Flächennormalen
zu rekonstruieren, und deshalb die Gleichung (1) zu lösen, berechnet man
eine Rücktransformation,
die eine Fläche
impliziert. Diese Fläche
ruft dann die beobachtete Bildintensität I (x,y) hervor. Die diesbezügliche Einschränkung drückt sich
durch die Minimierung der o.g. Rücktransformation
aus, z.B. mit Hilfe der Fehlerquadratmethode.
Der
bisher vorgestellte Ansatz zielt auf die Rekonstruktion der Flächennormalen
ab, woraus ein Nadeldiagramm resultiert. Dieses lässt sich
erst mit einem weiteren Schritt der Tiefenbestimmung aus Flächennormalen
in ein Tiefenbild umwandeln, da letztendlich das Ziel der Szenenrekonstruktion
(Berechnung des Abstandes zwischen Kamera und Hindernissen) eine
Beschreibung der Szene in Form eines Tiefenbildes ist.
Dafür benötigt man
noch einen Algorithmus, um aus den Flächenormalen die zugehörige Flächenfunktion
z(i,j) zu gewinnen, wobei z(i,j) genau dem Abstand d entspricht,
von dem in der Beschreibung gesprochen wird. Diese Art von Tiefenbestimmung
ist stets mit zwei Einschränkungen
verbunden.
- • Es
kann nur die relative Tiefe gewonnen werden.
- • Es
wird vorausgesetzt, dass eine kontinuierliche Fläche vorliegt. Der Tiefenunterschied
zweier durch eine Tiefendiskontinuität getrennter Flächen geht
dabei verloren.
Nachfolgend
soll auf ein einfaches Verfahren aus Coleman (E. Colemann: Obtaining
3d shape of texture and specular surfaces using four-source photometry.
CVGIP, 18: 309–328,
1982) eingegangen werden. Grundoperation der Tiefenbestimmung ist eine
Rechenvorschrift, um aus einem Punkt mit bekanntem Tiefenwert den
Tiefenwert seiner acht Nachbarn zu gewinnen. Zur Vereinfachung der
Notation gehen wir von den Koordinaten (0, 0, z
0)
für den zentralen
Punkt aus. Seien n
0 = (n
0x,n
0y,n
oz) die Normalen
an diesem Punkt und n
1 = (n
1x,n
1y,n
1z) die Normalen
seines Nachbarn (1,0,z
10). Nun betrachtet
man die in der XZ-Ebene liegende Kurve auf der Fläche. In
einem lokalen Bereich lässt
sich diese als eine Gerade darstellen, die den Punkt (0,z
00) passiert und tangential zum Durchschnitt
der beiden Normalen n
0 und n
1 steht
(siehe
4). Die Gleichung
dieser Geraden lautet:
Setzt
man x = 1 ein, so erhalten wir:
Seien
nun (n
2x, n
2y, n
2z) , (n
3x, n
3y, n
3z) und (n
4x, n
4y, n
4z) die Normalen der weiteren Nachbarn (–1, 0, z
–1,0)
, (0, 1, z
o1) bzw. (0, –1, z
o,–1).
Dann können
die zugehörigen
Tiefenwerte aus:
gewonnen werden. Mit dieser
Rechenvorschrift lässt sich
der Tiefenwert z
11 sowohl aus (1, 0, z
10) als auch aus (0, 1, z
01) bestimmen.
Eine Mittelung der beiden berechneten Werte liefert dann z
11. Analog erfolgt die Ermittlung von z
–1,1,
z
1,–1 und
z
–1,–1.
