DE102006027121A1

DE102006027121A1 - Bildaufnahmesystem und Verfahren für die Entfernungsbestimmung mit einem Bildaufnahmesystem

Info

Publication number: DE102006027121A1
Application number: DE102006027121A
Authority: DE
Inventors: Karsten Muehlmann; Alexander Wuerz-Wessel
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2006-06-12
Filing date: 2006-06-12
Publication date: 2007-12-13
Also published as: US20090322872A1; US8896690B2; WO2007144213A3; WO2007144213A2; EP2033163A2

Abstract

Die Erfindung betrifft ein insbesondere fahrzeuggebundenes Bildaufnahmesystem 80 mit einem Bildsensor 81, der eine aus linearen Abschnitten K1.1, K1.2, K1.3 zusammengesetzte Kennlinie K1 aufweist, umfassend Mittel für die Bestimmung der Entfernung der von dem Bildsensor 81 abgebildeten leuchtenden Objekte 20, 21, 22.

Description

Stand der Technik
Die Erfindung betrifft ein Bildaufnahmesystem nach dem Oberbegriff des Anspruchs 1 und ein Verfahren für die Entfernungsbestimmung zwischen einem Bildaufnahmesystem und einem sich relativ zu dem Bildaufnahmesystem bewegenden leuchtenden Objekt nach dem Oberbegriff des Anspruchs 3. Ein Bildaufnahmesystem der in Rede stehenden Art wird vorzugsweise in Kraftfahrzeugen eingesetzt, um Bilder des Fahrzeugumfelds zu gewinnen und, in Verbindung mit einem Fahrerassistenzsystem, dem Fahrer die Führung des Fahrzeugs zu erleichtern. Ein derartiges Bildaufnahmesystem umfasst wenigstens einen Bildsensor und ein diesem Bildsensor zugeordnetes optisches System, das ein Aufnahmefeld des Fahrzeugumfelds auf den Bildsensor abbildet. Eine wichtige Aufgabe eines solchen Fahrerassistenzsystems ist die präzise Messung des Abstands, da nur mit Kenntnis genauer Abstandswerte Fahrspur- und Abstandsüberwachungssysteme auf optischer Basis mit Funktionen wie beispielsweise LDW (Lane Departure Warning) und LKS (Lane Keeping Support) zuverlässig genug funktionieren. Es sind bereits Bildaufnahmesysteme unter Verwendung von zwei Kameras bekannt, die ein Stereobildpaar eines Objekts erzeugen, wobei die Inhalte eines Bildes leicht gegenüber dem anderen Bild verschoben sind. Diese Verschiebung wird als Disparität bezeichnet. Bei bekannter Anordnung der Kameras kann aus der gemessenen Disparität auf die Entfernung des Objekts von den Kameras geschlossen werden. Bei einem Bildaufnahmesystem mit lediglich einem Bildsensor kann jedoch die Disparität nicht mehr ohne weiteres erfasst werden, da kein Stereobild erzeugt wird. Die bei derartigen Bildaufnahmesystemen verwendeten Bildsensoren müssen einen weiten Bereich von unterschiedlichen Beleuchtungsstärken verarbeiten, um einerseits in praller Sonne und andererseits in spärlich beleuchteten Tunnels noch brauchbare Ausgangssignale liefern zu können. Während bei herkömmlichen Bildsensoren die Belichtungsempfindlichkeit häufig einer fest eingestellten linearen oder logarithmischen Kennlinie folge, wurden bereits auch schon Bildsensoren vorgeschlagen ( DE 103 01 898 A1 ), bei denen diese Kennlinie in einzelnen linearen Abschnitten individuell einstellbar ist. Eine solche Kennlinie setzt die absolute Helligkeit eines Objekts und den Grauwert in dem von dem Objekt gewonnenen Bild in Beziehung.
Aus DE 43 32 612 A1 ist ein Außenansichtsverfahren für Kraftfahrzeuge bekannt, das durch folgende Schritte gekennzeichnet ist: Aufnahme einer Außenansicht vom eigenen Kraftfahrzeug des Fahrers aus, welches sich bewegt, Erfassung einer Bewegung eines einzelnen Punktes in zwei Bildern als ein optischer Fluss, wobei eines der beiden Bilder zu einem früheren Zeitpunkt und das andere der beiden Bilder zu einem späteren Zeitpunkt aufgenommen wird; und Überwachung einer Korrelation des eigenen Kraftfahrzeugs des Fahrers bezüglich zumindest entweder einem vorausfahrenden Kraftfahrzeug, oder einem Hindernis auf der Straße, wobei eine Gefahrenrate beurteilt wird in Abhängigkeit von einer Größe und einem Ort eines Vektors eines optischen Flusses, der von einem Punkt auf zumindest entweder dem vorausfahrenden Kraftfahrzeug, dem hinterherfahrenden Kraftfahrzeug oder dem Hindernis auf der Straße abgeleitet wird. Unter Berücksichtigung der Tatsache, dass der optische Fluss desto größer wird je kleiner die Entfernung zwischen dem eigenen Fahrzeug des Fahrers und dem vorausfahrenden Kraftfahrzeug oder Hindernis ist, oder je größer die Relativgeschwindigkeit ist, so ist dieses bekannte Verfahren so ausgelegt, dass die Gefahr von der Größe eines optischen Flusses her beurteilt werden kann, der von einem Punkt auf einem voraus fahrenden Kraftfahrzeug oder einem Hindernis auf der Straße abgeleitet wird. Daher ist es nicht besonders erforderlich, ein Abstandsmessgerät anzubringen, um die Entfernung zu einem vorausfahrenden Kraftfahrzeug zu messen.
Offenbarung der Erfindung
Technische Aufgabe
Der Erfindung liegt die Aufgabe zugrunde, die Leistungsfähigkeit eines mit einem Fahrerassistenzsystem zusammenwirkenden bordgebundenen Bildaufnahmesystems zu verbessern.
Technische Lösung
Diese Aufgabe wird durch ein Bildaufnahmesystem mit einem Bildsensor, der eine aus linearen Abschnitten zusammengesetzte Kennlinie aufweist gelöst, das Mittel für die Bestimmung der Entfernung der von dem Bildsensor abgebildeten leuchtenden Objekten umfasst.
Weiterhin durch ein Verfahren für die Bestimmung der Entfernung zwischen einem einen Bildsensor umfassenden Bildaufnahmesystem und einem sich relativ zu dem Bildaufnahmesystem bewegenden leuchtenden Objekt, das durch folgende Verfahrensschritte gekennzeichnet ist:

– Mit dem Bildsensor wird ein Bild des leuchtende Objekte umfassenden Umfelds des Bildsensors erzeugt,
– Aus dem von dem Bildsensor erzeugten Bild werden interessierende leuchtende Objekte ausgewählt,
– Bei den ausgewählten Objekten wird die sich infolge der Regelungseigenschaften des Bildsensors und der Relativgeschwindigkeit zwischen dem Bildsensor und den leuchtenden Objekten einstellende Schweifbildung des Abbildes der leuchtenden Objekte erfasst,
– Die Größe der Schweifbildung wird einem Entfernungswert zugeordnet.

Vorteile der Erfindung
Die Erfindung ermöglicht die Bestimmung der Entfernung eines Objekts, das von einem lediglich einen Bildsensor in Monotechnik aufweisenden Bildaufnahmesystem aufgenommen worden ist. Die Erfindung macht sich hier die Erkenntnis zunutze, dass bei Aufnahme eines leuchtenden Objekts mit einem Bildsensor, der eine abschnittsweise lineare Kennlinie aufweist, ein „Ausschmieren" oder eine Schweifbildung in dem Abbild des Objekts auftritt. Diese Ausschmierung ist umso größer, je näher das leuchtende Objekt dem Bildsensor ist. Als leuchtende Objekte sind insbesondere die Leuchten von Kraftfahrzeugen, wie die Rückleuchten von vorausfahrenden Kraftfahrzeugen oder die Scheinwerfer von sich im Gegenverkehr nähernden Kraftfahrzeugen, von Interesse. Bei Nachtfahrt oder witterungsbedingten schlechten Sichtverhältnissen sind die genannten Leuchten häufig die einzigen noch einigermaßen erkennbaren Teile fremder Fahrzeuge. Mit der Erfindung gelingt es somit, die Entfernung dieser Leuchten von dem Bildsensor des eigenen Fahrzeugs zu bestimmen und damit auch eine Risikobewertung zu ermöglichen. Je näher sich ein leuchtendes Objekt zu dem eigenen Kraftfahrzeug befindet desto größer ist das potentielle Risiko einer Kollision. Weitere Vorteile ergeben sich aus den Unteransprüchen und der Beschreibung.
Kurze Beschreibung der Zeichnungen
Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausführungsformen näher erläutert.
Es zeigen:
1 die Kennlinie eines Bildsensors eines Bildaufnahmesystems;
2 ein bei Nacht von einem Bildaufnahmesystem aufgenommenes Bild eines Verkehrsraums mit leuchtenden Objekten;
3 eine vergrößerte Darstellung des in 2 von dem Rahmen A eingefassten Objekts;
4 nochmals das schon in 3 dargestellte Bild mit drei durch Umrahmung gekennzeichneten leuchtenden Objekten;
5 eine vergrößerte Darstellung des in 4 durch den Rahmen B gekennzeichneten leuchtenden Objekts;
6 eine vergrößerte Darstellung des in 4 durch den Rahmen C gekennzeichneten leuchtenden Objekts;
7 eine vergrößerte Darstellung des in 4 durch den Rahmen A gekennzeichneten leuchtenden Objekts;
8 ein Blockschaltbild eines Bildaufnahmesystems.
Ausführungsformen der Erfindung
Nachfolgend wird eine Ausführungsform der Erfindung beschrieben. Die Erfindung geht von einem insbesondere fahrzeuggebundenen Bildaufnahmesystem mit lediglich einem Bildsensor, vorzugsweise einer CMOS-Kamera, aus. Die Erfindung geht weiterhin davon aus, dass zur optimalen Ausnutzung der Leistungsfähigkeit der als Bildsensor eingesetzten CMOS-Kamera eine abschnittsweise lineare Kennlinie verwendet wird. Eine derartige Kennlinie K1 ist beispielhaft in 1 dargestellt. Das Diagramm repräsentiert die Belichtungsempfindlichkeit eines Pixels des Bildsensors. Auf der Abszisse des Diagramms ist die Belichtung 10 in frei definierten virtuellen Einheiten von –200 bis 1400 eingetragen, wobei die Belichtung 10 beispielsweise ein Maß der Bestrahlungsstärke oder der Beleuchtungsstärke ist. Auf der Ordinate des Diagramms ist das Ausgangssignal 12 des Pixels des Bildsensors als frei definierte virtuelle Einheit von 0 bis 1500 aufgetragen. Das Ausgangssignal 12 kann dabei als digitales oder analoges Signal vorliegen. Die in 1 gezeigte Kennlinie K1 umfasst drei lineare Abschnitte K1.1, K1.2, K1.3 mit unterschiedlichen Steigungen. Die Kennlinie K1 setzt die absolute Helligkeit eines Objekts mit dem Grauwert in dem von dem Objekt gewonnenen Bild in Beziehung. Dadurch, dass die Kennlinie K1 abschnittsweise linear mit unterschiedlichen Steigungen der Abschnitte ist, entstehen unterschiedliche Belichtungszeiten für entsprechende Objekthelligkeiten. Als Folge kann in der Nacht bei hellen Objekten eine „Schweifbildung" (Ausschmieren) beobachtet werden, wenn sich das Bildaufnahmesystem relativ zu einem leuchtenden Objekt bewegt. Als leuchtende Objekte sind insbesondere die Leuchten von Kraftfahrzeugen, wie die Rückleuchten von vorausfahrenden Kraftfahrzeugen oder die Scheinwerfer von sich im Gegenverkehr nähernden Kraftfahrzeugen, von Interesse. Bei Nachtfahrt oder witterungsbedingten schlechten Sichtverhältnissen sind die genannten Leuchten häufig die einzigen noch einigermaßen erkennbaren Teile fremder Fahrzeuge. Mit der Erfindung gelingt es somit, die Entfernung dieser Leuchten von dem Bildsensor des eigenen Fahrzeugs zu bestimmen und damit auch eine Risikobewertung zu ermöglichen. Je näher sich ein leuchtendes Objekt zu dem eigenen Kraftfahrzeug befindet desto größer ist das potentielle Risiko einer Kollision. Mit einer Monokamera kann die metrische Entfernung eines Objekts nicht direkt gemessen, sondern nur über Hilfskonstruktionen ermittelt werden. Dies kann beispielsweise dadurch erfolgen, dass über die intrinsische Kalibrierung (Kamerahauptpunkt, Fokallänge und ggf. Verzeichnungsparameter), die extrinsische Kalibrierung (Kamerahöhe, Einbaunickwinkel zu der Straßenebene), eine Oberflächenvermessung oder alternativ, unter der Annahme einer ebenen Straße und mit Bestimmung der Objektunterkante in dem Bild, die Entfernung berechnet wird. Fehler in einem dieser Werte wirken sich dabei direkt auf die metrische Entfernungsbestimmung aus. Dabei bieten die Unterkantenbestimmung eines Objekts im Bild in Abhängigkeit von den Beleuchtungsverhältnissen und die Unsicherheit bei der Oberflächenschätzung die größten Schwierigkeiten. In Sequenzen von monokularen Bildern kann jedoch durch eine Skalierung eines erfassten Objekts auf eine zeitliche Entfernung des Objekts geschlossen werden. Geht man von zwei aufeinander folgenden Bildern aus, so kann aus dem zeitlichen Aufnahmeabstand Δt der Bilder und der relativen Größenänderung des Objekts sc (sc = scale change) auf die so genannte tta (tta = time to adjacency) geschlossen werden: tta = Δt/(sc – 1.0)
Der Wert sc = 1 bedeutet dabei, dass keine Größenänderung stattfindet. An eben dieser Stelle kommen nun die Schweifbildung (zeitliche Ausschmierung) und die Kameraregelungspatrameter in das Spiel. Die Integrationszeiten der Pixel gehen in die Berechnung von Δt ein. Die Schweifbildung, also die Geometrie der Ausschmierung, geht in die relative Größenänderung ein. Das erwähnte Ausschmieren eines erfassten leuchtenden Objekts stellt im Prinzip eine Abbildung der Bewegung des Objekts während der Aufnahmezeit dar. Diese Bewegung wird üblicherweise in Bildsequenzen durch Korrelation entsprechender Bildmerkmale bestimmt und als optischer Fluss bezeichnet.
Bei bekannter Fahrzeuggeschwindigkeit kann anhand dieses optischen Flusses die Entfernung eines von dem Bildaufnahmesystem erfassten Objekts bestimmt werden. Anstatt den optischen Fluss aus einer Bildsequenz zu bestimmen, kann hier der optische Fluss direkt gemessen werden. Die Regelungszeiten und die Schwellen der Regelung des Bildaufnahmesystems können dabei dazu verwendet werden, auf die relative Entfernung des Objekts zu schließen und auch eine Risikobewertung vorzunehmen. Beispielsweise könnte auf ein größeres Risiko bei einem näheren Objekt geschlossen werden. Anhand von 2 und 3 wird im Folgenden der Mechanismus der Schweifbildung bzw. des „Ausschmierens" bei der Erfassung eines leuchtenden Objekts mit dem Bildsensor des Bildaufnahmesystems erläutert. 2 zeigt ein bei Nacht von einem Bildaufnahmesystem aufgenommenes Bild eines Verkehrsraums mit leuchtenden Objekten. Bei dem Verkehrsraum handelt es sich offensichtlich um eine Fahrbahn mit mehreren Fahrspuren. Im Licht der Scheinwerfer des eigenen Fahrzeugs sind noch Fahrspurmarkierungen erkennbar. In dem Bild sind mehrere eng begrenzte leuchtende Objekte erkennbar, bei denen es sich um fahrzeuggebundene Lichtquellen, wie beispielsweise Rückleuchten oder Scheinwerfer, handelt. Ein herausgegriffenes leuchtendes Objekt ist in 2 mit der Bezugsziffer 20 bezeichnet und zusammen mit einem dieses umgebenden Teilbereich A des Bildes in 3 vergrößert dargestellt. Aus der vergrößerten Darstellung in 3 ist ersichtlich, dass das leuchtende Objekt 20 nicht scharf abgebildet ist, sondern eine Schweifbildung oder „Ausschmierung" zeigt. Diese Schweifbildung ist auf die Eigenschaften des Bildsensors und die Relativbewegung zwischen dem leuchtenden Objekt 20 und dem Bildsensor des Bildaufnahmesystems zurückzuführen. 4 zeigt nochmals das schon in 3 dargestellte Bild, wobei jetzt mehrere ein leuchtendes Objekt enthaltende Teilbereiche A, B, C des Bildes hervorgehoben und in den 5, 6 und 7 vergrößert dargestellt sind. Der Teilbereich A enthält wiederum das schon in 3 und nochmals in 7 dargestellte leuchtende Objekt 20. Der Teilbereich B enthält das leuchtende Objekt 21 und der Teilbereich C enthält das leuchtende Objekt 22. Der Vergleich der leuchtenden Objekte 20, 21, 22 zeigt, dass das leuchtende Objekt 20 die größte Schweifbildung oder Ausschmierung zeigt. Das leuchtende Objekt 21 hat eine geringere Schweifbildung als das leuchtende Objekt 20. Das leuchtende Objekt 22 zeigt dagegen die kleinste Schweifbildung. Daraus kann abgeleitet werden, dass das leuchtende Objekt 20 dem Bildsensor des Bildaufnahmesystems am nächsten gelegen ist. Das leuchtende Objekt 22 ist am weitesten von dem Bildsensor entfernt. Das leuchtende Objekt 21 ist weiter als das leuchtende Objekt 20 von dem Bildsensor entfernt, liegt jedoch näher an diesem als das leuchtende Objekt 22. Im Rahmen einer daraus abgeleiteten Risikobetrachtung könnte somit geschlossen werden, dass von dem leuchtenden Objekt 20, bzw. von dem das leuchtende Objekt 20 tragenden Fremdfahrzeug das größte Risikopotentials ausgeht, da es sich in größter Nähe zu dem eigenen Fahrzeug befindet. Das jeweilige Ausmaß der Schweifbildung kann zweckmäßig durch Fenster mit variabler Größe bestimmt werden, die die interessierenden leuchtenden Objekte umschließen.
8 zeigt noch, in Gestalt eines Blockschaltbildes, ein Bildaufnahmesystem 80, das beispielsweise Bestandteil eines Fahrerassistenzsystems eines Fahrzeugs ist oder mit einem derartigen Fahrerassistenzsystem zusammenarbeitet. Das Bildaufnahmesystem 80 umfasst einen Bildsensor 81, bei dem es sich vorzugsweise um eine CMOS-Kamera in Monotechnik handelt. Der Bildsensor 81 ist mit einem Steuergerät 82 verbunden, das die Bildsignale des Bildsensors 81 verarbeitet. Die mittels der Erfindung gewonnene Information über die Entfernung eines leuchtenden Objekts 20, 21, 22 lässt sich vorteilhaft für Funktionen eines Fahrerassistenzsystems wie Abstandsregelung, LDW, LKS und LCA (Lane Change Assistant) einsetzen.

Claims

Bildaufnahmesystem (80), insbesondere fahrzeuggebundenes Bildaufnahmesystem, mit einem Bildsensor (81), der eine aus linearen Abschnitten (K1.1, K1.2, K1.3) zusammengesetzte Kennlinie (K1) aufweist, umfassend Mittel für die Bestimmung der Entfernung der von dem Bildsensor (81) abgebildeten leuchtenden Objekten (20, 21, 22).
Bildaufnahmesystem nach Anspruch 1, dadurch gekennzeichnet, dass der Bildsensor (81) eine CMOS-Kamera in Monotechnik ist.
Verfahren für die Bestimmung der Entfernung zwischen einem einen Bildsensor (81) umfassenden Bildaufnahmesystem (80) und einem sich relativ zu dem Bildaufnahmesystem (80) bewegenden leuchtenden Objekt (20, 21, 22), gekennzeichnet durch folgende Verfahrensschritte: – Mit dem Bildsensor (81) wird ein Bild des leuchtende Objekte (20, 21, 22) umfassenden Umfelds des Bildsensors (81) erzeugt, – Aus dem von dem Bildsensor (81) erzeugten Bild werden interessierende leuchtende Objekte (20, 21, 22) ausgewählt, – Bei den ausgewählten Objekten (20, 21, 22) wird die sich infolge der Regelungseigenschaften des Bildsensors (81) und der Relativgeschwindigkeit zwischen dem Bildsensor (81) und den leuchtenden Objekten (20, 21, 22) einstellende Schweifbildung des Abbildes der leuchtenden Objekte (20, 21, 22) erfasst, – Die Größe der Schweifbildung wird einem Entfernungswert zugeordnet.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Ausmaß der Schweifbildung durch ein das Bild des leuchtenden Objekts (20, 21, 22) umschließendes Fenster erfasst wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die größte Schweifbildung dem kürzesten Entfernungswert zugeordnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit von der Schweifbildung eine Risikobewertung durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus dem zeitlichen Aufnahmeabstand der Bilder des Bildsensors und der relativen Größenänderung des Objekts in dem Bild die time to adjacency nach folgender Beziehung bestimmt wird: tta = Δt/(sc – 1.0)mit tta = time to adjacency, Δt = zeitlicher Aufnahmeabstand der Bilder, sc = scale change (relative Größenänderung des Objekts in dem Bild).