EP2033163A2 - Bildaufnahmesystem und verfahren für die entfernungsbestimmung mit einem bildaufnahmesystem - Google Patents

Bildaufnahmesystem und verfahren für die entfernungsbestimmung mit einem bildaufnahmesystem

Info

Publication number
EP2033163A2
EP2033163A2 EP07727909A EP07727909A EP2033163A2 EP 2033163 A2 EP2033163 A2 EP 2033163A2 EP 07727909 A EP07727909 A EP 07727909A EP 07727909 A EP07727909 A EP 07727909A EP 2033163 A2 EP2033163 A2 EP 2033163A2
Authority
EP
European Patent Office
Prior art keywords
image
image sensor
luminous
distance
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP07727909A
Other languages
English (en)
French (fr)
Inventor
Karsten Muehlmann
Alexander Wuerz-Wessel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2033163A2 publication Critical patent/EP2033163A2/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene

Definitions

  • the invention relates to an image recording system according to the preamble of claim 1 and to a method for determining the distance between an image recording system and a luminous object moving relative to the image recording system according to the preamble of claim 3.
  • An image recording system of the type in question is preferably used in motor vehicles. to gain images of the vehicle environment and, in conjunction with a driver assistance system, to facilitate the driver's guidance of the vehicle.
  • Such an image recording system comprises at least one image sensor and an optical system associated with this image sensor, which images a recording field of the vehicle surroundings onto the image sensor.
  • An important task of such a driver assistance system is the precise measurement of the distance, since only with knowledge of exact distance values lane and distance monitoring systems on an optical basis with functions such as Lane Departure Warning (LDW) and
  • LDW Lane Departure Warning
  • LKS Lik Keeping Support
  • image sensors used in such imaging systems must cover a wide range of process different illuminance levels, in order to be able to deliver usable output signals on the one hand in blazing sun and on the other hand in sparse illuminated tunnels. Whereas in conventional image sensors the exposure sensitivity often follows a fixed linear or logarithmic characteristic curve, image sensors have already been proposed (DE 103 01 898 A1) in which these
  • Characteristic curve in individual linear sections is individually adjustable. Such a characteristic relates the absolute brightness of an object and the gray value in the image obtained from the object.
  • an exterior view method for motor vehicles is known, which is characterized by the following steps: taking an outside view of the driver's own motor vehicle moving, detecting a movement of a single point in two images as an optical flow, one of the two Pictures taken at an earlier time and the other of the two pictures at a later date; and monitoring a correlation of one's own
  • a driver's motor vehicle relative to at least one of a preceding vehicle and an obstacle on the road wherein a danger rate is judged depending on a magnitude and location of a vector of optical flow from a point on at least one of the preceding vehicle, the following motor vehicle or the obstacle on the road is derived.
  • this known method is designed so that the danger of the Magnitude of an optical flux derived from a point on a preceding vehicle or an obstacle on the road. Therefore, it is not particularly necessary to mount a distance measuring device to measure the distance to a preceding vehicle. Disclosure of the invention
  • the object of the invention is to improve the performance of a board-bound image recording system cooperating with a driver assistance system.
  • an image acquisition system having an image sensor having a characteristic composed of linear sections, which comprises means for determining the distance of the illuminated objects imaged by the image sensor.
  • an image of the luminous objects is included
  • the image generated by the image sensor becomes luminous ones of interest
  • the size of the tailing is assigned to a distance value.
  • the invention makes it possible to determine the distance of an object, that of an image acquisition system having only an image sensor in mono technology - A -
  • the invention makes use of the finding here that when a luminous object is recorded with an image sensor which has a sectionally linear characteristic, "scraping out” or tailing occurs in the image of the object
  • the object is the image sensor
  • Motor vehicles such as the taillights of vehicles driving in front or the headlights of approaching motor vehicles, of interest. When driving at night or weather-related poor visibility are mentioned
  • FIG. 1 shows the characteristic curve of an image sensor of an image recording system
  • FIG. 2 shows an image of a traffic space with luminous objects taken at night by an image-recording system
  • Figure 3 is an enlarged view of the bordered in Figure 2 of the frame A.
  • FIG. 4 shows again the picture already shown in FIG. 3 with three luminous objects marked by framing;
  • Figure 5 is an enlarged view of the illuminated in Figure 4 by the frame B luminous object;
  • FIG. 6 is an enlarged view of the luminous object indicated by frame C in FIG.
  • Figure 7 is an enlarged view of the illuminated in Figure 4 by the frame A luminous object
  • FIG. 8 is a block diagram of an image recording system.
  • the invention is based on an in particular vehicle-mounted image acquisition system with only one image sensor, preferably a CMO S camera.
  • the invention further assumes that a sectionally linear characteristic curve is used for optimum utilization of the performance of the CMOS camera used as an image sensor.
  • a characteristic curve Kl is shown by way of example in FIG.
  • the diagram represents the exposure sensitivity of a pixel of the image sensor.
  • the exposure 10 is entered in freely defined virtual units of -200 to 1400, the exposure 10 being, for example, a measure of the irradiance or the illuminance.
  • the output signal 12 of the pixel of the image sensor is a freely defined virtual unit of
  • the output signal 12 can be present as a digital or analog signal.
  • the characteristic line K1 shown in FIG. 1 comprises three linear sections K1.1, K.2, K1.3 with different gradients.
  • the characteristic K L relates the absolute brightness of an object to the gray value in the image obtained from the object. Characterized in that the characteristic curve Kl in sections linear with different
  • Gradients of the sections is, arise different exposure times for corresponding object brightnesses.
  • light objects may experience "tailing" when the image pickup system moves relative to a luminous object.
  • "As illuminating objects are, in particular, the lights of automobiles, such as the taillights of preceding vehicles or the headlights of approaching motor vehicles, of interest. At night or weather-related poor visibility, the lights are often the only still reasonably recognizable parts of foreign vehicles.
  • the metric distance of an object can not be measured directly, but can only be determined using auxiliary structures. This can be done, for example, by using the intrinsic calibration
  • the value sc 1 means that there is no change in size.
  • the integration times of the pixels are included in the calculation of ⁇ t.
  • the formation of the tail that is the geometry of the embossing, enters into the relative change in size.
  • the mentioned wiping out of a detected luminous object represents, in principle, an imaging of the movement of the object during the recording time. This movement is usually determined in image sequences by correlation of corresponding image features and referred to as optical flow. At a known vehicle speed, the distance of an object detected by the image acquisition system can be determined from this optical flow. Instead of determining the optical flow from an image sequence, the optical flux can be measured directly here.
  • control times and the thresholds of the control of the image acquisition system can be used to conclude on the relative distance of the object and also to carry out a risk assessment. For example, a greater risk could be associated with a closer object.
  • a greater risk could be associated with a closer object.
  • the mechanism of tailing or "scraping out" in the detection of a luminous object with the image sensor of the image recording system will be explained with reference to Figure 2 and Figure 3.
  • Figure 2 shows one at night of one
  • Image acquisition system recorded image of a traffic area with luminous objects.
  • the traffic area is obviously a lane with several lanes. In the light of the headlights of the own vehicle lane markings are still recognizable.
  • several narrowly-lit luminous objects can be seen, which are vehicle-mounted light sources, such as taillights or headlights.
  • An extracted luminous object is designated by the reference numeral 20 in FIG. 2 and shown enlarged in FIG. 3 together with a subarea A of the image surrounding it. It can be seen from the enlarged illustration in FIG. 3 that the luminous object 20 is not sharply imaged but shows a tailing or "thinning out".
  • FIG. 4 again shows the image already shown in FIG. 3, with several subareas A, B, C of the image now containing a luminous object being highlighted and being enlarged in FIGS. 5, 6 and 7.
  • the comparison of the luminous objects 20, 21, 22 shows that the luminous object 20 shows the greatest tailing or embossing.
  • the luminous object 21 has less tailing than the luminous object 20.
  • the luminous object 22 shows the smallest tail formation. It can be deduced that the luminous object 20 is closest to the image sensor of the image acquisition system. The luminous object 22 is farthest from the image sensor. The luminous object 21 is farther away from the image sensor than the luminous object 20, but is closer to it than the luminous object 20 luminous object 22. Within the framework of a risk assessment derived from this, it could therefore be concluded that the greatest risk potential emanates from the luminous object 20 or from the other vehicle carrying the luminous object 20, since it is in the greatest proximity to its own vehicle. The particular extent of tailing may be conveniently determined by variable size windows enclosing the luminous objects of interest.
  • FIG. 8 also shows, in the form of a block diagram, an image acquisition system 80 which, for example, is part of a driver assistance system of a vehicle or works together with such a driver assistance system.
  • the image acquisition system 80 includes an image sensor 81, which is preferably a mono-CMOS camera.
  • the image sensor 81 is connected to a controller 82 which processes the image signals of the image sensor 81.
  • the information obtained by the invention about the distance of a luminous object 20, 21, 22 can be
  • driver assistance system such as distance control, LDW, LKS and LCA (Lane Change Assistant) use.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein insbesondere fahrzeuggebundenes Bildaufnahmesystem (80) mit einem Bildsensor (81), der eine aus linearen Abschnitten (K1.1, K1.2, K1.3) zusammengesetzte Kennlinie (K1) aufweist, umfassend Mittel für die Bestimmung der Entfernung der von dem Bildsensor (81) abgebildeten leuchtenden Objekten (20, 21, 22).

Description

Beschreibung
Titel
Bildaufnahmesystem und Verfahren für die Entfernungsbestimmung mit einem
Bildaufhahmesystem
Stand der Technik
Die Erfindung betrifft ein Bildaufnahmesystem nach dem Oberbegriff des Anspruchs 1 und ein Verfahren für die Entfernungsbestimmung zwischen einem Bildaufhahmesystem und einem sich relativ zu dem Bildaufhahmesystem bewegenden leuchtenden Objekt nach dem Oberbegriff des Anspruchs 3. Ein Bildaufhahmesystem der in Rede stehenden Art wird vorzugsweise in Kraftfahrzeugen eingesetzt, um Bilder des Fahrzeugumfelds zu gewinnen und, in Verbindung mit einem Fahrerassistenzsystem, dem Fahrer die Führung des Fahrzeugs zu erleichtern. Ein derartiges Bildaufhahmesystem umfasst wenigstens einen Bildsensor und ein diesem Bildsensor zugeordnetes optisches System, das ein Aufnahmefeld des Fahrzeugumfelds auf den Bildsensor abbildet. Eine wichtige Aufgabe eines solchen Fahrerassistenzsystems ist die präzise Messung des Abstands, da nur mit Kenntnis genauer Abstandswerte Fahrspur- und Abstandsüberwachungssysteme auf optischer Basis mit Funktionen wie beispielsweise LDW (Lane Departure Warning) und
LKS (Lane Keeping Support) zuverlässig genug funktionieren. Es sind bereits Bildaufnahmesysteme unter Verwendung von zwei Kameras bekannt, die ein Stereobildpaar eines Objekts erzeugen, wobei die Inhalte eines Bildes leicht gegenüber dem anderen Bild verschoben sind. Diese Verschiebung wird als Disparität bezeichnet. Bei bekannter Anordnung der Kameras kann aus der gemessenen Disparität auf die
Entfernung des Objekts von den Kameras geschlossen werden. Bei einem Bildaufhahmesystem mit lediglich einem Bildsensor kann jedoch die Disparität nicht
mehr ohne weiteres erfasst werden, da kein Stereobild erzeugt wird. Die bei derartigen Bildaufnahmesystemen verwendeten Bildsensoren müssen einen weiten Bereich von unterschiedlichen Beleuchtungsstärken verarbeiten, um einerseits in praller Sonne und andererseits in spärlich beleuchteten Tunnels noch brauchbare Ausgangssignale liefern zu können. Während bei herkömmlichen Bildsensoren die Belichtungsempfindlichkeit häufig einer fest eingestellten linearen oder logarithmischen Kennlinie folge, wurden bereits auch schon Bildsensoren vorgeschlagen (DE 103 01 898 Al), bei denen diese
Kennlinie in einzelnen linearen Abschnitten individuell einstellbar ist. Eine solche Kennlinie setzt die absolute Helligkeit eines Objekts und den Grauwert in dem von dem Objekt gewonnenen Bild in Beziehung.
Aus DE 4332612 Al ist ein Außenansichtsverfahren für Kraftfahrzeuge bekannt, das durch folgende Schritte gekennzeichnet ist: Aufnahme einer Außenansicht vom eigenen Kraftfahrzeug des Fahrers aus, welches sich bewegt, Erfassung einer Bewegung eines einzelnen Punktes in zwei Bildern als ein optischer Fluss, wobei eines der beiden Bilder zu einem früheren Zeitpunkt und das andere der beiden Bilder zu einem späteren Zeitpunkt aufgenommen wird; und Überwachung einer Korrelation des eigenen
Kraftfahrzeugs des Fahrers bezüglich zumindest entweder einem vorausfahrenden Kraftfahrzeug, oder einem Hindernis auf der Straße, wobei eine Gefahrenrate beurteilt wird in Abhängigkeit von einer Größe und einem Ort eines Vektors eines optischen Flusses, der von einem Punkt auf zumindest entweder dem vorausfahrenden Kraftfahrzeug, dem hinterherfahrenden Kraftfahrzeug oder dem Hindernis auf der Straße abgeleitet wird. Unter Berücksichtigung der Tatsache, dass der optische Fluss desto größer wird je kleiner die Entfernung zwischen dem eigenen Fahrzeug des Fahrers und dem vorausfahrenden Kraftfahrzeug oder Hindernis ist, oder je größer die Relativgeschwindigkeit ist, so ist dieses bekannte Verfahren so ausgelegt, dass die Gefahr von der Größe eines optischen Flusses her beurteilt werden kann, der von einem Punkt auf einem voraus fahrenden Kraftfahrzeug oder einem Hindernis auf der Straße abgeleitet wird. Daher ist es nicht besonders erforderlich, ein Abstandsmessgerät anzubringen, um die Entfernung zu einem vorausfahrenden Kraftfahrzeug zu messen. Offenbarung der Erfindung
Technische Aufgabe
Der Erfindung liegt die Aufgabe zugrunde, die Leistungsfähigkeit eines mit einem Fahrerassistenzsystem zusammenwirkenden bordgebundenen Bildaufnahmesystems zu verbessern.
Technische Lösung
Diese Aufgabe wird durch ein Bildaufnahmesystem mit einem Bildsensor, der eine aus linearen Abschnitten zusammengesetzte Kennlinie aufweist gelöst, das Mittel für die Bestimmung der Entfernung der von dem Bildsensor abgebildeten leuchtenden Objekten umfasst.
Weiterhin durch ein Verfahren für die Bestimmung der Entfernung zwischen einem einen Bildsensor umfassenden Bildaufnahmesystem und einem sich relativ zu dem Bildaufnahmesystem bewegenden leuchtenden Objekt, das durch folgende Verfahrensschritte gekennzeichnet ist:
Mit dem Bildsensor wird ein Bild des leuchtende Objekte umfassenden
Umfelds des Bildsensors erzeugt,
Aus dem von dem Bildsensor erzeugten Bild werden interessierende leuchtende
Objekte ausgewählt, - Bei den ausgewählten Objekten wird die sich infolge der
Regelungseigenschaften des Bildsensors und der Relativgeschwindigkeit zwischen dem Bildsensor und den leuchtenden Objekten einstellende Schweifbildung des Abbildes der leuchtenden Objekte erfasst, Die Größe der Schweifbildung wird einem Entfernungswert zugeordnet.
Vorteile der Erfindung
Die Erfindung ermöglicht die Bestimmung der Entfernung eines Objekts, das von einem lediglich einen Bildsensor in Monotechnik aufweisenden Bildaufnahmesystem - A -
aufgenommen worden ist. Die Erfindung macht sich hier die Erkenntnis zunutze, dass bei Aufnahme eines leuchtenden Objekts mit einem Bildsensor, der eine abschnittsweise lineare Kennlinie aufweist, ein „Ausschmieren" oder eine Schweifbildung in dem Abbild des Objekts auftritt. Diese Ausschmierung ist umso größer, je näher das leuchtende Objekt dem Bildsensor ist. Als leuchtende Objekte sind insbesondere die Leuchten von
Kraftfahrzeugen, wie die Rückleuchten von vorausfahrenden Kraftfahrzeugen oder die Scheinwerfer von sich im Gegenverkehr nähernden Kraftfahrzeugen, von Interesse. Bei Nachtfahrt oder witterungsbedingten schlechten Sichtverhältnissen sind die genannten
Leuchten häufig die einzigen noch einigermaßen erkennbaren Teile fremder Fahrzeuge.
Mit der Erfindung gelingt es somit, die Entfernung dieser Leuchten von dem Bildsensor des eigenen Fahrzeugs zu bestimmen und damit auch eine Risikobewertung zu ermöglichen. Je näher sich ein leuchtendes Objekt zu dem eigenen Kraftfahrzeug befindet desto größer ist das potentielle Risiko einer Kollision. Weitere Vorteile ergeben sich aus den Unteransprüchen und der Beschreibung.
Kurze Beschreibung der Zeichnungen
Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten
Ausführungsformen näher erläutert.
Es zeigen:
Figur 1 die Kennlinie eines Bildsensors eines Bildaufhahmesystems;
Figur 2 ein bei Nacht von einem Bildaufhahmesystem aufgenommenes Bild eines Verkehrsraums mit leuchtenden Objekten;
Figur 3 eine vergrößerte Darstellung des in Figur 2 von dem Rahmen A eingefassten
Objekts;
Figur 4 nochmals das schon in Figur 3 dargestellte Bild mit drei durch Umrahmung gekennzeichneten leuchtenden Objekten; Figur 5 eine vergrößerte Darstellung des in Figur 4 durch den Rahmen B gekennzeichneten leuchtenden Objekts;
Figur 6 eine vergrößerte Darstellung des in Figur 4 durch den Rahmen C gekennzeichneten leuchtenden Objekts;
Figur 7 eine vergrößerte Darstellung des in Figur 4 durch den Rahmen A gekennzeichneten leuchtenden Objekts;
Figur 8 ein Blockschaltbild eines Bildaufhahmesystems.
Ausführungsformen der Erfindung
Nachfolgend wird eine Ausführungsform der Erfindung beschrieben. Die Erfindung geht von einem insbesondere fahrzeuggebundenen Bildaufnahmesystem mit lediglich einem Bildsensor, vorzugsweise einer CMO S -Kamera, aus. Die Erfindung geht weiterhin davon aus, dass zur optimalen Ausnutzung der Leistungsfähigkeit der als Bildsensor eingesetzten CMOS-Kamera eine abschnittsweise lineare Kennlinie verwendet wird. Eine derartige Kennlinie Kl ist beispielhaft in Figur 1 dargestellt. Das Diagramm repräsentiert die Belichtungsempfindlichkeit eines Pixels des Bildsensors. Auf der Abszisse des Diagramms ist die Belichtung 10 in frei definierten virtuellen Einheiten von -200 bis 1400 eingetragen, wobei die Belichtung 10 beispielsweise ein Maß der Bestrahlungsstärke oder der Beleuchtungsstärke ist. Auf der Ordinate des Diagramms ist das Ausgangssignal 12 des Pixels des Bildsensors als frei definierte virtuelle Einheit von
0 bis 1500 aufgetragen. Das Ausgangssignal 12 kann dabei als digitales oder analoges Signal vorliegen. Die in Figur 1 gezeigte Kennlinie Kl umfasst drei lineare Abschnitte Kl.1, Kl.2, Kl.3 mit unterschiedlichen Steigungen. Die Kennlinie Kl setzt die absolute Helligkeit eines Objekts mit dem Grauwert in dem von dem Objekt gewonnenen Bild in Beziehung. Dadurch, dass die Kennlinie Kl abschnittsweise linear mit unterschiedlichen
Steigungen der Abschnitte ist, entstehen unterschiedliche Belichtungszeiten für entsprechende Objekthelligkeiten. Als Folge kann in der Nacht bei hellen Objekten eine „Schweifbildung" (Ausschmieren) beobachtet werden, wenn sich das Bildaufnahmesystem relativ zu einem leuchtenden Objekt bewegt. Als leuchtende Objekte sind insbesondere die Leuchten von Kraftfahrzeugen, wie die Rückleuchten von vorausfahrenden Kraftfahrzeugen oder die Scheinwerfer von sich im Gegenverkehr nähernden Kraftfahrzeugen, von Interesse. Bei Nachtfahrt oder witterungsbedingten schlechten Sichtverhältnissen sind die genannten Leuchten häufig die einzigen noch einigermaßen erkennbaren Teile fremder Fahrzeuge. Mit der Erfindung gelingt es somit, die Entfernung dieser Leuchten von dem Bildsensor des eigenen Fahrzeugs zu bestimmen und damit auch eine Risikobewertung zu ermöglichen. Je näher sich ein leuchtendes Objekt zu dem eigenen Kraftfahrzeug befindet desto größer ist das potentielle Risiko einer Kollision. Mit einer Monokamera kann die metrische Entfernung eines Objekts nicht direkt gemessen, sondern nur über Hilfskonstruktionen ermittelt werden. Dies kann beispielsweise dadurch erfolgen, dass über die intrinsische Kalibrierung
(Kamerahauptpunkt, Fokallänge und ggf. Verzeichnungsparameter), die extrinsische Kalibrierung (Kamerahöhe, Einbaunickwinkel zu der Straßenebene), eine Oberflächenvermessung oder alternativ, unter der Annahme einer ebenen Straße und mit Bestimmung der Objektunterkante in dem Bild, die Entfernung berechnet wird. Fehler in
einem dieser Werte wirken sich dabei direkt auf die metrische Entfernungsbestimmung aus. Dabei bieten die Unterkantenbestimmung eines Objekts im Bild in Abhängigkeit von den Beleuchtungsverhältnissen und die Unsicherheit bei der Oberflächenschätzung die größten Schwierigkeiten. In Sequenzen von monokularen Bildern kann jedoch durch eine Skalierung eines erfassten Objekts auf eine zeitliche Entfernung des Objekts geschlossen werden. Geht man von zwei aufeinander folgenden Bildern aus, so kann aus dem zeitlichen Aufnahmeabstand Δt der Bilder und der relativen Größenänderung des Objekts sc (sc = scale change) auf die so genannte tta (tta = time to adjacency) geschlossen werden:
tta = At /(sc -1.0)
Der Wert sc = 1 bedeutet dabei, dass keine Größenänderung stattfindet. An eben dieser Stelle kommen nun die Schweifbildung (zeitliche Ausschmierung) und die Kameraregelungspatrameter in das Spiel. Die Integrationszeiten der Pixel gehen in die Berechnung von Δt ein. Die Schweifbildung, also die Geometrie der Ausschmierung, geht in die relative Größenänderung ein. Das erwähnte Ausschmieren eines erfassten leuchtenden Objekts stellt im Prinzip eine Abbildung der Bewegung des Objekts während der Aufnahmezeit dar. Diese Bewegung wird üblicherweise in Bildsequenzen durch Korrelation entsprechender Bildmerkmale bestimmt und als optischer Fluss bezeichnet. Bei bekannter Fahrzeuggeschwindigkeit kann anhand dieses optischen Flusses die Entfernung eines von dem Bildaufnahmesystem erfassten Objekts bestimmt werden. Anstatt den optischen Fluss aus einer Bildsequenz zu bestimmen, kann hier der optische Fluss direkt gemessen werden. Die Regelungszeiten und die Schwellen der Regelung des Bildaufnahmesystems können dabei dazu verwendet werden, auf die relative Entfernung des Objekts zu schließen und auch eine Risikobewertung vorzunehmen. Beispielsweise könnte auf ein größeres Risiko bei einem näheren Objekt geschlossen werden. Anhand von Figur 2 und Figur 3 wird im Folgenden der Mechanismus der Schweifbildung bzw. des „Ausschmierens" bei der Erfassung eines leuchtenden Objekts mit dem Bildsensor des Bildaufnahmesystems erläutert. Figur 2 zeigt ein bei Nacht von einem
Bildaufnahmesystem aufgenommenes Bild eines Verkehrsraums mit leuchtenden Objekten. Bei dem Verkehrsraum handelt es sich offensichtlich um eine Fahrbahn mit mehreren Fahrspuren. Im Licht der Scheinwerfer des eigenen Fahrzeugs sind noch Fahrspurmarkierungen erkennbar. In dem Bild sind mehrere eng begrenzte leuchtende Objekte erkennbar, bei denen es sich um fahrzeuggebundene Lichtquellen, wie beispielsweise Rückleuchten oder Scheinwerfer, handelt. Ein herausgegriffenes leuchtendes Objekt ist in Figur 2 mit der Bezugsziffer 20 bezeichnet und zusammen mit einem dieses umgebenden Teilbereich A des Bildes in Figur 3 vergrößert dargestellt. Aus der vergrößerten Darstellung in Figur 3 ist ersichtlich, dass das leuchtende Objekt 20 nicht scharf abgebildet ist, sondern eine Schweifbildung oder „Ausschmierung" zeigt.
Diese Schweifbildung ist auf die Eigenschaften des Bildsensors und die Relativbewegung zwischen dem leuchtenden Objekt 20 und dem Bildsensor des Bildaufnahmesystems zurückzuführen. Figur 4 zeigt nochmals das schon in Figur 3 dargestellte Bild, wobei jetzt mehrere ein leuchtendes Objekt enthaltende Teilbereiche A, B, C des Bildes hervorgehoben und in den Figuren 5, 6 und 7 vergrößert dargestellt sind. Der Teilbereich
A enthält wiederum das schon in Figur 3 und nochmals in Figur 7 dargestellte leuchtende Objekt 20. Der Teilbereich B enthält das leuchtende Objekt 21 und der Teilbereich C enthält das leuchtende Objekt 22. Der Vergleich der leuchtenden Objekte 20, 21, 22 zeigt, dass das leuchtende Objekt 20 die größte Schweifbildung oder Ausschmierung zeigt. Das leuchtende Objekt 21 hat eine geringere Schweifbildung als das leuchtende Objekt 20.
Das leuchtende Objekt 22 zeigt dagegen die kleinste Schweifbildung. Daraus kann abgeleitet werden, dass das leuchtende Objekt 20 dem Bildsensor des Bildaufnahmesystems am nächsten gelegen ist. Das leuchtende Objekt 22 ist am weitesten von dem Bildsensor entfernt. Das leuchtende Objekt 21 ist weiter als das leuchtende Objekt 20 von dem Bildsensor entfernt, liegt jedoch näher an diesem als das leuchtende Objekt 22. Im Rahmen einer daraus abgeleiteten Risikobetrachtung könnte somit geschlossen werden, dass von dem leuchtenden Objekt 20, bzw. von dem das leuchtende Objekt 20 tragenden Fremdfahrzeug das größte Risikopotentials ausgeht, da es sich in größter Nähe zu dem eigenen Fahrzeug befindet. Das jeweilige Ausmaß der Schweifbildung kann zweckmäßig durch Fenster mit variabler Größe bestimmt werden, die die interessierenden leuchtenden Objekte umschließen.
Figur 8 zeigt noch, in Gestalt eines Blockschaltbildes, ein Bildaufnahmesystem 80, das beispielsweise Bestandteil eines Fahrerassistenzsystems eines Fahrzeugs ist oder mit einem derartigen Fahrerassistenzsystem zusammenarbeitet. Das Bildaufnahmesystem 80 umfasst einen Bildsensor 81, bei dem es sich vorzugsweise um eine CMOS-Kamera in Monotechnik handelt. Der Bildsensor 81 ist mit einem Steuergerät 82 verbunden, das die Bildsignale des Bildsensors 81 verarbeitet. Die mittels der Erfindung gewonnene Information über die Entfernung eines leuchtenden Objekts 20, 21, 22 lässt sich
vorteilhaft für Funktionen eines Fahrerassistenzsystems wie Abstandsregelung, LDW, LKS und LCA (Lane Change Assistant) einsetzen.

Claims

Ansprüche
1. Bildaufhahmesystem (80), insbesondere fahrzeuggebundenes Bildaufnahmesystem, mit einem Bildsensor (81), der eine aus linearen Abschnitten (Kl.1, Kl.2, Kl.3) zusammengesetzte Kennlinie (Kl) aufweist, umfassend Mittel für die Bestimmung der Entfernung der von dem Bildsensor (81) abgebildeten leuchtenden Objekten (20,
21, 22).
2. Bildaufnahmesystem nach Anspruch 1, dadurch gekennzeichnet, dass der Bildsensor (81) eine CMOS-Kamera in Monotechnik ist.
3. Verfahren für die Bestimmung der Entfernung zwischen einem einen Bildsensor (81) umfassenden Bildaufnahmesystem (80) und einem sich relativ zu dem Bildaufnahmesystem (80) bewegenden leuchtenden Objekt (20, 21, 22), gekennzeichnet durch folgende Verfahrensschritte: - Mit dem Bildsensor (81) wird ein Bild des leuchtende Objekte (20, 21, 22) umfassenden Umfelds des Bildsensors (81) erzeugt, Aus dem von dem Bildsensor (81) erzeugten Bild werden interessierende leuchtende Objekte (20, 21, 22) ausgewählt, Bei den ausgewählten Objekten (20, 21, 22) wird die sich infolge der Regelungseigenschaften des Bildsensors (81) und der Relativgeschwindigkeit zwischen dem Bildsensor (81) und den leuchtenden Objekten (20, 21, 22) einstellende Schweifbildung des Abbildes der leuchtenden Objekte (20, 21, 22) erfasst, Die Größe der Schweifbildung wird einem Entfernungswert zugeordnet.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Ausmaß der Schweifbildung durch ein das Bild des leuchtenden Objekts (20, 21, 22) umschließendes Fenster erfasst wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die größte Schweifbildung dem kürzesten Entfernungswert zugeordnet wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit von der Schweifbildung eine Risikobewertung durchgeführt wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus dem zeitlichen Aufnahmeabstand der Bilder des Bildsensors und der relativen
Größenänderung des Objekts in dem Bild die time to adjacency nach folgender Beziehung bestimmt wird:
tta = At /(sc - 1.0)
mit tta = time to adjacency,
Δt = zeitlicher Aufnahmeabstand der Bilder, sc = scale change (relative Größenänderung des Objekts in dem Bild).
EP07727909A 2006-06-12 2007-04-10 Bildaufnahmesystem und verfahren für die entfernungsbestimmung mit einem bildaufnahmesystem Withdrawn EP2033163A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006027121A DE102006027121A1 (de) 2006-06-12 2006-06-12 Bildaufnahmesystem und Verfahren für die Entfernungsbestimmung mit einem Bildaufnahmesystem
PCT/EP2007/053441 WO2007144213A2 (de) 2006-06-12 2007-04-10 Bildaufnahmesystem und verfahren für die entfernungsbestimmung mit einem bildaufnahmesystem

Publications (1)

Publication Number Publication Date
EP2033163A2 true EP2033163A2 (de) 2009-03-11

Family

ID=38663818

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07727909A Withdrawn EP2033163A2 (de) 2006-06-12 2007-04-10 Bildaufnahmesystem und verfahren für die entfernungsbestimmung mit einem bildaufnahmesystem

Country Status (4)

Country Link
US (1) US8896690B2 (de)
EP (1) EP2033163A2 (de)
DE (1) DE102006027121A1 (de)
WO (1) WO2007144213A2 (de)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009001614B4 (de) 2009-03-17 2019-10-10 Robert Bosch Gmbh Verfahren und Steuergerät zum Abbilden einer nichtlinearen Kennlinie
DE102009055269B4 (de) 2009-12-23 2012-12-06 Robert Bosch Gmbh Verfahren zur Bestimmung der Relativbewegung mittels einer HDR-Kamera
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
DE102011079141A1 (de) 2011-07-14 2013-01-17 Robert Bosch Gmbh Programmierbare Kamera, Programmiervorrichtung, Programmierbares Kamerasystem und Verfahren zur Programmierung
TWI526706B (zh) * 2011-10-05 2016-03-21 原相科技股份有限公司 影像系統
JP6045889B2 (ja) * 2012-11-27 2016-12-14 クラリオン株式会社 車載用制御装置
JP5987660B2 (ja) * 2012-11-30 2016-09-07 富士通株式会社 画像処理装置、画像処理方法及びプログラム
US8983705B2 (en) 2013-04-30 2015-03-17 Google Inc. Methods and systems for detecting weather conditions including fog using vehicle onboard sensors
US9025140B2 (en) * 2013-05-07 2015-05-05 Google Inc. Methods and systems for detecting weather conditions including sunlight using vehicle onboard sensors
US9632210B2 (en) 2013-05-07 2017-04-25 Google Inc. Methods and systems for detecting weather conditions using vehicle onboard sensors
US9207323B2 (en) 2013-04-11 2015-12-08 Google Inc. Methods and systems for detecting weather conditions including wet surfaces using vehicle onboard sensors
US10247854B2 (en) 2013-05-07 2019-04-02 Waymo Llc Methods and systems for detecting weather conditions using vehicle onboard sensors
US9321461B1 (en) 2014-08-29 2016-04-26 Google Inc. Change detection using curve alignment
US9248834B1 (en) 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
US9616773B2 (en) 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
US10712160B2 (en) 2015-12-10 2020-07-14 Uatc, Llc Vehicle traction map for autonomous vehicles
US9841763B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
US9840256B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
US9990548B2 (en) 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system
US9672446B1 (en) * 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
US10678262B2 (en) 2016-07-01 2020-06-09 Uatc, Llc Autonomous vehicle localization using image analysis and manipulation
IT201600094414A1 (it) * 2016-09-20 2018-03-20 St Microelectronics Srl Un procedimento per rilevare un veicolo in sorpasso, relativo sistema di elaborazione, sistema di rilevazione di un veicolo in sorpasso e veicolo
FR3092176B1 (fr) * 2019-01-29 2021-02-19 Alessandro Manneschi Scanner corporel de sécurité à double champs

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4257703A (en) * 1979-03-15 1981-03-24 The Bendix Corporation Collision avoidance using optical pattern growth rate
DE4332612C2 (de) 1992-09-25 1996-02-22 Yazaki Corp Außenansichts-Überwachungsverfahren für Kraftfahrzeuge
US6611210B2 (en) * 1996-12-03 2003-08-26 Inductive Signature Technologies, Inc. Automotive vehicle classification and identification by inductive signature
JP3866349B2 (ja) * 1996-12-27 2007-01-10 富士重工業株式会社 車両の衝突防止装置
US6734896B2 (en) * 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
FI20001568L (fi) * 2000-06-30 2001-12-31 Thermo Radiometrie Oy Pinnan muotojen määrittäminen
JP2004506279A (ja) * 2000-08-04 2004-02-26 シュレージ，マーチン，エイチ． 音響通信システム
US7124027B1 (en) * 2002-07-11 2006-10-17 Yazaki North America, Inc. Vehicular collision avoidance system
FR2848935B1 (fr) * 2002-12-20 2005-04-29 Valeo Vision Procede de detection de virages sur une route et systeme de mise en oeuvre
DE10301898A1 (de) * 2003-01-17 2004-08-05 Robert Bosch Gmbh Verfahren zur Einstellung eines Bildsensors
US8064684B2 (en) * 2003-04-16 2011-11-22 Massachusetts Institute Of Technology Methods and apparatus for visualizing volumetric data using deformable physical object
US20040213463A1 (en) * 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
UA82378C2 (en) * 2003-07-25 2008-04-10 Государственное Учреждение "Федеральное Агентство По Правовой Защите Результатов Интеллектуальной Деятельности Военного, Специального И Двойного Назначения" При Министерстве Юстиции Российской Федерации Aviation simulator
FR2875091B1 (fr) * 2004-09-08 2006-11-24 Citilog Sa Procede et dispositif pour stabiliser les images donnees par une camera video
DE102004050990A1 (de) * 2004-09-30 2006-04-06 Robert Bosch Gmbh Verfahren zur Darstellung eines von einer Videokamera aufgenommenen Bildes
FR2884637B1 (fr) * 2005-04-19 2007-06-29 Valeo Vision Sa Procede de detection de brouillard nocturne et systeme de mise en oeuvre de ce procede
EP1790541A2 (de) * 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Verfahren und Systeme zur Erfassung von Behinderungen in einem Blickfeld einer Kamera

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2007144213A2 *

Also Published As

Publication number Publication date
US8896690B2 (en) 2014-11-25
DE102006027121A1 (de) 2007-12-13
WO2007144213A2 (de) 2007-12-21
US20090322872A1 (en) 2009-12-31
WO2007144213A3 (de) 2008-04-17

Similar Documents

Publication Publication Date Title
EP2033163A2 (de) Bildaufnahmesystem und verfahren für die entfernungsbestimmung mit einem bildaufnahmesystem
EP2558336B1 (de) Verfahren und vorrichtung zur fahrerunterstützung beim fahren eines fahrzeugs durch detektion von wetterbedingten sichteinschränkungen
EP1504960B1 (de) Verfahren und Vorrichtung zur Verbesserung der Sicht in einem Kraftfahrzeug
DE19743580A1 (de) Verfahren und Anordnung zur Ermittlung der Lichtverhältnisse in Front eines beweglichen Gegenstandes insbesondere vor einem Kraftfahrzeug
EP2150939B1 (de) Verfahren und vorrichtung zum bestimmen der position eines verkehrszeichens
DE102012023706A1 (de) Fahrzeugseitiges Verfahren und fahrzeugseitige Vorrichtung zum Erfassen und Anzeigen von Parklücken für ein Fahrzeug
DE102016212405A1 (de) Fahrzeugbildverarbeitungsvorrichtung und Fahrzeugbildverarbeitungssystem
WO1999037503A1 (de) Überwachungssystem für fahrzeuge
EP3183721A1 (de) Verfahren und achsenzähl-vorrichtung zur berührungslosen achsenzählung eines fahrzeugs sowie achsenzählsystem für den strassenverkehr
DE102007014295A1 (de) Sichtweitenmessvorrichtung für ein Fahrzeug und Fahrassistenzsystem
DE102016206493A1 (de) Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
WO2006063546A1 (de) Verfahren und vorrichtung zur ermittlung einer fahrzeuggeschwindigkeit
EP1303768A1 (de) Verfahren zur sichtweitenbestimmung
DE102013022076A1 (de) Verfahren zum Bestimmen einer Breite eines Zielfahrzeugs mittels eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102018004782A1 (de) Verfahren und Vorrichtung zum Erfassen einer Umgebung, sowie Fahrzeug mit einer solchen Vorrichtung
DE102010033786A1 (de) Verfahren zur Erfassung und Anzeige seitlich neben und seitlich hinter einem Fahrzeug befindlicher Bereiche und Fahrzeug mit mehreren Bilderfassungseinheiten zur Erfassung seitlich neben und seitlich hinter dem Fahrzeug befindlicher Bereiche
DE102018204451A1 (de) Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
DE102012200762A1 (de) Verfahren und Fahrerassistenzsystem zur Signalisierung einer Verkehrssituation in einem Umfeld eines Fahrzeuges
DE102016208398B4 (de) Verfahren zur Kalibrierung einer Fahrzeugkamera
DE102013222304A1 (de) Verfahren zur Bestimmung von Objektentfernungen mit einer in einem Kraftfahrzeug verbauten Kamera
DE102013022050A1 (de) Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
EP2229770A1 (de) Verfahren und vorrichtung zur bilderfassung für kraftfahrzeuge
WO2020064065A1 (de) Verfahren zum detektieren von lichtverhältnissen in einem fahrzeug
DE102011083745B4 (de) Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen, Computerprogrammprodukt und Vorrichtung
DE19921997A1 (de) Verfahren zur Steuerung der Leuchtdichte einer Anzeigeeinheit in einem Fahrzeug und Vorrichtung zu dessen Ausführung

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20090112

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR MK RS

17Q First examination report despatched

Effective date: 20090407

RBV Designated contracting states (corrected)

Designated state(s): DE FR GB

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20151103