EP2033163A2 - Image recording system and method for range finding using an image recording system - Google Patents

Image recording system and method for range finding using an image recording system

Info

Publication number
EP2033163A2
EP2033163A2 EP07727909A EP07727909A EP2033163A2 EP 2033163 A2 EP2033163 A2 EP 2033163A2 EP 07727909 A EP07727909 A EP 07727909A EP 07727909 A EP07727909 A EP 07727909A EP 2033163 A2 EP2033163 A2 EP 2033163A2
Authority
EP
European Patent Office
Prior art keywords
image
image sensor
luminous
distance
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP07727909A
Other languages
German (de)
French (fr)
Inventor
Karsten Muehlmann
Alexander Wuerz-Wessel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2033163A2 publication Critical patent/EP2033163A2/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene

Definitions

  • the invention relates to an image recording system according to the preamble of claim 1 and to a method for determining the distance between an image recording system and a luminous object moving relative to the image recording system according to the preamble of claim 3.
  • An image recording system of the type in question is preferably used in motor vehicles. to gain images of the vehicle environment and, in conjunction with a driver assistance system, to facilitate the driver's guidance of the vehicle.
  • Such an image recording system comprises at least one image sensor and an optical system associated with this image sensor, which images a recording field of the vehicle surroundings onto the image sensor.
  • An important task of such a driver assistance system is the precise measurement of the distance, since only with knowledge of exact distance values lane and distance monitoring systems on an optical basis with functions such as Lane Departure Warning (LDW) and
  • LDW Lane Departure Warning
  • LKS Lik Keeping Support
  • image sensors used in such imaging systems must cover a wide range of process different illuminance levels, in order to be able to deliver usable output signals on the one hand in blazing sun and on the other hand in sparse illuminated tunnels. Whereas in conventional image sensors the exposure sensitivity often follows a fixed linear or logarithmic characteristic curve, image sensors have already been proposed (DE 103 01 898 A1) in which these
  • Characteristic curve in individual linear sections is individually adjustable. Such a characteristic relates the absolute brightness of an object and the gray value in the image obtained from the object.
  • an exterior view method for motor vehicles is known, which is characterized by the following steps: taking an outside view of the driver's own motor vehicle moving, detecting a movement of a single point in two images as an optical flow, one of the two Pictures taken at an earlier time and the other of the two pictures at a later date; and monitoring a correlation of one's own
  • a driver's motor vehicle relative to at least one of a preceding vehicle and an obstacle on the road wherein a danger rate is judged depending on a magnitude and location of a vector of optical flow from a point on at least one of the preceding vehicle, the following motor vehicle or the obstacle on the road is derived.
  • this known method is designed so that the danger of the Magnitude of an optical flux derived from a point on a preceding vehicle or an obstacle on the road. Therefore, it is not particularly necessary to mount a distance measuring device to measure the distance to a preceding vehicle. Disclosure of the invention
  • the object of the invention is to improve the performance of a board-bound image recording system cooperating with a driver assistance system.
  • an image acquisition system having an image sensor having a characteristic composed of linear sections, which comprises means for determining the distance of the illuminated objects imaged by the image sensor.
  • an image of the luminous objects is included
  • the image generated by the image sensor becomes luminous ones of interest
  • the size of the tailing is assigned to a distance value.
  • the invention makes it possible to determine the distance of an object, that of an image acquisition system having only an image sensor in mono technology - A -
  • the invention makes use of the finding here that when a luminous object is recorded with an image sensor which has a sectionally linear characteristic, "scraping out” or tailing occurs in the image of the object
  • the object is the image sensor
  • Motor vehicles such as the taillights of vehicles driving in front or the headlights of approaching motor vehicles, of interest. When driving at night or weather-related poor visibility are mentioned
  • FIG. 1 shows the characteristic curve of an image sensor of an image recording system
  • FIG. 2 shows an image of a traffic space with luminous objects taken at night by an image-recording system
  • Figure 3 is an enlarged view of the bordered in Figure 2 of the frame A.
  • FIG. 4 shows again the picture already shown in FIG. 3 with three luminous objects marked by framing;
  • Figure 5 is an enlarged view of the illuminated in Figure 4 by the frame B luminous object;
  • FIG. 6 is an enlarged view of the luminous object indicated by frame C in FIG.
  • Figure 7 is an enlarged view of the illuminated in Figure 4 by the frame A luminous object
  • FIG. 8 is a block diagram of an image recording system.
  • the invention is based on an in particular vehicle-mounted image acquisition system with only one image sensor, preferably a CMO S camera.
  • the invention further assumes that a sectionally linear characteristic curve is used for optimum utilization of the performance of the CMOS camera used as an image sensor.
  • a characteristic curve Kl is shown by way of example in FIG.
  • the diagram represents the exposure sensitivity of a pixel of the image sensor.
  • the exposure 10 is entered in freely defined virtual units of -200 to 1400, the exposure 10 being, for example, a measure of the irradiance or the illuminance.
  • the output signal 12 of the pixel of the image sensor is a freely defined virtual unit of
  • the output signal 12 can be present as a digital or analog signal.
  • the characteristic line K1 shown in FIG. 1 comprises three linear sections K1.1, K.2, K1.3 with different gradients.
  • the characteristic K L relates the absolute brightness of an object to the gray value in the image obtained from the object. Characterized in that the characteristic curve Kl in sections linear with different
  • Gradients of the sections is, arise different exposure times for corresponding object brightnesses.
  • light objects may experience "tailing" when the image pickup system moves relative to a luminous object.
  • "As illuminating objects are, in particular, the lights of automobiles, such as the taillights of preceding vehicles or the headlights of approaching motor vehicles, of interest. At night or weather-related poor visibility, the lights are often the only still reasonably recognizable parts of foreign vehicles.
  • the metric distance of an object can not be measured directly, but can only be determined using auxiliary structures. This can be done, for example, by using the intrinsic calibration
  • the value sc 1 means that there is no change in size.
  • the integration times of the pixels are included in the calculation of ⁇ t.
  • the formation of the tail that is the geometry of the embossing, enters into the relative change in size.
  • the mentioned wiping out of a detected luminous object represents, in principle, an imaging of the movement of the object during the recording time. This movement is usually determined in image sequences by correlation of corresponding image features and referred to as optical flow. At a known vehicle speed, the distance of an object detected by the image acquisition system can be determined from this optical flow. Instead of determining the optical flow from an image sequence, the optical flux can be measured directly here.
  • control times and the thresholds of the control of the image acquisition system can be used to conclude on the relative distance of the object and also to carry out a risk assessment. For example, a greater risk could be associated with a closer object.
  • a greater risk could be associated with a closer object.
  • the mechanism of tailing or "scraping out" in the detection of a luminous object with the image sensor of the image recording system will be explained with reference to Figure 2 and Figure 3.
  • Figure 2 shows one at night of one
  • Image acquisition system recorded image of a traffic area with luminous objects.
  • the traffic area is obviously a lane with several lanes. In the light of the headlights of the own vehicle lane markings are still recognizable.
  • several narrowly-lit luminous objects can be seen, which are vehicle-mounted light sources, such as taillights or headlights.
  • An extracted luminous object is designated by the reference numeral 20 in FIG. 2 and shown enlarged in FIG. 3 together with a subarea A of the image surrounding it. It can be seen from the enlarged illustration in FIG. 3 that the luminous object 20 is not sharply imaged but shows a tailing or "thinning out".
  • FIG. 4 again shows the image already shown in FIG. 3, with several subareas A, B, C of the image now containing a luminous object being highlighted and being enlarged in FIGS. 5, 6 and 7.
  • the comparison of the luminous objects 20, 21, 22 shows that the luminous object 20 shows the greatest tailing or embossing.
  • the luminous object 21 has less tailing than the luminous object 20.
  • the luminous object 22 shows the smallest tail formation. It can be deduced that the luminous object 20 is closest to the image sensor of the image acquisition system. The luminous object 22 is farthest from the image sensor. The luminous object 21 is farther away from the image sensor than the luminous object 20, but is closer to it than the luminous object 20 luminous object 22. Within the framework of a risk assessment derived from this, it could therefore be concluded that the greatest risk potential emanates from the luminous object 20 or from the other vehicle carrying the luminous object 20, since it is in the greatest proximity to its own vehicle. The particular extent of tailing may be conveniently determined by variable size windows enclosing the luminous objects of interest.
  • FIG. 8 also shows, in the form of a block diagram, an image acquisition system 80 which, for example, is part of a driver assistance system of a vehicle or works together with such a driver assistance system.
  • the image acquisition system 80 includes an image sensor 81, which is preferably a mono-CMOS camera.
  • the image sensor 81 is connected to a controller 82 which processes the image signals of the image sensor 81.
  • the information obtained by the invention about the distance of a luminous object 20, 21, 22 can be
  • driver assistance system such as distance control, LDW, LKS and LCA (Lane Change Assistant) use.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)

Abstract

The invention relates to an in particular vehicle-based image recording system (80) with an image sensor (81) having a characteristic (K1) which is composed of linear sections (K1.1, K1.2, K1.3), comprising means for finding the range of the luminous objects (20, 21, 22) imaged by the image sensor (81).

Description

Beschreibungdescription
Titeltitle
Bildaufnahmesystem und Verfahren für die Entfernungsbestimmung mit einemImage acquisition system and method for determining distance with a
Bildaufhahmesystemimage-recording system
Stand der TechnikState of the art
Die Erfindung betrifft ein Bildaufnahmesystem nach dem Oberbegriff des Anspruchs 1 und ein Verfahren für die Entfernungsbestimmung zwischen einem Bildaufhahmesystem und einem sich relativ zu dem Bildaufhahmesystem bewegenden leuchtenden Objekt nach dem Oberbegriff des Anspruchs 3. Ein Bildaufhahmesystem der in Rede stehenden Art wird vorzugsweise in Kraftfahrzeugen eingesetzt, um Bilder des Fahrzeugumfelds zu gewinnen und, in Verbindung mit einem Fahrerassistenzsystem, dem Fahrer die Führung des Fahrzeugs zu erleichtern. Ein derartiges Bildaufhahmesystem umfasst wenigstens einen Bildsensor und ein diesem Bildsensor zugeordnetes optisches System, das ein Aufnahmefeld des Fahrzeugumfelds auf den Bildsensor abbildet. Eine wichtige Aufgabe eines solchen Fahrerassistenzsystems ist die präzise Messung des Abstands, da nur mit Kenntnis genauer Abstandswerte Fahrspur- und Abstandsüberwachungssysteme auf optischer Basis mit Funktionen wie beispielsweise LDW (Lane Departure Warning) undThe invention relates to an image recording system according to the preamble of claim 1 and to a method for determining the distance between an image recording system and a luminous object moving relative to the image recording system according to the preamble of claim 3. An image recording system of the type in question is preferably used in motor vehicles. to gain images of the vehicle environment and, in conjunction with a driver assistance system, to facilitate the driver's guidance of the vehicle. Such an image recording system comprises at least one image sensor and an optical system associated with this image sensor, which images a recording field of the vehicle surroundings onto the image sensor. An important task of such a driver assistance system is the precise measurement of the distance, since only with knowledge of exact distance values lane and distance monitoring systems on an optical basis with functions such as Lane Departure Warning (LDW) and
LKS (Lane Keeping Support) zuverlässig genug funktionieren. Es sind bereits Bildaufnahmesysteme unter Verwendung von zwei Kameras bekannt, die ein Stereobildpaar eines Objekts erzeugen, wobei die Inhalte eines Bildes leicht gegenüber dem anderen Bild verschoben sind. Diese Verschiebung wird als Disparität bezeichnet. Bei bekannter Anordnung der Kameras kann aus der gemessenen Disparität auf dieLKS (Lane Keeping Support) work reliably enough. Imaging systems using two cameras are already known which produce a stereo image pair of an object, with the contents of one image being slightly offset from the other image. This shift is called disparity. With a known arrangement of the cameras can from the measured disparity on the
Entfernung des Objekts von den Kameras geschlossen werden. Bei einem Bildaufhahmesystem mit lediglich einem Bildsensor kann jedoch die Disparität nichtRemoval of the object from the cameras will be closed. However, in a picture-taking system with only one image sensor, the disparity can not
mehr ohne weiteres erfasst werden, da kein Stereobild erzeugt wird. Die bei derartigen Bildaufnahmesystemen verwendeten Bildsensoren müssen einen weiten Bereich von unterschiedlichen Beleuchtungsstärken verarbeiten, um einerseits in praller Sonne und andererseits in spärlich beleuchteten Tunnels noch brauchbare Ausgangssignale liefern zu können. Während bei herkömmlichen Bildsensoren die Belichtungsempfindlichkeit häufig einer fest eingestellten linearen oder logarithmischen Kennlinie folge, wurden bereits auch schon Bildsensoren vorgeschlagen (DE 103 01 898 Al), bei denen diesebe more readily detected, since no stereo image is generated. The image sensors used in such imaging systems must cover a wide range of process different illuminance levels, in order to be able to deliver usable output signals on the one hand in blazing sun and on the other hand in sparse illuminated tunnels. Whereas in conventional image sensors the exposure sensitivity often follows a fixed linear or logarithmic characteristic curve, image sensors have already been proposed (DE 103 01 898 A1) in which these
Kennlinie in einzelnen linearen Abschnitten individuell einstellbar ist. Eine solche Kennlinie setzt die absolute Helligkeit eines Objekts und den Grauwert in dem von dem Objekt gewonnenen Bild in Beziehung.Characteristic curve in individual linear sections is individually adjustable. Such a characteristic relates the absolute brightness of an object and the gray value in the image obtained from the object.
Aus DE 4332612 Al ist ein Außenansichtsverfahren für Kraftfahrzeuge bekannt, das durch folgende Schritte gekennzeichnet ist: Aufnahme einer Außenansicht vom eigenen Kraftfahrzeug des Fahrers aus, welches sich bewegt, Erfassung einer Bewegung eines einzelnen Punktes in zwei Bildern als ein optischer Fluss, wobei eines der beiden Bilder zu einem früheren Zeitpunkt und das andere der beiden Bilder zu einem späteren Zeitpunkt aufgenommen wird; und Überwachung einer Korrelation des eigenenFrom DE 4332612 Al an exterior view method for motor vehicles is known, which is characterized by the following steps: taking an outside view of the driver's own motor vehicle moving, detecting a movement of a single point in two images as an optical flow, one of the two Pictures taken at an earlier time and the other of the two pictures at a later date; and monitoring a correlation of one's own
Kraftfahrzeugs des Fahrers bezüglich zumindest entweder einem vorausfahrenden Kraftfahrzeug, oder einem Hindernis auf der Straße, wobei eine Gefahrenrate beurteilt wird in Abhängigkeit von einer Größe und einem Ort eines Vektors eines optischen Flusses, der von einem Punkt auf zumindest entweder dem vorausfahrenden Kraftfahrzeug, dem hinterherfahrenden Kraftfahrzeug oder dem Hindernis auf der Straße abgeleitet wird. Unter Berücksichtigung der Tatsache, dass der optische Fluss desto größer wird je kleiner die Entfernung zwischen dem eigenen Fahrzeug des Fahrers und dem vorausfahrenden Kraftfahrzeug oder Hindernis ist, oder je größer die Relativgeschwindigkeit ist, so ist dieses bekannte Verfahren so ausgelegt, dass die Gefahr von der Größe eines optischen Flusses her beurteilt werden kann, der von einem Punkt auf einem voraus fahrenden Kraftfahrzeug oder einem Hindernis auf der Straße abgeleitet wird. Daher ist es nicht besonders erforderlich, ein Abstandsmessgerät anzubringen, um die Entfernung zu einem vorausfahrenden Kraftfahrzeug zu messen. Offenbarung der ErfindungA driver's motor vehicle relative to at least one of a preceding vehicle and an obstacle on the road, wherein a danger rate is judged depending on a magnitude and location of a vector of optical flow from a point on at least one of the preceding vehicle, the following motor vehicle or the obstacle on the road is derived. In view of the fact that the optical flux increases the smaller the distance between the driver's own vehicle and the preceding vehicle or obstacle, or the greater the relative speed, this known method is designed so that the danger of the Magnitude of an optical flux derived from a point on a preceding vehicle or an obstacle on the road. Therefore, it is not particularly necessary to mount a distance measuring device to measure the distance to a preceding vehicle. Disclosure of the invention
Technische AufgabeTechnical task
Der Erfindung liegt die Aufgabe zugrunde, die Leistungsfähigkeit eines mit einem Fahrerassistenzsystem zusammenwirkenden bordgebundenen Bildaufnahmesystems zu verbessern.The object of the invention is to improve the performance of a board-bound image recording system cooperating with a driver assistance system.
Technische LösungTechnical solution
Diese Aufgabe wird durch ein Bildaufnahmesystem mit einem Bildsensor, der eine aus linearen Abschnitten zusammengesetzte Kennlinie aufweist gelöst, das Mittel für die Bestimmung der Entfernung der von dem Bildsensor abgebildeten leuchtenden Objekten umfasst.This object is achieved by an image acquisition system having an image sensor having a characteristic composed of linear sections, which comprises means for determining the distance of the illuminated objects imaged by the image sensor.
Weiterhin durch ein Verfahren für die Bestimmung der Entfernung zwischen einem einen Bildsensor umfassenden Bildaufnahmesystem und einem sich relativ zu dem Bildaufnahmesystem bewegenden leuchtenden Objekt, das durch folgende Verfahrensschritte gekennzeichnet ist:Furthermore, by a method for determining the distance between an image acquisition system comprising an image sensor and a luminous object moving relative to the image acquisition system, characterized by the following method steps:
Mit dem Bildsensor wird ein Bild des leuchtende Objekte umfassendenWith the image sensor, an image of the luminous objects is included
Umfelds des Bildsensors erzeugt,Generated environment of the image sensor,
Aus dem von dem Bildsensor erzeugten Bild werden interessierende leuchtendeThe image generated by the image sensor becomes luminous ones of interest
Objekte ausgewählt, - Bei den ausgewählten Objekten wird die sich infolge derObjects selected, - The selected objects will change as a result of
Regelungseigenschaften des Bildsensors und der Relativgeschwindigkeit zwischen dem Bildsensor und den leuchtenden Objekten einstellende Schweifbildung des Abbildes der leuchtenden Objekte erfasst, Die Größe der Schweifbildung wird einem Entfernungswert zugeordnet.Control characteristics of the image sensor and the relative speed between the image sensor and the luminous objects adjusting tailing of the image of the luminous objects detected, The size of the tailing is assigned to a distance value.
Vorteile der ErfindungAdvantages of the invention
Die Erfindung ermöglicht die Bestimmung der Entfernung eines Objekts, das von einem lediglich einen Bildsensor in Monotechnik aufweisenden Bildaufnahmesystem - A -The invention makes it possible to determine the distance of an object, that of an image acquisition system having only an image sensor in mono technology - A -
aufgenommen worden ist. Die Erfindung macht sich hier die Erkenntnis zunutze, dass bei Aufnahme eines leuchtenden Objekts mit einem Bildsensor, der eine abschnittsweise lineare Kennlinie aufweist, ein „Ausschmieren" oder eine Schweifbildung in dem Abbild des Objekts auftritt. Diese Ausschmierung ist umso größer, je näher das leuchtende Objekt dem Bildsensor ist. Als leuchtende Objekte sind insbesondere die Leuchten vonhas been recorded. The invention makes use of the finding here that when a luminous object is recorded with an image sensor which has a sectionally linear characteristic, "scraping out" or tailing occurs in the image of the object The object is the image sensor
Kraftfahrzeugen, wie die Rückleuchten von vorausfahrenden Kraftfahrzeugen oder die Scheinwerfer von sich im Gegenverkehr nähernden Kraftfahrzeugen, von Interesse. Bei Nachtfahrt oder witterungsbedingten schlechten Sichtverhältnissen sind die genanntenMotor vehicles, such as the taillights of vehicles driving in front or the headlights of approaching motor vehicles, of interest. When driving at night or weather-related poor visibility are mentioned
Leuchten häufig die einzigen noch einigermaßen erkennbaren Teile fremder Fahrzeuge.The only still recognizable parts of foreign vehicles often shine.
Mit der Erfindung gelingt es somit, die Entfernung dieser Leuchten von dem Bildsensor des eigenen Fahrzeugs zu bestimmen und damit auch eine Risikobewertung zu ermöglichen. Je näher sich ein leuchtendes Objekt zu dem eigenen Kraftfahrzeug befindet desto größer ist das potentielle Risiko einer Kollision. Weitere Vorteile ergeben sich aus den Unteransprüchen und der Beschreibung.With the invention, it is thus possible to determine the distance of these lights from the image sensor of the own vehicle and thus also to allow a risk assessment. The closer a luminous object is to one's own motor vehicle, the greater the potential risk of a collision. Further advantages emerge from the subclaims and the description.
Kurze Beschreibung der ZeichnungenBrief description of the drawings
Die Erfindung wird nachstehend anhand der in der Zeichnung dargestelltenThe invention will be described below with reference to the drawing
Ausführungsformen näher erläutert.Embodiments explained in more detail.
Es zeigen:Show it:
Figur 1 die Kennlinie eines Bildsensors eines Bildaufhahmesystems;FIG. 1 shows the characteristic curve of an image sensor of an image recording system;
Figur 2 ein bei Nacht von einem Bildaufhahmesystem aufgenommenes Bild eines Verkehrsraums mit leuchtenden Objekten;FIG. 2 shows an image of a traffic space with luminous objects taken at night by an image-recording system;
Figur 3 eine vergrößerte Darstellung des in Figur 2 von dem Rahmen A eingefasstenFigure 3 is an enlarged view of the bordered in Figure 2 of the frame A.
Objekts;object;
Figur 4 nochmals das schon in Figur 3 dargestellte Bild mit drei durch Umrahmung gekennzeichneten leuchtenden Objekten; Figur 5 eine vergrößerte Darstellung des in Figur 4 durch den Rahmen B gekennzeichneten leuchtenden Objekts;FIG. 4 shows again the picture already shown in FIG. 3 with three luminous objects marked by framing; Figure 5 is an enlarged view of the illuminated in Figure 4 by the frame B luminous object;
Figur 6 eine vergrößerte Darstellung des in Figur 4 durch den Rahmen C gekennzeichneten leuchtenden Objekts;FIG. 6 is an enlarged view of the luminous object indicated by frame C in FIG.
Figur 7 eine vergrößerte Darstellung des in Figur 4 durch den Rahmen A gekennzeichneten leuchtenden Objekts;Figure 7 is an enlarged view of the illuminated in Figure 4 by the frame A luminous object;
Figur 8 ein Blockschaltbild eines Bildaufhahmesystems.FIG. 8 is a block diagram of an image recording system.
Ausführungsformen der ErfindungEmbodiments of the invention
Nachfolgend wird eine Ausführungsform der Erfindung beschrieben. Die Erfindung geht von einem insbesondere fahrzeuggebundenen Bildaufnahmesystem mit lediglich einem Bildsensor, vorzugsweise einer CMO S -Kamera, aus. Die Erfindung geht weiterhin davon aus, dass zur optimalen Ausnutzung der Leistungsfähigkeit der als Bildsensor eingesetzten CMOS-Kamera eine abschnittsweise lineare Kennlinie verwendet wird. Eine derartige Kennlinie Kl ist beispielhaft in Figur 1 dargestellt. Das Diagramm repräsentiert die Belichtungsempfindlichkeit eines Pixels des Bildsensors. Auf der Abszisse des Diagramms ist die Belichtung 10 in frei definierten virtuellen Einheiten von -200 bis 1400 eingetragen, wobei die Belichtung 10 beispielsweise ein Maß der Bestrahlungsstärke oder der Beleuchtungsstärke ist. Auf der Ordinate des Diagramms ist das Ausgangssignal 12 des Pixels des Bildsensors als frei definierte virtuelle Einheit vonHereinafter, an embodiment of the invention will be described. The invention is based on an in particular vehicle-mounted image acquisition system with only one image sensor, preferably a CMO S camera. The invention further assumes that a sectionally linear characteristic curve is used for optimum utilization of the performance of the CMOS camera used as an image sensor. Such a characteristic curve Kl is shown by way of example in FIG. The diagram represents the exposure sensitivity of a pixel of the image sensor. On the abscissa of the diagram, the exposure 10 is entered in freely defined virtual units of -200 to 1400, the exposure 10 being, for example, a measure of the irradiance or the illuminance. On the ordinate of the diagram, the output signal 12 of the pixel of the image sensor is a freely defined virtual unit of
0 bis 1500 aufgetragen. Das Ausgangssignal 12 kann dabei als digitales oder analoges Signal vorliegen. Die in Figur 1 gezeigte Kennlinie Kl umfasst drei lineare Abschnitte Kl.1, Kl.2, Kl.3 mit unterschiedlichen Steigungen. Die Kennlinie Kl setzt die absolute Helligkeit eines Objekts mit dem Grauwert in dem von dem Objekt gewonnenen Bild in Beziehung. Dadurch, dass die Kennlinie Kl abschnittsweise linear mit unterschiedlichen0 to 1500 applied. The output signal 12 can be present as a digital or analog signal. The characteristic line K1 shown in FIG. 1 comprises three linear sections K1.1, K.2, K1.3 with different gradients. The characteristic K L relates the absolute brightness of an object to the gray value in the image obtained from the object. Characterized in that the characteristic curve Kl in sections linear with different
Steigungen der Abschnitte ist, entstehen unterschiedliche Belichtungszeiten für entsprechende Objekthelligkeiten. Als Folge kann in der Nacht bei hellen Objekten eine „Schweifbildung" (Ausschmieren) beobachtet werden, wenn sich das Bildaufnahmesystem relativ zu einem leuchtenden Objekt bewegt. Als leuchtende Objekte sind insbesondere die Leuchten von Kraftfahrzeugen, wie die Rückleuchten von vorausfahrenden Kraftfahrzeugen oder die Scheinwerfer von sich im Gegenverkehr nähernden Kraftfahrzeugen, von Interesse. Bei Nachtfahrt oder witterungsbedingten schlechten Sichtverhältnissen sind die genannten Leuchten häufig die einzigen noch einigermaßen erkennbaren Teile fremder Fahrzeuge. Mit der Erfindung gelingt es somit, die Entfernung dieser Leuchten von dem Bildsensor des eigenen Fahrzeugs zu bestimmen und damit auch eine Risikobewertung zu ermöglichen. Je näher sich ein leuchtendes Objekt zu dem eigenen Kraftfahrzeug befindet desto größer ist das potentielle Risiko einer Kollision. Mit einer Monokamera kann die metrische Entfernung eines Objekts nicht direkt gemessen, sondern nur über Hilfskonstruktionen ermittelt werden. Dies kann beispielsweise dadurch erfolgen, dass über die intrinsische KalibrierungGradients of the sections is, arise different exposure times for corresponding object brightnesses. As a result, at night, light objects may experience "tailing" when the image pickup system moves relative to a luminous object. "As illuminating objects are, in particular, the lights of automobiles, such as the taillights of preceding vehicles or the headlights of approaching motor vehicles, of interest. At night or weather-related poor visibility, the lights are often the only still reasonably recognizable parts of foreign vehicles. With the invention, it is thus possible to determine the distance of these lights from the image sensor of the own vehicle and thus also to allow a risk assessment. The closer a luminous object is to one's own motor vehicle, the greater the potential risk of a collision. With a monocamera, the metric distance of an object can not be measured directly, but can only be determined using auxiliary structures. This can be done, for example, by using the intrinsic calibration
(Kamerahauptpunkt, Fokallänge und ggf. Verzeichnungsparameter), die extrinsische Kalibrierung (Kamerahöhe, Einbaunickwinkel zu der Straßenebene), eine Oberflächenvermessung oder alternativ, unter der Annahme einer ebenen Straße und mit Bestimmung der Objektunterkante in dem Bild, die Entfernung berechnet wird. Fehler in(Camera main point, focal length and possibly distortion parameters), the extrinsic calibration (camera height, installation angle to the road level), a surface measurement or alternatively, assuming a flat road and determining the object lower edge in the image, the distance is calculated. mistake in
einem dieser Werte wirken sich dabei direkt auf die metrische Entfernungsbestimmung aus. Dabei bieten die Unterkantenbestimmung eines Objekts im Bild in Abhängigkeit von den Beleuchtungsverhältnissen und die Unsicherheit bei der Oberflächenschätzung die größten Schwierigkeiten. In Sequenzen von monokularen Bildern kann jedoch durch eine Skalierung eines erfassten Objekts auf eine zeitliche Entfernung des Objekts geschlossen werden. Geht man von zwei aufeinander folgenden Bildern aus, so kann aus dem zeitlichen Aufnahmeabstand Δt der Bilder und der relativen Größenänderung des Objekts sc (sc = scale change) auf die so genannte tta (tta = time to adjacency) geschlossen werden:One of these values has a direct effect on the metric distance determination. The lower edge determination of an object in the image, depending on the illumination conditions and the uncertainty in the surface estimation, offer the greatest difficulties. In sequences of monocular images, however, a scaling of a detected object can be used to deduce a temporal distance of the object. Assuming two successive images, it is possible to deduce from the temporal recording interval Δt of the images and the relative change in size of the object sc (sc = scale change) to the so-called tta (tta = time to adjacency):
tta = At /(sc -1.0)tta = At / (sc -1.0)
Der Wert sc = 1 bedeutet dabei, dass keine Größenänderung stattfindet. An eben dieser Stelle kommen nun die Schweifbildung (zeitliche Ausschmierung) und die Kameraregelungspatrameter in das Spiel. Die Integrationszeiten der Pixel gehen in die Berechnung von Δt ein. Die Schweifbildung, also die Geometrie der Ausschmierung, geht in die relative Größenänderung ein. Das erwähnte Ausschmieren eines erfassten leuchtenden Objekts stellt im Prinzip eine Abbildung der Bewegung des Objekts während der Aufnahmezeit dar. Diese Bewegung wird üblicherweise in Bildsequenzen durch Korrelation entsprechender Bildmerkmale bestimmt und als optischer Fluss bezeichnet. Bei bekannter Fahrzeuggeschwindigkeit kann anhand dieses optischen Flusses die Entfernung eines von dem Bildaufnahmesystem erfassten Objekts bestimmt werden. Anstatt den optischen Fluss aus einer Bildsequenz zu bestimmen, kann hier der optische Fluss direkt gemessen werden. Die Regelungszeiten und die Schwellen der Regelung des Bildaufnahmesystems können dabei dazu verwendet werden, auf die relative Entfernung des Objekts zu schließen und auch eine Risikobewertung vorzunehmen. Beispielsweise könnte auf ein größeres Risiko bei einem näheren Objekt geschlossen werden. Anhand von Figur 2 und Figur 3 wird im Folgenden der Mechanismus der Schweifbildung bzw. des „Ausschmierens" bei der Erfassung eines leuchtenden Objekts mit dem Bildsensor des Bildaufnahmesystems erläutert. Figur 2 zeigt ein bei Nacht von einemThe value sc = 1 means that there is no change in size. At this point now the tail formation (temporal Ausmierung) and the camera control parameters come into the game. The integration times of the pixels are included in the calculation of Δt. The formation of the tail, that is the geometry of the embossing, enters into the relative change in size. The mentioned wiping out of a detected luminous object represents, in principle, an imaging of the movement of the object during the recording time. This movement is usually determined in image sequences by correlation of corresponding image features and referred to as optical flow. At a known vehicle speed, the distance of an object detected by the image acquisition system can be determined from this optical flow. Instead of determining the optical flow from an image sequence, the optical flux can be measured directly here. The control times and the thresholds of the control of the image acquisition system can be used to conclude on the relative distance of the object and also to carry out a risk assessment. For example, a greater risk could be associated with a closer object. In the following, the mechanism of tailing or "scraping out" in the detection of a luminous object with the image sensor of the image recording system will be explained with reference to Figure 2 and Figure 3. Figure 2 shows one at night of one
Bildaufnahmesystem aufgenommenes Bild eines Verkehrsraums mit leuchtenden Objekten. Bei dem Verkehrsraum handelt es sich offensichtlich um eine Fahrbahn mit mehreren Fahrspuren. Im Licht der Scheinwerfer des eigenen Fahrzeugs sind noch Fahrspurmarkierungen erkennbar. In dem Bild sind mehrere eng begrenzte leuchtende Objekte erkennbar, bei denen es sich um fahrzeuggebundene Lichtquellen, wie beispielsweise Rückleuchten oder Scheinwerfer, handelt. Ein herausgegriffenes leuchtendes Objekt ist in Figur 2 mit der Bezugsziffer 20 bezeichnet und zusammen mit einem dieses umgebenden Teilbereich A des Bildes in Figur 3 vergrößert dargestellt. Aus der vergrößerten Darstellung in Figur 3 ist ersichtlich, dass das leuchtende Objekt 20 nicht scharf abgebildet ist, sondern eine Schweifbildung oder „Ausschmierung" zeigt.Image acquisition system recorded image of a traffic area with luminous objects. The traffic area is obviously a lane with several lanes. In the light of the headlights of the own vehicle lane markings are still recognizable. In the image, several narrowly-lit luminous objects can be seen, which are vehicle-mounted light sources, such as taillights or headlights. An extracted luminous object is designated by the reference numeral 20 in FIG. 2 and shown enlarged in FIG. 3 together with a subarea A of the image surrounding it. It can be seen from the enlarged illustration in FIG. 3 that the luminous object 20 is not sharply imaged but shows a tailing or "thinning out".
Diese Schweifbildung ist auf die Eigenschaften des Bildsensors und die Relativbewegung zwischen dem leuchtenden Objekt 20 und dem Bildsensor des Bildaufnahmesystems zurückzuführen. Figur 4 zeigt nochmals das schon in Figur 3 dargestellte Bild, wobei jetzt mehrere ein leuchtendes Objekt enthaltende Teilbereiche A, B, C des Bildes hervorgehoben und in den Figuren 5, 6 und 7 vergrößert dargestellt sind. Der TeilbereichThis tailing is due to the characteristics of the image sensor and the relative motion between the luminous object 20 and the image sensor of the imaging system. FIG. 4 again shows the image already shown in FIG. 3, with several subareas A, B, C of the image now containing a luminous object being highlighted and being enlarged in FIGS. 5, 6 and 7. The subarea
A enthält wiederum das schon in Figur 3 und nochmals in Figur 7 dargestellte leuchtende Objekt 20. Der Teilbereich B enthält das leuchtende Objekt 21 und der Teilbereich C enthält das leuchtende Objekt 22. Der Vergleich der leuchtenden Objekte 20, 21, 22 zeigt, dass das leuchtende Objekt 20 die größte Schweifbildung oder Ausschmierung zeigt. Das leuchtende Objekt 21 hat eine geringere Schweifbildung als das leuchtende Objekt 20.A again contains the luminous object 20 already shown in FIG. 3 and again in FIG. 7. The partial region B contains the luminous object 21 and the partial region C contains the luminous object 22. The comparison of the luminous objects 20, 21, 22 shows that the luminous object 20 shows the greatest tailing or embossing. The luminous object 21 has less tailing than the luminous object 20.
Das leuchtende Objekt 22 zeigt dagegen die kleinste Schweifbildung. Daraus kann abgeleitet werden, dass das leuchtende Objekt 20 dem Bildsensor des Bildaufnahmesystems am nächsten gelegen ist. Das leuchtende Objekt 22 ist am weitesten von dem Bildsensor entfernt. Das leuchtende Objekt 21 ist weiter als das leuchtende Objekt 20 von dem Bildsensor entfernt, liegt jedoch näher an diesem als das leuchtende Objekt 22. Im Rahmen einer daraus abgeleiteten Risikobetrachtung könnte somit geschlossen werden, dass von dem leuchtenden Objekt 20, bzw. von dem das leuchtende Objekt 20 tragenden Fremdfahrzeug das größte Risikopotentials ausgeht, da es sich in größter Nähe zu dem eigenen Fahrzeug befindet. Das jeweilige Ausmaß der Schweifbildung kann zweckmäßig durch Fenster mit variabler Größe bestimmt werden, die die interessierenden leuchtenden Objekte umschließen.The luminous object 22 on the other hand shows the smallest tail formation. It can be deduced that the luminous object 20 is closest to the image sensor of the image acquisition system. The luminous object 22 is farthest from the image sensor. The luminous object 21 is farther away from the image sensor than the luminous object 20, but is closer to it than the luminous object 20 luminous object 22. Within the framework of a risk assessment derived from this, it could therefore be concluded that the greatest risk potential emanates from the luminous object 20 or from the other vehicle carrying the luminous object 20, since it is in the greatest proximity to its own vehicle. The particular extent of tailing may be conveniently determined by variable size windows enclosing the luminous objects of interest.
Figur 8 zeigt noch, in Gestalt eines Blockschaltbildes, ein Bildaufnahmesystem 80, das beispielsweise Bestandteil eines Fahrerassistenzsystems eines Fahrzeugs ist oder mit einem derartigen Fahrerassistenzsystem zusammenarbeitet. Das Bildaufnahmesystem 80 umfasst einen Bildsensor 81, bei dem es sich vorzugsweise um eine CMOS-Kamera in Monotechnik handelt. Der Bildsensor 81 ist mit einem Steuergerät 82 verbunden, das die Bildsignale des Bildsensors 81 verarbeitet. Die mittels der Erfindung gewonnene Information über die Entfernung eines leuchtenden Objekts 20, 21, 22 lässt sichFIG. 8 also shows, in the form of a block diagram, an image acquisition system 80 which, for example, is part of a driver assistance system of a vehicle or works together with such a driver assistance system. The image acquisition system 80 includes an image sensor 81, which is preferably a mono-CMOS camera. The image sensor 81 is connected to a controller 82 which processes the image signals of the image sensor 81. The information obtained by the invention about the distance of a luminous object 20, 21, 22 can be
vorteilhaft für Funktionen eines Fahrerassistenzsystems wie Abstandsregelung, LDW, LKS und LCA (Lane Change Assistant) einsetzen. advantageous for functions of a driver assistance system such as distance control, LDW, LKS and LCA (Lane Change Assistant) use.

Claims

Ansprüche claims
1. Bildaufhahmesystem (80), insbesondere fahrzeuggebundenes Bildaufnahmesystem, mit einem Bildsensor (81), der eine aus linearen Abschnitten (Kl.1, Kl.2, Kl.3) zusammengesetzte Kennlinie (Kl) aufweist, umfassend Mittel für die Bestimmung der Entfernung der von dem Bildsensor (81) abgebildeten leuchtenden Objekten (20,An image acquisition system (80), in particular a vehicle-mounted image acquisition system, comprising an image sensor (81) having a characteristic curve (Kl) composed of linear sections (Kl.1, Kl.2, Kl.3) comprising means for determining the distance the luminous objects (20, 20) imaged by the image sensor (81)
21, 22).21, 22).
2. Bildaufnahmesystem nach Anspruch 1, dadurch gekennzeichnet, dass der Bildsensor (81) eine CMOS-Kamera in Monotechnik ist.2. Image recording system according to claim 1, characterized in that the image sensor (81) is a CMOS camera in monotechnology.
3. Verfahren für die Bestimmung der Entfernung zwischen einem einen Bildsensor (81) umfassenden Bildaufnahmesystem (80) und einem sich relativ zu dem Bildaufnahmesystem (80) bewegenden leuchtenden Objekt (20, 21, 22), gekennzeichnet durch folgende Verfahrensschritte: - Mit dem Bildsensor (81) wird ein Bild des leuchtende Objekte (20, 21, 22) umfassenden Umfelds des Bildsensors (81) erzeugt, Aus dem von dem Bildsensor (81) erzeugten Bild werden interessierende leuchtende Objekte (20, 21, 22) ausgewählt, Bei den ausgewählten Objekten (20, 21, 22) wird die sich infolge der Regelungseigenschaften des Bildsensors (81) und der Relativgeschwindigkeit zwischen dem Bildsensor (81) und den leuchtenden Objekten (20, 21, 22) einstellende Schweifbildung des Abbildes der leuchtenden Objekte (20, 21, 22) erfasst, Die Größe der Schweifbildung wird einem Entfernungswert zugeordnet.Method for determining the distance between an image acquisition system (80) comprising an image sensor (81) and a luminous object (20, 21, 22) moving relative to the image acquisition system (80), characterized by the following method steps: - With the image sensor (81), an image of the luminous object (20, 21, 22) surrounding the image sensor (81) is generated. From the image generated by the image sensor (81), luminous objects of interest (20, 21, 22) are selected selected objects (20, 21, 22) is the resulting tailing of the image of the luminous objects (20, 21, 22) due to the control characteristics of the image sensor (81) and the relative speed between the image sensor (81) and the luminous objects (20, 21, 22). 21, 22), The size of the tail formation is assigned to a distance value.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Ausmaß der Schweifbildung durch ein das Bild des leuchtenden Objekts (20, 21, 22) umschließendes Fenster erfasst wird. A method according to claim 3, characterized in that the extent of tailing is detected by a window enclosing the image of the luminous object (20, 21, 22).
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die größte Schweifbildung dem kürzesten Entfernungswert zugeordnet wird.5. The method according to any one of the preceding claims, characterized in that the largest tail formation is assigned to the shortest distance value.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit von der Schweifbildung eine Risikobewertung durchgeführt wird.6. The method according to any one of the preceding claims, characterized in that a risk assessment is performed depending on the tail formation.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus dem zeitlichen Aufnahmeabstand der Bilder des Bildsensors und der relativen7. The method according to any one of the preceding claims, characterized in that from the temporal recording distance of the images of the image sensor and the relative
Größenänderung des Objekts in dem Bild die time to adjacency nach folgender Beziehung bestimmt wird:Resizing the object in the image that determines time to adjacency according to the following relationship:
tta = At /(sc - 1.0)tta = At / (sc - 1.0)
mit tta = time to adjacency,with tta = time to adjacency,
Δt = zeitlicher Aufnahmeabstand der Bilder, sc = scale change (relative Größenänderung des Objekts in dem Bild). Δt = temporal recording distance of the images, sc = scale change (relative size change of the object in the image).
EP07727909A 2006-06-12 2007-04-10 Image recording system and method for range finding using an image recording system Withdrawn EP2033163A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006027121A DE102006027121A1 (en) 2006-06-12 2006-06-12 Image acquisition system and method for determining distance with an image acquisition system
PCT/EP2007/053441 WO2007144213A2 (en) 2006-06-12 2007-04-10 Image recording system and method for range finding using an image recording system

Publications (1)

Publication Number Publication Date
EP2033163A2 true EP2033163A2 (en) 2009-03-11

Family

ID=38663818

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07727909A Withdrawn EP2033163A2 (en) 2006-06-12 2007-04-10 Image recording system and method for range finding using an image recording system

Country Status (4)

Country Link
US (1) US8896690B2 (en)
EP (1) EP2033163A2 (en)
DE (1) DE102006027121A1 (en)
WO (1) WO2007144213A2 (en)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009001614B4 (en) 2009-03-17 2019-10-10 Robert Bosch Gmbh Method and control device for mapping a non-linear characteristic
DE102009055269B4 (en) 2009-12-23 2012-12-06 Robert Bosch Gmbh Method for determining the relative movement by means of an HDR camera
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
DE102011079141A1 (en) 2011-07-14 2013-01-17 Robert Bosch Gmbh Programmable camera, programming device, programmable camera system and programming method
TWI526706B (en) * 2011-10-05 2016-03-21 原相科技股份有限公司 Image system
JP6045889B2 (en) * 2012-11-27 2016-12-14 クラリオン株式会社 In-vehicle control device
JP5987660B2 (en) * 2012-11-30 2016-09-07 富士通株式会社 Image processing apparatus, image processing method, and program
US9207323B2 (en) 2013-04-11 2015-12-08 Google Inc. Methods and systems for detecting weather conditions including wet surfaces using vehicle onboard sensors
US9632210B2 (en) 2013-05-07 2017-04-25 Google Inc. Methods and systems for detecting weather conditions using vehicle onboard sensors
US9025140B2 (en) * 2013-05-07 2015-05-05 Google Inc. Methods and systems for detecting weather conditions including sunlight using vehicle onboard sensors
US8983705B2 (en) 2013-04-30 2015-03-17 Google Inc. Methods and systems for detecting weather conditions including fog using vehicle onboard sensors
US10247854B2 (en) 2013-05-07 2019-04-02 Waymo Llc Methods and systems for detecting weather conditions using vehicle onboard sensors
US9321461B1 (en) 2014-08-29 2016-04-26 Google Inc. Change detection using curve alignment
US9248834B1 (en) 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
US9616773B2 (en) 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
US10712160B2 (en) 2015-12-10 2020-07-14 Uatc, Llc Vehicle traction map for autonomous vehicles
US9840256B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
US9841763B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
US9990548B2 (en) 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system
US9672446B1 (en) * 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
US10678262B2 (en) 2016-07-01 2020-06-09 Uatc, Llc Autonomous vehicle localization using image analysis and manipulation
IT201600094414A1 (en) * 2016-09-20 2018-03-20 St Microelectronics Srl A PROCEDURE FOR DETECTING A VEHICLE IN OVERHEADING, RELATED PROCESSING SYSTEM, A VEHICLE SURVEY DETECTION SYSTEM AND VEHICLE
FR3092176B1 (en) * 2019-01-29 2021-02-19 Alessandro Manneschi Dual Field Safety Body Scanner

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4257703A (en) 1979-03-15 1981-03-24 The Bendix Corporation Collision avoidance using optical pattern growth rate
DE4332612C2 (en) 1992-09-25 1996-02-22 Yazaki Corp Exterior view monitoring method for motor vehicles
US6611210B2 (en) * 1996-12-03 2003-08-26 Inductive Signature Technologies, Inc. Automotive vehicle classification and identification by inductive signature
JP3866349B2 (en) * 1996-12-27 2007-01-10 富士重工業株式会社 Vehicle collision prevention device
US6734896B2 (en) * 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
FI20001568A (en) * 2000-06-30 2001-12-31 Thermo Radiometrie Oy Determination of the shapes of a surface
US6580374B2 (en) * 2000-08-04 2003-06-17 Martin H. Schrage Audible communication system
US7124027B1 (en) * 2002-07-11 2006-10-17 Yazaki North America, Inc. Vehicular collision avoidance system
FR2848935B1 (en) * 2002-12-20 2005-04-29 Valeo Vision METHOD FOR DETECTING TURNS ON A ROAD AND SYSTEM FOR IMPLEMENTING SAME
DE10301898A1 (en) 2003-01-17 2004-08-05 Robert Bosch Gmbh Image sensor adjustment method
US8064684B2 (en) * 2003-04-16 2011-11-22 Massachusetts Institute Of Technology Methods and apparatus for visualizing volumetric data using deformable physical object
US20040213463A1 (en) * 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
AU2003301510A1 (en) * 2003-07-25 2005-02-14 Nikolai Alekseevich Baranov Flight simulator
FR2875091B1 (en) * 2004-09-08 2006-11-24 Citilog Sa METHOD AND DEVICE FOR STABILIZING IMAGES GIVEN BY A VIDEO CAMERA
DE102004050990A1 (en) * 2004-09-30 2006-04-06 Robert Bosch Gmbh Method for displaying an image taken by a video camera
FR2884637B1 (en) * 2005-04-19 2007-06-29 Valeo Vision Sa METHOD OF DETECTING NIGHT MIST AND SYSTEM FOR IMPLEMENTING SAID METHOD
EP1790541A2 (en) * 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2007144213A2 *

Also Published As

Publication number Publication date
WO2007144213A3 (en) 2008-04-17
DE102006027121A1 (en) 2007-12-13
US20090322872A1 (en) 2009-12-31
WO2007144213A2 (en) 2007-12-21
US8896690B2 (en) 2014-11-25

Similar Documents

Publication Publication Date Title
EP2033163A2 (en) Image recording system and method for range finding using an image recording system
DE10304703B4 (en) Method and device for visualizing the environment of a vehicle with environment-dependent fusion of an infrared and a visual image
EP2558336B1 (en) Method and device for assisting a driver while driving a vehicle by detecting weather-related visibility limitations
EP1504960B1 (en) Device and method to improve vision in a vehicle
DE102016212405A1 (en) Vehicle image processing apparatus and vehicle image processing system
EP3183721A1 (en) Method and axle-counting device for contact-free axle counting of a vehicle and axle-counting system for road traffic
DE19743580A1 (en) Light monitoring system for front of vehicle
WO2006063546A1 (en) Method and device for determining the speed of a vehicle
DE102012023706A1 (en) Vehicle-side method and vehicle-side device for detecting and displaying parking spaces for a vehicle
WO1999037503A1 (en) Vehicle monitoring system
EP2150939B1 (en) Method and device for determining the position of a road sign
EP1303768B1 (en) Method for determining visibility
DE102016206493A1 (en) Method and camera system for determining the distance of objects to a vehicle
DE102007014295A1 (en) Visibility range measuring device for vehicle, has calculating unit to calculate visibility range of vehicle based on image characteristic of target road edge object in respective images and distance between image recorded points on road
DE102013022076A1 (en) Method for determining a width of a target vehicle by means of a camera system of a motor vehicle, camera system and motor vehicle
DE102018204451A1 (en) Method and device for auto-calibration of a vehicle camera system
DE102016208398B4 (en) Method for calibrating a vehicle camera
DE102010033786A1 (en) Method for detecting and displaying areas laterally and laterally behind a vehicle and vehicle with several image acquisition units for detecting areas located laterally next to and laterally behind the vehicle
DE102013222304A1 (en) Method for determining object distances with a camera installed in a motor vehicle
DE102013022050A1 (en) Method for tracking a target vehicle, in particular a motorcycle, by means of a motor vehicle, camera system and motor vehicle
WO2009086970A1 (en) Method and device for image detection for motor vehicles
DE102012200762A1 (en) Method for signaling traffic condition in environment of vehicle, involves recording surrounding area of vehicle using sensor, and indicating recognized sensitive object on display arranged in rear view mirror housing of vehicle
DE102007042966A1 (en) Parking aid information representing device for use in motor vehicle i.e. car, represents distance of motor vehicle to barrier by head-up displays, and represents information of sensor of front region of vehicle on displays
DE19921997A1 (en) Control of dashboard display brightness in a vehicle by use of video cameras (with one pointing in the direction of travel) that provide a signal proportional to outside brightness that is used by a controller to adjust brightness
DE102013220839B4 (en) A method of dynamically adjusting a brightness of an image of a rear view display device and a corresponding vehicle imaging system

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20090112

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR MK RS

17Q First examination report despatched

Effective date: 20090407

RBV Designated contracting states (corrected)

Designated state(s): DE FR GB

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20151103