EP2707862A1 - Abstandsbestimmung mittels eines kamerasensors - Google Patents

Abstandsbestimmung mittels eines kamerasensors

Info

Publication number
EP2707862A1
EP2707862A1 EP12718266.5A EP12718266A EP2707862A1 EP 2707862 A1 EP2707862 A1 EP 2707862A1 EP 12718266 A EP12718266 A EP 12718266A EP 2707862 A1 EP2707862 A1 EP 2707862A1
Authority
EP
European Patent Office
Prior art keywords
target object
camera
sensor
information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP12718266.5A
Other languages
English (en)
French (fr)
Other versions
EP2707862B1 (de
Inventor
Ulrich STÄHLIN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Teves AG and Co OHG
Original Assignee
Continental Teves AG and Co OHG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Teves AG and Co OHG filed Critical Continental Teves AG and Co OHG
Publication of EP2707862A1 publication Critical patent/EP2707862A1/de
Application granted granted Critical
Publication of EP2707862B1 publication Critical patent/EP2707862B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a distance determination method by means of a camera sensor according to the preamble of claim 1 and a distance determination system according to the preamble of claim 19.
  • WO 2008/080951 discloses a driver assistance system which determines, for example by means of a radar or lidar sensor, a distance to a vehicle in front.
  • a camera is provided which detects the vehicle ahead and adapts the orientation of the distance sensors to the respective situation.
  • an exact alignment of the distance sensors is only possible if the camera and the distance sensor are mounted either at the same height in the vehicle or by triangulation, if the distance of the camera to the vehicle ahead is known. For this reason, the de ⁇ fernung the camera is estimated from the leading vehicle based on the camera image, according to WO 2008/080951.
  • the requirement for the accuracy of Entfer ⁇ voltage specifications may it be small, however.
  • DE 10 2007 048 809 A1 describes a method and a device for detecting hidden objects in the roadway. . Crow. In this case, determines a position determination system using various sensors, such as GPS module, radar sensor, Lidarsensor or stereo camera, the position of the own vehicle and the positions of adjacent vehicles. By using a stereo camera, both an object recognition and a comparatively exact Entfer ⁇ voltage measurement without the use of additional distance sensors. Further, a vehicle towing vehicle communication system is disclosed, which transmits the environment information detected by the own vehicle to neighboring vehicles so that they can not detect view ⁇ bare objects themselves. For each transmitted object, there are a number of attributes that are either determined by the sensor or are called from a look-up table from ⁇ . The vehicle-to-vehicle
  • Communication system also received vehicle parameters of the own vehicle such as the vehicle length, the driving ⁇ generating wide and the vehicle type.
  • the object of the present invention is therefore to propose a method and a system which, without the use of separate distance sensors, enable a reliable and substantially exact distance measurement to a target object.
  • the distance determining method of the invention by means of a camera sensor accordingly, a distance of the camera sensor to a target object be ⁇ agrees on the basis of a camera Informa ⁇ tion, is characterized in that the camera in ⁇ formation to a spatial extent of the area covered by the target object on a light sensor in the camera sensor region - sums up.
  • the advantage of this process is that use is made of a directly captured by the camera Informa ⁇ tion, namely the spatial extent of the object on the light sensor for determining the distance ⁇ .
  • no separate distance sensor such as a radar or
  • Lidar sensor needed Since a plurality of current vehicle already equipped with a camera sensor, may ⁇ to the inventive method for determining the distance without any additional cost and manufacturing effort a multi ⁇ number of driver assistance systems, such as implements an intelligent speed and distance control.
  • the camera information including the spatial extent of the area covered by the target object on ei ⁇ nem light sensor in the camera sensor region, is linked with information about the actual spatial He ⁇ stretching of the target object.
  • the camera sensor is a mono-camera sensor. Since only a camera information about the spatial extent on the light sensor is required for determining the distance according to the invention, no second camera, as in a stereo camera sensor, is necessary. A known, but relatively cumbersome From ⁇ was intended by the balance of the images of two individual cameras in a stereo camera sensor is thus avoided.
  • the use of a monocamera sensor instead of a stereo camera sensor also reduces the manufacturing ⁇ effort and thus the production costs.
  • the camera sensor is a stereo camera sensor.
  • the process can also be carried out in a stereo camera sensor without ⁇ sharmlichen effort.
  • a method known per se for determining the distance is carried out by means of the stereo camera sensor and validated by means of the method according to the invention, and vice versa.
  • the camera information comprises the spatial extent of the area covered by the target object on the light sensor in the camera sensor along a horizontal. The distance determination is thus performed across the width of the target object, which has the advantage that, as a rule, if the target object as example ⁇ a Car, the largest in the direction of travel detectable expansion is used for distance determination. The inevitably associated with each measurement of a physical quantity relative inaccuracy is thus particularly low.
  • the camera information comprises the spatial extent of the area covered by the target object on the light sensor in the camera sensor along a vertical.
  • the distance determination is additionally or alternatively Runaway ⁇ leads over the height of the target object. Unless it is the target object is a truck, whose spatial height is usually greater than its hoffmli ⁇ che width, thus a more accurate Abstandsbe ⁇ humor can be performed.
  • the camera information comprises an area of the area covered by the target object on the light sensor in the camera sensor.
  • the covered on the light sensor area can be easily determined, as a rule, example ⁇ , by counting the capped sensor cells in a CCD sensor.
  • the covered area provides additional ⁇ In formation about the target object, which, for example allows a review of the means of the width of the target object and / or the height of the target object specified distance. Thus, an and validation of the distance information via one and the same sensor.
  • the information about the actual spatial extent of the target object encompasses the spatial extent along the horizontal and / or along the vertical and / or the cross-sectional area of the target object.
  • the light sensor is a CCD sensor chip (charge coupled device) or a CMOS sensor chip (complementary metal oxide semiconductor).
  • CCD sensor chip charge coupled device
  • CMOS sensor chip complementary metal oxide semiconductor
  • the camera information it is advantageous for the camera information to include the number of detector lines covered by the target object on the CCD sensor chip (charge coupled device) or the CMOS sensor chip (complementary metal oxide semiconductor) and / or the Number of detector columns covered by the target object in the camera sensor on the light sensor chip and / or the number of total covered detector cells.
  • a measure of the width, the height and the area of the covered area can be detected in a simple manner by counting the detector columns, detector rows or the individual detector cells.
  • a ratio of the extensions along the horizontal and the vertical and / or the total covered area is formed from the spatial extent of the region covered by the target object on the light sensor. This allows determining charac ⁇ rule extension ratios for different types of targets and thus a further gain in information about the target object
  • the target object of an object class is zugeord ⁇ net by means of the ratio of the extensions.
  • the assignment to an object class allows a more detailed identification of the target object and thus einherge ⁇ starting the possibility to access charac ⁇ teristic of this object class, actual spatial extents for the calculation ⁇ voltage of the distance, provided that they are not transmitted directly from the target object.
  • the method is characterized in that the object class classifies the target object as belonging to one or more of the following classes: vehicle brand, vehicle model, pedestrian or cyclist.
  • vehicle brand a substantially accurate identification or classification of the target object and thus to an individual in Wesent ⁇ slotting to an object class.
  • essentially individual actual syndromemli ⁇ che extents of the target object provided they are not transmitted directly from the target.
  • an additional camera ⁇ information includes a direction of movement of the target relative to the camera sensor.
  • the detection of the movement direction relative to the camera sensor allows a determination of the spatial orientation of the target object relative to the camera sensor.
  • the information about the spatial orientation relative to the camera sensor offers the advantage that a width detected in the light sensor is recalculated with a non-identical orientation of the target object and the camera sensor, which can be adjusted to the width with identical orientation.
  • an orientation other than the following vehicle with a camera sensor which are determined the actual spatial width entspre ⁇ sponding covering the light sensor.
  • an additional Informati ⁇ on about the target object comprises the movement direction of the target object relative to the camera sensor and / or position information of the target object, wherein the position information is based into ⁇ particular on a global navigation satellite system.
  • the additional information can be transmitted, for example, directly from the target object to the distance-determining vehicle.
  • the position information on the target object can also be transmitted from the target object and allows a check ⁇ fied by the inventive method distance, with an exact verification is not possible, since the position determination using global navigation satellite systems in comparison to the inventive method with a relatively large inaccuracy is. The recognition of a distance in the range of several meters and thus safety relevant wrong distance is still possible.
  • the information about the actual spatial extent of the target object and / or the additional information about the target object is detected by means of vehicle-to-X communication.
  • the vehicle-to-X communication exchanges information on the basis of at least one of the following types of connection: WLAN connection, in particular according to IEEE 802.11,
  • WLAN connections allow, for example, a high REMtragungsra ⁇ te.
  • ISM connections offer a lower data transmission rate, but also allow data to be transmitted around a visual obstruction.
  • ISM connections offer a lower data transmission rate, but also allow data to be transmitted around a visual obstruction.
  • Infrared connections again offer a low data transfer rate ⁇ which is also severely limited in the absence of sight.
  • mobile connections are not affected by obstructions and provide a good data transfer rate. But the connection is relatively slow.
  • driver assistance systems which perform, for example, braking interventions or einregeln a distance to the preceding vehicle by means of acquisition of Mo ⁇ gate control, are supplied without additional distance sensors with the required distance to the execution information.
  • driver assistance systems which, if necessary, issue a warning to the driver when a safety-critical minimum distance is undershot.
  • This exemplary enumeration of driver assistance systems is not complete and can be expanded as desired since the determined distance can be made available to each driver assistance system and to each vehicle system.
  • the information about the actual spatial extent of the target object and / or the additional information about the target object is validated by means of a comparison with the camera information and / or the additional camera information.
  • a validation by means of the camera sensor can be carried out before processing the information or additional information acquired, for example, by means of vehicle-to-X communication. Since the camera sensor according to the method according to the invention is used anyway for distance determination, a validation without the involvement of other sensors is thus possible. For example, since no absolute actual extents can be measured on the light sensor, the ratio of extents on the light sensor can be compared to the ratio of actual spatial extents transmitted by the target.
  • the information about the actual spatial extent of the target object is validated.
  • the direction of movement of the target relative to the camera sensor can be detected directly by this.
  • a validation of the additional information about the target object is possible.
  • a Zielobj ekterkennungs- algorithm of the camera sensor, a detection threshold down ⁇ sets when the target object has already been assigned by means of the information about the actual spatial extent of the target object of an object class.
  • the present invention further relates to a distance determination system which determines a distance of a camera sensor to a target object and which in particular carries out the method according to the invention for distance determination.
  • the system comprises a camera sensor and a vehicle-to-X communication device and / or an electronic memory device and is characterized in that the camera sensor detects a camera information which comprises a spatial extent of the region covered by the target object on a light sensor in the camera sensor.
  • an object class matrix is stored on the electronic memory device, which contains ratios of extensions along the horizontal and the vertical and / or the total covered surface of a multiplicity of different object classes.
  • the system according to the invention has the possibility, with ⁇ means of an adjustment of the ratios of the extensions of the areas covered on the light sensor with the areas on the electronic memory device stored ratios of extensions to assign a target object of an object class.
  • the assignment to an object class is thus independent of any object class possibly received via vehicle-to-X communication or actual extensions received via vehicle-to-X communication.
  • the distance determination can also be carried out when the target object either does not transmit necessary for determining the distance information or the distance determination vehicle receives no entspre ⁇ sponding information, for example because it does not have a vehicle-to-X-communication.
  • FIG. 3 shows a traffic situation in which the distance determination method and distance determination system according to the invention are used.
  • Fig. La is shown an exemplary and schematic exporting ⁇ approximate shape of the inventive method.
  • the camera sensor 1 which comprises the light sensor 2 and the optical lens 3.
  • Light sensor 2 and optical lens 3 are arranged at a distance 8 from each other.
  • the vehicle 4 is the ⁇ art is oriented such that camera sensor 1 detects the rear view of the vehicle. 4
  • the rear view of vehicle 4 has a horizontal extent 5 in the horizontal, which corresponds to the vehicle width.
  • Via beam path 6, an extension 7 is generated on light sensor 2, which indicates the width of the covered area on light sensor 2.
  • Example ⁇ according to spatial extent 5 of vehicle 4 is known.
  • the distance from the vehicle 4 to Kame ⁇ rasensor 1 is determined according to, for example by means of a simple geo ⁇ metric relationship.
  • the example according to geometrical is ⁇ connexion shown in Fig. Lb.
  • Length 10 corresponds to distance 8 in Fig. La
  • Length 11 corresponds He ⁇ extension 7 on the light sensor 2 and length 11' corresponds to the vehicle width 5.
  • FIG. 2 shows camera sensor 1 with light sensor 2.
  • camera sensor 1 detects the rear view of vehicle 13.
  • Spatial extensions 14 and 15 along the horizontal and the vertical are proportionally imaged onto light sensor 2.
  • the ratio becomes formed on the light sensor 2 proportional extensions 14 and 15 formed.
  • a ratio value is now sought which corresponds to the ratio value formed from extension 14 and extension 15. The result is a match with the ratio for a truck.
  • Vehicle 13 is thus recognized as a truck due to the ratio sei ⁇ ner extensions 14 and 15 of camera sensor.
  • Fig. 3 shows driving ⁇ convincing 16, spaced apart on the road track 19 follows vehicle 17th
  • Both vehicles have, for example, vehicle-to-x communication devices. Since road track 19 has a cam, vehicles 16 and 17 are oriented in under ⁇ Kunststoffliche directions. Camera sensor 1 detects spatial extent 18 of the vehicle 17. Due to the un ⁇ ter Kunststoff orientations of the vehicles but does not meet extension 18 the width of vehicle 17, but a diagonal of the vehicle 17. By means of the vehicle to x-communication devices receives vehicle 16 inter alia the actual length and width of vehicle 17.
  • transmitted vehicle 17 according to the example also its direction of movement.
  • vehicle 16 initially determines the relati ⁇ ve orientation of both vehicles to each other.
  • the back-calculated extension allows the determination of extraneous did ⁇ distance between vehicle 16 and vehicle 17th
  • the diagonal 18 detected on the basis of the relative orientation of both vehicles and the camera sensor 1 is recalculated to the extent of the vehicle length to the light sensor 2.
  • the distance between the two vehicles according to the example over the length and not over the width of vehicle 17 be ⁇ true.
  • only vehicles 16 are provided with a vehicle-to-x communication device, but not vehicle 17.
  • Vehicle 16 thus receives neither information about the orientation of vehicle 17 nor information about the actual spatial extent of vehicle 17.
  • Camera sensor 1 recognizes, however, based on lane markings 20 that vehicle 17 is in a curve.
  • ⁇ game according to the relative orientation of the vehicle 17 to vehicle 16 is determined by the orientation of Fahrbahnmarkie ⁇ stanchions 20 by, it is assumed that the vehicle follows lane 17 nineteenth Furthermore, an average ratio of vehicle width to vehicle length is assumed for vehicle 17, in order to keep a possible error in the distance determination on average as low as possible.
  • there is sufficient information in vehicle 16 in order to determine the distance to the vehicle 17 by means of the area covered by the diagonal 18 on the light sensor 2.
  • camera sensor 1 can directly detect the vehicle width of the vehicle 17th Once the width of vehicle 17 has been detected, this information can be used in later curves for exact distance determination without having to resort to average values of ratios of vehicle widths to vehicle lengths.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

Die Erfindung betrifft ein Abstandsbestimmungsverfahren mittels eines Kamerasensors, wobei auf Basis einer Kamerainformation ein Abstand des Kamerasensors zu einem Zielobjekt bestimmt wird, welches sich dadurch auszeichnet, dass die Kamerainformation eine räumliche Erstreckung des vom Zielobjekt auf einem Lichtsensor im Kamerasensor bedeckten Bereichs umfasst.

Description

Abstandsbestimmung mittels eines Kamerasensors
Die Erfindung betrifft ein Abstandsbestimmungsverfahren mittels eines Kamerasensors gemäß Oberbegriff von Anspruch 1 und ein Abstandsbestimmungssystem gemäß Oberbegriff von Anspruch 19.
Im Stand der Technik sind bereits unterschiedliche Sensor¬ systeme zur Umfelderfassung und insbesondere zur Entfernungsmessung zu einem Zielobjekt bekannt. Die WO 2008/080951 offenbart in diesem Zusammenhang ein Fahrerassistenzsystem, welches z.B. mittels eines Radar- oder Lidarsensors eine Entfernung zu einem vorausfahrenden Fahrzeug ermittelt. Um trotz Fahrbahnunebenheiten und dadurch verursachten Neigungswinkeln des Eigenfahrzeugs eine Ausrichtung der Entfernungssensoren in Richtung des Vorausfahrzeugs zu gewährleis¬ ten, ist eine Kamera vorgesehen, welche das Vorausfahrzeug erkennt und die Ausrichtung der Entfernungssensoren an die jeweilige Situation anpasst. Eine exakte Ausrichtung der Entfernungssensoren ist jedoch nur dann möglich, wenn die Kamera und der Entfernungssensor entweder auf gleicher Höhe im Fahrzeug angebracht sind oder aber mittels Triangulation, sofern der Abstand der Kamera zum Vorausfahrzeug bekannt ist. Aus diesem Grund wird gemäß der WO 2008/080951 die Ent¬ fernung der Kamera zum Vorausfahrzeug anhand des Kamerabilds geschätzt. Die Anforderung an die Genauigkeit der Entfer¬ nungsbestimmung darf dabei allerdings nur gering sein.
Die DE 10 2007 048 809 AI beschreibt ein Verfahren und eine Vorrichtung zur Erkennung von verdeckten Objekten im Stra- ßenverkehr. Dabei ermittelt ein Positionsbestimmungssystem mittels verschiedener Sensoren, wie beipielsweise GPS-Modul, Radarsensor, Lidarsensor oder Stereokamera, die Position des eigenen Fahrzeugs und die Positionen benachbarter Fahrzeuge. Durch die Verwendung einer Stereokamera ist sowohl eine Objekterkennung als auch eine vergleichsweise exakte Entfer¬ nungsmessung ohne die Verwendung von zusätzlichen Entfernungssensoren möglich. Weiterhin wird ein Fahrzeug-zuFahrzeug-Kommunikationssystem offenbart, welches die vom eigenen Fahrzeug erfassten Umgebungsdaten an benachbarte Fahrzeuge übermittelt, so dass diese für sie selbst nicht sicht¬ bare Objekte erfassen können. Zu jedem übermittelten Objekt gibt es eine Anzahl von Attributen, die entweder mittels der Sensorik bestimmt werden oder aus einer Look-Up-Tabelle ab¬ gerufen werden. Das Fahrzeug-zu-Fahrzeug-
Kommunikationssystem übermittelt außerdem Fahrzeugparameter des eigenen Fahrzeugs wie z.B. die Fahrzeuglänge, die Fahr¬ zeugbreite und den Fahrzeugtyp.
Der Nachteil dieser aus dem Stand der Technik bekannten Vorrichtungen und Verfahren besteht darin, dass zur präzisen Entfernungsmessung stets eigene Sensoren wie Radarsensoren, Lidarsensoren oder eine Stereokamera benötigt werden. Diese Sensoren sind jedoch mit zusätzlichem Kostenaufwand verbunden. Sofern eine Entfernungsbestimmung gemäß dem Stand der Technik mittels des Vergleichs von GPS-Positionsdaten vorgenommen wird, ist die ermittelte Entfernung nur sehr ungenau, da die zur Positionsbestimmung verwendeten globalen Navigationssatellitensysteme stets einer gewissen Ortstoleranz unterliegen. Auch die Verwendung einer Monokamera zum Schätzen einer Entfernung liefert nur sehr ungenaue Daten, welche für sicherheitsrelevante Anwendungen wie z.B. Bremseneingriffe nicht geeignet sind.
Die Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren und ein System vorzuschlagen, welche ohne die Verwendung gesonderter Entfernungssensoren eine zuverlässige und im Wesentlichen exakte Entfernungsmessung zu einem Zielobjekt ermöglichen.
Diese Aufgabe wird erfindungsgemäß durch das Abstandsbestim¬ mungsverfahren gemäß Anspruch 1 und das Abstandsbestimmungs- system gemäß Anspruch 19 gelöst.
Das erfindungsgemäße Abstandsbestimmungsverfahren mittels eines Kamerasensors, demgemäß auf Basis einer Kamerainforma¬ tion ein Abstand des Kamerasensors zu einem Zielobjekt be¬ stimmt wird, zeichnet sich dadurch aus, dass die Kamerain¬ formation eine räumliche Erstreckung des vom Zielobjekt auf einem Lichtsensor im Kamerasensor bedeckten Bereichs um- fasst. Der Vorteil dieses Verfahrens ist, dass zur Abstands¬ bestimmung auf eine direkt von der Kamera erfasste Informa¬ tion, nämlich die räumliche Erstreckung des Objekts auf dem Lichtsensor zurückgegriffen wird. Somit wird kein gesonderter Abstandsensor wie beispielsweise ein Radar- oder
Lidarsensor benötigt. Da eine Vielzahl von aktuellen Fahrzeugen ohnehin mit einem Kamerasensor ausgerüstet ist, kann durch das erfindungsgemäße Verfahren zur Abstandsbestimmung ohne zusätzlichen Kosten- und Herstellungsaufwand eine Viel¬ zahl von Fahrerassistenzsystemen, wie z.B. eine intelligente Geschwindigkeits- und Abstandskontrolle, implementiert wer¬ den . Bevorzugt ist es vorgesehen, dass die Kamerainformation, welche die räumliche Erstreckung des vom Zielobjekt auf ei¬ nem Lichtsensor im Kamerasensor bedeckten Bereichs umfasst, mit einer Information über die tatsächliche räumliche Er¬ streckung des Zielobjekts verknüpft wird. Durch die Verknüp¬ fung der Erstreckung auf dem Lichtsensor mit einer Information über die tatsächliche Erstreckung kann auf einfache Weise mittels geometrischer Zusammenhänge der Abstand des Kamerasensors zum Zielobjekt berechnet werden.
Weiterhin ist es bevorzugt, dass der Kamerasensor ein Mono- kamerasensor ist. Da zur erfindungsgemäßen Abstandsbestimmung ausschließlich eine Kamerainformation über die räumliche Erstreckung auf dem Lichtsensor benötigt wird, ist keine zweite Kamera, wie in einem Stereokamerasensor, notwendig. Eine an sich bekannte, aber vergleichsweise umständliche Ab¬ standsbestimmung mittels des Abgleichs der Bilder zweier Einzelkameras wie in einem Stereokamerasensor wird somit vermieden. Die Verwendung eines Monokamerasensors anstelle eines Stereokamerasensors reduziert zudem den Herstellungs¬ aufwand und damit die Produktionskosten.
Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung ist es vorgesehen, dass der Kamerasensor ein Stereokamerasensor ist. Das erfindungsgemäße Verfahren kann ohne zu¬ sätzlichen Aufwand auch in einem Stereokamerasensor durchgeführt werden. So ist es etwa denkbar, dass ein an sich bekanntes Verfahren zur Abstandbestimmung mittels des Stereokamerasensors ausgeführt und mittels des erfindungsgemäßen Verfahrens validiert wird und umgekehrt. Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung ist es vorgesehen, dass die Kamerainformation die räumliche Erstreckung des vom Zielobjekt auf dem Lichtsensor im Kamerasensor bedeckten Bereichs entlang einer Horizontalen umfasst. Die Abstandsbestimmung wird somit über die Breite des Zielobjekts durchgeführt, was den Vorteil mit sich bringt, dass in der Regel, sofern das Zielobjekt beispiels¬ weise ein PKW ist, die in Fahrtrichtung größte erfassbare Ausdehnung zur Abstandsbestimmung genutzt wird. Die zwangsläufig mit jeder Messung einer physikalischen Größe einhergehende relative Ungenauigkeit ist damit besonders gering.
Außerdem ist es vorteilhaft, dass die Kamerainformation die räumliche Erstreckung des vom Zielobjekt auf dem Lichtsensor im Kamerasensor bedeckten Bereichs entlang einer Vertikalen umfasst. In diesem Fall wird die Abstandsbestimmung zusätzlich oder alternativ über die Höhe des Zielobjekts durchge¬ führt. Sofern es sich beim Zielobjekt um einen LKW handelt, dessen räumliche Höhe in der Regel größer als seine räumli¬ che Breite ist, kann somit eine noch genauere Abstandsbe¬ stimmung durchgeführt werden.
Weiterhin ist es bevorzugt, dass die Kamerainformation eine Fläche des vom Zielobjekt auf dem Lichtsensor im Kamerasensor bedeckten Bereichs umfasst. Die auf dem Lichtsensor bedeckte Fläche ist in der Regel leicht bestimmbar, beispiels¬ weise durch Abzählen der bedeckten Sensorzellen bei einem CCD-Sensor. Die bedeckte Fläche liefert eine zusätzliche In¬ formation über das Zielobjekt, welche z.B. eine Überprüfung des mittels der Breite des Zielobjekts und/oder der Höhe des Zielobjekts bestimmten Abstands erlaubt. Somit ist eine Er- fassung und Validierung der Abstandsinformation über ein und denselben Sensor möglich.
In einer weiteren bevorzugten Ausführungsform der Erfindung ist es vorgesehen, dass die Information über die tatsächliche räumliche Erstreckung des Zielobjekts die räumliche Er- streckung entlang der Horizontalen und/oder entlang der Vertikalen und/oder die Querschnittsfläche des Zielobjekts um- fasst. Wie bereits beschrieben, erlaubt die Verknüpfung der Informationen über die Erstreckungen der im Kamerasensor bedeckten Bereiche mit den tatsächlichen räumlichen
Erstreckungen des Zielobjekts mittels geometrischer Zusammenhänge auf einfache Art und Weise eine Bestimmung des Ab- stands zwischen Kamerasensor und Zielobjekt. Je mehr Daten über tatsächliche räumliche Erstreckungen vorliegen und je mehr räumliche Erstreckungen des bedeckten Bereichs auf dem Lichtsensor zu Abstandsbestimmung genutzt werden, desto genauer und zuverlässiger kann das erfindungsgemäße Verfahren durchgeführt werden.
Weiterhin ist es vorteilhaft, dass der Lichtsensor ein CCD- Sensorchip (Charge Coupled Device) oder ein CMOS-Sensorchip (Complementary Metal Oxide Semiconductor) ist. Somit wird es auf einfache Weise und ohne zusätzlichen Aufwand möglich, den Lichtsensor elektronisch auszulesen. Besonders im Hinblick auf die elektronische Verarbeitung der vom Sensor er- fassten Bildinformationen ist dies von Vorteil.
Insbesondere ist es vorteilhaft, dass die Kamerainformation die Anzahl der vom Zielobjekt auf dem CCD-Sensorchip (Charge Coupled Device) oder dem CMOS-Sensorchip (Complementary Metal Oxide Semiconductor) bedeckten Detektorzeilen und/oder die Anzahl der vom Zielobjekt im Kamerasensor auf dem Lichtsensorchip bedeckten Detektorspalten und/oder die Anzahl der insgesamt bedeckten Detektorzellen umfasst. Bei einem CCD- Sensorchip oder einem CMOS-Sensorchip kann ein Maß für die Breite, die Höhe und die Fläche des bedeckten Bereichs auf einfache Weise durch Abzählen der Detektorspalten, Detektorzeilen bzw. der einzelnen Detektorzellen erfasst werden.
In einer weiteren bevorzugten Ausführungsform der Erfindung ist es vorgesehen, dass aus den räumlichen Erstreckungen des vom Zielobjekt auf dem Lichtsensor bedeckten Bereichs ein Verhältnis der Erstreckungen entlang der Horizontalen und der Vertikalen und/oder der insgesamt bedeckten Fläche gebildet wird. Dies erlaubt das Bestimmen von charakteristi¬ schen Erstreckungsverhältnissen für unterschiedliche Arten von Zielobjekten und somit einen weiteren Zugewinn an Informationen über das Zielobjekt
In einer weiteren besonders bevorzugten Ausführungsform der Erfindung ist es vorgesehen, dass mittels des Verhältnisses der Erstreckungen das Zielobjekt einer Objektklasse zugeord¬ net wird. Die Zuordnung zu einer Objektklasse erlaubt eine nähere Identifizierung des Zielobjekts und damit einherge¬ hend die Möglichkeit, auf für diese Objektklasse charakte¬ ristische, tatsächliche räumliche Erstreckungen zur Berech¬ nung des Abstands zurückzugreifen, sofern diese nicht direkt vom Zielobjekt übermittelt werden.
Vorzugsweise zeichnet sich das Verfahren dadurch aus, dass die Objektklasse das Zielobjekt als einer oder mehreren der folgenden Klassen zugehörig klassifiziert: Fahrzeugmarke, Fahrzeugmodell, Fußgänger oder Fahrradfahrer. Dies erlaubt eine im Wesentlichen exakte Identifizierung bzw. Klassifizierung des Zielobjekts und damit verbunden eine im Wesent¬ lichen individuelle Zuordnung zu einer Objektklasse. Somit können auf im Wesentlichen individuelle tatsächliche räumli¬ che Erstreckungen des Zielobjekts zurückgegriffen werden, sofern diese nicht direkt vom Zielobjekt übermittelt werden.
Weiterhin ist es vorteilhaft, dass eine zusätzliche Kamera¬ information eine Bewegungsrichtung des Zielobjekts relativ zum Kamerasensor umfasst. Die Erfassung der Bewegungsrichtung relativ zum Kamerasensor erlaubt eine Bestimmung der räumlichen Orientierung des Zielobjekts relativ zum Kamerasensor. Die Information über die räumliche Orientierung relativ zum Kamerasensor bietet den Vorteil, dass eine im Lichtsensor detektierte Breite bei nicht identischer Orientierung von Zielobjekt und Kamerasensor zurückgerechnet wer¬ den kann auf die Breite bei identischer Orientierung. Somit kann etwa auch in einer Kurve, in der das Zielobjekt auf¬ grund seiner anderen Position in der Kurve eine andere Orientierung als das nachfolgende Fahrzeug mit dem Kamerasensor aufweist, die der tatsächlichen räumlichen Breite entspre¬ chende Bedeckung im Lichtsensor ermittelt werden.
Weiterhin ist es bevorzugt, dass eine zusätzliche Informati¬ on über das Zielobjekt die Bewegungsrichtung des Zielobjekts relativ zum Kamerasensor und/oder eine Positionsinformation des Zielobjekts umfasst, wobei die Positionsinformation ins¬ besondere auf einem globalen Navigationssatellitensystem basiert. Die zusätzliche Information kann dabei beispielsweise direkt vom Zielobjekt an das abstandsbestimmende Fahrzeug übermittelt werden. Somit ergibt sich der Vorteil, dass un¬ abhängig vom Erkennen der Bewegungsrichtung des Zielobjekts durch den Kamerasensor des abstandsbestimmenden Fahrzeugs die Orientierung des Zielobjekts bekannt ist. Dies führt zu dem bereits beschriebenen Vorteil, dass eine im Lichtsensor detektierte Breite des Zielobjekts bei nicht identischer Orientierung von Zielobjekt und Kamerasensor zurückgerechnet werden kann auf die Breite bei identischer Orientierung. Die Positionsinformation über das Zielobjekt kann ebenfalls vom Zielobjekt übermittelt werden und ermöglicht eine Überprü¬ fung der mittels des erfindungsgemäßen Verfahrens bestimmten Abstands, wobei eine exakte Überprüfung nicht möglich ist, da die Positionsbestimmung mittels globaler Navigationssatellitensysteme im Vergleich zum erfindungsgemäßen Verfahren mit einer vergleichsweise großen Ungenauigkeit behaftet ist. Das Erkennen eines im Bereich mehrerer Meter und somit sicherheitsrelevant falsch bestimmten Abstands ist dennoch möglich .
Bevorzugt ist es vorgesehen, dass die Information über die tatsächliche räumliche Erstreckung des Zielobjekts und/oder die zusätzliche Information über das Zielobjekt mittels Fahrzeug-zu-X-Kommunikation erfasst wird. Daraus ergibt sich der Vorteil, dass jedes Zielobjekt einen individuellen und daher optimal angepassten Datensatz tatsächlicher räumlicher Erstreckungen an das abstandsbestimmende Fahrzeug übertragen kann, wodurch eine präzise und zuverlässige Abstandsbestimmung möglich wird, da die zur Abstandsbestimmung notwendigen Ausgangsdaten das Zielobjekt exakt beschreiben.
In einer weiteren besonders bevorzugten Ausführungsform der Erfindung ist es vorgesehen, dass die Fahrzeug-zu-X- Kommunikation auf Basis mindestens einer der folgenden Verbindungsarten Informationen austauscht: - WLAN-Verbindung, insbesondere nach IEEE 802.11,
ISM-Verbindung (Industrial, Scientific, Medical Band) ,
Infrarotverbindung und
- Mobilfunkverbindung.
Diese Verbindungsarten bieten dabei unterschiedliche Vor- und Nachteile, je nach Gattung und Wellenlänge. WLAN- Verbindungen ermöglichen z.B. eine hohe Datenübertragungsra¬ te. Eine Datenübertragung um ein Hindernis herum ist jedoch nur begrenzt möglich. ISM-Verbindungen hingegen bieten zwar eine geringere Datenübertragungsrate, erlauben es aber, auch Daten um ein Sichthindernis herum zu übertragen. Infrarotverbindungen wiederum bieten eine geringe Datenübertragungs¬ rate, die bei fehlender Sichtverbindung zudem stark eingeschränkt wird. Mobilfunkverbindungen schließlich werden durch Sichthindernisse nicht beeinträchtigt und bieten eine gute Datenübertragungsrate. Dafür ist der Verbindungsaufbau vergleichsweise langsam. Durch die Kombination und gleichzeitige bzw. parallele Nutzung mehrerer dieser Verbindungs¬ arten ergeben sich weitere Vorteile, da so die Nachteile einzelner Verbindungsarten ausgeglichen werden können.
Außerdem ist es vorteilhaft, dass der mittels der Kamerain¬ formation zu einem Zielobjekt bestimmte Abstand mindestens einem Fahrerassistenzsystem zur Verfügung gestellt wird. Somit können Fahrerassistenzsysteme, welche beispielsweise Bremseneingriffe durchführen oder mittels Übernahme der Mo¬ torsteuerung einen Abstand zum Vorausfahrzeug einregeln, ohne zusätzliche Abstandssensoren mit den zu ihrer Ausführung notwendigen Abstandsinformationen versorgt werden. Ebenso ist es auch denkbar, die Abstandsinformation anderen Fahrerassistenzsystemen zur Verfügung zu stellen, welche ggf. bei Unterschreiten eines sicherheitskritischen Mindestabstands eine Warnung an den Fahrer ausgeben. Diese beispielhafte Aufzählung von Fahrerassistenzsystemen ist nicht vollständig und kann beliebig erweitert werden, da der ermittelte Ab¬ stand jedem Fahrerassistenzsystem und jedem Fahrzeugsystem zur Verfügung gestellt werden kann.
Zweckmäßigerweise ist es vorgesehen, dass die Information über die tatsächliche räumliche Erstreckung des Zielobjekts und/oder die zusätzliche Information über das Zielobjekt mittels eines Vergleichs mit der Kamerainformation und/oder der zusätzlichen Kamerainformation validiert wird. Somit ergibt sich der Vorteil, dass vor der Verarbeitung der beispielsweise mittels Fahrzeug-zu-X-Kommunikation erfassten Informationen bzw. zusätzlichen Informationen eine Validierung mittels des Kamerasensors durchgeführt werden kann. Da der Kamerasensor gemäß dem erfindungsgemäßen Verfahren ohnehin zur Abstandsbestimmung verwendet wird, ist damit eine Validierung ohne das Miteinbeziehen weiterer Sensoren möglich. Da auf dem Lichtsensor keine absoluten tatsächlichen Erstreckungen gemessen werden können, kann beispielsweise das Verhältnis der Erstreckungen auf dem Lichtsensor mit dem Verhältnis der vom Zielobjekt übertragenen tatsächlichen räumlichen Erstreckungen verglichen werden. Bei Übereinstimmung der Verhältnisse der Erstreckungen gilt die Information über die tatsächliche räumliche Erstreckung des Zielobjekts als validiert. Die Bewegungsrichtung des Zielobjekts relativ zum Kamerasensor kann von diesem hingegen direkt erfasst werden. Somit ist vorteilhafterweise auch eine Validierung der zusätzlichen Informationen über das Zielobjekt möglich. Außerdem ist es vorteilhaft, dass ein Zielobj ekterkennungs- algorithmus des Kamerasensors eine Erkennungsschwelle herab¬ setzt, wenn das Zielobjekt bereits mittels der Information über die tatsächliche räumliche Erstreckung des Zielobjekts einer Objektklasse zugeordnet wurde. Hier zeigt sich ein weiterer Vorteil des erfindungsgemäßen Verfahrens, da die Informationen über das Zielobjekt dazu genutzt werden können, die Objekterkennung durch den Kamerasensor zu beschleunigen. Somit ergibt sich eine insgesamt beschleunigte
Umfelderfassung durch ein entsprechendes Fahrerassistenzsys¬ tem.
Die vorliegende Erfindung betrifft weiter ein Abstandsbe- stimmungssystem, welches einen Abstand eines Kamerasensors zu einem Zielobjekt bestimmt und welches insbesondere das erfindungsgemäße Verfahren zur Abstandsbestimmung ausführt. Das System umfasst einen Kamerasensor und eine Fahrzeug-zu- X-Kommunikationseinrichtung und/oder eine elektronische Speichereinrichtung und zeichnet sich dadurch aus, dass der Kamerasensor eine Kamerainformation erfasst, welche eine räumliche Erstreckung des vom Zielobjekt auf einem Lichtsensor im Kamerasensor bedeckten Bereichs umfasst.
Es ist bevorzugt, dass auf der elektronischen Speichereinrichtung eine Objektklassenmatrix gespeichert ist, welche Verhältnisse von Erstreckungen entlang der Horizontalen und der Vertikalen und/oder der insgesamt bedeckten Fläche einer Vielzahl unterschiedlicher Objektklassen enthält. Somit verfügt das erfindungsgemäße System über die Möglichkeit, mit¬ tels eines Abgleichs der Verhältnisse der Erstreckungen der auf dem Lichtsensor bedeckten Bereiche mit den auf der elektronischen Speichereinrichtung gespeicherten Verhältnissen von Erstreckungen ein Zielobjekt einer Objektklasse zuzuordnen. Die Zuordnung zu einer Objektklasse ist damit unabhängig von einer ggf. über Fahrzeug-zu-X-Kommunikation empfangenen Objektklasse oder von über Fahrzeug-zu-X- Kommunikation empfangenen tatsächlichen Erstreckungen. Es ergibt sich der Vorteil, dass die Abstandsbestimmung auch dann durchgeführt werden kann, wenn das Zielobjekt entweder keine zur Abstandsbestimmung notwendigen Informationen überträgt oder das abstandsbestimmende Fahrzeug keine entspre¬ chenden Informationen empfängt, beispielsweise weil es keine Fahrzeug-zu-X-Kommunikationsmittel besitzt .
Weitere bevorzugte Ausführungsformen ergeben sich aus den Unteransprüchen und den nachfolgenden Beschreibungen von Ausführungsbeispielen anhand von Figuren.
Es zeigen
Fig. 1 eine räumliche Erstreckung des vom Zielobjekt auf dem Lichtsensor bedeckten Bereichs, die tatsächliche Erstreckung des Zielobjekts und den zugehörigen Strahlengang,
Fig. 2 einen Monokamerasensor, der das Zielobjekt anhand des Verhältnisses seiner räumlichen Erstreckungen klassifiziert und
Fig. 3 eine Verkehrssituation, in der das erfindungsgemäße Abstandsbestimmungsverfahren und Abstandsbe- stimmungssystem zum Einsatz kommen. In Fig. la ist eine beispielhafte und schematische Ausfüh¬ rungsform des erfindungsgemäßen Verfahrens zu sehen. Abgebildet ist Kamerasensor 1, welcher Lichtsensor 2 und optische Linse 3 umfasst. Lichtsensor 2 und optische Linse 3 sind im Abstand 8 voneinander angeordnet. Im Sichtfeld von Kamerasensor 1 befindet sich Fahrzeug 4. Fahrzeug 4 ist der¬ art orientiert, dass Kamerasensor 1 die Rückansicht von Fahrzeug 4 erfasst. Die Rückansicht von Fahrzeug 4 besitzt in der Horizontalen eine räumliche Erstreckung 5, was der Fahrzeugbreite entspricht. Über Strahlengang 6 wird auf Lichtsensor 2 eine Erstreckung 7 erzeugt, welche die Breite des bedeckten Bereichs auf Lichtsensor 2 angibt. Beispiels¬ gemäß ist räumliche Erstreckung 5 von Fahrzeug 4 bekannt. Abstand 8 und Erstreckung 7 des von Fahrzeug 4 auf Lichtsen¬ sor 2 bedeckten Bereichs sind ebenfalls bekannt bzw. erfass¬ bar. Somit wird beispielsgemäß mittels eines einfachen geo¬ metrischen Zusammenhangs der Abstand von Fahrzeug 4 zu Kame¬ rasensor 1 ermittelt. Der beispielsgemäße geometrische Zu¬ sammenhang ist in Fig. lb dargestellt. Länge 10 entspricht Abstand 8 in Fig. la, Länge 10' entspricht dem Abstand zwi¬ schen Kamerasensor 1 und Fahrzeug 4. Länge 11 entspricht Er¬ streckung 7 auf Lichtsensor 2 und Länge 11' entspricht Fahrzeugbreite 5. Längen 12 und 12' entsprechen Strahlengang 6. Mittels des Verhältnisses der Längen 10 zu 10' und 11 zu 11' wird nun beispielsgemäß Abstand 10' von Kamerasensor 1 zu Fahrzeug 4 bestimmt.
Fig. 2 zeigt Kamerasensor 1 mit Lichtsensor 2. In diesem Ausführungsbeispiel erfasst Kamerasensor 1 die Rückansicht von Fahrzeug 13. Räumliche Erstreckungen 14 und 15 längs der Horizontalen und der Vertikalen werden auf Lichtsensor 2 proportional abgebildet. Beispielsgemäß wird das Verhältnis der auf Lichtsensor 2 proportional abgebildeten Erstreckungen 14 und 15 gebildet. Aus einer Objektklassenmatrix auf einem elektronischen Speicher wird nun ein Verhältniswert gesucht, welcher dem aus Erstreckung 14 und Er- streckung 15 gebildeten Verhältniswert entspricht. Es ergibt sich eine Übereinstimmung mit dem Verhältniswert für einen LKW. Fahrzeug 13 wird somit aufgrund des Verhältnisses sei¬ ner Erstreckungen 14 und 15 von Kamerasensor 1 als LKW erkannt .
Das in Fig. 3 dargestellte Ausführungsbeispiel zeigt Fahr¬ zeug 16, welches auf Fahrbahnspur 19 beabstandet zu Fahrzeug 17 folgt. Beide Fahrzeuge verfügen beispielsgemäß über Fahr- zeug-zu-x-Kommunikationseinrichtungen . Da Fahrbahnspur 19 eine Kurve aufweist, sind Fahrzeuge 16 und 17 in unter¬ schiedliche Richtungen orientiert. Kamerasensor 1 erfasst räumliche Erstreckung 18 von Fahrzeug 17. Aufgrund der un¬ terschiedlichen Orientierungen der Fahrzeuge entspricht Erstreckung 18 jedoch nicht der Breite von Fahrzeug 17, sondern einer Diagonalen von Fahrzeug 17. Mittels der Fahrzeug- zu-x-Kommunikationseinrichtungen empfängt Fahrzeug 16 unter anderem die tatsächliche Länge und Breite von Fahrzeug 17. Eine alleine aufgrund der tatsächlichen Erstreckungen von Fahrzeug 17 und des auf Lichtsensor 2 bedeckten Bereichs durchgeführte Abstandsermittlung würde zu einem falsch ermittelten Abstand führen, da der auf Lichtsensor 2 bedeckte Bereich nicht der Breite von Fahrzeug 17 sondern dessen Diagonale 18 entspricht. Um derartige Fehler bei der erfin¬ dungsgemäßen Abstandsbestimmung zu vermeiden, übermittelt Fahrzeug 17 beispielsgemäß auch seine Bewegungsrichtung. Durch Vergleich der Bewegungsrichtung von Fahrzeug 17 mit der eigenen Bewegungsrichtung von Fahrzeug 16 wird in diesem Ausführungsbeispiel nun von Fahrzeug 16 zunächst die relati¬ ve Orientierung beider Fahrzeuge zueinander bestimmt. Mit Kenntnis der relativen Orientierung wird nun von Kamerasensor 1 erfasste Diagonale 18 rückgerechnet auf eine der Fahr¬ zeugbreite von Fahrzeug 17 entsprechende Erstreckung. Die rückgerechnete Erstreckung erlaubt die Bestimmung des tat¬ sächlichen Abstands zwischen Fahrzeug 16 und Fahrzeug 17.
In einem ebenfalls in Fig. 3 dargestellten Ausführungsbeispiel wird anhand der relativen Orientierung beider Fahrzeuge und von Kamerasensor 1 erfasster Diagonalen 18 auf die Erstreckung der Fahrzeuglänge auf Lichtsensor 2 rückgerechnet. Somit wird der Abstand beider Fahrzeuge beispielsgemäß über die Länge und nicht über die Breite von Fahrzeug 17 be¬ stimmt .
Gemäß einem weiteren in Fig. 3 dargestellten Ausführungsbeispiel ist nur Fahrzeuge 16 mit einer Fahrzeug-zu-x- Kommunikationseinrichtung versehen, nicht jedoch Fahrzeug 17. Fahrzeug 16 empfängt somit weder Informationen über die Orientierung von Fahrzeug 17 noch Informationen über die tatsächlichen räumlichen Erstreckungen von Fahrzeug 17. Kamerasensor 1 erkennt jedoch anhand von Fahrspurmarkierungen 20, dass Fahrzeug 17 sich in einer Kurve befindet. Bei¬ spielsgemäß wird die relative Orientierung von Fahrzeug 17 zu Fahrzeug 16 mittels der Ausrichtung von Fahrbahnmarkie¬ rungen 20 bestimmt, indem davon ausgegangen wird, dass Fahrzeug 17 Fahrspur 19 folgt. Des Weiteren wird für Fahrzeug 17 ein durchschnittliches Verhältnis von Fahrzeugbreite zu Fahrzeuglänge angenommen, um einen eventuellen Fehler bei der Abstandsbestimmung im Mittel möglichst gering zu halten. Somit liegen in Fahrzeug 16 ausreichend Informationen vor, um mittels des von Diagonaler 18 auf Lichtsensor 2 bedeckten Bereichs den Abstand zu Fahrzeug 17 ermitteln zu können. So¬ bald beide Fahrzeuge wieder in dieselbe Richtung fahren, al¬ so identisch orientiert sind, kann Kamerasensor 1 direkt die Fahrzeugbreite von Fahrzeug 17 erfassen. Nachdem die Breite von Fahrzeug 17 einmal erfasst wurde, kann diese Information in späteren Kurven zur exakten Abstandsbestimmung genutzt werden, ohne auf Durchschnittswerte von Verhältnissen von Fahrzeugbreiten zu Fahrzeuglängen zurückgreifen zu müssen.

Claims

Patentansprüche
1. Abstandsbestimmungsverfahren mittels eines Kamerasensors, wobei auf Basis einer Kamerainformation ein Abstand des Kamerasensors zu einem Zielobjekt bestimmt wird, dadurch gekennzeichnet,
dass die Kamerainformation eine räumliche Erstreckung des vom Zielobjekt auf einem Lichtsensor im Kamerasensor bedeckten Bereichs umfasst.
2. Verfahren nach Anspruch 1,
dadurch gekennzeichnet,
dass die Kamerainformation, welche die räumliche Erstre¬ ckung des vom Zielobjekt auf einem Lichtsensor im Kamerasensor bedeckten Bereichs umfasst, mit einer Information über die tatsächliche räumliche Erstreckung des Zielob¬ jekts verknüpft wird.
3. Verfahren nach mindestens einem der Ansprüche 1 und 2, dadurch gekennzeichnet,
dass der Kamerasensor ein Monokamerasensor ist.
4. Verfahren nach mindestens einem der Ansprüche 1 und 2, dadurch gekennzeichnet,
dass der Kamerasensor ein Stereokamerasensor ist.
5. Verfahren nach mindestens einem der Ansprüche 1 bis 4, dadurch gekennzeichnet,
dass die Kamerainformation die räumliche Erstreckung des vom Zielobjekt auf dem Lichtsensor im Kamerasensor bedeckten Bereichs entlang einer Horizontalen umfasst.
6. Verfahren nach mindestens einem der Ansprüche 1 bis 5, dadurch gekennzeichnet,
dass die Kamerainformation die räumliche Erstreckung des vom Zielobjekt auf dem Lichtsensor im Kamerasensor bedeckten Bereichs entlang einer Vertikalen umfasst
7. Verfahren nach mindestens einem der Ansprüche 1 bis 6, dadurch gekennzeichnet,
dass die Kamerainformation eine Fläche des vom Zielobjekt auf dem Lichtsensor im Kamerasensor bedeckten Bereichs umfasst .
8. Verfahren nach mindestens einem der Ansprüche 1 bis 7, dadurch gekennzeichnet,
dass die Information über die tatsächliche räumliche Er¬ streckung des Zielobjekts die räumliche Erstreckung ent¬ lang der Horizontalen und/oder entlang der Vertikalen und/oder die Querschnittsfläche des Zielobjekts umfasst.
9. Verfahren nach mindestens einem der Ansprüche 1 bis 8, dadurch gekennzeichnet,
dass der Lichtsensor ein CCD-Sensorchip (Charge Coupled Device) oder ein CMOS-Sensorchip (Complementary Metal Oxide Semiconductor) ist.
10. Verfahren nach mindestens einem der Ansprüche 1 bis 9, dadurch gekennzeichnet,
dass aus den räumlichen Erstreckungen des vom Zielobjekt auf dem Lichtsensor bedeckten Bereichs ein Verhältnis der Erstreckungen entlang der Horizontalen und der Vertikalen und/oder der insgesamt bedeckten Fläche gebildet wird.
11. Verfahren nach Anspruch 10,
dadurch gekennzeichnet,
dass mittels des Verhältnisses der Erstreckungen das Ziel¬ objekt einer Objektklasse zugeordnet wird.
12. Verfahren nach Anspruch 11,
dadurch gekennzeichnet,
dass die Objektklasse das Zielobjekt als einer oder mehre¬ ren der folgenden Klassen zugehörig klassifiziert: Fahrzeugmarke, Fahrzeugmodell, Fußgänger oder Fahrradfahrer.
13. Verfahren nach mindestens einem der Ansprüche 1 bis 12,
dadurch gekennzeichnet,
dass eine zusätzliche Information über das Zielobjekt die Bewegungsrichtung des Zielobjekts relativ zum Kamerasensor und/oder eine Positionsinformation des Zielobjekts um- fasst, wobei die Positionsinformation insbesondere auf ei¬ nem globalen Navigationssatellitensystem basiert.
14. Verfahren nach mindestens einem der Ansprüche 1 bis 13,
dadurch gekennzeichnet,
dass die Information über die tatsächliche räumliche Er- streckung des Zielobjekts und/oder die zusätzliche Infor¬ mation über das Zielobjekt mittels Fahrzeug-zu-X- Kommunikation erfasst wird.
15. Verfahren nach Anspruch 8,
dadurch gekennzeichnet, dass die Fahrzeug-zu-X-Kommunikation auf Basis mindestens einer der folgenden Verbindungsarten Informationen austauscht :
- WLAN-Verbindung, insbesondere nach IEEE
802.11,
ISM-Verbindung (Industrial, Scientific, Medical Band) ,
Infrarotverbindung und
- Mobilfunkverbindung.
16. Verfahren nach mindestens einem der Ansprüche 1 bis 15,
dadurch gekennzeichnet,
dass der mittels der Kamerainformation zu einem Zielobjekt bestimmte Abstand mindestens einem Fahrerassistenzsystem zur Verfügung gestellt wird.
17. Verfahren nach mindestens einem der Ansprüche 1 bis 16,
dadurch gekennzeichnet,
dass die Information über die tatsächliche räumliche Er- streckung des Zielobjekts und/oder die zusätzliche Infor¬ mation über das Zielobjekt mittels eines Vergleichs mit der Kamerainformation und/oder der zusätzlichen Kamerainformation validiert wird.
18. Verfahren nach mindestens einem der Ansprüche 1 bis 17,
dadurch gekennzeichnet,
dass ein Zielobj ekterkennungsalgorithmus des Kamerasensors eine Erkennungsschwelle herabsetzt, wenn das Zielobjekt bereits mittels der Information über die tatsächliche räumliche Erstreckung des Zielobjekts einer Objektklasse zugeordnet wurde.
19. Abstandsbestimmungssystem, welches einen Abstand eines Kamerasensors zu einem Zielobjekt bestimmt, in welchem insbesondere ein Verfahren nach mindestens einem der Ansprüche 1 bis 18 durchgeführt wird, umfassend einen Kame¬ rasensor und eine Fahrzeug-zu-X-Kommunikationseinrichtung und/oder eine elektronische Speichereinrichtung,
dadurch gekennzeichnet,
dass der Kamerasensor eine Kamerainformation erfasst, welche eine räumliche Erstreckung des vom Zielobjekt auf ei¬ nem Lichtsensor im Kamerasensor bedeckten Bereichs um- fasst .
20. System nach Anspruch 19,
dadurch gekennzeichnet,
dass auf der elektronischen Speichereinrichtung eine Objektklassenmatrix gespeichert ist, welche Verhältnisse von Erstreckungen entlang der Horizontalen und der Vertikalen und/oder der insgesamt bedeckten Fläche einer Vielzahl unterschiedlicher Objektklassen enthält.
EP12718266.5A 2011-05-11 2012-05-07 Abstandsbestimmung mittels eines kamerasensors Active EP2707862B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011075674A DE102011075674A1 (de) 2011-05-11 2011-05-11 Abstandsbestimmung mittels eines Kamerasensors
PCT/EP2012/058354 WO2012152746A1 (de) 2011-05-11 2012-05-07 Abstandsbestimmung mittels eines kamerasensors

Publications (2)

Publication Number Publication Date
EP2707862A1 true EP2707862A1 (de) 2014-03-19
EP2707862B1 EP2707862B1 (de) 2017-08-09

Family

ID=46025758

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12718266.5A Active EP2707862B1 (de) 2011-05-11 2012-05-07 Abstandsbestimmung mittels eines kamerasensors

Country Status (6)

Country Link
US (1) US9373041B2 (de)
EP (1) EP2707862B1 (de)
KR (1) KR20140038986A (de)
CN (1) CN103597528A (de)
DE (1) DE102011075674A1 (de)
WO (1) WO2012152746A1 (de)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012107153A1 (de) * 2012-08-03 2014-02-27 Hendrik Fehlis Vorrichtung und Verfahren zur Bestimmung der Eigenlage einer bildaufnehmenden Kamera
DE102013205361A1 (de) 2013-03-26 2014-10-02 Continental Teves Ag & Co. Ohg System und Verfahren zur Archivierung von Berührungsereignissen eines Fahrzeugs
EP3107033A1 (de) * 2015-06-15 2016-12-21 Continental Automotive GmbH Fahrzeugabmessungen und positionsrundfunk zur optischen abstandsmessung
DE102018216451A1 (de) * 2018-09-11 2020-03-12 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ausrichten einer Kalibriereinrichtung
US11222219B2 (en) 2019-04-15 2022-01-11 Qualcomm Incorporated Proximate vehicle localization and identification
CN110031829B (zh) * 2019-04-18 2021-07-09 北京联合大学 一种基于单目视觉的目标精准测距方法
DE102019210300B4 (de) 2019-07-11 2024-11-28 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum kamerabasierten Bestimmen eines Abstandes eines bewegten Objektes im Umfeld eines Kraftfahrzeugs
US11553319B2 (en) 2021-02-17 2023-01-10 Qualcomm Incorporated Evaluating vehicle-to-everything (V2X) information
US12008819B2 (en) 2021-08-04 2024-06-11 Telenav, Inc. Navigation system with mono-camera based traffic sign tracking and positioning mechanism and method of operation thereof
CN115371687A (zh) * 2022-08-22 2022-11-22 苏州挚途科技有限公司 基于车辆的测距方法、装置以及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69730278T2 (de) * 1996-07-17 2005-08-11 Raytheon Company, Waltham Passive Entfernungsabschätzung unter Verwendung von Bildgrösseabmessungen
FR2863050B1 (fr) * 2003-11-27 2006-03-10 Peugeot Citroen Automobiles Sa Dispositif de mesure de la distance entre deux vehicules.
US7561721B2 (en) * 2005-02-02 2009-07-14 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
DE202006012637U1 (de) * 2006-08-16 2006-11-16 Sick Ag Vorrichtung zum Kollisionsschutz zwischen aufeinanderfolgenden spurgeführten Fahrzeugen
EP2082388B1 (de) 2006-10-13 2015-08-19 Continental Teves AG & Co. oHG Verfahren und vorrichtung zur erkennung von verdeckten objekten im strassenverkehr
DE102007001103A1 (de) 2007-01-04 2008-07-10 Siemens Ag Vertikale Ausrichtung eines Lidar-Sensors
JP4775391B2 (ja) * 2008-03-18 2011-09-21 株式会社デンソー 障害物検出装置
GB2462071A (en) 2008-07-18 2010-01-27 Innovative Vehicle Systems Ltd Method for determining the separation distance between automotive vehicles
DE102008042631B4 (de) * 2008-10-06 2019-02-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Abstandsermittlung bei einem monokularen Videoassistenzsystem
TWI412730B (zh) * 2009-06-08 2013-10-21 Wistron Corp 用於一智慧型手持裝置之測距方法及測距裝置、辨識標的物之位置的方法及電子裝置以及辨識當前位置的方法及電子裝置
DE102010033212A1 (de) * 2010-08-03 2012-02-09 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zum Bestimmen eines Abstands eines Fahrzeugs zu einem benachbarten Fahrzeug

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2012152746A1 *

Also Published As

Publication number Publication date
DE102011075674A1 (de) 2012-11-15
US9373041B2 (en) 2016-06-21
CN103597528A (zh) 2014-02-19
WO2012152746A1 (de) 2012-11-15
KR20140038986A (ko) 2014-03-31
EP2707862B1 (de) 2017-08-09
US20140085428A1 (en) 2014-03-27

Similar Documents

Publication Publication Date Title
EP2707862B1 (de) Abstandsbestimmung mittels eines kamerasensors
EP2450865B1 (de) Mobile Kontrollvorrichtungen und -verfahren für Fahrzeuge
DE69937699T2 (de) Vorrichtung zum Überwachen der Umgebung eines Fahrzeuges
EP2826031B1 (de) Verfahren zur stauerkennung mittels einer drahtlosen fahrzeug-zu-fahrzeug-kommunikation
DE602004012962T2 (de) Echtzeit-hinderniserkennung mit einer kalibrierten kamera und bekannter ego-bewegung
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE102017218141B4 (de) Fahrunterstützungsvorrichtung unter verwendung einer frontüberwachungsvorrichtung und fahrunterstützungsverfahren unter verwendung einer frontüberwachungsvorrichtung
DE102018111778A1 (de) Verfahren, Vorrichtung und System zur Steuerung eines Fahrzeugs, das eine Kreuzung passiert.
EP2150939B1 (de) Verfahren und vorrichtung zum bestimmen der position eines verkehrszeichens
DE112020005275T5 (de) Systeme und verfahren zur selektiven verzögerung eines fahrzeugs
DE102016109592A1 (de) Kollisionsabschwächung und -vermeidung
EP2867093B1 (de) Verfahren und system zur informationsnutzung
DE102017203838A1 (de) Verfahren und System zur Umfelderfassung
WO2015032709A1 (de) Verfahren und verkehrsüberwachungseinrichtung zum feststellen einer falschfahrt eines kraftfahrzeugs
EP3298541A1 (de) Verfahren zur schätzung von fahrstreifen
WO2009013054A1 (de) Objektklassifizierungsverfahren und einparkhilfesystem
EP3465264A1 (de) Verfahren zur erkennung wenigstens einer parklücke für ein fahrzeug
WO2018014916A1 (de) Kameravorrichtung sowie verfahren zur erfassung eines umgebungsbereichs eines eigenen fahrzeugs
WO2021170321A1 (de) Verfahren zum detektieren bewegter objekte in einer fahrzeugumgebung und kraftfahrzeug
WO2017054956A1 (de) Verfahren und system zum ermitteln von verkehrsteilnehmern mit interaktionspotential
DE102015208599A1 (de) Objekterkennungsvorrichtung
EP3052359B1 (de) Verfahren und vorrichtung zur funktionsüberwachung eines fahrerassistenzsystems
DE102014005693B4 (de) Geschwindigkeitsüberwachungsverfahren für ein fahrzeug unter verwendung von drahtloskommunikation
WO2008012143A1 (de) Fahrerassistenzsystem
DE102015105784A1 (de) Verteiltes System zum Erkennen und Schützen von verwundbaren Verkehrsteilnehmern

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20131211

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20170502

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 917612

Country of ref document: AT

Kind code of ref document: T

Effective date: 20170815

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502012010973

Country of ref document: DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20170809

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171109

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171209

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171110

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20171109

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502012010973

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20180511

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20180507

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20180531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180531

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180507

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180507

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180507

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180531

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 917612

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180507

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180507

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20120507

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

Ref country code: MK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170809

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170809

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 502012010973

Country of ref document: DE

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTINENTAL TEVES AG & CO. OHG, 60488 FRANKFURT, DE

Ref country code: DE

Ref legal event code: R081

Ref document number: 502012010973

Country of ref document: DE

Owner name: AUMOVIO AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTINENTAL TEVES AG & CO. OHG, 60488 FRANKFURT, DE

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20250531

Year of fee payment: 14

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 502012010973

Country of ref document: DE

Owner name: AUMOVIO AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, 85057 INGOLSTADT, DE