EP2417594A1 - Datenverarbeitungssystem und verfahren zum bereitstellen mindestens einer fahrerassistenzfunktion - Google Patents

Datenverarbeitungssystem und verfahren zum bereitstellen mindestens einer fahrerassistenzfunktion

Info

Publication number
EP2417594A1
EP2417594A1 EP10719923A EP10719923A EP2417594A1 EP 2417594 A1 EP2417594 A1 EP 2417594A1 EP 10719923 A EP10719923 A EP 10719923A EP 10719923 A EP10719923 A EP 10719923A EP 2417594 A1 EP2417594 A1 EP 2417594A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
driver assistance
data
image
stationary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP10719923A
Other languages
English (en)
French (fr)
Inventor
Matthias Hoffmeier
Kay Talmi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hella GmbH and Co KGaA
Original Assignee
Hella KGaA Huek and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hella KGaA Huek and Co filed Critical Hella KGaA Huek and Co
Publication of EP2417594A1 publication Critical patent/EP2417594A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation

Definitions

  • the invention relates to a data processing system and a method for providing at least one driver assistance function.
  • a data processing system With the aid of at least one image acquisition unit of a vehicle, at least one image of the surroundings of the vehicle is generated.
  • driver assistance information of at least one driver assistance information is generated, by means of which a driver assistance function is provided in the vehicle.
  • driver assistance systems for increasing comfort and driving safety for motor vehicles.
  • Such driver assistance systems relate in particular to warning systems which warn the driver against the unintentional departure from a lane (Lane Departure Warning-LDW) or assist the driver in keeping their own lane while driving (Lane Keeping Support-LKS).
  • driver assistance systems for longitudinal guidance of the vehicle (ACC) for controlling the light emitted by the headlights of the vehicle, for traffic sign recognition and compliance with the traffic regulations specified by the traffic signs, blind spot warning systems distance warning systems with Auffahrwarnfunktion or with brake function and brake assistance systems and overtake assistance systems known.
  • known driver assistance systems usually use a vehicle camera arranged in or on the vehicle. An advantageous arrangement of the cameras is behind the windscreen in the area of the inside mirror. Other positions are possible.
  • Known vehicle cameras are preferably designed as video cameras for recording a plurality of images in succession as an image sequence. With the aid of such a camera, images of a detection area in front of the vehicle are detected with at least one area of the roadway and image data corresponding to the images are generated. These image data are then processed by means of suitable algorithms for object recognition and object classification as well as for tracking objects over several images (tracking). Objects that are classified and further processed as relevant objects are, in particular, the objects relevant to the respective driver assistance function, such as oncoming and preceding vehicles, lane markings, obstacles on roadways, pedestrians on and / or next to roadways, traffic signs, traffic lights and lamps.
  • the document WO 2008/019907 A1 discloses a method and a device for driver assistance by generating track information for supporting or replacing track information of a video-based lane information device.
  • a reliability parameter of the determined lane information is determined and, in addition, lane information of at least one further vehicle, which is transmitted via a vehicle-vehicle communication device, is determined.
  • a light control system for a motor vehicle is known. With the help of a microprocessor, at least one image is processed to headlights of oncoming vehicles and Taillights of vehicles ahead to detect and to determine a control signal for driving the headlights of the vehicle.
  • the object of the invention is to provide a data processing system and a method for providing at least one driver assistance function, in which only small resources for providing the driver assistance function in the vehicle are required.
  • the processing effort for providing the driver assistance function in the vehicle can be considerably reduced.
  • further information originating from the vehicle and other information not originating from the vehicle can be taken into account in a simple manner.
  • the driver assistance functions provided in the vehicle can be expanded and restricted in a simple manner by transferring from the stationary processing unit only desired and / or only agreed driver assistance information with the aid of the driver assistance data to the vehicle.
  • simply constructed image acquisition units for example, simply constructed cameras, and simply constructed transmitting units for sending the image data to the stationary receiving unit can be installed in the vehicle.
  • the camera and the transmitting unit or a transmitting unit for transmitting the image data and a receiving unit for receiving the driver assistance data requires little space in the vehicle and these components can be installed in a plurality of vehicles at a relatively low cost ,
  • a position-dependent driver assistance function in particular a consideration of country-specific features of the country in which the vehicle is currently located, possible.
  • This lan of the specific peculiarities relate in particular to country-specific traffic signs and / or country-specific traffic guidance facilities.
  • the vehicle position can be determined by the vehicle and transmitted to the stationary receiving unit or determined by the location of the stationary receiving unit.
  • an image acquisition system in the vehicle, which captures a plurality of images, each with an image of a region of the surroundings of the vehicle as image sequence, and generates corresponding image data for each acquired image of the image. Furthermore, a vehicle-end unit is provided, which transmits at least part of the image data of the images to the stationary receiving unit.
  • the image acquisition system generates compressed image data that has been compressed, for example, by the JPG compression method or an MP4 compression method. Furthermore, it is possible for only the image data of a section of the image recorded with the aid of the image acquisition system to be transmitted to the stationary receiving unit and processed by the stationary processing unit.
  • the stationary units are at least in their operation at a specific geographical location. In particular, when processing the image data and generating the driver assistance data, the stationary units remain at their respective geographical location.
  • the image acquisition system can record 10 to 30 images per second and their image data then to the stationary receiving unit transfer.
  • the transmission between the vehicle and a stationary receiving unit located in the transmission range of the vehicle preferably takes place with the aid of a radio data transmission, for example with known WLAN or mobile data transmission links.
  • a radio data transmission for example with known WLAN or mobile data transmission links.
  • optical radio links such as laser transmission, can be used.
  • a vehicle receiving unit which receives driver assistance data transmitted by the stationary transmitting unit. Both the data sent from the vehicle to the stationary receiving unit and the data sent from the stationary transmitting unit to the vehicle receiving unit are provided with a subscriber identifier of the vehicle or with a vehicle identifier to ensure the assignment of this data to the vehicle from which the processed image data originated , Furthermore, it is advantageous to provide a processing unit arranged in the vehicle, which processes the received driver assistance data and outputs information to the driver via a human-machine interface (HMI). Alternatively or additionally, the processing unit may control at least one vehicle system of the vehicle depending on the received driver assistance data.
  • HMI human-machine interface
  • This vehicle system may in particular comprise a lighting system, a braking system, a steering system, a drive system, a safety system and / or a warning system.
  • the assistance system can actively intervene in the guidance of the vehicle and possibly avoid dangerous situations or reduce the risk.
  • the stationary processing unit detects and classifies images of objects in the images during processing of the received image data and generates the driver assistance data depending on the classified objects.
  • the classification of Images of objects can be used to draw conclusions about the traffic situation and hazards as well as relevant information.
  • the stationary processing unit may determine the image position of a classified object and / or the relative position of the classified object to the vehicle and / or the position of the classified object in a vehicle-independent coordinate system, such as the world coordinate system. This will further clarify the traffic situation and identify specific hazards.
  • the image acquisition system comprises at least one stereo camera.
  • the images of the individual cameras of the stereo camera can then be transmitted as image data of a pair of images from the vehicle end unit to the stationary receiving unit and on to the stationary processing unit.
  • the stationary processing unit can then determine the images of the same object in the images of each image pair, determine their image position and, based on the image positions, determine the distance of the object to the stereo camera and thus to the vehicle. As a result, the distance of the vehicle to objects can be determined relatively accurately.
  • the stationary receiving unit can receive additional data with further information from the vehicle.
  • This additional information may include in particular the current position of the vehicle, the speed of the vehicle, information on the weather conditions on the vehicle, information on the visibility conditions in the area of the vehicle and information on settings and / or operating conditions of the vehicle, such as set light distributions from the headlights of the vehicle and / or with the help of Vehicle sensors determined information, such as detected lane markers, determined distances to objects, in particular to other vehicles include.
  • Vehicle sensors determined information such as detected lane markers, determined distances to objects, in particular to other vehicles include.
  • Figure 1 is a schematic overview of a system for driver assistance according to a first embodiment of the invention
  • FIG. 2 is a block diagram of a driver assistance system according to a second embodiment of the invention.
  • Figure 3 is a schematic representation of the process for data transmission of a driver assistance system according to the invention.
  • FIG. 1 is a schematic overview of a driver assistance system 10 according to a first embodiment of the invention shown.
  • a vehicle 12 located on a lane 14 of a lane 16 has a camera 20 disposed on the inside of the windshield of the vehicle 12 between an interior mirror 18 of the vehicle 12 and the windshield for capturing images of a portion of the lane 16 in front of the vehicle 12.
  • the outer viewing beams of the camera 20 are shown schematically by solid lines 22 and 24.
  • the oval area drawn between the sight beams 22, 24 indicates schematically the detection range of the camera 20 present in the respective distance.
  • the vehicle 12 further has a transmitting / receiving unit 26 for transmitting image data generated by means of the camera 20. The image data is transmitted to a stationary transmitting / receiving unit 30a.
  • the image data is preferably transmitted between the transmitting / receiving unit 26 of the vehicle 12 and the respective stationary transmitting / receiving unit 30a to 30c in compressed form.
  • the transceivers 26, 30a to 30c are also referred to as transceivers.
  • the image data received by the stationary transmitting / receiving units 30a to 30c are transmitted to a stationary processing unit in a data center 40 and there preferably unpacked into a transformation module 42 of the stationary processing unit and supplied to different modules 44, 46 for parallel and / or sequential generation of driver assistance functions ,
  • images of objects relevant for the driver assistance systems can be detected in the images, which are then classified and then traced, if necessary, over a plurality of successively recorded images.
  • driver assistance data are generated in an output module with the driver assistance information required to provide a driver assistance function in the vehicle 12 and transmitted to at least one stationary transmitting / receiving unit 30a to 30c, which is in transmission range to the vehicle 12.
  • the driver assistance data is then transmitted from this transmission / reception unit 30a to 30c to the vehicle 12.
  • a control unit processes the driver assistance data and supplies the driver assistance information to a control unit for controlling a vehicle component depending on the driver assistance function to be implemented and / or outputs corresponding information to the driver of the vehicle 12 on a display unit or via a loudspeaker.
  • FIG. 2 shows a block diagram of a driver assistance system according to a second embodiment of the invention. Elements having the same structure or the same function have the same reference numerals.
  • the camera 20 of the vehicle 12 is designed as a stereo camera in the second embodiment of the invention, wherein the individual cameras of the camera system 20 each generate a single image at the time of recording, wherein the simultaneously recorded images are then further processed as a pair of images.
  • the image data of the captured images are transmitted from the camera system 20 to a transformation module 52, which compresses the image data and adds additional data with additional information.
  • the image data receive a time stamp generated by a time stamp module 54.
  • the additional information data includes, in particular, vehicle data such as the activation of a direction indicator, adjustments to the headlights, the activation of rear and brake lights, information about the activation of the brakes and other vehicle data, which are preferably provided via a vehicle bus.
  • vehicle data such as the activation of a direction indicator, adjustments to the headlights, the activation of rear and brake lights, information about the activation of the brakes and other vehicle data, which are preferably provided via a vehicle bus.
  • the position data from a position determination module 58, which is preferably part of a navigation system of the vehicle 12, transmitted to the transformation module 52.
  • the additional data, ie the time stamp, the vehicle data and the position data are transmitted as additional data together with the image data to the transmitting / receiving unit 26 of the vehicle and transmitted there via a radio data connection to the communication network 30 to the transmitting / receiving unit 30c. From the transmitting / receiving unit 30c, the received data is transmitted to the data center 40.
  • an additional memory element 49 is provided in the data center 40, in which the image data can be temporarily stored.
  • the stored image data is deleted after a preset time of, for example, one day, unless there is a request to permanently store the data. This is particularly useful when images of an accident have been detected with the help of the vehicle camera 20, which should be stored for later evaluation.
  • the evaluation of the transmitted image data and the generation of the driver assistance information as well as the transmission of the generated driver assistance information by corresponding driver assistance data to the transmitting / receiving unit 26 of the vehicle 12 take place in the same way as described in connection with FIG.
  • the received driver assistance data are supplied to a control unit 60 which generates the vehicle assistance information corresponding to the driver assistance information for output via an output unit of the vehicle 12 and supplies it to the module 56. Additionally or alternatively, the control unit 60 may generate control data for vehicle modules, for example for activating the brake system 62 for activating the steering system 64, for activating the belt tensioning drives 66 and for activating the headrest drives 68.
  • FIG. 3 illustrates the process for generating and transmitting data between the vehicle 12 and the stationary processing unit of the data center 40.
  • step S 10 the camera 20 generates image data which is compressed in step S 12.
  • step S 14 vehicle data
  • step S 16 position data
  • step S 18 the data for generating a time stamp
  • step S 20 the data of further data sources in the vehicle 12 are determined.
  • step S22 the compressed image data and the additional data determined in steps S 14 to S 20 are transformed.
  • transforming the image data in step S 12 a part of the image data generated by the camera 20 may be selected and prepared for transmission.
  • the image data is transmitted together with the additional data in step S24 from the transmission / reception unit 26 of the vehicle 12 to the stationary transmission / reception unit 30c, which receives the transmitted data in step S30.
  • the received image data and preferably the transmitted additional data are then processed by the stationary processing unit 40 in step S32, the image data being unpacked in step S34 and analyzed in step S36 together with the additional data.
  • the image data or information determined from the image data and, if necessary, the transmitted additional information are supplied to modules for generating driver assistance information.
  • these modules generate driver assistance information.
  • the modules comprise at least one module for lane recognition, traffic sign recognition, light control, object detection, object verification and so-called night vision, in which objects that are not clearly visible to a vehicle driver are highlighted by appropriate projection onto the windshield.
  • driver assistance data are generated with the driver assistance information, which are then transmitted in step S40 with the aid of the stationary transmission unit 30c to the transmission / reception unit 26 of the vehicle 12.
  • step S42 the transceiver unit 26 of the vehicle 12 receives the driver assistance data and supplies it to an information, warning and action module of the vehicle 12, which processes the driver assistance data in step S44 and, in step S46, corresponding information about a man-machine Output interface (HMI) to the driver and additionally or alternatively in step S48 initiated an action of a vehicle component, such as activation of the braking system of the vehicle or the steering system of the vehicle or a safety device of the vehicle and / or the light system of the vehicle.
  • HMI man-machine Output interface
  • the vehicle components required for the described driver assistance system according to the invention are simply constructed components requiring little space, which can be easily installed in new vehicles and retrofitted in existing vehicles due to the relatively small space requirement.
  • the updating of the modules for generating the required driver assistance information can also be managed and updated centrally in the data center 40. This also allows easier on-demand access to these functions. Also region-specific, in particular country-specific, data, in particular for traffic sign recognition and lane detection can be stored centrally in the stationary processing unit 40 and depending on the Position of the vehicle 12 are used to generate the driver assistance information.
  • each of the stationary transceiver units 30a to 30c may comprise a stationary processing unit 40 for processing the image data transmitted by the vehicle 12 or may be connected to such a processing unit 40.
  • vehicle components 20, 26 can be used in any country without a country-specific adaptation of software and / or hardware in the vehicle.
  • the consideration of country-specific features is made by a selection or configuration of the software modules in the data center 40. There then takes place an evaluation of images of traffic signs, lanes and other objects for object recognition. On this basis, for example, a support of the light control and / or other currently known driver assistance functions can be provided.
  • the specified system is also easily expandable to future applications.
  • the transformation of the image information acquired with the aid of the camera 20, preferably into compressed image data, is achieved by a speaking electronics, preferably a microprocessor, carried out and transmitted to the transmitting / receiving unit 26, which then optionally sends these data together with additional data to the stationary transmitting / receiving unit 30a to 30c.
  • the driver assistance function is derived and evaluated depending on the modality. Based on this, driver assistance information is generated, which is transmitted from the data center 40 in the form of data to the stationary transceiver unit 30a to 30c and transmitted from this to the transceiver unit 26 of the vehicle 12.
  • At least one imaging sensor 20, ie at least one mono camera, is provided in the vehicle 12.
  • the driver assistance function generated with the aid of the generated driver assistance data can in particular comprise general information for the driver and / or warning or action information.
  • the driver assistance function generated with the aid of the generated driver assistance data can in particular comprise general information for the driver and / or warning or action information.
  • the images transmitted to the stationary processing unit 40 can be stored at least for a limited time with the aid of suitable memories.
  • HiI Fe the stored images are performed checks of the driver assistance information generated from the images, for example, to review complaints from drivers about incorrect driver assistance information.
  • module updates and module extensions for generating the driver assistance information from the supplied image data can be performed centrally in the data center 40.
  • the driver assistance information generated in the data center 40 from the transmitted image data and / or the driver assistance information transmitted to the vehicle can be limited depending on the driver assistance functions, software licenses and / or software modules enabled for the vehicle 12. Such an activation can emerge, for example, from a customer identifier and / or a vehicle identifier.
  • the respective driver assistance function can also be limited in space, for example limited to one country.
  • a module traffic sign recognition Germany can be booked by a driver or customer, in which case corresponding driver assistance information is generated by the computer center 40 based on the image data transmitted to the data center 40 and transmitted to the vehicle 12.
  • the driver is given an optical and / or acoustic information about the detected traffic signs. Additionally or alternatively, the transmitted driver assistance information can be further processed, for example, supplied to a system for generating a warning function in case of speeding over or to a cruise control for limiting the speed.
  • both mono cameras and stereo cameras can be used, which capture color images or gray step images.
  • these cameras comprise at least one CMOS image capture sensor or one CCD image capture sensor.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Datenverarbeitungssystem und ein Verfahren zum Bereitstellen mindestens einer Fahrerassistenzfunktion. Eine stationre Empfangseinheit (30a bis 30c) zum Empfangen von Bilddaten empfängt Hilfe mindestens einer Bilderfassungseinheit (20) eines Fahrzeugs (12) durch Erfassen eines Bildes der Umgebung des Fahrzeugs (12) erzeugt Bilddaten. Eine stationäre Verarbeitungseinheit (40) verarbeitet zumindest einen Teil der empfangenen Bilddaten, wobei die stationre Verarbeitungseinheit (40) ausgehend von den Bilddaten Fahrerassistenzdaten mit mindestens einer Fahrerassistenzinformation erzeugt, wobei mit Hilfe der erzeugten Fahrerassistenzinformation mindestens eine Fahrerassistenzfunktion im Fahrzeug (12) erzeugbar ist. Eine Sendeeinheit (30a bis 30c) sendet die Fahrerassistenzdaten zum Fahrzeug (12).

Description

Datenverarbeitungssystem und Verfahren zum Bereitstellen mindestens einer Fahrerassistenzfunktion
Die Erfindung betrifft ein Datenverarbeitungssystem und ein Verfahren zum Bereitstellen mindestens einer Fahrerassistenzfunktion. Mit Hilfe mindestens einer Bilderfassungseinheit eines Fahrzeugs wird mindestens ein Bild der Umgebung des Fahrzeugs erzeugt. Ausgehend von den Bilddaten werden Fahrerassistenzinformationen mindestens einer Fahrerassistenzinformation erzeugt, durch die eine Fahrerassistenzfunktion im Fahrzeug bereitstellt wird.
Es sind eine Vielzahl von kamerabasierten Fahrerassistenzsystemen zur Erhöhung von Komfort und Fahrsicherheit für Kraftfahrzeuge bekannt. Solche Fahrerassistenz Systeme betreffen insbesondere Warnsysteme, die den Fahrer vor dem unbeabsichtigten Verlassen einer Fahrspur warnen (Lane Departure Warning-LDW) oder den Fahrer beim Halten der eigenen Fahrspur während der Fahrt unterstützen (Lane Keeping Support-LKS). Ferner sind Fahrerassistenzsysteme zur Längsführung des Fahrzeugs (ACC) zur Lichtsteuerung des von den Frontscheinwerfern des Fahrzeugs abgestrahlten Lichts, zur Verkehrszeichenerkennung sowie zur Einhaltung der durch die Verkehrszeichen spezifizierten Verkehrsregeln, tote Winkel Warnsysteme (Blind Spot Warning Systems) Abstandsmesssystemen mit Auffahrwarnfunktion oder mit Bremsfunktion sowie Bremsassistenzsysteme und Überholassistenzsysteme bekannt. Zur Bilderfassung nutzen bekannte Fahrerassistenz Systeme üblicherweise eine im oder am Fahrzeug angeordnete Fahrzeugkamera. Eine vorteilhafte Anordnung der Kameras ist hinter der Frontscheibe im Bereich des Innenspiegels. Andere Positionen sind möglich.
Bekannte Fahrzeugkameras sind vorzugsweise als Videokameras zur Aufnahme von mehreren Bildern nacheinander als Bildfolge ausgeführt. Mit Hilfe einer solchen Kamera werden Bilder eines Erfassungsbereichs vor dem Fahrzeug mit zumindest einem Bereich der Fahrbahn erfasst und den Bildern entsprechende Bilddaten erzeugt. Diese Bilddaten werden dann durch geeignete Algorithmen zur Objekterkennung und Objektklassifizierung sowie zur Nachverfolgung von Objekten über mehrere Bilder (Tra- cking) verarbeitet werden. Objekte, die als relevante Objekte klassifiziert und weiterverarbeitet werden, sind insbesondere die für die jeweilige Fahrerassistenzfunktion relevanten Objekte, wie beispielsweise entgegenkommende und vorausfahrende Fahrzeuge, Fahrspurmarkierungen, Hindernisse auf Fahrbahnen, Fußgänger auf und/oder neben Fahrbahnen, Verkehrszeichen, Lichtsignalanlagen und Lampen.
Aus dem Dokument WO 2008/019907 Al sind ein Verfahren und eine Vorrichtung zur Fahrerassistenz durch Erzeugung von Spurinformationen zur Unterstützung oder zum Ersatz von Spurinformationen einer videobasierten Spurinformationseinrichtung bekannt. Es wird ein Zuverlässigkeitsparameter der ermittelten Spurinformationen bestimmt und zusätzlich eine Spurinformation von mindestens einem weiteren Fahrzeug ermittelt die über eine Fahrzeug-Fahrzeug-Kommunikationseinrichtung übertragen wird.
Aus dem Dokument EP 1 016 268 B l ist ein Lichtsteuersystem für ein Kraftfahrzeug bekannt. Mit Hilfe eines Mikroprozessors wird mindestens ein Bild verarbeitet, um Scheinwerfer entgegenkommender Fahrzeuge und Rücklichter vorausfahrender Fahrzeuge zu detektierten und ein Steuersignal zur Ansteuerung der Scheinwerfer des Fahrzeugs zu ermitteln.
Aus dem Dokument WO 2008/068837 Al ist ein Verfahren zur Anzeige einer Verkehrssituation bekannt, durch das die Verkehrssicherheit erhöht wird, indem die Position eines Fahrzeugs in Verbindung mit einer Videosequenz angezeigt wird.
Bei kamerabasierten Fahrerassistenzsystemen in Fahrzeugen besteht das Problem, dass aufgrund des beschränkten Platzes im Fahrzeug nur relativ geringe Verarbeitungsprozesse, d. h. eine relativ geringe Rechenkapazität und ein relativ geringer Speicher, zum Verarbeiten der Bilddaten und zum Bereitstellen der Fahrerassistenzfunktion bereitgestellt werden können. Um mehr Ressourcen im Fahrzeug bereitzustellen, ist ein hoher Kostenaufwand erforderlich. Nur dann können qualitativ hochwertige Fahrerassistenzfunktionen bereitgestellt werden. Als Kompromiss können die tatsächlich bereitgestellten Fahrerassistenzfunktionen auf nur einen Teil der möglichen Fahrerassistenzfunktionen beschränkt werden. Ferner müssen die zur Verarbeitung der Bilddaten und zur Analyse der Bildinformationen erforderlichen Algorithmen an konkrete Gegebenheiten des Fahrzeugs und der Fahrzeugumgebung angepasst werden. Bei bereits in Fahrzeugen etablierten Systemen müssen zur Aktualisierung relativ aufwendige Softwareupdates durchgeführt werden.
Auch die Berücksichtigung landes- oder regionsspezifischer Besonderheiten bei der Verarbeitung der Bilddaten zum Bereitstellen einiger Fahrerassistenzfunktionen erfordert die Speicherung von landes spezifischen Datensätzen im Fahrzeug. Ferner müssen diese Datensätze regelmäßig aktualisiert werden. - A -
Aufgabe der Erfindung ist es, ein Datenverarbeitungssystem und ein Verfahren zum Bereitstellen mindestens einer Fahrerassistenzfunktion anzugeben, bei denen nur geringe Ressourcen zum Bereitstellen der Fahrerassistenzfunktion im Fahrzeug erforderlich sind.
Diese Aufgabe wird durch ein Datenverarbeitungssystem mit den Merkmalen des Patentanspruchs 1 sowie durch ein Verfahren mit den nebengeordneten Verfahrensansprüchen gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.
Durch das Übertragen der Bilddaten vom Fahrzeug zu einer stationären Verarbeitungseinheit kann der Verarbeitungsaufwand zum Bereitstellen der Fahrerassistenzfunktion im Fahrzeug erheblich reduziert werden. Ferner können beim Bereitstellen der Fahrerassistenzfunktion weitere vom Fahrzeug sowie weitere nicht vom Fahrzeug stammende Informationen auf einfache Art und Weise berücksichtigt werden. Ferner können die im Fahrzeug bereitgestellten Fahrerassistenzfunktionen auf einfache Art und Weise erweitert und eingeschränkt werden, indem von der stationären Verarbeitungseinheit nur gewünschte und/oder nur vereinbarte Fahrerassistenzinformationen mit Hilfe der Fahrerassistenzdaten zum Fahrzeug übertragen werden. Insbesondere können einfach aufgebaute Bilderfassungseinheiten, beispielsweise einfach aufgebaute Kameras, und einfach aufgebaute Sendeeinheiten zum Senden der Bilddaten zur stationären Empfangseinheit im Fahrzeug installiert werden. Dafür ist relativ wenig Platz erforderlich, sodass die Kamera und die Sendeeinheit bzw. eine Sendeeinheit zum Senden der Bilddaten und eine Empfangseinheit zum Empfangen der Fahrerassistenzdaten nur wenig Platz im Fahrzeug beansprucht und diese Komponenten in einer Vielzahl von Fahrzeugen mit einem relativ geringen Kostenaufwand installiert werden können. Dadurch ist auf einfache Art und Weise eine positionsabhängige Fahrerassistenz- funktion, insbesondere eine Berücksichtigung von landesspezifischen Besonderheiten des Landes, in dem sich das Fahrzeug aktuell befindet, möglich. Diese lan des spezifischen Besonderheiten betreffen insbesondere landesspezifische Verkehrszeichen und/oder landesspezifische Verkehrsleiteinrichtungen. Die Fahrzeugposition kann dabei vom Fahrzeug ermittelt und zur stationären Empfangseinheit übertragen werden oder über den Standort der stationären Empfangseinheit ermittelt werden.
Bei einer vorteilhaften Ausführungsform der Erfindung ist ein Bilderfassungssystem im Fahrzeug vorgesehen, das mehrere Bilder mit jeweils einer Abbildung eines Bereichs der Umgebung des Fahrzeugs als Bildfolge erfasst und zu jedem erfassten Bild der Abbildung entsprechende Bilddaten erzeugt. Ferner ist eine Fahrzeugsendeeinheit vorgesehen, die zumindest einen Teil der Bilddaten der Bilder zur stationären Empfangseinheit sendet. Das Bilderfassungssystem erzeugt insbesondere komprimierte Bilddaten, die beispielsweise mit dem JPG-Komprimierverfahren oder einem MP4-Komprimierverfahren komprimiert worden sind. Ferner ist es möglich, dass nur die Bilddaten eines Ausschnitts des mit Hilfe des Bilderfassungssystems aufgenommenen Bildes zur stationären Empfangseinheit übertragen und von der stationären Verarbeitungseinheit verarbeitet werden. Im Unterschied zu den im Fahrzeug angeordneten Komponenten, die durch ihre Anordnung im bzw. am Fahrzeug auch als mobile Einheiten oder Fahrzeugeinheiten bezeichnet werden, sind die stationären Einheiten zumindest bei ihrem Betrieb an einem konkreten geografischen Ort. Insbesondere beim Verarbeiten der Bilddaten und Erzeugen der Fahrerassistenzdaten verbleiben die stationären Einheiten an ihrem jeweiligen geografischen Ort.
Das Bilderfassungssystem kann insbesondere 10 bis 30 Bilder pro Sekunde aufnehmen und deren Bilddaten dann zur stationären Empfangseinheit übertragen. Die Übertragung zwischen dem Fahrzeug und einer im Übertragung sreichweite des Fahrzeugs befindlichen stationären Empfangseinheit erfolgt vorzugsweise mit Hilfe einer Funkdatenübertragung, beispielsweise mit bekannten WLAN- oder Mobilfunkdatenübertragungsstre- cken. Alternativ können optische Richtfunkstrecken, wie Laserübertragung s strecken, genutzt werden.
Ferner ist es vorteilhaft, eine Fahrzeugempfangseinheit vorzusehen, die von der stationären Sendeeinheit gesendeten Fahrerassistenzdaten empfängt. Sowohl die vom Fahrzeug zur stationären Empfangseinheit gesendeten Daten als auch die von der stationären Sendeeinheit zur Fahrzeugempfang seinheit gesendeten Daten sind mit einer Teilnehmerkennung des Fahrzeugs bzw. mit einer Fahrzeugkennung versehen, um die Zuordnung dieser Daten zu dem Fahrzeug sicherzustellen, von dem die verarbeiteten Bilddaten stammen. Ferner ist es vorteilhaft, eine im Fahrzeug angeordnete Verarbeitungseinheit vorzusehen, die die empfangenen Fahrerassistenzdaten verarbeitet und über eine Mensch-Maschine-Schnittstelle (HMI) eine Information an den Fahrzeugführer ausgibt. Alternativ oder zusätzlich kann die Verarbeitungseinheit abhängig von den empfangenen Fahrerassistenzdaten mindestens ein Fahrzeugsystem des Fahrzeugs steuern. Dieses Fahrzeugsystem kann insbesondere ein Lichtsystem, ein Bremssystem, ein Lenksystem, ein Antriebssystem, ein Sicherheitssystem und/oder ein Warnsystem umfassen. Dadurch kann das Assistenzsystem aktiv in die Führung des Fahrzeugs eingreifen und ggf. Gefahrensituationen vermeiden oder die Gefährdung verringern.
Ferner ist es vorteilhaft, wenn die stationäre Verarbeitungseinheit beim Verarbeiten der empfangenen Bilddaten Abbildungen von Objekten in den Bildern detektiert und klassifiziert und abhängig von den klassifizierten Objekten die Fahrerassistenzdaten erzeugt. Durch die Klassifizierung der Abbildungen von Objekten kann ein Rückschluss auf die Verkehrssituation und Gefährdungen sowie auf relevante Informationen geschlossen werden.
Ferner kann die stationäre Verarbeitungseinheit die Bildposition eines klassifizierten Objekts und/oder die relative Position des klassifizierten Objekts zum Fahrzeug und/oder die Position des klassifizierten Objekts in einem fahrzeugunabhängigen Koordinatensystem, wie dem Weltkoordinatensystem, ermitteln. Dadurch kann die Verkehrs Situation weiter präzisiert und konkrete Gefährdungen ermittelt werden.
Ferner ist es vorteilhaft, wenn das Bilderfassungssystem mindestens eine Stereokamera umfasst. Die Bilder der Einzelkameras der Stereokamera können dann als Bilddaten eines Bildpaares von der Fahrzeugsendeeinheit zur stationären Empfangseinheit und weiter zur stationären Verarbeitungseinheit übertragen werden. Die stationäre Verarbeitungseinheit kann dann die Abbildungen desselben Objekts in den Bildern jedes Bildpaares ermitteln, deren Bildposition bestimmen und ausgehend von den Bildpositionen die Entfernung des Objekts zur Stereokamera und somit zum Fahrzeug ermitteln. Dadurch kann die Entfernung des Fahrzeugs zu Objekten relativ genau bestimmt werden.
Ferner kann die stationäre Empfangseinheit zusätzlich zu den Bilddaten Zusatzdaten mit weiteren Informationen vom Fahrzeug empfangen. Diese zusätzlichen Informationen können insbesondere die aktuelle Position des Fahrzeugs, die Geschwindigkeit des Fahrzeugs, Informationen zu den Wetterverhältnissen am Fahrzeug, Informationen zu den Sichtverhältnissen im Bereich des Fahrzeugs und Informationen zu Einstellungen und/oder Betriebszuständen des Fahrzeugs, wie eingestellte Lichtverteilungen von den Scheinwerfern des Fahrzeugs und/oder mit Hilfe von Fahrzeugsensoren ermittelten Informationen, wie detektierten Fahrspurmarkierungen, ermittelten Abständen zu Objekten, insbesondere zu anderen Fahrzeugen, umfassen. Dadurch stehen eine Vielzahl von Ausgangsinformationen zum Erzeugen der Fahrerassistenzdaten zur Verfügung, so- dass die in den Fahrerassistenzdaten enthaltenen Fahrerassistenzinformationen mit einer höheren Wahrscheinlichkeit korrekt ermittelt werden können und/oder mit relativ geringem Aufwand ermittelt werden können.
Das Verfahren mit den Merkmalen des nebengeordneten Verfahrensanspruchs kann auf die gleiche Weise weitergebildet werden wie für das erfindungsgemäße Datenverarbeitungssystem angegeben.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung, die in Verbindung mit den beigefügten Figuren die Erfindung anhand von Ausführungsbeispielen näher erläutert.
Es zeigen:
Figur 1 eine schematische Übersichtsdarstellung eines Systems zur Fahrerassistenz gemäß einer ersten Ausführungsform der Erfindung;
Figur 2 ein Blockschaltbild eines Systems zur Fahrerassistenz gemäß einer zweiten Ausführungsform der Erfindung; und
Figur 3 eine schematische Darstellung des Ablaufs zur Datenübertragung eines erfindungsgemäßen Systems zur Fahrerassistenz.
In Figur 1 ist eine schematische Übersichtsdarstellung eines Systems 10 zur Fahrerassistenz gemäß einer ersten Ausführungsform der Erfindung gezeigt. Ein Fahrzeug 12, das sich auf einer Fahrspur 14 einer Fahrbahn 16 befindet, hat eine an der Innenseite der Windschutzscheibe des Fahrzeugs 12 zwischen einem Innenspiegel 18 des Fahrzeugs 12 und der Windschutzscheibe angeordnete Kamera 20 zum Erfassen von Abbildungen eines Bereichs der Fahrbahn 16 vor dem Fahrzeug 12. Die äußeren Sichtstrahlen der Kamera 20 sind schematisch durch Volllinien 22 und 24 dargestellt. Die zwischen den Sichtstrahlen 22, 24 eingezeichneten ovalen Bereich geben schematisch den in der jeweiligen Entfernung vorhandenen Erfassungsbereich der Kamera 20 an. Das Fahrzeug 12 hat weiterhin eine Sende- /Empfangseinheit 26 zum Senden von mit Hilfe der Kamera 20 erzeugten Bilddaten. Die Bilddaten werden zu einer stationären Sende-/ Empfangseinheit 30a übertragen. Entlang der Fahrbahn 16 sind in geeigneten Abständen weitere stationäre Sende- und Empfangseinheiten angeordnet, von denen in Figur 1 beispielhaft die stationäre Sende - /Empfangseinheiten 30b und 30c dargestellt sind. Die Bilddaten werden vorzugsweise zwischen der Sende- /Empfangseinheit 26 des Fahrzeugs 12 und der jeweiligen stationären Sende- /Empfangseinheit 30a bis 30c in komprimierter Form übertragen. Die Sende- /Empfangseinheiten 26, 30a bis 30c werden auch als Transceiver bezeichnet.
Die von den stationären Sende- /Empfangseinheiten 30a bis 30c empfangenen Bilddaten werden zu einer stationären Verarbeitungseinheit in einem Rechenzentrum 40 übertragen und dort vorzugsweise in einen Transformationsmodul 42 der stationären Verarbeitungseinheit entpackt und verschiedenen Modulen 44, 46 zum parallelen und/oder sequentiellen Erzeugen von Fahrerassistenzfunktionen zugeführt. Dabei können mit Hilfe der Module 44 in den Bildern Abbildungen von für die Fahrerassistenzsysteme relevanten Objekten detektiert werden, die dann klassifiziert und dann ggf. über mehrere nacheinander aufgenommene Bilder nach verfolgt werden. Ausgehend von den mit Hilfe der Module 44, 46 erzeugten Fah- rerassistenzinformationen werden in einem Ausgangsmodul 48 Fahrerassistenzdaten mit den zum Bereitstellen einer Fahrerassistenzfunktion im Fahrzeug 12 erforderlichen Fahrerassistenzinformationen erzeugt und zu mindestens einer stationären Sende- /Empfangseinheit 30a bis 30c übertragen, die sich in Übertragungsreichweite zum Fahrzeug 12 befindet. Die Fahrerassistenzdaten werden dann von dieser Sende- /Empfangseinheit 30a bis 30c zum Fahrzeug 12 übertragen. Im Fahrzeug 12 verarbeitet eine Steuereinheit (nicht dargestellt) die Fahrerassistenzdaten und führt die Fahrerassistenzinformation abhängig von der zu realisierenden Fahrerassistenzfunktion einer Steuereinheit zum Steuern einer Fahrzeugkomponente zu und/oder gibt entsprechende Informationen auf einer Anzeigeeinheit oder über einen Lautsprecher an den Fahrer des Fahrzeugs 12 aus.
In Figur 2 ist ein Blockschaltbild eines Systems zur Fahrerassistenz gemäß einer zweiten Ausführungsform der Erfindung gezeigt. Elemente mit dem gleichen Aufbau oder der gleichen Funktion haben dieselben Bezugszeichen. Die Kamera 20 des Fahrzeugs 12 ist bei der zweiten Ausführungsform der Erfindung als Stereokamera ausgeführt, wobei die Einzelkameras des Kamerasystems 20 zum Aufnahmezeitpunkt jeweils ein Einzelbild erzeugen, wobei die gleichzeitig aufgenommenen Bilder dann als Bildpaar weiterverarbeitet werden. Die Bilddaten der aufgenommenen Bilder werden von dem Kamerasystem 20 zu einem Transformationsmodul 52 übertragen, das die Bilddaten komprimiert und weitere Daten mit Zusatzinformationen hinzufügt. Die Bilddaten erhalten insbesondere einen durch ein Zeitstempelmodul 54 erzeugten Zeitstempel. Die Daten mit Zusatzinformationen umfassen insbesondere Fahrzeugdaten, wie beispielsweise die Aktivierung eines Fahrtrichtungsanzeigers, Einstellungen der Frontscheinwerfer, die Aktivierung von Rück- und Bremsleuchten, Information über die Aktivierung der Bremsen und weitere Fahrzeugdaten, die vorzugsweise über einen Fahrzeugbus bereitgestellt werden. Ferner wer- den Positionsdaten von einem Positionsbestimmungsmodul 58, das vorzugsweise Bestandteil eines Navigationssystems des Fahrzeugs 12 ist, zum Transformationsmodul 52 übertragen. Die Zusatzdaten, d. h. der Zeitstempel, die Fahrzeugdaten und die Positionsdaten, werden als Zusatzdaten zusammen mit den Bilddaten zur Sende- /Empfangseinheit 26 des Fahrzeugs übertragen und dort über eine Funkdatenverbindung mit dem Kommunikationsnetz 30 zur Sende- /Empfangseinheit 30c übertragen. Von der Sende- /Empfangseinheit 30c werden die empfangenen Daten zum Rechenzentrum 40 übertragen. Im Unterschied zur ersten Ausführungsform der Erfindung ist im Rechenzentrum 40 ein zusätzliches Speicherelement 49 vorgesehen, in dem die Bilddaten zwischengespeichert werden können. Vorzugsweise werden die gespeicherten Bilddaten nach einer voreingestellten Zeit von beispielsweise einem Tag, gelöscht, es sei denn es erfolgt eine Anforderung, die Daten dauerhaft zu speichern. Dies ist insbesondere dann sinnvoll, wenn Bilder eines Unfalls mit Hilfe der Fahrzeugkamera 20 erfasst worden sind, die für eine spätere Auswertung gespeichert werden sollen.
Die Auswertung der übertragenen Bilddaten und das Erzeugen der Fahrerassistenzinformationen sowie die Übertragung der erzeugten Fahrerassistenzinformationen durch entsprechende Fahrerassistenzdaten zur Sende - /Empfangseinheit 26 des Fahrzeugs 12 erfolgt in gleicher Weise wie im Zusammenhang mit Figur 1 beschrieben. Die empfangenen Fahrerassistenzdaten werden einer Steuereinheit 60 zugeführt, die den Fahrerassistenzinformationen entsprechende Fahrzeugdaten zur Ausgabe über eine Ausgabeeinheit des Fahrzeugs 12 erzeugt und dem Modul 56 zuführt. Zusätzlich oder alternativ kann die Steuereinheit 60 Steuerdaten für Fahrzeugmodule erzeugen, beispielsweise zur Aktivierung des Bremssystems 62 zur Aktivierung des Lenksystems 64, zur Aktivierung der Gurtstraff e- rantriebe 66 und zur Aktivierung der Kopfstützenantriebe 68. In Figur 3 ist der Ablauf zum Erzeugen und Übertragen von Daten zwischen dem Fahrzeug 12 und der stationären Verarbeitungseinheit des Rechenzentrums 40 dargestellt. Im Schritt S lO erzeugt die Kamera 20 Bilddaten, die im Schritt S 12 komprimiert werden. Parallel werden im Schritt S 14 Fahrzeugdaten, im Schritt S 16 Positionsdaten, im Schritt S 18 die Daten zum Erzeugen eines Zeitstempels und im Schritt S20 die Daten von weiteren Datenquellen im Fahrzeug 12 ermittelt. Im Schritt S22 werden die komprimierten Bilddaten und die in den Schritten S 14 bis S 20 ermittelten Zusatzdaten transformiert. Bei dem Transformieren der Bilddaten im Schritt S 12 kann ein Teil der durch die Kamera 20 erzeugten Bilddaten ausgewählt und zur Übertragung vorbereitet werden. Die Bilddaten werden zusammen mit den Zusatzdaten im Schritt S24 von der Sende - /Empfangseinheit 26 des Fahrzeugs 12 zur stationären Sende- /Empfangseinheit 30c übertragen, die die übertragenen Daten im Schritt S30 empfängt. Die empfangenen Bilddaten und vorzugsweise die übertragenen Zusatzdaten werden dann im Schritt S32 durch die stationäre Verarbeitungseinheit 40 verarbeitet, wobei die Bilddaten im Schritt S34 entpackt und im Schritt S36 zusammen mit den Zusatzdaten analysiert werden. Die Bilddaten bzw. aus den Bilddaten ermittelte Informationen sowie erforderlichenfalls die übertragenen Zusatzinformationen werden Modulen zum Erzeugen von Fahrerassistenzinformationen zugeführt. Im Schritt S38 erzeugen diese Module Fahrerassistenzinformationen. Die Module umfassen insbesondere mindestens ein Modul zur Fahrspurerkennung, zur Verkehrszeichenerkennung, zur Lichtsteuerung, zur Objektdetektion, zur Objekt Verifikation und zum sogenannten Night Vision, bei dem durch entsprechende Projizierung auf die Windschutzscheibe einem Fahrzeugführer nicht gut sichtbare Objekte hervorgehoben werden. Grundsätzlich können Module für alle bekannten Fahrerassistenzsystemfunktionen sowie für zukünftige Fahrerassistenzfunktionen vorgesehen werden, die im Schritt S38 jeweils für die jeweilige Fahrerassistenzfunktion im Fahrzeug 12 erforderliche Fahrerassistenzinformationen erzeugen. Ferner werden Fahrerassistenzdaten mit den Fahrerassistenzinformationen erzeugt, die dann im Schritt S40 mit Hilfe der stationären Sendeeinheit 30c zur Sende- /Empfangseinheit 26 des Fahrzeugs 12 übertragen werden.
Im Schritt S42 empfängt die Sende- /Empfangseinheit 26 des Fahrzeugs 12 die Fahrerassistenzdaten und führt diese einem Informations-, Warn- und Aktionsmodul des Fahrzeugs 12 zu, das die Fahrerassistenzdaten im Schritt S44 verarbeitet und im Schritt S46 entsprechende Informationen über eine Mensch-Maschine-Schnittstelle (HMI) an den Fahrzeugführer ausgibt sowie zusätzlich oder alternativ im Schritt S48 eine Aktion einer Fahrzeugkomponente initiiert, wie beispielsweise eine Aktivierung des Bremssystems des Fahrzeugs oder des Lenksystems des Fahrzeugs oder einer Sicherheitseinrichtung des Fahrzeugs und/oder des Lichtsystems des Fahrzeugs.
Besonders vorteilhaft ist es, die für das beschriebene erfindungsgemäße Fahrerassistenzsystem erforderlichen Fahrzeugkomponenten als einfach aufgebaute, wenig Platz beanspruchende Komponenten auszuführen, die aufgrund des relativ geringen Platzbedarfs einfach in Neufahrzeuge eingebaut sowie in bestehenden Fahrzeugen nachgerüstet werden können. Auch die Aktualisierung der Module zum Erzeugen der erforderlichen Fahrerassistenzinformationen können einfach zentral im Rechenzentrum 40 verwaltet und aktualisiert werden. Dadurch ist auch ein einfacher bedarfsweiser Zugriff auf diese Funktionen möglich. Auch regionsspezifische, insbesondere länderspezifische, Daten, insbesondere zur Verkehrszeichenerkennung und zur Fahrspurerkennung können zentral in der stationären Verarbeitungseinheit 40 gespeichert werden und abhängig von der Position des Fahrzeugs 12 zum Erzeugen der Fahrerassistenzinformation genutzt werden.
Zur Übertragung der Bilddaten vom Fahrzeug 12 zur stationären Empfangseinheit 30, können bekannte Mobilfunknetze, drahtlose Funknetzwerke, wie Wireless LAN, oder derzeit im Test befindliche Breitbanddatennetze für den Mobilfunkbereich genutzt werden. Alternativ oder zusätzlich können optische Richtfunkstrecken zur Übertragung der Daten zwischen dem Fahrzeug 12 und der stationären Empfang- /Sendeeinheit 30c genutzt werden. Alternativ zu der gezeigten Ausführungsform kann jede der stationären Sende- /Empfangseinheiten 30a bis 30c eine stationäre Verarbeitungseinheit 40 zum Verarbeiten der vom Fahrzeug 12 übertragenen Bilddaten umfassen oder mit einer solchen Verarbeitungseinheit 40 verbunden sein.
Durch die Erfindung ist eine platzsparende Ausführung der Fahrzeugkamera 20 und der Sende- /Empfangseinheit 26 des Fahrzeugs 12 möglich, sodass diese weitestgehend baugleich in einer Vielzahl von Fahrzeugen eingesetzt werden. Diese Fahrzeugkomponenten 20, 26 sind in einem beliebigen Land ohne eine landesspezifische Anpassung von Soft- und/oder Hardware im Fahrzeug einsetzbar. Die Berücksichtigung von landesspezifischen Besonderheiten erfolgt durch eine Auswahl bzw. Konfiguration der Softwaremodule im Rechenzentrum 40. Dort erfolgt dann eine Auswertung von Abbildungen von Verkehrszeichen, von Fahrspuren und von anderen Objekten zur Objekterkennung. Davon ausgehend kann beispielsweise eine Unterstützung der Lichtsteuerung und/oder andere derzeit bekannte Fahrerassistenzfunktionen bereitgestellt werden. Jedoch ist das angegebene System ebenso auf zukünftige Anwendungen einfach erweiterbar. Die Transformation der mit Hilfe der Kamera 20 erfassten Bildinformationen vorzugsweise in komprimierte Bilddaten wird durch eine ent- sprechende Elektronik, vorzugsweise einen Mikroprozessor, durchgeführt und zur Sende- /Empfangseinheit 26 übertragen, die diese Daten dann gegebenenfalls zusammen mit Zusatzdaten zur stationären Sende- /Empfangseinheit 30a bis 30c sendet. Im Rechenzentrum 40 wird die Fahrerassistenzfunktion je nach Modalität abgeleitet und ausgewertet. Davon ausgehend wird eine Fahrerassistenzinformation erzeugt, die vom Rechenzentrum 40 in Form von Daten zur stationären Sende - /Empfangseinheit 30a bis 30c übertragen und von dieser zur Sende- /Empfangseinheit 26 des Fahrzeugs 12 übertragen wird. Im Fahrzeug 12 ist mindestens ein bildgebender Sensor 20, d. h. mindestens eine Mono- kamera, vorgesehen. Mit Hilfe der Kamera 20 wird vorzugsweise ein Bereich der Fahrbahn vor dem Fahrzeug 12 erfasst. Die mit Hilfe der erzeugten Fahrerassistenzdaten erzeugte Fahrerassistenzfunktion kann insbesondere allgemeine Informationen für den Fahrzeugführer und/oder eine Warn- oder eine Aktion sinformation umfassen. Durch das Auswerten der Bildinformation außerhalb des Fahrzeugs 12 sind im Fahrzeug 12 nur relativ geringe Ressourcen erforderlich, um eine Fahrerassistenzfunktion bereitzustellen. Auch wird kein oder relativ wenig Speicher im Fahrzeug 12 benötigt, um Vergleichsdaten zum Klassifizieren von Objekten zu speichern. Durch die Verarbeitung und Bewertung der Bilddaten im zentralen Rechenzentrum 40 kann eine landesabhängige bzw. regionabhängige Bilderkennung durchgeführt werden. Des Weiteren ist es möglich, dass die stationäre Verarbeitungseinheit 40 sich schnell ändernde Straßenverhältnisse, wie z. B. Richtungsänderungen von Fahrbahnen und Baustellen, bei dem Erzeugen der Fahrerassistenzinformation sowie von anderen Fahrzeugen übertragene Informationen beim Ermitteln der Fahrerassistenzdaten berücksichtigt. Wie bereits in Verbindung mit Figur 2 erläutert, können die an die stationäre Verarbeitungseinheit 40 übermittelten Bilder zumindest zeitbegrenzt mit Hilfe geeigneter Speicher gespeichert werden. Zusätzlich zu der bereits erwähnten Unfalldokumentation können mit HiI- fe der gespeicherten Bilder Überprüfungen der aus den Bildern erzeugten Fahrerassistenzinformationen durchgeführt werden, um beispielsweise Beschwerden von Fahrzeugführern über falsche Fahrerassistenzinformationen zu überprüfen.
Besonders vorteilhaft ist es, dass Modulaktualisierungen und Modulerweiterungen zum Erzeugen der Fahrerassistenzinformationen aus den zugeführten Bilddaten zentral im Rechenzentrum 40 durchgeführt werden können. Die im Rechenzentrum 40 aus den übermittelten Bilddaten erzeugten Fahrerassistenzinformationen und/oder die zum Fahrzeug übertragenen Fahrerassistenzinformationen können abhängig von den für das Fahrzeug 12 freigeschalteten Fahrerassistenzfunktionen, Softwarelizenzen und/oder Softwaremodulen beschränkt werden. Eine solche Freischaltung kann beispielsweise aus einer Kundenkennung und/oder einer Fahrzeugkennung hervorgehen. Die jeweilige Fahrerassistenzfunktion kann auch räumlich begrenzt sein, beispielsweise auf ein Land begrenzt sein. So kann zum Beispiel eine Modul Verkehrszeichenerkennung Deutschland von einem Fahrzeugführer bzw. Kunden gebucht sein, wobei dann vom Rechenzentrum 40 ausgehend von den an das Rechenzentrum 40 übermittelten Bilddaten entsprechende Fahrerassistenzinformationen erzeugt und zum Fahrzeug 12 übertragen werden. Ausgehend von diesen Funktionen wird dem Fahrzeugführer eine optische und/oder akustische Information über die erkannten Verkehrszeichen ausgegeben. Zusätzlich oder alternativ kann die übermittelte Fahrerassistenzinformation weiterverarbeitet werden, beispielsweise einem System zum Erzeugen einer Warnfunktion bei Geschwindigkeitsüberschreitungen oder einem Tempomat zur Begrenzung der Geschwindigkeit zugeführt werden.
Als Fahrzeugkameras 20 können sowohl Monokameras als auch Stereokameras eingesetzt werden, die Farbbilder oder Grau Stufenbilder erfassen. Diese Kameras umfassen insbesondere mindestens einen CMOS- Bilderfassungssensor oder einen CCD-Bilderfassungssensor.

Claims

Ansprüche
1. Datenverarbeitungssystem zum Bereitstellen mindestens einer Fahrerassistenzfunktion,
mit mindestens einer stationären Empfangseinheit (30a bis 30c) zum Empfangen von Bilddaten, die mit Hilfe mindestens einer Bilderfassungseinheit (20) eines Fahrzeugs (12) durch Erfassen mindestens eines Bildes der Umgebung des Fahrzeugs (12) erzeugt worden sind;
mit mindestens einer stationären Verarbeitungseinheit (40) zum Verarbeiten von zumindest einem Teil der empfangenen Bilddaten, wobei die stationäre Verarbeitungseinheit (40) ausgehend von den Bilddaten Fahrerassistenzdaten mit mindestens einer Fahrerassistenzinformation erzeugt, wobei mit Hilfe der erzeugten Fahrerassistenzinformation mindestens eine Fahrerassistenzfunktion im Fahrzeug (12) erzeugbar ist,
mit mindestens einer Sendeeinheit (30a bis 30c) zum Senden der Fahrerassistenzdaten zum Fahrzeug (12).
2. Datenverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, dass eine Bilderfassungseinheit (20) des Fahrzeugs (12) mehrere Bilder mit jeweils einer Abbildung eines Bereichs der Umgebung des Fahrzeugs (12) als Bildfolge erfasst und zu jedem erfassten Bild der Abbildung entsprechende Bilddaten erzeugt, und dass eine Fahrzeug sendeeinheit (26) zumindest einen Teil der Bilddaten der Bilder zur stationären Empfangseinheit (30a bis 30c) sendet.
3. Datenverarbeitungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Fahrzeugempfangseinheit (26) die von der stationären Sendeeinheit (30a bis 30c) gesendeten Fahrerassistenzdaten empfängt.
4. Datenverarbeitungssystem nach Anspruch 3, dadurch gekennzeichnet, dass eine im Fahrzeug (12) angeordnete Verarbeitungseinheit die empfangenen Fahrerassistenzdaten verarbeitet und über eine Mensch-Maschine-Schnittstelle eine Information ausgibt und/oder mindestens ein Fahrzeug System des Fahrzeugs (12) steuert.
5. Datenverarbeitungssystem nach Anspruch 4, dadurch gekennzeichnet, dass das Fahrzeugsystem ein Lichtsystem, ein Bremssystem, ein Lenksystem, ein Antriebssystem und/oder ein Warnsystem um- fasst.
6. Datenverarbeitungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die stationäre Verarbeitungseinheit (40) beim Verarbeiten der empfangenen Bilddaten Abbildungen von Objekten in den Bildern detektiert und klassifiziert und abhängig von den klassifizierten Objekten die Fahrerassistenzdaten erzeugt.
7. Datenverarbeitungssystem nach Anspruch 6, dadurch gekennzeichnet, dass die stationäre Verarbeitungseinheit (40) die Bildposition eines klassifizierten Objekts und/oder die relative Position des klas- sifizierten Objekts zum Fahrzeug (12) und/oder die Position des klassifizierten Objekts (12) in einem fahrzeugunabhängigen Koordinatensystem ermittelt.
8. Datenverarbeitungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bilderfassungssystem mindestens eine Stereokamera (20) umfasst, wobei die Bilder der Einzelkameras der Stereokamera als Bilddaten eines Bildpaares von der Fahrzeugsendeeinheit (26) zur stationären Empfangseinheit (30a bis 30c) übertragen werden.
9. Datenverarbeitungssystem nach Anspruch 8, dadurch gekennzeichnet, dass die stationäre Verarbeitungseinheit (40) die Abbildungen desselben Objekts in den Bildern jedes Bildpaares ermittelt, deren Bildposition bestimmt und ausgehend von den Bildpositionen die Entfernung des Objekts zur Stereokamera (20) ermittelt.
10. Datenverarbeitungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die stationäre Empfangseinheit (30a bis 30c) zusätzlich zu den Bilddaten Zusatzdaten mit weiteren Informationen vom Fahrzeug (12) empfängt.
11. Datenverarbeitungssystem nach Anspruch 11, dadurch gekennzeichnet, dass die weiteren Informationen die aktuelle Position des Fahrzeugs (12), Geschwindigkeit, Informationen zu Wetterverhältnissen, Informationen zu Sichtverhältnissen, Informationen zu Einstellungen und/oder Betriebszuständen des Fahrzeugs (12), eingestellte Lichtverteilungen von Scheinwerfern des Fahrzeugs (12) und/oder mit Hilfe von Fahrzeugsensoren ermittelte Informationen, wie detektierte Fahrspurmarkierungen, ermittelte Abstände zu Objekten, insbesondere zu anderen Fahrzeugen, umfassen.
12. Verfahren zum Bereitstellen mindestens einer Fahrerassistenzfunktion,
bei dem mit Hilfe einer stationären Empfangseinheit (30a bis 30c) Bilddaten empfangen werden, die mit Hilfe mindestens einer Bilderfassungseinheit (20) eines Fahrzeugs (12) durch Erfassen mindestens eines Bildes der Umgebung des Fahrzeugs (12) erzeugt worden sind,
zumindest ein Teil der empfangenen Bilddaten mit Hilfe einer stationären Verarbeitungseinheit (40) verarbeitet wird, wobei ausgehend von den Bilddaten Fahrerassistenzdaten mit mindestens einer Fahrerassistenzinformation erzeugt werden,
mit Hilfe der erzeugten Fahrerassistenzinformation mindestens eine Fahrerassistenzfunktion im Fahrzeug (12) erzeugbar ist,
und bei dem die Fahrerassistenzdaten mit Hilfe einer Sendeeinheit (30a bis 30c) zum Fahrzeug (12) gesendet werden.
EP10719923A 2009-04-06 2010-03-31 Datenverarbeitungssystem und verfahren zum bereitstellen mindestens einer fahrerassistenzfunktion Withdrawn EP2417594A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009016580A DE102009016580A1 (de) 2009-04-06 2009-04-06 Datenverarbeitungssystem und Verfahren zum Bereitstellen mindestens einer Fahrerassistenzfunktion
PCT/EP2010/054381 WO2010115831A1 (de) 2009-04-06 2010-03-31 Datenverarbeitungssystem und verfahren zum bereitstellen mindestens einer fahrerassistenzfunktion

Publications (1)

Publication Number Publication Date
EP2417594A1 true EP2417594A1 (de) 2012-02-15

Family

ID=42344504

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10719923A Withdrawn EP2417594A1 (de) 2009-04-06 2010-03-31 Datenverarbeitungssystem und verfahren zum bereitstellen mindestens einer fahrerassistenzfunktion

Country Status (6)

Country Link
US (1) US20120133738A1 (de)
EP (1) EP2417594A1 (de)
JP (1) JP2012523053A (de)
CN (1) CN102378999A (de)
DE (1) DE102009016580A1 (de)
WO (1) WO2010115831A1 (de)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US9959595B2 (en) 2010-09-21 2018-05-01 Mobileye Vision Technologies Ltd. Dense structure from motion
US20130002873A1 (en) * 2011-06-30 2013-01-03 Magna Electronics Europe Gmbh & Co. Kg Imaging system for vehicle
DE102011081614A1 (de) * 2011-08-26 2013-02-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Analysierung eines von einem Fahrzeug zu befahrenden Streckenabschnitts
JP5782928B2 (ja) * 2011-08-31 2015-09-24 マツダ株式会社 車両用通信システムおよびこれに用いる情報提供装置
DE102011084275A1 (de) * 2011-10-11 2013-04-11 Robert Bosch Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems und Verfahren zum Bearbeiten von Fahrzeugumfelddaten
JP5727356B2 (ja) * 2011-11-30 2015-06-03 日立オートモティブシステムズ株式会社 物体検知装置
US9324235B2 (en) 2011-12-27 2016-04-26 Honda Motor Co., Ltd. Driving assistance system
US8543254B1 (en) * 2012-03-28 2013-09-24 Gentex Corporation Vehicular imaging system and method for determining roadway width
DE102012107886A1 (de) * 2012-08-27 2014-02-27 Continental Teves Ag & Co. Ohg Verfahren zur elektronischen Erkennung von Verkehrszeichen
JP2014081831A (ja) * 2012-10-17 2014-05-08 Denso Corp 画像情報を用いた車両用運転支援システム
JP6109593B2 (ja) * 2013-02-12 2017-04-05 富士フイルム株式会社 危険情報処理方法、装置及びシステム、並びにプログラム
US9097551B2 (en) * 2013-02-28 2015-08-04 Here Global B.V. Method and apparatus for processing location-based imaging and trace data
US20140304635A1 (en) * 2013-04-03 2014-10-09 Ford Global Technologies, Llc System architecture for contextual hmi detectors
JP6251577B2 (ja) * 2014-01-17 2017-12-20 矢崎エナジーシステム株式会社 車載情報記録装置
US9834207B2 (en) * 2014-04-15 2017-12-05 GM Global Technology Operations LLC Method and system for detecting, tracking and estimating stationary roadside objects
DE102014011329A1 (de) * 2014-07-30 2016-02-04 Audi Ag Kraftfahrzeug und Verfahren zum Betreiben eines Fahrerassistenzsystem
US10189405B2 (en) * 2015-01-14 2019-01-29 Yazaki North America, Inc. Vehicular multi-purpose warning head-up display
JP6535194B2 (ja) * 2015-03-31 2019-06-26 株式会社デンソー 車両制御装置、及び車両制御方法
DE102016105536A1 (de) 2016-03-24 2017-09-28 Valeo Schalter Und Sensoren Gmbh Verfahren zur Erfassung von wenigstens einem Objekt, Vorrichtung einer Sensoreinrichtung, Sensoreinrichtung und Fahrerassistenzsystem mit wenigstens einer Sensoreinrichtung
DE102017208462A1 (de) * 2017-05-18 2018-11-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln von Betriebsdaten für ein automatisiertes Fahrzeug
JP6662356B2 (ja) * 2017-08-03 2020-03-11 トヨタ自動車株式会社 車両制御装置
DE102017223431B4 (de) * 2017-12-20 2022-12-29 Audi Ag Verfahren zum Assistieren eines Fahrers eines Kraftfahrzeugs bei einem Überholvorgang; Kraftfahrzeug; sowie System
US20190208136A1 (en) * 2017-12-29 2019-07-04 Waymo Llc High-speed image readout and processing
DE102018208150B4 (de) * 2018-05-24 2023-08-24 Audi Ag Verfahren und System zum Sicherstellen einer Echtzeitfähigkeit eines Fahrerassistenzsystems
US11270525B2 (en) * 2018-11-06 2022-03-08 Alliance For Sustainable Energy, Llc Automated vehicle occupancy detection
DE102018219984B3 (de) 2018-11-22 2020-03-26 Volkswagen Aktiengesellschaft Verfahren und System zum Unterstützen eines automatisiert fahrenden Fahrzeugs
CN109614931B (zh) * 2018-12-11 2021-01-01 四川睿盈源科技有限责任公司 车载路产巡检管控方法和系统
US20210191399A1 (en) * 2019-12-23 2021-06-24 Waymo Llc Real-Time Adjustment Of Vehicle Sensor Field Of View Volume
DE102022211145A1 (de) 2022-10-20 2024-04-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Erfassen einer Verkehrssituation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1393282B1 (de) * 2001-05-08 2005-12-21 DaimlerChrysler AG Kollisionsschutz für fahrzeuge

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990469A (en) 1997-04-02 1999-11-23 Gentex Corporation Control circuit for image array sensors
JP4118452B2 (ja) * 1999-06-16 2008-07-16 本田技研工業株式会社 物体認識装置
DE10238936A1 (de) * 2002-08-24 2004-03-04 Robert Bosch Gmbh Vorrichtung und Verfahren zur Steuerung wenigstens einer Systemkomponente eines informationstechnischen Systems
JP4364566B2 (ja) * 2003-07-04 2009-11-18 富士重工業株式会社 車両制動装置
DE10334203A1 (de) * 2003-07-26 2005-03-10 Volkswagen Ag Verfahren zum Betrieb eines interaktiven Verkehrsabwicklungssystemes und interaktives Verkehrsabwicklungssystem selbst
US20070115109A1 (en) * 2005-09-01 2007-05-24 Digital Recorders, Inc. Security system and method for mass transit vehicles
US20070282519A1 (en) * 2006-06-02 2007-12-06 Ossama Emam System and method for analyzing traffic disturbances reported by vehicles
JP4743037B2 (ja) * 2006-07-28 2011-08-10 株式会社デンソー 車両検出装置
DE102006038018A1 (de) 2006-08-14 2008-02-21 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerassistenz durch Erzeugung von Spurinformationen zur Unterstützung oder zum Ersatz von Spurinformationen einer videobasierten Spurinformationseinrichtung
JP4454681B2 (ja) 2006-12-05 2010-04-21 富士通株式会社 交通状況表示方法、交通状況表示システム、車載装置及びコンピュータプログラム
DE102006057741A1 (de) * 2006-12-07 2007-09-06 Siemens Restraint Systems Gmbh System und Verfahren zum Bereitstellen von sicherheitsrelevanten Informationen
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1393282B1 (de) * 2001-05-08 2005-12-21 DaimlerChrysler AG Kollisionsschutz für fahrzeuge

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2010115831A1 *

Also Published As

Publication number Publication date
WO2010115831A1 (de) 2010-10-14
JP2012523053A (ja) 2012-09-27
CN102378999A (zh) 2012-03-14
US20120133738A1 (en) 2012-05-31
DE102009016580A1 (de) 2010-10-07

Similar Documents

Publication Publication Date Title
EP2417594A1 (de) Datenverarbeitungssystem und verfahren zum bereitstellen mindestens einer fahrerassistenzfunktion
EP3024700B1 (de) Verfahren und vorrichtung zur wiedergabe eines seitlichen und/oder rückwärtigen umgebungsbereichs eines fahrzeugs
WO2008061890A1 (de) Verfahren zur drahtlosen kommunikation zwischen fahrzeugen
DE202016008786U1 (de) Fahrzeugkamerasystem und Bildverarbeitungsvorrichtung
EP2082388A1 (de) Verfahren und vorrichtung zur erkennung von verdeckten objekten im strassenverkehr
DE102009048493A1 (de) Fahrerassistenzsystem für ein Fahrzeug, Fahrzeug mit einem Fahrerassistenzsystem und Verfahren zum Unterstützen eines Fahrers beim Führen eines Fahrzeugs
EP2150939B1 (de) Verfahren und vorrichtung zum bestimmen der position eines verkehrszeichens
WO1999037503A1 (de) Überwachungssystem für fahrzeuge
DE102016219455A1 (de) Kraftfahrzeug, Verfahren und aktive Infrastruktur zur Überprüfung einer Umfelderfassung eines Kraftfahrzeugs
EP1504960A1 (de) Verfahren und Vorrichtung zur Verbesserung der Sicht in einem Kraftfahrzeug
DE102006016807A1 (de) Verfahren und Vorrichtung zur Verbesserung der Sicht von Fahrern von Kraftfahrzeugen
EP3123450B1 (de) Verfahren und vorrichtung zur anzeige von objekten auf einer fahrzeuganzeige
DE102016218934A1 (de) Verfahren zum Datenaustausch und Datenfusionierung von Umfelddaten
DE102010034262A1 (de) Nachrüstsystem für ein Kraftfahrzeug und Verfahren zum Unterstützen eines Fahrers beim Führen eines Kraftfahrzeugs
WO2014032660A1 (de) Verfahren zur elektronischen erkennung von verkehrszeichen
DE102017223431B4 (de) Verfahren zum Assistieren eines Fahrers eines Kraftfahrzeugs bei einem Überholvorgang; Kraftfahrzeug; sowie System
EP3385931B1 (de) Verfahren zum betreiben einer beleuchtungseinrichtung für eines oder mehrere kraftfahrzeuge und kraftfahrzeug
DE102014219876A1 (de) Verfahren und Vorrichtung zur Unterstützung eines automatischen Einparkvorganges eines Kraftfahrzeugs
DE102018128634A1 (de) Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
DE102012018556B4 (de) Assistenzsystem zur Ermöglichung einer erweiterten Vorausschau für nachfolgende Verkehrsteilnehmer
DE102007021580B4 (de) Verfahren und Vorrichtung zum Ermitteln der fahrzeugrelevanten Verkehrszeichen
DE10321228A1 (de) Optisches Erfassungssystem für Fahrzeuge
DE112020003760T5 (de) Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren und bildgebungseinrichtung
DE102019001092A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems, sowie elektronische Recheneinrichtung, Computerprogrammprodukt und Datenträger
DE102018211858B4 (de) Verfahren zum Betreiben eines Fahrzeugverbundes

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20111112

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20140730

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20141210