EP2417594A1 - Data processing system and method for providing at least one driver assistance function - Google Patents

Data processing system and method for providing at least one driver assistance function

Info

Publication number
EP2417594A1
EP2417594A1 EP10719923A EP10719923A EP2417594A1 EP 2417594 A1 EP2417594 A1 EP 2417594A1 EP 10719923 A EP10719923 A EP 10719923A EP 10719923 A EP10719923 A EP 10719923A EP 2417594 A1 EP2417594 A1 EP 2417594A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
driver assistance
data
image
stationary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP10719923A
Other languages
German (de)
French (fr)
Inventor
Matthias Hoffmeier
Kay Talmi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hella GmbH and Co KGaA
Original Assignee
Hella KGaA Huek and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hella KGaA Huek and Co filed Critical Hella KGaA Huek and Co
Publication of EP2417594A1 publication Critical patent/EP2417594A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation

Definitions

  • the invention relates to a data processing system and a method for providing at least one driver assistance function.
  • a data processing system With the aid of at least one image acquisition unit of a vehicle, at least one image of the surroundings of the vehicle is generated.
  • driver assistance information of at least one driver assistance information is generated, by means of which a driver assistance function is provided in the vehicle.
  • driver assistance systems for increasing comfort and driving safety for motor vehicles.
  • Such driver assistance systems relate in particular to warning systems which warn the driver against the unintentional departure from a lane (Lane Departure Warning-LDW) or assist the driver in keeping their own lane while driving (Lane Keeping Support-LKS).
  • driver assistance systems for longitudinal guidance of the vehicle (ACC) for controlling the light emitted by the headlights of the vehicle, for traffic sign recognition and compliance with the traffic regulations specified by the traffic signs, blind spot warning systems distance warning systems with Auffahrwarnfunktion or with brake function and brake assistance systems and overtake assistance systems known.
  • known driver assistance systems usually use a vehicle camera arranged in or on the vehicle. An advantageous arrangement of the cameras is behind the windscreen in the area of the inside mirror. Other positions are possible.
  • Known vehicle cameras are preferably designed as video cameras for recording a plurality of images in succession as an image sequence. With the aid of such a camera, images of a detection area in front of the vehicle are detected with at least one area of the roadway and image data corresponding to the images are generated. These image data are then processed by means of suitable algorithms for object recognition and object classification as well as for tracking objects over several images (tracking). Objects that are classified and further processed as relevant objects are, in particular, the objects relevant to the respective driver assistance function, such as oncoming and preceding vehicles, lane markings, obstacles on roadways, pedestrians on and / or next to roadways, traffic signs, traffic lights and lamps.
  • the document WO 2008/019907 A1 discloses a method and a device for driver assistance by generating track information for supporting or replacing track information of a video-based lane information device.
  • a reliability parameter of the determined lane information is determined and, in addition, lane information of at least one further vehicle, which is transmitted via a vehicle-vehicle communication device, is determined.
  • a light control system for a motor vehicle is known. With the help of a microprocessor, at least one image is processed to headlights of oncoming vehicles and Taillights of vehicles ahead to detect and to determine a control signal for driving the headlights of the vehicle.
  • the object of the invention is to provide a data processing system and a method for providing at least one driver assistance function, in which only small resources for providing the driver assistance function in the vehicle are required.
  • the processing effort for providing the driver assistance function in the vehicle can be considerably reduced.
  • further information originating from the vehicle and other information not originating from the vehicle can be taken into account in a simple manner.
  • the driver assistance functions provided in the vehicle can be expanded and restricted in a simple manner by transferring from the stationary processing unit only desired and / or only agreed driver assistance information with the aid of the driver assistance data to the vehicle.
  • simply constructed image acquisition units for example, simply constructed cameras, and simply constructed transmitting units for sending the image data to the stationary receiving unit can be installed in the vehicle.
  • the camera and the transmitting unit or a transmitting unit for transmitting the image data and a receiving unit for receiving the driver assistance data requires little space in the vehicle and these components can be installed in a plurality of vehicles at a relatively low cost ,
  • a position-dependent driver assistance function in particular a consideration of country-specific features of the country in which the vehicle is currently located, possible.
  • This lan of the specific peculiarities relate in particular to country-specific traffic signs and / or country-specific traffic guidance facilities.
  • the vehicle position can be determined by the vehicle and transmitted to the stationary receiving unit or determined by the location of the stationary receiving unit.
  • an image acquisition system in the vehicle, which captures a plurality of images, each with an image of a region of the surroundings of the vehicle as image sequence, and generates corresponding image data for each acquired image of the image. Furthermore, a vehicle-end unit is provided, which transmits at least part of the image data of the images to the stationary receiving unit.
  • the image acquisition system generates compressed image data that has been compressed, for example, by the JPG compression method or an MP4 compression method. Furthermore, it is possible for only the image data of a section of the image recorded with the aid of the image acquisition system to be transmitted to the stationary receiving unit and processed by the stationary processing unit.
  • the stationary units are at least in their operation at a specific geographical location. In particular, when processing the image data and generating the driver assistance data, the stationary units remain at their respective geographical location.
  • the image acquisition system can record 10 to 30 images per second and their image data then to the stationary receiving unit transfer.
  • the transmission between the vehicle and a stationary receiving unit located in the transmission range of the vehicle preferably takes place with the aid of a radio data transmission, for example with known WLAN or mobile data transmission links.
  • a radio data transmission for example with known WLAN or mobile data transmission links.
  • optical radio links such as laser transmission, can be used.
  • a vehicle receiving unit which receives driver assistance data transmitted by the stationary transmitting unit. Both the data sent from the vehicle to the stationary receiving unit and the data sent from the stationary transmitting unit to the vehicle receiving unit are provided with a subscriber identifier of the vehicle or with a vehicle identifier to ensure the assignment of this data to the vehicle from which the processed image data originated , Furthermore, it is advantageous to provide a processing unit arranged in the vehicle, which processes the received driver assistance data and outputs information to the driver via a human-machine interface (HMI). Alternatively or additionally, the processing unit may control at least one vehicle system of the vehicle depending on the received driver assistance data.
  • HMI human-machine interface
  • This vehicle system may in particular comprise a lighting system, a braking system, a steering system, a drive system, a safety system and / or a warning system.
  • the assistance system can actively intervene in the guidance of the vehicle and possibly avoid dangerous situations or reduce the risk.
  • the stationary processing unit detects and classifies images of objects in the images during processing of the received image data and generates the driver assistance data depending on the classified objects.
  • the classification of Images of objects can be used to draw conclusions about the traffic situation and hazards as well as relevant information.
  • the stationary processing unit may determine the image position of a classified object and / or the relative position of the classified object to the vehicle and / or the position of the classified object in a vehicle-independent coordinate system, such as the world coordinate system. This will further clarify the traffic situation and identify specific hazards.
  • the image acquisition system comprises at least one stereo camera.
  • the images of the individual cameras of the stereo camera can then be transmitted as image data of a pair of images from the vehicle end unit to the stationary receiving unit and on to the stationary processing unit.
  • the stationary processing unit can then determine the images of the same object in the images of each image pair, determine their image position and, based on the image positions, determine the distance of the object to the stereo camera and thus to the vehicle. As a result, the distance of the vehicle to objects can be determined relatively accurately.
  • the stationary receiving unit can receive additional data with further information from the vehicle.
  • This additional information may include in particular the current position of the vehicle, the speed of the vehicle, information on the weather conditions on the vehicle, information on the visibility conditions in the area of the vehicle and information on settings and / or operating conditions of the vehicle, such as set light distributions from the headlights of the vehicle and / or with the help of Vehicle sensors determined information, such as detected lane markers, determined distances to objects, in particular to other vehicles include.
  • Vehicle sensors determined information such as detected lane markers, determined distances to objects, in particular to other vehicles include.
  • Figure 1 is a schematic overview of a system for driver assistance according to a first embodiment of the invention
  • FIG. 2 is a block diagram of a driver assistance system according to a second embodiment of the invention.
  • Figure 3 is a schematic representation of the process for data transmission of a driver assistance system according to the invention.
  • FIG. 1 is a schematic overview of a driver assistance system 10 according to a first embodiment of the invention shown.
  • a vehicle 12 located on a lane 14 of a lane 16 has a camera 20 disposed on the inside of the windshield of the vehicle 12 between an interior mirror 18 of the vehicle 12 and the windshield for capturing images of a portion of the lane 16 in front of the vehicle 12.
  • the outer viewing beams of the camera 20 are shown schematically by solid lines 22 and 24.
  • the oval area drawn between the sight beams 22, 24 indicates schematically the detection range of the camera 20 present in the respective distance.
  • the vehicle 12 further has a transmitting / receiving unit 26 for transmitting image data generated by means of the camera 20. The image data is transmitted to a stationary transmitting / receiving unit 30a.
  • the image data is preferably transmitted between the transmitting / receiving unit 26 of the vehicle 12 and the respective stationary transmitting / receiving unit 30a to 30c in compressed form.
  • the transceivers 26, 30a to 30c are also referred to as transceivers.
  • the image data received by the stationary transmitting / receiving units 30a to 30c are transmitted to a stationary processing unit in a data center 40 and there preferably unpacked into a transformation module 42 of the stationary processing unit and supplied to different modules 44, 46 for parallel and / or sequential generation of driver assistance functions ,
  • images of objects relevant for the driver assistance systems can be detected in the images, which are then classified and then traced, if necessary, over a plurality of successively recorded images.
  • driver assistance data are generated in an output module with the driver assistance information required to provide a driver assistance function in the vehicle 12 and transmitted to at least one stationary transmitting / receiving unit 30a to 30c, which is in transmission range to the vehicle 12.
  • the driver assistance data is then transmitted from this transmission / reception unit 30a to 30c to the vehicle 12.
  • a control unit processes the driver assistance data and supplies the driver assistance information to a control unit for controlling a vehicle component depending on the driver assistance function to be implemented and / or outputs corresponding information to the driver of the vehicle 12 on a display unit or via a loudspeaker.
  • FIG. 2 shows a block diagram of a driver assistance system according to a second embodiment of the invention. Elements having the same structure or the same function have the same reference numerals.
  • the camera 20 of the vehicle 12 is designed as a stereo camera in the second embodiment of the invention, wherein the individual cameras of the camera system 20 each generate a single image at the time of recording, wherein the simultaneously recorded images are then further processed as a pair of images.
  • the image data of the captured images are transmitted from the camera system 20 to a transformation module 52, which compresses the image data and adds additional data with additional information.
  • the image data receive a time stamp generated by a time stamp module 54.
  • the additional information data includes, in particular, vehicle data such as the activation of a direction indicator, adjustments to the headlights, the activation of rear and brake lights, information about the activation of the brakes and other vehicle data, which are preferably provided via a vehicle bus.
  • vehicle data such as the activation of a direction indicator, adjustments to the headlights, the activation of rear and brake lights, information about the activation of the brakes and other vehicle data, which are preferably provided via a vehicle bus.
  • the position data from a position determination module 58, which is preferably part of a navigation system of the vehicle 12, transmitted to the transformation module 52.
  • the additional data, ie the time stamp, the vehicle data and the position data are transmitted as additional data together with the image data to the transmitting / receiving unit 26 of the vehicle and transmitted there via a radio data connection to the communication network 30 to the transmitting / receiving unit 30c. From the transmitting / receiving unit 30c, the received data is transmitted to the data center 40.
  • an additional memory element 49 is provided in the data center 40, in which the image data can be temporarily stored.
  • the stored image data is deleted after a preset time of, for example, one day, unless there is a request to permanently store the data. This is particularly useful when images of an accident have been detected with the help of the vehicle camera 20, which should be stored for later evaluation.
  • the evaluation of the transmitted image data and the generation of the driver assistance information as well as the transmission of the generated driver assistance information by corresponding driver assistance data to the transmitting / receiving unit 26 of the vehicle 12 take place in the same way as described in connection with FIG.
  • the received driver assistance data are supplied to a control unit 60 which generates the vehicle assistance information corresponding to the driver assistance information for output via an output unit of the vehicle 12 and supplies it to the module 56. Additionally or alternatively, the control unit 60 may generate control data for vehicle modules, for example for activating the brake system 62 for activating the steering system 64, for activating the belt tensioning drives 66 and for activating the headrest drives 68.
  • FIG. 3 illustrates the process for generating and transmitting data between the vehicle 12 and the stationary processing unit of the data center 40.
  • step S 10 the camera 20 generates image data which is compressed in step S 12.
  • step S 14 vehicle data
  • step S 16 position data
  • step S 18 the data for generating a time stamp
  • step S 20 the data of further data sources in the vehicle 12 are determined.
  • step S22 the compressed image data and the additional data determined in steps S 14 to S 20 are transformed.
  • transforming the image data in step S 12 a part of the image data generated by the camera 20 may be selected and prepared for transmission.
  • the image data is transmitted together with the additional data in step S24 from the transmission / reception unit 26 of the vehicle 12 to the stationary transmission / reception unit 30c, which receives the transmitted data in step S30.
  • the received image data and preferably the transmitted additional data are then processed by the stationary processing unit 40 in step S32, the image data being unpacked in step S34 and analyzed in step S36 together with the additional data.
  • the image data or information determined from the image data and, if necessary, the transmitted additional information are supplied to modules for generating driver assistance information.
  • these modules generate driver assistance information.
  • the modules comprise at least one module for lane recognition, traffic sign recognition, light control, object detection, object verification and so-called night vision, in which objects that are not clearly visible to a vehicle driver are highlighted by appropriate projection onto the windshield.
  • driver assistance data are generated with the driver assistance information, which are then transmitted in step S40 with the aid of the stationary transmission unit 30c to the transmission / reception unit 26 of the vehicle 12.
  • step S42 the transceiver unit 26 of the vehicle 12 receives the driver assistance data and supplies it to an information, warning and action module of the vehicle 12, which processes the driver assistance data in step S44 and, in step S46, corresponding information about a man-machine Output interface (HMI) to the driver and additionally or alternatively in step S48 initiated an action of a vehicle component, such as activation of the braking system of the vehicle or the steering system of the vehicle or a safety device of the vehicle and / or the light system of the vehicle.
  • HMI man-machine Output interface
  • the vehicle components required for the described driver assistance system according to the invention are simply constructed components requiring little space, which can be easily installed in new vehicles and retrofitted in existing vehicles due to the relatively small space requirement.
  • the updating of the modules for generating the required driver assistance information can also be managed and updated centrally in the data center 40. This also allows easier on-demand access to these functions. Also region-specific, in particular country-specific, data, in particular for traffic sign recognition and lane detection can be stored centrally in the stationary processing unit 40 and depending on the Position of the vehicle 12 are used to generate the driver assistance information.
  • each of the stationary transceiver units 30a to 30c may comprise a stationary processing unit 40 for processing the image data transmitted by the vehicle 12 or may be connected to such a processing unit 40.
  • vehicle components 20, 26 can be used in any country without a country-specific adaptation of software and / or hardware in the vehicle.
  • the consideration of country-specific features is made by a selection or configuration of the software modules in the data center 40. There then takes place an evaluation of images of traffic signs, lanes and other objects for object recognition. On this basis, for example, a support of the light control and / or other currently known driver assistance functions can be provided.
  • the specified system is also easily expandable to future applications.
  • the transformation of the image information acquired with the aid of the camera 20, preferably into compressed image data, is achieved by a speaking electronics, preferably a microprocessor, carried out and transmitted to the transmitting / receiving unit 26, which then optionally sends these data together with additional data to the stationary transmitting / receiving unit 30a to 30c.
  • the driver assistance function is derived and evaluated depending on the modality. Based on this, driver assistance information is generated, which is transmitted from the data center 40 in the form of data to the stationary transceiver unit 30a to 30c and transmitted from this to the transceiver unit 26 of the vehicle 12.
  • At least one imaging sensor 20, ie at least one mono camera, is provided in the vehicle 12.
  • the driver assistance function generated with the aid of the generated driver assistance data can in particular comprise general information for the driver and / or warning or action information.
  • the driver assistance function generated with the aid of the generated driver assistance data can in particular comprise general information for the driver and / or warning or action information.
  • the images transmitted to the stationary processing unit 40 can be stored at least for a limited time with the aid of suitable memories.
  • HiI Fe the stored images are performed checks of the driver assistance information generated from the images, for example, to review complaints from drivers about incorrect driver assistance information.
  • module updates and module extensions for generating the driver assistance information from the supplied image data can be performed centrally in the data center 40.
  • the driver assistance information generated in the data center 40 from the transmitted image data and / or the driver assistance information transmitted to the vehicle can be limited depending on the driver assistance functions, software licenses and / or software modules enabled for the vehicle 12. Such an activation can emerge, for example, from a customer identifier and / or a vehicle identifier.
  • the respective driver assistance function can also be limited in space, for example limited to one country.
  • a module traffic sign recognition Germany can be booked by a driver or customer, in which case corresponding driver assistance information is generated by the computer center 40 based on the image data transmitted to the data center 40 and transmitted to the vehicle 12.
  • the driver is given an optical and / or acoustic information about the detected traffic signs. Additionally or alternatively, the transmitted driver assistance information can be further processed, for example, supplied to a system for generating a warning function in case of speeding over or to a cruise control for limiting the speed.
  • both mono cameras and stereo cameras can be used, which capture color images or gray step images.
  • these cameras comprise at least one CMOS image capture sensor or one CCD image capture sensor.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

The invention relates to a data processing system and to a method for providing at least one driver assistance function. A stationary receiver unit (30a to 30c) is provided for receiving image data created by way of at least one image capturing unit (20) of a vehicle (12) by capturing at least one image of the surroundings of the vehicle (12). A stationary processing unit (40) processes at least part of the received image data, wherein on the basis of the image data the stationary processing unit (40) generates driver assistance data having at least one piece of driver assistance information, wherein at least one driver assistance function can be generated in the vehicle (12) by means of the driver assistance information that was created. A transmitter unit (30a to 30c) transmits the driver assistance data to the vehicle (12).

Description

Datenverarbeitungssystem und Verfahren zum Bereitstellen mindestens einer Fahrerassistenzfunktion Data processing system and method for providing at least one driver assistance function
Die Erfindung betrifft ein Datenverarbeitungssystem und ein Verfahren zum Bereitstellen mindestens einer Fahrerassistenzfunktion. Mit Hilfe mindestens einer Bilderfassungseinheit eines Fahrzeugs wird mindestens ein Bild der Umgebung des Fahrzeugs erzeugt. Ausgehend von den Bilddaten werden Fahrerassistenzinformationen mindestens einer Fahrerassistenzinformation erzeugt, durch die eine Fahrerassistenzfunktion im Fahrzeug bereitstellt wird.The invention relates to a data processing system and a method for providing at least one driver assistance function. With the aid of at least one image acquisition unit of a vehicle, at least one image of the surroundings of the vehicle is generated. Based on the image data, driver assistance information of at least one driver assistance information is generated, by means of which a driver assistance function is provided in the vehicle.
Es sind eine Vielzahl von kamerabasierten Fahrerassistenzsystemen zur Erhöhung von Komfort und Fahrsicherheit für Kraftfahrzeuge bekannt. Solche Fahrerassistenz Systeme betreffen insbesondere Warnsysteme, die den Fahrer vor dem unbeabsichtigten Verlassen einer Fahrspur warnen (Lane Departure Warning-LDW) oder den Fahrer beim Halten der eigenen Fahrspur während der Fahrt unterstützen (Lane Keeping Support-LKS). Ferner sind Fahrerassistenzsysteme zur Längsführung des Fahrzeugs (ACC) zur Lichtsteuerung des von den Frontscheinwerfern des Fahrzeugs abgestrahlten Lichts, zur Verkehrszeichenerkennung sowie zur Einhaltung der durch die Verkehrszeichen spezifizierten Verkehrsregeln, tote Winkel Warnsysteme (Blind Spot Warning Systems) Abstandsmesssystemen mit Auffahrwarnfunktion oder mit Bremsfunktion sowie Bremsassistenzsysteme und Überholassistenzsysteme bekannt. Zur Bilderfassung nutzen bekannte Fahrerassistenz Systeme üblicherweise eine im oder am Fahrzeug angeordnete Fahrzeugkamera. Eine vorteilhafte Anordnung der Kameras ist hinter der Frontscheibe im Bereich des Innenspiegels. Andere Positionen sind möglich.There are known a variety of camera-based driver assistance systems for increasing comfort and driving safety for motor vehicles. Such driver assistance systems relate in particular to warning systems which warn the driver against the unintentional departure from a lane (Lane Departure Warning-LDW) or assist the driver in keeping their own lane while driving (Lane Keeping Support-LKS). Furthermore, driver assistance systems for longitudinal guidance of the vehicle (ACC) for controlling the light emitted by the headlights of the vehicle, for traffic sign recognition and compliance with the traffic regulations specified by the traffic signs, blind spot warning systems distance warning systems with Auffahrwarnfunktion or with brake function and brake assistance systems and overtake assistance systems known. For image capture, known driver assistance systems usually use a vehicle camera arranged in or on the vehicle. An advantageous arrangement of the cameras is behind the windscreen in the area of the inside mirror. Other positions are possible.
Bekannte Fahrzeugkameras sind vorzugsweise als Videokameras zur Aufnahme von mehreren Bildern nacheinander als Bildfolge ausgeführt. Mit Hilfe einer solchen Kamera werden Bilder eines Erfassungsbereichs vor dem Fahrzeug mit zumindest einem Bereich der Fahrbahn erfasst und den Bildern entsprechende Bilddaten erzeugt. Diese Bilddaten werden dann durch geeignete Algorithmen zur Objekterkennung und Objektklassifizierung sowie zur Nachverfolgung von Objekten über mehrere Bilder (Tra- cking) verarbeitet werden. Objekte, die als relevante Objekte klassifiziert und weiterverarbeitet werden, sind insbesondere die für die jeweilige Fahrerassistenzfunktion relevanten Objekte, wie beispielsweise entgegenkommende und vorausfahrende Fahrzeuge, Fahrspurmarkierungen, Hindernisse auf Fahrbahnen, Fußgänger auf und/oder neben Fahrbahnen, Verkehrszeichen, Lichtsignalanlagen und Lampen.Known vehicle cameras are preferably designed as video cameras for recording a plurality of images in succession as an image sequence. With the aid of such a camera, images of a detection area in front of the vehicle are detected with at least one area of the roadway and image data corresponding to the images are generated. These image data are then processed by means of suitable algorithms for object recognition and object classification as well as for tracking objects over several images (tracking). Objects that are classified and further processed as relevant objects are, in particular, the objects relevant to the respective driver assistance function, such as oncoming and preceding vehicles, lane markings, obstacles on roadways, pedestrians on and / or next to roadways, traffic signs, traffic lights and lamps.
Aus dem Dokument WO 2008/019907 Al sind ein Verfahren und eine Vorrichtung zur Fahrerassistenz durch Erzeugung von Spurinformationen zur Unterstützung oder zum Ersatz von Spurinformationen einer videobasierten Spurinformationseinrichtung bekannt. Es wird ein Zuverlässigkeitsparameter der ermittelten Spurinformationen bestimmt und zusätzlich eine Spurinformation von mindestens einem weiteren Fahrzeug ermittelt die über eine Fahrzeug-Fahrzeug-Kommunikationseinrichtung übertragen wird.The document WO 2008/019907 A1 discloses a method and a device for driver assistance by generating track information for supporting or replacing track information of a video-based lane information device. A reliability parameter of the determined lane information is determined and, in addition, lane information of at least one further vehicle, which is transmitted via a vehicle-vehicle communication device, is determined.
Aus dem Dokument EP 1 016 268 B l ist ein Lichtsteuersystem für ein Kraftfahrzeug bekannt. Mit Hilfe eines Mikroprozessors wird mindestens ein Bild verarbeitet, um Scheinwerfer entgegenkommender Fahrzeuge und Rücklichter vorausfahrender Fahrzeuge zu detektierten und ein Steuersignal zur Ansteuerung der Scheinwerfer des Fahrzeugs zu ermitteln.From the document EP 1 016 268 B1, a light control system for a motor vehicle is known. With the help of a microprocessor, at least one image is processed to headlights of oncoming vehicles and Taillights of vehicles ahead to detect and to determine a control signal for driving the headlights of the vehicle.
Aus dem Dokument WO 2008/068837 Al ist ein Verfahren zur Anzeige einer Verkehrssituation bekannt, durch das die Verkehrssicherheit erhöht wird, indem die Position eines Fahrzeugs in Verbindung mit einer Videosequenz angezeigt wird.From the document WO 2008/068837 Al a method for displaying a traffic situation is known by which the traffic safety is increased by displaying the position of a vehicle in connection with a video sequence.
Bei kamerabasierten Fahrerassistenzsystemen in Fahrzeugen besteht das Problem, dass aufgrund des beschränkten Platzes im Fahrzeug nur relativ geringe Verarbeitungsprozesse, d. h. eine relativ geringe Rechenkapazität und ein relativ geringer Speicher, zum Verarbeiten der Bilddaten und zum Bereitstellen der Fahrerassistenzfunktion bereitgestellt werden können. Um mehr Ressourcen im Fahrzeug bereitzustellen, ist ein hoher Kostenaufwand erforderlich. Nur dann können qualitativ hochwertige Fahrerassistenzfunktionen bereitgestellt werden. Als Kompromiss können die tatsächlich bereitgestellten Fahrerassistenzfunktionen auf nur einen Teil der möglichen Fahrerassistenzfunktionen beschränkt werden. Ferner müssen die zur Verarbeitung der Bilddaten und zur Analyse der Bildinformationen erforderlichen Algorithmen an konkrete Gegebenheiten des Fahrzeugs und der Fahrzeugumgebung angepasst werden. Bei bereits in Fahrzeugen etablierten Systemen müssen zur Aktualisierung relativ aufwendige Softwareupdates durchgeführt werden.In the case of camera-based driver assistance systems in vehicles, there is the problem that due to the limited space in the vehicle, only relatively small processing processes, ie. H. a relatively low computing capacity and a relatively small memory can be provided for processing the image data and for providing the driver assistance function. To provide more resources in the vehicle, a high cost is required. Only then can high-quality driver assistance functions be provided. As a compromise, the driver assistance functions actually provided can be restricted to only a part of the possible driver assistance functions. Furthermore, the algorithms required for processing the image data and for analyzing the image information must be adapted to the specific circumstances of the vehicle and the vehicle environment. For systems already established in vehicles, relatively expensive software updates have to be carried out for the update.
Auch die Berücksichtigung landes- oder regionsspezifischer Besonderheiten bei der Verarbeitung der Bilddaten zum Bereitstellen einiger Fahrerassistenzfunktionen erfordert die Speicherung von landes spezifischen Datensätzen im Fahrzeug. Ferner müssen diese Datensätze regelmäßig aktualisiert werden. - A -The consideration of country or region specific peculiarities in the processing of image data to provide some driver assistance functions requires the storage of country-specific data sets in the vehicle. Furthermore, these records must be updated regularly. - A -
Aufgabe der Erfindung ist es, ein Datenverarbeitungssystem und ein Verfahren zum Bereitstellen mindestens einer Fahrerassistenzfunktion anzugeben, bei denen nur geringe Ressourcen zum Bereitstellen der Fahrerassistenzfunktion im Fahrzeug erforderlich sind.The object of the invention is to provide a data processing system and a method for providing at least one driver assistance function, in which only small resources for providing the driver assistance function in the vehicle are required.
Diese Aufgabe wird durch ein Datenverarbeitungssystem mit den Merkmalen des Patentanspruchs 1 sowie durch ein Verfahren mit den nebengeordneten Verfahrensansprüchen gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.This object is achieved by a data processing system with the features of patent claim 1 and by a method with the independent method claims. Advantageous developments of the invention are specified in the dependent claims.
Durch das Übertragen der Bilddaten vom Fahrzeug zu einer stationären Verarbeitungseinheit kann der Verarbeitungsaufwand zum Bereitstellen der Fahrerassistenzfunktion im Fahrzeug erheblich reduziert werden. Ferner können beim Bereitstellen der Fahrerassistenzfunktion weitere vom Fahrzeug sowie weitere nicht vom Fahrzeug stammende Informationen auf einfache Art und Weise berücksichtigt werden. Ferner können die im Fahrzeug bereitgestellten Fahrerassistenzfunktionen auf einfache Art und Weise erweitert und eingeschränkt werden, indem von der stationären Verarbeitungseinheit nur gewünschte und/oder nur vereinbarte Fahrerassistenzinformationen mit Hilfe der Fahrerassistenzdaten zum Fahrzeug übertragen werden. Insbesondere können einfach aufgebaute Bilderfassungseinheiten, beispielsweise einfach aufgebaute Kameras, und einfach aufgebaute Sendeeinheiten zum Senden der Bilddaten zur stationären Empfangseinheit im Fahrzeug installiert werden. Dafür ist relativ wenig Platz erforderlich, sodass die Kamera und die Sendeeinheit bzw. eine Sendeeinheit zum Senden der Bilddaten und eine Empfangseinheit zum Empfangen der Fahrerassistenzdaten nur wenig Platz im Fahrzeug beansprucht und diese Komponenten in einer Vielzahl von Fahrzeugen mit einem relativ geringen Kostenaufwand installiert werden können. Dadurch ist auf einfache Art und Weise eine positionsabhängige Fahrerassistenz- funktion, insbesondere eine Berücksichtigung von landesspezifischen Besonderheiten des Landes, in dem sich das Fahrzeug aktuell befindet, möglich. Diese lan des spezifischen Besonderheiten betreffen insbesondere landesspezifische Verkehrszeichen und/oder landesspezifische Verkehrsleiteinrichtungen. Die Fahrzeugposition kann dabei vom Fahrzeug ermittelt und zur stationären Empfangseinheit übertragen werden oder über den Standort der stationären Empfangseinheit ermittelt werden.By transferring the image data from the vehicle to a stationary processing unit, the processing effort for providing the driver assistance function in the vehicle can be considerably reduced. Furthermore, when providing the driver assistance function, further information originating from the vehicle and other information not originating from the vehicle can be taken into account in a simple manner. Furthermore, the driver assistance functions provided in the vehicle can be expanded and restricted in a simple manner by transferring from the stationary processing unit only desired and / or only agreed driver assistance information with the aid of the driver assistance data to the vehicle. In particular, simply constructed image acquisition units, for example, simply constructed cameras, and simply constructed transmitting units for sending the image data to the stationary receiving unit can be installed in the vehicle. Relatively little space is required for this, so that the camera and the transmitting unit or a transmitting unit for transmitting the image data and a receiving unit for receiving the driver assistance data requires little space in the vehicle and these components can be installed in a plurality of vehicles at a relatively low cost , As a result, a position-dependent driver assistance function, in particular a consideration of country-specific features of the country in which the vehicle is currently located, possible. This lan of the specific peculiarities relate in particular to country-specific traffic signs and / or country-specific traffic guidance facilities. The vehicle position can be determined by the vehicle and transmitted to the stationary receiving unit or determined by the location of the stationary receiving unit.
Bei einer vorteilhaften Ausführungsform der Erfindung ist ein Bilderfassungssystem im Fahrzeug vorgesehen, das mehrere Bilder mit jeweils einer Abbildung eines Bereichs der Umgebung des Fahrzeugs als Bildfolge erfasst und zu jedem erfassten Bild der Abbildung entsprechende Bilddaten erzeugt. Ferner ist eine Fahrzeugsendeeinheit vorgesehen, die zumindest einen Teil der Bilddaten der Bilder zur stationären Empfangseinheit sendet. Das Bilderfassungssystem erzeugt insbesondere komprimierte Bilddaten, die beispielsweise mit dem JPG-Komprimierverfahren oder einem MP4-Komprimierverfahren komprimiert worden sind. Ferner ist es möglich, dass nur die Bilddaten eines Ausschnitts des mit Hilfe des Bilderfassungssystems aufgenommenen Bildes zur stationären Empfangseinheit übertragen und von der stationären Verarbeitungseinheit verarbeitet werden. Im Unterschied zu den im Fahrzeug angeordneten Komponenten, die durch ihre Anordnung im bzw. am Fahrzeug auch als mobile Einheiten oder Fahrzeugeinheiten bezeichnet werden, sind die stationären Einheiten zumindest bei ihrem Betrieb an einem konkreten geografischen Ort. Insbesondere beim Verarbeiten der Bilddaten und Erzeugen der Fahrerassistenzdaten verbleiben die stationären Einheiten an ihrem jeweiligen geografischen Ort.In an advantageous embodiment of the invention, an image acquisition system is provided in the vehicle, which captures a plurality of images, each with an image of a region of the surroundings of the vehicle as image sequence, and generates corresponding image data for each acquired image of the image. Furthermore, a vehicle-end unit is provided, which transmits at least part of the image data of the images to the stationary receiving unit. In particular, the image acquisition system generates compressed image data that has been compressed, for example, by the JPG compression method or an MP4 compression method. Furthermore, it is possible for only the image data of a section of the image recorded with the aid of the image acquisition system to be transmitted to the stationary receiving unit and processed by the stationary processing unit. In contrast to the components arranged in the vehicle, which are also designated by their arrangement in or on the vehicle as mobile units or vehicle units, the stationary units are at least in their operation at a specific geographical location. In particular, when processing the image data and generating the driver assistance data, the stationary units remain at their respective geographical location.
Das Bilderfassungssystem kann insbesondere 10 bis 30 Bilder pro Sekunde aufnehmen und deren Bilddaten dann zur stationären Empfangseinheit übertragen. Die Übertragung zwischen dem Fahrzeug und einer im Übertragung sreichweite des Fahrzeugs befindlichen stationären Empfangseinheit erfolgt vorzugsweise mit Hilfe einer Funkdatenübertragung, beispielsweise mit bekannten WLAN- oder Mobilfunkdatenübertragungsstre- cken. Alternativ können optische Richtfunkstrecken, wie Laserübertragung s strecken, genutzt werden.In particular, the image acquisition system can record 10 to 30 images per second and their image data then to the stationary receiving unit transfer. The transmission between the vehicle and a stationary receiving unit located in the transmission range of the vehicle preferably takes place with the aid of a radio data transmission, for example with known WLAN or mobile data transmission links. Alternatively, optical radio links, such as laser transmission, can be used.
Ferner ist es vorteilhaft, eine Fahrzeugempfangseinheit vorzusehen, die von der stationären Sendeeinheit gesendeten Fahrerassistenzdaten empfängt. Sowohl die vom Fahrzeug zur stationären Empfangseinheit gesendeten Daten als auch die von der stationären Sendeeinheit zur Fahrzeugempfang seinheit gesendeten Daten sind mit einer Teilnehmerkennung des Fahrzeugs bzw. mit einer Fahrzeugkennung versehen, um die Zuordnung dieser Daten zu dem Fahrzeug sicherzustellen, von dem die verarbeiteten Bilddaten stammen. Ferner ist es vorteilhaft, eine im Fahrzeug angeordnete Verarbeitungseinheit vorzusehen, die die empfangenen Fahrerassistenzdaten verarbeitet und über eine Mensch-Maschine-Schnittstelle (HMI) eine Information an den Fahrzeugführer ausgibt. Alternativ oder zusätzlich kann die Verarbeitungseinheit abhängig von den empfangenen Fahrerassistenzdaten mindestens ein Fahrzeugsystem des Fahrzeugs steuern. Dieses Fahrzeugsystem kann insbesondere ein Lichtsystem, ein Bremssystem, ein Lenksystem, ein Antriebssystem, ein Sicherheitssystem und/oder ein Warnsystem umfassen. Dadurch kann das Assistenzsystem aktiv in die Führung des Fahrzeugs eingreifen und ggf. Gefahrensituationen vermeiden oder die Gefährdung verringern.Furthermore, it is advantageous to provide a vehicle receiving unit which receives driver assistance data transmitted by the stationary transmitting unit. Both the data sent from the vehicle to the stationary receiving unit and the data sent from the stationary transmitting unit to the vehicle receiving unit are provided with a subscriber identifier of the vehicle or with a vehicle identifier to ensure the assignment of this data to the vehicle from which the processed image data originated , Furthermore, it is advantageous to provide a processing unit arranged in the vehicle, which processes the received driver assistance data and outputs information to the driver via a human-machine interface (HMI). Alternatively or additionally, the processing unit may control at least one vehicle system of the vehicle depending on the received driver assistance data. This vehicle system may in particular comprise a lighting system, a braking system, a steering system, a drive system, a safety system and / or a warning system. As a result, the assistance system can actively intervene in the guidance of the vehicle and possibly avoid dangerous situations or reduce the risk.
Ferner ist es vorteilhaft, wenn die stationäre Verarbeitungseinheit beim Verarbeiten der empfangenen Bilddaten Abbildungen von Objekten in den Bildern detektiert und klassifiziert und abhängig von den klassifizierten Objekten die Fahrerassistenzdaten erzeugt. Durch die Klassifizierung der Abbildungen von Objekten kann ein Rückschluss auf die Verkehrssituation und Gefährdungen sowie auf relevante Informationen geschlossen werden.Furthermore, it is advantageous if the stationary processing unit detects and classifies images of objects in the images during processing of the received image data and generates the driver assistance data depending on the classified objects. By the classification of Images of objects can be used to draw conclusions about the traffic situation and hazards as well as relevant information.
Ferner kann die stationäre Verarbeitungseinheit die Bildposition eines klassifizierten Objekts und/oder die relative Position des klassifizierten Objekts zum Fahrzeug und/oder die Position des klassifizierten Objekts in einem fahrzeugunabhängigen Koordinatensystem, wie dem Weltkoordinatensystem, ermitteln. Dadurch kann die Verkehrs Situation weiter präzisiert und konkrete Gefährdungen ermittelt werden.Furthermore, the stationary processing unit may determine the image position of a classified object and / or the relative position of the classified object to the vehicle and / or the position of the classified object in a vehicle-independent coordinate system, such as the world coordinate system. This will further clarify the traffic situation and identify specific hazards.
Ferner ist es vorteilhaft, wenn das Bilderfassungssystem mindestens eine Stereokamera umfasst. Die Bilder der Einzelkameras der Stereokamera können dann als Bilddaten eines Bildpaares von der Fahrzeugsendeeinheit zur stationären Empfangseinheit und weiter zur stationären Verarbeitungseinheit übertragen werden. Die stationäre Verarbeitungseinheit kann dann die Abbildungen desselben Objekts in den Bildern jedes Bildpaares ermitteln, deren Bildposition bestimmen und ausgehend von den Bildpositionen die Entfernung des Objekts zur Stereokamera und somit zum Fahrzeug ermitteln. Dadurch kann die Entfernung des Fahrzeugs zu Objekten relativ genau bestimmt werden.Furthermore, it is advantageous if the image acquisition system comprises at least one stereo camera. The images of the individual cameras of the stereo camera can then be transmitted as image data of a pair of images from the vehicle end unit to the stationary receiving unit and on to the stationary processing unit. The stationary processing unit can then determine the images of the same object in the images of each image pair, determine their image position and, based on the image positions, determine the distance of the object to the stereo camera and thus to the vehicle. As a result, the distance of the vehicle to objects can be determined relatively accurately.
Ferner kann die stationäre Empfangseinheit zusätzlich zu den Bilddaten Zusatzdaten mit weiteren Informationen vom Fahrzeug empfangen. Diese zusätzlichen Informationen können insbesondere die aktuelle Position des Fahrzeugs, die Geschwindigkeit des Fahrzeugs, Informationen zu den Wetterverhältnissen am Fahrzeug, Informationen zu den Sichtverhältnissen im Bereich des Fahrzeugs und Informationen zu Einstellungen und/oder Betriebszuständen des Fahrzeugs, wie eingestellte Lichtverteilungen von den Scheinwerfern des Fahrzeugs und/oder mit Hilfe von Fahrzeugsensoren ermittelten Informationen, wie detektierten Fahrspurmarkierungen, ermittelten Abständen zu Objekten, insbesondere zu anderen Fahrzeugen, umfassen. Dadurch stehen eine Vielzahl von Ausgangsinformationen zum Erzeugen der Fahrerassistenzdaten zur Verfügung, so- dass die in den Fahrerassistenzdaten enthaltenen Fahrerassistenzinformationen mit einer höheren Wahrscheinlichkeit korrekt ermittelt werden können und/oder mit relativ geringem Aufwand ermittelt werden können.Furthermore, in addition to the image data, the stationary receiving unit can receive additional data with further information from the vehicle. This additional information may include in particular the current position of the vehicle, the speed of the vehicle, information on the weather conditions on the vehicle, information on the visibility conditions in the area of the vehicle and information on settings and / or operating conditions of the vehicle, such as set light distributions from the headlights of the vehicle and / or with the help of Vehicle sensors determined information, such as detected lane markers, determined distances to objects, in particular to other vehicles include. As a result, a large number of output information is available for generating the driver assistance data, so that the driver assistance information contained in the driver assistance data can be correctly determined with a higher probability and / or can be determined with relatively little effort.
Das Verfahren mit den Merkmalen des nebengeordneten Verfahrensanspruchs kann auf die gleiche Weise weitergebildet werden wie für das erfindungsgemäße Datenverarbeitungssystem angegeben.The method with the features of the independent method claim can be developed in the same way as specified for the data processing system according to the invention.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung, die in Verbindung mit den beigefügten Figuren die Erfindung anhand von Ausführungsbeispielen näher erläutert.Further features and advantages of the invention will become apparent from the following description which, in conjunction with the accompanying figures, the invention by way of embodiments explained in more detail.
Es zeigen:Show it:
Figur 1 eine schematische Übersichtsdarstellung eines Systems zur Fahrerassistenz gemäß einer ersten Ausführungsform der Erfindung;Figure 1 is a schematic overview of a system for driver assistance according to a first embodiment of the invention;
Figur 2 ein Blockschaltbild eines Systems zur Fahrerassistenz gemäß einer zweiten Ausführungsform der Erfindung; undFIG. 2 is a block diagram of a driver assistance system according to a second embodiment of the invention; and
Figur 3 eine schematische Darstellung des Ablaufs zur Datenübertragung eines erfindungsgemäßen Systems zur Fahrerassistenz.Figure 3 is a schematic representation of the process for data transmission of a driver assistance system according to the invention.
In Figur 1 ist eine schematische Übersichtsdarstellung eines Systems 10 zur Fahrerassistenz gemäß einer ersten Ausführungsform der Erfindung gezeigt. Ein Fahrzeug 12, das sich auf einer Fahrspur 14 einer Fahrbahn 16 befindet, hat eine an der Innenseite der Windschutzscheibe des Fahrzeugs 12 zwischen einem Innenspiegel 18 des Fahrzeugs 12 und der Windschutzscheibe angeordnete Kamera 20 zum Erfassen von Abbildungen eines Bereichs der Fahrbahn 16 vor dem Fahrzeug 12. Die äußeren Sichtstrahlen der Kamera 20 sind schematisch durch Volllinien 22 und 24 dargestellt. Die zwischen den Sichtstrahlen 22, 24 eingezeichneten ovalen Bereich geben schematisch den in der jeweiligen Entfernung vorhandenen Erfassungsbereich der Kamera 20 an. Das Fahrzeug 12 hat weiterhin eine Sende- /Empfangseinheit 26 zum Senden von mit Hilfe der Kamera 20 erzeugten Bilddaten. Die Bilddaten werden zu einer stationären Sende-/ Empfangseinheit 30a übertragen. Entlang der Fahrbahn 16 sind in geeigneten Abständen weitere stationäre Sende- und Empfangseinheiten angeordnet, von denen in Figur 1 beispielhaft die stationäre Sende - /Empfangseinheiten 30b und 30c dargestellt sind. Die Bilddaten werden vorzugsweise zwischen der Sende- /Empfangseinheit 26 des Fahrzeugs 12 und der jeweiligen stationären Sende- /Empfangseinheit 30a bis 30c in komprimierter Form übertragen. Die Sende- /Empfangseinheiten 26, 30a bis 30c werden auch als Transceiver bezeichnet.FIG. 1 is a schematic overview of a driver assistance system 10 according to a first embodiment of the invention shown. A vehicle 12 located on a lane 14 of a lane 16 has a camera 20 disposed on the inside of the windshield of the vehicle 12 between an interior mirror 18 of the vehicle 12 and the windshield for capturing images of a portion of the lane 16 in front of the vehicle 12. The outer viewing beams of the camera 20 are shown schematically by solid lines 22 and 24. The oval area drawn between the sight beams 22, 24 indicates schematically the detection range of the camera 20 present in the respective distance. The vehicle 12 further has a transmitting / receiving unit 26 for transmitting image data generated by means of the camera 20. The image data is transmitted to a stationary transmitting / receiving unit 30a. Along the roadway 16 further stationary transmitting and receiving units are arranged at suitable intervals, of which the stationary transmitting / receiving units 30b and 30c are shown by way of example in FIG. The image data is preferably transmitted between the transmitting / receiving unit 26 of the vehicle 12 and the respective stationary transmitting / receiving unit 30a to 30c in compressed form. The transceivers 26, 30a to 30c are also referred to as transceivers.
Die von den stationären Sende- /Empfangseinheiten 30a bis 30c empfangenen Bilddaten werden zu einer stationären Verarbeitungseinheit in einem Rechenzentrum 40 übertragen und dort vorzugsweise in einen Transformationsmodul 42 der stationären Verarbeitungseinheit entpackt und verschiedenen Modulen 44, 46 zum parallelen und/oder sequentiellen Erzeugen von Fahrerassistenzfunktionen zugeführt. Dabei können mit Hilfe der Module 44 in den Bildern Abbildungen von für die Fahrerassistenzsysteme relevanten Objekten detektiert werden, die dann klassifiziert und dann ggf. über mehrere nacheinander aufgenommene Bilder nach verfolgt werden. Ausgehend von den mit Hilfe der Module 44, 46 erzeugten Fah- rerassistenzinformationen werden in einem Ausgangsmodul 48 Fahrerassistenzdaten mit den zum Bereitstellen einer Fahrerassistenzfunktion im Fahrzeug 12 erforderlichen Fahrerassistenzinformationen erzeugt und zu mindestens einer stationären Sende- /Empfangseinheit 30a bis 30c übertragen, die sich in Übertragungsreichweite zum Fahrzeug 12 befindet. Die Fahrerassistenzdaten werden dann von dieser Sende- /Empfangseinheit 30a bis 30c zum Fahrzeug 12 übertragen. Im Fahrzeug 12 verarbeitet eine Steuereinheit (nicht dargestellt) die Fahrerassistenzdaten und führt die Fahrerassistenzinformation abhängig von der zu realisierenden Fahrerassistenzfunktion einer Steuereinheit zum Steuern einer Fahrzeugkomponente zu und/oder gibt entsprechende Informationen auf einer Anzeigeeinheit oder über einen Lautsprecher an den Fahrer des Fahrzeugs 12 aus.The image data received by the stationary transmitting / receiving units 30a to 30c are transmitted to a stationary processing unit in a data center 40 and there preferably unpacked into a transformation module 42 of the stationary processing unit and supplied to different modules 44, 46 for parallel and / or sequential generation of driver assistance functions , In this case, with the aid of the modules 44, images of objects relevant for the driver assistance systems can be detected in the images, which are then classified and then traced, if necessary, over a plurality of successively recorded images. Based on the generated with the help of modules 44, 46 rerassistenzinformationen 48 driver assistance data are generated in an output module with the driver assistance information required to provide a driver assistance function in the vehicle 12 and transmitted to at least one stationary transmitting / receiving unit 30a to 30c, which is in transmission range to the vehicle 12. The driver assistance data is then transmitted from this transmission / reception unit 30a to 30c to the vehicle 12. In the vehicle 12, a control unit (not shown) processes the driver assistance data and supplies the driver assistance information to a control unit for controlling a vehicle component depending on the driver assistance function to be implemented and / or outputs corresponding information to the driver of the vehicle 12 on a display unit or via a loudspeaker.
In Figur 2 ist ein Blockschaltbild eines Systems zur Fahrerassistenz gemäß einer zweiten Ausführungsform der Erfindung gezeigt. Elemente mit dem gleichen Aufbau oder der gleichen Funktion haben dieselben Bezugszeichen. Die Kamera 20 des Fahrzeugs 12 ist bei der zweiten Ausführungsform der Erfindung als Stereokamera ausgeführt, wobei die Einzelkameras des Kamerasystems 20 zum Aufnahmezeitpunkt jeweils ein Einzelbild erzeugen, wobei die gleichzeitig aufgenommenen Bilder dann als Bildpaar weiterverarbeitet werden. Die Bilddaten der aufgenommenen Bilder werden von dem Kamerasystem 20 zu einem Transformationsmodul 52 übertragen, das die Bilddaten komprimiert und weitere Daten mit Zusatzinformationen hinzufügt. Die Bilddaten erhalten insbesondere einen durch ein Zeitstempelmodul 54 erzeugten Zeitstempel. Die Daten mit Zusatzinformationen umfassen insbesondere Fahrzeugdaten, wie beispielsweise die Aktivierung eines Fahrtrichtungsanzeigers, Einstellungen der Frontscheinwerfer, die Aktivierung von Rück- und Bremsleuchten, Information über die Aktivierung der Bremsen und weitere Fahrzeugdaten, die vorzugsweise über einen Fahrzeugbus bereitgestellt werden. Ferner wer- den Positionsdaten von einem Positionsbestimmungsmodul 58, das vorzugsweise Bestandteil eines Navigationssystems des Fahrzeugs 12 ist, zum Transformationsmodul 52 übertragen. Die Zusatzdaten, d. h. der Zeitstempel, die Fahrzeugdaten und die Positionsdaten, werden als Zusatzdaten zusammen mit den Bilddaten zur Sende- /Empfangseinheit 26 des Fahrzeugs übertragen und dort über eine Funkdatenverbindung mit dem Kommunikationsnetz 30 zur Sende- /Empfangseinheit 30c übertragen. Von der Sende- /Empfangseinheit 30c werden die empfangenen Daten zum Rechenzentrum 40 übertragen. Im Unterschied zur ersten Ausführungsform der Erfindung ist im Rechenzentrum 40 ein zusätzliches Speicherelement 49 vorgesehen, in dem die Bilddaten zwischengespeichert werden können. Vorzugsweise werden die gespeicherten Bilddaten nach einer voreingestellten Zeit von beispielsweise einem Tag, gelöscht, es sei denn es erfolgt eine Anforderung, die Daten dauerhaft zu speichern. Dies ist insbesondere dann sinnvoll, wenn Bilder eines Unfalls mit Hilfe der Fahrzeugkamera 20 erfasst worden sind, die für eine spätere Auswertung gespeichert werden sollen.FIG. 2 shows a block diagram of a driver assistance system according to a second embodiment of the invention. Elements having the same structure or the same function have the same reference numerals. The camera 20 of the vehicle 12 is designed as a stereo camera in the second embodiment of the invention, wherein the individual cameras of the camera system 20 each generate a single image at the time of recording, wherein the simultaneously recorded images are then further processed as a pair of images. The image data of the captured images are transmitted from the camera system 20 to a transformation module 52, which compresses the image data and adds additional data with additional information. In particular, the image data receive a time stamp generated by a time stamp module 54. The additional information data includes, in particular, vehicle data such as the activation of a direction indicator, adjustments to the headlights, the activation of rear and brake lights, information about the activation of the brakes and other vehicle data, which are preferably provided via a vehicle bus. Furthermore, the position data from a position determination module 58, which is preferably part of a navigation system of the vehicle 12, transmitted to the transformation module 52. The additional data, ie the time stamp, the vehicle data and the position data are transmitted as additional data together with the image data to the transmitting / receiving unit 26 of the vehicle and transmitted there via a radio data connection to the communication network 30 to the transmitting / receiving unit 30c. From the transmitting / receiving unit 30c, the received data is transmitted to the data center 40. In contrast to the first embodiment of the invention, an additional memory element 49 is provided in the data center 40, in which the image data can be temporarily stored. Preferably, the stored image data is deleted after a preset time of, for example, one day, unless there is a request to permanently store the data. This is particularly useful when images of an accident have been detected with the help of the vehicle camera 20, which should be stored for later evaluation.
Die Auswertung der übertragenen Bilddaten und das Erzeugen der Fahrerassistenzinformationen sowie die Übertragung der erzeugten Fahrerassistenzinformationen durch entsprechende Fahrerassistenzdaten zur Sende - /Empfangseinheit 26 des Fahrzeugs 12 erfolgt in gleicher Weise wie im Zusammenhang mit Figur 1 beschrieben. Die empfangenen Fahrerassistenzdaten werden einer Steuereinheit 60 zugeführt, die den Fahrerassistenzinformationen entsprechende Fahrzeugdaten zur Ausgabe über eine Ausgabeeinheit des Fahrzeugs 12 erzeugt und dem Modul 56 zuführt. Zusätzlich oder alternativ kann die Steuereinheit 60 Steuerdaten für Fahrzeugmodule erzeugen, beispielsweise zur Aktivierung des Bremssystems 62 zur Aktivierung des Lenksystems 64, zur Aktivierung der Gurtstraff e- rantriebe 66 und zur Aktivierung der Kopfstützenantriebe 68. In Figur 3 ist der Ablauf zum Erzeugen und Übertragen von Daten zwischen dem Fahrzeug 12 und der stationären Verarbeitungseinheit des Rechenzentrums 40 dargestellt. Im Schritt S lO erzeugt die Kamera 20 Bilddaten, die im Schritt S 12 komprimiert werden. Parallel werden im Schritt S 14 Fahrzeugdaten, im Schritt S 16 Positionsdaten, im Schritt S 18 die Daten zum Erzeugen eines Zeitstempels und im Schritt S20 die Daten von weiteren Datenquellen im Fahrzeug 12 ermittelt. Im Schritt S22 werden die komprimierten Bilddaten und die in den Schritten S 14 bis S 20 ermittelten Zusatzdaten transformiert. Bei dem Transformieren der Bilddaten im Schritt S 12 kann ein Teil der durch die Kamera 20 erzeugten Bilddaten ausgewählt und zur Übertragung vorbereitet werden. Die Bilddaten werden zusammen mit den Zusatzdaten im Schritt S24 von der Sende - /Empfangseinheit 26 des Fahrzeugs 12 zur stationären Sende- /Empfangseinheit 30c übertragen, die die übertragenen Daten im Schritt S30 empfängt. Die empfangenen Bilddaten und vorzugsweise die übertragenen Zusatzdaten werden dann im Schritt S32 durch die stationäre Verarbeitungseinheit 40 verarbeitet, wobei die Bilddaten im Schritt S34 entpackt und im Schritt S36 zusammen mit den Zusatzdaten analysiert werden. Die Bilddaten bzw. aus den Bilddaten ermittelte Informationen sowie erforderlichenfalls die übertragenen Zusatzinformationen werden Modulen zum Erzeugen von Fahrerassistenzinformationen zugeführt. Im Schritt S38 erzeugen diese Module Fahrerassistenzinformationen. Die Module umfassen insbesondere mindestens ein Modul zur Fahrspurerkennung, zur Verkehrszeichenerkennung, zur Lichtsteuerung, zur Objektdetektion, zur Objekt Verifikation und zum sogenannten Night Vision, bei dem durch entsprechende Projizierung auf die Windschutzscheibe einem Fahrzeugführer nicht gut sichtbare Objekte hervorgehoben werden. Grundsätzlich können Module für alle bekannten Fahrerassistenzsystemfunktionen sowie für zukünftige Fahrerassistenzfunktionen vorgesehen werden, die im Schritt S38 jeweils für die jeweilige Fahrerassistenzfunktion im Fahrzeug 12 erforderliche Fahrerassistenzinformationen erzeugen. Ferner werden Fahrerassistenzdaten mit den Fahrerassistenzinformationen erzeugt, die dann im Schritt S40 mit Hilfe der stationären Sendeeinheit 30c zur Sende- /Empfangseinheit 26 des Fahrzeugs 12 übertragen werden.The evaluation of the transmitted image data and the generation of the driver assistance information as well as the transmission of the generated driver assistance information by corresponding driver assistance data to the transmitting / receiving unit 26 of the vehicle 12 take place in the same way as described in connection with FIG. The received driver assistance data are supplied to a control unit 60 which generates the vehicle assistance information corresponding to the driver assistance information for output via an output unit of the vehicle 12 and supplies it to the module 56. Additionally or alternatively, the control unit 60 may generate control data for vehicle modules, for example for activating the brake system 62 for activating the steering system 64, for activating the belt tensioning drives 66 and for activating the headrest drives 68. FIG. 3 illustrates the process for generating and transmitting data between the vehicle 12 and the stationary processing unit of the data center 40. In step S 10, the camera 20 generates image data which is compressed in step S 12. In parallel, in step S 14 vehicle data, in step S 16 position data, in step S 18 the data for generating a time stamp and in step S 20 the data of further data sources in the vehicle 12 are determined. In step S22, the compressed image data and the additional data determined in steps S 14 to S 20 are transformed. In transforming the image data in step S 12, a part of the image data generated by the camera 20 may be selected and prepared for transmission. The image data is transmitted together with the additional data in step S24 from the transmission / reception unit 26 of the vehicle 12 to the stationary transmission / reception unit 30c, which receives the transmitted data in step S30. The received image data and preferably the transmitted additional data are then processed by the stationary processing unit 40 in step S32, the image data being unpacked in step S34 and analyzed in step S36 together with the additional data. The image data or information determined from the image data and, if necessary, the transmitted additional information are supplied to modules for generating driver assistance information. In step S38, these modules generate driver assistance information. In particular, the modules comprise at least one module for lane recognition, traffic sign recognition, light control, object detection, object verification and so-called night vision, in which objects that are not clearly visible to a vehicle driver are highlighted by appropriate projection onto the windshield. In principle, it is possible to provide modules for all known driver assistance system functions as well as for future driver assistance functions, which in step S38 generate required driver assistance information for the respective driver assistance function in the vehicle 12. Furthermore, driver assistance data are generated with the driver assistance information, which are then transmitted in step S40 with the aid of the stationary transmission unit 30c to the transmission / reception unit 26 of the vehicle 12.
Im Schritt S42 empfängt die Sende- /Empfangseinheit 26 des Fahrzeugs 12 die Fahrerassistenzdaten und führt diese einem Informations-, Warn- und Aktionsmodul des Fahrzeugs 12 zu, das die Fahrerassistenzdaten im Schritt S44 verarbeitet und im Schritt S46 entsprechende Informationen über eine Mensch-Maschine-Schnittstelle (HMI) an den Fahrzeugführer ausgibt sowie zusätzlich oder alternativ im Schritt S48 eine Aktion einer Fahrzeugkomponente initiiert, wie beispielsweise eine Aktivierung des Bremssystems des Fahrzeugs oder des Lenksystems des Fahrzeugs oder einer Sicherheitseinrichtung des Fahrzeugs und/oder des Lichtsystems des Fahrzeugs.In step S42, the transceiver unit 26 of the vehicle 12 receives the driver assistance data and supplies it to an information, warning and action module of the vehicle 12, which processes the driver assistance data in step S44 and, in step S46, corresponding information about a man-machine Output interface (HMI) to the driver and additionally or alternatively in step S48 initiated an action of a vehicle component, such as activation of the braking system of the vehicle or the steering system of the vehicle or a safety device of the vehicle and / or the light system of the vehicle.
Besonders vorteilhaft ist es, die für das beschriebene erfindungsgemäße Fahrerassistenzsystem erforderlichen Fahrzeugkomponenten als einfach aufgebaute, wenig Platz beanspruchende Komponenten auszuführen, die aufgrund des relativ geringen Platzbedarfs einfach in Neufahrzeuge eingebaut sowie in bestehenden Fahrzeugen nachgerüstet werden können. Auch die Aktualisierung der Module zum Erzeugen der erforderlichen Fahrerassistenzinformationen können einfach zentral im Rechenzentrum 40 verwaltet und aktualisiert werden. Dadurch ist auch ein einfacher bedarfsweiser Zugriff auf diese Funktionen möglich. Auch regionsspezifische, insbesondere länderspezifische, Daten, insbesondere zur Verkehrszeichenerkennung und zur Fahrspurerkennung können zentral in der stationären Verarbeitungseinheit 40 gespeichert werden und abhängig von der Position des Fahrzeugs 12 zum Erzeugen der Fahrerassistenzinformation genutzt werden.It is particularly advantageous to carry out the vehicle components required for the described driver assistance system according to the invention as simply constructed components requiring little space, which can be easily installed in new vehicles and retrofitted in existing vehicles due to the relatively small space requirement. The updating of the modules for generating the required driver assistance information can also be managed and updated centrally in the data center 40. This also allows easier on-demand access to these functions. Also region-specific, in particular country-specific, data, in particular for traffic sign recognition and lane detection can be stored centrally in the stationary processing unit 40 and depending on the Position of the vehicle 12 are used to generate the driver assistance information.
Zur Übertragung der Bilddaten vom Fahrzeug 12 zur stationären Empfangseinheit 30, können bekannte Mobilfunknetze, drahtlose Funknetzwerke, wie Wireless LAN, oder derzeit im Test befindliche Breitbanddatennetze für den Mobilfunkbereich genutzt werden. Alternativ oder zusätzlich können optische Richtfunkstrecken zur Übertragung der Daten zwischen dem Fahrzeug 12 und der stationären Empfang- /Sendeeinheit 30c genutzt werden. Alternativ zu der gezeigten Ausführungsform kann jede der stationären Sende- /Empfangseinheiten 30a bis 30c eine stationäre Verarbeitungseinheit 40 zum Verarbeiten der vom Fahrzeug 12 übertragenen Bilddaten umfassen oder mit einer solchen Verarbeitungseinheit 40 verbunden sein.To transmit the image data from the vehicle 12 to the stationary receiving unit 30, known mobile radio networks, wireless radio networks, such as wireless LAN, or currently being tested broadband data networks for the mobile sector can be used. Alternatively or additionally, optical directional radio links can be used to transmit the data between the vehicle 12 and the stationary receiving / transmitting unit 30c. As an alternative to the embodiment shown, each of the stationary transceiver units 30a to 30c may comprise a stationary processing unit 40 for processing the image data transmitted by the vehicle 12 or may be connected to such a processing unit 40.
Durch die Erfindung ist eine platzsparende Ausführung der Fahrzeugkamera 20 und der Sende- /Empfangseinheit 26 des Fahrzeugs 12 möglich, sodass diese weitestgehend baugleich in einer Vielzahl von Fahrzeugen eingesetzt werden. Diese Fahrzeugkomponenten 20, 26 sind in einem beliebigen Land ohne eine landesspezifische Anpassung von Soft- und/oder Hardware im Fahrzeug einsetzbar. Die Berücksichtigung von landesspezifischen Besonderheiten erfolgt durch eine Auswahl bzw. Konfiguration der Softwaremodule im Rechenzentrum 40. Dort erfolgt dann eine Auswertung von Abbildungen von Verkehrszeichen, von Fahrspuren und von anderen Objekten zur Objekterkennung. Davon ausgehend kann beispielsweise eine Unterstützung der Lichtsteuerung und/oder andere derzeit bekannte Fahrerassistenzfunktionen bereitgestellt werden. Jedoch ist das angegebene System ebenso auf zukünftige Anwendungen einfach erweiterbar. Die Transformation der mit Hilfe der Kamera 20 erfassten Bildinformationen vorzugsweise in komprimierte Bilddaten wird durch eine ent- sprechende Elektronik, vorzugsweise einen Mikroprozessor, durchgeführt und zur Sende- /Empfangseinheit 26 übertragen, die diese Daten dann gegebenenfalls zusammen mit Zusatzdaten zur stationären Sende- /Empfangseinheit 30a bis 30c sendet. Im Rechenzentrum 40 wird die Fahrerassistenzfunktion je nach Modalität abgeleitet und ausgewertet. Davon ausgehend wird eine Fahrerassistenzinformation erzeugt, die vom Rechenzentrum 40 in Form von Daten zur stationären Sende - /Empfangseinheit 30a bis 30c übertragen und von dieser zur Sende- /Empfangseinheit 26 des Fahrzeugs 12 übertragen wird. Im Fahrzeug 12 ist mindestens ein bildgebender Sensor 20, d. h. mindestens eine Mono- kamera, vorgesehen. Mit Hilfe der Kamera 20 wird vorzugsweise ein Bereich der Fahrbahn vor dem Fahrzeug 12 erfasst. Die mit Hilfe der erzeugten Fahrerassistenzdaten erzeugte Fahrerassistenzfunktion kann insbesondere allgemeine Informationen für den Fahrzeugführer und/oder eine Warn- oder eine Aktion sinformation umfassen. Durch das Auswerten der Bildinformation außerhalb des Fahrzeugs 12 sind im Fahrzeug 12 nur relativ geringe Ressourcen erforderlich, um eine Fahrerassistenzfunktion bereitzustellen. Auch wird kein oder relativ wenig Speicher im Fahrzeug 12 benötigt, um Vergleichsdaten zum Klassifizieren von Objekten zu speichern. Durch die Verarbeitung und Bewertung der Bilddaten im zentralen Rechenzentrum 40 kann eine landesabhängige bzw. regionabhängige Bilderkennung durchgeführt werden. Des Weiteren ist es möglich, dass die stationäre Verarbeitungseinheit 40 sich schnell ändernde Straßenverhältnisse, wie z. B. Richtungsänderungen von Fahrbahnen und Baustellen, bei dem Erzeugen der Fahrerassistenzinformation sowie von anderen Fahrzeugen übertragene Informationen beim Ermitteln der Fahrerassistenzdaten berücksichtigt. Wie bereits in Verbindung mit Figur 2 erläutert, können die an die stationäre Verarbeitungseinheit 40 übermittelten Bilder zumindest zeitbegrenzt mit Hilfe geeigneter Speicher gespeichert werden. Zusätzlich zu der bereits erwähnten Unfalldokumentation können mit HiI- fe der gespeicherten Bilder Überprüfungen der aus den Bildern erzeugten Fahrerassistenzinformationen durchgeführt werden, um beispielsweise Beschwerden von Fahrzeugführern über falsche Fahrerassistenzinformationen zu überprüfen.With the invention, a space-saving design of the vehicle camera 20 and the transmitting / receiving unit 26 of the vehicle 12 is possible, so that they are largely identical used in a variety of vehicles. These vehicle components 20, 26 can be used in any country without a country-specific adaptation of software and / or hardware in the vehicle. The consideration of country-specific features is made by a selection or configuration of the software modules in the data center 40. There then takes place an evaluation of images of traffic signs, lanes and other objects for object recognition. On this basis, for example, a support of the light control and / or other currently known driver assistance functions can be provided. However, the specified system is also easily expandable to future applications. The transformation of the image information acquired with the aid of the camera 20, preferably into compressed image data, is achieved by a speaking electronics, preferably a microprocessor, carried out and transmitted to the transmitting / receiving unit 26, which then optionally sends these data together with additional data to the stationary transmitting / receiving unit 30a to 30c. In the data center 40, the driver assistance function is derived and evaluated depending on the modality. Based on this, driver assistance information is generated, which is transmitted from the data center 40 in the form of data to the stationary transceiver unit 30a to 30c and transmitted from this to the transceiver unit 26 of the vehicle 12. At least one imaging sensor 20, ie at least one mono camera, is provided in the vehicle 12. With the aid of the camera 20, a region of the roadway in front of the vehicle 12 is preferably detected. The driver assistance function generated with the aid of the generated driver assistance data can in particular comprise general information for the driver and / or warning or action information. By evaluating the image information outside the vehicle 12, only relatively small resources are required in the vehicle 12 to provide a driver assistance function. Also, no or relatively little memory is needed in the vehicle 12 to store comparison data for classifying objects. By processing and evaluating the image data in the central computer center 40, a country-dependent or region-dependent image recognition can be carried out. Furthermore, it is possible that the stationary processing unit 40 is rapidly changing road conditions, such. B. direction changes of lanes and construction sites, in the generation of the driver assistance information as well as other vehicles transmitted information taken into account in determining the driver assistance data. As already explained in connection with FIG. 2, the images transmitted to the stationary processing unit 40 can be stored at least for a limited time with the aid of suitable memories. In addition to the accident documentation already mentioned, HiI Fe the stored images are performed checks of the driver assistance information generated from the images, for example, to review complaints from drivers about incorrect driver assistance information.
Besonders vorteilhaft ist es, dass Modulaktualisierungen und Modulerweiterungen zum Erzeugen der Fahrerassistenzinformationen aus den zugeführten Bilddaten zentral im Rechenzentrum 40 durchgeführt werden können. Die im Rechenzentrum 40 aus den übermittelten Bilddaten erzeugten Fahrerassistenzinformationen und/oder die zum Fahrzeug übertragenen Fahrerassistenzinformationen können abhängig von den für das Fahrzeug 12 freigeschalteten Fahrerassistenzfunktionen, Softwarelizenzen und/oder Softwaremodulen beschränkt werden. Eine solche Freischaltung kann beispielsweise aus einer Kundenkennung und/oder einer Fahrzeugkennung hervorgehen. Die jeweilige Fahrerassistenzfunktion kann auch räumlich begrenzt sein, beispielsweise auf ein Land begrenzt sein. So kann zum Beispiel eine Modul Verkehrszeichenerkennung Deutschland von einem Fahrzeugführer bzw. Kunden gebucht sein, wobei dann vom Rechenzentrum 40 ausgehend von den an das Rechenzentrum 40 übermittelten Bilddaten entsprechende Fahrerassistenzinformationen erzeugt und zum Fahrzeug 12 übertragen werden. Ausgehend von diesen Funktionen wird dem Fahrzeugführer eine optische und/oder akustische Information über die erkannten Verkehrszeichen ausgegeben. Zusätzlich oder alternativ kann die übermittelte Fahrerassistenzinformation weiterverarbeitet werden, beispielsweise einem System zum Erzeugen einer Warnfunktion bei Geschwindigkeitsüberschreitungen oder einem Tempomat zur Begrenzung der Geschwindigkeit zugeführt werden.It is particularly advantageous that module updates and module extensions for generating the driver assistance information from the supplied image data can be performed centrally in the data center 40. The driver assistance information generated in the data center 40 from the transmitted image data and / or the driver assistance information transmitted to the vehicle can be limited depending on the driver assistance functions, software licenses and / or software modules enabled for the vehicle 12. Such an activation can emerge, for example, from a customer identifier and / or a vehicle identifier. The respective driver assistance function can also be limited in space, for example limited to one country. Thus, for example, a module traffic sign recognition Germany can be booked by a driver or customer, in which case corresponding driver assistance information is generated by the computer center 40 based on the image data transmitted to the data center 40 and transmitted to the vehicle 12. Based on these functions, the driver is given an optical and / or acoustic information about the detected traffic signs. Additionally or alternatively, the transmitted driver assistance information can be further processed, for example, supplied to a system for generating a warning function in case of speeding over or to a cruise control for limiting the speed.
Als Fahrzeugkameras 20 können sowohl Monokameras als auch Stereokameras eingesetzt werden, die Farbbilder oder Grau Stufenbilder erfassen. Diese Kameras umfassen insbesondere mindestens einen CMOS- Bilderfassungssensor oder einen CCD-Bilderfassungssensor. As vehicle cameras 20, both mono cameras and stereo cameras can be used, which capture color images or gray step images. In particular, these cameras comprise at least one CMOS image capture sensor or one CCD image capture sensor.

Claims

Ansprüche claims
1. Datenverarbeitungssystem zum Bereitstellen mindestens einer Fahrerassistenzfunktion,1. Data processing system for providing at least one driver assistance function,
mit mindestens einer stationären Empfangseinheit (30a bis 30c) zum Empfangen von Bilddaten, die mit Hilfe mindestens einer Bilderfassungseinheit (20) eines Fahrzeugs (12) durch Erfassen mindestens eines Bildes der Umgebung des Fahrzeugs (12) erzeugt worden sind;at least one stationary receiving unit (30a to 30c) for receiving image data generated by at least one image capturing unit (20) of a vehicle (12) by capturing at least one image of the surroundings of the vehicle (12);
mit mindestens einer stationären Verarbeitungseinheit (40) zum Verarbeiten von zumindest einem Teil der empfangenen Bilddaten, wobei die stationäre Verarbeitungseinheit (40) ausgehend von den Bilddaten Fahrerassistenzdaten mit mindestens einer Fahrerassistenzinformation erzeugt, wobei mit Hilfe der erzeugten Fahrerassistenzinformation mindestens eine Fahrerassistenzfunktion im Fahrzeug (12) erzeugbar ist,with at least one stationary processing unit (40) for processing at least part of the received image data, wherein the stationary processing unit (40) generates driver assistance data with at least driver assistance information on the basis of the image data, wherein at least one driver assistance function in the vehicle (12) is generated with the assistance of the generated driver assistance information. is producible,
mit mindestens einer Sendeeinheit (30a bis 30c) zum Senden der Fahrerassistenzdaten zum Fahrzeug (12).with at least one transmitting unit (30a to 30c) for transmitting the driver assistance data to the vehicle (12).
2. Datenverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, dass eine Bilderfassungseinheit (20) des Fahrzeugs (12) mehrere Bilder mit jeweils einer Abbildung eines Bereichs der Umgebung des Fahrzeugs (12) als Bildfolge erfasst und zu jedem erfassten Bild der Abbildung entsprechende Bilddaten erzeugt, und dass eine Fahrzeug sendeeinheit (26) zumindest einen Teil der Bilddaten der Bilder zur stationären Empfangseinheit (30a bis 30c) sendet.2. Data processing system according to claim 1, characterized in that an image capturing unit (20) of the vehicle (12) captures a plurality of images each having an image of a region of the surroundings of the vehicle (12) as an image sequence and generates corresponding image data for each captured image of the image, and that a vehicle transmitting unit (26) transmits at least a part of the image data of the images to the stationary receiving unit (30a to 30c).
3. Datenverarbeitungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Fahrzeugempfangseinheit (26) die von der stationären Sendeeinheit (30a bis 30c) gesendeten Fahrerassistenzdaten empfängt.3. Data processing system according to one of the preceding claims, characterized in that a vehicle receiving unit (26) receives from the stationary transmitting unit (30a to 30c) transmitted driver assistance data.
4. Datenverarbeitungssystem nach Anspruch 3, dadurch gekennzeichnet, dass eine im Fahrzeug (12) angeordnete Verarbeitungseinheit die empfangenen Fahrerassistenzdaten verarbeitet und über eine Mensch-Maschine-Schnittstelle eine Information ausgibt und/oder mindestens ein Fahrzeug System des Fahrzeugs (12) steuert.4. Data processing system according to claim 3, characterized in that in the vehicle (12) arranged processing unit processes the received driver assistance data and outputs via a man-machine interface information and / or at least one vehicle system of the vehicle (12) controls.
5. Datenverarbeitungssystem nach Anspruch 4, dadurch gekennzeichnet, dass das Fahrzeugsystem ein Lichtsystem, ein Bremssystem, ein Lenksystem, ein Antriebssystem und/oder ein Warnsystem um- fasst.5. Data processing system according to claim 4, characterized in that the vehicle system comprises a light system, a brake system, a steering system, a drive system and / or a warning system.
6. Datenverarbeitungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die stationäre Verarbeitungseinheit (40) beim Verarbeiten der empfangenen Bilddaten Abbildungen von Objekten in den Bildern detektiert und klassifiziert und abhängig von den klassifizierten Objekten die Fahrerassistenzdaten erzeugt.6. Data processing system according to one of the preceding claims, characterized in that the stationary processing unit (40) detects and classifies images of objects in the images during processing of the received image data and generates the driver assistance data depending on the classified objects.
7. Datenverarbeitungssystem nach Anspruch 6, dadurch gekennzeichnet, dass die stationäre Verarbeitungseinheit (40) die Bildposition eines klassifizierten Objekts und/oder die relative Position des klas- sifizierten Objekts zum Fahrzeug (12) und/oder die Position des klassifizierten Objekts (12) in einem fahrzeugunabhängigen Koordinatensystem ermittelt.7. Data processing system according to claim 6, characterized in that the stationary processing unit (40) the image position of a classified object and / or the relative position of the class Sified object to the vehicle (12) and / or the position of the classified object (12) determined in a vehicle-independent coordinate system.
8. Datenverarbeitungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bilderfassungssystem mindestens eine Stereokamera (20) umfasst, wobei die Bilder der Einzelkameras der Stereokamera als Bilddaten eines Bildpaares von der Fahrzeugsendeeinheit (26) zur stationären Empfangseinheit (30a bis 30c) übertragen werden.8. Data processing system according to one of the preceding claims, characterized in that the image acquisition system comprises at least one stereo camera (20), wherein the images of the individual cameras of the stereo camera as image data of a pair of images from the vehicle transmitting unit (26) to the stationary receiving unit (30a to 30c) are transmitted ,
9. Datenverarbeitungssystem nach Anspruch 8, dadurch gekennzeichnet, dass die stationäre Verarbeitungseinheit (40) die Abbildungen desselben Objekts in den Bildern jedes Bildpaares ermittelt, deren Bildposition bestimmt und ausgehend von den Bildpositionen die Entfernung des Objekts zur Stereokamera (20) ermittelt.9. Data processing system according to claim 8, characterized in that the stationary processing unit (40) determines the images of the same object in the images of each image pair, determines their image position and determined based on the image positions, the distance of the object to the stereo camera (20).
10. Datenverarbeitungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die stationäre Empfangseinheit (30a bis 30c) zusätzlich zu den Bilddaten Zusatzdaten mit weiteren Informationen vom Fahrzeug (12) empfängt.10. Data processing system according to one of the preceding claims, characterized in that the stationary receiving unit (30a to 30c) in addition to the image data receives additional data with further information from the vehicle (12).
11. Datenverarbeitungssystem nach Anspruch 11, dadurch gekennzeichnet, dass die weiteren Informationen die aktuelle Position des Fahrzeugs (12), Geschwindigkeit, Informationen zu Wetterverhältnissen, Informationen zu Sichtverhältnissen, Informationen zu Einstellungen und/oder Betriebszuständen des Fahrzeugs (12), eingestellte Lichtverteilungen von Scheinwerfern des Fahrzeugs (12) und/oder mit Hilfe von Fahrzeugsensoren ermittelte Informationen, wie detektierte Fahrspurmarkierungen, ermittelte Abstände zu Objekten, insbesondere zu anderen Fahrzeugen, umfassen.11. Data processing system according to claim 11, characterized in that the further information the current position of the vehicle (12), speed, information on weather conditions, information on visibility, information on settings and / or operating conditions of the vehicle (12), set light distributions of headlights the vehicle (12) and / or information obtained by means of vehicle sensors, how detected lane markings, determined distances to objects, in particular to other vehicles include.
12. Verfahren zum Bereitstellen mindestens einer Fahrerassistenzfunktion,12. A method for providing at least one driver assistance function,
bei dem mit Hilfe einer stationären Empfangseinheit (30a bis 30c) Bilddaten empfangen werden, die mit Hilfe mindestens einer Bilderfassungseinheit (20) eines Fahrzeugs (12) durch Erfassen mindestens eines Bildes der Umgebung des Fahrzeugs (12) erzeugt worden sind,in which with the aid of a stationary receiving unit (30a to 30c) image data are received which have been generated with the aid of at least one image acquisition unit (20) of a vehicle (12) by capturing at least one image of the surroundings of the vehicle (12),
zumindest ein Teil der empfangenen Bilddaten mit Hilfe einer stationären Verarbeitungseinheit (40) verarbeitet wird, wobei ausgehend von den Bilddaten Fahrerassistenzdaten mit mindestens einer Fahrerassistenzinformation erzeugt werden,at least a part of the received image data is processed with the aid of a stationary processing unit (40), wherein starting from the image data driver assistance data are generated with at least one driver assistance information,
mit Hilfe der erzeugten Fahrerassistenzinformation mindestens eine Fahrerassistenzfunktion im Fahrzeug (12) erzeugbar ist,with the aid of the generated driver assistance information, at least one driver assistance function can be generated in the vehicle (12),
und bei dem die Fahrerassistenzdaten mit Hilfe einer Sendeeinheit (30a bis 30c) zum Fahrzeug (12) gesendet werden. and in which the driver assistance data are transmitted to the vehicle (12) by means of a transmission unit (30a to 30c).
EP10719923A 2009-04-06 2010-03-31 Data processing system and method for providing at least one driver assistance function Withdrawn EP2417594A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009016580A DE102009016580A1 (en) 2009-04-06 2009-04-06 Data processing system and method for providing at least one driver assistance function
PCT/EP2010/054381 WO2010115831A1 (en) 2009-04-06 2010-03-31 Data processing system and method for providing at least one driver assistance function

Publications (1)

Publication Number Publication Date
EP2417594A1 true EP2417594A1 (en) 2012-02-15

Family

ID=42344504

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10719923A Withdrawn EP2417594A1 (en) 2009-04-06 2010-03-31 Data processing system and method for providing at least one driver assistance function

Country Status (6)

Country Link
US (1) US20120133738A1 (en)
EP (1) EP2417594A1 (en)
JP (1) JP2012523053A (en)
CN (1) CN102378999A (en)
DE (1) DE102009016580A1 (en)
WO (1) WO2010115831A1 (en)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9959595B2 (en) 2010-09-21 2018-05-01 Mobileye Vision Technologies Ltd. Dense structure from motion
US9280711B2 (en) * 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US20130002873A1 (en) * 2011-06-30 2013-01-03 Magna Electronics Europe Gmbh & Co. Kg Imaging system for vehicle
DE102011081614A1 (en) * 2011-08-26 2013-02-28 Robert Bosch Gmbh Method and device for analyzing a road section to be traveled by a vehicle
JP5782928B2 (en) * 2011-08-31 2015-09-24 マツダ株式会社 Vehicle communication system and information providing apparatus used therefor
DE102011084275A1 (en) * 2011-10-11 2013-04-11 Robert Bosch Gmbh Method for operating a driver assistance system and method for processing vehicle environment data
JP5727356B2 (en) * 2011-11-30 2015-06-03 日立オートモティブシステムズ株式会社 Object detection device
EP2747056B1 (en) * 2011-12-27 2017-12-06 Honda Motor Co., Ltd. Driving assistance system
US8543254B1 (en) * 2012-03-28 2013-09-24 Gentex Corporation Vehicular imaging system and method for determining roadway width
DE102012107886A1 (en) * 2012-08-27 2014-02-27 Continental Teves Ag & Co. Ohg Method for the electronic detection of traffic signs
JP2014081831A (en) * 2012-10-17 2014-05-08 Denso Corp Vehicle driving assistance system using image information
JP6109593B2 (en) * 2013-02-12 2017-04-05 富士フイルム株式会社 Risk information processing method, apparatus and system, and program
US9097551B2 (en) * 2013-02-28 2015-08-04 Here Global B.V. Method and apparatus for processing location-based imaging and trace data
US20140304635A1 (en) * 2013-04-03 2014-10-09 Ford Global Technologies, Llc System architecture for contextual hmi detectors
JP6251577B2 (en) * 2014-01-17 2017-12-20 矢崎エナジーシステム株式会社 In-vehicle information recording device
US9834207B2 (en) * 2014-04-15 2017-12-05 GM Global Technology Operations LLC Method and system for detecting, tracking and estimating stationary roadside objects
DE102014011329A1 (en) * 2014-07-30 2016-02-04 Audi Ag Motor vehicle and method for operating a driver assistance system
US10189405B2 (en) * 2015-01-14 2019-01-29 Yazaki North America, Inc. Vehicular multi-purpose warning head-up display
JP6535194B2 (en) * 2015-03-31 2019-06-26 株式会社デンソー Vehicle control device and vehicle control method
DE102016105536A1 (en) * 2016-03-24 2017-09-28 Valeo Schalter Und Sensoren Gmbh Method for detecting at least one object, device of a sensor device, sensor device and driver assistance system with at least one sensor device
DE102017208462A1 (en) * 2017-05-18 2018-11-22 Robert Bosch Gmbh Method and device for determining operating data for an automated vehicle
JP6662356B2 (en) * 2017-08-03 2020-03-11 トヨタ自動車株式会社 Vehicle control device
DE102017223431B4 (en) * 2017-12-20 2022-12-29 Audi Ag Method for assisting a driver of a motor vehicle when overtaking; motor vehicle; as well as system
US20190208136A1 (en) * 2017-12-29 2019-07-04 Waymo Llc High-speed image readout and processing
DE102018208150B4 (en) * 2018-05-24 2023-08-24 Audi Ag Method and system for ensuring real-time capability of a driver assistance system
US11270525B2 (en) * 2018-11-06 2022-03-08 Alliance For Sustainable Energy, Llc Automated vehicle occupancy detection
DE102018219984B3 (en) * 2018-11-22 2020-03-26 Volkswagen Aktiengesellschaft Method and system for supporting an automated vehicle
CN109614931B (en) * 2018-12-11 2021-01-01 四川睿盈源科技有限责任公司 Vehicle-mounted road product inspection management and control method and system
US20210191399A1 (en) * 2019-12-23 2021-06-24 Waymo Llc Real-Time Adjustment Of Vehicle Sensor Field Of View Volume
DE102022211145A1 (en) 2022-10-20 2024-04-25 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for detecting a traffic situation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1393282B1 (en) * 2001-05-08 2005-12-21 DaimlerChrysler AG Collision prevention system for vehicles

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990469A (en) 1997-04-02 1999-11-23 Gentex Corporation Control circuit for image array sensors
JP4118452B2 (en) * 1999-06-16 2008-07-16 本田技研工業株式会社 Object recognition device
DE10238936A1 (en) * 2002-08-24 2004-03-04 Robert Bosch Gmbh Device and method for controlling at least one system component of an information technology system
JP4364566B2 (en) * 2003-07-04 2009-11-18 富士重工業株式会社 Vehicle braking device
DE10334203A1 (en) * 2003-07-26 2005-03-10 Volkswagen Ag Interactive traffic handling method, by informing respective road users of current movements of other road users by direct intercommunication
WO2008010842A2 (en) * 2005-09-01 2008-01-24 Digital Recorders, Inc. Security system and method for mass transit vehicles
US20070282519A1 (en) * 2006-06-02 2007-12-06 Ossama Emam System and method for analyzing traffic disturbances reported by vehicles
JP4743037B2 (en) * 2006-07-28 2011-08-10 株式会社デンソー Vehicle detection device
DE102006038018A1 (en) 2006-08-14 2008-02-21 Robert Bosch Gmbh A driver assistance method and apparatus by generating lane information to support or replace lane information of a video-based lane information facility
EP2110797B1 (en) 2006-12-05 2015-10-07 Fujitsu Limited Traffic situation display method, traffic situation display system, vehicle-mounted device, and computer program
DE102006057741A1 (en) * 2006-12-07 2007-09-06 Siemens Restraint Systems Gmbh Method for providing safety-relevant data especially in road traffic systems uses stationary data processing unit to determine moving behaviour of vehicles or other objects for data analysis to transmit evaluation of dangerous situation
JP5053776B2 (en) * 2007-09-14 2012-10-17 株式会社デンソー Vehicular visibility support system, in-vehicle device, and information distribution device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1393282B1 (en) * 2001-05-08 2005-12-21 DaimlerChrysler AG Collision prevention system for vehicles

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2010115831A1 *

Also Published As

Publication number Publication date
US20120133738A1 (en) 2012-05-31
JP2012523053A (en) 2012-09-27
WO2010115831A1 (en) 2010-10-14
CN102378999A (en) 2012-03-14
DE102009016580A1 (en) 2010-10-07

Similar Documents

Publication Publication Date Title
EP2417594A1 (en) Data processing system and method for providing at least one driver assistance function
EP3024700B1 (en) Method and device for reproducing a lateral and/or rear surrounding area of a vehicle
WO2008061890A1 (en) Method for wireless communication between vehicles
DE202016008786U1 (en) Vehicle camera system and image processing device
WO2008043795A1 (en) Method and apparatus for identifying concealed objects in road traffic
DE102009048493A1 (en) A driver assistance system for a vehicle, vehicle with a driver assistance system, and method for assisting a driver in driving a vehicle
EP2150939B1 (en) Method and device for determining the position of a road sign
WO1999037503A1 (en) Vehicle monitoring system
DE102016219455A1 (en) Motor vehicle, method and active infrastructure for checking an environment detection of a motor vehicle
EP1504960A1 (en) Device and method to improve vision in a vehicle
DE102006016807A1 (en) Method for improving view of drivers of motor vehicles entails vehicle travelling ahead producing image data by video camera, wherein evaluating unit effects transmission of image data to receiver on following vehicle
EP3123450B1 (en) Method and device for displaying objects on a vehicle display
DE102016218934A1 (en) Method for data exchange and data fusion of environmental data
DE102010034262A1 (en) Retrofit system for a motor vehicle and method for assisting a driver when driving a motor vehicle
DE102017223431B4 (en) Method for assisting a driver of a motor vehicle when overtaking; motor vehicle; as well as system
EP3385931B1 (en) Motor vehicle and method for operating a lighting device of one or more motor vehicles
DE102014219876A1 (en) Method and device for supporting an automatic parking process of a motor vehicle
DE102018128634A1 (en) Method for providing visual information about at least part of an environment, computer program product, mobile communication device and communication system
DE102012018556B4 (en) Assistance system to enable an extended foresight for subsequent road users
DE102007021580B4 (en) Method and device for determining vehicle-relevant traffic signs
DE10321228A1 (en) Optical detection system for vehicles
DE112020003760T5 (en) SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING METHOD AND IMAGING DEVICE
DE102019001092A1 (en) Method for operating a driver assistance system, as well as electronic computing device, computer program product and data carrier
DE102018211858B4 (en) Method for operating a group of vehicles
DE102009045496B4 (en) Method and control device for using image information from an image provision device external to the vehicle

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20111112

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20140730

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20141210