EP1460383A2 - Kameravorrichtung für ein Fahrzeug - Google Patents

Kameravorrichtung für ein Fahrzeug Download PDF

Info

Publication number
EP1460383A2
EP1460383A2 EP04004505A EP04004505A EP1460383A2 EP 1460383 A2 EP1460383 A2 EP 1460383A2 EP 04004505 A EP04004505 A EP 04004505A EP 04004505 A EP04004505 A EP 04004505A EP 1460383 A2 EP1460383 A2 EP 1460383A2
Authority
EP
European Patent Office
Prior art keywords
camera
driver assistance
assistance system
processing unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP04004505A
Other languages
English (en)
French (fr)
Other versions
EP1460383A3 (de
EP1460383B1 (de
Inventor
Markus Popken
Michael Lübcke
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of EP1460383A2 publication Critical patent/EP1460383A2/de
Publication of EP1460383A3 publication Critical patent/EP1460383A3/de
Application granted granted Critical
Publication of EP1460383B1 publication Critical patent/EP1460383B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision

Definitions

  • the present invention relates to a camera device for a vehicle, in particular a camera device for a vehicle, by means of which a part of the vehicle surroundings can be detected.
  • cameras In modern vehicles, in particular motor vehicles, it is known to use cameras to record the course of the road, for example. This can be particularly useful in poor visibility conditions, such as at night or in fog. Furthermore, cameras are attached to vehicles in order to be able to perceive objects such as, for example, motor vehicles driving ahead, or markings on the road. This information can be used to control special driver assistance systems. The requirement that must be placed on such cameras on vehicles is that they must take into account both the course of the road and, for example, the speed of the vehicle.
  • German patent application DE 199 50 033 A1 proposes a camera device for vehicles which has a variably orientable camera for detecting a road course lying in front of a vehicle.
  • the camera is aligned by a control device which receives vehicle dynamic parameters and / or satellite-based information about the current location of the vehicle, the course and / or the local position of the road.
  • the control device controls a mechanical device, such as a movable platform, and thus enables the camera to be pivoted.
  • the disadvantage of this known camera device is that the orientation of the camera can be changed via a mechanical joint got to.
  • a mechanical joint is susceptible to damage or wear and, moreover, can only change the camera position with a certain time delay, which is caused by the mechanical change in position.
  • such a camera can only capture data at a certain point in time that is suitable for a corresponding driver assistance system.
  • the object of the present invention is therefore to create a camera device which, in particular, has a simple structure and can also be used flexibly for different uses.
  • a camera device for vehicles comprising a camera for capturing image data of part of the vehicle environment, a processing unit for processing the image data and at least one driver assistance system, the camera being fixedly attached to the motor vehicle and at least one driver assistance system for exchanging information is connected to the processing unit.
  • the processing unit is connected to the driver assistance system for an exchange of information.
  • This exchange of information makes it possible to flexibly adapt the image data captured by the camera to the requirements of the driver assistance system. This means that the image data necessary for the function of a driver assistance system can be transmitted to it.
  • the exchange between the driver assistance system and the processing unit can take place in different ways.
  • the driver assistance system can forward a request for certain image data to the processing unit, which then transmits the corresponding image data to the driver assistance system.
  • information about the type of driver assistance system can be transmitted to the processing unit which then transmits the image data required for this driver assistance system back.
  • the camera device according to the invention can therefore be used flexibly and can be used in a variety of ways.
  • the processing of the image data in the processing unit represents a selection of an image section from the angle of view that can be detected by the camera.
  • the provision of a processing unit makes it possible to selectively select image sections from the angle of view detected by the camera. It is thus possible, for example, to transmit only image data relating to the right or the left edge of the captured image angle to the driver assistance system. The image data selected in this way can then be processed further in the driver assistance system.
  • This selection of different image sections from the entire image angle can also be referred to as electronic panning of the camera. However, a movement of the actual camera is not necessary for this. In this way it is possible to transmit image data, which are necessary for the respective driver assistance system, to the latter very quickly and very precisely.
  • the processing of the image data can additionally or alternatively represent an enlargement of an image section from the angle of view that can be detected by the camera.
  • the desired enlargement which is necessary for the function of the driver assistance system, can be set precisely on the basis of the exchange of information between the driver assistance system and the processing unit. This enlargement can be done as such without changing the camera.
  • this so-called electronic zooming can also enlarge areas that are not in the center of the image angle.
  • information from the driver assistance system connected to it is received at the processing unit, indicating the type of driver assistance system.
  • This information includes, in particular, information about the angle of view and the image section that is required for the function of the driver assistance system.
  • a very wide-angle imaging camera is used, so that all angles and sections are those of driver assistance systems might be needed are covered.
  • the processing unit can select the appropriate processing type on the basis of the receipt of information relating to the type of driver assistance system.
  • the processing unit is preferably connected to at least two driver assistance systems. Since the processing unit is connected to a single camera according to the invention, the advantages of the invention can be used particularly advantageously in this embodiment.
  • the at least two driver assistance systems can have different requirements with regard to the image angle and the image section.
  • the possibility of optionally electronic panning and / or electronic zooming of the camera enables the image data required for the respective driver assistance system to be transmitted to the latter.
  • the camera device according to the invention it is possible with the camera device according to the invention to supply several driver assistance systems with the necessary image data via a single camera ,
  • the camera used in the camera device according to the invention preferably represents an infrared camera, a CCD camera or a CMOS camera. With these cameras it is possible, for example, to capture the corresponding image data even at night.
  • a camera device 10 according to the invention is shown in FIG.
  • This includes a first driver assistance system 1 and a second driver assistance system 2.
  • These driver assistance systems are connected to a processing unit 3, which in turn is connected to a camera 4.
  • the connection of the driver assistance systems 1 and 2 to the processing unit 3 represents connections for bidirectional communication. This means that data and / or information can be transmitted in both directions.
  • the driver assistance system 1 can, for example, represent a night vision system in which the driver is shown a good reproduction of the road ahead, including curves, for example on a screen, even in the dark, in order to enable him to recognize dangers in good time.
  • a driver assistance system 1 for a right-hand bend for example, only the image data of the right edge section of an image angle, which can be recorded with a fixed camera, are necessary.
  • the driver assistance system 2 can represent, for example, a lane departure warning system.
  • both edge areas of an image angle are important for such a driver assistance system 2 in order to be able to monitor the position of the vehicle between markings on the road.
  • the camera 4 is preferably attached to a vehicle 5 in the front area of the vehicle 5.
  • the camera 4 is attached in a rigid embodiment, since the camera 4 cannot be moved. If a wide-angle imaging camera is selected, then the image angle indicated in FIG. 2 can be covered with a width W.
  • the camera 4 thus generates an image in the form of image data, as shown schematically in FIG. 3 as W '. If the driver assistance system 1 informs the processing unit 3 on a right-hand bend, for example, that image data relating to the right image section B are required, the processing unit transmits the data B 'from the data W' received from the camera 4 and makes them available to the driver assistance system 1.
  • the image section B ' can be enlarged by the processing unit 3 in order to make it easier for the driver to recognize it on a display.
  • the processing unit can carry out different post-processing of the image section, depending on whether an optimization for the human eye or an optimization for image processing is required.
  • the driver assistance system 2 can transmit information to the image processing unit 3 that image data relating to both edge regions A, B of the image angle W are required.
  • the processing unit can then forward the image data A 'and B' to the driver assistance system 2.
  • the image angles are indicated in FIG. 2 with dashed lines, which would have to be set on two cameras in order to capture the image data with respect to the image sections A and B without the camera device according to the invention.
  • this image data can be recorded with a single camera 4 and transmitted to the respective driver assistance systems by means of so-called electronic panning.
  • the present invention is not limited to the illustrated embodiment of the camera device.
  • the exchange between the driver assistance system and the processing unit does not take place continuously. For example, once, e.g. B. when activating the driver assistance system, the information about the type of driver assistance system to the processing unit. If the driver assistance system is a lane departure warning system, it is sufficient for the processing unit to receive this information once, since the image section that is required for such a driver assistance system is fixed.
  • Driver assistance systems which can be used in the camera device according to the invention are all driver assistance systems which require image data relating to the vehicle environment for their function.
  • heading control or adaptive cruise control systems can also be used, for example.
  • the processing unit of the camera device according to the invention does not have to represent a separate component. Rather, this can be integrated in the camera and can be present there, for example in the form of a program.
  • the inclusion of the processing unit in the driver assistance system is also within the scope of the present invention. In this case, a separate processing unit must be provided for each driver assistance system. These processing units are in turn connected to a single common camera.
  • the camera device creates a possibility of making one or more image sections available from one angle of view for driver assistance systems. These one or more image sections can also be enlarged.
  • the transmission of the image data of the entire image angle captured by the camera is also possible according to the invention. In this case, processing in the processing unit is limited to forwarding the image data that was captured by the camera. Image data relating to a plurality of image sections spaced apart from one another can be transmitted to a single driver assistance system. This is useful, for example, with a lane departure waming system, since only one camera is required for this driver assistance system.
  • the picture angle automatically adapts to the driving speed. This can be achieved by exchanging information between the driver assistance system and the processing unit.
  • the advantage of this automatic adjustment is that, for example with night vision systems, a driver who drives slowly is informed about the objects in the immediate vicinity of the vehicle. The faster the driver drives, the further ahead he looks. By electronically zooming in, this change in view can be taken into account with the camera device.
  • the curve radii to be mastered are greater at a higher speed, so that side information, i. H. Image data in the peripheral area of the image angle, is less important. This phenomenon can also be taken into account with the camera device by zooming in on the central area of the image angle.
  • An image on a display which was generated by means of such a configuration of the camera device, corresponds better to the driver's impression at any speed. This means that the image does not have to be covered with his intellectual image. As a result, the driver's load can be reduced and the time spent looking away is also reduced. Thus, increased driving safety can be ensured with the camera device according to the invention.
  • the camera device With the camera device according to the invention, it is therefore possible to create a device which is simple to manufacture and handle and, in particular, can also be used flexibly for a number of driver assistance systems.
  • driver assistance systems can also be supplied with the required image data by a single camera with different requirements with regard to the required image section and image angle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die Erfindung betrifft eine Kameravorrichtung für Fahrzeuge umfassend eine Kamera (4) zur Erfassung von Bilddaten eines Teils der Fahrzeugumgebung, eine Verarbeitungseinheit (3) zum Verarbeiten von Bilddaten und mindestens ein Fahrerassistenzsystem (1, 2), dadurch gekennzeichnet, dass die Kamera (4) feststehend an dem Kraftfahrzeug (5) befestigt ist und das mindestens ein Fahrerassistenzsystem (1, 2) zum Austausch von Informationen mit der Verarbeitungseinheit (3) verbunden ist. <IMAGE>

Description

  • Die vorliegende Erfindung betrifft eine Kameravorrichtung für ein Fahrzeug, insbesondere eine Kameravorrichtung für ein Fahrzeug mittels derer ein Teil der Fahrzeugumgebung erfasst werden kann.
  • In modernen Fahrzeugen, insbesondere Kraftfahrzeugen, ist es bekannt, Kameras einzusetzen, um beispielsweise den Straßenverlauf zu erfassen. Dies kann insbesondere bei schlechten Sichtverhältnissen, wie beispielsweise bei Nacht oder bei Nebel von Nutzen sein. Weiterhin werden Kameras an Fahrzeugen angebracht, um Objekte, wie beispielsweise voranfahrende Kraftfahrzeuge, oder Markierungen auf der Straße wahrnehmen zu können. Diese Informationen können für die Steuerung spezieller Fahrerassistenzsysteme eingesetzt werden. Die Anforderung, die an solche Kameras an Fahrzeugen gestellt werden muss, ist, dass diese sowohl dem Straßenverlauf als auch beispielsweise der Geschwindigkeit des Fahrzeugs Rechnung tragen müssen.
  • Um eine fortwährende Erfassung des vorausliegenden Straßenverlaufs zu ermöglichen, wird in der deutschen Offenlegungsschrift DE 199 50 033 A1 eine Kameravorrichtung für Fahrzeuge vorgeschlagen, die eine variabel ausrichtbare Kamera zur Erfassung eines vor einem Fahrzeug liegenden Straßenverlaufs aufweist. Die Ausrichtung der Kamera erfolgt gemäß dieser Patentanmeldung durch ein Steuergerät, das fahrdynamische Parameter des Fahrzeugs und/oder eine satellitengestützte Information über den aktuellen Standort des Fahrzeugs, den Verlauf und/oder die örtliche Lage der Straße erhält. Das Steuergerät steuert eine mechanische Vorrichtung, wie beispielsweise eine bewegbare Plattform, an und ermöglicht somit ein Schwenken der Kamera.
  • Der Nachteil dieser bekannten Kameravorrichtung liegt darin, dass die Kamera über ein mechanisches Gelenk in ihrer Ausrichtung verändert werden muss. Ein solches mechanisches Gelenk ist zum einen anfällig bezüglich Beschädigungen bzw. Verschleiß und kann darüber hinaus eine Veränderung der Kameraposition nur mit einer gewissen zeitlichen Verzögerung durchführen, die durch die mechanische Positionsänderung hervorgerufen wird. Darüber hinaus kann eine solche Kamera in einem bestimmten Zeitpunkt nur Daten erfassen, die für ein entsprechendes Fahrerassistenzsystem geeignet sind.
  • Die Aufgabe der vorliegenden Erfindung ist es daher, eine Kameravorrichtung zu schaffen, die insbesondere einen einfachen Aufbau aufweist und weiterhin für unterschiedliche Verwendungen flexibel eingesetzt werden kann.
  • Diese Aufgabe wird erfindungsgemäß gelöst durch eine Kameravorrichtung für Fahrzeuge umfassend eine Kamera zur Erfassung von Bilddaten eines Teils der Fahrzeugumgebung, eine Verarbeitungseinheit zum Verarbeiten der Bilddaten und mindestens ein Fahrerassistenzsystem, wobei die Kamera feststehend an dem Kraftfahrzeug befestigt ist und mindestens ein Fahrerassistenzsystem zum Austausch von Informationen mit der Verarbeitungseinheit verbunden ist.
  • Durch das Vorsehen einer feststehenden Kamera an dem Kraftfahrzeug werden die Probleme, die im Stand der Technik durch die Gelenke hervorgerufen werden, ausgeschlossen. In der erfindungsgemäßen Kameravorrichtung ist weiterhin vorgesehen, dass die Verarbeitungseinheit mit dem Fahrerassistenzsystem für einen Austausch von Informationen verbunden ist. Durch diesen Austausch von Informationen wird es möglich, die Bilddaten, die von der Kamera erfasst werden, flexibel den Erfordernissen des Fahrerassistenzsystems anzupassen. Dies bedeutet, dass die für die Funktion eines Fahrerassistenzsystems notwendigen Bilddaten an dieses übermittelt werden können.
  • Der Austausch zwischen dem Fahrerassistenzsystem und der Verarbeitungseinheit kann auf verschiedene Arten erfolgen. Zum einen kann das Fahrerassistenzsystem eine Anfrage bezüglich bestimmter Bilddaten an die Verarbeitungseinheit leiten, die daraufhin die entsprechenden Bilddaten an das Fahrerassistenzsystem übermittelt. Alternativ kann eine Information über die Art des Fahrerassistenzsystems an die Verarbeitungseinheit übermittelt werden, die daraufhin die für dieses Fahrerassistenzsystem notwendigen Bilddaten zurück überträgt. Die erfindungsgemäße Kameravorrichtung kann daher flexibel verwendet werden und vielseitig zum Einsatz gelangen.
  • Gemäß einer Ausführungsform stellt die Verarbeitung der Bilddaten in der Verarbeitungseinheit ein Auswählen eines Bildausschnitts aus dem mit der Kamera erfassbaren Bildwinkel dar. Durch das Vorsehen einer Verarbeitungseinheit wird es möglich, gezielt Bildausschnitte aus dem von der Kamera erfassten Bildwinkel auszuwählen. Somit ist es beispielsweise möglich, lediglich Bilddaten bezüglich des rechten oder des linken Randes des erfassten Bildwinkels an das Fahrerassistenzsystem zu übermitteln. Die so ausgewählten Bilddaten können dann in dem Fahrerassistenzsystem weiter verarbeitet werden. Dieses Auswählen verschiedener Bildausschnitte aus dem gesamten Bildwinkel kann auch als elektronisches Schwenken der Kamera bezeichnet werden. Eine Bewegung der eigentlichen Kamera ist hierfür allerdings nicht notwendig. Auf diese Weise wird es möglich, sehr schnell und sehr genau Bilddaten, die für das jeweilige Fahrerassistenzsystem notwendig sind, an dieses zu übermitteln.
  • Gemäß einer weiteren Ausführungsform kann zusätzlich oder alternativ die Verarbeitung der Bilddaten eine Vergrößerung eines Bildausschnitts aus dem mit der Kamera erfassbaren Bildwinkel darstellen. Auch hierbei kann aufgrund des Austauschs von Informationen zwischen dem Fahrerassistenzsystem und der Verarbeitungseinheit die gewünschte Vergrößerung, die für die Funktion des Fahrerassistenzsystems notwendig ist, genau eingestellt werden. Diese Vergrößerung kann ohne eine Veränderung der Kamera als solches erfolgen. Im Vergleich zu einem mechanischen/optischen Vergrößern bzw. Zoomen können bei diesem sogenannten elektronischen Zoomen auch Bereiche, die nicht im Zentrum des Bildwinkels liegen, vergrößert werden.
  • In einer Ausführungsform der Kameravorrichtung werden an der Verarbeitungseinheit Informationen von dem damit verbundenen Fahrerassistenzsystem empfangen, die die Art des Fahrerassistenzsystems angeben. Diese Informationen beinhalten insbesondere Angaben über den Bildwinkel und den Bildausschnitt, die für die Funktion des Fahrerassistenzsystems benötigt werden. Vorzugsweise wird eine sehr weitwinklig abbildende Kamera eingesetzt, sodass alle Winkel und Ausschnitte, die von Fahrerassistenzsystemen benötigt werden könnten, abgedeckt sind. Aufgrund des Erhalts von Informationen betreffend der Art des Fahrerassistenzsystems kann die Verarbeitungseinheit die geeignete Verarbeitungsart auswählen.
  • Vorzugsweise ist die Verarbeitungseinheit mit mindestens zwei Fahrerassistenzsystemen verbunden. Da die Verarbeitungseinheit erfindungsgemäß mit einer einzigen Kamera verbunden ist, können bei dieser Ausführungsform die Vorteile der Erfindung besonders vorteilhaft genutzt werden. Die mindestens zwei Fahrerassistenzsysteme können unterschiedliche Anforderungen bezüglich des Bildwinkels und des Bildausschnitts aufweisen. Durch die Möglichkeit des wahlweisen elektronischen Schwenkens und/oder elektronischen Zoomens der Kamera können die für das jeweilige Fahrerassistenzsystem notwendigen Bilddaten an dieses übermittelt werden. Gegenüber dem Stand der Technik, in dem für Fahrerassistenzsysteme mit unterschiedlichen Anforderungen an die Bilddaten verschiedene Kameras eingesetzt werden mussten, die für den jeweiligen Zweck optimiert waren, ist es mit der erfindungsgemäßen Kameravorrichtung möglich, mehrere Fahrerassistenzsysteme über eine einzige Kamera mit den notwendigen Bilddaten zu versorgen.
  • Die Kamera, die in der erfindungsgemäßen Kameravorrichtung eingesetzt wird, stellt vorzugsweise eine Infrarotkamera, eine CCD-Kamera oder eine CMOS-Kamera dar. Mit diesen Kameras wird es möglich, beispielsweise auch bei Nacht die entsprechenden Bilddaten zu erfassen.
  • Die vorliegende Erfindung wird im Folgenden anhand der beiliegenden Figuren, die ein mögliches Ausführungsbeispiel der erfindungsgemäßen Kameravorrichtung zeigen, genauer erläutert, wobei
    • Figur 1:
    einen schematischen Aufbau einer Ausführungsform einer erfindungsgemäßen Kameravorrichtung zeigt,
    Figur 2:
    eine schematische Darstellung des Bildwinkels, der mit der Kamera erfasst werden kann, zeigt, und
    Figur 3:
    eine schematische Darstellung von Bilddaten, die mit der erfindungsgemäßen Kameravorrichtung an das Fahrerassistenzsystem übermittelt werden können, zeigt.
  • In Figur 1 ist eine erfindungsgemäße Kameravorrichtung 10 dargestellt. Diese umfasst ein erstes Fahrerassistenzsystem 1 und ein zweites Fahrerassistenzsystem 2. Diese Fahrerassistenzsysteme sind mit einer Verarbeitungseinheit 3 verbunden, die wiederum mit einer Kamera 4 verbunden ist. Die Verbindung der Fahrerassistenzsysteme 1 und 2 mit der Verarbeitungseinheit 3 stellen Verbindungen für eine bidirektionale Kommunikation dar. Dies bedeutet, dass Daten und/oder Informationen in beide Richtungen übermittelt werden können. Die Verbindung zwischen der Kamera 4 und der Verarbeitungseinheit 3 hingegen erlaubt in der dargestellten Ausführungsform lediglich eine Übermittlung von Bilddaten von der Kamera 4 auf die Verarbeitungseinheit 3.
  • Das Fahrerassistenzsystem 1 kann beispielsweise ein Nachtsichtsystem darstellen, bei dem dem Fahrer auch bei Dunkelheit eine gute Wiedergabe des voranliegenden Straßenverlaufs, einschließlich von Kurven, beispielsweise auf einem Bildschirm angezeigt wird, um ihm ein rechtzeitiges Erkennen von Gefahren zu ermöglichen. Um den Kurvenverlauf einer Straße Rechnung tragen zu können, sind für ein solches Fahrerassistenzsystem 1 bei einer Rechtskurve beispielsweise nur die Bilddaten des rechten Randausschnitts eines Bildwinkels, der mit einer feststehenden Kamera aufgenommen werden kann, notwendig.
  • Das Fahrerassistenzsystem 2 kann beispielsweise ein Lane-Departure-Warning-System darstellen. Für ein solches Fahrerassistenzsystem 2 sind, im Gegensatz zum Fahrerassistenzsystem 1 beide Randbereiche eines Bildwinkels von Bedeutung, um die Lage des Fahrzeugs zwischen Markierungen auf der Straße überwachen zu können.
  • Wie in Figur 2 gezeigt, ist die Kamera 4 an einem Fahrzeug 5 vorzugsweise im vorderen Bereich des Fahrzeugs 5 angebracht. Die Anbringung der Kamera 4 erfolgt erfindungsgemäß in einer starren Ausführung, da die Kamera 4 kann nicht bewegt werden braucht. Wird eine weitwinklig abbildende Kamera gewählt, so kann von dieser der in Figur 2 angedeutete Bildwinkel mit einer Breite W abgedeckt werden. Durch die Kamera 4 wird somit eine Abbildung in Form von Bilddaten, wie in Figur 3 schematisch als W' dargestellt, erzeugt. Informiert das Fahrerassistenzsystem 1 die Verarbeitungseinheit 3 bei einer Rechtskurve beispielsweise darüber, dass Bilddaten bezüglich des rechten Bildausschnitts B benötigt werden, so übermittelt die Verarbeitungseinheit aus den von der Kamera 4 erhaltenen Daten W' die Daten B' und stellt diese dem Fahrerassistenzsystem 1 zur Verfügung. Zusätzlich kann von der Verarbeitungseinheit 3 der Bildausschnitt B' vergrößert werden, um dem Fahrer ein leichteres Erkennen auf einem Display zu ermöglichen. Anstelle einer Vergrößerung des Bildausschnitts oder zusätzlich kann die Verarbeitungseinheit eine unterschiedliche Nachbearbeitung des Bildausschnitts vornehmen, je nachdem, ob eine Optimierung für das menschliche Auge oder eine Optimierung für eine Bildverarbeitung benötigt wird.
  • Gleichzeitig kann von dem Fahrerassistenzsystem 2 eine Information an die Bildverarbeitungseinheit 3 übermittelt werden, dass Bilddaten bezüglich beider Randbereiche A, B des Bildwinkels W benötigt werden. Die Verarbeitungseinheit kann daraufhin die Bilddaten A' und B' an das Fahrerassistenzsystem 2 leiten.
  • Um den Unterschied gegenüber dem Stand der Technik zu verdeutlichen, sind in Figur 2 mit gestrichelten Linien die Bildwinkel angedeutet, die zur Erfassung der Bilddaten bezüglich der Bildausschnitte A und B ohne die erfindungsgemäße Kameravorrichtung, an zwei Kameras eingestellt werden müssten. Mit der vorliegenden Erfindung hingegen können diese Bilddaten mit einer einzigen Kamera 4 erfasst und mittels sogenanntem elektronischen Schwenken an die jeweiligen Fahrerassistenzsysteme übermittelt werden.
  • Die vorliegende Erfindung ist nicht auf die dargestellte Ausführungsform der Kameravorrichtung beschränkt.
  • Bei der erfindungsgemäßen Kameravorrichtung ist es auch möglich, dass der Austausch zwischen dem Fahrerassistenzsystem und der Verarbeitungseinheit nicht kontinuierlich erfolgt. So kann beispielsweise einmalig, z. B. beim Aktivieren des Fahrerassistenzsystems, die Information über die Art des Fahrerassistenzsystems an die Verarbeitungseinheit geleitet werden. Stellt das Fahrerassistenzsystem ein Lane-Departure-Warning-System dar, so ist es für die Verarbeitungseinheit ausreichend, diese Information einmalig zu erhalten, da der Bildausschnitt, der für ein solches Fahrerassistenzsystem benötigt wird, feststeht.
  • Als Fahrerassistenzsysteme, die in der erfindungsgemäßen Kameravorrichtung Anwendung finden können, kommen sämtliche Fahrerassistenzsysteme in Betracht, die für Ihre Funktion Bilddaten bezüglich der Fahrzeugumgebung benötigen. Neben den bereits erwähnten Lane-Departure-Warning-Systemen und Nachtsichtsystemen können somit beispielsweise auch Heading-Control- oder auch Adaptive-Cruise-Control-Systeme eingesetzt werden.
  • Die Verarbeitungseinheit der erfindungsgemäßen Kameravorrichtung muss kein separates Bauteil darstellen. Diese kann vielmehr in der Kamera integriert sein und dort beispielsweise in Form eines Programms vorliegen. Auch das Einbeziehen der Verarbeitungseinheit in das Fahrerassistenzsystem liegt im Rahmen der vorliegenden Erfindung. In diesem Fall ist für jedes Fahrerassistenzsystem eine separate Verarbeitungseinheit vorzusehen. Diese Verarbeitungseinheiten sind dann wiederum mit einer einzigen gemeinsamen Kamera verbunden.
  • Mit der erfindungsgemäßen Kameravorrichtung wird eine Möglichkeit geschaffen, einen oder auch mehrere Bildausschnitte aus einem Bildwinkel für Fahrerassistenzsysteme zur Verfügung zu stellen. Diese einen oder mehreren Bildausschnitte können zusätzlich vergrößert sein. Auch die Übermittlung der Bilddaten des gesamten von der Kamera erfassten Bildwinkels ist erfindungsgemäß möglich. In diesem Fall beschränkt sich die Verarbeitung in der Verarbeitungseinheit auf ein Weiterleiten der Bilddaten, die von der Kamera erfasst wurden. Die Übermittlung von Bilddaten bezüglich mehrerer voneinander beabstandeter Bildausschnitte kann an ein einziges Fahrerassistenzsystem erfolgen. Dies ist beispielsweise bei einem Lane-Departure-Waming-System von Nutzen, da für dieses Fahrerassistenzsystem nur noch eine Kamera benötigt wird.
  • Obwohl im Vorstehenden im Wesentlichen von der Auswahl von Bildausschnitten im rechten und linken Randbereich gesprochen wurde, ist es mit der erfindungsgemäßen Vorrichtung auch möglich, Bilddaten eines Bildausschnitts, der sich in einer Ecke des Bildwinkels befindet, oder an einer anderen Stelle innerhalb des Bildwinkels liegt, zu übermitteln. Mit der Kameravorrichtung kann somit ein elektronisches Schwenken der Kamera in horizontaler sowie in vertikaler Richtung ermöglicht werden.
  • Weiterhin kann mit der erfindungsgemäßen Kameravorrichtung realisiert werden, dass sich der Bildwinkel automatisch der Fahrgeschwindigkeit anpasst. Dies kann durch den Austausch von Informationen zwischen dem Fahrerassistenzsystem und der Verarbeitungseinheit erreicht werden. Der Vorteil dieses automatischen Anpassens liegt darin, dass, beispielsweise bei Nachtsichtsystemen, ein Fahrer, der langsam fährt, über die Objekte im direkten Fahrzeugumfeld informiert wird. Je schneller der Fahrer fährt, desto weiter voraus richtet er seinen Blick. Durch ein elektronisches Heranzoomen kann dieser Blickänderung mit der Kameravorrichtung Rechnung getragen werden. Zu dem sind bei einer höheren Geschwindigkeit die zu bewältigenden Kurvenradien größer, sodass eine Seiteninformation, d. h. Bilddaten im Randbereich des Bildwinkels, weniger von Bedeutung ist. Auch diesem Phänomen kann mit der Kameravorrichtung Rechnung getragen werden, in dem der Zentralbereich des Bildwinkels herangezoomt wird. Eine Abbildung auf einem Display, die mittels einer solchen Ausgestaltung der Kameravorrichtung erzeugt wurde, entspricht zu jeder Geschwindigkeit besser dem jeweiligen Eindruck des Fahrers. Dieser muss das Bild daher nicht aufwendig mit seinem geistigen Bild zur Deckung bringen. Dadurch kann die Fahrerbelastung gesenkt werden und auch die Blickabwendungsdauer wird erniedrigt. Somit kann mit der erfindungsgemäßen Kameravorrichtung eine erhöhte Fahrtsicherheit gewährleistet werden.
  • Weiterhin wird der Informationsgehalt bezüglich fahrerrelevanter Daten deutlich erhöht. Gefahren werden somit mit größerer Wahrscheinlichkeit in der Abbildung auf dem Display angezeigt, was erneut zu einer Erhöhung der Fahrsicherheit führt.
  • Mit der erfindungsgemäßen Kameravorrichtung ist es daher möglich, eine Vorrichtung zu schaffen, die einfach herzustellen und zu handhaben ist und insbesondere auch für mehrere Fahrerassistenzsysteme flexibel eingesetzt werden kann. Insbesondere können mehrere Fahrerassistenzsysteme auch mit verschiedenen Anforderungen bezüglich des erforderlichen Bildausschnitts und Bildwinkels von einer einzigen Kamera mit den benötigten Bilddaten versorgt werden.

Claims (7)

  1. Kameravorrichtung für ein Fahrzeug umfassend eine Kamera (4) zur Erfassung von Bilddaten eines Teils der Fahrzeugumgebung, eine Verarbeitungseinheit (3) zum Verarbeiten von Bilddaten und mindestens ein Fahrerassistenzsystem (1, 2), dadurch gekennzeichnet, dass die Kamera (4) feststehend an dem Kraftfahrzeug (5) befestigt ist und dass mindestens ein Fahrerassistenzsystem (1, 2) zum Austausch von Informationen mit der Verarbeitungseinheit (3) verbunden ist.
  2. Kameravorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Verarbeitung der Bilddaten in der Verarbeitungseinheit (3) ein Auswählen eines Bildausschnitts (A, B) aus dem mit der Kamera (4) erfassbaren Bildwinkel (W) darstellt.
  3. Kameravorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Verarbeitung eine Vergrößerung eines Bildausschnitts (A, B) aus dem mit der Kamera (4) erfassbaren Bildwinkel (W) darstellt.
  4. Kameravorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Verarbeitungseinheit (3) Informationen von dem damit verbundenen Fahrerassistenzsystem (1, 2) empfängt, die die Art des Fahrerassistenzsystems (1, 2) angeben.
  5. Kameravorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass mindestens zwei Fahrerassistenzsysteme (1, 2) mit der Verarbeitungseinheit (3) verbunden sind.
  6. Kameravorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Kamera eine IR-Kamera, eine CCD- oder eine CMOS-Kamera darstellt.
  7. Kameravorrichtung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der ausgewählte Bildausschnitt (A, B) nicht konzentrisch zum mit der Kamera (4) erfassbaren Bildwinkel (W) angeordnet ist.
EP04004505A 2003-03-21 2004-02-27 Kameravorrichtung für ein Fahrzeug Expired - Lifetime EP1460383B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10312546A DE10312546B3 (de) 2003-03-21 2003-03-21 Kameravorrichtung für ein Fahrzeug und Verfahren zum Betreiben einer Kameravorrichtung
DE10312546 2003-03-21

Publications (3)

Publication Number Publication Date
EP1460383A2 true EP1460383A2 (de) 2004-09-22
EP1460383A3 EP1460383A3 (de) 2005-04-27
EP1460383B1 EP1460383B1 (de) 2009-04-22

Family

ID=32798006

Family Applications (1)

Application Number Title Priority Date Filing Date
EP04004505A Expired - Lifetime EP1460383B1 (de) 2003-03-21 2004-02-27 Kameravorrichtung für ein Fahrzeug

Country Status (2)

Country Link
EP (1) EP1460383B1 (de)
DE (2) DE10312546B3 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1504960A1 (de) * 2003-08-07 2005-02-09 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verbesserung der Sicht in einem Kraftfahrzeug
WO2008025609A1 (de) * 2006-08-29 2008-03-06 Robert Bosch Gmbh Verfahren und vorrichtung zur erkennung von defekten pixeln eines bildaufnahmesensors, vorzugsweise in einem fahrerassistenzsystem

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19736774A1 (de) * 1997-08-23 1999-02-25 Bosch Gmbh Robert Verfahren zur Informationsanzeige in einem Kraftfahrzeug
DE19938266A1 (de) * 1999-08-12 2001-02-15 Volkswagen Ag Verfahren und Einrichtung zur elektronischen bzw. elektronisch visuellen Erkennung von Verkehrszeichen
WO2002036389A1 (en) * 2000-10-26 2002-05-10 Autoliv Development Ab A night vision device for a vehicle
EP1211132A2 (de) * 2000-11-29 2002-06-05 Robert Bosch Gmbh Anordnung und Verfahren zum Überwachen des Umfeldes eines Fahrzeugs

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05260352A (ja) * 1992-03-11 1993-10-08 Sony Corp ビデオカメラ
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
DE19937489B4 (de) * 1999-08-07 2009-07-09 Volkswagen Ag Verfahren zur Überwachung eines Fahrspurwechsels eines Kraftfahrzeuges
DE19945588A1 (de) * 1999-09-23 2001-04-19 Bayerische Motoren Werke Ag Sensoranordnung
DE19950033B4 (de) * 1999-10-16 2005-03-03 Bayerische Motoren Werke Ag Kameravorrichtung für Fahrzeuge
DE10034461A1 (de) * 2000-07-15 2002-01-31 Bosch Gmbh Robert Verfahren zur Sichtweitenbestimmung
DE10133761A1 (de) * 2001-07-11 2003-01-30 Vitronic Dr Ing Stein Bildvera Verfahren und Vorrichtung zur virtuellen Lagebestimmung eines Fahrzeugaufbaus
DE10203413C2 (de) * 2002-01-28 2003-11-27 Daimler Chrysler Ag Automobiles Infrarot-Nachtsichtgerät

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19736774A1 (de) * 1997-08-23 1999-02-25 Bosch Gmbh Robert Verfahren zur Informationsanzeige in einem Kraftfahrzeug
DE19938266A1 (de) * 1999-08-12 2001-02-15 Volkswagen Ag Verfahren und Einrichtung zur elektronischen bzw. elektronisch visuellen Erkennung von Verkehrszeichen
WO2002036389A1 (en) * 2000-10-26 2002-05-10 Autoliv Development Ab A night vision device for a vehicle
EP1211132A2 (de) * 2000-11-29 2002-06-05 Robert Bosch Gmbh Anordnung und Verfahren zum Überwachen des Umfeldes eines Fahrzeugs

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1504960A1 (de) * 2003-08-07 2005-02-09 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verbesserung der Sicht in einem Kraftfahrzeug
WO2008025609A1 (de) * 2006-08-29 2008-03-06 Robert Bosch Gmbh Verfahren und vorrichtung zur erkennung von defekten pixeln eines bildaufnahmesensors, vorzugsweise in einem fahrerassistenzsystem

Also Published As

Publication number Publication date
DE502004009380D1 (de) 2009-06-04
DE10312546B3 (de) 2004-09-09
EP1460383A3 (de) 2005-04-27
EP1460383B1 (de) 2009-04-22

Similar Documents

Publication Publication Date Title
EP1211132B1 (de) Anordnung und Verfahren zum Überwachen des Umfeldes eines Fahrzeugs
EP2603402B1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung und fahrerassistenzsystem
DE102006008703B4 (de) Fahrunterstützungssystem und Navigationssystem für ein Fahrzeug
EP3024700B1 (de) Verfahren und vorrichtung zur wiedergabe eines seitlichen und/oder rückwärtigen umgebungsbereichs eines fahrzeugs
DE102012025322B4 (de) Kraftfahrzeug mit Kamera-Monitor-System
DE102005035776A1 (de) Vorrichtung zur visuellen Kontrolle einer Fahrzeugumgebung
WO1999037503A1 (de) Überwachungssystem für fahrzeuge
DE10250021A1 (de) Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug zum Auffinden eines Parkplatzes
DE112004002292T5 (de) Automatisches Einsehen des blinden Flecks eines Fahrzeugs
EP3397523B1 (de) Verfahren zur darstellung eines rückwärtigen aussenbereiches eines fahrzeuges
DE60211928T2 (de) Fahrunterstützungsanzeigevorrichtung
DE102009025205A1 (de) Anzeige und Verfahren für eine Umgebungsdarstellung eines Kraftfahrzeug-Surround-View-Systems
DE102009035422B4 (de) Verfahren zur geometrischen Bildtransformation
DE102016115313A1 (de) Verfahren zum Unterstützen eines Fahrers eines Gespanns, Fahrerassistenzsystem sowie Gespann
DE102021207558A1 (de) Kamerasystem sowie Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem
EP2528050B1 (de) Verfahren und Vorrichtung zur bildlichen Erfassung und Visualisierung von Umgebungsbedingungen an einem von einem Nutzfahrzeug anzufahrenden Hindernis
EP1111488B1 (de) Kameraeinrichtung für ein Fahrzeug
DE10321228B4 (de) Optisches Erfassungssystem für Fahrzeuge
WO2012003945A1 (de) Vorrichtung und verfahren zum erfassen und anzeigen des rückwärtigen und/oder seitlichen umfeldes eines kraftfahrzeugs
DE10297590B4 (de) Fahrunterstützungssystem, Bildausgabevorrichtung und mit Kamera ausgestatteter Stab
DE102006037600A1 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE10312546B3 (de) Kameravorrichtung für ein Fahrzeug und Verfahren zum Betreiben einer Kameravorrichtung
EP2639109B1 (de) Heckbereichssichtsystem
DE60300791T2 (de) Vorrichtung und Verfahren zum Betätigen und Positionieren einer Überwachungseinrichtung für einen Fahrzeug
EP1378396A2 (de) Anordnung zur Sichtverbesserung

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

17P Request for examination filed

Effective date: 20051027

AKX Designation fees paid

Designated state(s): DE FR GB IT

17Q First examination report despatched

Effective date: 20070314

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): DE FR GB IT

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REF Corresponds to:

Ref document number: 502004009380

Country of ref document: DE

Date of ref document: 20090604

Kind code of ref document: P

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20100125

REG Reference to a national code

Ref country code: DE

Ref legal event code: R084

Ref document number: 502004009380

Country of ref document: DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 14

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230222

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20230228

Year of fee payment: 20

Ref country code: GB

Payment date: 20230220

Year of fee payment: 20

Ref country code: DE

Payment date: 20230228

Year of fee payment: 20

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230529

REG Reference to a national code

Ref country code: DE

Ref legal event code: R071

Ref document number: 502004009380

Country of ref document: DE

REG Reference to a national code

Ref country code: GB

Ref legal event code: PE20

Expiry date: 20240226

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20240226