EP2367052B1 - Caméra agencée pour pouvoir être embarquée sur un véhicule - Google Patents

Caméra agencée pour pouvoir être embarquée sur un véhicule Download PDF

Info

Publication number
EP2367052B1
EP2367052B1 EP11156525.5A EP11156525A EP2367052B1 EP 2367052 B1 EP2367052 B1 EP 2367052B1 EP 11156525 A EP11156525 A EP 11156525A EP 2367052 B1 EP2367052 B1 EP 2367052B1
Authority
EP
European Patent Office
Prior art keywords
sensor
multifocal
camera
camera according
objective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP11156525.5A
Other languages
German (de)
English (en)
Other versions
EP2367052A1 (fr
Inventor
Alice Mulin
Caroline Robert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Vision SAS
Original Assignee
Valeo Vision SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Vision SAS filed Critical Valeo Vision SAS
Publication of EP2367052A1 publication Critical patent/EP2367052A1/fr
Application granted granted Critical
Publication of EP2367052B1 publication Critical patent/EP2367052B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/023—Multi-image cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera

Definitions

  • the invention particularly relates to a camera arranged to be embedded on a vehicle.
  • the document DE 10 2004 015 040 describes a camera with integrated rain sensor and a field stop to prevent stray light on the detector area that is used as a rain sensor.
  • the integration of the rain detection function in a multifunction camera of the motor vehicle is envisaged.
  • the invention therefore aims in particular to obtain with a single camera the restitution of both the road scene far field (about 150 meters) and the windshield (about 30 mm).
  • these first and second images do not completely overlap. Eventually these images may overlap partially. These images can still be juxtaposed, substantially without overlapping.
  • the camera is preferably used for the detection of rain, especially raindrops on the windshield of the vehicle, and also preferably for one or more other driving assistance functions such as detection. obstacles on the road, automation of projectors, line detection, fog detection, visibility measurement.
  • the camera according to the invention can thus be a multifunction camera.
  • the far-field focused image may, if desired, cover an area on the sensor greater than that covered by the near-field image on the sensor.
  • the far field image may cover about 80% of the sensor area and the near field image about 20% of the sensor area.
  • the invention makes it possible to obtain, if necessary, on the sensor, a first clear image of the drops of water on the windshield with in the background, in this same image, the road scene which is blurred, substantially juxtaposed to a second clear image of the road scene, even if drops of water are present on the windshield.
  • the detection algorithms can thus be applied to the area of the image corresponding to their needs optimally.
  • Each part of the image is somehow optimal for each category of software (software): optimal for the detection of drops with the focused part in near field and optimal for applications in far field with the part of the image focused to infinity.
  • the multifocal device is placed between the sensor and the objective.
  • the invention makes it possible to have a small footprint, and to have a relatively simple and inexpensive camera.
  • the camera comprises a support, in particular comprising a printed circuit board, on which the sensor is placed.
  • the multifocal optical device may be integral with this support or, alternatively, the bifocal device may be remote, being for example in contact with and / or secured to the lens, or remote from both the support and the objective .
  • the camera comprises a protection blade of the sensor, and the multifocal optical device is for example attached, in particular glued, to this protection blade.
  • the multifocal optical device is placed directly in front of the sensor, and preferably also serves to protect the sensor.
  • the multifocal optical device comprises a blade, in particular plastic or glass, for example made of N-BK7.
  • the multifocal device is preferably made in one piece.
  • the multifocal device comprises a plurality of elements, possibly assembled together.
  • the multifocal device comprises an optically neutral zone, associated with the first far-field image, formed for example between two substantially parallel main faces of the device and an optically active zone, associated with the second image in the near field, this optically active zone being in particular a zone forming a convergent lens.
  • the optically active zone serves in particular to image a sufficient area of the windshield on the sensor.
  • the optically active zone is remote from the edges of the multifocal device, in particular the edges of the blade when this zone is formed on the blade.
  • the lens has an optical axis, and the optically active area has an optical center offset from the optical axis of the lens.
  • the optical center represents a particular point of a system such that an incident light ray at this point is not deviated: its incident and emerging parts are parallel to one another
  • the multifocal device comprises an optically neutral zone formed in particular between two substantially parallel main faces of the device, and an optically active zone, this optically active zone being of a different material from that of the optically neutral zone.
  • the positioning of the bifocal device is preferably fixed between the lens and the sensor of the camera.
  • the multifocal device comprises a cache region disposed between an optically neutral zone and an optically active zone, this cache region being arranged to limit the overlap between the first and second images on the sensor.
  • This cover can be attached to the blade of the multifocal device or, alternatively, be formed directly on the blade.
  • This cache is used to cut light rays from the windshield and focusing in the overlap area of the first and second images, which allows for a better juxtaposition of the two images.
  • the multifocal device in particular the blade, does not have symmetry of revolution, being in particular of non-circular shape.
  • the blade has for example a substantially rectangular shape.
  • the rain detection is preferably performed by the multifunction camera, without the aid of a separate sensor of this camera.
  • the invention also relates to a rain detection method using a camera as defined above.
  • the bifocal optical device 3 and the optical objective 4 are arranged to be able to form, on the sensor 2, a first far-field focused IM1 image and a second near-field focused IM2 image, as illustrated in FIG. figure 4 .
  • the camera is advantageously placed in a wiped area, inside the vehicle.
  • the camera is placed behind the rearview mirror, against the windshield of the vehicle.
  • the first and second images IM1 and IM2 extend in respective regions R1 and R2 distinct from the sensor 2.
  • these first and second images IM1 and IM2 do not completely overlap. Eventually these images may overlap partially. Alternatively, these images can be juxtaposed, substantially without overlapping.
  • the camera 1 serves for the detection of rain, including raindrops on the windshield of the vehicle, and also for one or more other driving assistance functions such as the detection of obstacles on the road, the projector automation, line detection, fog detection, visibility measurement.
  • the camera 1 is thus a multifunction camera.
  • the far-field focused IM1 image may, if desired, cover an area on the sensor greater than that covered by the IM2 near-field image on the sensor.
  • the far-field image IM1 can cover about 80% of the area of the sensor 2 and the IM2 image in the near field about 20% of the area of the sensor 2.
  • the invention makes it possible to obtain, on the sensor 2, a first net IM2 image of the drops of water on the windshield with in the background, in this same image, the road scene which is fuzzy, substantially juxtaposed with a second net IM1 image of the road scene, even if drops of water are present on the windshield.
  • the bifocal device 3 is placed between the sensor 2 and the objective 4.
  • the camera 1 comprises a support 5, in particular comprising a printed circuit board, on which the sensor 2 is placed.
  • the bifocal optical device 3 can be secured to this support 5, as visible on the figure 1 .
  • the bifocal device 3 is in contact with and / or integral with the objective 4.
  • the bifocal device 3 is placed between the sensor 2 and the objective 4 without being secured to the sensor 2 of the support 5 or to the objective 4.
  • the bifocal optical device 3 is placed directly in front of the sensor 2, and is also used for the protection of the sensor 2.
  • the bifocal optical device 3 comprises a blade 7 made of N-BK7.
  • This bifocal device 3 comprises an optically neutral zone 10 (associated with IM1) formed between two substantially parallel main faces 11 of the device and an optically active zone 12 (associated with IM2), this optically active zone 12 being a zone forming, for example, a lens convergent.
  • the optically active zone 12 is remote from the edges 15 of the bifocal device, in particular the edges of the blade when this zone is formed on the blade 7.
  • This zone 12 has for example a convex shape.
  • the objective 4 has an optical axis Ox, and the optically active zone 12 has an optical center CO offset with respect to the optical axis Ox of the objective.
  • the objective 4 is formed of an associated lens train for imaging the infinite at a focal point.
  • the objective 4 is advantageously placed so that the focal point of the lens train is located on the sensor 2 taking into account the optical elements crossed.
  • the bifocal device 3 comprises a cache region 17 disposed between the optically neutral zone 10 and the optically active zone 12, this cache region 17 being arranged to limit the overlap between the first and second images IM1 and IM2 on the sensor.
  • the bifocal device 3 may comprise two distinct elements and assembled together.
  • the optically active zone may be formed on a lens distinct from the neutral zone.
  • the camera may comprise a protection blade 19 of the sensor 2, and the multifocal optical device 3 is for example attached, in particular glued, to this protection blade 19.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Description

  • L'invention concerne notamment une caméra agencée pour pouvoir être embarquée sur un véhicule.
  • On connaît par la demande de brevet EP 1 923 280 un capteur photosensible qui peut servir à plusieurs applications.
  • Le document DE 10 2004 015 040 décrit une caméra avec capteur de pluie intégré et un arrêt de champ pour éviter la lumière parasite sur la zone du détecteur qui est utilisée comme capteur de pluie.
  • Actuellement la détection de pluie, pour un véhicule, se fait à l'aide d'un capteur de pluie distinct de la caméra frontale. Cette dernière est utilisée pour des fonctions d'aide à la conduite nécessitant une vision en champ lointain (environ à 150 mètres).
  • Afin de rendre le système plus compact et moins coûteux que l'actuel, l'intégration de la fonction de détection de pluie dans une caméra multifonction du véhicule automobile est envisagée.
  • L'invention vise donc notamment à obtenir à l'aide d'une seule caméra la restitution à la fois de la scène routière en champ lointain (environ à 150 mètres) et du pare-brise (environ 30 mm).
  • On connaît par la demande de brevet WO 2006/015905 un module optique embarqué. La détection de pluie se fait par l'ajout d'un élément extérieur à la caméra. La mise en place de ce système peut poser un problème au niveau de l'encombrement et le positionnement (alignement...).
  • L'invention a ainsi pour objet une caméra agencée pour pouvoir être embarquée sur un véhicule automobile, comportant :
    • un capteur électronique,
    • un dispositif optique multifocal, notamment bifocal,
    • un objectif optique notamment focalisé en champ lointain,
    le dispositif optique multifocal et l'objectif optique étant agencés pour pouvoir former, sur le capteur, une première image focalisée en champ lointain et une deuxième image focalisée en champ proche, ces première et deuxième images s'étendant dans des régions respectives distinctes du capteur et par le fait que le dispositif multifocal comporte une région formant cache disposée entre une zone optiquement neutre et une zone optiquement active, cette région formant cache étant notamment agencée pour limiter le recouvrement entre les première et deuxième images sur le capteur.
  • Autrement dit, selon l'invention, ces première et deuxième images ne se recouvrent pas complètement. Eventuellement ces images peuvent se recouvrir partiellement. Ces images peuvent encore être juxtaposées, sensiblement sans se recouvrir.
  • Selon l'invention, la caméra sert de préférence à la détection de pluie, notamment de gouttes de pluie sur le pare-brise du véhicule, et également de préférence, pour une ou plusieurs autres fonctions d'aide à la conduite telles que la détection d'obstacles sur la route, l'automatisation des projecteurs, la détection de lignes, la détection de brouillard, la mesure de visibilité....
  • La caméra selon l'invention peut ainsi être une caméra multifonction.
  • L'image focalisée en champ lointain peut, si on le souhaite, couvrir une superficie sur le capteur supérieure à celle couverte par l'image en champ proche sur le capteur.
  • Par exemple, l'image en champ lointain peut couvrir environ 80% de la superficie du capteur et l'image en champ proche environ 20% de la superficie du capteur.
  • L'invention permet d'obtenir, le cas échéant, sur le capteur, une première image nette des gouttes d'eau sur le pare-brise avec en arrière-plan, dans cette même image, la scène routière qui est floue, sensiblement juxtaposée à une deuxième image nette de la scène de route, même si des gouttes d'eau sont présentes sur le pare-brise.
  • Ainsi les avantages d'une vision à l'infini nette et d'une vision en champ proche nette sont préservés simultanément.
  • Les algorithmes de détection peuvent ainsi être appliqués sur la zone de l'image correspondant à leur besoin de façon optimale.
  • Chaque partie de l'image est en quelque sorte optimale pour chaque catégorie de logiciel (software) : optimale pour la détection de gouttes avec la partie focalisée en champ proche et optimale pour les applications en champ lointain avec la partie de l'image focalisée à l'infini.
  • Dans un exemple de mise en oeuvre de l'invention, le dispositif multifocal est placé entre le capteur et l'objectif.
  • L'invention permet d'avoir un encombrement réduit, et d'avoir une caméra relativement simple et peu coûteuse.
  • Avantageusement la caméra comporte un support, notamment comprenant une carte de circuit imprimé, sur lequel est placé le capteur.
  • Le dispositif optique multifocal peut être solidaire de ce support ou, en variante, le dispositif bifocal peut en être distant, étant par exemple en contact avec et/ou solidaire de l'objectif, voire distant à la fois du support et de l'objectif.
  • De préférence la caméra comporte une lame de protection du capteur, et le dispositif optique multifocal est par exemple accolé, notamment collé, à cette lame de protection.
  • Le cas échéant, le dispositif optique multifocal est placé directement devant le capteur, et sert de préférence également à la protection du capteur.
  • Dans un exemple de mise en oeuvre de l'invention, le dispositif optique multifocal comporte une lame, notamment en plastique ou en verre, par exemple réalisée en N-BK7.
  • Le dispositif multifocal est de préférence réalisé d'un seul tenant.
  • En variante, le dispositif multifocal comporte une pluralité d'éléments, éventuellement assemblés entre eux.
  • Dans un exemple de mise en oeuvre de l'invention, le dispositif multifocal comporte une zone optiquement neutre, associée à la première image en champ lointain, formée par exemple entre deux faces principales sensiblement parallèles du dispositif et une zone optiquement active, associée à la deuxième image en champ proche, cette zone optiquement active étant notamment une zone formant une lentille convergente.
  • La zone optiquement active sert notamment à imager une zone suffisante du pare-brise sur le capteur.
  • Le cas échéant, la zone optiquement active est éloignée des bords du dispositif multifocal, notamment des bords de la lame lorsque cette zone est formée sur la lame.
  • Si on le souhaite, l'objectif présente un axe optique, et la zone optiquement active présente un centre optique décalé par rapport à l'axe optique de l'objectif.
  • En optique, le centre optique représente un point particulier d'un système tel qu'un rayon lumineux incident en ce point n'est pas dévié : ses parties incidentes et émergentes sont parallèles entre elles
  • Ce décentrement permet notamment de partitionner au mieux le capteur.
  • Si on le souhaite, le dispositif multifocal comporte une zone optiquement neutre formée notamment entre deux faces principales sensiblement parallèles du dispositif, et une zone optiquement active, cette zone optiquement active étant d'un matériau différent de celui de la zone optiquement neutre.
  • Le positionnement du dispositif bifocal est fixe de préférence entre l'objectif et le capteur de la caméra.
  • Avantageusement le dispositif multifocal comporte une région formant cache disposée entre une zone optiquement neutre et une zone optiquement active, cette région formant cache étant agencée pour limiter le recouvrement entre les première et deuxième images sur le capteur.
  • Ce cache peut être rapporté sur la lame du dispositif multifocal ou, en variante, être formé directement sur la lame.
  • Ce cache permet de couper des rayons lumineux provenant du pare-brise et se focalisant dans la zone de recouvrement des première et deuxième images, ce qui permet d'avoir une meilleure juxtaposition des deux images.
  • Si on le souhaite, le dispositif multifocal, notamment la lame, ne présente pas de symétrie de révolution, étant notamment de forme non circulaire.
  • La lame présente par exemple une forme sensiblement rectangulaire.
  • L'invention a également pour objet un procédé de commande d'un ou plusieurs balais d'essuyage d'un pare-brise de véhicule automobile, comportant les étapes suivantes :
    • détecter la présence de pluie sur le pare-brise du véhicule à l'aide d'une caméra telle que définie ci-dessus,
    • déclencher, en cas de présence de pluie sur le pare-brise, le ou les balais d'essuyage.
  • Selon l'invention, la détection de pluie est réalisée de préférence par la caméra multifonction, sans l'aide d'un capteur distinct de cette caméra.
  • L'invention a encore pour objet un procédé de détection de pluie utilisant une caméra telle que définie plus haut.
  • L'invention pourra être mieux comprise à la lecture de la description détaillée qui va suivre, d'exemples de mise en oeuvre non limitatifs de l'invention, et à l'examen du dessin annexé, sur lequel :
    • la figure 1 représente, schématiquement et partiellement, des éléments d'une caméra selon un exemple de mise en oeuvre de l'invention,
    • la figure 2 représente, schématiquement et partiellement, suivant une vue différente, des éléments de la caméra de la figure 1,
    • la figure 3 représente, schématiquement et partiellement, un dispositif bifocal de la caméra des figures 1 et 2,
    • la figure 4 montre schématiquement des images sur le capteur de la caméra, et
    • la figure 5 illustre un autre exemple de réalisation de l'invention.
  • On a représenté sur les figures 1 et 2 différents éléments d'une caméra 1, conforme à un exemple de mise en oeuvre de l'invention, agencée pour pouvoir être embarquée sur un véhicule automobile, cette caméra comportant :
    • un capteur électronique photosensible 2, ayant une matrice de cellules photosensibles,
    • un dispositif optique bifocal 3, de forme sensiblement rectangulaire,
    • un objectif optique 4 focalisé en champ lointain.
  • Le dispositif optique bifocal 3 et l'objectif optique 4 sont agencés pour pouvoir former, sur le capteur 2, une première image IM1 focalisée en champ lointain et une deuxième image IM2 focalisée en champ proche, comme illustré sur la figure 4.
  • La camera est placée avantageusement en zone essuyée, à l'intérieur du véhicule.
  • Par exemple, la caméra est placée derrière le rétroviseur intérieur, contre le pare-brise du véhicule.
  • Les première et deuxième images IM1 et IM2 s'étendent dans des régions respectives R1 et R2 distinctes du capteur 2.
  • Autrement dit, selon l'invention, ces première et deuxième images IM1 et IM2 ne se recouvrent pas complètement. Eventuellement ces images peuvent se recouvrir partiellement. En variante, ces images peuvent être juxtaposées, sensiblement sans se recouvrir.
  • La caméra 1 sert pour la détection de pluie, notamment de gouttes de pluie sur le pare-brise du véhicule, et également pour une ou plusieurs autres fonctions d'aide à la conduite telles que la détection d'obstacles sur la route, l'automatisation des projecteurs, la détection de lignes, la détection de brouillard, la mesure de visibilité....
  • La caméra 1 est ainsi une caméra multifonction.
  • L'image IM1 focalisée en champ lointain peut, si on le souhaite, couvrir une superficie sur le capteur supérieure à celle couverte par l'image IM2 en champ proche sur le capteur.
  • Par exemple, l'image IM1 en champ lointain peut couvrir environ 80% de la superficie du capteur 2 et l'image IM2 en champ proche environ 20% de la superficie du capteur 2.
  • L'invention permet d'obtenir, sur le capteur 2, une première image IM2 nette des gouttes d'eau sur le pare-brise avec en arrière-plan, dans cette même image, la scène routière qui est floue, sensiblement juxtaposée à une deuxième image nette IM1 de la scène de route, même si des gouttes d'eau sont présentes sur le pare-brise.
  • Dans l'exemple décrit, le dispositif bifocal 3 est placé entre le capteur 2 et l'objectif 4.
  • Dans un exemple non limitatif de l'invention, la caméra 1 comporte un support 5, notamment comprenant une carte de circuit imprimé, sur lequel est placé le capteur 2.
  • Le dispositif optique bifocal 3 peut être solidaire de ce support 5, comme visible sur la figure 1.
  • En variante, le dispositif bifocal 3 est en contact avec et/ou solidaire de l'objectif 4.
  • En variante encore, le dispositif bifocal 3 est placé entre le capteur 2 et l'objectif 4 sans être solidaire du capteur 2 du support 5 ni de l'objectif 4.
  • Dans l'exemple des figures 1 et 2, le dispositif optique bifocal 3 est placé directement devant le capteur 2, et sert également à la protection du capteur 2.
  • Le dispositif optique bifocal 3 comporte une lame 7 réalisée en N-BK7.
  • Ce dispositif bifocal 3 comporte une zone optiquement neutre 10 (associée à IM1) formée entre deux faces principales 11 sensiblement parallèles du dispositif et une zone optiquement active 12 (associée à IM2), cette zone optiquement active 12 étant une zone formant par exemple une lentille convergente.
  • La zone optiquement active 12 est éloignée des bords 15 du dispositif bifocal, notamment des bords de la lame lorsque cette zone est formée sur la lame 7.
  • Cette zone 12 présente par exemple une forme bombée.
  • L'objectif 4 présente un axe optique Ox, et la zone optiquement active 12 présente un centre optique CO décalé par rapport à l'axe optique Ox de l'objectif.
  • Dans un exemple de réalisation, l'objectif 4 est formé d'un train de lentilles associées pour imager l'infini à un point focal. L'objectif 4 est avantageusement placé de sorte que le point focal du train de lentilles soit localisé sur le capteur 2 tenant compte des éléments optiques traversés.
  • Le dispositif bifocal 3 comporte une région formant cache 17 disposée entre la zone optiquement neutre 10 et la zone optiquement active 12, cette région formant cache 17 étant agencée pour limiter le recouvrement entre les première et deuxième images IM1 et IM2 sur le capteur.
  • Bien entendu, l'invention n'est pas limitée à l'exemple qui vient d'être décrit.
  • Par exemple, le dispositif bifocal 3 peut comporter deux éléments distincts et assemblés entre eux.
  • Par exemple, la zone optiquement active peut être formée sur une lentille distincte de la zone neutre.
  • Comme illustré sur la figure 5, la caméra peut comporter une lame de protection 19 du capteur 2, et le dispositif optique multifocal 3 est par exemple accolé, notamment collé, à cette lame de protection 19.

Claims (11)

  1. Caméra (1) agencée pour pouvoir être embarquée sur un véhicule automobile, comportant :
    - un capteur électronique (2),
    - un dispositif optique multifocal, notamment bifocal (3),
    - un objectif optique (4) focalisé en champ lointain,
    le dispositif optique multifocal et l'objectif optique étant agencés pour pouvoir former, sur le capteur, une première image (IM1) focalisée en champ lointain et une deuxième image (IM2) focalisée en champ proche, ces première et deuxième images s'étendant dans des régions respectives distinctes du capteur caractérisée par le fait que le dispositif multifocal comporte une région formant cache (17) disposée entre une zone optiquement neutre et une zone optiquement active, cette région formant cache étant notamment agencée pour limiter le recouvrement entre les première et deuxième images sur le capteur.
  2. Caméra selon la revendication précédente, caractérisée par le fait que le dispositif multifocal (3) est placé entre le capteur et l'objectif.
  3. Caméra selon l'une des revendications précédentes, caractérisée par le fait que la caméra comporte un support (5), notamment comprenant une carte de circuit imprimé, sur lequel est placé le capteur, et par le fait que le dispositif optique multifocal est solidaire de ce support.
  4. Caméra selon la revendication précédente, caractérisée par le fait que la caméra comporte une lame de protection du capteur, et par le fait que le dispositif optique multifocal est accolé à cette lame de protection.
  5. Caméra selon l'une des revendications 1 à 3, caractérisée par le fait que le dispositif optique multifocal est placé directement devant le capteur (2), et sert de préférence également à la protection du capteur.
  6. Caméra selon l'une des revendications précédentes, caractérisée par le fait que le dispositif optique multifocal comporte une lame, notamment réalisée en verre.
  7. Caméra selon l'une des revendications précédentes, caractérisée par le fait que le dispositif multifocal comporte une zone optiquement neutre (10) formée notamment entre deux faces principales sensiblement parallèles du dispositif et une zone optiquement active (12), cette zone optiquement active étant notamment une zone formant une lentille convergente.
  8. Caméra selon la revendication précédente, caractérisée par le fait que la zone optiquement active est éloignée des bords du dispositif multifocal.
  9. Caméra selon l'une des revendications 7et 8, l'objectif présentant un axe optique (Ox), caractérisée par le fait que la zone optiquement active présente un centre optique décalé par rapport à l'axe optique de l'objectif.
  10. Procédé de commande d'un ou plusieurs balais d'essuyage d'un pare-brise de véhicule automobile, comportant les étapes suivantes :
    - détecter la présence de pluie sur le pare-brise du véhicule à l'aide d'une caméra selon l'une des revendications précédentes,
    - déclencher, en fonction de la présence de pluie sur le pare-brise, le ou les balais d'essuyage.
  11. Procédé selon la revendication précédente, caractérisé par le fait que la détection de pluie est réalisée par la caméra multifonction, sans l'aide d'un capteur distinct de cette caméra.
EP11156525.5A 2010-03-05 2011-03-02 Caméra agencée pour pouvoir être embarquée sur un véhicule Active EP2367052B1 (fr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1051602A FR2957160B1 (fr) 2010-03-05 2010-03-05 Camera agencee pour pouvoir etre embarquee sur un vehicule

Publications (2)

Publication Number Publication Date
EP2367052A1 EP2367052A1 (fr) 2011-09-21
EP2367052B1 true EP2367052B1 (fr) 2018-12-26

Family

ID=42771953

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11156525.5A Active EP2367052B1 (fr) 2010-03-05 2011-03-02 Caméra agencée pour pouvoir être embarquée sur un véhicule

Country Status (5)

Country Link
US (1) US9081263B2 (fr)
EP (1) EP2367052B1 (fr)
JP (1) JP6077196B2 (fr)
CN (1) CN102193277B (fr)
FR (1) FR2957160B1 (fr)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010023531A1 (de) * 2010-06-11 2011-12-15 Conti Temic Microelectronic Gmbh Optisches Element zur multifokalen Abbildung in einer Kamera für Fahrzeuganwendungen
JP2014081477A (ja) * 2012-10-16 2014-05-08 Denso Corp 撮像装置
DE102013000751B4 (de) * 2013-01-17 2024-02-29 HELLA GmbH & Co. KGaA Sensorvorrichtung zum Erfassen von Feuchtigkeit auf einer Scheibe
KR102255446B1 (ko) 2014-08-04 2021-05-24 엘지이노텍 주식회사 차량용 카메라 모듈
CN104967768B (zh) * 2015-07-10 2018-08-28 山东神戎电子股份有限公司 一种摄像机窗口玻璃自动雨刷除尘装置及方法
DE102016115077A1 (de) 2016-08-15 2018-02-15 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen eines Lichtstrahlenbündels einer Umgebungszone eines Kraftfahrzeugs in zumindest zwei verschiedenen Brennweiten mit einem Kamerasystem, sowie Kamerasystem und Kraftfahrzeug
US20180054569A1 (en) * 2016-08-19 2018-02-22 Delphi Technologies, Inc. Dual-focus camera for automated vehicles
US11150448B2 (en) 2016-11-06 2021-10-19 Denso Corporation Vehicle windshield mounted camera module
US10175560B2 (en) 2017-04-03 2019-01-08 Denso Corporation Camera module
US10295798B2 (en) 2017-04-03 2019-05-21 Denso Corporation Camera module
US10317651B2 (en) 2017-04-03 2019-06-11 Denso Corporation Camera module
US10291830B2 (en) 2017-04-03 2019-05-14 Denso Corporation Vehicle windshield camera module
JP6977535B2 (ja) * 2017-05-01 2021-12-08 株式会社デンソー カメラ装置
US10444762B2 (en) * 2017-07-03 2019-10-15 Bayerische Motoren Werke Aktiengesellschaft Progressive imaging system for enhanced machine vision

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3887930A (en) * 1974-07-12 1975-06-03 Eastman Kodak Co Light compensation for exposure control cameras
JP3641250B2 (ja) * 2002-04-23 2005-04-20 三菱電機株式会社 透光体表面の異物検出装置
US8180099B2 (en) * 2002-07-16 2012-05-15 Trw Limited Rain detection apparatus and method
JP4551640B2 (ja) * 2003-09-10 2010-09-29 キヤノン株式会社 撮像装置及びその制御方法、並びに制御プログラム
JP2005225250A (ja) * 2004-02-10 2005-08-25 Murakami Corp 車載用監視装置
DE102004015040A1 (de) * 2004-03-26 2005-10-13 Robert Bosch Gmbh Kamera in einem Kraftfahrzeug
JP4485864B2 (ja) * 2004-07-12 2010-06-23 スタンレー電気株式会社 雨滴センサ
DE102004037871B4 (de) * 2004-08-04 2006-10-12 Siemens Ag Optisches Modul für ein den Außenvorraum in Fahrtrichtung eines Kraftfahrzeuges erfassendes Assistenzsystem
DE102006040657B4 (de) * 2006-08-30 2016-05-12 Robert Bosch Gmbh Bilderfassungssystem für Anwendungen in Fahrzeugen
FR2908527B1 (fr) * 2006-11-15 2009-01-16 Valeo Vision Sa Capteur photosensible dans le domaine automobile
EP1923695A1 (fr) * 2006-11-20 2008-05-21 Delphi Technologies, Inc. Dispositif destiné à l'enregistrement de l'humidité sur un disque
EP2062777B1 (fr) * 2007-11-21 2010-06-16 Delphi Technologies, Inc. Module optique
US20110069148A1 (en) * 2009-09-22 2011-03-24 Tenebraex Corporation Systems and methods for correcting images in a multi-sensor system
US8531783B2 (en) * 2010-02-09 2013-09-10 Xceed Imaging Ltd. Imaging method and system for imaging with extended depth of focus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None *

Also Published As

Publication number Publication date
EP2367052A1 (fr) 2011-09-21
US20110216197A1 (en) 2011-09-08
US9081263B2 (en) 2015-07-14
JP6077196B2 (ja) 2017-02-08
CN102193277A (zh) 2011-09-21
CN102193277B (zh) 2016-03-30
FR2957160A1 (fr) 2011-09-09
FR2957160B1 (fr) 2012-05-11
JP2011201529A (ja) 2011-10-13

Similar Documents

Publication Publication Date Title
EP2367052B1 (fr) Caméra agencée pour pouvoir être embarquée sur un véhicule
EP1923280B1 (fr) Capteur photosensible dans le domaine automobile
EP3404481B1 (fr) Dispositif de protection d'un capteur optique et système d'assistance à la conduite associé
FR2947781A1 (fr) Dispositif de saisie de donnees d'image pour un vehicule automobile
FR2958598A1 (fr) Camera de vehicule
US6757109B2 (en) Plastic lens system for vehicle imaging system
US9815409B2 (en) Rearview vision system for vehicle
EP3414135B1 (fr) Dispositif de nettoyage d'un système de détection optique d'un véhicule automobile
FR2886415A1 (fr) Module de formation d'image
US9676329B2 (en) Camera system and method for operating a camera system for a motor vehicle
JP2007060158A (ja) 撮像モジュール
JP2010274717A (ja) 車載用カメラ、車載用カメラシステム、車用窓板及び車
EP3526065A1 (fr) Pare-brise d'aide a la conduite
JPH0983879A (ja) 車載カメラ装置
JP2010060699A (ja) レンズユニット、及び撮像装置
JPWO2015075951A1 (ja) レンズユニット、撮像装置、および車載カメラ
FR3056522A1 (fr) Dispositif de nettoyage destine a projeter au moins un fluide vers une surface a nettoyer d'un systeme de detection d'un vehicule automobile
FR2884352A1 (fr) Capteur photosensible et applications dans le domaine automobile
EP3542207B1 (fr) Afficheur tête-haute pour véhicule automobile
FR3101711A1 (fr) Dispositif obturateur de lumiere destine a proteger une camera positionnee a proximite du vitrage d’un vehicule automobile et vehicule correspondant
WO2022268742A1 (fr) Vitrage de véhicule
EP2867716B1 (fr) Dispositif de surveillance de l'environnement extérieur d'une plate-forme notamment navale, périscope et plate-forme comportant un tel dispositif
FR2945130A1 (fr) Organe guide de lumiere et capteur optique equipe d'un tel guide de lumiere
EP4062223A1 (fr) Afficheur tete-haute pour vehicule automobile et vehicule automobile comportant un tel afficheur
FR3054171A1 (fr) Systeme de prises de vues anti-eblouissement

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

17P Request for examination filed

Effective date: 20120302

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20171115

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 602011055060

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G03B0013320000

Ipc: B60S0001080000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: G02B 13/00 20060101ALI20180628BHEP

Ipc: B60S 1/08 20060101AFI20180628BHEP

INTG Intention to grant announced

Effective date: 20180717

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1080982

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190115

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602011055060

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190326

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190326

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20181226

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190327

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1080982

Country of ref document: AT

Kind code of ref document: T

Effective date: 20181226

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190426

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190426

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602011055060

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190302

26N No opposition filed

Effective date: 20190927

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20190331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190302

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190331

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190331

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20110302

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181226

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230528

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240307

Year of fee payment: 14

Ref country code: GB

Payment date: 20240325

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240325

Year of fee payment: 14